JP4441615B2 - Robot arm control device for inserting 3-pin plug for power supply - Google Patents
Robot arm control device for inserting 3-pin plug for power supply Download PDFInfo
- Publication number
- JP4441615B2 JP4441615B2 JP2005169906A JP2005169906A JP4441615B2 JP 4441615 B2 JP4441615 B2 JP 4441615B2 JP 2005169906 A JP2005169906 A JP 2005169906A JP 2005169906 A JP2005169906 A JP 2005169906A JP 4441615 B2 JP4441615 B2 JP 4441615B2
- Authority
- JP
- Japan
- Prior art keywords
- power supply
- pin
- force
- pin plug
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Manipulator (AREA)
- Manufacturing Of Electrical Connectors (AREA)
Description
本発明は普段の生活の中で必要不可欠な作業のひとつである電源用３ピンプラグを電源用３ピンコンセントへ挿入する動作を実現するのに必要な一連の動作を実現する機能（以下、「タスクスキル」ともいう。）を実装したロボットアーム制御装置に関するものである。
The present invention is a function (hereinafter referred to as “task”) that realizes a series of operations necessary for realizing an operation of inserting a 3-pin plug for power supply into a 3-pin outlet for power supply, which is one of indispensable tasks in daily life. This also relates to a robot arm control device that implements "skill" .
日常生活や工場などで電気を動力源とする装置の多くは、電源用３ピンプラグを有しており、電源用３ピンプラグを動力供給源である電源用３ピンコンセントへ挿入することにより電気が供給される。この電源用３ピンプラグ挿入は、人の手により実施されることが多い。 Many devices that use electricity as a power source in daily life and factories have a 3-pin plug for power supply, and electricity is supplied by inserting the 3-pin plug for power supply into a 3-pin outlet for power supply, which is a power supply source. Is done. The insertion of the 3-pin plug for power supply is often performed manually.
しかし、将来日常生活支援ロボットの開発や、工場での支援ロボットの開発を実現するには、電源用３ピンプラグを電源用３ピンコンセントに挿入する器用な手先技術を開発する必要がある。特に、原子力プラントなどの極限環境下では人が直接電源用３ピンプラグを操作するには放射線の影響など危険性が極めて高い。 However, it is necessary to develop a dexterous hand technique for inserting a 3-pin plug for power supply into a 3-pin outlet for power supply in order to develop a robot for daily life support and development of a support robot in a factory in the future. In particular, in an extreme environment such as a nuclear power plant, it is extremely dangerous for a person to directly operate the 3-pin plug for power supply, such as the influence of radiation.
この改善策として、遠隔操作によりプラグの抜き差しを実施する駆動機構をプラグ内部に付加する方法や、抜き差しを容易に実施できるコンセントなどが開発されているが、一般に使用されているプラグやコンセントをそのまま使用することができない（特許文献１、２参照）。さらに、ロボットなどによる電源用３ピンプラグ挿入の実現も考えられているが、ロボットが把持する電源用３ピンプラグの電極棒と電源用３ピンコンセントの挿入穴間の位置、姿勢誤差問題を解決することができていない。
解決しようとする問題点は、既に幅広く使用されている電源用３ピンプラグを人の代わりに操作できる特性を有し、電源用３ピンプラグの電極棒と電源用３ピンコンセントの挿入穴間に位置・姿勢誤差があっても電源用３ピンプラグ挿入を実現できる特性を有する電源用３ピンプラグ挿入スクスキルの具体的な記述と、電源用３ピンプラグ挿入タスクスキルを実装した電源用３ピンプラグ挿入装置の確立である。 The problem to be solved is that it has the property that the already widely used power supply 3-pin plug can be operated on behalf of a person, and is located between the electrode rod of the power supply 3-pin plug and the insertion hole of the power supply 3-pin outlet. A specific description of a power supply 3-pin plug insertion skill that has the characteristic of realizing a power supply 3-pin plug insertion even if there is an attitude error, and establishment of a power supply 3-pin plug insertion device that implements a power supply 3-pin plug insertion task skill .
本発明は前記課題を解決するために、以下の手段を採用する。 The present invention employs the following means in order to solve the above problems.
力センサ及びカメラの映像情報に基づいて、多関節ロボットアームを制御することにより、電源用３ピンプラグの挿入を行うためのロボットアーム制御装置において、
前記カメラの映像情報に基づいて前記電源用３ピンプラグと電源用３ピンコンセントの軸方向位置をある程度一致させた上で、以後行う前記電源用３ピンプラグの挿入操作を、
（ａ）電源用３ピンコンセントへの接近・接触動作
（ｂ）電源用３ピンコンセントへの押付け動作
（ｃ）電源用３ピンコンセント丸孔への挿入穴探索動作
（ｄ）電源用３ピンコンセントへの押付け動作
（ｅ）電源用３ピンコンセント丸孔への挿入確認動作
（ｆ）電源用３ピンコンセント四角穴への挿入穴探索動作
（ｇ）力解除動作
（ｈ）電源用３ピンプラグを電源用３ピンコンセントに押し込む挿入動作Ｉ
（ｉ）前記電源用３ピンプラグを電源用３ピンコンセントに対し揺動させる挿入動作II
（ｊ）力解除動作
に分類し、これらの動作（ａ）ないし（ｊ）のそれぞれを実現するために、ロボットアーム各軸の制御に、次のようにインピーダンス制御、力制御を割り当てたことを特徴とする電源用３ピンプラグの挿入を行うためのロボットアーム制御装置。
（ａ）電源用３ピンコンセントへの接近・接触動作
接近方向と逆向きに所定の力が生じるまで、全軸についてインピーダンス制御
（ｂ）電源用３ピンコンセントへの押付け動作
前記（ａ）の動作における所定の力を所定時間維持するまで、全軸についてインピーダンス制御
（ｃ）電源用３ピンコンセント丸孔への挿入穴探索動作
接近方向と直交する平面内において移動させ、接近方向に作用する力が、前記動作（ｂ）において維持した所定の力より絶対値で小さくなるまで、全軸についてインピーダンス制御
（ｄ）電源用３ピンコンセントへの押付け動作
接近方向と逆向きに所定の力が生じ、これが所定時間継続するまで、全軸についてインピーダンス制御
（ｅ）電源用３ピンコンセント丸孔への挿入確認動作
接近方向と直交する平面内において移動させ、該移動方向に絶対値で所定の力が生じ、これが所定時間継続するまで、全軸についてインピーダンス制御
（ｆ）電源用３ピンコンセント四角穴への挿入穴探索動作
ヨー軸周りに所定角度揺動させ、接近方向に作用する力が所定時間絶対値で所定以下となるか、あるいは、ヨー軸周りのモーメントが所定時間絶対値で所定以上となるまで、全軸についてインピーダンス制御
（ｇ）力解除動作
接近方向の力、ヨー軸方向に作用するモーメントが０となりこれが所定時間継続するまで、全軸について力制御
（ｈ）電源用３ピンプラグを電源用３ピンコンセントに押し込む挿入動作Ｉ
所定時間経過するまで、全軸についてインピーダンス制御
（ｉ）前記電源用３ピンプラグを電源用３ピンコンセントに対し揺動させる挿入動作II
ピッチ軸周りに所定角度の揺動を繰り返し、接近方向に所定時間絶対値で所定以上の力が発生するまで、全軸についてインピーダンス制御
（ｊ）力解除動作
接近方向の力、ピッチ軸方向のモーメントが０となりこれが所定時間継続するまで、全軸について力制御
In a robot arm control apparatus for inserting a 3-pin plug for power supply by controlling an articulated robot arm based on image information of a force sensor and a camera,
Based on the video information of the camera, the axial position of the 3-pin plug for power supply and the 3-pin outlet for power supply are matched to some extent, and then the insertion operation of the 3-pin plug for power supply to be performed thereafter is performed.
(A) Approaching / contacting operation to a 3-pin outlet for power supply (b) Pushing operation to a 3-pin outlet for power supply (c) Searching for an insertion hole into a round hole of a 3-pin outlet for power supply (d) 3-pin outlet for power supply (E) Confirmation of insertion into the 3-pin outlet round hole for power supply (f) Search operation for insertion hole into the square hole of 3-pin outlet for power supply (g) Force release operation (h) Power supply for 3-pin plug for power supply Operation I push into a 3-pin outlet
(I) Insertion operation for swinging the power 3-pin plug with respect to the power 3-pin outlet II
(J) In order to classify the force release operation and realize each of these operations (a) to (j), the control of each axis of the robot arm is assigned impedance control and force control as follows. A robot arm control device for inserting a characteristic 3-pin plug for power supply.
(A) Approach / contact operation to power 3-pin outlet Impedance control for all axes until a predetermined force is generated in the direction opposite to the approach direction (b) Push operation to power 3-pin outlet Operation (a) Impedance control for all axes until the predetermined force at is maintained for a predetermined time (c) Insert hole search operation into the 3-pin outlet round hole for power supply The force acting in the approach direction is moved in a plane orthogonal to the approach direction Impedance control for all axes until the absolute value becomes smaller than the predetermined force maintained in the operation (b) (d) Pushing operation to the 3-pin outlet for power supply A predetermined force is generated in the direction opposite to the approaching direction. Impedance control for all axes until it continues for a predetermined time (e) Operation for confirming insertion into a 3-pin outlet round hole for power supply A plane perpendicular to the approach direction Moved in, predetermined force occurs in absolute value to the moving direction, which until continues for a predetermined time, the Ri insertion hole search operation yaw axis circumference to all axes impedance control for (f) 3-pin outlet square hole for supply by a predetermined angle swing, or a force acting on the contact near direction is given below at predetermined time absolute value, or until the moment about the yaw axis is given over a predetermined time absolute value, impedance control for all axes (G) Force release operation Force control for all axes until the force acting in the approaching direction and the moment acting in the yaw axis direction become zero and this continues for a predetermined time. (H) Insertion operation to push the 3-pin plug for power supply into the 3-pin outlet for power supply I
Impedance control for all axes until a predetermined time elapses (i) Insertion operation for swinging the power supply 3-pin plug with respect to the power supply 3-pin outlet II
Impedance control is performed on all axes until a force greater than or equal to a predetermined value is generated in the approaching direction for a predetermined time in the approaching direction. (J) Force release operation Force in the approaching direction, moment in the pitching axis Force control for all axes until becomes zero and continues for a predetermined time
また、上述の電源用３ピンプラグの挿入を行うためのロボットアーム制御装置において、前記動作（ｅ）において、前記移動方向に絶対値で所定の力が生じ、これが所定時間継続するという条件が満たされないときは、この条件が満たされるまで前記動作（ｃ）ないし（ｅ）を繰り返させる制御手段を設けた。 Further, in the robot arm control device for inserting the above-described power supply 3-pin plug, in the operation (e) , a predetermined force is generated as an absolute value in the moving direction, and the condition that this continues for a predetermined time is not satisfied. In some cases, a control means is provided for repeating the operations (c) to (e) until this condition is satisfied .
本発明に係る電源用３ピンプラグの挿入を行うためのロボットアーム制御装置によれば、操作対象である電源用３ピンコンセントの位置を位置誤差無しに正確に計測する必要が無くなり、既に使用されている電源用３ピンプラグの操作を人に代わって実行することができるだけでなく、原子力プラントなど非常に危険な環境でも電源用３ピンプラグ挿入を実現できるという利点がある。
According to the robot arm control device for inserting the 3-pin plug for power supply according to the present invention, it is not necessary to accurately measure the position of the 3-pin outlet for power supply to be operated without a position error, and has already been used. The operation of the existing 3-pin plug for power supply can be executed on behalf of a person, and the insertion of the 3-pin plug for power supply can be realized even in a very dangerous environment such as a nuclear power plant.
本発明に係るタスクスキルによる電源用３ピンプラグ挿入装置を実施するための最良の形態を以下に説明する。まず、本発明の概念及び特徴を簡単に説明すると、本発明におけるタスクスキルは、ロボットがある基本動作を実行できるようにさせるだけでなく、電源用３ピンプラグ挿入するなどの動作を表す上位言語のレベルから再利用可能なモジュールである。 BEST MODE FOR CARRYING OUT THE INVENTION The best mode for carrying out the power supply 3-pin plug insertion device according to the task skill of the present invention will be described below. First, the concept and features of the present invention will be briefly explained. The task skill in the present invention is not only to allow a robot to execute a certain basic operation, but also to use a high-level language representing an operation such as inserting a 3-pin plug for power supply. Reusable module from the level.
該タスクスキルのモデルは、初期条件、タスクスキル動作、終了条件から構成され、該タスクスキルのモデルは、一連の状態遷移を実現するものであることを特徴とする。本発明では、電源用３ピンプラグ挿入タスクスキルにおけるタスクスキル動作に、インピーダンスと力のハイブリッド制御、またはインピーダンス制御が実装（適用）される点を特徴とする。 The task skill model is composed of an initial condition, a task skill action, and an end condition, and the task skill model realizes a series of state transitions. The present invention is characterized in that hybrid control of impedance and force or impedance control is implemented (applied) in the task skill operation in the power skill 3-pin plug insertion task skill.
即ち、本発明における電源用３ピンプラグ挿入装置では、タスクスキル動作を、インピーダンスと力のハイブリッド制御、またはインピーダンス制御に基づいて行うプログラムが実装されたタスクスキル実装装置（具体的にはタスクスキルを実行するプログラムが実装されたコンピュータ）を備えている。 That is, in the power supply 3-pin plug insertion device according to the present invention, a task skill implementation device (specifically, a task skill is executed) in which a program for performing task skill operation based on impedance-force hybrid control or impedance control is implemented. Computer).
タスクスキル動作にインピーダンスと力のハイブリッド制御を実装（適用）することにより、自由空間での軌道追従性を確保し、対象物や環境との位置誤差に対しても過大な力が発生することを防止できる点が主な特徴である。そして、位置と姿勢のそれぞれ軸に対し操作者の意図に合わせてインピーダンス制御と力制御を適用できる点も特徴である。 By implementing (applying) hybrid control of impedance and force for task skill operation, it is possible to ensure trajectory followability in free space and generate excessive force even with respect to position errors with objects and the environment. The main feature is that it can be prevented. Another feature is that impedance control and force control can be applied to the position and orientation axes in accordance with the intention of the operator.
さらに、タスクスキル動作にインピーダンスと力のハイブリッド制御を実装する場合、ひとつの軸においてインピーダンス制御から力制御、あるいは力制御からインピーダンス制御に切り替えるとき、制御の安定化問題が生じるが、タスクスキル動作にインピーダンス制御を実装すると、このような制御の切り替え問題がなくなることも本発明の特徴である。 Furthermore, when implementing hybrid control of impedance and force for task skill operation, when switching from impedance control to force control, or from force control to impedance control on one axis, control stabilization problems occur. It is also a feature of the present invention that implementation of impedance control eliminates such control switching problems.
ここで、本発明に係るタスクスキルによる電源用３ピンプラグ挿入装置を実施するための最良の形態を、より詳細に説明するために、タスクスキル動作にインピーダンスと力のハイブリッド制御を利用した実施例１及びタスクスキル動作にインピーダンス制御を利用した実施例２に基づいて、図面を参照して、以下説明する。 Here, in order to explain in more detail the best mode for carrying out the power supply 3-pin plug insertion device according to the task skill according to the present invention, a first example using hybrid control of impedance and force for task skill operation And based on Example 2 which utilized impedance control for task skill operation | movement, it demonstrates below with reference to drawings.
なお、図４は実施例１を説明する図であり、図５は実施例２を説明する図であるが、図１〜３は、実施例１及び実施例２に共通な図である。 4 is a diagram for explaining the first embodiment and FIG. 5 is a diagram for explaining the second embodiment. FIGS. 1 to 3 are diagrams common to the first and second embodiments.
図１は、本発明に関わるタスクスキル動作にインピーダンスと力のハイブリッド制御を利用したタスクスキルによる電源用３ピンプラグ挿入装置１の全体構成図である。タスクスキル実行装置１０は、ロボット２（本実施例１ではロボットアーム）、力センサ３、ハンド４、カメラ５、ロボット制御装置６、ハンド制御装置７、力センサ情報取得装置８、カメラ制御装置９、電源用３ピンプラグ１２を有する。 FIG. 1 is an overall configuration diagram of a power supply 3-pin plug insertion device 1 using a task skill using hybrid control of impedance and force for a task skill operation according to the present invention. The task skill execution device 10 includes a robot 2 (a robot arm in the first embodiment), a force sensor 3, a hand 4, a camera 5, a robot control device 6, a hand control device 7, a force sensor information acquisition device 8, and a camera control device 9. And a 3-pin plug 12 for power supply.
ロボット２は、多関節方式であり、ロボット制御装置６による位置制御で動作する。さらに、ロボット２を駆動するモータの電流を利用して力センサ３の代わりに利用することもできる。これは、ロボットに作用する抗力（負荷）が大きいと、ロボットの関節を駆動するモータの電流が大きくなるので、それにより当該力の大きさが分かる、ということを利用するものである。また、ハンド４の手先位置は、ロボット２の関節に設置されている関節角度計測装置（例、ポテンショメータ）により計算できることは周知技術である。 The robot 2 is an articulated system and operates by position control by the robot control device 6. Further, the current of the motor that drives the robot 2 can be used instead of the force sensor 3. This utilizes the fact that if the drag (load) acting on the robot is large, the current of the motor that drives the joint of the robot increases, so that the magnitude of the force can be understood. It is a well-known technique that the hand position of the hand 4 can be calculated by a joint angle measuring device (eg, potentiometer) installed at the joint of the robot 2.
ハンド４は、多指ハンドであり、ハンド制御装置７により指先が位置制御で動作する。 The hand 4 is a multi-fingered hand, and the fingertip operates by position control by the hand control device 7.
タスクスキル実行装置１０は、ロボット制御装置６に送信するロボット２の目標手先位置指令値と、ハンド制御装置７に送信するハンド４の目標指位置指令値を、タスクスキル実装装置１１（具体的にはタスクスキルを実行するプログラムが実装されたコンピュータ）から受信する。 The task skill execution device 10 receives the target hand position command value of the robot 2 to be transmitted to the robot control device 6 and the target finger position command value of the hand 4 to be transmitted to the hand control device 7. Is received from a computer on which a program for executing task skills is implemented.
そして、タスクスキル実行装置１０は、ロボット制御装置６で計算されるロボット２の現在手先位置情報と、力センサ情報取得装置８で取得する力センサ３の情報と、ハンド制御装置７で計算されるハンド４の現在指位置情報と、カメラ制御装置９で取得するカメラ５の映像を、タスクスキル実装装置１１へ送信する。 Then, the task skill execution device 10 is calculated by the current hand position information of the robot 2 calculated by the robot control device 6, the information of the force sensor 3 acquired by the force sensor information acquisition device 8, and the hand control device 7. The current finger position information of the hand 4 and the video of the camera 5 acquired by the camera control device 9 are transmitted to the task skill mounting device 11.
タスクスキル実装装置１１は、電源用３ピンプラグ挿入タスクスキルが実装されている。タスクスキルは、初期条件、タスクスキル動作、終了条件からなる一連の状態遷移を実現し、初期条件および終了条件はロボット２の位置、力センサ３の値、ハンド４の位置、カメラ５の映像情報で記述され、タスクスキル動作はインピーダンスと力のハイブリッド制御で記述される。 The task skill mounting apparatus 11 is mounted with a power 3 pin plug insertion task skill. The task skill realizes a series of state transitions including an initial condition, a task skill operation, and an end condition. The initial condition and the end condition are the position of the robot 2, the value of the force sensor 3, the position of the hand 4, and the video information of the camera 5. The task skill movement is described by hybrid control of impedance and force.
図２は、ハンド４による電源用３ピンプラグ挿入作業の概要図である。電源用３ピンコンセント１３は環境に固定される。Σpは電源用３ピンプラグ１２に固定された電源用３ピンプラグ座標系であり、点Pが原点である。Σoは電源用３ピンコンセント１３に固定された電源用３ピンコンセント座標系であり、点Oが原点である。ロボット２の手先座標系は、電源用３ピンプラグ１２の電源用３ピンプラグ座標系Σpと一致する。 FIG. 2 is a schematic diagram of the power 3-pin plug insertion operation by the hand 4. The 3-pin outlet 13 for power supply is fixed to the environment. Σp is a power supply 3-pin plug coordinate system fixed to the power supply 3-pin plug 12, and the point P is the origin. Σo is a power 3-pin outlet coordinate system fixed to the power 3-pin outlet 13, and the point O is the origin. The hand coordinate system of the robot 2 coincides with the power supply 3-pin plug coordinate system Σp of the power supply 3-pin plug 12.
電源用３ピンプラグ１２を動かすタスクスキル動作は、タスクスキル動作座標系Σsで記述され、制御点は電源用３ピンプラグ１２の点Pとするため、電源用３ピンプラグ１２に力、モーメントが作用しない場合には、電源用３ピンプラグ１２の点Pが電源用３ピンプラグ１２のインピーダンス中心となる。Σsは、Σpを基準として決定され、原点も点Pと一致する。 The task skill motion for moving the power 3-pin plug 12 is described in the task skill motion coordinate system Σs, and the control point is the point P of the power 3-pin plug 12, so that no force or moment acts on the power 3-pin plug 12. The point P of the power 3-pin plug 12 is the impedance center of the power 3-pin plug 12. Σs is determined based on Σp, and the origin also coincides with the point P.
ここで、電源用３ピンプラグ１２が移動すると同時にΣpも移動するため、ある時点でのΣpをΣsと設定し、Σpが引き続き移動したとしてもΣsは設定された時点の位置に固定される。また、一度ΣsがΣpにより設定され、Σsを基準にしてΣpが移動したとしても、移動後のΣpを利用してΣsを新規に再設定できる。 Here, Σp also moves at the same time as the power 3-pin plug 12 moves, so that Σp at a certain time is set to Σs, and even if Σp continues to move, Σs is fixed at the set position. Further, even if Σs is once set by Σp and Σp moves with reference to Σs, Σs can be newly reset using the moved Σp.
タスクスキル動作に実装されるインピーダンスと力のハイブリッド制御では、個々の制御軸（x、y、z軸、ロール（roll）、ピッチ（pitch）、ヨー（yaw）軸）に対してインピーダンス制御と力制御のどちらかの制御を設定する必要がある。 Impedance control and force for each control axis (x, y, z axis, roll, pitch, yaw axis) in hybrid control of impedance and force implemented in task skill movement It is necessary to set one of the controls.
電源用３ピンプラグ挿入タスクスキルの動作手順と、これらの動作を行う個々の軸に対する制御手段（カッコ内に記載）は、次のとおりである。
（１）電源用３ピンコンセント１３への接近・接触動作（全軸インピーダンス制御）
（２）電源用３ピンコンセント１３への押付け動作（全軸インピーダンス制御）
（３）電源用３ピンコンセント丸穴１４挿入への穴探索動作（全軸インピーダンス制御）
（４）電源用３ピンコンセント１３への押付け動作（全軸インピーダンス制御）
（５）電源用３ピンコンセント丸穴１４挿入確認動作（全軸インピーダンス制御）
（６）電源用３ピンコンセント四角穴１５挿入への穴探索操作（全軸インピーダンス制御）
（７）力解除動作（全軸力制御）
（８）電源用３ピンコンセント１３への挿入動作I（全軸インピーダンス制御）
（９）電源用３ピンコンセント１３への挿入動作II（全軸インピーダンス制御）
（１０）力解除動作（全軸力制御）
The operation procedure of the power pin 3-pin plug insertion task skill and the control means (indicated in parentheses) for the individual axes that perform these operations are as follows.
(1) Approach / contact operation to power supply 3-pin outlet 13 (impedance control for all axes)
(2) Pushing operation to the 3-pin outlet 13 for power supply (impedance control for all axes)
(3) Hole search operation for inserting the power supply 3-pin outlet round hole 14 (all-axis impedance control)
(4) Pushing operation to the 3-pin outlet 13 for power supply (impedance control for all axes)
(5) Power supply 3-pin outlet round hole 14 insertion confirmation operation (all-axis impedance control)
(6) Hole search operation for inserting the power supply 3-pin outlet square hole 15 (impedance control for all axes)
(7) Force release operation (all axial force control)
(8) Insertion operation I into power 3-pin outlet 13 (all-axis impedance control)
(9) Insertion into the 3-pin power outlet 13 (impedance control for all axes)
(10) Force release operation (all axial force control)
以上の動作手順を、図３に電源用３ピンプラグ挿入状況とともに、フローチャートで示す。以下、各動作手順毎に説明する。 The above operation procedure is shown in a flowchart in FIG. 3 together with the insertion state of the 3-pin plug for power supply. Hereinafter, each operation procedure will be described.
（１）電源用３ピンコンセント１３への接近・接触動作は、タスクスキルのモデル（初期条件、タスクスキル動作、終了条件の一連の状態遷移）を使って以下のように記述する。
・初期条件：カメラ５によりΣpとΣoをある程度一致させ、動作開始時ΣpをΣsとして設定する。
・タスクスキル動作：全軸インピーダンス制御とする。インピーダンス中心をz軸方向に 0.01 [m/s] で移動させる。
・終了条件：z軸方向に−6.0 [N] 発生した時点で終了する。
(1) The approach / contact operation to the power 3-pin outlet 13 is described as follows using a model of task skills (a series of state transitions of initial conditions, task skill operations, and end conditions).
Initial condition: Σp and Σo are matched to some extent by the camera 5, and Σp at the start of operation is set as Σs.
・ Task skill operation: All axes impedance control. Move the impedance center in the z-axis direction at 0.01 [m / s].
-End condition: End when -6.0 [N] occurs in the z-axis direction.
（２）電源用３ピンコンセント１３への押付け動作は、タスクスキルのモデルを使って以下のように記述する。
・初期条件：z軸方向に −6.0 [N] 程度発生状態とする。
・タスクスキル動作：全軸インピーダンス制御とする。インピーダンス中心を固定する。
・終了条件：0.7 [s] 間経過した時点で終了する。
(2) The pressing operation to the power 3-pin outlet 13 is described as follows using a task skill model.
・ Initial condition: about -6.0 [N] in the z-axis direction.
・ Task skill operation: All axes impedance control. Fix the impedance center.
-End condition: End when 0.7 [s] has passed.
（３）電源用３ピンコンセント丸穴１４挿入への穴探索動作は、タスクスキルのモデルを使って以下のように記述する。
・初期条件：z軸方向に −6.0 [N] 程度発生状態とする。
・タスクスキル動作：全軸インピーダンス制御とする。インピーダンス中心をy軸方向に 0.01 [m/s] で−0.015[m]へ移動させる。その後、0.01 [m/s] で 0.015 [m]へ移動させる。
・終了条件：z軸方向の力が0.2 [s]間、絶対値で3.0 [N]以下になった時点で終了する。
(3) The hole search operation for inserting the power supply 3-pin outlet round hole 14 is described as follows using a task skill model.
・ Initial condition: about -6.0 [N] in the z-axis direction.
・ Task skill operation: All axes impedance control. Move the impedance center to −0.015 [m] at 0.01 [m / s] in the y-axis direction. Then, move to 0.015 [m] at 0.01 [m / s].
-Termination condition: Terminate when the z-axis direction force is 0.2 [s] or less and is 3.0 [N] or less in absolute value.
（４）電源用３ピンコンセント１３への押付け動作は、タスクスキルのモデルを使って以下のように記述する。
・初期条件：初期条件無し。
・タスクスキル動作：全軸インピーダンス制御とする。インピーダンス中心をz軸方向に0.01 [m/s]で0.1[m]へ移動させる。
・終了条件：z軸方向に −6.0 [N] 発生した時点で、インピーダンス中心を固定し、1.0 [s] 間維持した時点で終了する。
(4) The pressing operation to the power 3-pin outlet 13 is described as follows using a task skill model.
・ Initial condition: No initial condition.
・ Task skill operation: All axes impedance control. The impedance center is moved to 0.1 [m] at 0.01 [m / s] in the z-axis direction.
・ Termination condition: When −6.0 [N] occurs in the z-axis direction, the impedance center is fixed and the process ends when 1.0 [s] is maintained.
（５）電源用３ピンコンセント丸穴１４挿入確認動作は、タスクスキルのモデルを使って以下のように記述する。
・初期条件：z軸方向に −6.0 [N] 程度発生状態とする。
・タスクスキル動作：全軸インピーダンス制御とする。インピーダンス中心をx軸方向に0.03 [m/s]で0.015 [m]へ移動させる（動作１）。その後、インピーダンス中心をx軸方向に0.03 [m/s]で−0.015 [m]へ移動させる（動作２）。その後、インピーダンス中心をx軸方向に0.03 [m/s]で0.0 [m]へ移動させる（動作３）。その後、インピーダンス中心をy軸方向に0.03 [m/s]で0.015 [m]へ移動させる（動作４）。その後、インピーダンス中心をy軸方向に0.03 [m/s]で−0.015 [m]へ移動させる（動作５）。その後、インピーダンス中心をy軸方向に0.03 [m/s]で0.0 [m]へ移動させる（動作６）。
・終了条件：動作（１、２、４、５）において、x、y軸方向の合力が0.2 [s]間絶対値で3.0 [N]発生した時点、あるいは動作が終了した時点で次の動作に移る。動作（３、６）においては、動作が終了した時点で次の動作に移る。各動作（１、２、４、５）それぞれにおいて、x、y軸方向の合力が0.2 [s]間絶対値で3.0 [N]発生した場合には、（６）電源用３ピンコンセント四角穴１５挿入への穴探索操作へ移行するが、それ以外の場合には、（３）電源用３ピンコンセント丸穴１４挿入への穴探索動作へ移行する。
(5) The operation for confirming the insertion of the power supply 3-pin outlet round hole 14 is described as follows using a task skill model.
・ Initial condition: about -6.0 [N] in the z-axis direction.
・ Task skill operation: All axes impedance control. The impedance center is moved to 0.015 [m] in the x-axis direction at 0.03 [m / s] (operation 1). Thereafter, the impedance center is moved to −0.015 [m] in the x-axis direction at 0.03 [m / s] (operation 2). Thereafter, the impedance center is moved to 0.0 [m] at 0.03 [m / s] in the x-axis direction (operation 3). Thereafter, the impedance center is moved to 0.015 [m] at 0.03 [m / s] in the y-axis direction (operation 4). Thereafter, the impedance center is moved to −0.015 [m] at 0.03 [m / s] in the y-axis direction (operation 5). Thereafter, the impedance center is moved to 0.0 [m] at 0.03 [m / s] in the y-axis direction (operation 6).
End condition: In the operation (1, 2, 4, 5), when the resultant force in the x and y axis directions is 3.0 [N] in absolute value between 0.2 [s] or when the operation ends, the next operation Move on. In the operation (3, 6), when the operation is completed, the operation proceeds to the next operation. In each operation (1, 2, 4, 5), if the resultant force in the x and y axis directions is 3.0 [N] in absolute value between 0.2 [s], (6) 3 pin outlet square hole for power supply 15 The operation shifts to the hole search operation for insertion, but in other cases, the operation proceeds to (3) hole search operation for insertion of the power supply 3-pin outlet round hole 14.
（６）電源用３ピンコンセント四角穴１５挿入への穴探索操作は、タスクスキルのモデルを使って以下のように記述する。
・初期条件：z軸方向に −6.0 [N] 程度発生状態とする。
・タスクスキル動作：全軸インピーダンス制御とする。インピーダンス中心をヨー軸周りに0.2 [dad/s]で−0.7 [rad]回転させる。その後、インピーダンス中心をヨー軸周りに0.2 [dad/s]で0.7 [rad]回転させる。
・終了条件：z軸方向の力が1.0 [s]間絶対値で3.0 [N]以下になる状態、あるいは、ヨー軸周りのモーメントが1.0 [s]間絶対値で0.4 [Nm] 以上発生した状態とする。
(6) The hole search operation for inserting the power supply 3-pin outlet square hole 15 is described as follows using a task skill model.
・ Initial condition: about -6.0 [N] in the z-axis direction.
・ Task skill operation: All axes impedance control. Rotate the impedance center by -0.7 [rad] around the yaw axis at 0.2 [dad / s]. After that, the impedance center is rotated 0.7 [rad] at 0.2 [dad / s] around the yaw axis.
-Termination condition: Force in the z-axis direction is 3.0 [N] or less in absolute value during 1.0 [s], or moment around the yaw axis is 0.4 [Nm] or more in absolute value during 1.0 [s] State.
（７）力解除動作は、タスクスキルのモデルを使って以下のように記述する。
・初期条件：初期条件無し。
・タスクスキル動作：全軸力制御とする。全軸0.5[s] 間に 0.0 [N]、0.0 [Nm]にする。
・終了条件：0.5 [s] 経過した時点で終了する。この時点でのΣpをΣsとして再設定する。
(7) The force release operation is described as follows using a task skill model.
・ Initial condition: No initial condition.
・ Task skill operation: All axial force control. Set 0.0 [N] and 0.0 [Nm] between all axes 0.5 [s].
-End condition: End when 0.5 [s] has passed. Σp at this time is reset as Σs.
（８）電源用３ピンコンセント１３への挿入動作Iは、タスクスキルのモデルを使って以下のように記述する。
・初期条件：初期条件無し。
・タスクスキル動作：全軸インピーダンス制御とする。インピーダンス中心をz軸方向に 0.02 [m/s] で 0.03 [m]へ移動させる。
・終了条件：1.5 [s]経過した時点で終了する。
(8) The insertion operation I into the power 3-pin outlet 13 is described as follows using a task skill model.
・ Initial condition: No initial condition.
・ Task skill operation: All axes impedance control. Move the impedance center to 0.03 [m] at 0.02 [m / s] in the z-axis direction.
-End condition: End when 1.5 [s] has passed.
（９）電源用３ピンコンセント１３への挿入動作IIは、タスクスキルのモデルを使って以下のように記述する。
・初期条件：インピーダンス中心がz軸方向0.3[m]にある。
・タスクスキル動作：全軸インピーダンス制御とする。インピーダンス中心をピッチ軸周りに0.3 [rad/s]で0.1 [rad]へ移動させる（動作１）。その後、インピーダンス中心をピッチ軸周りに0.3 [rad/s]で−0.1 [rad]へ移動させる（動作２）。その後、動作１、動作２を順に繰り返す。
・終了条件：z軸方向の力が0.1[s]間、絶対値で28.0 [N]以上発生した時点で終了する。
(9) The insertion operation II into the power 3-pin outlet 13 is described as follows using a task skill model.
・ Initial condition: The impedance center is 0.3 [m] in the z-axis direction.
・ Task skill operation: All axes impedance control. The impedance center is moved to 0.1 [rad] at 0.3 [rad / s] around the pitch axis (operation 1). Thereafter, the impedance center is moved to −0.1 [rad] at 0.3 [rad / s] around the pitch axis (operation 2). Thereafter, operation 1 and operation 2 are repeated in order.
-Termination condition: Terminate when the z-axis direction force is 0.1 [s] and the absolute value is 28.0 [N] or more.
（１０）力解除動作は、タスクスキルのモデルを使って以下のように記述する。
・初期条件：初期条件無し。
・タスクスキル動作：全軸力制御とする。全軸3.0 [s] 間に 0.0 [N]、0.0 [Nm]にする。
・終了条件：3.0 [s] 経過した時点で終了する。
(10) The force release operation is described as follows using a task skill model.
・ Initial condition: No initial condition.
・ Task skill operation: All axial force control. Set 0.0 [N] and 0.0 [Nm] between all axes 3.0 [s].
-Termination condition: Terminates when 3.0 [s] has passed.
図４に電源用３ピンプラグ挿入タスクスキルを実装した電源用３ピンプラグ挿入装置による電源用３ピンプラグ挿入の実行結果を示す。図４（ａ）は電源用３ピンプラグ１２の点Pに作用する力、図４（ｂ）は電源用３ピンプラグ１２の点Pに作用するモーメント、図４（ｃ）は電源用３ピンプラグ１２の点Ｏの位置、図４（ｄ）は電源用３ピンプラグ１２の点Ｏの姿勢、図４（ｅ）はインピーダンス中心の位置、図４（ｆ）はインピーダンス中心の姿勢である。 FIG. 4 shows an execution result of the power supply 3-pin plug insertion by the power supply 3-pin plug insertion device in which the power supply 3-pin plug insertion task skill is implemented. 4A is a force acting on the point P of the power supply 3-pin plug 12, FIG. 4B is a moment acting on the point P of the power supply 3-pin plug 12, and FIG. FIG. 4D shows the position of the point O, FIG. 4D shows the posture of the point O of the power 3-pin plug 12, FIG. 4E shows the position of the impedance center, and FIG. 4F shows the posture of the impedance center.
動作手順は図３の（１）〜（５）、（６）〜（１０）となっている。位置誤差は、並進でy軸方向に−0.01 [m]、ロール軸周りに0.05 [rad]、ヨー軸周りに0.2 [rad]設定した。位置・姿勢誤差がある状況で電源用３ピンプラグ挿入は問題なく実行されている。 The operation procedure is (1) to (5) and (6) to (10) in FIG. The position error was set to -0.01 [m] in the y-axis direction, 0.05 [rad] around the roll axis, and 0.2 [rad] around the yaw axis in translation. The insertion of the 3-pin plug for power supply is executed without any problem in the situation where there is a position / posture error.
図１は、本発明に関わるタスクスキル動作にインピーダンスと力のハイブリッド制御を利用したタスクスキルによる電源用３ピンプラグ挿入装置１の全体構成図である。タスクスキル実行装置１０は、ロボット２（本実施例２ではロボットアーム）、力センサ３、ハンド４、カメラ５、ロボット制御装置６、ハンド制御装置７、力センサ情報取得装置８、カメラ制御装置９、電源用３ピンプラグ１２を有する。 FIG. 1 is an overall configuration diagram of a power supply 3-pin plug insertion device 1 using a task skill using hybrid control of impedance and force for a task skill operation according to the present invention. The task skill execution device 10 includes a robot 2 (a robot arm in the second embodiment), a force sensor 3, a hand 4, a camera 5, a robot control device 6, a hand control device 7, a force sensor information acquisition device 8, and a camera control device 9. And a 3-pin plug 12 for power supply.
ロボット２は、多関節方式であり、ロボット制御装置６による位置制御で動作する。さらに、ロボット２を駆動するモータの電流を利用して力センサ３の代わりに利用することもできる。これは、ロボットに作用する抗力（負荷）が大きいと、ロボットの関節を駆動するモータの電流が大きくなるので、それにより当該力の大きさが分かる、ということを利用するものである。また、ハンド４の手先位置は、ロボット２の関節に設置されている関節角度計測装置（例、ポテンショメータ）により計算できることは周知技術である。 The robot 2 is an articulated system and operates by position control by the robot control device 6. Further, the current of the motor that drives the robot 2 can be used instead of the force sensor 3. This utilizes the fact that if the drag (load) acting on the robot is large, the current of the motor that drives the joint of the robot increases, so that the magnitude of the force can be understood. It is a well-known technique that the hand position of the hand 4 can be calculated by a joint angle measuring device (eg, potentiometer) installed at the joint of the robot 2.
ハンド４は、多指ハンドであり、ハンド制御装置７により指先が位置制御で動作する。 The hand 4 is a multi-fingered hand, and the fingertip operates by position control by the hand control device 7.
タスクスキル実行装置１０は、ロボット制御装置６に送信するロボット２の目標手先位置指令値と、ハンド制御装置７に送信するハンド４の目標指位置指令値を、タスクスキル実装装置１１（具体的にはタスクスキルを実行するプログラムが実装されたコンピュータ）から受信する。 The task skill execution device 10 receives the target hand position command value of the robot 2 to be transmitted to the robot control device 6 and the target finger position command value of the hand 4 to be transmitted to the hand control device 7. Is received from a computer on which a program for executing task skills is implemented.
そして、タスクスキル実行装置１０は、ロボット制御装置６で計算されるロボット２の現在手先位置情報と、力センサ情報取得装置８で取得する力センサ３の情報と、ハンド制御装置７で計算されるハンド４の現在指位置情報と、カメラ制御装置９で取得するカメラ５の映像を、タスクスキル実装装置１１へ送信する。 Then, the task skill execution device 10 is calculated by the current hand position information of the robot 2 calculated by the robot control device 6, the information of the force sensor 3 acquired by the force sensor information acquisition device 8, and the hand control device 7. The current finger position information of the hand 4 and the video of the camera 5 acquired by the camera control device 9 are transmitted to the task skill mounting device 11.
タスクスキル実装装置１１は、電源用３ピンプラグ挿入タスクスキルが実装されている。タスクスキルは、初期条件、タスクスキル動作、終了条件からなる一連の状態遷移を実現し、初期条件および終了条件はロボット２の位置、力センサ３の値、ハンド４の位置、カメラ５の映像情報で記述され、タスクスキル動作はインピーダンス制御で記述される。 The task skill mounting apparatus 11 is mounted with a power 3 pin plug insertion task skill. The task skill realizes a series of state transitions including an initial condition, a task skill operation, and an end condition. The initial condition and the end condition are the position of the robot 2, the value of the force sensor 3, the position of the hand 4, and the video information of the camera 5. The task skill operation is described by impedance control.
図２は、ハンド４による電源用３ピンプラグ挿入作業の概要図である。電源用３ピンコンセント１３は環境に固定される。Σpは電源用３ピンプラグ１２に固定された電源用３ピンプラグ座標系であり、点Pが原点である。Σoは電源用３ピンコンセント１３に固定された電源用３ピンコンセント座標系であり、点Oが原点である。ロボット２の手先座標系は、電源用３ピンプラグ１２の電源用３ピンプラグ座標系Σpと一致する。 FIG. 2 is a schematic diagram of the power 3-pin plug insertion operation by the hand 4. The 3-pin outlet 13 for power supply is fixed to the environment. Σp is a power supply 3-pin plug coordinate system fixed to the power supply 3-pin plug 12, and the point P is the origin. Σo is a power 3-pin outlet coordinate system fixed to the power 3-pin outlet 13, and the point O is the origin. The hand coordinate system of the robot 2 coincides with the power supply 3-pin plug coordinate system Σp of the power supply 3-pin plug 12.
電源用３ピンプラグ１２を動かすタスクスキル動作は、タスクスキル動作座標系Σsで記述され、制御点は電源用３ピンプラグ１２の点Pとするため、電源用３ピンプラグ１２に力、モーメントが作用しない場合には、電源用３ピンプラグ１２の点Pが電源用３ピンプラグ１２のインピーダンス中心となる。Σsは、Σpを基準として決定され、原点も点Pと一致する。 The task skill motion for moving the power 3-pin plug 12 is described in the task skill motion coordinate system Σs, and the control point is the point P of the power 3-pin plug 12, so that no force or moment acts on the power 3-pin plug 12. The point P of the power 3-pin plug 12 is the impedance center of the power 3-pin plug 12. Σs is determined based on Σp, and the origin also coincides with the point P.
ここで、電源用３ピンプラグ１２が移動すると同時にΣpも移動するため、ある時点でのΣpをΣsと設定し、Σpが引き続き移動したとしてもΣsは設定された時点の位置に固定される。また、一度ΣsがΣpにより設定され、Σsを基準にしてΣpが移動したとしても、移動後のΣpを利用してΣsを新規に再設定できる。 Here, Σp also moves at the same time as the power 3-pin plug 12 moves, so that Σp at a certain time is set to Σs, and even if Σp continues to move, Σs is fixed at the set position. Further, even if Σs is once set by Σp and Σp moves with reference to Σs, Σs can be newly reset using the moved Σp.
電源用３ピンプラグ挿入タスクスキルの動作手順は、次のとおりである。
（１）電源用３ピンコンセント１３への接近・接触動作
（２）電源用３ピンコンセント１３への押付け動作
（３）電源用３ピンコンセント丸穴１４挿入への穴探索動作
（４）電源用３ピンコンセント１３への押付け動作
（５）電源用３ピンコンセント丸穴１４挿入確認動作
（６）電源用３ピンコンセント四角穴１５挿入への穴探索操作
（７）力解除動作
（８）電源用３ピンコンセント１３への挿入動作I
（９）電源用３ピンコンセント１３への挿入動作II
（１０）力解除動作
The operation procedure of the power supply 3-pin plug insertion task skill is as follows.
(1) Approach / contact operation to the 3-pin outlet 13 for power supply (2) Pushing operation to the 3-pin outlet 13 for power supply (3) Hole search operation for inserting the 3-pin outlet round hole 14 for power supply (4) For power supply Pushing operation to the 3-pin outlet 13 (5) Confirmation of insertion of the 3-pin outlet round hole 14 for power supply (6) Hole search operation to insert the 3-pin outlet square hole 15 for power supply (7) Force release operation (8) For power supply Insertion into the 3-pin outlet 13
(9) Insertion into the 3-pin outlet 13 for power supply II
(10) Force release operation
以上の動作手順を、図３に電源用３ピンプラグ挿入状況とともに、フローチャートで示す。以下、各動作手順毎に説明する。 The above operation procedure is shown in a flowchart in FIG. 3 together with the insertion state of the 3-pin plug for power supply. Hereinafter, each operation procedure will be described.
（１）電源用３ピンコンセント１３への接近・接触動作は、タスクスキルのモデル（初期条件、タスクスキル動作、終了条件の一連の状態遷移）を使って以下のように記述する。
・初期条件：カメラ５によりΣpとΣoをある程度一致させ、動作開始時ΣpをΣsとして設定する。
・タスクスキル動作：インピーダンス中心をz軸方向に 0.01 [m/s] で移動させる。
・終了条件：z軸方向に−6.0 [N] 発生した時点で終了する。
(1) The approach / contact operation to the power 3-pin outlet 13 is described as follows using a task skill model (a series of state transitions of an initial condition, a task skill operation, and an end condition).
Initial condition: Σp and Σo are matched to some extent by the camera 5, and Σp at the start of operation is set as Σs.
・ Task skill movement: Move the impedance center in the z-axis direction at 0.01 [m / s].
-End condition: End when -6.0 [N] occurs in the z-axis direction.
（２）電源用３ピンコンセント１３への押付け動作は、タスクスキルのモデルを使って以下のように記述する。
・初期条件：z軸方向に −6.0 [N] 程度発生状態とする。
・タスクスキル動作：インピーダンス中心を固定する。
・終了条件：0.7 [s] 間経過した時点で終了する。
(2) The pressing operation to the power 3-pin outlet 13 is described as follows using a task skill model.
・ Initial condition: about -6.0 [N] in the z-axis direction.
・ Task skill operation: Fix the impedance center.
-End condition: End when 0.7 [s] has passed.
（３）電源用３ピンコンセント丸穴１４挿入への穴探索動作は、タスクスキルのモデルを使って以下のように記述する。
・初期条件：z軸方向に −6.0 [N] 程度発生状態とする。
・タスクスキル動作：インピーダンス中心をy軸方向に 0.01 [m/s] で−0.015[m]へ移動させる。その後、0.01 [m/s] で0.015 [m]へ移動させる。
・終了条件：z軸方向の力が0.2 [s]間、絶対値で3.0 [N]以下になった時点で終了する。
(3) The hole search operation for inserting the power supply 3-pin outlet round hole 14 is described as follows using a task skill model.
・ Initial condition: about -6.0 [N] in the z-axis direction.
-Task skill movement: Move the impedance center to -0.015 [m] in the y-axis direction at 0.01 [m / s]. Then, move to 0.015 [m] at 0.01 [m / s].
-Termination condition: Terminate when the z-axis direction force is 0.2 [s] or less and is 3.0 [N] or less in absolute value.
（４）電源用３ピンコンセント１３への押付け動作は、タスクスキルのモデルを使って以下のように記述する。
・初期条件：初期条件無し。
・タスクスキル動作：インピーダンス中心をz軸方向に0.01 [m/s]で0.1[m]へ移動させる。
・終了条件：z軸方向に −6.0 [N] 発生した時点で、インピーダンス中心を固定し、1.0 [s] 間維持した時点で終了する。
(4) The pressing operation to the power 3-pin outlet 13 is described as follows using a task skill model.
・ Initial condition: No initial condition.
-Task skill movement: Move the impedance center to 0.1 [m] at 0.01 [m / s] in the z-axis direction.
・ Termination condition: When −6.0 [N] occurs in the z-axis direction, the impedance center is fixed and the process ends when 1.0 [s] is maintained.
（５）電源用３ピンコンセント丸穴１４挿入確認動作は、タスクスキルのモデルを使って以下のように記述する。
・初期条件：z軸方向に −6.0 [N] 程度発生状態とする。
・タスクスキル動作：インピーダンス中心をx軸方向に0.03 [m/s]で0.0 [m]から0.015 [m]へ移動させる（動作１）。その後、インピーダンス中心をx軸方向に0.03 [m/s]で−0.015 [m]へ移動させる（動作２）。その後、インピーダンス中心をx軸方向に0.03 [m/s]で0.0 [m]へ移動させる（動作３）。その後、インピーダンス中心をy軸方向に0.03 [m/s]で0.015 [m]へ移動させる（動作４）。その後、インピーダンス中心をy軸方向に0.03 [m/s]で−0.015 [m]へ移動させる（動作５）。その後、インピーダンス中心をy軸方向に0.03 [m/s]で0.0 [m]へ移動させる（動作６）。
・終了条件：動作（１、２、４、５）において、x、y軸方向の合力が0.2 [s]間絶対値で3.0 [N]発生した時点、あるいは動作が終了した時点で次の動作に移る。動作（３、６）においては、動作が終了した時点で次の動作に移る。各動作（１、２、４、５）それぞれにおいて、x、y軸方向の合力が0.2 [s]間絶対値で3.0 [N]発生した場合には、（６）電源用３ピンコンセント四角穴１５挿入への穴探索操作へ移行するが、それ以外の場合には、（３）電源用３ピンコンセント丸穴１４挿入への穴探索動作へ移行する。
(5) The operation for confirming the insertion of the power supply 3-pin outlet round hole 14 is described as follows using a task skill model.
・ Initial condition: about -6.0 [N] in the z-axis direction.
-Task skill action: Move the impedance center from 0.0 [m] to 0.015 [m] at 0.03 [m / s] in the x-axis direction (Action 1). Thereafter, the impedance center is moved to −0.015 [m] in the x-axis direction at 0.03 [m / s] (operation 2). Thereafter, the impedance center is moved to 0.0 [m] at 0.03 [m / s] in the x-axis direction (operation 3). Thereafter, the impedance center is moved to 0.015 [m] at 0.03 [m / s] in the y-axis direction (operation 4). Thereafter, the impedance center is moved to −0.015 [m] at 0.03 [m / s] in the y-axis direction (operation 5). Thereafter, the impedance center is moved to 0.0 [m] at 0.03 [m / s] in the y-axis direction (operation 6).
-End condition: When the resultant force in the x and y axis directions is 3.0 [N] in absolute value between 0.2 [s] in the operation (1, 2, 4, 5), or when the operation ends, the next operation Move on. In the operation (3, 6), when the operation is completed, the operation proceeds to the next operation. In each operation (1, 2, 4, 5), if the resultant force in the x and y axis directions is 3.0 [N] in absolute value between 0.2 [s], (6) 3 pin outlet square hole for power supply 15 The operation shifts to the hole search operation for insertion. Otherwise, (3) the operation shifts to the hole search operation for insertion of the power supply 3-pin outlet round hole 14.
（６）電源用３ピンコンセント四角穴１５挿入への穴探索操作は、タスクスキルのモデルを使って以下のように記述する。
・初期条件：z軸方向に −6.0 [N] 程度発生状態とする。
・タスクスキル動作：インピーダンス中心をヨー軸周りに0.2 [dad/s]で−0.7 [rad]回転させる。その後、インピーダンス中心をヨー軸周りに0.2 [dad/s]で0.7 [rad]回転させる。
・終了条件：z軸方向の力が1.0 [s]間絶対値で3.0 [N]以下になる状態、あるいは、ヨー軸周りのモーメントが1.0 [s]間絶対値で0.4 [Nm] 以上発生した状態とする。
(6) The hole search operation for inserting the power supply 3-pin outlet square hole 15 is described as follows using a task skill model.
・ Initial condition: about -6.0 [N] in the z-axis direction.
-Task skill action: rotate the impedance center by -0.7 [rad] around the yaw axis at 0.2 [dad / s]. After that, the impedance center is rotated 0.7 [rad] at 0.2 [dad / s] around the yaw axis.
-Termination condition: Force in the z-axis direction is 3.0 [N] or less in absolute value during 1.0 [s], or moment around the yaw axis is 0.4 [Nm] or more in absolute value during 1.0 [s] State.
（７）力解除動作は、タスクスキルのモデルを使って以下のように記述する。
・初期条件：初期条件無し。
・タスクスキル動作：全軸0.5[s] 間に 0.0 [N]、0.0 [Nm]になるようにインピーダンス中心を移動させる。
・終了条件：0.5 [s] 経過した時点で終了する。この時点でのΣpをΣsとして再設定する。
(7) The force release operation is described as follows using a task skill model.
・ Initial condition: No initial condition.
・ Task skill operation: Move the center of impedance so that it becomes 0.0 [N], 0.0 [Nm] between all axes 0.5 [s].
-End condition: End when 0.5 [s] has passed. Σp at this time is reset as Σs.
（８）電源用３ピンコンセント１３への挿入動作Iは、タスクスキルのモデルを使って以下のように記述する。
・初期条件：初期条件無し。
・タスクスキル動作：インピーダンス中心をz軸方向に 0.02 [m/s] で 0.03 [m]へ移動させる。
・終了条件：1.5 [s]経過した時点で終了する。
(8) The insertion operation I into the power 3-pin outlet 13 is described as follows using a task skill model.
・ Initial condition: No initial condition.
-Task skill movement: Move the impedance center in the z-axis direction to 0.03 [m] at 0.02 [m / s].
-End condition: End when 1.5 [s] has passed.
（９）電源用３ピンコンセント１３への挿入動作IIは、タスクスキルのモデルを使って以下のように記述する。
・初期条件：インピーダンス中心がz軸方向0.3[m]にある。
・タスクスキル動作：インピーダンス中心をピッチ軸周りに0.3 [rad/s]で0.1 [rad]へ移動させる（動作１）。その後、インピーダンス中心をピッチ軸周りに0.3 [rad/s]で−0.1 [rad]へ移動させる（動作２）。その後、動作１、動作２を順に繰り返す。
・終了条件：z軸方向の力が0.1[s]間、絶対値で28.0 [N]以上発生した時点で終了する。
(9) The insertion operation II into the power 3-pin outlet 13 is described as follows using a task skill model.
・ Initial condition: The impedance center is 0.3 [m] in the z-axis direction.
-Task skill action: Move the impedance center around the pitch axis to 0.1 [rad] at 0.3 [rad / s] (Action 1). Thereafter, the impedance center is moved to −0.1 [rad] at 0.3 [rad / s] around the pitch axis (operation 2). Thereafter, operation 1 and operation 2 are repeated in order.
-Termination condition: Terminate when the z-axis direction force is 0.1 [s] and the absolute value is 28.0 [N] or more.
（１０）力解除動作は、タスクスキルのモデルを使って以下のように記述する。
・初期条件：初期条件無し。
・タスクスキル動作：全軸3.0 [s] 間に 0.0 [N]、0.0 [Nm]になるように、インピーダンス中心を移動する。
・終了条件：3.0 [s] 経過した時点で終了する。
(10) The force release operation is described as follows using a task skill model.
・ Initial condition: No initial condition.
-Task skill movement: Move the impedance center so that 0.0 [N] and 0.0 [Nm] between all axes 3.0 [s].
-Termination condition: Terminates when 3.0 [s] has passed.
図４に電源用３ピンプラグ挿入タスクスキルを実装した電源用３ピンプラグ挿入装置による電源用３ピンプラグ挿入の実行結果を示す。図４（ａ）は電源用３ピンプラグ１２の点Pに作用する力、図４（ｂ）は電源用３ピンプラグ１２の点Pに作用するモーメント、図４（ｃ）は電源用３ピンプラグ１２の点Ｏの位置、図４（ｄ）は電源用３ピンプラグ１２の点Ｏの姿勢、図４（ｅ）はインピーダンス中心の位置、図４（ｆ）はインピーダンス中心の姿勢である。 FIG. 4 shows an execution result of the power supply 3-pin plug insertion by the power supply 3-pin plug insertion device in which the power supply 3-pin plug insertion task skill is implemented. 4A is a force acting on the point P of the power supply 3-pin plug 12, FIG. 4B is a moment acting on the point P of the power supply 3-pin plug 12, and FIG. FIG. 4D shows the position of the point O, FIG. 4D shows the posture of the point O of the power 3-pin plug 12, FIG. 4E shows the position of the impedance center, and FIG. 4F shows the posture of the impedance center.
動作手順は図３の（１）〜（５）、（６）〜（１０）となっている。位置誤差は、並進でy軸方向に0.01 [m]、ロール軸周りに0.05 [rad]、ヨー軸周りに−0.2 [rad] 設定した。位置・姿勢誤差がある状況で電源用３ピンプラグ挿入は問題なく実行されている。 The operation procedure is (1) to (5) and (6) to (10) in FIG. The position error was set to 0.01 [m] in the y-axis direction, 0.05 [rad] around the roll axis, and −0.2 [rad] around the yaw axis in translation. The insertion of the 3-pin plug for power supply is executed without any problem in the situation where there is a position / posture error.
以上、本発明に関わる電源用３ピンプラグ挿入タスクスキルによる電源用３ピンプラグ挿入装置を実施するための最良の形態を実施例１、実施例２に基づいて説明した。既に本発明を利用し、実施例で示したタスクスキルによる電源用３ピンプラグ挿入を実行した。このタスクスキルによる電源用３ピンプラグ挿入装置は、位置・姿勢誤差を含んだ様々な環境下で電源用３ピンプラグ挿入を実現することができ、実際に使用できることが確認された。 The best mode for carrying out the power supply 3-pin plug insertion device according to the power supply 3-pin plug insertion task skill according to the present invention has been described based on the first and second embodiments. Already using the present invention, the insertion of the 3-pin plug for power supply by the task skill shown in the embodiment was executed. It has been confirmed that the power supply 3-pin plug insertion device by this task skill can realize the power supply 3-pin plug insertion in various environments including position / posture errors and can be actually used.
これまでは、日常生活や向上などで電気を動力源とする装置の有する電源用３ピンプラグを動力供給源である電源用３ピンコンセントへ挿入する作業は、人に拠らなければならなかった。さらに、ロボットにより、電源用３ピンプラグ挿入を実施するには、電源用３ピンプラグ１２と電源用３ピンコンセント１３間に位置・姿勢誤差があると、電源用３ピンプラグ挿入が遂行できなかったが、本発明では前記のように位置・姿勢誤差があっても問題なく電源用３ピンプラグ挿入を実現することができる。 Until now, the work of inserting the 3-pin plug for power supply of the device using electricity as a power source for daily life and improvement, etc., has to rely on a person. Furthermore, in order to insert the power supply 3-pin plug by the robot, if there is a position / posture error between the power supply 3-pin plug 12 and the power supply 3-pin outlet 13, the power supply 3-pin plug could not be inserted. In the present invention, even when there is a position / posture error as described above, insertion of a 3-pin plug for power supply can be realized without any problem.
したがって、既知環境だけでなく、様々な未知環境下で必要とされる電源用３ピンプラグ挿入を本発明に関わる電源用３ピンプラグ挿入タスクスキルによる電源用３ピンプラグ挿入装置で実現することができる。 Therefore, the power supply 3-pin plug insertion required not only in the known environment but also in various unknown environments can be realized by the power supply 3-pin plug insertion device using the power supply 3-pin plug insertion task skill according to the present invention.
１ タスクスキルによる電源用３ピンプラグ挿入装置
２ ロボット
３ 力センサ
４ ハンド
５ カメラ
６ ロボット制御装置
７ ハンド制御装置
８ 力センサ情報取得装置
９ カメラ制御装置
１０ タスクスキル実行装置
１１ タスクスキル実装装置
１２ 電源用３ピンプラグ
１３ 電源用３ピンコンセント
１４ 電源用３ピンコンセント丸穴
１５ 電源用３ピンコンセント四角穴
1 3 pin plug insertion device for power supply by task skill 2 Robot 3 Force sensor 4 Hand 5 Camera 6 Robot control device 7 Hand control device 8 Force sensor information acquisition device 9 Camera control device 10 Task skill execution device 11 Task skill implementation device 12 For power supply 3-pin plug 13 3-pin outlet for power supply 14 3-pin outlet round hole for power supply 15 3-pin outlet square hole for power supply
Claims (2)
前記カメラの映像情報に基づいて前記電源用３ピンプラグと電源用３ピンコンセントの軸方向位置をある程度一致させた上で、以後行う前記電源用３ピンプラグの挿入操作を、
（ａ）電源用３ピンコンセントへの接近・接触動作
（ｂ）電源用３ピンコンセントへの押付け動作
（ｃ）電源用３ピンコンセント丸孔への挿入穴探索動作
（ｄ）電源用３ピンコンセントへの押付け動作
（ｅ）電源用３ピンコンセント丸孔への挿入確認動作
（ｆ）電源用３ピンコンセント四角穴への挿入穴探索動作
（ｇ）力解除動作
（ｈ）電源用３ピンプラグを電源用３ピンコンセントに押し込む挿入動作Ｉ
（ｉ）前記電源用３ピンプラグを電源用３ピンコンセントに対し揺動させる挿入動作II
（ｊ）力解除動作
に分類し、これらの動作（ａ）ないし（ｊ）のそれぞれを実現するために、ロボットアーム各軸の制御に、次のようにインピーダンス制御、力制御を割り当てたことを特徴とする電源用３ピンプラグの挿入を行うためのロボットアーム制御装置。
（ａ）電源用３ピンコンセントへの接近・接触動作
接近方向と逆向きに所定の力が生じるまで、全軸についてインピーダンス制御
（ｂ）電源用３ピンコンセントへの押付け動作
前記（ａ）の動作における所定の力を所定時間維持するまで、全軸についてインピーダンス制御
（ｃ）電源用３ピンコンセント丸孔への挿入穴探索動作
接近方向と直交する平面内において移動させ、接近方向に作用する力が、前記動作（ｂ）において維持した所定の力より絶対値で小さくなるまで、全軸についてインピーダンス制御
（ｄ）電源用３ピンコンセントへの押付け動作
接近方向と逆向きに所定の力が生じ、これが所定時間継続するまで、全軸についてインピーダンス制御
（ｅ）電源用３ピンコンセント丸孔への挿入確認動作
接近方向と直交する平面内において移動させ、該移動方向に絶対値で所定の力が生じ、これが所定時間継続するまで、全軸についてインピーダンス制御
（ｆ）電源用３ピンコンセント四角穴への挿入穴探索動作
ヨー軸周りに所定角度揺動させ、接近方向に作用する力が所定時間絶対値で所定以下となるか、あるいは、ヨー軸周りのモーメントが所定時間絶対値で所定以上となるまで、全軸についてインピーダンス制御
（ｇ）力解除動作
接近方向の力、ヨー軸方向に作用するモーメントが０となりこれが所定時間継続するまで、全軸について力制御
（ｈ）電源用３ピンプラグを電源用３ピンコンセントに押し込む挿入動作Ｉ
所定時間経過するまで、全軸についてインピーダンス制御
（ｉ）前記電源用３ピンプラグを電源用３ピンコンセントに対し揺動させる挿入動作II
ピッチ軸周りに所定角度の揺動を繰り返し、接近方向に所定時間絶対値で所定以上の力が発生するまで、全軸についてインピーダンス制御
（ｊ）力解除動作
接近方向の力、ピッチ軸方向のモーメントが０となりこれが所定時間継続するまで、全軸について力制御 In a robot arm control apparatus for inserting a 3-pin plug for power supply by controlling an articulated robot arm based on image information of a force sensor and a camera,
Based on the video information of the camera, the axial position of the 3-pin plug for power supply and the 3-pin outlet for power supply are matched to some extent, and then the insertion operation of the 3-pin plug for power supply to be performed thereafter is performed.
(A) Approaching / contacting operation to a 3-pin outlet for power supply (b) Pushing operation to a 3-pin outlet for power supply (c) Searching for an insertion hole into a round hole of a 3-pin outlet for power supply (d) 3-pin outlet for power supply (E) Confirmation of insertion into the 3-pin outlet round hole for power supply (f) Search operation for insertion hole into the square hole of 3-pin outlet for power supply (g) Force release operation (h) Power supply for 3-pin plug for power supply Operation I push into a 3-pin outlet
(I) Insertion operation for swinging the power 3-pin plug with respect to the power 3-pin outlet II
(J) In order to classify the force release operation and realize each of these operations (a) to (j), the control of each axis of the robot arm is assigned impedance control and force control as follows. A robot arm control device for inserting a characteristic 3-pin plug for power supply.
(A) Approach / contact operation to power 3-pin outlet Impedance control for all axes until a predetermined force is generated in the direction opposite to the approach direction (b) Push operation to power 3-pin outlet Operation (a) Impedance control for all axes until the predetermined force at is maintained for a predetermined time (c) Insert hole search operation into the 3-pin outlet round hole for power supply The force acting in the approach direction is moved in a plane orthogonal to the approach direction Impedance control for all axes until the absolute value becomes smaller than the predetermined force maintained in the operation (b) (d) Pushing operation to the 3-pin outlet for power supply A predetermined force is generated in the direction opposite to the approaching direction. Impedance control for all axes until it continues for a predetermined time (e) Operation for confirming insertion into a 3-pin outlet round hole for power supply A plane perpendicular to the approach direction Moved in, predetermined force occurs in absolute value to the moving direction, which until continues for a predetermined time, the Ri insertion hole search operation yaw axis circumference to all axes impedance control for (f) 3-pin outlet square hole for supply by a predetermined angle swing, or a force acting on the contact near direction is given below at predetermined time absolute value, or until moment about the yaw axis becomes a predetermined or more predetermined time absolute value, impedance control for all axes (G) Force release operation Force control for all axes until the force acting in the approaching direction and the moment acting in the yaw axis direction become zero and this continues for a predetermined time. (H) Insertion operation to push the 3-pin plug for power supply into the 3-pin outlet for power supply I
Impedance control for all axes until a predetermined time elapses (i) Insertion operation for swinging the power supply 3-pin plug with respect to the power supply 3-pin outlet II
Impedance control is performed on all axes until a force greater than or equal to a predetermined value is generated in the approaching direction for a predetermined time in the approaching direction. (J) Force release operation Force in the approaching direction, moment in the pitching axis Force control for all axes until becomes zero and continues for a predetermined time
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005169906A JP4441615B2 (en) | 2005-06-09 | 2005-06-09 | Robot arm control device for inserting 3-pin plug for power supply |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005169906A JP4441615B2 (en) | 2005-06-09 | 2005-06-09 | Robot arm control device for inserting 3-pin plug for power supply |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006341348A JP2006341348A (en) | 2006-12-21 |
| JP4441615B2 true JP4441615B2 (en) | 2010-03-31 |
Family
ID=37638686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005169906A Expired - Fee Related JP4441615B2 (en) | 2005-06-09 | 2005-06-09 | Robot arm control device for inserting 3-pin plug for power supply |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4441615B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111509526A (en) * | 2019-01-30 | 2020-08-07 | 矢崎总业株式会社 | Connector mating device |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012029227A1 (en) * | 2010-08-31 | 2012-03-08 | パナソニック株式会社 | Controller and control method for master-slave robot, master-slave robot, control program, and integrated electronic circuit |
| JP6577233B2 (en) * | 2015-05-11 | 2019-09-18 | 株式会社安川電機 | Automated working cell for biotechnology and medicinal chemistry, automated working method for biotechnology and medicinal chemistry, and automated working cell |
| JP7244087B2 (en) * | 2017-05-29 | 2023-03-22 | フランカ エーミカ ゲーエムベーハー | Systems and methods for controlling actuators of articulated robots |
| CN112894830A (en) * | 2021-03-05 | 2021-06-04 | 西安热工研究院有限公司 | Intelligent wiring system and wiring method for robot to machine room jumper |
| CN113036577B (en) * | 2021-03-10 | 2022-12-06 | 珠海小工蜂科技有限公司 | Power plug inserts electric detection and uses puts right device |
-
2005
- 2005-06-09 JP JP2005169906A patent/JP4441615B2/en not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111509526A (en) * | 2019-01-30 | 2020-08-07 | 矢崎总业株式会社 | Connector mating device |
| CN111509526B (en) * | 2019-01-30 | 2021-10-22 | 矢崎总业株式会社 | Connector mating device |
| US11417996B2 (en) | 2019-01-30 | 2022-08-16 | Yazaki Corporation | Connector fitting device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006341348A (en) | 2006-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6733239B2 (en) | Controller and robot system | |
| Safeea et al. | Kuka sunrise toolbox: Interfacing collaborative robots with matlab | |
| JP5545534B2 (en) | Robot teaching reproduction device, teaching reproducing method, and teaching data creation method | |
| JP4441615B2 (en) | Robot arm control device for inserting 3-pin plug for power supply | |
| US20180029232A1 (en) | Control apparatus and robot | |
| JP2018012183A (en) | Robot control device, robot, and robot system | |
| CN107671853B (en) | Open robot track planning control method and system | |
| US11833687B2 (en) | Robot apparatus, control method for the robot apparatus, assembly method using the robot apparatus, and recording medium | |
| US20220331964A1 (en) | Device and method for controlling a robot to insert an object into an insertion | |
| JP2017052015A (en) | Control device, robot and robot system | |
| JP2006212741A (en) | Task skill generating device | |
| CN115194752A (en) | Apparatus and method for training neural network to control task-inserted robot | |
| JP2020138292A (en) | Robot system and control method | |
| Debus et al. | Cooperative human and machine perception in teleoperated assembly | |
| JP2015223649A (en) | Gear incorporation system and gear incorporation method | |
| JP2015186834A (en) | Robot control apparatus, holding unit control device, robot, holding unit, robot control method and program | |
| CN113787518B (en) | Robot tail end attitude control method, device, equipment and storage medium | |
| JP2020138294A (en) | Robot system | |
| WO2018214156A1 (en) | Method of correcting locomotion control command of robot, and related apparatus for same | |
| US20220335710A1 (en) | Device and method for training a neural network for controlling a robot for an inserting task | |
| KR102426456B1 (en) | Teaching method for collaborative robot and device using the same | |
| JP2020138293A (en) | Robot system and control method | |
| JP2010162687A (en) | Master/slave device for determining control information of robot and hand, and method for determining control information of the same | |
| CN109664273B (en) | Industrial robot cursor dragging teaching method and system | |
| JP4378517B2 (en) | Robot arm control device for round handle valve operation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071121 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080528 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090415 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090602 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090803 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090825 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091026 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091201 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091202 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4441615 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140122 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140122 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140122 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |