JP3884249B2

JP3884249B2 - Teaching system for humanoid hand robot

Info

Publication number: JP3884249B2
Application number: JP2001255290A
Authority: JP
Inventors: 晴久川崎; 哲也毛利; 聡伊藤
Original assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Current assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Priority date: 2001-08-24
Filing date: 2001-08-24
Publication date: 2007-02-21
Anticipated expiration: 2021-08-24
Also published as: JP2003062775A

Description

【０００１】
【発明の属する技術分野】
本発明は、多指多関節の人間型ハンドを有するロボット（以下、人間型ハンドロボット）に関するものであり、特に、その人間型ハンドの教示システムに関するものである。
【０００２】
【技術的背景】
人間型ハンドロボットの例としては、例えば、発明者たちにより開発されたＧｉｆｕＨａｎｄＩＩ（図１参照）がある（H. Kawasaki, K. Tsuneo, K. Uchiyama, & T.Kurimoto, Dexterous Anthropomorphic Robot Hand with Distributed Tactile Sensor: Gifu Hand II,・Proc. of IEEE Int. Conf. on System, Man and Cybernetics pp. II-782 ・787, 1999参照）。このＧｉｆｕＨａｎｄＩＩは、形や機構の双方とも人間の手とほぼ同様となるように設計されている。即ち、この人間型ハンドロボットは、親指１１０と４つの指１２２，１２４，１２６，１２８とを有しており、親指１１０は４つの関節と４つの自由度を持ち、各指１２２，１２４，１２６，１２８も４つの関節と３つの自由度を有している。すべてのサーボモータは、手のフレーム内に搭載されている。６軸の力センサが各指先に付けられており、６２４個の触覚センサが、掌１４０や親指等の指の表面に分布している。そして、このＧｉｆｕＨａｎｄＩＩは、人間の手の形状ばかりでなく、運動空間も同じようになるように構成されている。
このような人間型ハンドロボットの教示方式は、従来、マスターとする人間の掌と指の動き（以下、掌と指の両者を指し示すときは人間の場合は手、ロボットの場合はハンドと呼ぶ）を、直接スレーブであるロボットに目標値として伝える直接的マスター・スレーブ方式による教示が一般的である。しかし、マスターとスレーブとの掌と指の大きさが異なり、指の作業領域が一致せず運動機能も異なるため、マスターの指関節角度をスレーブで実現しても、指先の到達領域が異なるため作業が実行できないことがあり、人間はその差異を考慮してマスターである人間の手を動かす必要があり、円滑な教示が困難なことが多かった。
他の方法として、マスターである人間の掌の位置・姿勢はそのままロボット・ハンドでも実現するようにし、ロボットの指先の位置を最も位置誤差が少なくなるように指の角度を調整して指の大きさや運動機能の違いを吸収するようにしている方法もある（R. N. Rohling and J. M. Hollerbach，"Optimized FingertipMapping for Teleoperation of Dexterous Robot Hand，Proc. of IEEE International Conference on Robotics and Automation，pp.769-775，1993参照）。しかし、掌の位置・姿勢が固定されるため、人間の手とロボット・ハンドの幾何学寸法等が類似していないと、共通の作業領域が狭いため、マスターの指先位置をスレーブで実現することは困難なことが多く、さらに、スレーブでの可動範囲であっても、運動学上の特異点近傍のために所定の力や速度を指先で生じさせることが困難であったりした。
【０００３】
【発明が解決しようとする課題】
本発明の目的は、マスターである人間の動作からスレーブである人間型ハンドロボットへの動作の教示方法において、両者の幾何学的な寸法の差異、指関節の可動範囲の差異、関節の自由度数の差異等により、作業領域と作業能力が異なるために円滑な教示が困難であったことを大幅に改善するロボット教示方式を提供することを目的としている。
【０００４】
【課題を解決するための手段】
上記の目的を達成するために、本発明は、指及び掌を有する人間型ハンドロボットの動作の目標軌道を生成する教示システムにおいて、環境中の人間作業における掌、指、及び対象物体の３次元運動を計測する計測部と、前記計測部からのデータを用いて、ロボット・ハンドの指と対象物体との接触点を、人間の指と対象物体との接触点と一致させるように、指についての教示データを優先的に作成するとともに、ロボット・ハンドの掌の位置・姿勢について、指機構の可動範囲においてロボット・ハンドの可操作性を解析して、可操作性を最大にするように、教示データを作成する可操作性解析部とを備えることを特徴とする
前記計測部は、環境での対象物を人間が操作するときの、対象物体と人間の指との接触点を計測データとすることができる。
さらに、このシステムは、人間が作業するための仮想環境を生成するバーチャル・シミュレーション部を備え、前記環境中での人間作業は、前記バーチャル・シミュレーション部から、対象物体に対する作用を人間の手にフィードバックするためのフォース・フィードバック・グローブを付けて行うこともできる。
【０００５】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態を説明する。
図２は、本発明の実施形態における人間型ハンドロボットの教示システムの構成例である。図２に示されるように、人間型ハンドロボット教示システム２００は、ロボット制御系２１０およびロボット教示系２５０で構成されている。ロボット制御系２１０は、スーパバイザ２１２のもとに、アーム・コントローラ２１４で制御されるアーム２２２、ハンド・コントローラ２１６で制御されるハンド２２４、そして、ビジョン・コントローラ２１８で制御されるカメラ２２６で構成されている。また、ロボット教示系２５０は、データ・アクイジション・システム２６２、３次元位置計測装置２６４、フォース・フィードバック・グローブ３００、バーチャル・シミュレーション・システム２５２、ハンド可操作性解析システム２５４、ロボット・シミュレーション・システム２５６で構成されている。
【０００６】
この実施形態である人間型ハンドロボット教示システム２００の動作を説明する。遠隔にあるロボットの置かれた環境は、ロボット制御系２１０のカメラ２２６で写されて、ビジョン・コントローラ２１８およびスーパバイザ２１２を介してロボット教示系２５０に送られる。ロボット教示系２５０に送られたビジョンの視覚映像と、操作対象である物体の事前情報から仮想環境をバーチャル・シミュレーション・システム２５２で構築する。構築された仮想環境では、少なくとも物体に対応する仮想物体と人間の手に対応する仮想ハンドが提示される。人間は、手にフォース・フィード・バックを付けて、仮想環境の中で仮想物体を対象にロボットに操作させたい一連の操作を行う。このときの、人間の手の３次元位置が、３次元計測装置２６４で計測され、データ・アクイジション・システム２６２を介してバーチャル・シミュレーション・システム２５２に送られる。このときに、バーチャル・シミュレーション・システム２５２は、仮想ハンドと仮想物体に空間的な干渉があるときには、仮想抗力を計算しフォース・フィードバック・グローブに送る。この仮想抗力は仮想物体と接触する指先、掌の各部ごとに計算される。この仮想抗力はフォース・フィードバック・グローブにおいて、指先や掌での力の目標値として制御される。このため、干渉があると、人間は接触感覚や把持感覚が得られ、実際の物体操作と同様な感覚で仮想物体が操作できる。
なお、対象のロボット・ハンドとしては、例えば、前に述べたＧｉｆｕＨａｎｄＩＩのように、人間の手と同様に５本指あり、拇指は４関節４自由度、その他の指は４関節３自由度であるものである。
【０００７】
用いられているフォース・フィードバック・グローブの構成例を図３に示す。仮想環境においては、現実世界の実際の物体を操作していると人間が感じるために、十分なもっともらしさが必要である。力の情報、特に接触に関するものは、大変重要である。力は視覚的効果とともに、人間に対して提示されるべきである。このシステムでは、仮想物体を把握している人間の手に対する力は、フォース・フィードバック・グローブを用いて、人間の手に提示されている。図３に示すように、フォース・フィードバック・グローブ３００は、フォース・フィードバック機構と、人間の手の関節角度を計測するデータ・グローブ（例えば、Virtual Technologies 社のCyber Glove）とで構成されている。フォース・フィードバック機構は、腕３１６上に位置している１０個のサーボモータ３５２を有している。サーボモータ３５２によるトルクは、ワイヤ３４２により各指に対して伝達される。指における力は、力センサ３３８，３３４により計測される。人間は、各指の２点で力を感じる。この例のフォース・フィードバック・グローブ３００における力の分解能は、約３０グラムである。この構成を用いることにより、仮想的な力が人間に対して伝えられる。フォース・フィードバック・グローブ３００を用いるためには、手と仮想的な対象物体との位置関係、接触点、接触力の正確な情報が必要である。例えば、次の５つのパラメータが動きのデータとして、計測される。
^refｖ_object：基準座標系に関する対象物体の速度
^objectｖ_hand：対象物座標系に関する手の速度
^handｐ_i-th _finger：ハンド座標系に関するｉ番目の指の位置
^handｖ_i-th _finger：ハンド座標系に関するｉ番目の指の速度
^handｆ_i-th _finger：ハンド座標系に関するｉ番目の指の仮想的な力
【０００８】
さて、一連の操作の観測値は、データ・アクイジション・システム２６２を介して、ハンド可操作性解析システム２５４に送られる。図４は、教示のための説明図である。図４（ａ）は、バーチャル・シミュレーション・システム２５２内の人間の手を示している。図４（ｂ）は、制御対象である人間型ロボット・ハンドを示している。教示は、人間の手で対象物を指先で把握し、その動作を人間型ハンドロボットで実行するための目標値を定めること目的としている。図４（ａ）に示すように、対象物体には対象物座標系が設定され、掌にはハンド座標系が設定される。対象物体と掌の位置・姿勢はこれらの座標系の位置・姿勢として定義される。図中の丸印は、接触点を表す。このような教示システムにおいては、人間の手とロボット・ハンドとの形状と運動機能が異なるため、基準座標系で表した掌の位置・姿勢^refｒ_handと指先位置^refＰ_fingersを、人間型ハンドロボットにより同時に実現できない場合があり、実現できても機構の可動範囲限界にあって対象物体を操作しづらいことがある。物体の把持動作を考えた場合、掌の位置・姿勢^refｒ_handよりも把持位置−−すなわち指先位置^refＰ_fingers−−が重要であるため、それらを優先させて^refｒ_handを修正することが望ましい。このとき、観測データで示された指先位置^refＰ_fingersを実現できる掌の位置・姿勢^refｒ_handは、ある領域内で無数に存在し唯一に定まらない。そこで、観測データのうち、基準座標系で表した対象物体の位置・姿勢^refｒ_objectと指先の位置^refＰ_fingers及び力^refＦ_handは、教示データとして用い、掌の位置・姿勢^refｒ_handに関しては、教示データとしてその値を利用するのではなく、次のロボット・ハンドの可操作性を表す評価指標を最大もしくはほぼ最大とするように掌の位置・姿勢を解析し、その結果を教示データとしている。なお、上記の掌の位置・姿勢^refｒ_hand，指先位置^refＰ_fingers，対象物体の位置・姿勢^refｒ_objectは、ベクトル値である。
【０００９】
ロボットアームの機構評価を行なう方法にヤコビ行列Ｊの特性の解析がある。一般的なロボットアームについて、手先の位置・姿勢の速度ｒと関節速度ｑの関係は次式によって表される。
【数１】

このとき、手先の位置・姿勢の速度ｒのとりうる領域はヤコビ行列Ｊに依存し、その大きさはｄｅｔ（Ｊ^T Ｊ）にほぼ比例する。したがって、ｄｅｔ（Ｊ^T Ｊ）がロボットアーム機構の作業性能を評価する指標となりうる。しかし、この指標にはロボットの関節角度の可動範囲への考慮が含まれていない。そこで、教示コマンドを生成する際に、最適なハンドの位置・姿勢を求めるためのハンド可操作性の評価関数ＰＩを次式のように
【数２】

と定義し、ＰＩの値が最大となるよう掌の位置・姿勢を定めることとしている。ここで、ｉはハンドの指を示す添字で、拇指から小指を順番に１〜５で表している。右辺第１項は、各指の機構のヤコビ行列Ｊ_iによって評価される可操作性を示しており、ｗ_iはその重みを示している。右辺第２項は、各指の機構の可動範囲によって評価される可操作性を示しており、ρ_iはその重みを示している。可動範囲を評価する関数ＰＩは次式で示される。
【数３】
ＰＩ＝−Σ_j｛（ｑ_i-j−a_i-j）^-2＋（ｂ_i-j−q_i-j）^-2｝（ａ_i-j＜b_i-j）
ここで、ｑ_i-j は指ｉのｊ番目の関節の角度である。ａ_i-jとｂ_i-jは指ｉのｊ番目の関節の限界角度である。ａ_i-j＜ｑ_i-j＜ｂ_i-jにおいて、ｑ_i-jが値を変化させてａ_i-jあるいはｂ_i-jに近づくと、ＰＩの値は急激に変化して、大きな負の値となる。明らかに、ＰＩは、指関節角度の関数である。
【００１０】
さて、いま教示の対象として扱っているロボット・ハンドは５本指で拇指は４関節４自由度機構、その他の指は４関節３自由度機構であるため、各指の機構のヤコビ行列Ｊ_iは、次式の関係が成り立つ。
【数４】

ここで、^handｖ_i-th _fingerはハンド座標で表される指先の速度である。ｑ_i-th _fingerは制御可能な関節の角速度であり、拇指以外の指については、ｑ_i-th _finger＝［ｑ_i-1，ｑ_i-2，ｑ_i-3］^T（ｉ＝２〜５）であり、拇指は４関節４自由度でｑ_1st _finger＝［ｑ_1-1，ｑ_1-2，ｑ_1-3，ｑ_1-4]^Tであり、^handｖ_1st _fingerの自由度３に対して１自由度の冗長性を持っている。各指のｑ_i- _１の変化は、内転、外転の動きとなり、ｑ_i-j（ｊ＞１）は前屈、後屈の動きとなる。拇指は、冗長自由度を有するため、掌と指先の姿勢を前屈、後屈に関係する指機構の根元から指先までの関節角度の合計値θ＝ｑ_1-2＋ｑ_1-3＋ｑ_1-4と定めこれを調整可能なパラメータとして利用している。したがって、評価関数ＰＩは、指関節ベクトルｑ_i-th _finger（ｉ＝１〜５）とθの関数として表される。一方、掌の位置・姿勢^refｒ_hand＝［ｘ_hand，ｙ_hand，ｚ_hand，θ_hand，φ_hand，ψ_hand］^Tと指先位置^refＰ_fingers及びθが与えられると、指関節ベクトルが決まる。ここで、ｘ_hand，ｙ_hand，ｚ_handは基準座標であらわした掌の位置をしめす。θ_hand，φ_hand，ψ_handは基準座標からハンド座標への回転をあらわすｚ−ｙ−ｚオイラー角である。指先位置^refＰ_fingersは、教示データとして与えられる。したがって、指の逆運動学から、評価関数ＰＩは^refｒ_handとθの関数ＰＩ（^refｒ_hand，θ）として表せる。重みｗ_iおよびρ_iは、どの指もそれぞれ１．０，１０．０^-10に設定した。ＰＩを最大にする^refｒ_handとθは、最急降下法を用いて計算する。最急降下法の計算を行なうには、^refｒ_handおよびθの初期値が必要であり、この初期値は指の可動範囲内に収まっていなくてはならない。そこで、初期値は人間の掌の位置・姿勢とθの値とし、これがロボット・ハンドで実現できないときは、近傍を探索して可動範囲内に収まっている初期値を求める。対象としているロボット・ハンドが人間のそれと類似していると、容易に条件を満たす初期値を見つけることができる。
ハンド可操作性解析システムで求めた掌の位置・姿勢、指先の位置、指先の力は、対象物に設定した対象物座標系で記述しなおし、ロボット・シミュレーション・システムでこれらの教示データを元に作業の実行をシミュレーションし、良好な教示データであることを確認後、ロボット制御系に教示データが送られる。
【００１１】
本実施形態では、ＶＲ空間でのマスターである人間の作業に基づくロボット教示について述べているが、ＶＲ空間での作業に限定されず、実空間での人間作業においても、ロボット・ハンドの可操作性を最大もしくはその近傍とするようにロボット・ハンドの掌の位置・姿勢を調整するロボット教示も同様な教示方法であることは言うまでもない。
また、本実施形態での拇指は４関節４自由度のため、指の姿勢を表すパラメータθを導入したが、拇指が３自由度の場合にはこのようなパラメータを導入する必要はないことは言うまでもない。
さらに、本実施形態では５本指ロボット・ハンドであったが、４本以下のロボット・ハンドにおいても、人間がロボットの指数に応じて教示をおこなうことにより、同様な教示方法が実行できることは言うまでもない。
また、この上述の教示システムは、発明者の一人によるロボット教示システム（特開２０００−３０８９８５号公報参照）で述べられている、動作の意図を解釈してロボットの教示コマンドを作成するときにも適用することができる。
【００１２】
【発明の効果】
以上の構成により、人間の手とロボット・ハンドと作業領域が異なっていても、ハンド可操作性を最大もしくはほぼ最大にするロボット・ハンドの掌の位置・姿勢を求め、それを教示データとすることにより、人間が対象物を操作した接触点をロボット・ハンドにより実現でき、かつハンド可操作性を最大とするため、ロボット・ハンドの指先で発生できる速度や力が最大となり、物体の操作を教示したように実現することが可能になる。
【図面の簡単な説明】
【図１】人間型ハンドロボットのハンドの構成を示す図である。
【図２】本発明の一実施例の教示システムの構成例を示す図である。
【図３】本発明のフォース・フィードバック・グローブの構成例を示す図である。
【図４】本発明の実施形態の教示の説明図である。
【符号の説明】
１１０親指
１２０各指
１２２，１２４，１２６，１２８指
１４０掌
２００人間型ハンドロボット教示システム
２１０ロボット制御系
２１２スーパバイザ
２１４アーム・コントローラ
２１６ハンド・コントローラ
２１８ビジョン・コントローラ
２２２アーム
２２４ハンド
２２６カメラ
２５０ロボット教示系
２５２バーチャル・シミュレーション・システム
２５４ハンド可操作性解析システム
２５６ロボット・シミュレーション・システム
２６２データ・アクイジション・システム
２６４３次元位置計測装置
３００フォース・フィードバック・グローブ
３１６腕
３４２ワイヤ
３５２サーボモータ
３３８，３３４力センサ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a robot having a multi-finger multi-joint humanoid hand (hereinafter referred to as a humanoid hand robot), and more particularly to a teaching system for the humanoid hand.
[0002]
[Technical background]
An example of a humanoid hand robot is, for example, Gifu Hand II (see FIG. 1) developed by the inventors (H. Kawasaki, K. Tsuneo, K. Uchiyama, & T. Kurimoto, Dexterous Anthropomorphic Robot Hand with Distributed Tactile Sensor: Gifu Hand II, Proc. of IEEE Int. Conf. on System, Man and Cybernetics pp. II-782, 787, 1999). The Gifu Hand II is designed so that both the shape and the mechanism are almost the same as those of a human hand. That is, this humanoid hand robot has a thumb 110 and four

fingers

122, 124, 126, and 128. The thumb 110 has four joints and four degrees of freedom, and each

finger

122, 124, 126. 128 have four joints and three degrees of freedom. All servo motors are mounted in the hand frame. A six-axis force sensor is attached to each fingertip, and 624 tactile sensors are distributed on the surface of fingers such as the palm 140 and the thumb. And this Gifu Hand II is comprised so that not only the shape of a human hand but an exercise space may become the same.
The teaching method of such a humanoid hand robot has conventionally been the movement of the palm and fingers of the master human (hereinafter referred to as a hand in the case of a human and a hand in the case of a robot) Is generally taught by a direct master / slave method in which a robot that is a direct slave is transmitted as a target value. However, the palm and finger sizes of the master and slave are different, the finger work areas do not match, and the motor functions are also different. In some cases, the work cannot be performed, and humans need to move the hands of the master human being in consideration of the difference, and smooth teaching is often difficult.
As another method, the position and posture of the human palm as the master can be realized with the robot hand as it is, and the fingertip position is adjusted by adjusting the finger angle so that the position error of the robot is minimized. There are also methods that absorb the difference in sheath motor function (RN Rohling and JM Hollerbach, "Optimized Fingertip Mapping for Teleoperation of Dexterous Robot Hand, Proc. Of IEEE International Conference on Robotics and Automation, pp.769-775, 1993). However, since the palm's position and posture are fixed, if the geometrical dimensions of the human hand and the robot hand are not similar, the common work area is narrow, so the master's fingertip position is the slave. In many cases, it is difficult to realize, and even within the movable range of the slave, it is difficult to generate a predetermined force or speed at the fingertip because of the vicinity of the singular point in kinematics. It was or.
[0003]
[Problems to be solved by the invention]
It is an object of the present invention to provide a method for teaching movement from a human action as a master to a humanoid hand robot as a slave, in a geometrical dimension difference between them, a difference in a movable range of a finger joint, and a degree of freedom of a joint. It is an object of the present invention to provide a robot teaching method that greatly improves the fact that smooth teaching is difficult due to the difference in work area and work ability due to differences in the above.
[0004]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides a teaching system for generating a target trajectory of a movement of a humanoid hand robot having a finger and a palm. a measuring unit for measuring an exercise, using data from the measuring unit, the contact point between the finger and the object of the robot hand, to so that to match the point of contact with the human finger and the target object, a finger In order to maximize the maneuverability by analyzing the maneuverability of the robot hand in the movable range of the finger mechanism for the position and posture of the palm of the robot hand. The measurement unit is configured to measure a contact point between a target object and a human finger when a human operates the target object in the environment. To do Can do.
The system further includes a virtual simulation unit that generates a virtual environment for human work, and the human work in the environment feeds back the action on the target object from the virtual simulation unit to the human hand. It can also be done with a force feedback glove to do.
[0005]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 2 is a configuration example of a teaching system for a humanoid hand robot according to an embodiment of the present invention. As shown in FIG. 2, the humanoid hand robot teaching system 200 includes a robot control system 210 and a robot teaching system 250. The robot control system 210 is composed of an arm 222 controlled by an arm controller 214, a hand 224 controlled by a hand controller 216, and a camera 226 controlled by a vision controller 218 under a supervisor 212. ing. The robot teaching system 250 includes a data acquisition system 262, a three-dimensional position measurement device 264, a force feedback glove 300, a virtual simulation system 252, a hand manipulability analysis system 254, and a robot simulation system 256. It consists of
[0006]
The operation of the humanoid hand robot teaching system 200 according to this embodiment will be described. The environment where the remote robot is placed is imaged by the camera 226 of the robot control system 210 and sent to the robot teaching system 250 via the vision controller 218 and the supervisor 212. A virtual environment is constructed by the virtual simulation system 252 from the visual image of the vision sent to the robot teaching system 250 and the prior information of the object to be operated. In the constructed virtual environment, at least a virtual object corresponding to the object and a virtual hand corresponding to a human hand are presented. Humans perform a series of operations in which a robot is operated on a virtual object as a target in a virtual environment with a force feed back in a hand. The three-dimensional position of the human hand at this time is measured by the three-dimensional measuring device 264 and sent to the virtual simulation system 252 via the data acquisition system 262. At this time, when there is a spatial interference between the virtual hand and the virtual object, the virtual simulation system 252 calculates a virtual drag and sends it to the force feedback glove. This virtual drag is calculated for each part of the fingertip and palm in contact with the virtual object. This virtual drag is controlled as a target value of the force at the fingertip or palm in the force feedback glove. For this reason, when there is interference, a human can obtain a touch sensation and a grip sensation, and can operate a virtual object with a sense similar to an actual object operation.
As the target robot hand, for example, as in the case of the Gifu Hand II described above, there are five fingers as in the human hand, the thumb is 4 joints 4 degrees of freedom, and the other fingers are 4 joints 3 freedom. Is the degree.
[0007]
A configuration example of the force feedback glove used is shown in FIG. In a virtual environment, sufficient plausibility is necessary for humans to feel that they are manipulating real objects in the real world. Force information, especially about contact, is very important. Power should be presented to humans with visual effects. In this system, force on a human hand grasping a virtual object is presented to the human hand using a force feedback glove. As shown in FIG. 3, the force feedback glove 300 includes a force feedback mechanism and a data glove (for example, Cyber Glove from Virtual Technologies) that measures the joint angle of a human hand. The force feedback mechanism has ten servo motors 352 located on the arms 316. Torque by the servo motor 352 is transmitted to each finger by the wire 342. The force on the finger is measured by force sensors 338 and 334. Humans feel power at two points on each finger. The force resolution in the force feedback glove 300 of this example is about 30 grams. By using this configuration, a virtual force is transmitted to humans. In order to use the force feedback globe 300, accurate information on the positional relationship between the hand and the virtual target object, the contact point, and the contact force is required. For example, the following five parameters are measured as motion data.
^ref v _object : velocity of the target object with respect to the reference coordinate system
^object v _hand : speed of the hand with respect to the object coordinate system
^{hand pi} _-th _finger : position of the _i-th _{finger in the} hand coordinate system
^hand v _i-th _finger : speed of the _i-th _{finger with} respect to the hand coordinate system
^hand f _i-th _finger : virtual force of the i _th _{finger on the} hand coordinate system
Now, observation values of a series of operations are sent to the hand manipulability analysis system 254 via the data acquisition system 262. FIG. 4 is an explanatory diagram for teaching. FIG. 4A shows a human hand in the virtual simulation system 252. FIG. 4B shows a humanoid robot hand to be controlled. The purpose of teaching is to determine a target value for grasping an object with a fingertip of a human hand and executing the operation by a humanoid hand robot. As shown in FIG. 4A, the target object coordinate system is set for the target object, and the hand coordinate system is set for the palm. The position and orientation of the target object and palm are defined as the position and orientation of these coordinate systems. Circles in the figure represent contact points. In such a teaching system, since the shape and movement function of a human hand and a robot hand are different, the palm position / posture ^ref r _hand and the fingertip position ^ref P _fingers expressed in the reference coordinate system are used as a humanoid hand. There may be cases where it cannot be realized simultaneously by the robot, and even if it can be realized, it may be difficult to operate the target object due to the limit of the movable range of the mechanism. Considering the gripping operation of the object, since the grip position--that is, the fingertip position ^ref P _fingers --is more important than the palm position / posture ^ref r _hand, it is possible to correct the ^ref r _hand by giving priority to them. desirable. At this time, there are innumerable palm positions / postures ^ref r _hand that can realize the fingertip position ^ref P _fingers indicated by the observation data, and are not determined uniquely. Therefore, among the observation data, the position / posture ^ref r _{object of} the target object represented by the reference coordinate system, the position ^ref P _fingers and the force ^ref F _hand of the fingertip are used as teaching data, and the position / posture ^ref r _hand of the palm is used. Does not use the value as teaching data, but analyzes the position and posture of the palm so that the evaluation index representing the operability of the next robot hand is maximized or almost maximized, and the result is used as teaching data. It is said. The palm position / posture ^ref r _hand , fingertip position ^ref P _fingers , and target object position / posture ^ref r _object are vector values.
[0009]
An analysis of the characteristics of the Jacobian matrix J is a method for evaluating the mechanism of the robot arm. For a general robot arm, the relationship between the hand position / posture speed r and the joint speed q is expressed by the following equation.
[Expression 1]

At this time, the region where the speed r of the hand position / posture can take depends on the Jacobian matrix J, and the size thereof is substantially proportional to det (J ^T J). Therefore, det (J ^T J) can be an index for evaluating the work performance of the robot arm mechanism. However, this index does not include consideration of the movable range of the joint angle of the robot. Therefore, when generating a teaching command, an evaluation function PI of hand manipulability for obtaining an optimal hand position / posture is expressed as follows:

The position and posture of the palm are determined so that the PI value is maximized. Here, i is a subscript indicating the finger of the hand, and the first to fifth fingers are represented by 1 to 5 in order. The first term on the right side indicates the manipulability evaluated by the Jacobian matrix J _i of the mechanism of each finger, and w _i indicates the weight. The second term on the right side indicates the manipulability evaluated by the movable range of each finger mechanism, and ρ _i indicates the weight. A function PI for evaluating the movable range is expressed by the following equation.
[Equation 3]
PI = −Σ _j {(q _ij −a _ij ) ⁻² + (b _ij −q _ij ) ⁻² } (a _ij <b _ij )
Here, q _ij is the angle of the j-th joint of the finger i. a _ij and b _ij are the limit angles of the j-th joint of the finger i. In a _ij <q _ij <b _ij , when q _ij changes its value and approaches a _ij or b _ij , the PI value changes rapidly and becomes a large negative value. Clearly, PI is a function of the finger joint angle.
[0010]
Now, since the robot hand currently handled as the object of teaching is five fingers, the thumb is a four-joint four-degree-of-freedom mechanism, and the other fingers are four-joint three-degree-of-freedom mechanisms, the Jacobian matrix J _i of each finger mechanism The following relationship holds.
[Expression 4]

Here, ^hand v _i-th _finger is the speed of the fingertip expressed in hand coordinates. q _i-th _finger is the angular velocity of the controllable joint. For fingers other than the thumb, q _i-th _finger = [q _i-1 , q _i-2 , q _i-3 ] ^T (i = 2 to 2) 5), and the thumb _finger has 4 joints with 4 degrees of freedom and q _1st _finger = [q _1-1 , q _1-2 , q _1-3 , q _1-4 ] ^T , and the degree of freedom of ^hand v _1st _finger is 3 Have one degree of freedom. The change of q _i- ₁ of each finger is an adduction and abduction movement, and q _ij (j> 1) is a forward and backward bend movement. Since the thumb finger has redundant degrees of freedom, the total value of the joint angles from the root of the finger mechanism to the fingertip related to the forward and backward bending of the palm and fingertip θ = q _1-2 + q _1-3 + q _{1- 4} is used as an adjustable parameter. Therefore, the evaluation function PI is expressed as a function of the finger joint vector q _i-th _finger (i = 1 to 5) and θ. On the other hand, given the palm position / posture ^ref r _hand = [x _hand , y _hand , z _hand , θ _hand , φ _hand , ψ _hand ] ^T and fingertip positions ^ref P _fingers and θ, the finger joint vector is determined. Here, x _hand , y _hand , and z _hand indicate the position of the palm expressed in reference coordinates. θ _hand , φ _hand , and ψ _hand are _zyz Euler angles representing rotation from the reference coordinates to the hand coordinates. The fingertip position ^ref P _fingers is given as teaching data. Therefore, from the inverse kinematics of the finger, the evaluation function PI is ^ref r _hand and function PI ^(ref r _hand, θ) of θ can be expressed as. The weights w _i and ρ _i were set to 1.0 and 10.0 ⁻¹⁰ for every finger, respectively. ^Ref r _hand and θ that maximize PI are calculated using the steepest descent method. In order to calculate the steepest descent method, initial values of ^ref r _hand and θ are required, and these initial values must be within the movable range of the finger. Therefore, the initial value is the position / posture of the human palm and the value of θ, and when this cannot be realized by the robot hand, the initial value within the movable range is obtained by searching the vicinity. If the target robot hand is similar to that of a human, an initial value that satisfies the condition can be easily found.
The palm position / posture, fingertip position, and fingertip force obtained by the hand operability analysis system are described again in the object coordinate system set for the object, and the robot simulation system is used to obtain these teaching data. After the execution of the work is simulated and it is confirmed that the teaching data is good, the teaching data is sent to the robot control system.
[0011]
In the present embodiment, robot teaching based on the work of the human being who is the master in the VR space is described. However, the present invention is not limited to the work in the VR space, and the robot hand can be operated even in the human work in the real space. Needless to say, robot teaching that adjusts the position and orientation of the palm of the robot hand to maximize or close the performance is a similar teaching method.
In addition, since the thumb in this embodiment has four joints and four degrees of freedom, a parameter θ representing the posture of the finger is introduced. However, when the thumb has three degrees of freedom, it is not necessary to introduce such a parameter. Needless to say.
Further, although the five-fingered robot hand is used in the present embodiment, it goes without saying that a similar teaching method can be executed by a human being teaching according to the index of the robot even in four or fewer robot hands. Yes.
The above teaching system is also used when creating a teaching command for a robot by interpreting the intention of the operation described in the robot teaching system by one of the inventors (see Japanese Patent Laid-Open No. 2000-308985). Can be applied.
[0012]
【The invention's effect】
With the above configuration, even if the human hand and the robot hand are in different work areas, the position and posture of the palm of the robot hand that maximizes or almost maximizes the operability of the hand is obtained and used as teaching data. This makes it possible to realize the contact point where the human has manipulated the object with the robot hand, and to maximize the maneuverability of the hand. It can be realized as taught.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a hand of a humanoid hand robot.
FIG. 2 is a diagram illustrating a configuration example of a teaching system according to an embodiment of the present invention.
FIG. 3 is a diagram showing a configuration example of a force feedback glove according to the present invention.
FIG. 4 is an illustration of teachings of an embodiment of the present invention.
[Explanation of symbols]
110 Thumb 120 Each

finger

122, 124, 126, 128 Finger 140 Palm 200 Humanoid hand robot teaching system 210 Robot control system 212 Supervisor 214 Arm controller 216 Hand controller 218 Vision controller 222 Arm 224 Hand 226 Camera 250 Robot teaching system 252 Virtual simulation system 254 Hand operability analysis system 256 Robot simulation system 262 Data acquisition system 264 Three-dimensional position measuring device 300 Force feedback glove 316 Arm 342 Wire 352 Servo motors 338, 334 Force sensor

Claims

In a teaching system for generating a target trajectory of an action of a humanoid hand robot having a finger and a palm ,
A measuring unit that measures the three-dimensional movement of the palm, fingers, and target object in human work in the environment;
Using data from the measuring unit, the contact point between the finger and the object of the robot hand, to so that to match the point of contact with the human finger and the target object, preferentially the teaching data for the finger Creates teaching data to maximize the operability by analyzing the operability of the robot hand in the movable range of the finger mechanism for the position and posture of the palm of the robot hand A humanoid hand robot teaching system comprising: a sex analysis unit.

The teaching system for a humanoid hand robot according to claim 1, wherein the measurement unit uses, as measurement data, a contact point between the target object and a human finger when the human operates the target object in the environment. Characteristic humanoid hand robot teaching system.

In the teaching system of the humanoid hand robot according to claim 1 or 2,
In addition, a virtual simulation unit that generates a virtual environment for human work is provided, and the human work in the environment feeds back the action on the target object from the virtual simulation unit to the human hand. Teaching system for humanoid hand robots, characterized by attaching a force feedback glove.