JP3540362B2 - 手術用マニピュレータの制御システム及びその制御方法 - Google Patents
手術用マニピュレータの制御システム及びその制御方法 Download PDFInfo
- Publication number
- JP3540362B2 JP3540362B2 JP13181194A JP13181194A JP3540362B2 JP 3540362 B2 JP3540362 B2 JP 3540362B2 JP 13181194 A JP13181194 A JP 13181194A JP 13181194 A JP13181194 A JP 13181194A JP 3540362 B2 JP3540362 B2 JP 3540362B2
- Authority
- JP
- Japan
- Prior art keywords
- manipulator
- coordinate system
- slave
- coordinate
- master
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 49
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 description 39
- 238000011282 treatment Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 22
- 239000011159 matrix material Substances 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 15
- 210000003128 head Anatomy 0.000 description 15
- 230000009466 transformation Effects 0.000 description 11
- 210000001508 eye Anatomy 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 238000003780 insertion Methods 0.000 description 8
- 230000037431 insertion Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 210000000683 abdominal cavity Anatomy 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 238000001444 catalytic combustion detection Methods 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 238000011426 transformation method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002674 endoscopic surgery Methods 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 210000003815 abdominal wall Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 210000000232 gallbladder Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Surgical Instruments (AREA)
- Endoscopes (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、生体の、例えば体腔内に挿入したマニピュレータを遠隔的に操作し、診断・処置などの手術を行う手術用マニピュレータの制御システム及びその制御方法に関する。
【０００２】
【従来技術】
腹壁等の体壁に穴を開け、この穴を通じて内視鏡や処置具を経皮的に体腔内に挿入することにより、その体腔内での様々な処置を行なう経皮的内視鏡下手術が、大きな切開を要しない低侵襲なものとして、近年、注目されている。こうした術式は胆のう摘出手術や肺の一部を摘出除去する手術等で広く行なわれるようになってきた。
【０００３】
このような手術において、マニピュレータに内視鏡や処置具を搭載し、そのマニピュレータによる内視鏡や処置具を用いた手術を術者に代わって間接的に行う手術用マニピュレータシステムが、米国特許第５，２１７，００３号において提案されている。
【０００４】
こうした手術用マニピュレータの遠隔操作では、内視鏡等の観察手段によりモニターに映し出された腹腔内の患部の状態を見ながら、操作者がジョイスティックを操作することによって例えば操作方向にマニピュレータを動作させる方式や、あるいはマスターアームを用いる、いわゆるマスタースレーブ方式がとられていた。
【０００５】
【発明が解決しようとする課題】
しかし、ジョイスティックやマスタースレーブ等の遠隔操作手段を用いて手術用マニピュレータを操作する場合、その遠隔操作手段と、手術を行うマニピュレータとが物理的に分離されているため、両者の動作方向の対応関係が、両者を設置する際の相対的な位置関係により決定されてしまい、その両者の座標系の向きが一致しないことが多く起きる。例えば、マスタマニピュレータとスレーブマニピュレータの組を複数設けた場合、その複数のマスタマニピュレータは１人で操作することが多く、術者のいる同じ側のベットサイドに設置することになるのが普通である。一方、スレーブマニピュレータはベットサイドの周辺における設置スペースが制限されるため、複数のマスタマニピュレータは術者のいない反対側のベットサイドにも設置することになる。
【０００６】
つまり、各スレーブマニピュレータとこれに対応するそれぞれのマスタマニピュレータを同じサイドに設置できない状況にある。このため、例えば、操作者が遠隔操作手段により右に動作させようとしたとき、手術を行うマニピュレータが左へ動いてしまうといった、動作方向に矛盾が生じ、操作者が意図しない方向に移動するといった事態が起きる。つまり、このような状況では、マスタマニピュレータとスレーブマニピュレータのベース座標系は一致しない向きになり、そのベース座標系を基に位置を対応させようとすると、マスタマニピュレータを操作した場合、それに対応したスレーブマニピュレータは操作者が意図しない方向に移動し、動作方向の矛盾が生じてしまうのである。
【０００７】
もちろん、対応するスレーブマニピュレータとマスタマニピュレータを同じサイドに設置した場合でも、それらのマニピュレータ同志が互いに干渉しないように間隔をおいて設置しなければならないから、対応する向きの位置関係がずれて設置せざるを得なくなる事情がある。いずれにしても、前記同様な事情があり、操作性の点で問題があった。
【０００８】
以上の如く、内視鏡や処置具を搭載したマニピュレータを個々の遠隔操作手段を用い、協調作業により手術を行う場合にあっては、遠隔操作手段同士の位置関係、内視鏡と処置具を搭載したマニピュレータ同士の位置関係、及びそれぞれのマニピュレータを遠隔操作手段の位置関係により、操作時の動作方向が決定されてしまい、動作方向の矛盾が生じる、もしくは設置条件に制約を受けるという問題があった。
【０００９】
本発明は前記事情に着目してなされたものであり、その目的とするところは、手術用マニピュレータと遠隔操作手段との相対的な位置関係によってその操作性を損なわれず、操作者の意図するように操作可能な状態に設定できる手術用マニピュレータの制御システム及びその制御方法を提供することにある。
【００１０】
【課題を解決するための手段】
請求項１に係る発明は、操作者が指示を与えるためのマスターマニピュレータと、前記マスターマニピュレータの移動に対応した動作を行うためのスレーブマニピュレ一タと、を有する手術用マニピュレータの制御システムにおいて、第１の基準位置を基準にして前記マスターマニピュレータの第１の所定の部位の第１の座標を示す第１の座標情報を算出する第１の座標算出手段と、前記スレーブマニピュレータの第２の所定の部位が前記第１の座標と等しい座標となるような第２の基準位置を設定する基準位置設定手段と、前記基準位置設定手段で設定された第２の基準位置を基準にして前記スレーブマニピュレータの第２の所定の部位の第２の座標を示す第２の座標情報を算出する第２の座標算出手段と、前記マスターマニピュレータの前記第１の所定の部位の前記第１の座標情報と前記スレーブマニピュレータの前記第２の所定の部位の前記第２の座標情報とに基づいて前記第１の座標と前記第２の座標との偏差を示す偏差情報を算出する偏差算出手段と、前記偏差算出手段で算出された前記第１の座標と前記第２の座標との偏差を少なくするように前記偏差情報に基づいて前記スレーブマニピュレータを移動させる移動手段とを有することを特徴とするものである。
また、請求項２に係る発明は、操作者が指示を与えるためのマスターマニピュレータと、前記マスターマニピュレータの移動に対応した動作を行うためのスレーブマニピュレ一タとを有する手術用マニピュレータの制御方法において、第１の基準位置を基準にして前記マスターマニピュレータの第１の所定の部位の第１の座標を示す第１の座標情報を算出する第１の座標算出工程と、前記スレーブマニピュレータの第２の所定の部位が前記第１の座標と等しい座標となるような第２の基準位置を設定する基準位置設定工程と、前記基準位置設定工程で設定された第２の基準位置を基準にして前記スレーブマニピュレータの第２の所定の部位の第２の座標を示す第２の座標情報を算出する第２の座標算出工程と、前記マスターマニピュレータの前記第１の所定の部位の前記第１の座標情報と前記スレーブマニピュレータの前記第２の所定の部位の前記第２の座標情報とに基づいて、前記第１の座標と前記第２の座標との偏差を示す偏差情報を算出する偏差算用工程と、前記偏差算出工程で算出された前記第１の座標と前記第２の座標との偏差を少なくするように、前記偏差情報に基づいて前記スレーブマニピュレータを移動させる移動工程とを有することを特徴とするものである。
【００１１】
【実施例】
（第１の実施例）
この実施例は、手術用マニピュレータとしてのスレーブマニピュレータの動作方向と、その操作手段であるマスタマニピュレータの動作方向の対応関係を任意に設定できる手術用マニピュレータシステムに係るものである。以下、これを図１〜１０を参照して説明する。
【００１２】
図１はその手術用マニピュレータシステムの概略的な構成を示しており、同図中、１は手術台（ベット）であり、この手術台１上には患者２が上向きに寝せられている。手術台１の左右サイドには、第１のスレーブマニピュレータ３と第２のスレーブマニピュレータ４が別々に設置されている。各スレーブマニピュレータ３，４は、いずれも複数のアーム５を連結した関節構造によって構成されており、第１のスレーブマニピュレータ３の基台７は手術台１の一方のサイドに固定されている。第２のスレーブマニピュレータ４の基台８は手術台１の他方のサイドに固定される。つまり、第１のスレーブマニピュレータ３と第２のスレーブマニピュレータ４は患者２の左右サイドからその患者２の術野に向かって異なる向きで別々に延びる、つまり、逆向きの状態に設置されている。
【００１３】
前記各スレーブマニピュレータ３，４の先端部には、例えば把持鉗子、メス、縫合器、注射器等の処置具９，１０が搭載されている。なお、このような処置具の代わりに、内視鏡や超音波エコープローブまたは手術用顕微鏡等の観察手段を搭載してもよい。そして、このスレーブマニピュレータ３，４の先端部を、患者２の体内に経皮的に挿入して処置もしくは観察を行う経皮的内視鏡下手術を行うようになっている。
【００１４】
前述した各スレーブマニピュレータ３，４における各関節部にはアクチュエータ１１とエンコーダ１２が設けられており、それの制御手段によりアクチュエータ１１を駆動して、このスレーブマニピュレータ３，４の関節を屈曲動作させる。エンコーダ１２はその関節の回転角度を検出する。これらのスレーブマニピュレータ３，４は、それぞれ固有のベース座標系１３，１４を有しており、これらのベース座標系１３，１４は、図１で示すように、それぞれのスレーブマニピュレータ３，４の基部７，８に固定されたＸ0 、Ｙ0 、Ｚ0 でそれぞれ表現される直交座標系である。
【００１５】
また、同図１中、Ｘ、Ｙ、Ｚで表現された座標系１５は、スレーブマニピュレータ３，４のタスク座標系であり、このタスク座標系は後述するようにその設定が任意に変更可能な座標系である。スレーブマニピュレータ３，４を操作する制御手段はその固有の座標系を基準としてこれに対応するマスタマニピュレータ１６，１７の制御手段からの情報により、そのスレーブマニピュレータ３，４の位置及びオリエンテーションを決定してスレーブマニピュレータ３，４を動かす。
【００１６】
第１のスレーブマニピュレータ３を設置した手術台１の右サイドには、術者が位置するが、この右サイドには、第１のマスタマニピュレータ１６と第２のマスタマニピュレータ１７が設置されている。第１のマスタマニピュレータ１６と第２のマスタマニピュレータ１７はその手術台１に対して直接、またはその周辺に位置した操作台１８に固定される。
【００１７】
ところで、操作台１８は、術者の都合に応じて適宜の位置に移動することが可能である。また、通常、操作台１８は手術室の床に設置されるが、天井に吊持してもよいものである。いずれにしても、これらのマスタマニピュレータ１６，１７は、同一の術者が操作することができるように、手術台１の一方のサイド周辺に設置される。
【００１８】
これらのマスタマニピュレータ１６，１７は、いずれも複数のアーム１９を連結した関節構造によって構成されており、各々の関節部にはアクチュエータ２１とエンコーダ２２が設けられており、それの制御手段によりアクチュエータ２１を駆動して、マスタマニピュレータ１６，１７の関節を屈曲動作させる。エンコーダ２２はその各関節の回転角度が検出する。これらのマスタマニピュレータ１６，１７はそれぞれ固有のベース座標系２３，２４を有しており、これらのベース座標系２３，２４は、図１で示すように、それぞれのマスタマニピュレータ１６，１７の基部２５，２６に固定されたＸ0 、Ｙ0 、Ｚ0 でそれぞれ表現される直交座標系である。
【００１９】
また、図１中、Ｘ、Ｙ、Ｚで表現された座標系２７は、マスタマニピュレータ１６，１７のタスク座標系であり、これは後述するようにその設定が任意に変更可能な座標系である。マスタマニピュレータ１６，１７を操作する制御手段はその固有の座標系を基準として、その制御手段により、そのマスタマニピュレータ１６，１７の位置及びオリエンテーションを決定してスレーブマニピュレータ３，４を動かす。
【００２０】
図２は、スレーブマニピュレータ３，４と、マスタマニピュレータ１６，１７の動作を制御するシステムの構造を示す。すなわち、それぞれスレーブマニピュレータ３，４を制御する制御装置３１と、マスタマニピュレータ１６，１７を制御する制御装置３２が設けられており、各制御装置３１，３２は、それぞれＭＰＵ（micro processor unit）３３，３４、アクチュエータ駆動回路３５，３６、およびインターフェース回路３７，３８を有して構成される。
【００２１】
マスタマニピュレータ１６，１７の先端部の先端、つまり、作用点であるＴＣＰ（ tool center point ）は、ベース座標系２３，２４、またはタスク座標系２７における空間上の座標データとして、ＭＰＵ３４で計算される。これは、前述のエンコーダ２２により検出された関節角の幾何学的なベクトル合成によって求められる。この空間データは、マスタマニピュレータ１６，１７のインターフェース回路３８を介し、スレーブマニピュレータ３，４のインターフェース回路３７に通信される。さらに、マスタマニピュレータ１６，１７の座標データは、ＭＰＵ３３に送られ、ここで、スレーブマニピュレータ３，４の動作指令が計算される。
【００２２】
すなわち、スレーブマニピュレータ３，４の先端部の先端、つまり、作用点であるＴＣＰは、ベース座標系１３，１４またはそのタスク座標系１５における空間上の座標データとしてＭＰＵ３３で計算されているが、これが、対応するマスタマニピュレータ１６，１７の座標データと一致するように、両者の偏差が動作指令として計算される。この動作指令はアクチュエータ駆動回路３５に送られ、スレーブマニピュレータ３，４のアクチュエータ１１を動作させる。
【００２３】
一方、スレーブマニピュレータ３，４のＭＰＵ３３で計算された偏差は、スレーブマニピュレータ３，４のインターフェース回路３７を介して、マスタマニピュレータ１６，１７のインターフェース回路３８へ通信される。
【００２４】
この偏差は、さらにマスタマニピュレータ１６，１７のＭＰＵ３４に送られ、ここで、マスタマニピュレータ１６，１７の力指令が計算される。この力指令は、アクチュエータ駆動回路３６へ送られ、マスタマニピュレータ１６，１７のアクチュエータ２１にその移動を抑える向きの力を発生させる。これによりマスタマニピュレータ１６，１７に力感覚を与える。
【００２５】
そこで、図１において、マスタマニピュレータ１６の操作により、スレーブマニピュレータ３は、対応する動作を行う。つまり、マスタマニピュレータ１６の操作により、そのマスタマニピュレータ１６に対応する比例的に対応する動作をスレーブマニピュレータ３が行うという、いわゆるマスタスレーブ方式の動作関係にある。
【００２６】
この実施例においては、スレーブマニピュレータ３では図１中で示すタスク座標系１５が、マスタマニピュレータ１６のベース座標系２３を平行移動させた関係となるよう設定されており、マスタマニピュレータ１６のＴＣＰのベース座標系２３における点Ｐが、スレーブマニピュレータ３のＴＣＰのタスク座標系１５における点ｐに一致するように制御されるため、マスタマニピュレータ１６を操作する方向とスレーブマニピュレータ３が移動する向きとは一致する。
【００２７】
一方、図１で示すように、マスタマニピュレータ１７のタスク座標２７は、スレーブマニピュレータ４のベース座標系１４を平行移動させた関係となるように後述する設定方法で座標設定がなされており、さらに、マスタマニピュレータ１７のＴＣＰのタスク座標系２７における点Ｑが、スレーブマニピュレータ４のＴＣＰのベース座標系１４における点ｑに対応一致するように設定されている。このため、ベース座標系１４，２４の向きが異なるにも拘らず、マスタマニピュレータ１７を操作する方向とスレーブマニピュレータ４が動く向きとを一致させることができる。
【００２８】
次に、この実施例においてのマスタマニピュレータ１６，１７およびスレーブマニピュレータ３，４のタスク座標系の設定を変更する方法について述べる。これにはベクトルやマトリックスを用いる幾つかの方法が考えられるが、ここでは、以下の３つの例を挙げて説明する。
（第１の設定方法）
この最初の設定方法は、いわゆる３点タッチアップ法であり、これを図３および図４を参照して説明する。図３で示すマニピュレータ４０を想定して説明する。ここで想定したマニピュレータ４０のベース座標系４１におけるＴＣＰの位置データは、そのマニピュレータ４０を構成するアーム４３の長さ、およびその関節に設けられたエンコーダ４４での検出角度から求められる。
【００２９】
そこで、手術環境に応じて空間上において新たなタスク座標４５を設定するには、まず、その設定したいタスク座標４５の原点Ｐ１を任意的に決め、その定めた原点Ｐ１の位置に、マニピュレータ４０のＴＣＰを合わせるように、そのマニピュレータ４０を動作させる。その制御装置３１，３２はその原点Ｐ１のベース座標系４１における位置データを読み取ってこれを記憶する。これにより、新たに設定しようとするタスク座標系４５の原点Ｐ１の位置が定義できる。
【００３０】
ついで、このタスク座標系４５のＸ軸を手術環境に適すると思う任意の方向を選定し、その仮に決めたＸ軸上で、＋側の任意の点Ｐ２の位置に、ＴＣＰを合わせるべく、マニピュレータ４０を動作させる。そして、点Ｐ２にＴＣＰを合わせ、そのときのベース座標系４１における点Ｐ２の位置データを読み取ってこれを記憶する。また、原点Ｐ１から点Ｐ２に向かう第１のベクトル（Ｐ1 Ｐ2 ）を求めることにより、タスク座標系４５のＸ軸が定義される。なお、ベクトルの表示として２点を示す２文字の上に記す矢印は省略する。以下、同じである。
【００３１】
さらに、新たに設定しようとするタスク座標系４５の空間で、例えば手術環境に適すると仮に想定されるＸＹ軸の平面上で、Ｙ成分が＋である任意の点Ｐ３を決め、この仮に決めた点Ｐ３の位置に、ＴＣＰを合わせるようにマニピュレータ４０を動作させる。そして、点Ｐ３のベース座標系４１における位置データを読み取ってこれを記憶する。
【００３２】
そして、点Ｐ１から点Ｐ３に向かう第２のベクトル（Ｐ1 Ｐ3 ）を求め、さらに、前述した第１のベクトル（Ｐ1 Ｐ2 ）との外積｛ベクトル（Ｐ1 Ｐ2 ）×ベクトル（Ｐ1 Ｐ3 ）｝のベクトルを求めると、このベクトルの方向がＺ軸の方向になる。 さらに、｛ベクトル（Ｐ1 Ｐ2 ）×ベクトル（Ｐ1 Ｐ3 ）×ベクトル（Ｐ1 Ｐ2 ）｝のベクトルを求めると、これの方向がＹ軸の方向となる。
【００３３】
以上の方法により、マニピュレータ４０のＴＣＰの位置合わせにより、空間上の任意のタスク座標系４５が定義される。
また、図４で示す式（１）〜（４）を用いてベース座標系４１に対する設定したいタスク座標系４５への座標マトリックスＭを計算で求め、タスク座標系４５におけるＴＣＰの位置ベクトルＱを求める際、既知のベース座標系４１におけるＴＣＰの位置ベクトルＰに対し、『Ｑ＝Ｍ-1Ｐ』の式のように、座標マトリックスＭ-1を左から乗じて求めてもよい。図５は以上のタスク座標系を設定する手順を示したものである。
（第２の設定方法）
次に、第２の設定方法について、図６および図７を参照して説明する。この方法によりタスク座標系を設定するマニピュレータ４０を図６で示すように想定する。
【００３４】
このマニピュレータ４０のベース座標系４１と、手術環境に応じて空間上に新たに設定したいタスク座標系４５との、変換座標マトリックスＭは一般に下式のように表現される。
【００３５】
【数１】
【００３６】
ここで、ｐ（ｐx 、ｐy 、ｐz ）は、座標系の原点のベクトル
ｏ（ｏx 、ｏy 、ｏz ）は、座標系の原点の接近ベクトル
ａ（ａx 、ａy 、ａz ）は、座標系の原点の方向ベクトル
ｎ（ｎx 、ｎy 、ｎz ）は、座標系の原点の法線ベクトル
である。
【００３７】
これらの変数は、このマニピュレータ４０を設置した位置、およびタスク座標系４５の定義位置の関係を計測することにより、計算によって容易に求めることが可能である。つまり、マニピュレータ４０の制御装置内のＭＰＵのレジスタに設定することで、上式を計算し、タスク座標系４５におけるＴＣＰの位置ベクトルＱを求める際に、既知のベース座標系４１におけるＴＣＰの位置ベクトルＰに対し、『Ｑ＝Ｍ-1Ｐ』の式のように、座標マトリックスＭ-1を左から乗じて求めればよい。
（第３の設定方法）
最後に、第３の設定方法について、図８ないし図１０を参照して説明する。この設定方法を説明するため、図８および図９で示すようなマニピュレータ４０を想定する。
【００３８】
マニピュレータ４０に搭載するツール４６に固有な座標系としてツール座標系４７が次のように定義される。これは、ＴＣＰを常に原点とし、ツール４６の系に固定された座標系であり、マニピュレータ４０の動作を行う際に都合の良い方向で定義されている。例えば、図８および図９でのツール４６として内視鏡を想定した場合、図８で示すように、その内視鏡の長手方向をＸ軸とし、内視鏡のオフセット方向にＺ軸、これらに直交する方向にＹ軸を設けておけば、内視鏡を長手方向に移動したい場合には、ツール座標系４７のＸ軸方向の移動を指令すれば良いことになる。
【００３９】
数式で、このツール座標系４７を表現する場合、図１０で示すように、ベース座標系４１に対する座標変換マトリックスにより、『Ｈ・Ｔ』の式で表現される。この式の文字は本来太い文字で表現されるが、ここでは通常の文字で表現する。以下においても同じである。
【００４０】
ここで、Ｔは、マニピュレータのエンドエフェクタ取付面に固定されたメカニカルインターフェース座標系に対する座標変換マトリックスであり、これは、マニピュレータのアームの長さ、エンコーダにより検出される関節角度等により幾何学的に求められる。また、『Ｈ』は、メカニカルインターフェース座標系に対するツール座標系の座標変換マトリックスであり、前式（Ａ）と同様の形式で表現され、各成分の変数はツールの形状と、選定したツール座標系の方向より求めれば良い。さらに、タスク座標系におけるＴＣＰの位置ベクトルＱを求める際には、既知のベース座標系４１におけるＴＣＰの位置ベクトルＰに対し、 『Ｑ＝Ｍ-1Ｐ』の式のように、座標マトリックスＭ-1を左から乗じて求めればよい。
【００４１】
以上の方法により、ツール座標系４７が定義される。ここでは、ある瞬間のツール座標系４７をタスク座標系として定義し、さらに、これを利用して、マスタスレーブ方式の動作指令に利用する。すなわち、まず、空間上の任意の点Ｐ１にマニピュレータ４０のＴＣＰがある場合において、そのツール座標系４７をタスク座標系として定義する。それ以後、マニピュレータ４０が動作し、ツール座標系が、図８中、Ｐ２に示される座標系（ｘ´：ｙ´：ｚ´）に移っても、Ｐ１におけるツール座標系４７はタスク座標系として記憶されている。
【００４２】
次に、前者の後者に対する座標変換マトリックスＫを求める。図８では、スレーブマニピュレータの座標変換マトリックスＫを『Ｋｓ』、マスタマニピュレータの座標変更マトリックスＫをＫｍとすると、ＫｓがＫｍに一致するようにスレーブマニピュレータを動作されることにより、それぞれのマニピュレータにおいて、タスク座標系を定義した時点からの現在位置までの相対的な位置関係を対応させることができる。
【００４３】
これには、次の効果がある。つまり、マスタスレーブ方式により手術用マニピュレータを遠隔的操作する場合に、両者の位置関係が常に一致することは難しい。例えば両者の電源がオフの状態で、機械的に両者の位置関係がズレてしまう場合がある。特に、マスタマニピュレータの関節にアクチュエータがなく、エンコーダのみ設けて、いわゆるユニラテラル方式のマスタスレーブ方式により遠隔操作する場合には、重力や操作者の力によりマスタマニピュレータの位置は簡単にズレてしまう。
【００４４】
しかし、両者の位置関係がズレた状態から、マスタスレーブ方式により一致させるように動作させると、予期せぬ方向へ動作する等、問題ある。
一方、図８に示す方法によると、位置がズレてもマスタスレーブによる動作を開始する時点で、マスタマニピュレータおよびスレーブマニピュレータの両者のツール座標系とタスク座標系として設定し、このタスク座標系から現在位置のツール座標系Ｋｍ，Ｋｓを一致させるようにスレーブマニピュレータを動作させることにより、前述のように予期せぬ方向へ動作することはない。
（第２の実施例）
この実施例は、手術用マニピュレータと、その操作手段であるセンサの動作方向に対応させる関係に座標を設定する制御システムの例である。
【００４５】
図１１は、手術用マニピュレータ５１と、その操作手段である３次元位置センサ手段５２とからなるシステムの概略的な構成を示している。手術用マニピュレータ５１は、例えば前述した第１の実施例の場合のスレーブマニピュレータと同様の構成からなり、手術台の一方のサイドに設置されて、同様に使用される。また、前述した第１の実施例と同様の制御装置によって制御されるようになっている。
【００４６】
一方、操作手段である３次元位置センサ手段５２は、マニピュレータを遠隔的に操作する手段として用いる３次元位置センサであり、手術用マニピュレータ５１、例えばスレーブマニピュレータの操作手段として作用するものである。
【００４７】
３次元位置センサはソースコイル５３およびセンスコイル５４からなり、これらはいずれも互いに直交する３つの各軸を中心として巻回した３軸直交の３つの磁界発生または受信用コイル要素を含む略立方体状のものとして作られている。ソースコイル５３の各コイル要素には、図示しないドライブ回路によって時間差をとり順次、パルス電流が印加され、これにより、図１３で示すように、ソースコイル５３を含むシステム空間内に、ｘ，ｙ，ｚの各軸方向の基準磁界を順次発生させる発信部を構成する。また、センスコイル５４は、そのソースコイル５３で発生する各基準磁界を検出してそれ自身の位置と向きを検出する受信部を構成する。
【００４８】
この場合、ソースコイル５３とセンスコイル５４、少なくとも、センスコイル５４は、図１１に示すように手５６で握り締めることができる程度の大きさを有する。また、身体の一部、例えば、頭部に取り付けることもできる程度の大きさであってもよい。なお、センスコイル５４を操作者の頭部、あるいは頭部に取り付けたＨＭＤ（Head Mounted Display）に固定し、頭の動きによりスレーブマニピュレータを操作することも可能である。
【００４９】
このように３次元位置センサ手段５２は、磁界を発生させる発信部としてのソースコイル５３と、このソースコイル５３で発生する磁界を受信する受信部としてのセンスコイル５４とを備える。この３次元位置センサ手段５２は、図１２で示すように、ソースコイル５３に対するセンスコイル５４の相対的な位置と向きを検知する相対位置検出回路５８を備える。さらに、３次元位置センサ手段５２のソースコイル５３とセンスコイル５４により検出された３次元的な相対位置情報により、マニピュレータ５１を遠隔的に動作させるマニピュレータ制御部５９を備える。そして、そのソースコイル５３から得られた動作指令により、マニピュレータ５１を動作させる遠隔操作システム５５の構成を示すものである。
【００５０】
しかして、図１３で示すように、センスコイル５４の各磁気受信用コイル要素にはその各軸方向に前記基準磁界により誘導電流が発生する。この誘導電流に基づいて相対位置検出回路５８が磁場のベクトルを検出してそれを演算することにより、ソースコイル５３とセンスコイル５４の３次元的相対位置を求められるものである。
【００５１】
求められた結果は、マニピュレータ制御部５９に伝送される。マニピュレータ制御部５９は、３次元位置センサ手段５２により検出されたセンスコイル５４の３次元的相対位置に応じて手術用マニピュレータ５１を動作させる。
【００５２】
この実施例の操作手段を前述した第１の実施例の例に適用する場合、図１４で示すようになる。すなわち、発信部であるソースコイル５３を手術台１における同じサイドにそれぞれ固定し、受信部としてのセンスコイル５４を操作者が手にもってあるいは頭に取り付けて操作する。
【００５３】
一方のスレーブマニピュレータ３は、これに対応して設けた第１の３次元位置センサ手段５２ａのソースコイル５３とセンスコイル５４の３次元的相対位置に対応して動作する。また、第１の３次元位置センサ手段５２ａのベース座標系６１とは別にタスク座標系６２を設定する。
【００５４】
このタスク座標系６２におけるセンスコイル５４に設けたセンサ座標系６３の３次元的位置関係を表すベクトルＰが、一方のスレーブマニピュレータ３の、ベース座標系１３に対するＴＣＰの３次元的位置関係を表すベクトルＰに一致するようにしてスレーブマニピュレータ３を動作させる。ここでのタスク座標系６２の設定は任意に変更可能であり、例えば、センスコイル５４に設けた直交座標系であるセンサ座標系６３を利用して設定する。例えば、ある瞬間におけるセンサ座標系６３をタスク座標系６２として定義する。
【００５５】
このようにタスク座標系６２を所望の位置に設定することにより、図１４に示すように、スレーブマニピュレータ３のベース座標系１３におけるＴＣＰの位置関係と、タスク座標系６２に対するセンサ座標系６３の位置関係が平行移動の関係となり、操作者は操作しやすい。
【００５６】
一方、他のスレーブマニピュレータ４は、第２の３次元位置センサ手段５２ｂのソースコイル５３とセンスコイル５４の３次元的相対位置に対応して動作する。この第２の３次元位置センサ手段５２ｂのベース座標系６１における、センサコイル５４に設けたセンサ座標系６３の３次元的位置関係を表すベクトルＱが、そのスレーブマニピュレータ４の任意に設定可能なタスク座標系６５に対するＴＣＰの３次元的位置関係を表すベクトルｑに一致するように、スレーブマニピュレータ４を設定し、対応関係で動作させる。すなわち、タスク座標系６５は、前述した第１の実施例においての第１または第２の設定方法によって任意に設定可能であり、この設定を行うことにより、図１４に示すようにベクトルＱとベクトルｑが平行移動の関係となり、操作者は操作しやすい。
（第３の実施例）
前述した第２の実施例では、操作手段としてのセンサとして磁気コイルを用いたセンサを使用した例を示したが、本発明は他の方式のセンサでも構わない。この第３の実施例では、視線を検知するセンサにより、手術用マニピュレータの操作を行うようにした例を示すものである。
【００５７】
図１５において、７０は経皮的に腹腔内に挿入するマニピュレータであり、このマニピュレータ７０の先端には、体腔内を立体観察可能とする立体視観察手段としての立体視スコープ７１が付設されている。
【００５８】
図１６および図１７（ａ）には、前記立体視スコープ７１の撮像した左右画面の信号を処理する図示しない制御装置が処理した信号を左右画像それぞれに表示するＨＭＤ（Head Mounted Display）７２を示しており、さらに、ＨＭＤ７２には、操作者の眼球７３ａ，７３ｂの視線方向をそれぞれ検出する視線検知センサ７４ａ，７４ｂが設けられている。
【００５９】
この視線検知センサ７４ａ，７４ｂは、前述した第１の実施例の場合と同様に、制御装置（図示せず）の演算処理部（図示せず）に接続される。この演算処理部は、視線検知センサ７４ａ，７４ｂが検知した信号を基に眼球７３ａ，７３ｂの各視線を求め、対象物の位置を算出する対象物位置算出回路を備えて構成されている。なお、前記対象物位置算出回路は、求めた対象物の位置を基に、前記立体視スコープ７１の前記可変焦点光学系を駆動制御する、いわゆるオートフォーカス制御も行う。
【００６０】
前記視線検知センサ７４ａ，７４ｂの具体例としては、図１８（ａ）に示すように、ＣＣＤカメラ７８で眼球７３ａ，７３ｂを観察するものがあり、そして、これは画像処理によりその眼球７３ａ、７３ｂの位置と、瞳孔７５ａ，７５ｂの中心位置の相対関係から検出する視線を検出する方式である。
【００６１】
また、別の構成としては、図１８（ｂ）に示すように、眼球７３ａ，７３ｂに向けて発光ダイオード７９から赤外光を出射し、眼球７３ａ，７３ｂで反射した光をＰＳＤ（ポジション・センシング・デバイス）８０で検出することにより、視線方向を検出する方式を採用することも考えられる。いずれの方式も、瞳孔と目の角膜で反射した赤外光による反射像との位置関係をマイクロコンピュータで高速演算して眼球の回転角を求め、どこを見ているかを算出する。
【００６２】
そこで、図１７（ｂ）において、前記操作者が対象物を観察しているときに、図１７（ａ）で示すように、左右の目の視線方向は対象物の虚像８１上で交わるため、各々の視線方向を視線検知センサ７４ａ，７４ｂで求めれば、対象物の虚像８１の３次元的な位置が求められる。さらに、前記ＨＭＤ７２と立体視スコープ７１との光学系の関係が既知であるので、ＨＭＤ７２における対象物の虚像の３次元的な位置から、立体視スコープ７１に対する対象物の実像の３次元的な位置が求められる。
【００６３】
前記光学系の関係とは、例えば、ＨＭＤ７２における眼球７３ａ，７３ｂと表示部８２ａ，８２ｂとの位置関係、及び立体視スコープ７１における対物光学系７１ａ，７１ｂとＣＣＤ８４ａ，８４ｂとの位置関係、さらに，各光学系の倍率等がある。理想的には、光学系の関係が相似関係であれば、図１７（ａ）（ｂ）中において示すθＬ、ψＬ、θＲ、ψＲの間には、θＬ＝ψＬ、θＲ＝ψＲの関係式が成立する。
【００６４】
しかし、相似関係でなくても、前記光学系の関係が既知であるので、容易に実像の３次元的位置を求めることができる。なお、ψＬ、ψＲは対物光学系７１ａ，７１ｂが対象物の虚像８１に合焦した場合に、対物光学系７１ａ，７１ｂ、及びＣＣＤ８４ａ，８４ｂの光軸に対する偏角である。また、θＬ、ψＬは、図１８（ａ）（ｂ）で示すように、左右の眼球７３ａ，７３ｂの瞳孔７５ａ，７５ｂの中心軸Ａ、Ｂ、つまり、左右の視線の方向と、表示部８２ａ，８２ｂとのなす角度である。
【００６５】
この図１７および図１８では、その説明を容易にするため、平面における問題として扱っているが、立体空間においても同様の原理で観察対象の位置が検出できる。
【００６６】
視線検出センサ７４ａ，７４ｂにより求めた対象物の虚像８１の座標の３次元的位置に立体視スコープ７１が向けられるように、手術用マニピュレータ７０を動作させるためにＨＭＤ７２の観察像の中心点及び立体スコープ７１の先端にそれぞれアイ座標系８５、スコープ座標系８６を設ける。アイ座標系８５における虚像の観察位置Ｐが、スコープ座標系８６における実像の観察位置ｐに、常に一致するように座標系を設定し、マニピュレータ７０を動作させる。座標系の設定変更は使用環境に応じて前述した実施例のような方法によって行うことができる。これにより、視線が向けられた観察対象の観察像を画面の中央に移動させることが可能である。
【００６７】
なお、図１５中、８７は経皮的内視鏡下手術において使用される各種の処置具である。マニピュレータ７０やこの処置具８７は経皮的に腹腔８８内に挿入される。
（第４の実施例）
この実施例はマニピュレータの操作手段として音声を使用した場合の例であり、これを図１９を参照して説明する。
【００６８】
すなわち、音声入力手段９０と、音声認識装置９１と、２つのスレーブマニピュレータ３，４、及びマニピュレータ制御装置（図示せず）を備えて構成される。操作者９２は、そのスレーブマニピュレータ３，４の操作者側から見た状態での動作方向を示す「前へ」「後へ」「上へ」「下へ」「右へ」「左へ」等の言葉を、マイクロホン等の音声入力手段９０に向けて発声すると、音声認識装置９１がその言葉の意味を解読し、マニピュレータ制御装置への指令データを生成する。
【００６９】
スレーブマニピュレータ３，４には手術台１に固定されており、その基部（基台）７，８に固定した上下、左右、前後を示すベース座標系９３がそれぞれ設定されている。これらのベース座標系９３は、マニピュレータ制御装置にて、操作者から見た方向と一致するように、その座標設定の変更が可能であり、これは前述したような方法で行うことができる。
【００７０】
このようにベース座標系を任意の方向に変更可能である。ここで、例えば、操作者９２側に設置される一方のスレーブマニピュレータ３においては操作者９２から見た方向と、あらかじめ設定されたベース座標系９３の方向とは通常一致しているため、そのベース座標系９３の変更は不要である。しかし、反対側に設置された他方のスレーブマニピュレータ４は、前記スレーブマニピュレータ３とは逆向きに取り付けられるから、操作者９２から見た方向と、あらかじめ設定されたスレーブマニピュレータ４のベース座標系９３の方向が一致せず、逆向きになる。このため、操作者９２の発声の意味に一致しない。
【００７１】
そこで、他方のスレーブマニピュレータ４についてのタスク座標系を変換し、ベース座標系９３の破線で示した方向に変更することにより、操作者９２の発声の意味に一致させるのである。これにより、そのスレーブマニピュレータ４の操作がきわめて容易になる。
【００７２】
なお、この第４の実施例では、音声入力によりマニピュレータ３，４のベース座標系９３に設定された方向に従って、スレーブマニピュレータ３，４を動作させた例を示したが、その音声入力の代わりに、図２０に示すように、上下、前後、左右のスイッチボタン９４を有する操作盤９５を利用したり、図２１で示すように、ジョイスティック９６を有する操作盤９７を使用したものでも構わないものである。
（第５の実施例）
図２２および図２３を参照して、この第５の実施例を説明する。図２２（ａ）で示すように、マニピュレータ１００は、体腔内に挿入する挿入部１０１の先端に、体腔内を観察するための観察手段１０２を設けている。この観察手段１０２には、例えば、図２３（ａ）でに示すような、立体観察可能とする立体視スコープ１０３あるいは、同図（ｂ）に示すような超音波トランスデューサ１０４を内蔵する超音波プローブ１０５等が利用できる。
【００７３】
一方、マニピュレータ１００の操作手段としてのジョイスティック１０６、前記観察手段１０２から得られた観察像を表示するための、ＴＶモニタなどからなる表示手段１０７がある。観察手段１０２の先端には、これの先端に固定されたツール座標系１０８を設け、これは、制御装置の制御手段によって、ジョイスティック１０６の操作方向Ｘ，Ｙ，Ｚに対応し動作する。制御手段に設定される前記ツール座標系１０８は、例えば前述した実施例のような方式によって、その座標設定の変換手段により設定・変更できるようになっている。
【００７４】
そこで、表示手段１０７の上下、左右、前後方向の座標１０９と、ジョイスティック１０６の操作方向Ｘ，Ｙ，Ｚとを、前述した座標変換方式により設定し直して、互いに対応させることにより、画面に対して所望の方向を見たいときに、ジョイスティック１０６の操作方向が直ちにわかり、その操作性を良くする。
（第６の実施例）
図２４および図２５を参照してこの第６の実施例を説明する。図２４は磁気コイルによる操作手段を示しており、図２５はマニピュレータを示している。この実施例でのマニピュレータ１１０は、前記第５の実施例と同様、体腔内に挿入する挿入部１１１の先端に体腔内を観察するための観察手段１１２を設けている。この観察手段１１２には、例えば、前述した図２３（ａ）でに示すような、立体観察可能とする立体視スコープ１０３、あるいは図２３（ｂ）に示すような超音波トランスデューサ１０４を内蔵する超音波プローブ１０５などが利用できる。
【００７５】
また、図２４で示すように、体腔内を観察するための観察手段１１２から得られた観察像を表示する手段としてＨＭＤ１１５があり、これを操作者１１６が頭に装着する。このＨＭＤ１１５には、前述した第２の実施例で説明したようなセンスコイル１１７を取り付け、このセンスコイル１１７の、ソースコイル１１８に対する３次元的位置関係より、操作者１１６の頭部の３次元的位置を検出するように構成されている。この検出手段で求められた操作者１１６の頭部の動きに対応して、マニピュレータ１１０を追従した動きの動作を行わせるようになっている。また、前述した実施例と同様、その一方の座標系に対する他方の座標系の設定は変更が可能なようになっており、使用環境に応じて互いに一致するように設定を変更することが可能である。
【００７６】
マニピュレータ１１０における観察手段１１２の先端には、固定されたツール座標系１１９が設定してある。また、センスコイル１１７およびソースコイル１１８にはそれぞれセンサ座標系１２１，１２２が設定してあり、この両者の３次元的位置関係は、そのセンサ座標系１２１からセンサ座標系１２２への座標変換マトリックスＭとして計算される。
【００７７】
ところで、マニピュレータは、操作者１１６の頭の動きに常に対応して動作すると、かえって不都合な場合がある。例えば、ＨＭＤ１１５を着脱する場合や、マニピュレータ１１０を静止させておきたい場合がそれである。
【００７８】
こうした場合に対応して、センサ手段から得られた３次元的な頭の位置にマニピュレータ１１０が追従する条件を無効／有効に切り替えることが可能とするスイッチ等の切替え手段を設ける。
【００７９】
この条件を有効とした場合に、有効とした瞬間のＨＭＤ１１５のセンサ座標系１２１から頭が動いた後の現在のセンサ座標系１２１′への座標変換マトリックスＰが、同様に有効とした瞬間の観察手段１１２のツール座標系１１９から移動後のツール座標系１１９′への座標変換マトリックスＱに一致するように、マニピュレータ１１０を動作させる。これによると、無効／有効の切替え時にＨＭＤ１１５の移動方向と、頭の動きの方向に矛盾が生じない。
（第７の実施例）
図２６で示す第７の実施例はその手術用マニピュレータ１１０が前述した第６の実施例で説明したものと同じ構成であり、また、体腔内を観察するための観察手段１１２から得られた観察像を表示する手段としてのＨＭＤ１１５が同じく設けられている。
【００８０】
操作者１１６の頭に装着するＨＭＤ１１５は複数のアーム１２６を連節したマニピュレータ１２７に搭載されており、マニピュレータ１２７の各関節に設けたエンコーダ１２８の関節角度により、そのＨＭＤ１１５の３次元的位置が求められる。この位置に応じて手術用マニピュレータ１１０を対応した動作を行わせるようになっている。
【００８１】
観察手段１１２の先端にはこれに固定されたツール座標系１１９がある。ＨＭＤ１１５には、これに固定されたセンサ座標系１２１がある。
ところで、マニピュレータは、操作者１１６の頭の動きに常に対応して動作すると、かえって不都合な場合がある。例えば、ＨＭＤ１１５を着脱する場合や、マニピュレータ１１０を静止させておきたい場合がそれである。
【００８２】
こうした場合に対応して、センサ手段から得られた３次元的な頭の位置にマニピュレータ１１０が追従する条件を無効／有効に切り替えることが可能とする手段を設ける。
【００８３】
この条件を有効とした場合に、有効とした瞬間のＨＭＤ１１５のセンサ座標系１２１から頭が動いた後の現在のセンサ座標系１２１′への座標変換マトリックスＰが同様に有効とした瞬間の観察手段１１２のツール座標系１１９から移動後のツール座標系１１９′への座標変換マトリックスＱに一致するように、マニピュレータ１１０を動作させる。これによると、無効／有効の切替え時にＨＭＤ１１５の移動方向と、頭の動きの方向に矛盾が生じない。
（第８の実施例）
図２７および図２８を参照して、この第８の実施例を説明する。この実施例は、モニターを見ながらの処置用マニピュレータの操作性を高める観察手段を提供するものである。図２７中、１３０は体腔内に誘導されて使用される処置用マニピュレータを示しており、このマニピュレータ１３０の先端にはツール座標系１３１が設定されている。ツール座標系１３１のＸ軸が、マニピュレータ１３０の長軸に一致させるように、その使用環境に応じてツール座標系１３１を設定する。
【００８４】
また、同図中１３３は観察用マニピュレータであり、この観察用マニピュレータ１３３の先端に設けた観察手段１３４により処置用マニピュレータ１３０を観察し、また、その表示手段であるＴＶモニター１３５の画面内に前記ツール座標系１３１をスーパインポーズさせる。
【００８５】
処置用マニピュレータ１３０の操作手段には、ツール座標系１３１の座標軸に対応して移動させる機能を設ける。これによりＴＶモニター１３５の画面内に表示される前記ツール座標系１３１を見ながらの種々の操作手段によりそれの操作を容易に行うことができる。
（第９の実施例）
図２９を参照してこの第９の実施例を説明する。この実施例は例えば前述した第１の実施例において示したように、スレーブマニピュレータ３，４と、マスタマニピュレータ１６，１７とをそれぞれ２台ずつ設けたマニピュレータシステムに係るが、特に、そのスレーブマニピュレータ３，４についてのタスク座標系を共有し、これを共有座標系１４１とする。また、マスタマニピュレータ１６，１７についてのタスク座標系も共有し、これを共有座標系１４２とする。もちろん、共有座標系１４１，１４２は座標設定が変更可能なものである。
【００８６】
そして、各々、共有座標系１４１，１４２における位置関係が対応するよう、マスタマニピュレータ１６，１７の操作によってスレーブマニピュレータ３，４に対応した動作を行わせるように、その各座標系を設定させている。その他の点では前述した第１の実施例の説明の通りである。
【００８７】
このように共有座標系１４１，１４２を共有するから、それぞれ共有する座標系で、マスタマニピュレータ１６，１７の動きに追従して、スレーブマニピュレータ３，４を操作できる。したがって、２台のマニピュレータシステムで協調作業を行うときの操作が容易である。なお、対のマニピュレータは２組に限らず、それを越えて設けてもよい。
（第１０の実施例）
図３０に基づいて、第１０の実施例を説明する。このマニピュレータシステムにおいて、スレーブマニピュレータ１５１は、その先端を体内に挿入する挿入部１５２を有した器具１５３と、この器具１５３を支持するための直動及び回転の自由度を有する複数の軸を有するロボット１５４とからなる。挿入部１５２の先端部には、３次元（立体）スコープ１５５と、一対の処置具１５６，１５７を備えている。挿入部１５２の先端部および一対の処置具１５６，１５７は、それぞれ多自由度にて湾曲動作可能となっている。また、このスレーブマニピュレータ１５１は、直動及び回転の自由度を有する。
【００８８】
一方、操作手段としては、多関節構造を有するマスタマニピュレータ１６１があり、そのマスタマニピュレータ１６１の先端には、ＨＭＤ１６２と、一対の処置具操作用操作アーム１６３，１６４とが設けられている。処置具操作用操作アーム１６３，１６４の一方と他方は前述した一対の処置具１５６，１５７の一方と他方にそれぞれ個別的に対応して、そのマスタとスレーブとしての個別的に対応した動きをするように制御されるように座標系が設定されている。
【００８９】
すなわち、図３０に示すように各々の位置には座標系が設けられている。つまり、マスタマニピュレータ１６１のツール座標系１６５についての動作が、スレーブマニピュレータ１５１の挿入部１５２の座標系１６６に対応し、さらに、ツール座標系１６５に対するＨＭＤ１６２のセンサ座標系１６７が、挿入部１５２の座標系１６６に対するスコープ座標系１７０に対応するよう、スレーブマニピュレータ１５１が動作する。ツール座標系１６５に対する、操作アーム１６３，１６４の操作部座標系１６８，１６９がそれぞれ挿入部座標系１６６に対する処置部座標系１７１，１７２に対応するように設定されている。
【００９０】
したがって、複数の処置具と、観察手段を独立して制御する場合においても、その動作方向の矛盾なく操作が可能である。
（第１１の実施例）
この実施例は前述した第１の実施例の変形例を示すものであり、これを図３１に示す。すなわち、この実施例は、内視鏡および処置具を搭載した複数の手術用マニュピレータたる第１のスレーブマニピュレータ３と第２のスレーブマニピュレータ４を設け、これを遠隔的に操作手段によって遠隔的に操作を行う。また、複数のスレーブマニピュレータ３と第２のスレーブマニピュレータ４は手術台１のサイドに固定されるが、そのベットサイドのスペースの都合により、左右に分けてその手術台１の両側に設置されている。
【００９１】
一方、操作手段としては、前記スレーブマニピュレータ３，４にそれぞれ個別的に対応するマスタマニピュレータ１６，１７が設けられるが、この複数のマスタマニピュレータ１６，１７を１人の操作者で操作する関係で、その操作者のいる同じ側において手術台１の一方のサイドに固定的に設置している。つまり、スレーブマニピュレータ３，４とこれに個別的に対応するマスタマニピュレータ１６，１７の各組には、同じサイドに設置できなくなる組が生じる。この実施例ではスレーブマニピュレータ４とこれに対応するマスタマニピュレータ１７がその関係にある。
【００９２】
そして、このスレーブマニピュレータ４とマスタマニピュレータ１７の組の場合には、両者のベース座標系は、最初、一致せず、そのベース座標系を基に位置の対応を行わせると、操作者が意図しない方向にスレーブマニピュレータ４が動いてしまう問題がある。このことは前述した通りである。
【００９３】
この対策として、この実施例では、そのスレーブマニピュレータ３，４とマスタマニピュレータ１６，１７の各タスク座標系を設定するにあたり、その複数のスレーブマニピュレータ３，４のタスク座標系１７３を共有化し、また、マスタマニピュレータ１６，１７のタスク座標系１７４も共有化するものとする。このようにタスク座標系をそれぞれ共有化することにより、複数のマニピュレータを設けるシステムにおいても、それらの間の位置関係の対応がとれ、操作性の改善が図れる。
【００９４】
このように、スレーブマニピュレータ３，４は患者およびベットとのレイアウトから設置され、ベース座標系の整合がとれないことが多く、また、マスタマニピュレータ１６，１７は操作者の操作上の都合により設置する位置が決められることがある。このため、それらのタスク座標系の対応が一致しないことがあるが、この実施例では、共有化したタスク座標系１７３，１７４としてそれぞれ設定し直して、その座標系を一致させることで、その問題を解決できるのである。
【００９５】
なお、複数のスレーブマニピュレータの数に応じて操作手段も同じ数を設ける場合に限らず、操作手段、例えば、あるマスタマニピュレータを複数のスレーブマニピュレータに共用するようにしてもよい。例えばこの第１１の実施例では例えばマスタマニピュレータ１６のみとし、図示しない切替え手段を設けて使用するに有効なスレーブマニピュレータ３，４を選択するようにしてもよい。
（第１２の実施例）
図３２で示すように、この実施例は、例えば前述した第１の実施例の場合のように経皮的手術で行う場合において、複数の処置用スレーブマニピュレータ１８１，１８２を設け、この術野を経皮的に挿入した内視鏡１８３で観察するようにしたものである。複数の処置用スレーブマニピュレータ１８１，１８２、およびこれのための操作手段については例えば前述した第１の実施例と同じである。
（追記）
（１） 術者が操作できる領域内に設置された操作手段と、
術野にアクセスするように設置され前記操作手段の操作に追従した動きを行うマニピュレータと、
固有の座標系を基準として前記操作手段の操作位置及び／又はオリエンテーションを決定する第１の制御手段と、
固有の座標系を基準として前記第１の制御手段からの情報により、前記マニピュレータの位置及び／又はオリエンテーションを決定して前記マニピュレータを動かす第２の制御手段と、
前記操作手段の固有の座標系及び前記マニピュレータの固有の座標系の少なくとも一方の座標系の設定を変換して前記操作手段とマニピュレータの位置及び／又はオリエンテーションの対応をとる座標系の変換手段とを具備したことを特徴とする手術用マニピュレータシステム。
【００９６】
（２） 術者が操作できる領域内に設置されたマスタマニピュレータと、
術野にアクセスするように設置され前記マスタマニピュレータの操作に追従した動きを行うスレーブマニピュレータと、
固有の座標系を基準として前記マスタマニピュレータの位置及び／又はオリエンテーションを決定する第１の制御手段と、
固有の座標系を基準として前記第１の制御手段から情報により前記スレーブマニピュレータの位置及び／又はオリエンテーションを決定してそのスレーブマニピュレータを動かす第２の制御手段と、
前記マスタマニピュレータの固有の座標系、及び前記スレーブマニピュレータの固有の座標系の少なくとも一方の座標系の設定を変換して各マニピュレータの位置及び／又はオリエンテーションの対応をとる座標系の変換手段とを具備したことを特徴とする手術用マニピュレータシステム。
【００９７】
（３） 術者が操作できる領域内において固有の座標系を基準として位置及び／又はオリエンテーションを決定する状態に操作手段を設置するとともに、この操作手段の操作情報により、固有の座標系を基準として位置及び／又はオリエンテーションを決定して前記操作手段の動きに追従した動きを行うマニピュレータを術野にアクセス可能な位置に設置する第１のステップと、
前記操作手段及びマニピュレータの少なくとも一方の固有の座標系についての座標設定を変換して前記操作手段及びマニピュレータの位置及び／又はオリエンテーションの対応をとる第２のステップとを具備したことを特徴とする手術用マニピュレータシステムにおける座標変換方法。
【００９８】
（４） 前記操作手段及びマニピュレータの位置及び／又はオリエンテーションの対応をとる第２のステップは、
新たに設定したいタスク座標の原点を決め、その定めた原点の位置に、操作手段及び／またはマニピュレータの先端を合わせる第１のステップと、
操作手段及び／またはマニピュレータにおいてそのベース座標系における原点の位置データを読み取ってこれにより、新たに設定しようとするタスク座標系の原点の位置を定義する第２のステップと、
新たに設定したタスク座標系の原点から手術環境に適する任意の方向にＸ軸を仮に選定する第３のステップと、
この仮に選定したＸ軸上で、＋側の任意の第２の点の位置に、操作手段及び／またはマニピュレータの先端を合わせ、その第２の点のベース座標系における位置データを読み取って、前記原点から第２の点に向かう第１のベクトルを求めることにより設定しようとするタスク座標系のＸ軸を定義する第４のステップと、適すると想定されるＸＹ軸の予想平面上で、Ｙ成分が＋である任意の第３の点を決め、この第３の点の位置に操作手段及び／またはマニピュレータの先端を合わせ、その第３の点のベース座標系における位置データを読み取って原点から第３の点に向かう第２のベクトルを求め、この第２のベクトルと前述した第１のベクトルからＺ軸を求める第５のステップと、
第１のベクトルと第２のベクトルと第１のベクトルとからＹ軸を求める第６のステップとを経て、
空間上に新たなタスク座標系のＸ，Ｙ，Ｚ軸を設定することを特徴とする前記３に記載の手術用マニピュレータシステムにおける座標変換方法。
【００９９】
（５） 前記操作手段及びマニピュレータの位置及び／又はオリエンテーションの対応をとる第２のステップは、
新たに設定されたタスク座標系の、ベース座標系に対する座標変換マトリックスを求め、前記操作手段及びマニピュレータの位置及び／又はオリエンテーションの対応をとることを特徴とする前記３に記載の手術用マニピュレータシステムにおける座標変換方法。
【０１００】
（６） 前記操作手段及びマニピュレータの位置及び／又はオリエンテーションの対応をとる第２のステップは、
前記マニピュレータに搭載するツールに固有な座標系としてツール座標系を求め、このツール座標系を新たに設定したいタスク座標系に合わせて設定することを特徴とする前記３に記載の手術用マニピュレータシステムにおける座標変換方法。
【０１０１】
（７） 前記操作手段がマスタスレーブ方式におけるマスタマニピュレータであり、観察または処置の少なくとも一方を行うマニピュレータがスレーブマニピュレータである前記１に記載される手術用マニピュレータシステム。
【０１０２】
（８） 操作手段が空間の位置またはオリエンテーションの少なくとも一部を検出するセンサであり、前記センサにより操作者の身体の動きを検出することを特徴とする前記１に記載される手術用マニピュレータシステム。
【０１０３】
（９） 前記操作手段が音声入力装置であり、音声で指令した方向に動作することを特徴とする前記１に記載される手術用マニピュレータシステム。
（１０） 前記操作手段がスイッチであり、スイッチにより指定した方向に動作することを特徴とする前記１に記載される手術用マニピュレータシステム。
【０１０４】
（１１） 複数の操作手段を有し、その操作手段の固有の座標系のうち少なくとも複数の座標系を共有することを特徴とする前記１、２又は３に記載される手術用マニピュレータシステムまたは座標変換方法。
【０１０５】
（１２） 前記操作手段がマスタスレーブ方式におけるマスタマニピュレータであることを特徴とする手術用マニピュレータシステムまたは座標変換方法。
（１３） 複数のマニピュレータを有し、そのマニピュレータの固有の座標系のうち少なくとも複数の座標系を共有することを特徴とする前記１、２又は３に記載される手術用マニピュレータシステムまたは座標変換方法。
【０１０６】
（１４） 操作手段とマニピュレータの各固有の座標系のうち少なくとも複数の座標系を共有して座標系を対応させることを特徴とする前記１、２又は３に記載される手術用マニピュレータシステムまたは座標変換方法。
【０１０７】
（１５） 操作手段として、マスタスレーブ方式におけるマスタマニピュレータと、空間の位置またはオリエンテーションの少なくとも一部を検出するセンサを有し、マスタマニピュレータとセンサの座標系を対応させる手段を有する前記１４に記載される手術用マニピュレータシステムまたは座標変換方法。
【０１０８】
（１６） 少なくとも２以上の操作手段を共通とし、個々のマニピュレータに対応する操作手段の切換え手段を有し、操作手段の切り換えを行って選択的に使用することを特徴とする前記１１に記載される手術用マニピュレータシステム。
【０１０９】
（１７） 術者が操作できる領域内に設置された操作手段と、
術野にアクセスするように設置され前記操作手段の操作に追従した動きを行う術野の観察手段を有するマニピュレータと、
前記観察手段から得られた画像を表示する表示手段と、
前記操作手段及び前記マニピュレータの位置及び／又はオリエンテーションを座標系を基準として定める制御手段と、
前記座標系の設定を変換して前記操作手段の位置及び／又はオリエンテーションと前記マニピュレータの位置及び／又はオリエンテーションの対応関係を設定する座標変換手段と、
前記マニピュレータの座標系と、このマニピュレータの有する観察手段から得られた画像を表示する表示手段の画面の方向とを対応させる手段と
を具備したことを特徴とする手術用マニピュレータシステム。
【０１１０】
（１８） マニピュレータの有する観察手段に固定された座標系を有する前記１７に記載される手術用マニピュレータシステム。
（１９） 前記表示手段に空間の位置またはオリエンテーションの少なくとも一部を検出するセンサを設け、表示手段の動きに対応して、観察手段を有するマニピュレータを動作させる制御手段を有する前記１７に記載される手術用マニピュレータシステム。
【０１１１】
（２０） 前記表示手段を移動可能なアームにとり付け、アームの移動部にエンコーダを設け、表示手段の動きに対応して、観察手段を有するマニピュレータを動作させる制御手段を有する前記１７に記載される手術用マニピュレータシステム。
【０１１２】
（２１） 前記マニピュレータの有する処置手段に固定された座標系の示す方向を表示手段に表示する画像処理手段を有する前記１７に記載される手術用マニピュレータシステム。
【０１１３】
（２２） 術野（作業範囲）に種々の異なる方向からアクセスすることができるように設置された複数のスレーブマニピュレータと、
術者が操作できる領域内に対応する前記スレーブマニピュレータとは異なる方向からアクセスするように設置されたマスタマニピュレータと、
前記スレーブマニピュレータとは異なる方向からアクセスするように設置されたマスタマニピュレータと、
前記スレーブマニピュレータと前記マスタマニピュレータとの座標系を変換してそのマスタマニピュレータと前記スレーブマニピュレータとの位置及びオリエンテーションの関係を決定する座標変換手段とを具備したことを特徴とする手術用マニピュレータシステム。
【０１１４】
（２３） 前記マスタマニピュレータは前記スレーブマニピュレータの数より少なく少なくとも一部のマスタマニピュレータは複数のスレーブマニピュレータに兼用し、その共用するマスタマニピュレータを使用するスレーブマニピュレータに対応させる状態に切り換える手段を具備したことを特徴とする前記２２に記載の手術用マニピュレータシステム。
【０１１５】
（２４） 追記の（２）と（１７）をまとめ、（２）のスレーブマニピュレータと、（１７）のスレーブマニピュレータとの関係を決定する座標変換手段を加えた内容として、
術者が操作できる領域内に設置されたマスタマニピュレータと、
術野にアクセスするように設置され前記操作手段の操作に追従した動きを行う術野の観察手段を有するスレーブマニピュレータと、
前記観察手段から得られた画像を表示する表示手段と、
固有の座標系を基準として前記マスタマニピュレータの位置及び／又はオリエンテーションをその座標系を基準として定める第１の制御手段と、
固有の座標系を基準として前記第１の制御手段から情報により前記スレーブマニピュレータの位置及び／又はオリエンテーションを決定してそのスレーブマニピュレータを動かす第２の制御手段と、
前記座標系の少なくとも一方の設定を変換して前記マスタマニピュレータ操作手段の位置及び／又はオリエンテーションと前記スレーブマニピュレータの位置及び／又はオリエンテーションの対応関係を設定する座標変換手段と、
前記マニピュレータの座標系と、このマニピュレータの有する観察手段から得られた画像を表示する表示手段の画面の方向とを対応させる手段と
を具備したことを特徴とする手術用マニピュレータシステム。
【０１１６】
【発明の効果】
以上説明したように本発明によれば、手術用マニピュレータの座標系と、操作手段の座標系との関係に応じてその座標系の設定及び変更により、操作者から見た手術用マニピュレータと操作手段との動作方向を一致させることが可能となり、両者の設置の際の相対的位置関係による操作性の制約が回避される。つまり、手術用マニピュレータと操作手段の相対的位置関係によって動作方向に関する操作性が損なわれることなく、操作者の意図するような操作を行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例においてのマニピュレータシステムの説明図。
【図２】本発明の第１の実施例のマニピュレータシステムにおける制御システムの説明図。
【図３】本発明の第１の実施例においてのマニピュレータの座標系の設定を変更するための説明図。
【図４】本発明の第１の実施例においてのマニピュレータの座標系の設定を変更する手順を示す図。
【図５】本発明の第１の実施例においてのマニピュレータの座標系の設定を変更する手順を示す図。
【図６】本発明の第１の実施例においてのマニピュレータの座標系の設定を変更する他の方法の説明図。
【図７】本発明の第１の実施例においてのマニピュレータの座標系の設定を変更する他の手順を示す図。
【図８】本発明の第１の実施例においてのマニピュレータの座標系の設定を変更する他の方法の説明図。
【図９】本発明の第１の実施例においてのマニピュレータの座標系の設定を変更する他の方法の説明図。
【図１０】本発明の第１の実施例においてのマニピュレータの座標系の設定を変更する他の手順を示す図。
【図１１】本発明の第２の実施例においてのマニピュレータシステムの説明図。
【図１２】本発明の第２の実施例のマニピュレータシステムにおける制御装置の説明図。
【図１３】本発明の第２の実施例のマニピュレータシステムにおける操作手段の説明図。
【図１４】本発明の第２の実施例のマニピュレータシステムの使用状態の説明図。
【図１５】本発明の第３の実施例においてのマニピュレータの術野における使用状態の説明図。
【図１６】本発明の第３の実施例においてのＨＭＤの使用状態の説明図。
【図１７】本発明の第３の実施例においてのＨＭＤ及び立体視スコープの作用の説明図。
【図１８】本発明の第３の実施例においてのＨＭＤの視線を検出する方式の説明図。
【図１９】本発明の第４の実施例においての音声入力手段を用いたマニピュレータシステムの説明図。
【図２０】操作手段の入力手段としてのスイッチ式操作盤の例を示す平面図。
【図２１】操作手段の入力手段としてのジョイスティック式操作盤の例を示す平面図。
【図２２】本発明の第５の実施例においてのマニピュレータシステムの説明図。
【図２３】本発明の第５の実施例においてのマニピュレータの斜視図。
【図２４】本発明の第６の実施例においての操作手段の斜視図。
【図２５】本発明の第６の実施例においてのマニピュレータの斜視図。
【図２６】本発明の第７の実施例においてのマニピュレータシステムの説明図。
【図２７】本発明の第８の実施例においてのマニピュレータの斜視図。
【図２８】本発明の第８の実施例においてのＴＶモニターの正面図。
【図２９】本発明の第９の実施例においてのマニピュレータシステムの説明図。
【図３０】本発明の第１０の実施例においてのマニピュレータシステムの説明図。
【図３１】本発明の第１１の実施例においてのマニピュレータシステムの説明図。
【図３２】本発明の第１２の実施例においてのマニピュレータの使用状態の斜視図。
【符号の説明】
１…手術台（ベット）、２…患者、３…第１のスレーブマニピュレータ、４…第２のスレーブマニピュレータ、９，１０…処置具、１３，１４…ベース座標系、１５，１６…タスク座標系、１６…第１のマスタマニピュレータ、１７…第２のマスタマニピュレータ、１８…操作台、２３，２４…ベース座標系、２７…タスク座標系、３１，３２…制御装置、３３，３４…ＭＰＵ、３５，３６…アクチュエータ駆動回路、３７，３８…インターフェース回路。
【産業上の利用分野】
本発明は、生体の、例えば体腔内に挿入したマニピュレータを遠隔的に操作し、診断・処置などの手術を行う手術用マニピュレータの制御システム及びその制御方法に関する。
【０００２】
【従来技術】
腹壁等の体壁に穴を開け、この穴を通じて内視鏡や処置具を経皮的に体腔内に挿入することにより、その体腔内での様々な処置を行なう経皮的内視鏡下手術が、大きな切開を要しない低侵襲なものとして、近年、注目されている。こうした術式は胆のう摘出手術や肺の一部を摘出除去する手術等で広く行なわれるようになってきた。
【０００３】
このような手術において、マニピュレータに内視鏡や処置具を搭載し、そのマニピュレータによる内視鏡や処置具を用いた手術を術者に代わって間接的に行う手術用マニピュレータシステムが、米国特許第５，２１７，００３号において提案されている。
【０００４】
こうした手術用マニピュレータの遠隔操作では、内視鏡等の観察手段によりモニターに映し出された腹腔内の患部の状態を見ながら、操作者がジョイスティックを操作することによって例えば操作方向にマニピュレータを動作させる方式や、あるいはマスターアームを用いる、いわゆるマスタースレーブ方式がとられていた。
【０００５】
【発明が解決しようとする課題】
しかし、ジョイスティックやマスタースレーブ等の遠隔操作手段を用いて手術用マニピュレータを操作する場合、その遠隔操作手段と、手術を行うマニピュレータとが物理的に分離されているため、両者の動作方向の対応関係が、両者を設置する際の相対的な位置関係により決定されてしまい、その両者の座標系の向きが一致しないことが多く起きる。例えば、マスタマニピュレータとスレーブマニピュレータの組を複数設けた場合、その複数のマスタマニピュレータは１人で操作することが多く、術者のいる同じ側のベットサイドに設置することになるのが普通である。一方、スレーブマニピュレータはベットサイドの周辺における設置スペースが制限されるため、複数のマスタマニピュレータは術者のいない反対側のベットサイドにも設置することになる。
【０００６】
つまり、各スレーブマニピュレータとこれに対応するそれぞれのマスタマニピュレータを同じサイドに設置できない状況にある。このため、例えば、操作者が遠隔操作手段により右に動作させようとしたとき、手術を行うマニピュレータが左へ動いてしまうといった、動作方向に矛盾が生じ、操作者が意図しない方向に移動するといった事態が起きる。つまり、このような状況では、マスタマニピュレータとスレーブマニピュレータのベース座標系は一致しない向きになり、そのベース座標系を基に位置を対応させようとすると、マスタマニピュレータを操作した場合、それに対応したスレーブマニピュレータは操作者が意図しない方向に移動し、動作方向の矛盾が生じてしまうのである。
【０００７】
もちろん、対応するスレーブマニピュレータとマスタマニピュレータを同じサイドに設置した場合でも、それらのマニピュレータ同志が互いに干渉しないように間隔をおいて設置しなければならないから、対応する向きの位置関係がずれて設置せざるを得なくなる事情がある。いずれにしても、前記同様な事情があり、操作性の点で問題があった。
【０００８】
以上の如く、内視鏡や処置具を搭載したマニピュレータを個々の遠隔操作手段を用い、協調作業により手術を行う場合にあっては、遠隔操作手段同士の位置関係、内視鏡と処置具を搭載したマニピュレータ同士の位置関係、及びそれぞれのマニピュレータを遠隔操作手段の位置関係により、操作時の動作方向が決定されてしまい、動作方向の矛盾が生じる、もしくは設置条件に制約を受けるという問題があった。
【０００９】
本発明は前記事情に着目してなされたものであり、その目的とするところは、手術用マニピュレータと遠隔操作手段との相対的な位置関係によってその操作性を損なわれず、操作者の意図するように操作可能な状態に設定できる手術用マニピュレータの制御システム及びその制御方法を提供することにある。
【００１０】
【課題を解決するための手段】
請求項１に係る発明は、操作者が指示を与えるためのマスターマニピュレータと、前記マスターマニピュレータの移動に対応した動作を行うためのスレーブマニピュレ一タと、を有する手術用マニピュレータの制御システムにおいて、第１の基準位置を基準にして前記マスターマニピュレータの第１の所定の部位の第１の座標を示す第１の座標情報を算出する第１の座標算出手段と、前記スレーブマニピュレータの第２の所定の部位が前記第１の座標と等しい座標となるような第２の基準位置を設定する基準位置設定手段と、前記基準位置設定手段で設定された第２の基準位置を基準にして前記スレーブマニピュレータの第２の所定の部位の第２の座標を示す第２の座標情報を算出する第２の座標算出手段と、前記マスターマニピュレータの前記第１の所定の部位の前記第１の座標情報と前記スレーブマニピュレータの前記第２の所定の部位の前記第２の座標情報とに基づいて前記第１の座標と前記第２の座標との偏差を示す偏差情報を算出する偏差算出手段と、前記偏差算出手段で算出された前記第１の座標と前記第２の座標との偏差を少なくするように前記偏差情報に基づいて前記スレーブマニピュレータを移動させる移動手段とを有することを特徴とするものである。
また、請求項２に係る発明は、操作者が指示を与えるためのマスターマニピュレータと、前記マスターマニピュレータの移動に対応した動作を行うためのスレーブマニピュレ一タとを有する手術用マニピュレータの制御方法において、第１の基準位置を基準にして前記マスターマニピュレータの第１の所定の部位の第１の座標を示す第１の座標情報を算出する第１の座標算出工程と、前記スレーブマニピュレータの第２の所定の部位が前記第１の座標と等しい座標となるような第２の基準位置を設定する基準位置設定工程と、前記基準位置設定工程で設定された第２の基準位置を基準にして前記スレーブマニピュレータの第２の所定の部位の第２の座標を示す第２の座標情報を算出する第２の座標算出工程と、前記マスターマニピュレータの前記第１の所定の部位の前記第１の座標情報と前記スレーブマニピュレータの前記第２の所定の部位の前記第２の座標情報とに基づいて、前記第１の座標と前記第２の座標との偏差を示す偏差情報を算出する偏差算用工程と、前記偏差算出工程で算出された前記第１の座標と前記第２の座標との偏差を少なくするように、前記偏差情報に基づいて前記スレーブマニピュレータを移動させる移動工程とを有することを特徴とするものである。
【００１１】
【実施例】
（第１の実施例）
この実施例は、手術用マニピュレータとしてのスレーブマニピュレータの動作方向と、その操作手段であるマスタマニピュレータの動作方向の対応関係を任意に設定できる手術用マニピュレータシステムに係るものである。以下、これを図１〜１０を参照して説明する。
【００１２】
図１はその手術用マニピュレータシステムの概略的な構成を示しており、同図中、１は手術台（ベット）であり、この手術台１上には患者２が上向きに寝せられている。手術台１の左右サイドには、第１のスレーブマニピュレータ３と第２のスレーブマニピュレータ４が別々に設置されている。各スレーブマニピュレータ３，４は、いずれも複数のアーム５を連結した関節構造によって構成されており、第１のスレーブマニピュレータ３の基台７は手術台１の一方のサイドに固定されている。第２のスレーブマニピュレータ４の基台８は手術台１の他方のサイドに固定される。つまり、第１のスレーブマニピュレータ３と第２のスレーブマニピュレータ４は患者２の左右サイドからその患者２の術野に向かって異なる向きで別々に延びる、つまり、逆向きの状態に設置されている。
【００１３】
前記各スレーブマニピュレータ３，４の先端部には、例えば把持鉗子、メス、縫合器、注射器等の処置具９，１０が搭載されている。なお、このような処置具の代わりに、内視鏡や超音波エコープローブまたは手術用顕微鏡等の観察手段を搭載してもよい。そして、このスレーブマニピュレータ３，４の先端部を、患者２の体内に経皮的に挿入して処置もしくは観察を行う経皮的内視鏡下手術を行うようになっている。
【００１４】
前述した各スレーブマニピュレータ３，４における各関節部にはアクチュエータ１１とエンコーダ１２が設けられており、それの制御手段によりアクチュエータ１１を駆動して、このスレーブマニピュレータ３，４の関節を屈曲動作させる。エンコーダ１２はその関節の回転角度を検出する。これらのスレーブマニピュレータ３，４は、それぞれ固有のベース座標系１３，１４を有しており、これらのベース座標系１３，１４は、図１で示すように、それぞれのスレーブマニピュレータ３，４の基部７，８に固定されたＸ0 、Ｙ0 、Ｚ0 でそれぞれ表現される直交座標系である。
【００１５】
また、同図１中、Ｘ、Ｙ、Ｚで表現された座標系１５は、スレーブマニピュレータ３，４のタスク座標系であり、このタスク座標系は後述するようにその設定が任意に変更可能な座標系である。スレーブマニピュレータ３，４を操作する制御手段はその固有の座標系を基準としてこれに対応するマスタマニピュレータ１６，１７の制御手段からの情報により、そのスレーブマニピュレータ３，４の位置及びオリエンテーションを決定してスレーブマニピュレータ３，４を動かす。
【００１６】
第１のスレーブマニピュレータ３を設置した手術台１の右サイドには、術者が位置するが、この右サイドには、第１のマスタマニピュレータ１６と第２のマスタマニピュレータ１７が設置されている。第１のマスタマニピュレータ１６と第２のマスタマニピュレータ１７はその手術台１に対して直接、またはその周辺に位置した操作台１８に固定される。
【００１７】
ところで、操作台１８は、術者の都合に応じて適宜の位置に移動することが可能である。また、通常、操作台１８は手術室の床に設置されるが、天井に吊持してもよいものである。いずれにしても、これらのマスタマニピュレータ１６，１７は、同一の術者が操作することができるように、手術台１の一方のサイド周辺に設置される。
【００１８】
これらのマスタマニピュレータ１６，１７は、いずれも複数のアーム１９を連結した関節構造によって構成されており、各々の関節部にはアクチュエータ２１とエンコーダ２２が設けられており、それの制御手段によりアクチュエータ２１を駆動して、マスタマニピュレータ１６，１７の関節を屈曲動作させる。エンコーダ２２はその各関節の回転角度が検出する。これらのマスタマニピュレータ１６，１７はそれぞれ固有のベース座標系２３，２４を有しており、これらのベース座標系２３，２４は、図１で示すように、それぞれのマスタマニピュレータ１６，１７の基部２５，２６に固定されたＸ0 、Ｙ0 、Ｚ0 でそれぞれ表現される直交座標系である。
【００１９】
また、図１中、Ｘ、Ｙ、Ｚで表現された座標系２７は、マスタマニピュレータ１６，１７のタスク座標系であり、これは後述するようにその設定が任意に変更可能な座標系である。マスタマニピュレータ１６，１７を操作する制御手段はその固有の座標系を基準として、その制御手段により、そのマスタマニピュレータ１６，１７の位置及びオリエンテーションを決定してスレーブマニピュレータ３，４を動かす。
【００２０】
図２は、スレーブマニピュレータ３，４と、マスタマニピュレータ１６，１７の動作を制御するシステムの構造を示す。すなわち、それぞれスレーブマニピュレータ３，４を制御する制御装置３１と、マスタマニピュレータ１６，１７を制御する制御装置３２が設けられており、各制御装置３１，３２は、それぞれＭＰＵ（micro processor unit）３３，３４、アクチュエータ駆動回路３５，３６、およびインターフェース回路３７，３８を有して構成される。
【００２１】
マスタマニピュレータ１６，１７の先端部の先端、つまり、作用点であるＴＣＰ（ tool center point ）は、ベース座標系２３，２４、またはタスク座標系２７における空間上の座標データとして、ＭＰＵ３４で計算される。これは、前述のエンコーダ２２により検出された関節角の幾何学的なベクトル合成によって求められる。この空間データは、マスタマニピュレータ１６，１７のインターフェース回路３８を介し、スレーブマニピュレータ３，４のインターフェース回路３７に通信される。さらに、マスタマニピュレータ１６，１７の座標データは、ＭＰＵ３３に送られ、ここで、スレーブマニピュレータ３，４の動作指令が計算される。
【００２２】
すなわち、スレーブマニピュレータ３，４の先端部の先端、つまり、作用点であるＴＣＰは、ベース座標系１３，１４またはそのタスク座標系１５における空間上の座標データとしてＭＰＵ３３で計算されているが、これが、対応するマスタマニピュレータ１６，１７の座標データと一致するように、両者の偏差が動作指令として計算される。この動作指令はアクチュエータ駆動回路３５に送られ、スレーブマニピュレータ３，４のアクチュエータ１１を動作させる。
【００２３】
一方、スレーブマニピュレータ３，４のＭＰＵ３３で計算された偏差は、スレーブマニピュレータ３，４のインターフェース回路３７を介して、マスタマニピュレータ１６，１７のインターフェース回路３８へ通信される。
【００２４】
この偏差は、さらにマスタマニピュレータ１６，１７のＭＰＵ３４に送られ、ここで、マスタマニピュレータ１６，１７の力指令が計算される。この力指令は、アクチュエータ駆動回路３６へ送られ、マスタマニピュレータ１６，１７のアクチュエータ２１にその移動を抑える向きの力を発生させる。これによりマスタマニピュレータ１６，１７に力感覚を与える。
【００２５】
そこで、図１において、マスタマニピュレータ１６の操作により、スレーブマニピュレータ３は、対応する動作を行う。つまり、マスタマニピュレータ１６の操作により、そのマスタマニピュレータ１６に対応する比例的に対応する動作をスレーブマニピュレータ３が行うという、いわゆるマスタスレーブ方式の動作関係にある。
【００２６】
この実施例においては、スレーブマニピュレータ３では図１中で示すタスク座標系１５が、マスタマニピュレータ１６のベース座標系２３を平行移動させた関係となるよう設定されており、マスタマニピュレータ１６のＴＣＰのベース座標系２３における点Ｐが、スレーブマニピュレータ３のＴＣＰのタスク座標系１５における点ｐに一致するように制御されるため、マスタマニピュレータ１６を操作する方向とスレーブマニピュレータ３が移動する向きとは一致する。
【００２７】
一方、図１で示すように、マスタマニピュレータ１７のタスク座標２７は、スレーブマニピュレータ４のベース座標系１４を平行移動させた関係となるように後述する設定方法で座標設定がなされており、さらに、マスタマニピュレータ１７のＴＣＰのタスク座標系２７における点Ｑが、スレーブマニピュレータ４のＴＣＰのベース座標系１４における点ｑに対応一致するように設定されている。このため、ベース座標系１４，２４の向きが異なるにも拘らず、マスタマニピュレータ１７を操作する方向とスレーブマニピュレータ４が動く向きとを一致させることができる。
【００２８】
次に、この実施例においてのマスタマニピュレータ１６，１７およびスレーブマニピュレータ３，４のタスク座標系の設定を変更する方法について述べる。これにはベクトルやマトリックスを用いる幾つかの方法が考えられるが、ここでは、以下の３つの例を挙げて説明する。
（第１の設定方法）
この最初の設定方法は、いわゆる３点タッチアップ法であり、これを図３および図４を参照して説明する。図３で示すマニピュレータ４０を想定して説明する。ここで想定したマニピュレータ４０のベース座標系４１におけるＴＣＰの位置データは、そのマニピュレータ４０を構成するアーム４３の長さ、およびその関節に設けられたエンコーダ４４での検出角度から求められる。
【００２９】
そこで、手術環境に応じて空間上において新たなタスク座標４５を設定するには、まず、その設定したいタスク座標４５の原点Ｐ１を任意的に決め、その定めた原点Ｐ１の位置に、マニピュレータ４０のＴＣＰを合わせるように、そのマニピュレータ４０を動作させる。その制御装置３１，３２はその原点Ｐ１のベース座標系４１における位置データを読み取ってこれを記憶する。これにより、新たに設定しようとするタスク座標系４５の原点Ｐ１の位置が定義できる。
【００３０】
ついで、このタスク座標系４５のＸ軸を手術環境に適すると思う任意の方向を選定し、その仮に決めたＸ軸上で、＋側の任意の点Ｐ２の位置に、ＴＣＰを合わせるべく、マニピュレータ４０を動作させる。そして、点Ｐ２にＴＣＰを合わせ、そのときのベース座標系４１における点Ｐ２の位置データを読み取ってこれを記憶する。また、原点Ｐ１から点Ｐ２に向かう第１のベクトル（Ｐ1 Ｐ2 ）を求めることにより、タスク座標系４５のＸ軸が定義される。なお、ベクトルの表示として２点を示す２文字の上に記す矢印は省略する。以下、同じである。
【００３１】
さらに、新たに設定しようとするタスク座標系４５の空間で、例えば手術環境に適すると仮に想定されるＸＹ軸の平面上で、Ｙ成分が＋である任意の点Ｐ３を決め、この仮に決めた点Ｐ３の位置に、ＴＣＰを合わせるようにマニピュレータ４０を動作させる。そして、点Ｐ３のベース座標系４１における位置データを読み取ってこれを記憶する。
【００３２】
そして、点Ｐ１から点Ｐ３に向かう第２のベクトル（Ｐ1 Ｐ3 ）を求め、さらに、前述した第１のベクトル（Ｐ1 Ｐ2 ）との外積｛ベクトル（Ｐ1 Ｐ2 ）×ベクトル（Ｐ1 Ｐ3 ）｝のベクトルを求めると、このベクトルの方向がＺ軸の方向になる。 さらに、｛ベクトル（Ｐ1 Ｐ2 ）×ベクトル（Ｐ1 Ｐ3 ）×ベクトル（Ｐ1 Ｐ2 ）｝のベクトルを求めると、これの方向がＹ軸の方向となる。
【００３３】
以上の方法により、マニピュレータ４０のＴＣＰの位置合わせにより、空間上の任意のタスク座標系４５が定義される。
また、図４で示す式（１）〜（４）を用いてベース座標系４１に対する設定したいタスク座標系４５への座標マトリックスＭを計算で求め、タスク座標系４５におけるＴＣＰの位置ベクトルＱを求める際、既知のベース座標系４１におけるＴＣＰの位置ベクトルＰに対し、『Ｑ＝Ｍ-1Ｐ』の式のように、座標マトリックスＭ-1を左から乗じて求めてもよい。図５は以上のタスク座標系を設定する手順を示したものである。
（第２の設定方法）
次に、第２の設定方法について、図６および図７を参照して説明する。この方法によりタスク座標系を設定するマニピュレータ４０を図６で示すように想定する。
【００３４】
このマニピュレータ４０のベース座標系４１と、手術環境に応じて空間上に新たに設定したいタスク座標系４５との、変換座標マトリックスＭは一般に下式のように表現される。
【００３５】
【数１】
ここで、ｐ（ｐx 、ｐy 、ｐz ）は、座標系の原点のベクトル
ｏ（ｏx 、ｏy 、ｏz ）は、座標系の原点の接近ベクトル
ａ（ａx 、ａy 、ａz ）は、座標系の原点の方向ベクトル
ｎ（ｎx 、ｎy 、ｎz ）は、座標系の原点の法線ベクトル
である。
【００３７】
これらの変数は、このマニピュレータ４０を設置した位置、およびタスク座標系４５の定義位置の関係を計測することにより、計算によって容易に求めることが可能である。つまり、マニピュレータ４０の制御装置内のＭＰＵのレジスタに設定することで、上式を計算し、タスク座標系４５におけるＴＣＰの位置ベクトルＱを求める際に、既知のベース座標系４１におけるＴＣＰの位置ベクトルＰに対し、『Ｑ＝Ｍ-1Ｐ』の式のように、座標マトリックスＭ-1を左から乗じて求めればよい。
（第３の設定方法）
最後に、第３の設定方法について、図８ないし図１０を参照して説明する。この設定方法を説明するため、図８および図９で示すようなマニピュレータ４０を想定する。
【００３８】
マニピュレータ４０に搭載するツール４６に固有な座標系としてツール座標系４７が次のように定義される。これは、ＴＣＰを常に原点とし、ツール４６の系に固定された座標系であり、マニピュレータ４０の動作を行う際に都合の良い方向で定義されている。例えば、図８および図９でのツール４６として内視鏡を想定した場合、図８で示すように、その内視鏡の長手方向をＸ軸とし、内視鏡のオフセット方向にＺ軸、これらに直交する方向にＹ軸を設けておけば、内視鏡を長手方向に移動したい場合には、ツール座標系４７のＸ軸方向の移動を指令すれば良いことになる。
【００３９】
数式で、このツール座標系４７を表現する場合、図１０で示すように、ベース座標系４１に対する座標変換マトリックスにより、『Ｈ・Ｔ』の式で表現される。この式の文字は本来太い文字で表現されるが、ここでは通常の文字で表現する。以下においても同じである。
【００４０】
ここで、Ｔは、マニピュレータのエンドエフェクタ取付面に固定されたメカニカルインターフェース座標系に対する座標変換マトリックスであり、これは、マニピュレータのアームの長さ、エンコーダにより検出される関節角度等により幾何学的に求められる。また、『Ｈ』は、メカニカルインターフェース座標系に対するツール座標系の座標変換マトリックスであり、前式（Ａ）と同様の形式で表現され、各成分の変数はツールの形状と、選定したツール座標系の方向より求めれば良い。さらに、タスク座標系におけるＴＣＰの位置ベクトルＱを求める際には、既知のベース座標系４１におけるＴＣＰの位置ベクトルＰに対し、 『Ｑ＝Ｍ-1Ｐ』の式のように、座標マトリックスＭ-1を左から乗じて求めればよい。
【００４１】
以上の方法により、ツール座標系４７が定義される。ここでは、ある瞬間のツール座標系４７をタスク座標系として定義し、さらに、これを利用して、マスタスレーブ方式の動作指令に利用する。すなわち、まず、空間上の任意の点Ｐ１にマニピュレータ４０のＴＣＰがある場合において、そのツール座標系４７をタスク座標系として定義する。それ以後、マニピュレータ４０が動作し、ツール座標系が、図８中、Ｐ２に示される座標系（ｘ´：ｙ´：ｚ´）に移っても、Ｐ１におけるツール座標系４７はタスク座標系として記憶されている。
【００４２】
次に、前者の後者に対する座標変換マトリックスＫを求める。図８では、スレーブマニピュレータの座標変換マトリックスＫを『Ｋｓ』、マスタマニピュレータの座標変更マトリックスＫをＫｍとすると、ＫｓがＫｍに一致するようにスレーブマニピュレータを動作されることにより、それぞれのマニピュレータにおいて、タスク座標系を定義した時点からの現在位置までの相対的な位置関係を対応させることができる。
【００４３】
これには、次の効果がある。つまり、マスタスレーブ方式により手術用マニピュレータを遠隔的操作する場合に、両者の位置関係が常に一致することは難しい。例えば両者の電源がオフの状態で、機械的に両者の位置関係がズレてしまう場合がある。特に、マスタマニピュレータの関節にアクチュエータがなく、エンコーダのみ設けて、いわゆるユニラテラル方式のマスタスレーブ方式により遠隔操作する場合には、重力や操作者の力によりマスタマニピュレータの位置は簡単にズレてしまう。
【００４４】
しかし、両者の位置関係がズレた状態から、マスタスレーブ方式により一致させるように動作させると、予期せぬ方向へ動作する等、問題ある。
一方、図８に示す方法によると、位置がズレてもマスタスレーブによる動作を開始する時点で、マスタマニピュレータおよびスレーブマニピュレータの両者のツール座標系とタスク座標系として設定し、このタスク座標系から現在位置のツール座標系Ｋｍ，Ｋｓを一致させるようにスレーブマニピュレータを動作させることにより、前述のように予期せぬ方向へ動作することはない。
（第２の実施例）
この実施例は、手術用マニピュレータと、その操作手段であるセンサの動作方向に対応させる関係に座標を設定する制御システムの例である。
【００４５】
図１１は、手術用マニピュレータ５１と、その操作手段である３次元位置センサ手段５２とからなるシステムの概略的な構成を示している。手術用マニピュレータ５１は、例えば前述した第１の実施例の場合のスレーブマニピュレータと同様の構成からなり、手術台の一方のサイドに設置されて、同様に使用される。また、前述した第１の実施例と同様の制御装置によって制御されるようになっている。
【００４６】
一方、操作手段である３次元位置センサ手段５２は、マニピュレータを遠隔的に操作する手段として用いる３次元位置センサであり、手術用マニピュレータ５１、例えばスレーブマニピュレータの操作手段として作用するものである。
【００４７】
３次元位置センサはソースコイル５３およびセンスコイル５４からなり、これらはいずれも互いに直交する３つの各軸を中心として巻回した３軸直交の３つの磁界発生または受信用コイル要素を含む略立方体状のものとして作られている。ソースコイル５３の各コイル要素には、図示しないドライブ回路によって時間差をとり順次、パルス電流が印加され、これにより、図１３で示すように、ソースコイル５３を含むシステム空間内に、ｘ，ｙ，ｚの各軸方向の基準磁界を順次発生させる発信部を構成する。また、センスコイル５４は、そのソースコイル５３で発生する各基準磁界を検出してそれ自身の位置と向きを検出する受信部を構成する。
【００４８】
この場合、ソースコイル５３とセンスコイル５４、少なくとも、センスコイル５４は、図１１に示すように手５６で握り締めることができる程度の大きさを有する。また、身体の一部、例えば、頭部に取り付けることもできる程度の大きさであってもよい。なお、センスコイル５４を操作者の頭部、あるいは頭部に取り付けたＨＭＤ（Head Mounted Display）に固定し、頭の動きによりスレーブマニピュレータを操作することも可能である。
【００４９】
このように３次元位置センサ手段５２は、磁界を発生させる発信部としてのソースコイル５３と、このソースコイル５３で発生する磁界を受信する受信部としてのセンスコイル５４とを備える。この３次元位置センサ手段５２は、図１２で示すように、ソースコイル５３に対するセンスコイル５４の相対的な位置と向きを検知する相対位置検出回路５８を備える。さらに、３次元位置センサ手段５２のソースコイル５３とセンスコイル５４により検出された３次元的な相対位置情報により、マニピュレータ５１を遠隔的に動作させるマニピュレータ制御部５９を備える。そして、そのソースコイル５３から得られた動作指令により、マニピュレータ５１を動作させる遠隔操作システム５５の構成を示すものである。
【００５０】
しかして、図１３で示すように、センスコイル５４の各磁気受信用コイル要素にはその各軸方向に前記基準磁界により誘導電流が発生する。この誘導電流に基づいて相対位置検出回路５８が磁場のベクトルを検出してそれを演算することにより、ソースコイル５３とセンスコイル５４の３次元的相対位置を求められるものである。
【００５１】
求められた結果は、マニピュレータ制御部５９に伝送される。マニピュレータ制御部５９は、３次元位置センサ手段５２により検出されたセンスコイル５４の３次元的相対位置に応じて手術用マニピュレータ５１を動作させる。
【００５２】
この実施例の操作手段を前述した第１の実施例の例に適用する場合、図１４で示すようになる。すなわち、発信部であるソースコイル５３を手術台１における同じサイドにそれぞれ固定し、受信部としてのセンスコイル５４を操作者が手にもってあるいは頭に取り付けて操作する。
【００５３】
一方のスレーブマニピュレータ３は、これに対応して設けた第１の３次元位置センサ手段５２ａのソースコイル５３とセンスコイル５４の３次元的相対位置に対応して動作する。また、第１の３次元位置センサ手段５２ａのベース座標系６１とは別にタスク座標系６２を設定する。
【００５４】
このタスク座標系６２におけるセンスコイル５４に設けたセンサ座標系６３の３次元的位置関係を表すベクトルＰが、一方のスレーブマニピュレータ３の、ベース座標系１３に対するＴＣＰの３次元的位置関係を表すベクトルＰに一致するようにしてスレーブマニピュレータ３を動作させる。ここでのタスク座標系６２の設定は任意に変更可能であり、例えば、センスコイル５４に設けた直交座標系であるセンサ座標系６３を利用して設定する。例えば、ある瞬間におけるセンサ座標系６３をタスク座標系６２として定義する。
【００５５】
このようにタスク座標系６２を所望の位置に設定することにより、図１４に示すように、スレーブマニピュレータ３のベース座標系１３におけるＴＣＰの位置関係と、タスク座標系６２に対するセンサ座標系６３の位置関係が平行移動の関係となり、操作者は操作しやすい。
【００５６】
一方、他のスレーブマニピュレータ４は、第２の３次元位置センサ手段５２ｂのソースコイル５３とセンスコイル５４の３次元的相対位置に対応して動作する。この第２の３次元位置センサ手段５２ｂのベース座標系６１における、センサコイル５４に設けたセンサ座標系６３の３次元的位置関係を表すベクトルＱが、そのスレーブマニピュレータ４の任意に設定可能なタスク座標系６５に対するＴＣＰの３次元的位置関係を表すベクトルｑに一致するように、スレーブマニピュレータ４を設定し、対応関係で動作させる。すなわち、タスク座標系６５は、前述した第１の実施例においての第１または第２の設定方法によって任意に設定可能であり、この設定を行うことにより、図１４に示すようにベクトルＱとベクトルｑが平行移動の関係となり、操作者は操作しやすい。
（第３の実施例）
前述した第２の実施例では、操作手段としてのセンサとして磁気コイルを用いたセンサを使用した例を示したが、本発明は他の方式のセンサでも構わない。この第３の実施例では、視線を検知するセンサにより、手術用マニピュレータの操作を行うようにした例を示すものである。
【００５７】
図１５において、７０は経皮的に腹腔内に挿入するマニピュレータであり、このマニピュレータ７０の先端には、体腔内を立体観察可能とする立体視観察手段としての立体視スコープ７１が付設されている。
【００５８】
図１６および図１７（ａ）には、前記立体視スコープ７１の撮像した左右画面の信号を処理する図示しない制御装置が処理した信号を左右画像それぞれに表示するＨＭＤ（Head Mounted Display）７２を示しており、さらに、ＨＭＤ７２には、操作者の眼球７３ａ，７３ｂの視線方向をそれぞれ検出する視線検知センサ７４ａ，７４ｂが設けられている。
【００５９】
この視線検知センサ７４ａ，７４ｂは、前述した第１の実施例の場合と同様に、制御装置（図示せず）の演算処理部（図示せず）に接続される。この演算処理部は、視線検知センサ７４ａ，７４ｂが検知した信号を基に眼球７３ａ，７３ｂの各視線を求め、対象物の位置を算出する対象物位置算出回路を備えて構成されている。なお、前記対象物位置算出回路は、求めた対象物の位置を基に、前記立体視スコープ７１の前記可変焦点光学系を駆動制御する、いわゆるオートフォーカス制御も行う。
【００６０】
前記視線検知センサ７４ａ，７４ｂの具体例としては、図１８（ａ）に示すように、ＣＣＤカメラ７８で眼球７３ａ，７３ｂを観察するものがあり、そして、これは画像処理によりその眼球７３ａ、７３ｂの位置と、瞳孔７５ａ，７５ｂの中心位置の相対関係から検出する視線を検出する方式である。
【００６１】
また、別の構成としては、図１８（ｂ）に示すように、眼球７３ａ，７３ｂに向けて発光ダイオード７９から赤外光を出射し、眼球７３ａ，７３ｂで反射した光をＰＳＤ（ポジション・センシング・デバイス）８０で検出することにより、視線方向を検出する方式を採用することも考えられる。いずれの方式も、瞳孔と目の角膜で反射した赤外光による反射像との位置関係をマイクロコンピュータで高速演算して眼球の回転角を求め、どこを見ているかを算出する。
【００６２】
そこで、図１７（ｂ）において、前記操作者が対象物を観察しているときに、図１７（ａ）で示すように、左右の目の視線方向は対象物の虚像８１上で交わるため、各々の視線方向を視線検知センサ７４ａ，７４ｂで求めれば、対象物の虚像８１の３次元的な位置が求められる。さらに、前記ＨＭＤ７２と立体視スコープ７１との光学系の関係が既知であるので、ＨＭＤ７２における対象物の虚像の３次元的な位置から、立体視スコープ７１に対する対象物の実像の３次元的な位置が求められる。
【００６３】
前記光学系の関係とは、例えば、ＨＭＤ７２における眼球７３ａ，７３ｂと表示部８２ａ，８２ｂとの位置関係、及び立体視スコープ７１における対物光学系７１ａ，７１ｂとＣＣＤ８４ａ，８４ｂとの位置関係、さらに，各光学系の倍率等がある。理想的には、光学系の関係が相似関係であれば、図１７（ａ）（ｂ）中において示すθＬ、ψＬ、θＲ、ψＲの間には、θＬ＝ψＬ、θＲ＝ψＲの関係式が成立する。
【００６４】
しかし、相似関係でなくても、前記光学系の関係が既知であるので、容易に実像の３次元的位置を求めることができる。なお、ψＬ、ψＲは対物光学系７１ａ，７１ｂが対象物の虚像８１に合焦した場合に、対物光学系７１ａ，７１ｂ、及びＣＣＤ８４ａ，８４ｂの光軸に対する偏角である。また、θＬ、ψＬは、図１８（ａ）（ｂ）で示すように、左右の眼球７３ａ，７３ｂの瞳孔７５ａ，７５ｂの中心軸Ａ、Ｂ、つまり、左右の視線の方向と、表示部８２ａ，８２ｂとのなす角度である。
【００６５】
この図１７および図１８では、その説明を容易にするため、平面における問題として扱っているが、立体空間においても同様の原理で観察対象の位置が検出できる。
【００６６】
視線検出センサ７４ａ，７４ｂにより求めた対象物の虚像８１の座標の３次元的位置に立体視スコープ７１が向けられるように、手術用マニピュレータ７０を動作させるためにＨＭＤ７２の観察像の中心点及び立体スコープ７１の先端にそれぞれアイ座標系８５、スコープ座標系８６を設ける。アイ座標系８５における虚像の観察位置Ｐが、スコープ座標系８６における実像の観察位置ｐに、常に一致するように座標系を設定し、マニピュレータ７０を動作させる。座標系の設定変更は使用環境に応じて前述した実施例のような方法によって行うことができる。これにより、視線が向けられた観察対象の観察像を画面の中央に移動させることが可能である。
【００６７】
なお、図１５中、８７は経皮的内視鏡下手術において使用される各種の処置具である。マニピュレータ７０やこの処置具８７は経皮的に腹腔８８内に挿入される。
（第４の実施例）
この実施例はマニピュレータの操作手段として音声を使用した場合の例であり、これを図１９を参照して説明する。
【００６８】
すなわち、音声入力手段９０と、音声認識装置９１と、２つのスレーブマニピュレータ３，４、及びマニピュレータ制御装置（図示せず）を備えて構成される。操作者９２は、そのスレーブマニピュレータ３，４の操作者側から見た状態での動作方向を示す「前へ」「後へ」「上へ」「下へ」「右へ」「左へ」等の言葉を、マイクロホン等の音声入力手段９０に向けて発声すると、音声認識装置９１がその言葉の意味を解読し、マニピュレータ制御装置への指令データを生成する。
【００６９】
スレーブマニピュレータ３，４には手術台１に固定されており、その基部（基台）７，８に固定した上下、左右、前後を示すベース座標系９３がそれぞれ設定されている。これらのベース座標系９３は、マニピュレータ制御装置にて、操作者から見た方向と一致するように、その座標設定の変更が可能であり、これは前述したような方法で行うことができる。
【００７０】
このようにベース座標系を任意の方向に変更可能である。ここで、例えば、操作者９２側に設置される一方のスレーブマニピュレータ３においては操作者９２から見た方向と、あらかじめ設定されたベース座標系９３の方向とは通常一致しているため、そのベース座標系９３の変更は不要である。しかし、反対側に設置された他方のスレーブマニピュレータ４は、前記スレーブマニピュレータ３とは逆向きに取り付けられるから、操作者９２から見た方向と、あらかじめ設定されたスレーブマニピュレータ４のベース座標系９３の方向が一致せず、逆向きになる。このため、操作者９２の発声の意味に一致しない。
【００７１】
そこで、他方のスレーブマニピュレータ４についてのタスク座標系を変換し、ベース座標系９３の破線で示した方向に変更することにより、操作者９２の発声の意味に一致させるのである。これにより、そのスレーブマニピュレータ４の操作がきわめて容易になる。
【００７２】
なお、この第４の実施例では、音声入力によりマニピュレータ３，４のベース座標系９３に設定された方向に従って、スレーブマニピュレータ３，４を動作させた例を示したが、その音声入力の代わりに、図２０に示すように、上下、前後、左右のスイッチボタン９４を有する操作盤９５を利用したり、図２１で示すように、ジョイスティック９６を有する操作盤９７を使用したものでも構わないものである。
（第５の実施例）
図２２および図２３を参照して、この第５の実施例を説明する。図２２（ａ）で示すように、マニピュレータ１００は、体腔内に挿入する挿入部１０１の先端に、体腔内を観察するための観察手段１０２を設けている。この観察手段１０２には、例えば、図２３（ａ）でに示すような、立体観察可能とする立体視スコープ１０３あるいは、同図（ｂ）に示すような超音波トランスデューサ１０４を内蔵する超音波プローブ１０５等が利用できる。
【００７３】
一方、マニピュレータ１００の操作手段としてのジョイスティック１０６、前記観察手段１０２から得られた観察像を表示するための、ＴＶモニタなどからなる表示手段１０７がある。観察手段１０２の先端には、これの先端に固定されたツール座標系１０８を設け、これは、制御装置の制御手段によって、ジョイスティック１０６の操作方向Ｘ，Ｙ，Ｚに対応し動作する。制御手段に設定される前記ツール座標系１０８は、例えば前述した実施例のような方式によって、その座標設定の変換手段により設定・変更できるようになっている。
【００７４】
そこで、表示手段１０７の上下、左右、前後方向の座標１０９と、ジョイスティック１０６の操作方向Ｘ，Ｙ，Ｚとを、前述した座標変換方式により設定し直して、互いに対応させることにより、画面に対して所望の方向を見たいときに、ジョイスティック１０６の操作方向が直ちにわかり、その操作性を良くする。
（第６の実施例）
図２４および図２５を参照してこの第６の実施例を説明する。図２４は磁気コイルによる操作手段を示しており、図２５はマニピュレータを示している。この実施例でのマニピュレータ１１０は、前記第５の実施例と同様、体腔内に挿入する挿入部１１１の先端に体腔内を観察するための観察手段１１２を設けている。この観察手段１１２には、例えば、前述した図２３（ａ）でに示すような、立体観察可能とする立体視スコープ１０３、あるいは図２３（ｂ）に示すような超音波トランスデューサ１０４を内蔵する超音波プローブ１０５などが利用できる。
【００７５】
また、図２４で示すように、体腔内を観察するための観察手段１１２から得られた観察像を表示する手段としてＨＭＤ１１５があり、これを操作者１１６が頭に装着する。このＨＭＤ１１５には、前述した第２の実施例で説明したようなセンスコイル１１７を取り付け、このセンスコイル１１７の、ソースコイル１１８に対する３次元的位置関係より、操作者１１６の頭部の３次元的位置を検出するように構成されている。この検出手段で求められた操作者１１６の頭部の動きに対応して、マニピュレータ１１０を追従した動きの動作を行わせるようになっている。また、前述した実施例と同様、その一方の座標系に対する他方の座標系の設定は変更が可能なようになっており、使用環境に応じて互いに一致するように設定を変更することが可能である。
【００７６】
マニピュレータ１１０における観察手段１１２の先端には、固定されたツール座標系１１９が設定してある。また、センスコイル１１７およびソースコイル１１８にはそれぞれセンサ座標系１２１，１２２が設定してあり、この両者の３次元的位置関係は、そのセンサ座標系１２１からセンサ座標系１２２への座標変換マトリックスＭとして計算される。
【００７７】
ところで、マニピュレータは、操作者１１６の頭の動きに常に対応して動作すると、かえって不都合な場合がある。例えば、ＨＭＤ１１５を着脱する場合や、マニピュレータ１１０を静止させておきたい場合がそれである。
【００７８】
こうした場合に対応して、センサ手段から得られた３次元的な頭の位置にマニピュレータ１１０が追従する条件を無効／有効に切り替えることが可能とするスイッチ等の切替え手段を設ける。
【００７９】
この条件を有効とした場合に、有効とした瞬間のＨＭＤ１１５のセンサ座標系１２１から頭が動いた後の現在のセンサ座標系１２１′への座標変換マトリックスＰが、同様に有効とした瞬間の観察手段１１２のツール座標系１１９から移動後のツール座標系１１９′への座標変換マトリックスＱに一致するように、マニピュレータ１１０を動作させる。これによると、無効／有効の切替え時にＨＭＤ１１５の移動方向と、頭の動きの方向に矛盾が生じない。
（第７の実施例）
図２６で示す第７の実施例はその手術用マニピュレータ１１０が前述した第６の実施例で説明したものと同じ構成であり、また、体腔内を観察するための観察手段１１２から得られた観察像を表示する手段としてのＨＭＤ１１５が同じく設けられている。
【００８０】
操作者１１６の頭に装着するＨＭＤ１１５は複数のアーム１２６を連節したマニピュレータ１２７に搭載されており、マニピュレータ１２７の各関節に設けたエンコーダ１２８の関節角度により、そのＨＭＤ１１５の３次元的位置が求められる。この位置に応じて手術用マニピュレータ１１０を対応した動作を行わせるようになっている。
【００８１】
観察手段１１２の先端にはこれに固定されたツール座標系１１９がある。ＨＭＤ１１５には、これに固定されたセンサ座標系１２１がある。
ところで、マニピュレータは、操作者１１６の頭の動きに常に対応して動作すると、かえって不都合な場合がある。例えば、ＨＭＤ１１５を着脱する場合や、マニピュレータ１１０を静止させておきたい場合がそれである。
【００８２】
こうした場合に対応して、センサ手段から得られた３次元的な頭の位置にマニピュレータ１１０が追従する条件を無効／有効に切り替えることが可能とする手段を設ける。
【００８３】
この条件を有効とした場合に、有効とした瞬間のＨＭＤ１１５のセンサ座標系１２１から頭が動いた後の現在のセンサ座標系１２１′への座標変換マトリックスＰが同様に有効とした瞬間の観察手段１１２のツール座標系１１９から移動後のツール座標系１１９′への座標変換マトリックスＱに一致するように、マニピュレータ１１０を動作させる。これによると、無効／有効の切替え時にＨＭＤ１１５の移動方向と、頭の動きの方向に矛盾が生じない。
（第８の実施例）
図２７および図２８を参照して、この第８の実施例を説明する。この実施例は、モニターを見ながらの処置用マニピュレータの操作性を高める観察手段を提供するものである。図２７中、１３０は体腔内に誘導されて使用される処置用マニピュレータを示しており、このマニピュレータ１３０の先端にはツール座標系１３１が設定されている。ツール座標系１３１のＸ軸が、マニピュレータ１３０の長軸に一致させるように、その使用環境に応じてツール座標系１３１を設定する。
【００８４】
また、同図中１３３は観察用マニピュレータであり、この観察用マニピュレータ１３３の先端に設けた観察手段１３４により処置用マニピュレータ１３０を観察し、また、その表示手段であるＴＶモニター１３５の画面内に前記ツール座標系１３１をスーパインポーズさせる。
【００８５】
処置用マニピュレータ１３０の操作手段には、ツール座標系１３１の座標軸に対応して移動させる機能を設ける。これによりＴＶモニター１３５の画面内に表示される前記ツール座標系１３１を見ながらの種々の操作手段によりそれの操作を容易に行うことができる。
（第９の実施例）
図２９を参照してこの第９の実施例を説明する。この実施例は例えば前述した第１の実施例において示したように、スレーブマニピュレータ３，４と、マスタマニピュレータ１６，１７とをそれぞれ２台ずつ設けたマニピュレータシステムに係るが、特に、そのスレーブマニピュレータ３，４についてのタスク座標系を共有し、これを共有座標系１４１とする。また、マスタマニピュレータ１６，１７についてのタスク座標系も共有し、これを共有座標系１４２とする。もちろん、共有座標系１４１，１４２は座標設定が変更可能なものである。
【００８６】
そして、各々、共有座標系１４１，１４２における位置関係が対応するよう、マスタマニピュレータ１６，１７の操作によってスレーブマニピュレータ３，４に対応した動作を行わせるように、その各座標系を設定させている。その他の点では前述した第１の実施例の説明の通りである。
【００８７】
このように共有座標系１４１，１４２を共有するから、それぞれ共有する座標系で、マスタマニピュレータ１６，１７の動きに追従して、スレーブマニピュレータ３，４を操作できる。したがって、２台のマニピュレータシステムで協調作業を行うときの操作が容易である。なお、対のマニピュレータは２組に限らず、それを越えて設けてもよい。
（第１０の実施例）
図３０に基づいて、第１０の実施例を説明する。このマニピュレータシステムにおいて、スレーブマニピュレータ１５１は、その先端を体内に挿入する挿入部１５２を有した器具１５３と、この器具１５３を支持するための直動及び回転の自由度を有する複数の軸を有するロボット１５４とからなる。挿入部１５２の先端部には、３次元（立体）スコープ１５５と、一対の処置具１５６，１５７を備えている。挿入部１５２の先端部および一対の処置具１５６，１５７は、それぞれ多自由度にて湾曲動作可能となっている。また、このスレーブマニピュレータ１５１は、直動及び回転の自由度を有する。
【００８８】
一方、操作手段としては、多関節構造を有するマスタマニピュレータ１６１があり、そのマスタマニピュレータ１６１の先端には、ＨＭＤ１６２と、一対の処置具操作用操作アーム１６３，１６４とが設けられている。処置具操作用操作アーム１６３，１６４の一方と他方は前述した一対の処置具１５６，１５７の一方と他方にそれぞれ個別的に対応して、そのマスタとスレーブとしての個別的に対応した動きをするように制御されるように座標系が設定されている。
【００８９】
すなわち、図３０に示すように各々の位置には座標系が設けられている。つまり、マスタマニピュレータ１６１のツール座標系１６５についての動作が、スレーブマニピュレータ１５１の挿入部１５２の座標系１６６に対応し、さらに、ツール座標系１６５に対するＨＭＤ１６２のセンサ座標系１６７が、挿入部１５２の座標系１６６に対するスコープ座標系１７０に対応するよう、スレーブマニピュレータ１５１が動作する。ツール座標系１６５に対する、操作アーム１６３，１６４の操作部座標系１６８，１６９がそれぞれ挿入部座標系１６６に対する処置部座標系１７１，１７２に対応するように設定されている。
【００９０】
したがって、複数の処置具と、観察手段を独立して制御する場合においても、その動作方向の矛盾なく操作が可能である。
（第１１の実施例）
この実施例は前述した第１の実施例の変形例を示すものであり、これを図３１に示す。すなわち、この実施例は、内視鏡および処置具を搭載した複数の手術用マニュピレータたる第１のスレーブマニピュレータ３と第２のスレーブマニピュレータ４を設け、これを遠隔的に操作手段によって遠隔的に操作を行う。また、複数のスレーブマニピュレータ３と第２のスレーブマニピュレータ４は手術台１のサイドに固定されるが、そのベットサイドのスペースの都合により、左右に分けてその手術台１の両側に設置されている。
【００９１】
一方、操作手段としては、前記スレーブマニピュレータ３，４にそれぞれ個別的に対応するマスタマニピュレータ１６，１７が設けられるが、この複数のマスタマニピュレータ１６，１７を１人の操作者で操作する関係で、その操作者のいる同じ側において手術台１の一方のサイドに固定的に設置している。つまり、スレーブマニピュレータ３，４とこれに個別的に対応するマスタマニピュレータ１６，１７の各組には、同じサイドに設置できなくなる組が生じる。この実施例ではスレーブマニピュレータ４とこれに対応するマスタマニピュレータ１７がその関係にある。
【００９２】
そして、このスレーブマニピュレータ４とマスタマニピュレータ１７の組の場合には、両者のベース座標系は、最初、一致せず、そのベース座標系を基に位置の対応を行わせると、操作者が意図しない方向にスレーブマニピュレータ４が動いてしまう問題がある。このことは前述した通りである。
【００９３】
この対策として、この実施例では、そのスレーブマニピュレータ３，４とマスタマニピュレータ１６，１７の各タスク座標系を設定するにあたり、その複数のスレーブマニピュレータ３，４のタスク座標系１７３を共有化し、また、マスタマニピュレータ１６，１７のタスク座標系１７４も共有化するものとする。このようにタスク座標系をそれぞれ共有化することにより、複数のマニピュレータを設けるシステムにおいても、それらの間の位置関係の対応がとれ、操作性の改善が図れる。
【００９４】
このように、スレーブマニピュレータ３，４は患者およびベットとのレイアウトから設置され、ベース座標系の整合がとれないことが多く、また、マスタマニピュレータ１６，１７は操作者の操作上の都合により設置する位置が決められることがある。このため、それらのタスク座標系の対応が一致しないことがあるが、この実施例では、共有化したタスク座標系１７３，１７４としてそれぞれ設定し直して、その座標系を一致させることで、その問題を解決できるのである。
【００９５】
なお、複数のスレーブマニピュレータの数に応じて操作手段も同じ数を設ける場合に限らず、操作手段、例えば、あるマスタマニピュレータを複数のスレーブマニピュレータに共用するようにしてもよい。例えばこの第１１の実施例では例えばマスタマニピュレータ１６のみとし、図示しない切替え手段を設けて使用するに有効なスレーブマニピュレータ３，４を選択するようにしてもよい。
（第１２の実施例）
図３２で示すように、この実施例は、例えば前述した第１の実施例の場合のように経皮的手術で行う場合において、複数の処置用スレーブマニピュレータ１８１，１８２を設け、この術野を経皮的に挿入した内視鏡１８３で観察するようにしたものである。複数の処置用スレーブマニピュレータ１８１，１８２、およびこれのための操作手段については例えば前述した第１の実施例と同じである。
（追記）
（１） 術者が操作できる領域内に設置された操作手段と、
術野にアクセスするように設置され前記操作手段の操作に追従した動きを行うマニピュレータと、
固有の座標系を基準として前記操作手段の操作位置及び／又はオリエンテーションを決定する第１の制御手段と、
固有の座標系を基準として前記第１の制御手段からの情報により、前記マニピュレータの位置及び／又はオリエンテーションを決定して前記マニピュレータを動かす第２の制御手段と、
前記操作手段の固有の座標系及び前記マニピュレータの固有の座標系の少なくとも一方の座標系の設定を変換して前記操作手段とマニピュレータの位置及び／又はオリエンテーションの対応をとる座標系の変換手段とを具備したことを特徴とする手術用マニピュレータシステム。
【００９６】
（２） 術者が操作できる領域内に設置されたマスタマニピュレータと、
術野にアクセスするように設置され前記マスタマニピュレータの操作に追従した動きを行うスレーブマニピュレータと、
固有の座標系を基準として前記マスタマニピュレータの位置及び／又はオリエンテーションを決定する第１の制御手段と、
固有の座標系を基準として前記第１の制御手段から情報により前記スレーブマニピュレータの位置及び／又はオリエンテーションを決定してそのスレーブマニピュレータを動かす第２の制御手段と、
前記マスタマニピュレータの固有の座標系、及び前記スレーブマニピュレータの固有の座標系の少なくとも一方の座標系の設定を変換して各マニピュレータの位置及び／又はオリエンテーションの対応をとる座標系の変換手段とを具備したことを特徴とする手術用マニピュレータシステム。
【００９７】
（３） 術者が操作できる領域内において固有の座標系を基準として位置及び／又はオリエンテーションを決定する状態に操作手段を設置するとともに、この操作手段の操作情報により、固有の座標系を基準として位置及び／又はオリエンテーションを決定して前記操作手段の動きに追従した動きを行うマニピュレータを術野にアクセス可能な位置に設置する第１のステップと、
前記操作手段及びマニピュレータの少なくとも一方の固有の座標系についての座標設定を変換して前記操作手段及びマニピュレータの位置及び／又はオリエンテーションの対応をとる第２のステップとを具備したことを特徴とする手術用マニピュレータシステムにおける座標変換方法。
【００９８】
（４） 前記操作手段及びマニピュレータの位置及び／又はオリエンテーションの対応をとる第２のステップは、
新たに設定したいタスク座標の原点を決め、その定めた原点の位置に、操作手段及び／またはマニピュレータの先端を合わせる第１のステップと、
操作手段及び／またはマニピュレータにおいてそのベース座標系における原点の位置データを読み取ってこれにより、新たに設定しようとするタスク座標系の原点の位置を定義する第２のステップと、
新たに設定したタスク座標系の原点から手術環境に適する任意の方向にＸ軸を仮に選定する第３のステップと、
この仮に選定したＸ軸上で、＋側の任意の第２の点の位置に、操作手段及び／またはマニピュレータの先端を合わせ、その第２の点のベース座標系における位置データを読み取って、前記原点から第２の点に向かう第１のベクトルを求めることにより設定しようとするタスク座標系のＸ軸を定義する第４のステップと、適すると想定されるＸＹ軸の予想平面上で、Ｙ成分が＋である任意の第３の点を決め、この第３の点の位置に操作手段及び／またはマニピュレータの先端を合わせ、その第３の点のベース座標系における位置データを読み取って原点から第３の点に向かう第２のベクトルを求め、この第２のベクトルと前述した第１のベクトルからＺ軸を求める第５のステップと、
第１のベクトルと第２のベクトルと第１のベクトルとからＹ軸を求める第６のステップとを経て、
空間上に新たなタスク座標系のＸ，Ｙ，Ｚ軸を設定することを特徴とする前記３に記載の手術用マニピュレータシステムにおける座標変換方法。
【００９９】
（５） 前記操作手段及びマニピュレータの位置及び／又はオリエンテーションの対応をとる第２のステップは、
新たに設定されたタスク座標系の、ベース座標系に対する座標変換マトリックスを求め、前記操作手段及びマニピュレータの位置及び／又はオリエンテーションの対応をとることを特徴とする前記３に記載の手術用マニピュレータシステムにおける座標変換方法。
【０１００】
（６） 前記操作手段及びマニピュレータの位置及び／又はオリエンテーションの対応をとる第２のステップは、
前記マニピュレータに搭載するツールに固有な座標系としてツール座標系を求め、このツール座標系を新たに設定したいタスク座標系に合わせて設定することを特徴とする前記３に記載の手術用マニピュレータシステムにおける座標変換方法。
【０１０１】
（７） 前記操作手段がマスタスレーブ方式におけるマスタマニピュレータであり、観察または処置の少なくとも一方を行うマニピュレータがスレーブマニピュレータである前記１に記載される手術用マニピュレータシステム。
【０１０２】
（８） 操作手段が空間の位置またはオリエンテーションの少なくとも一部を検出するセンサであり、前記センサにより操作者の身体の動きを検出することを特徴とする前記１に記載される手術用マニピュレータシステム。
【０１０３】
（９） 前記操作手段が音声入力装置であり、音声で指令した方向に動作することを特徴とする前記１に記載される手術用マニピュレータシステム。
（１０） 前記操作手段がスイッチであり、スイッチにより指定した方向に動作することを特徴とする前記１に記載される手術用マニピュレータシステム。
【０１０４】
（１１） 複数の操作手段を有し、その操作手段の固有の座標系のうち少なくとも複数の座標系を共有することを特徴とする前記１、２又は３に記載される手術用マニピュレータシステムまたは座標変換方法。
【０１０５】
（１２） 前記操作手段がマスタスレーブ方式におけるマスタマニピュレータであることを特徴とする手術用マニピュレータシステムまたは座標変換方法。
（１３） 複数のマニピュレータを有し、そのマニピュレータの固有の座標系のうち少なくとも複数の座標系を共有することを特徴とする前記１、２又は３に記載される手術用マニピュレータシステムまたは座標変換方法。
【０１０６】
（１４） 操作手段とマニピュレータの各固有の座標系のうち少なくとも複数の座標系を共有して座標系を対応させることを特徴とする前記１、２又は３に記載される手術用マニピュレータシステムまたは座標変換方法。
【０１０７】
（１５） 操作手段として、マスタスレーブ方式におけるマスタマニピュレータと、空間の位置またはオリエンテーションの少なくとも一部を検出するセンサを有し、マスタマニピュレータとセンサの座標系を対応させる手段を有する前記１４に記載される手術用マニピュレータシステムまたは座標変換方法。
【０１０８】
（１６） 少なくとも２以上の操作手段を共通とし、個々のマニピュレータに対応する操作手段の切換え手段を有し、操作手段の切り換えを行って選択的に使用することを特徴とする前記１１に記載される手術用マニピュレータシステム。
【０１０９】
（１７） 術者が操作できる領域内に設置された操作手段と、
術野にアクセスするように設置され前記操作手段の操作に追従した動きを行う術野の観察手段を有するマニピュレータと、
前記観察手段から得られた画像を表示する表示手段と、
前記操作手段及び前記マニピュレータの位置及び／又はオリエンテーションを座標系を基準として定める制御手段と、
前記座標系の設定を変換して前記操作手段の位置及び／又はオリエンテーションと前記マニピュレータの位置及び／又はオリエンテーションの対応関係を設定する座標変換手段と、
前記マニピュレータの座標系と、このマニピュレータの有する観察手段から得られた画像を表示する表示手段の画面の方向とを対応させる手段と
を具備したことを特徴とする手術用マニピュレータシステム。
【０１１０】
（１８） マニピュレータの有する観察手段に固定された座標系を有する前記１７に記載される手術用マニピュレータシステム。
（１９） 前記表示手段に空間の位置またはオリエンテーションの少なくとも一部を検出するセンサを設け、表示手段の動きに対応して、観察手段を有するマニピュレータを動作させる制御手段を有する前記１７に記載される手術用マニピュレータシステム。
【０１１１】
（２０） 前記表示手段を移動可能なアームにとり付け、アームの移動部にエンコーダを設け、表示手段の動きに対応して、観察手段を有するマニピュレータを動作させる制御手段を有する前記１７に記載される手術用マニピュレータシステム。
【０１１２】
（２１） 前記マニピュレータの有する処置手段に固定された座標系の示す方向を表示手段に表示する画像処理手段を有する前記１７に記載される手術用マニピュレータシステム。
【０１１３】
（２２） 術野（作業範囲）に種々の異なる方向からアクセスすることができるように設置された複数のスレーブマニピュレータと、
術者が操作できる領域内に対応する前記スレーブマニピュレータとは異なる方向からアクセスするように設置されたマスタマニピュレータと、
前記スレーブマニピュレータとは異なる方向からアクセスするように設置されたマスタマニピュレータと、
前記スレーブマニピュレータと前記マスタマニピュレータとの座標系を変換してそのマスタマニピュレータと前記スレーブマニピュレータとの位置及びオリエンテーションの関係を決定する座標変換手段とを具備したことを特徴とする手術用マニピュレータシステム。
【０１１４】
（２３） 前記マスタマニピュレータは前記スレーブマニピュレータの数より少なく少なくとも一部のマスタマニピュレータは複数のスレーブマニピュレータに兼用し、その共用するマスタマニピュレータを使用するスレーブマニピュレータに対応させる状態に切り換える手段を具備したことを特徴とする前記２２に記載の手術用マニピュレータシステム。
【０１１５】
（２４） 追記の（２）と（１７）をまとめ、（２）のスレーブマニピュレータと、（１７）のスレーブマニピュレータとの関係を決定する座標変換手段を加えた内容として、
術者が操作できる領域内に設置されたマスタマニピュレータと、
術野にアクセスするように設置され前記操作手段の操作に追従した動きを行う術野の観察手段を有するスレーブマニピュレータと、
前記観察手段から得られた画像を表示する表示手段と、
固有の座標系を基準として前記マスタマニピュレータの位置及び／又はオリエンテーションをその座標系を基準として定める第１の制御手段と、
固有の座標系を基準として前記第１の制御手段から情報により前記スレーブマニピュレータの位置及び／又はオリエンテーションを決定してそのスレーブマニピュレータを動かす第２の制御手段と、
前記座標系の少なくとも一方の設定を変換して前記マスタマニピュレータ操作手段の位置及び／又はオリエンテーションと前記スレーブマニピュレータの位置及び／又はオリエンテーションの対応関係を設定する座標変換手段と、
前記マニピュレータの座標系と、このマニピュレータの有する観察手段から得られた画像を表示する表示手段の画面の方向とを対応させる手段と
を具備したことを特徴とする手術用マニピュレータシステム。
【０１１６】
【発明の効果】
以上説明したように本発明によれば、手術用マニピュレータの座標系と、操作手段の座標系との関係に応じてその座標系の設定及び変更により、操作者から見た手術用マニピュレータと操作手段との動作方向を一致させることが可能となり、両者の設置の際の相対的位置関係による操作性の制約が回避される。つまり、手術用マニピュレータと操作手段の相対的位置関係によって動作方向に関する操作性が損なわれることなく、操作者の意図するような操作を行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例においてのマニピュレータシステムの説明図。
【図２】本発明の第１の実施例のマニピュレータシステムにおける制御システムの説明図。
【図３】本発明の第１の実施例においてのマニピュレータの座標系の設定を変更するための説明図。
【図４】本発明の第１の実施例においてのマニピュレータの座標系の設定を変更する手順を示す図。
【図５】本発明の第１の実施例においてのマニピュレータの座標系の設定を変更する手順を示す図。
【図６】本発明の第１の実施例においてのマニピュレータの座標系の設定を変更する他の方法の説明図。
【図７】本発明の第１の実施例においてのマニピュレータの座標系の設定を変更する他の手順を示す図。
【図８】本発明の第１の実施例においてのマニピュレータの座標系の設定を変更する他の方法の説明図。
【図９】本発明の第１の実施例においてのマニピュレータの座標系の設定を変更する他の方法の説明図。
【図１０】本発明の第１の実施例においてのマニピュレータの座標系の設定を変更する他の手順を示す図。
【図１１】本発明の第２の実施例においてのマニピュレータシステムの説明図。
【図１２】本発明の第２の実施例のマニピュレータシステムにおける制御装置の説明図。
【図１３】本発明の第２の実施例のマニピュレータシステムにおける操作手段の説明図。
【図１４】本発明の第２の実施例のマニピュレータシステムの使用状態の説明図。
【図１５】本発明の第３の実施例においてのマニピュレータの術野における使用状態の説明図。
【図１６】本発明の第３の実施例においてのＨＭＤの使用状態の説明図。
【図１７】本発明の第３の実施例においてのＨＭＤ及び立体視スコープの作用の説明図。
【図１８】本発明の第３の実施例においてのＨＭＤの視線を検出する方式の説明図。
【図１９】本発明の第４の実施例においての音声入力手段を用いたマニピュレータシステムの説明図。
【図２０】操作手段の入力手段としてのスイッチ式操作盤の例を示す平面図。
【図２１】操作手段の入力手段としてのジョイスティック式操作盤の例を示す平面図。
【図２２】本発明の第５の実施例においてのマニピュレータシステムの説明図。
【図２３】本発明の第５の実施例においてのマニピュレータの斜視図。
【図２４】本発明の第６の実施例においての操作手段の斜視図。
【図２５】本発明の第６の実施例においてのマニピュレータの斜視図。
【図２６】本発明の第７の実施例においてのマニピュレータシステムの説明図。
【図２７】本発明の第８の実施例においてのマニピュレータの斜視図。
【図２８】本発明の第８の実施例においてのＴＶモニターの正面図。
【図２９】本発明の第９の実施例においてのマニピュレータシステムの説明図。
【図３０】本発明の第１０の実施例においてのマニピュレータシステムの説明図。
【図３１】本発明の第１１の実施例においてのマニピュレータシステムの説明図。
【図３２】本発明の第１２の実施例においてのマニピュレータの使用状態の斜視図。
【符号の説明】
１…手術台（ベット）、２…患者、３…第１のスレーブマニピュレータ、４…第２のスレーブマニピュレータ、９，１０…処置具、１３，１４…ベース座標系、１５，１６…タスク座標系、１６…第１のマスタマニピュレータ、１７…第２のマスタマニピュレータ、１８…操作台、２３，２４…ベース座標系、２７…タスク座標系、３１，３２…制御装置、３３，３４…ＭＰＵ、３５，３６…アクチュエータ駆動回路、３７，３８…インターフェース回路。
Claims (2)
- 操作者が指示を与えるためのマスターマニピュレータと、前記マスターマニピュレータの移動に対応した動作を行うためのスレーブマニピュレ一タと、を有する手術用マニピュレータの制御システムにおいて、
第１の基準位置を基準にして前記マスターマニピュレータの第１の所定の部位の第１の座標を示す第１の座標情報を算出する第１の座標算出手段と、
前記スレーブマニピュレータの第２の所定の部位が前記第１の座標と等しい座標となるような第２の基準位置を設定する基準位置設定手段と、
前記基準位置設定手段で設定された第２の基準位置を基準にして前記スレーブマニピュレータの第２の所定の部位の第２の座標を示す第２の座標情報を算出する第２の座標算出手段と、
前記マスターマニピュレータの前記第１の所定の部位の前記第１の座標情報と前記スレーブマニピュレータの前記第２の所定の部位の前記第２の座標情報とに基づいて、前記第１の座標と前記第２の座標との偏差を示す偏差情報を算出する偏差算出手段と、
前記偏差算出手段で算出された前記第１の座標と前記第２の座標との偏差を少なくするように、前記偏差情報に基づいて前記スレーブマニピュレータを移動させる移動手段と、
を有することを特徴とする手術用マニピュレータの制御システム。 - 操作者が指示を与えるためのマスターマニピュレータと、前記マスターマニピュレータの移動に対応した動作を行うためのスレーブマニピュレ一タと、を有する手術用マニピュレータの制御方法において、
第１の基準位置を基準にして前記マスターマニピュレータの第１の所定の部位の第１の座標を示す第１の座標情報を算出する第１の座標算出工程と、
前記スレーブマニピュレータの第２の所定の部位が前記第１の座標と等しい座標となるような第２の基準位置を設定する基準位置設定工程と、
前記基準位置設定工程で設定された第２の基準位置を基準にして前記スレーブマニピュレータの第２の所定の部位の第２の座標を示す第２の座標情報を算出する第２の座標算出工程と、
前記マスターマニピュレータの前記第１の所定の部位の前記第１の座標情報と前記スレーブマニピュレータの前記第２の所定の部位の前記第２の座標情報とに基づいて、前記第１の座標と前記第２の座標との偏差を示す偏差情報を算出する偏差算出工程と、
前記偏差算出工程で算出された前記第１の座標と前記第２の座標との偏差を少なくするように、前記偏差情報に基づいて前記スレーブマニピュレータを移動させる移動工程と、
を有することを特徴とする手術用マニピュレータの制御方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13181194A JP3540362B2 (ja) | 1994-06-14 | 1994-06-14 | 手術用マニピュレータの制御システム及びその制御方法 |
| US08/940,613 US5876325A (en) | 1993-11-02 | 1997-09-30 | Surgical manipulation system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13181194A JP3540362B2 (ja) | 1994-06-14 | 1994-06-14 | 手術用マニピュレータの制御システム及びその制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07328016A JPH07328016A (ja) | 1995-12-19 |
| JP3540362B2 true JP3540362B2 (ja) | 2004-07-07 |
Family
ID=15066667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13181194A Expired - Fee Related JP3540362B2 (ja) | 1993-11-02 | 1994-06-14 | 手術用マニピュレータの制御システム及びその制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3540362B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101426426B (zh) * | 2004-04-02 | 2011-08-31 | 西弗科医疗器械公司 | 用于当执行对病人的医疗成像时使用的支撑系统 |
Families Citing this family (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6646541B1 (en) * | 1996-06-24 | 2003-11-11 | Computer Motion, Inc. | General purpose distributed operating room control system |
| JP3816599B2 (ja) * | 1996-10-29 | 2006-08-30 | オリンパス株式会社 | 体腔内処置観察システム |
| IL123646A (en) * | 1998-03-11 | 2010-05-31 | Refael Beyar | Remote control catheterization |
| JP2001275931A (ja) * | 2000-04-03 | 2001-10-09 | Olympus Optical Co Ltd | 医療システム |
| US20060178556A1 (en) | 2001-06-29 | 2006-08-10 | Intuitive Surgical, Inc. | Articulate and swapable endoscope for a surgical robot |
| US6817974B2 (en) | 2001-06-29 | 2004-11-16 | Intuitive Surgical, Inc. | Surgical tool having positively positionable tendon-actuated multi-disk wrist joint |
| US7166114B2 (en) | 2002-09-18 | 2007-01-23 | Stryker Leibinger Gmbh & Co Kg | Method and system for calibrating a surgical tool and adapter thereof |
| CN101181167B (zh) | 2002-12-06 | 2013-05-08 | 直观外科手术操作公司 | 用于手术工具的柔性肘节 |
| DE10335644B9 (de) * | 2003-08-04 | 2006-06-01 | Carl Zeiss | Mikroskopiesystem |
| US7873400B2 (en) | 2003-12-10 | 2011-01-18 | Stryker Leibinger Gmbh & Co. Kg. | Adapter for surgical navigation trackers |
| US7771436B2 (en) | 2003-12-10 | 2010-08-10 | Stryker Leibinger Gmbh & Co. Kg. | Surgical navigation tracker, system and method |
| US7658196B2 (en) * | 2005-02-24 | 2010-02-09 | Ethicon Endo-Surgery, Inc. | System and method for determining implanted device orientation |
| JP2007111386A (ja) * | 2005-10-21 | 2007-05-10 | Tokyo Univ Of Agriculture & Technology | 医療用ベッドおよび診断／治療システム |
| JP4916011B2 (ja) | 2007-03-20 | 2012-04-11 | 株式会社日立製作所 | マスタ・スレーブ式マニピュレータシステム |
| CA2684475C (en) * | 2007-04-16 | 2016-01-12 | Neuroarm Surgical Ltd. | Frame mapping and force feedback methods, devices and systems |
| JP5192898B2 (ja) * | 2008-04-25 | 2013-05-08 | オリンパスメディカルシステムズ株式会社 | マニピュレータシステム |
| EP3858416B1 (en) | 2008-05-06 | 2023-11-01 | Corindus, Inc. | Catheter system |
| KR101004690B1 (ko) * | 2008-07-17 | 2011-01-04 | (주)미래컴퍼니 | 수술용 로봇 시스템 및 그 구동 방법 |
| JP5384869B2 (ja) * | 2008-07-24 | 2014-01-08 | オリンパスメディカルシステムズ株式会社 | 内視鏡処置システム |
| FR2939022B1 (fr) * | 2008-11-28 | 2012-02-17 | Assistance Publique Hopitaux Paris | Dispositif de commande du deplacement d'un instrument chirurgical. |
| DE102009010263B4 (de) | 2009-02-24 | 2011-01-20 | Reiner Kunz | Verfahren zur Navigation eines endoskopischen Instruments bei der technischen Endoskopie und zugehörige Vorrichtung |
| US9962229B2 (en) | 2009-10-12 | 2018-05-08 | Corindus, Inc. | System and method for navigating a guide wire |
| KR101133268B1 (ko) * | 2009-11-25 | 2012-04-06 | 고려대학교 산학협력단 | 카테터 원격 제어 시스템 |
| US9833293B2 (en) | 2010-09-17 | 2017-12-05 | Corindus, Inc. | Robotic catheter system |
| JP5800610B2 (ja) * | 2011-07-07 | 2015-10-28 | オリンパス株式会社 | 医療用マスタスレーブマニピュレータ |
| JP5800609B2 (ja) * | 2011-07-07 | 2015-10-28 | オリンパス株式会社 | 医療用マスタスレーブマニピュレータ |
| WO2013005862A1 (en) * | 2011-07-07 | 2013-01-10 | Olympus Corporation | Medical master slave manipulator |
| JP5766150B2 (ja) * | 2012-05-29 | 2015-08-19 | 国立大学法人東京工業大学 | 内視鏡操作システム |
| WO2014136583A1 (en) | 2013-03-05 | 2014-09-12 | Olympus Corporation | Operation input device and master-slave system |
| JP6173089B2 (ja) | 2013-07-24 | 2017-08-02 | オリンパス株式会社 | 医療用マスタースレーブシステムの制御方法 |
| JP6689203B2 (ja) * | 2014-03-19 | 2020-04-28 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | 立体ビューワのための視線追跡を統合する医療システム |
| CN106456148B (zh) * | 2014-03-19 | 2020-06-12 | 直观外科手术操作公司 | 使用眼球凝视跟踪的医疗装置、系统和方法 |
| JP2017514608A (ja) * | 2014-05-05 | 2017-06-08 | バイカリアス サージカル インク． | 仮想現実外科手術デバイス |
| JP2016032533A (ja) * | 2014-07-31 | 2016-03-10 | オリンパス株式会社 | 医療用マニピュレータおよび処置具パッケージ |
| EP3212150B1 (en) | 2014-10-27 | 2021-08-11 | Intuitive Surgical Operations, Inc. | System for registering to a surgical table |
| CN107072725B (zh) | 2014-10-27 | 2019-10-01 | 直观外科手术操作公司 | 用于集成手术台的系统和方法 |
| CN111839731B (zh) | 2014-10-27 | 2024-09-10 | 直观外科手术操作公司 | 用于在反应运动期间监测控制点的系统和方法 |
| JP6676061B2 (ja) * | 2014-10-27 | 2020-04-08 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | 統合された手術台運動のためのシステム及び方法 |
| CN115444567A (zh) | 2014-10-27 | 2022-12-09 | 直观外科手术操作公司 | 用于器械干扰补偿的系统和方法 |
| EP3254638A4 (en) | 2015-02-03 | 2018-10-03 | Olympus Corporation | Medical manipulator system and control method therefor |
| JPWO2016190401A1 (ja) * | 2015-05-27 | 2017-07-06 | オリンパス株式会社 | 医療用マニピュレータシステム |
| JPWO2017002143A1 (ja) * | 2015-06-29 | 2018-04-19 | 川崎重工業株式会社 | 手術ロボット |
| WO2017209695A1 (en) * | 2016-06-01 | 2017-12-07 | Endomaster Pte. Ltd. | Endoscopy system components |
| KR102482803B1 (ko) * | 2016-07-14 | 2022-12-29 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 컴퓨터 보조 원격조작 시스템에서의 2차 기구 제어 |
| JP7039497B2 (ja) * | 2016-07-14 | 2022-03-22 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | 手術用器具を制御するためのシステム及び方法 |
| CA3063693A1 (en) | 2017-05-25 | 2018-11-29 | Covidien Lp | Systems and methods for detection of objects within a field of view of an image capture device |
| JP7130003B2 (ja) * | 2017-05-25 | 2022-09-02 | コヴィディエン リミテッド パートナーシップ | 画像捕捉デバイスの視野内の物体の検出のためのシステムおよび方法 |
| CN110831536B (zh) * | 2017-12-06 | 2021-09-07 | 奥瑞斯健康公司 | 用于针对非命令器械滚转进行校正的系统和方法 |
| JP2020141833A (ja) * | 2019-03-06 | 2020-09-10 | 川崎重工業株式会社 | 外科手術システムの制御方法および外科手術システム |
| CN110025380B (zh) * | 2019-04-11 | 2024-06-04 | 苏州点合医疗科技有限公司 | 一种可拆收双龙门式机械臂手术机器人 |
| US11926062B2 (en) * | 2020-02-24 | 2024-03-12 | Canon U.S.A., Inc. | Methods and apparatus for controlling a continuum robot |
| CN114211493B (zh) * | 2021-12-23 | 2023-10-27 | 武汉联影智融医疗科技有限公司 | 机械臂的远程控制系统和方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3197310B2 (ja) * | 1991-07-24 | 2001-08-13 | オリンパス光学工業株式会社 | 処置装置 |
| JPH0533117A (ja) * | 1991-07-25 | 1993-02-09 | Hitachi Zosen Corp | ステンレス鋼部材の表面処理方法 |
| JPH05301180A (ja) * | 1992-04-28 | 1993-11-16 | Fujitsu Ltd | 双腕アームの遠隔操作方式 |
| US5524180A (en) * | 1992-08-10 | 1996-06-04 | Computer Motion, Inc. | Automated endoscope system for optimal positioning |
| JPH06114766A (ja) * | 1992-10-01 | 1994-04-26 | Hitachi Ltd | マニピュレータの遠隔制御装置 |
| JPH07184923A (ja) * | 1993-12-28 | 1995-07-25 | Hitachi Ltd | 遠隔微細手術支援装置 |
-
1994
- 1994-06-14 JP JP13181194A patent/JP3540362B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101426426B (zh) * | 2004-04-02 | 2011-08-31 | 西弗科医疗器械公司 | 用于当执行对病人的医疗成像时使用的支撑系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07328016A (ja) | 1995-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3540362B2 (ja) | 手術用マニピュレータの制御システム及びその制御方法 | |
| JP7257559B2 (ja) | コンピュータ支援遠隔操作システムにおける補助器具制御 | |
| US7006895B2 (en) | Computed pivotal center surgical robotic system and method | |
| US6788999B2 (en) | Surgical system | |
| US8892224B2 (en) | Method for graphically providing continuous change of state directions to a user of a medical robotic system | |
| US6223100B1 (en) | Apparatus and method for performing computer enhanced surgery with articulated instrument | |
| US6731988B1 (en) | System and method for remote endoscopic surgery | |
| JP3766805B2 (ja) | 手術支援装置 | |
| JP2020065644A (ja) | 手術支援装置、その制御方法及びプログラム | |
| CN111278350B (zh) | 定位外科手术机器人系统的摄像头以捕获患者体腔内的图像 | |
| JPH08224248A (ja) | 医療用マニピュレータ | |
| JP2000300579A (ja) | 多機能マニピュレータ | |
| WO2020179815A1 (ja) | 外科手術システムの制御方法および外科手術システム | |
| JP2020065910A (ja) | 手術支援装置 | |
| JP2020065904A (ja) | 手術支援装置 | |
| US20230270510A1 (en) | Secondary instrument control in a computer-assisted teleoperated system | |
| JP3668269B2 (ja) | 体腔内手術用マニピュレータ装置 | |
| JPH08215205A (ja) | 医療用マニピュレータ | |
| JPH08196541A (ja) | 手術用マニピュレータ | |
| JPH08224246A (ja) | 医療用マニピュレータ | |
| EP4346683A2 (en) | Systems and methods for controlling a surgical robotic assembly in an internal body cavity | |
| US20220175479A1 (en) | Surgical operation system and method of controlling surgical operation system | |
| JPH07328015A (ja) | 手術用マニピュレータシステム | |
| WO2022209099A1 (ja) | 手術システム並びに手術支援方法 | |
| CN118217018A (zh) | 手术机器人的运动提示方法、装置及手术机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040316 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040325 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090402 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090402 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100402 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110402 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |