JP3583777B2 - テレオペレータシステムとテレプレゼンス法 - Google Patents

Description

本発明の技術分野
本発明は、一般的に、テレオペレータ法とその装置、特に作業現場で働いているオペレータの手に直に感じるのと同じ感覚で遠隔操作する装置のオペレータを提供する手段を含むものに関係する。
本発明の背景
テレオペレーティングは、良く知られているように、マニプレータを使った遠隔位置での作業を人間が行うことを含む。
テレプレゼンス（telepresence）は、オペレータが、実際に操作を行なう作業現場にいたら、自分自身の手で行うのと同じフィードバックコントロールを行うオペレータを提供することを含む。テレプレゼンス操作は、一般的に据え付けのビジュアルディスプレー，特に、遠隔作業場所の立体映像ディスプレーの使用を含む。立体鏡テレビシステムは、例えば米国特許番号4,562,463と4,583,117や英国出願特許GB2,040,134に示されているように良く知られている。
フィードバック力と共に、映し出す立体鏡テレビを使った遠隔マニプレータもまた、例えば、「運動感覚の結合を通した遠隔マニプレータの制御」，ベクジー（Bejczy）ら，機械設計のコンピュータ（Computers in Mechanical Engineering）,1983年７月,48〜60頁及び「フォース−フィードバックマニプレータを用いたペグインホール作業に対するステレオの利点（Stereo Advantage for ａ Peg−In−Hole Task Using ａ Force−Feedback Manipulator）」，スペイン（E.H.Spain），ステレオスコピック ディスプレーと応用（Stereoscopic Displays and Applications）第1256巻,1990年,244〜254頁の論文に示されているように良く知られている。ベクジーらの論文には、フォーストルクフィードバック（force−torque feedback）が含まれている。また、米国特許番号3,921,445には、動力，トルク及び本発明で用いてもよいタイプのすべりセンサーを含んだマニプレータが示されている。
従来のマニプレータのオペレータには、作業現場に固定した３次元像が送られ、手動で、そのマニプレータをフィードバック制御していたが、オペレータには、作業現場に実際に存在する感覚は与えられていない。本発明は、遠隔マニプレータ現場に、存在するオペレータの感覚を実質的に加えた、遠隔マニプレーションシステムで、監視アレンジメントを目指したものである。
本発明の概要と目的
本発明の目的の一つは、オペレータにより遠隔位置より制御された遠隔マニプレータに存在するオペレータの感覚を強める、改善された監視システムを含んだ、改善されたテレオペレータのシステム及び方法の提供である。
本発明の目的の一つは、前記タイプの改善されたテレオペレータのシステム及び方法の提供であり、オペレータが監視するマニプレータエンドエフェクターの像が、そのエンドエフェクターを制御するのに、オペレータにより使用される手動コントローラの肝要な部分を含むものとして、オペレータにより知覚させられ、その結果、作業現場で得られる強い感覚をオペレータに与える。
本発明の目的の一つは、軍事，工業，生物医学などを含んだ種々の広い用途での使用によく適した前記タイプの改善されたテレオペレータのシステム及び方法の提供である。
本発明は、作業現場に設置され、遠隔オペレータコントロールステーションでの手作動手段により制御されたマニプレータを含む。マニプレータのエンドエフェクターは、作業現場において、作業場所に置かれた物体をマニプレートするのに使われ、フォース トルク フィードバックが、エンドエフェクターの受けた機械的抵抗をオペレータに逆に伝達するのに用いられている。
立体映像ディスプレーが、作業場所の像をオペレータに提供する。本発明によれば、前記像が、手作動手段に近接して設置され、オペレータは、手作動手段の方向を向いて、手作動手段に近接した、監視像を見ることになる。現実と仮空のどちらかの作業場所の像が、手作動手段に近接して与えられるであろう。現実の像を映すディスプレー手段が、オペレータによる現実の像の直接の監視のため、手作動手段に近接して設置される。作業場所の仮空の像を映すため、鏡がオペレータの目と手作動手段の間に置かれる。この場合、ディスプレー手段は上下逆の現実の像を映し、その逆になった像は、前記鏡を経て映され、その鏡は、前記像を逆にし、オペレータに作業場所の仮空の像を与え、この作業場所が手作動手段に近接して位置するようにみえる。
エンドエフェクターが作業現場に置かれ、手作動手段が遠隔オペレータステーションに置かれているという事実にもかかわらず、手作動手段に近接して作業場所の像を設置することにより、オペレータは、エンドエフェクターと手作動手段が実質的に一体となる感覚を与えられる。オペレータに作業現場からの立体音響の音を与える、立体音響システムが含まれてもよい。ビデオカメラ手段は、作業現場の監視に使われ、作業現場の像が得られる。種々の他のセンサーやそれらに結合した応答器が、圧力，触覚，熱，振動及び強化されたテレプレゼンスオペレーションのための同様の情報の伝達のため、各々、作業現場とオペレータステーションに設置されてもよい。
用途によっては、異なった倍率操作がオペレータステーションと作業現場間の情報の伝達において用いられてよい。例えば、マイクロアッセンブリー，顕微手術及び、小さな部分のマニプレーションを含むようなオペレーションで、光学的かつ、又はビデオ拡大機がオペレータが監視する、拡大された３次元像を与えるのに使われてもよい。手作動手段とマニプレータの間の同様の倍率操作で、オペレータの感覚は、縮小版のオペレータが作業現場にいるとしたら、もつであろう感覚と実質的には同じとなる。
【図面の簡単な説明】
本発明は、その他の目的および利点と共に添付図面を考察し下記の説明から最も良く理解されよう。図面は説明および実施例のためだけの目的であり、本説明がこれに限定されるものでないことは理解されよう。各図において、同様の参照数字は同一部品を示す。
図１は、ワークサイトおよび遠隔制御オペレータのステーションの側面図を含む、本発明を具体化するテレオペレータ装置の線図；
図２は、事実上図１の線２−２に沿ったオペレータのステーションの拡大背面図；
図３は、事実上図１の線３−３に沿ったワークサイトの拡大背面図；
図４は、図１に類似の、ワークサイトの素子とオペレータステーションの素子との寸法的関係を示す簡易側面図；
図５は、ミニチュア仮想の眼による視覚認識を示す線図で、図６は、像の拡大が用いられる時に、オペレータによる視覚認識を示す線図；
図７は、図１の線図に類似するが、テレプレゼンス（Telepresence）手術に用いられるテレオペレータシステムを示す線図；
図８は、図７に示されるオペレータのステーションの背面図；
図９は、図７に示されるワークサイトの背面図；
図10および図11は、それぞれ自由度を増した、オペレータのステーションおよびマニプレータの変型の部分側面図；
図12は、ディスプレー手段が、オペレータの直視用に配置される、オペレータのステーションの変型の側面図；
図13は、図12に示されるオペレータのステーションの変型の側面図；で
図14は、本発明と共に用いられる内視鏡の挿入部分の部分図である。
図１−３について説明すると、テレオペレータシステムは、オペレータのステーション20（図１および２）およびワークサイト22（図１および３）を含むものとして示される。オペレータステーションのオペレータ18は、遠隔ワークサイトのマニプレータ24を制御する。マニプレータ24は、右および左マニプレータ24Rおよび24Lからなり、それぞれ破線で示されるワークスペース30内のプラットホームまたはベース28上に置かれる対象物26のような物体を操作するのに用いられる。説明を目的とするだけであり、これに限定するものではないが、上記右マニプレータ24Rはベース28に付加されたハウジング32Rを含むものとして示され、そしてこのハウジングから入れ子式アーム34Rが延び出ている。アーム34Rの内端部34R1は、従来型装着手段を用いて、任意のピボット方向にピボット運動するように装着される。例えば、アーム34Rの内端部は、水平ピボット軸線36の周りにピボット運動するように装着され、上記水平ピボット軸線が、引き続いて、垂直軸線38の周りにピボット運動するようになっている。
アーム34Rは、入れ子式内部部分34R1と外部部分34R2を含み、外部部分は内部部分34R1の内方へ、そして内部部分34R1から外方へ軸線方向移動、およびその縦軸線の周りの回転運動の両方に適合するようになっている。エンドエフェクター40Rが、アームの外端部に支持され、説明の目的でグリッパを含むものとして示される。図示されないモータは、ピボット軸線36および38周りのアーム34Rのピボット運動，アームの縦軸線に沿うおよび縦軸線周りの外側アーム部分34R2の軸線方向および回転運動，およびグリッパ40Rの開放と閉鎖を制御する。上記モータは、モータの制御用のモータ制御回路と共に、上記ハウジング32R内に含むこともできる。上記モータは、コンピュータ42の制御下で右マニプレータインターフェース44Rおよび上記モータ制御回路を経てそれに接続される。
左マニプレータ24Lは、右マニプレータ24Rと事実上同一設計であり、同一参照番号であるがＲの代りに添字Ｌを付し、同一部品認識に用いられる。説明の目的で、図３に示される、左エンドエフェクター40Lは、１対のはさみ刃の様式で作動する切断刃を含むもとして示される。
上記ワークサイトには１対のビデオカメラ46Rおよび46Lが設けられ、線48Rおよび48Lにおいて、それからの立体信号出力の作成のため、異なる角度からワークスペース30を観察する。図３に示される両カメラの光軸間の角γは、図２に示されるようなワークスペースの像のオペレータの両眼間の視角γに事実上等しい。
線48Rおよび48Lにおけるビデオカメラ出力は、カメラからの右および左の像のビデオ視野の瞬間記憶用のイメージメモリ50に供給される。イメージメモリ50からの右および左の像の視野は、左／右スイッチ52を経て、モニタの面54Aにおける２つの像の交互ディスプレー用のテレビジョンモニタのような視覚ディスプレー54に交互に供給される。調時および制御手段56は、上記システムの各種素子に調時および制御信号を送り、上記システムの信号調時および制御用の、立体画法ディスプレーシステムに含まれた素子を含んでいる。もしもディジタル記憶手段50が用いられる時には、記憶に先だちアナログ・ディジタル変換器により、カメラ信号出力のディジタル信号形への変換およびモニタ54におけるディスプレーに備えて、左／右スイッチから、アナログ信号形式へディジタル信号出力の変換が用いられることもある。
ディスプレー手段54の表面の電子光学デバイス58は、調時及び制御ユニット56からの、左／右同期信号の制御下でディスプレー手段54から受けた偏光を制御する。上記左および右の像視野は、直角方向に偏光される、右および左の偏光素子62および64を備えた、１対の受動偏光眼鏡を着けたオペレータ18により観察される。上記電子光学デバイス58を経たディスプレー54からの偏光は、オペレータによる立体画法目視のため、右視野が左眼から遮光され、そして左視野が右眼から遮光されるような視野による同期された視野である。オペレータに遠隔ワークスペースの立体視界を与えるため、この発明の実施に用いることもできる、例えば、活性立体眼鏡を使用するものを含め、左および右の像視野の立体画法目視用の他の手段は周知である。
モニタ54用の垂直偏向コイル結線は逆転され、モニタを底部から頂部へ走査させ、これによりワークスペース30の頂部−底部反転像30Iを生じる。文字a,b,cおよびｄはワークピース30および反転ワークスペース像30Iの対応かどを識別するために用いられる。上記反転ワークスペース像30Iは、テーブル68の上面のミラー66を介してオペレータにより観察され、上記ミラーは像30Iを反転して、オペレータにより直立位置に観察されるように上記像を反射する。上記ミラーの方向に見おろす時に、オペレータはワークスペース30の仮想像30Vを観察する。本発明の一態様によると、図１−３において、オペレータにより観察される像は仮想像を含み、ワークサイトにおいてマニプレータ手段24の制御のため、上記オペレータにより用いられるコントローラ手段70に隣接配置される。
コントローラ手段70は、テーブル上面68の直下に配置されて、右及び左コントローラ72Rおよび72Lを含み、それぞれ右及び左マニプレータ24Rおよび24Lの制御をする。上記右及び左コントローラは事実上同一設計であるので、一方の説明が両方に適用される。マニプレータにおけるように、添字Ｒ及びＬが、右コントローラの素子と左コントローラの素子とを識別するのに用いられる。説明の目的で、これに限定されるものではなく、右コントローラ72Rはテーブル上面68の底部に固着されたハウジング74Rを含むのが示され、これから入れ子式コントロールアームすなわちスティックの形式の手作動コントローラ76Rが延び出る。
右及び左コントロールアーム76Rおよび76Lは、関連マニプレータアーム34R及び34Lにおけると同じ自由度がそれぞれに与えられる。例えばコントロールアーム76Rの内端部はマニプレータピボット軸線36に相当する水平軸線36の周りにピボット運動され、この軸線は順次、マニプレータ軸線38に相当する横断垂直軸線の周りにピボット運動するのに適するようになっている。コントロールアーム76Rはまた内部部分76R1および外部部分76R2を含み、外部部分は内部部分76R1内への軸線方向移動および内部部分76R1から出る軸線方向運動、およびその縦軸線周りの回転運動の両方に適している。コントロールアーム76Rには関連マニプレータアーム34Rと同様に４つの自由度が与えられていることは明白であろう。さらに、センサ手段78Rが外部アーム部分76R2の外端部に隣接配置され、グリッパ40Rのグリッピング作動を制御するのに用いられる。同様にセンサ手段78Lがコントロールアーム76Lの外端部に隣接され、はさみ刃40Lの作動を制御する使用に適している。
右および左コントローラ72Rと72Lはサーボ機構内に包含され、該機構においてコントロールアーム76Rと76Lはマニプレータアーム34Rと34Lの位置を制御し、そしてセンサー手段78Rと78L上の圧力はエンドエフェクター40Rと40L、それぞれの開放および閉鎖を制御する。第１図において、右および左手コントローラインタフェース80Rと80Lそれぞれがコンピュータ42へのコントローラの接続のために示される。遠隔位置における機械的運動の制御用のサーボ機構は公知であり、これはマニプレータからの力及びトルクフィードバックを手作動コントローラ手段へと提供するものである。どのような適したサーボ機構でも本発明の実施に使用でき、しかも力及びトルクフィードバックを組み合わせるものか本発明装置の遠隔立合（telepresence）操作に特に好ましい。
図示の装置において、右および左マイクロフォンが作業場所に備えられ、これらマイクからの出力が右および左増幅器により増幅されそしてオペレータのステーションにおける右および左スピーカに供給されて作業空間においてオペレータに立体音響を提供するステレオ音響出力を提供する。
第１図においてこのステレオ装置系の右チャンネルのみが示され、ここには右マイクロフォン82R、右増幅器86Rおよび右スピーカー88Rが含まれる。ここに左マイクロフォンとスピーカは作業場所におけるそれぞれの右マイクロフォンとスピーカおよびオペレータの制御ステーションの真うしろに位置する（第１図）。当然のことに、イヤフォンがこれらスピーカの代わりにオペレータのために提供でき、これによりオペレータの制御ステーションにおける外部雑音を遮断するに役立てうる。更に第１図において、モニタにおける遮光板54Bが示されオペレータによるモニタ面の直接観察を防止する。
ここに第４図を参照し、ここでは第１乃至３図に示した装置の簡素化した線図を示しそして種々の長さ及び角度位置が図番で示されている。第４図において、作業空間におけるカメラと点Ｆ間の光路長は図番Ｌにより示される。同作業空間のバーチャルイメージにおけるオペレータの眼と点Ｆ間の対応する光路長は距離ａ＋ｂにより示され、ここにａはオペレータの眼からミラー66への距離でありそしてｂは該バーチャルイメージでの該ミラーから点Ｆ迄の距離である。ここに示される他の寸法はマニプレータの腕34Rの枢軸点上のカメラの高さＧと、コントロールアーム76Rの枢軸点上のオペレータの眼の対応する高さｇを更に含む。長さｄのコントロールアーム76Rによりマニプレータアーム34Rは長さＤに調整されている。同様に垂直に関し角度β_Ａにあるコントロールアーム76Rをもって、マニプレータ34Rは垂直線から同一の角度に位置される。カメラが作業空間を見る垂直線からの角度および、オペレータの眼が作業空間のバーチャルイメージを見る垂直線からの角度はαで示される。作業位置の諸要素とオペレータステーション間には下記の関係が存在する：
ａ＋ｂ＝kL （１）
ｄ＝kD （２）
ｇ＝kG （３）
ここにｋは縮尺ファクタ定数である。
ｋが１の場合はａ＋ｂ＝Ｌ、ｄ＝Ｄそしてｇ＝Ｇであり、作業場所の寸法の縮尺計算は必要でない。
ここにどのような縮尺ファクタも使用でき、本発明は非縮尺操作（full−scale manipulation）に限定されるものでない。例えば作業場所は小さくでき、例えば顕微鏡寸法をも包含し、この場合目的物、両眼間の距離および焦点に関する光学パラメータおよび機械的かつ寸法パラメータが適切に適用される。適切な縮尺（scaling）およびイメージ倍率（image magnification）、力およびトルクフィードバックを使用することによりまた手作動制御手段76Rと76Lに隣接して作業空間30のイメージ30Vを位置させることにより、オペレータはエンドエフェクタ40Rと40Lを直接制御する強い感覚を持ちうる。オペレータはエンドエフェクタ40Rと40Lとそれぞれのコントロールアーム76Rと76Lが実質的に一体であるという感覚を受ける。この手作動制御手段とエンドエフェクタの一体化の同一の感覚は、オペレータにより観視されたイメージが手作動制御手段に近接して位置されない公知技術の構成では実感されない。公知技術が立体像観察および、力およびトルクフィードバックを包含する場合といえども、作業対象とする観察像対象物からの断絶感が存在する。本発明はオペレータの手がエンドエフェクタの直接制御を行うとも思える作業空間像を設置することによりこの断絶感を克服する。
小規模の操作例えば外科手術的適用に必要な操作に対しては、ミニアチュア観察者（miniature observer）が実際の作業場所にいる場合に該観察者が持つであろう観察経験を模写することが望ましい。第５図において仮想的ミニアチュア観察者のバーチャルアイ90が実際の作業空間を観察している状態を示している。この実際の作業空間内の一点、X,Y,Zにおける給源からの光はＸ′/Mで表した点においてミニアチュア観察者の眼90上に或る刺激を与える。第６図において実際のオペレータの眼92は、この実際の作業空間を観察するに使用されたビデオカメラ94により生成された拡大したバーチャルイメージを観察して示される。ここに図示のカメラは受光レンズ96およびCCD（charge−coupled−device）アレー98のような固体イメージング装置を含み、このアレーではX,Y,Zにおける点状光源がX_i,Y_i,Z_iで示される。
正確な尺度において、対応する光源は、観察デスプレーの面の実際のまたは見掛け位置の何れかでMX_i,MY_i,MZ_iにおいて生成されるが本装置系の立体画像操作により該オペレータには実際の作業空間における点X,Y,Zに対応する点MX,MY,MZから発生しているように思われる。実際の眼92の網膜において、ある刺激が、仮想的観察者の眼90における点Ｘ′/Mと比例的に同一位置で点Ｘ′に生成される。この関係は正確に寸法合わせしたカメラ距離およびレンズ焦点長さを、光学的倍率M_O＝M/M_V（ここにＭは望んだ全体倍率そしてM_Vはビデオ倍率である）となるように選択することにより保証される。典型的ビデオ倍率M_Vは約40であり、該倍率はCCDアレー98の巾とディスプレー巾との比に等しい。
ここに第７図乃至第９図により医療方面に利用する本発明の態様を示す。ここに右および左マニプレータ100Rと100Lが示され、これらは右および左コントローラ102Rと102Lそれぞれにより制御されて示される。イメージング装置系の各要素は、実際の作業空間104の拡大バーチャルイメージ104Vがオペレータにより観察のため提供されることを除いては、上記第１乃至第３図に示したイメージング系に使用した要素と実質的に同一である。更に右および左コントローラ102Rと102Lをそれぞれのマニプレータ100Rと100Lに接続するためのサーボ機構要素もまた第１乃至第３図に関して記載したものと実質的に同一である。ここに図示の装置において、右および左マニプレータは右および左コントローラと実質的に同一構造であり、即ちあるマニプレータおよびあるコントローラの記述は両者に等しく適用できる。更に接尾語ＲとＬは右と左の多要素間を区別するために使用される。
これらマニプレータは外部制御セクション100RAと100LAおよび挿入セクション100RBと100LBを包含し、ここに挿入セクションは円筒チューブまたはカニューレを介して体腔内に挿入するに適した部分である。説明のため、マニプレータが患者の腹壁106を通して挿入して示される。広く理解されるように腹腔鏡外科手術のため、腹壁106は吹込み法により内臓から分離され、この吹込み法はガスを図示していないが適当な手段により腹部に導入する方法である。マニプレータ・モータおよびそれと組み合わされたモータ制御図路はマニプレータの外部制御セクション100RAと100LA内に入れられ挿入セクションの制御を行う。マニプレータは腹腔内の臓器を観察するための腹腔鏡108と共に患者が保持されている手術台の一部を形成する固定レールにより担持されている。
マニプレータのインサーションセクション100RB及び100LBは、図１〜３の態様に関して上述したマニプレータアーム34R及び34Lと実質的に同じ構成のものでよい。該インサーションセクションは、体の内部で使用するため比較的小さい大きさを有する。インサーションセクション100RBは入れ子式の内方セクション112R1及び外方セクション112R2を含み、しかして該外方セクションは内方セクション112R1に対して出入りする軸線方向の移動並びにその長手軸線の回りの回転の両方に適合されている。エンドエフェクター114R及び114Lは、器官116の操作のためにそれぞれ右及び左のセクション112R2及び112L2の外方端において担持されている。内方セクション112R1は、当該インサーションセクションが壁106を横切る点Ｐに実質的に位置する交差垂直軸線の回りの旋回運動に適合されている。エンドエフェクター114R及び114Lの操作を除いて、各マニプレータアームは、図１〜３に示された態様と同じく４の自由度が与えられている。エンドエフェクター114R及び114Lは単に、本質的には、例えばケン引器、電気外科用カッター及びコアギュレータ、顕微ピンセット、顕微針、ホールダー、解剖用ハサミ、刃、かん腸器及び縫合糸を含めてハンドルが除去された顕微外科用器具からなっていてもよい。
ワークスペース104を観るためのラパロスコープ108は、外方の操作セクション108A及びインサーションセクション108Bからなるものが示されている。インサーションセクション108Bの外方エンドセクション120はその内方エンド122内で軸線方向にかつ回転可能的移動でき、かつワークスペース104を立体的に観るための一対の画像トランスミッションウインドウ124,124が設けられている。該ラパロスコープにはまた、該ワークスペースを照明するための照明手段（図示せず）並びに液体が該ウインドウを通過して流れるための液体用入口及び出口手段（図示せず）が設けられている。セクション108A内のビデオカメラ手段は、画像メモリ50への連結用のアウトプットライン48R及び48Lにおいて左及び右の電子画像の発生のためビューイングウインドウを通って受け取られる光に応答する。拡大三次元画像104Iが、ミラー66を経てオペレータが着ける干渉偏波メガネ60によって観られるようにするためディスプレー手段54において作られる。図１−３に示されている態様と同様に、ワークスペース104が、コントローラ102R及び102Lのコントローラアーム130R及び130Lに隣接して作られる。コントローラアーム130R及び130Lは、上述した図１−３の態様において含まれているコントローラアーム76R及び76Lと同じタイプのものである。それらは、入れ子式の内方及び外方セクション132R1及び132R並びに132L1及び132L2を含む。コントロールアームの外方エンドに隣接して位置するセンサー手段134R及び134Lは、図１−３を参照して上述したやり方でそれぞれエンドエフェクター114R及び114Lの操作を制御する。ここで、画像がオペレータにより観られる垂直線からの角度は対象物が該カメラにより観られる垂直線からの角度に等しい必要はない、ということが留意されよう。図７−９に示された配置では、オペレータが垂直線から角度θにて画像104Vを観るように示されており、一方対象物116は直接下向きに観られるように示されている。外部参照がない場合、体内の垂直線の感覚は特に大きくなく、垂直線に対して観察者及びカメラが種々の角度で観る結果オペレータの精神に混乱は生じない。
図７−９の態様の場合、ワークスペースの拡大虚像104Vがオペレータにより観られるために与えられるのみならず、マニプレータのインサーションセクション100RB及び100LBの長さより長い長さのコントローラアーム130R及び130Lが用いられる。入れ子式のコントロールアームの軸線方向の移動のサーボ機構スケーリングが与えられて、その軸線方向の延出又は引込みが入れ子式の該インサーションセクションのより小さい延出又は引込みをもたらすようにされる。スケーリングなしでは、コントロールアーム130R及び130Lの角旋回運動はインサーションセクション100RB及び100LBの同じ角旋回運動を生じさせ、そして該コントロールアームのエンドセクション132R2及び132L2の回転運動は右及び左のマニプレータのインサーションセクションのエンドセクション112R2及び112L2の同じ回転運動を生じさせる。拡大画像に関する本発明のこの態様は、顕微外科の分野特に大きさの制限のために外科医が手によって所与の領域に達し得ない場合特に有用である。
本発明は、いかなる特定数の自由度を有するマニプレータについての使用に限定されない。当該技術で周知の種々の自由度を有するマニプレータが本発明の実施に用いられ得る。ここで図10及び11を参照すると、リストジョイントを設けて追加的な運動自由が与えられているコントローラ140及びマニプレータ142がそれぞれ示されている。図示されたコントローラ140は、テーブルミラー66が置かれるテーブルトップ68の底部に取り付けられたハウジング144を含む。現実のワークスペース146の拡大虚像146Vが、上述したやり方でミラー66上を下向きで見るときオペレータにより観られ得るようにオペレータの手148に隣接して与えられる。
それぞれ内方及び外方セクション150L1及び150L2からなるコントロールアーム150Lが、双頭矢印152及び154を交差させることにより示されているようにいかなる旋回方向にも旋回運動するようにハウジング144内に設置される。外方セクション150L2は、双頭矢印156の方向において内方セクション150L1に対して出入りする軸線方向の移動に適合されている。それはまた、双頭矢印158の方向においてその長手軸線の回りの回転に適合されている。この態様では、コントロールアームは、双頭矢印164の方向の旋回運動のためにリストジョイント162により外方セクション150L2にピボット取り付けされている。エンドセクション160は軸線方向に整合した内方及び外方セクション160A及び160Bからなり、しかしてその外方セクション160Bは双頭矢印166の方向においてその長手軸線の回りに回転可能である。上述した配置の場合のように、センサー手段168が、図11に示されたマニプレータ142におけるエンドエフェクター170の操作のためにコントロールアームの自由端に隣接して設置されている。
図11を参照すると、軸線方向に整合されたリンク172A及び172Bからなるリスト172に取り付けられた一対の可動ジョーからなるエンドエフェクター170が示されている。外方リンク172Bは、矢印166の方向における手動コントロールユニットのセクション160Bの回転に応答して、双頭矢印166Mの方向において内方のリンク172Aに対して長手軸線の回りにモーター手段（図示せず）により回転できる。リストリンク172Aは、ピボット軸線162の回りの手動コントロール手段のエンドセクション160の旋回運動に応答して、双頭矢印164Mの方向において旋回運動するようにマニプレータの前アーム174にピボット取り付けされている。前アーム174は、双頭矢印156の方向におけるコントロールアーム150Lの外方セクション150L2の軸線方向の移動に応答して、双頭矢印156Mの方向において長手方向で軸線方向に移動できる。それはまた、双頭矢印158の方向におけるコントロールアーム150Lの外方セクション150L2の回転に応答して、双頭矢印158Mの方向において長手軸線の回りに回転できる。加えて、それは、それぞれ双頭矢印152及び154の方向におけるコントロールアーム150Lの旋回運動に応答して、双頭矢印152M及び154Mの方向において点176の回りで旋回的に運動できる。遠隔的な腹腔鏡検査法的外科のような生医学的用途のためには、ピボット点176は、実質的にマニプレータが延出する腹壁178のレベルに位置される。図11において、マニプレータアーム174は、腹壁を貫通するカニューレ180を通って延出するマニプレータアーム174が示されている。
マニプレータの外部操作端は、その上に主体が支持されている手術テーブルの支持レール（図示せず）に、取付られるように設計される。それはグリッパ−170の開閉用エンドエフェクタ駆動モータを含む。リスト駆動モータ184はリスト172の枢軸運動を二頭矢印164Mの方向に制御し、そして延長駆動モータ186はマニプレータアーム174の軸性の運動を二頭矢印156Mの方向に制御する。前アーム枢転制御モータ及びリンケージは、一般に参照番号188で表示されるが、アーム174の枢軸運動を矢印152M及び154Mの方向に枢軸点176のまわりに提供する。点176のまわりの枢軸運動はマニプレータの外部操作端の横運動と同時のアーム174の枢軸運動とによって与えられる。運動は共働されて、その結果前アームの回転の中心が腹部壁のレベルで点176に於て空中に固定される。
コントローラ140及びマニプレータ142は図7,8及び９に示されるようなシステムに含まれており、このシステムは操作者が右手で使用するための第２のコントローラ及びマニプレータを含み、そして手動コントローラによるマニプレータの遠隔操作のため、適切なタイプの関連するサーボ機構（図示せず）を含む。作業場に於けるビデオカメラ手段は、図９に示されるように、表示手段と共に、図７で示されるものがあるが、操作者に左手及び右手で操作する制御手段に隣接した位置で作業空間のイメージを与えるために採用される。リスト結合を有するマニプレータを使用することにより、追加の自由の度合がその増加した操作性及び有用性のために与えられる。但し、上述の如く、本発明はある一定の自由度を有するマニプレータに限定されるものでない。
さて図12及び13を参照すると、ここでは本発明の変形が示されており、これは作業空間（図示せず）の３−二次元イメージ240Iの直視を提供する。図12及び13では、操作者の作業台だけが示されており、これは左右のコントローラ242R及び242L、および上記コントローラ及びコントロールアームと同じタイプのものでもよい関連する左右手動手段244R及び244Lを含む。操作者の作業台は上記したタイプのものであってもよいマニプレータの遠隔操作用に設計される。作業空間の３−二次元イメージは視覚表示手段246と電気光学装置58とを共用することにより表示手段及び操作者が着用する断面偏光（cross−polarized）眼鏡の面で与えられる。この表示手段に対して、作業空間を視る左右のビデオカメラからの左右のビデオ場が、すべて上記に詳述した態様で、交互に供給される。エンドエフェクター及び目的イメージ248及び250は、それぞれ、作業場でビデオカメラから見て作業空間内に示される。この表示手段246は操作者による直視のために左右手動手段244R及び244Lに隣接して位置される。この配置により、エンドエフェクター及び目的イメージは手動手段244R及び244Lと共に操作者により同時に可視である。手動手段は又可視なので、操作者はエンドエフェクター手段及び手動手段の間の接続視覚を与えられ、これによりそれらは実質的に一体のものとして現われる
さて、図14を参照すると、ここでは内視鏡の挿入部の遠方端部、又は先端、260が示されており、これは前述の「イントロダクション トウ ア ニュープロジェクト フォア ナショナル リサーチ アンド デベロプメント プログラム（ラージ−スケイル プロジェクト）イン エフワイ 1991」（“Introduction to ａ New Project for National Research and Development Program （Large−Scale Project） in FY 1991"）と称する刊行物に示されていると実質的に同じタイプのもので、この内視鏡は本発明の実施に使用してもよい。内視鏡の挿入端は一対の間隔を置いて離れたのぞき窓262R及び262L、そして観察する作業空間を見て照明するための照明源を含む。窓で受領した光は目的レンズ手段（図示せず）によって焦点合わせされ、繊維−光（fiber−optic）バンドルを通して該内視鏡の操作端に於ける（図示せず）カメラに移送される。カメラ出力は作業空間の３−二次元イメージに変換されるが、この二次元イメージは操作者の作業台に於て（図示せず）手動手段に隣接して位置されている。左右の操縦可能なカテーテル（catheters）268R及び268Lは内視鏡本体内の補助チャネルを通過する。このカテーテルは、図示されているように、遠方端部からの延長のために設計されている。エンドエフェクター270R及び270Lは慣用の内視鏡器具よりなってもよいカテーテルの端部に設けられている。力感知器（force sensors）（図示せず）は、又内視鏡チャネルを通して挿入される。操縦可能なカテーテルは、カテーテルの曲げ及び本発明での使用に適したエンドエフェクターの操作を制御する制御ワイヤーを含むが、公知のものである。制御ワイヤーの操作のための制御モータは内視鏡の操作端に設けられており、これらのモータは、遠隔操作者の作業台からの操縦可能なカテーテル及び関連するエンドエフェクターの操作のために上記したタイプのサーボ機構に含まれる。他の実施態様としては、サーボ機構システムに於けるインターフェースするコンピュータは操作者の手の動きをエンドエフェクターの共働システム中に再マップし、そしてエンドエフェクターのイメージは上記した方法で手動コントローラに隣接して可視である。この実施態様では、操作者は内視鏡を通して両手を直接エンドエフェクター上にその制御のために置くために手をのばすという感覚を持つ。異ったタイプの内視鏡は本発明のこの実施態様で採用しても良い。但し、エンドエフェクター手段の制御に使用するためのひとつ又はそれ以上の補助チャネル、作業空間の視覚表示を与えるのに用いる適切な視覚手段を含む場合に限る。例えば、胃，結腸（colonscopic），及び同じタイプの、内視鏡が採用される。
以上本発明を特許法の要求に従って詳細に記載したが、種々の他の変化及び修正は当業者にとって自明であろう。例えば、上記の如く、本発明は触診のためのそして組織及び器具をマニプレートするための微妙な感覚を与える触覚のフィードバック（feedback）の使用を含む。このフィードバックを与えるため、触覚センサーアレーが手動制御手段上の触覚センサー刺激アレーに結合しているエンドエフェクター上に含まれていてもよく、これが操作者の手の上に触覚感覚を再生する。テレオペレータ触覚感知のための種々の伝達（transduction）技術が知られているが、これは抵抗／伝導，半導体，圧電気容量性及び光電子のものを含む。異るタイプの手動制御手段及びマニプレータが採用されても良いが、例えば、ギンバル（gimbals），リンケージ（linlcages），プレー（pulleys），ケーブル（cables），駆動ベルト及びバンド，ギア（gears），光学又は電磁気位置エンコーダ，及び角形及び線形モーターを含めて、非常に広範囲の公知の機構及び電子機械要素を使用する。オペレータに対する力フィードバック（force feedback）は手動制御手段との人体接触の使用を要求する。例示されたような手づかみタイプのハンド コントローラと、制御ブレース（control brace）タイプのハンド コントローラの両方とも、オペレータに対する力フィードバックのために本発明で十分使用されるよう設計されている。制御ブレース ハンド コントローラは関節角を測定するためにオペレータの関節に取付けられたポジティブセンサを有する構造の使用を含む。力フィードバックはそれから各関節に適用することができる。同様に、個々の指の曲げを測定するために関節に取付けられた可変−抵抗又は繊維−光学フレックスセンサを有する光繊維手袋を使用して良い。この種の手袋は現実物体とのテレプリゼンス インターアクション（telepresence interaction）を与えるために力フィードバックを具備している。採用される手作動制御手段のタイプに関係なく、ワークピースのイメージはそれに隣接して生成されオペレータにエンドエフェクター手段及び手作動制御手段は実質的に一体であるという感覚を与える。又、上記の如く、多くの異るタイプのサーボ機構がロボット及びテレオペレータシステム技術で良く知られており、本発明はあるひとつのタイプに限定されるものでない。オペレータへの力及びトルクフィードバック（force and torque feedback）を含むものが、好まれており、操作のテレプリゼンス（telepresence）感覚に寄与する。加えて、作業空間の立体鏡イメージを生成する多くの異った手段が公知である。例えば、二台のカメラを使用する代りに、単一のカメラが切り換え断面−偏光要素（switched cross−polarizing elements）と共にイメージ受領通路で採用してもよい。この場合には、一対の間隔を置いて離れた立体鏡レンズが作業空間を異る角度から見てそしてその第１及び第２のイメージをカメラに与えるために使用される。図９の構成では、ここではラパロスコープ（laparoscope）が示されているが、他のタイプの内視鏡が作業空間を見るために使用されて良い。上述の如く、本発明はある一定の適用又は使用に限定されるものではない。バイオメディカル分野では、使用は、例えば、遠隔位置からの手術を含む、公開手術、及びマイクロサージェリー（microsergery），及びラパロスコープ手術及び内視鏡手術のような最少限侵略手術（minimum invasive surgery）を含む。マイクロスコープのマニプレーションを含む実験室での使用も又意図されている。本発明の産業的使用は、例えば、有害物質の取扱、遠隔操作、マイクロアセンブリー（microassembly）、及びその類似物を含む。本発明のテレオペレータシステムの軍事的及び海面下の使用は明白である。
上記したこと及び他のかかる変化及び修正が添付の請求項に定義された発明の精神及び範囲に該当すべきことが意図されている。

Claims (16)

1. ワークサイト（22）から遠隔に位置するオペレータ制御ステーション（20）からオペレータ（18）によってワークサイト（22）の作業空間に位置する目的物（26）を操作する為のテレオペレータシステムであって、
   可動マニプレータアーム（34）と該可動マニプレータアーム（34）の一端に設けられ目的物（26）を操作する為のエンドエフェクター（40）とを備えたワークサイト（22）のマニプレータ（24）、
   オペレータ制御ステーションに設けられ手作動可動制御機構（72）を含むコントローラ（70）、
   手作動可動制御機構（72）をマニプレータアーム（34）に連結してマニプレータアーム（34）を遠隔制御する為のサーボ機構（42）、
   作業空間を観察する為のビデオカメラ（46）、及び
   ビデオカメラ（46）に接続され、手作動可動制御機構（72）に隣接して作業空間のイメージを作りだす為のビデオ表示器（54）
   を含む前記テレオペレータシステムに於いて、
   コントローラ（70）が、手作動可動制御機構（72）を支持する為の静止サポート（74）をさらに含み、手作動可動制御機構（72）の運動がマニプレータアーム（34）の運動を生じさせ、
   操作される対象物が、外科手術サイトにおける患者の組織（116）であり、外科手術サイトのマニプレータは、可動シャフト（174）を有する器具（110）と、該シャフトの一端に設けられて組織を操作する為の駆動自在なエンドエフェクター（170）たるエンドエフェクター（40）とを備え、該エンドエフェクター（170）は、リスト（172）により可動シャフト（174）に連結され、オペレータ制御ステーションのコントローラ（140）は、エンドエフェクター（170）を駆動する為のセンサー手段（168）を備え、
   マニプレータアーム（142）およびコントローラ（140）は、静止サポート（68）に対する手作動制御機構（160）の運動によって可動シャフト（174）の一端と可動シャフト（174）の他端の間にて可動シャフト（174）に沿った切開部（176）を中心とした可動シャフト（174）の運動が生じると共に、患者内におけるリスト（172）の関節連結をも与えるように構成され、
   ビデオカメラとコントローラは、前記器具（110）と手作動制御機構（134）が実質的に一体となる感覚をオペレータに与えるように、かつ、手作動制御機構（72）の動作に応答したビデオカメラ（46）に対するマニプレータアーム（34）の前記一端の運動方向がオペレータの眼に対する手作動可動制御機構（72）の運動方向と実質的に同じになるように構成配置されることを特徴とする前記テレオペレータシステム。
2. マニプレータアーム（34）が、遠隔固定基準点にてワークサイト（22）に旋回自在に取り付けられ、手作動制御機構（72）が、ローカル固定基準点にて静止サポート（74）に旋回自在に取り付けられる、請求項１記載のテレオペレータシステム。
3. 手作動制御機構（72）が、ローカル固定基準点にて互いに一致する第１及び第２垂直軸を中心として旋回可能であり、マニプレータアーム（34）が、遠隔固定基準点にて互いに一致する第３及び第４軸（36、38）を中心として旋回可能であり、サーボ機構（42）が、第１及び第２軸を中心とする制御機構（72）の運動に応答して第３及び第４軸（36、38）を中心とした対応する運動をマニプレータアームに与え、遠隔固定基準点は切開部（176）に配置される、請求項１記載のテレオペレータシステム。
4. 手作動制御機構（72）が、手作動制御機構（72）に平行な第１軸に沿って並進移動でき、マニプレータアーム（34）が、マニプレータアーム（34）に平行な第２軸に沿って並進移動でき、サーボ機構（42）が、第１軸に沿った制御機構（72）の並進移動に応答して第２軸に沿って対応する並進移動をマニプレータアーム（34）に生じさせる、請求項１記載のテレオペレータシステム。
5. 手作動制御機構（72）が、第２エンドエフェクター（78）と第２エンドエフェクター（78）を動作させる為の手段とを含み、サーボ機構（42）が、第２エンドエフェクター（78）の動作に応答してマニプレータアーム上の第１エンドエフェクター（40）に対応した動作を行わせる、請求項１記載のテレオペレータシステム。
6. マニプレータアーム（34）と目的物（26）間の接触により生じる触感を感知するための手段と、マニプレータアーム（34）上での触感に対応する触感を手作動制御機構（72）にフィードバックして与える為の手段とをさらに含む、請求項１記載のテレオペレータシステム。
7. 前記感知手段が、マニプレータアーム（34）上に触感センサーアレイを備え、前記触感フィードバック手段が、手作動制御機構（72）上に触感センサーシミュレータのアレイを備え、触感センサーシミュレータのアレイが、触感センサーアレイに接続され、マニプレータアーム（34）上の触感を再生して該触感をオペレータの手に伝える、請求項６記載のテレオペレータシステム。
8. 前記触感が、目的物（26）によりマニプレータアーム（34）に与えられる力とトルクを含み、触感センサーと触感センサーシミュレータが、手作動制御機構（72）に力とトルクをフィードバックして与え、システムにおける力とトルクのテレプレゼンスを付与する、請求項７記載のテレオペレータシステム。
9. 第２可動マニプレータアーム（34）と第２可動マニプレータアーム（34）の一端に設けられ目的物（26）を操作する為の第２エンドエフェクター（40）とを含む第２マニプレータ（24）をワークサイト（22）にてさらに含み、コントローラ（70）が、静止サポート（74）により支持された第２手作動可動制御機構（72）を含む、請求項１記載のテレオペレータシステム。
10. 第２手作動可動制御機構（72）が、第２ローカル固定基準点にて静止サポート（74）に取り付けられ、サーボ機構（42）は、第２ローカル固定基準点に対する第２手作動可動制御機構（72）の運動が、第２遠隔固定基準点を中心とする第２マニプレータアームの運動と実質的に同じとなるように、第２ローカル固定基準点を第２マニプレータアーム（34）上の第２遠隔固定基準点に投射する（projecting）、請求項９記載のテレオペレータシステム。
11. 外科手術サイトにおける前記器具（110）と組織との接触により生じる触感に対応した触感を手作動制御機構（134）にフィードバックして与える手段が設けられ、
    ビデオカメラは、手作動制御機構（134）の動作に応じたビデオカメラに対する前記器具（110）の一端の運動方向がオペレータの眼に対する手作動制御機構（134）の運動方向と同じになるように、前記器具に対して配置される、請求項２記載のテレオペレータシステム。
12. 前記触感フィードバック手段が、前記器具のシャフト上に少なくとも１つの触感センサーと、手作動制御機構（134）上に少なくとも１つの触感センサーシミュレータとを備え、触感センサーシミュレータは、触感センサーに接続されて前記器具上の触感を再生し、オペレータの手に該触感を伝える、請求項11記載のテレオペレータシステム。
13. 前記触感が、組織により前記器具（110）に与えられる力とトルクを含み、触感センサーと触感センサーシミュレータが、手作動制御機構（134）に力とトルクをフィードバックして与え、システムにおいて力とトルクのテレプレゼンスを付与する、請求項12記載のテレオペレータシステム。
14. 静止サポートが、手作動制御機構（134）上にローカル固定基準点を設定する為の手段と、ローカル固定基準点を前記器具（110）上の遠隔固定基準点に投射する為の手段とを含み、サーボ機構（42）は、ローカル固定基準点に対する手作動制御機構（134）の運動が遠隔固定基準点を中心とする前記器具の運動と実質的に同じになるように、手作動制御機構（134）を前記器具に連結する、請求項11記載のテレオペレータシステム。
15. サーボ機構が、切開（176）内の可動シャフト（174）に沿った軸方向の運動（156M）と切開（176）内の可動シャフト（176）を中心とした回転運動（158M）とによりエンドエフェクター（170）を運動させる、請求項１に記載のテレオペレータシステム。
16. サーボ機構が、切開部にて互いに一致しかつ可動シャフト（174）とも一致する第１および第２軸を中心とした旋回運動（152M、154M）によりエンドエフェクター（170）を運動させる、請求項１に記載のテレオペレータシステム。

Images