JP4488312B2 - 医療用マニピュレータシステム - Google Patents

Description

本発明は、生体の例えば体腔内に挿入したマニピュレータを操作手段によって遠隔的に操作し、診断・処置等の手術を行なう医療用マニピュレータシステムに関する。

近年、医療施設の省人化を図るため、ロボットによる医療処置の研究が行なわれている。特に、外科分野では、多自由度マニピュレータによって患者の人口股関節置換を精密に処置する手術用ロボットシステムが提案されている（例えば、特許文献１参照）。また、患者の体腔内の位置情報を正確に得るために、内視鏡的に手術を行なうロボットシステムも提案されている。（例えば、特許文献２参照）。

また、近年、腹腔等の体壁に挿入孔を開け、この挿入孔を通じて内視鏡や処置具を経皮的に体腔内に挿入することにより、体腔内で様々な処置を行なう内視鏡下外科手術が盛んに行なわれている。こうした術式は、大きな切開を要しない低侵襲なものとして、胆嚢摘出手術や肺の一部を摘出除去する手術等で広く行なわれている。そして、こうした術式における操作性を向上させるために、マスタースレーブ方式による医療用マニピュレータが考案されている。例えば、特許文献３に開示されたマスタースレーブ方式のマニピュレータでは、その操作手段を携帯可能なものとし、これによって、操作者による操作の自由度を増大させている。
特開平４−２３１０３４号公報 特開平６−３０８９６号 特開平７−１９４６０９号

ところで、複雑多岐にわたる手術では、複数の医療用マニピュレータが使用されることとなる。

しかしながら、複数の医療用マニピュレータを使用した手術では、例えば一部のマニピュレータが意図しない動作を行なった場合、そのマニピュレータが暴走して術者や患者に無理な力を加えないよう何等かの処置を講じる必要がある。

本発明は上記事情に着目してなされたものであり、その目的とするところは、安全性が向上されている医療用マニピュレータシステムを提供することにある。

上記課題を解決するために、本発明の医療用マニピュレータシステムは、少なくとも１つの多関節手術用マニピュレータが体腔内に挿入されて体腔内組織部位の観察と処置との少なくとも観察を行う器具を保持し、他の多関節手術用マニピュレータが体腔内に挿入されて体腔内組織部位の観察と処置との少なくとも一方を行なう器具を保持し、各多関節手術用マニピュレータは前記器具の全体を動作させるアームを有し、前記器具は、前記器具に設けられ前記器具の先端部を動作させる駆動機構と、前記器具に内蔵され前記駆動機構を駆動させる駆動源と、を有する、複数の多関節手術用マニピュレータと、動作させることにより前記多関節手術用マニピュレータを操作するための操作手段と、前記少なくとも観察を行なう器具により得られた体腔内観察画像を表示する表示手段と、前記表示手段に表示されている体腔内観察画像上で動作範囲を設定する設定手段と、前記観察と処置との少なくとも一方を行なう器具の先端部が前記動作範囲内でのみ自由に動作されるように、前記操作手段による前記多関節手術用マニピュレータの動作を制限する動作範囲制限手段と、を具備する。

本発明によれば、操作者の意図しない動きを制限することができ、これによって、安全性を向上させることができる。

以下、図面を参照しつつ本発明の実施形態について説明する。図１ないし図３は本発明の参考形態を示している。

図２は本参考形態の医療用マニピュレータシステムの一例を示すものである。図２中、１は患者の観察・処置を行なうための手術台であり、２は患者である。手術台１の両側にはベッドサイドレール３が設けられている。このベッドサイドレール３には、処置具４およびスコープ６を患者の体腔内において位置決めするための処置用アーム５および観察用アーム７が着脱自在に取り付けられている。なお、処置具４およびスコープ６は、患者２の体壁に開けられた挿入孔２ａから体腔内に挿入される。

処置用アーム５と処置具４との接続および観察用アーム７とスコープ６との接続は、複数の自由度を有する関節部であるフリー関節機構１９によって行なわれる。これは、患者が例えば術中に動いて挿入孔２ａの位置がずれるようなことがあっても、挿入孔２ａに無理な力が加わらないようにするためである。

処置用アーム５および観察用アーム７は、上下伸縮動作（図２中に示すａ方向）、回転動作（図２中に示すｂ方向）あるいは、左右伸縮動作（図２中に示すｃ方向）を機構的に行なうことができるように構成されている。このような動きを実現するために、アーム内にはアクチュエータ（図示しない）が配置されている。なお、このアクチュエータとしては、ロボットの位置決めに用いられているサーボモータを使用している。

処置用アーム５の先端に取り付けられている処置具４の挿入部４ａと観察用アーム７の先端に取り付けられているスコープ６の挿入部６ａはそれぞれ、その先端部が図１中に示すａ方向及びｂ方向に湾曲駆動できるようになっている。このような湾曲駆動は、処置具４のサーボモータ収納部４ｂおよびスコープ６のサーボモータ収納部６ｂ内にそれぞれ設けられたサーボモータ（図示しない）を駆動させて挿入部４ａ，６ａ内に挿通配置されたワイヤー（図示しない）を牽引することによって行なわれる。

また、処置具４とスコープ６は図１中に示すｃ方向に回転駆動できるようになっている。このような回転駆動は、フリー関節アームジョイント部４ｃ，６ｃ内に設けられたサーボモータ４ｄ，６ｄを駆動させて図示しない回転機構を作動させることにより行なわれる。特に、処置具４の先端鉗子部４ｅにはこの鉗子部４ｅを開閉させる開閉機構が設けられており、この開閉機構は、サーボモータ収納部４ｂ内に設けられたサーボモータ（図示しない）を駆動させて挿入部４ａ内に挿通配置されたロッドもしくはワイヤ部材を押し引き操作することにより作動される。

ここで、処置具４と処置用アーム５とを組み合わせたものを処置用スレーブマニピュレータと称し、スコープ６と観察用アーム７とを組み合わせたものを観察用スレーブマニピュレータと称することにする。

処置用スレーブマニピュレータの入力手段であるマスターアーム８と、観察用スレーブマニピュレータの入力手段であるヘッドマウントディスプレイ９（以下、ＨＭＤという。）とが図２に示されている。

マスターアーム８は複数のリンク機構で構成されている。リンク機構を構成する各リンクには位置検知用のエンコーダ（図示しない）が設けられている。このエンコーダによって各リンクの動作を検知することで、マスターアーム８の移動量を検知できる。

また、操作者がマスターアーム８から手を離した場合にマスターアーム８がその自重によって勝手に動作しないように、マスターアーム８の各アームリンクには電磁クラッチ（図示しない）が取り付けられている。つまり、マスターアーム８は、この電磁クラッチによって、必要以外の時には動かないようにその動作が制限される。また、マスタースレーブモードで実際に処置用スレーブマニピュレータを動かす際、前記電磁クラッチは、フットスイッチ１２を踏む動作によって、その作動が制御される。つまり、マスターアーム８の動作のロック及びこのロック状態の解除がフットスイッチ１２によって行なえるようになっている。なお、フットスイッチ１２は例えば２つのスイッチ１２ａ，１２ｂを有している。

ここで、マスタースレーブモードとは、入力手段であるマスターアーム８の動きが処置用スレーブマニピュレータに伝達され得るモード、すなわち、処置用スレーブマニピュレータがマスターアーム８の動きに追従できるモードをいう（後述するＨＭＤ９と観察用スレーブマニピュレータとの場合についても同様。）。

一方、ＨＭＤ９は、スコープ６によって観察された映像を表示するディスプレイ（図示しない）を備えている。このディスプレイは、ＨＭＤ９を術者の頭部に装着した際に術者の目の位置にセットされるように設けられている。また、ＨＭＤ９は、術者の頭がどのように動いても、スコープ６の先端でとらえられた映像を前記ディスプレイによって常に観察できるような構成になっている。このような構成のＨＭＤ９によれば、従来のように処置中に術者が手術室に設置されたＴＶモニターの方に視線を移すといった煩わしい動作を行なわなくて済むため、操作性が向上する。また、患部から視線を外すことなく常に患部の映像を明確に観察することができるから、安全な手術を行なうことができる。

術者の頭部の空間的な移動量は磁気センサー１０によって検知される。磁気センサー１０は、一様な磁場を発生する磁気センサーソース部１０ｂと、磁気センサーソース部１０ｂからの磁場を検知する磁気センサーセンス部１０ａとからなる。このうち磁気センサーセンス部１０ａがＨＭＤ９のほぼ中央部に取り付けられている。

術者の頭部の動きはこうした磁気センサー１０によって検知されるが、その検知方法を簡単に説明すると、ＨＭＤ９以外の所定の場所にセットされた磁気センサーソース部１０ｂから発生される一様な磁場を磁気センサーセンス部１０ａで検知し、頭部の動きに伴う磁場の変化分の情報を処理することによって、ソース部１０ｂとセンス部１０ａとの空間的絶対移動量およびセンス部１０ａの傾斜であるオイラー角（ロール、ピッチ、ヨー）を求めて、術者の頭部の移動量および傾き量を検知するというものである。

次に、処置用スレーブマニピュレータと観察用スレーブマニピュレータの動作を制御する制御装置１１について説明する。

図２に示すように、制御装置１１は、前記各スレーブマニピュレータを動作させるために必要ないくつかの機能モジュールを具備している。すなわち、図中、１１ａは、制御装置１１の機能モジュールを統括制御する上位ＣＰＵであるマイクロコントローラである。１１ｅはマスターアーム８に設けられた前記エンコーダの動作量を保持しておくためのアップダウンカウンタである。当然のことながら、このアップダウンカウンタ１１ｅは、マスターアーム８に取り付けられたエンコーダ分の入力ポートを有している。また、このアップダウンカウンタ１１ｅは、具体的には、マスターアーム８のエンコーダからの相対的移動量に対して初期設定時（制御装置１１の電源を立ち上げた時）に予め設定したカウンタ値の増減を行なわすものである。

１１ｄは、ＨＭＤ９に取り付けられた磁気センサーセンス部１０ａからの情報を検知するための磁気センサーデータインターフェイス回路である。この磁気センサーインターフェイス回路１１ｄには磁気センサー１０の絶対位置情報とオイラー角の情報とが磁気センサーセンス部１０ａから入力される。

１１ｆは、キーボード１３から入力された情報を受け取るためのキーボードインターフェイス部である。１１ｉは、本実施形態におけるマニピュレータシステムの動作情報をフロッピー（登録商標）ディスクに記憶するためのフロッピー（登録商標）ディスクドライブである。１１ｈはフロッピィディスクドライブ１１ｉをコントロールするためのフロッピィディスクコントローラである。なお、フロッピィディスクに保存される情報としては、観察用・処置用スレーブマニピュレータの教示データや、スケール比、感度等の制御パラメータが挙げられる。ここでは、フロッピィディスクに保存する例を示しているが、当然のことながら、ハードディスク、光磁気ディスクの情報処理装置周辺機器で使用される記憶媒体、あるいは、簡単な素子レベルのＥＥＰＲＯＭ、バッテリバックアップ付きＲＡＭ等を用いても構わない。

１１ｇはフットスイッチ１２の入力情報を検知するためのフットスイッチインターフェイス部である。１１ｂは、スレーブ側の各構成要素である処置用アーム５、観察用アーム７、処置具４、スコープ６のそれぞれを駆動するためのサーボインターフェイスであり、サーボの高速演算処理を行なうためのディジタルシグナルプロセッサ（以下、ＤＳＰという。）を有する。また、１１ｃは、前記ＤＳＰ１１ｂの処理結果の信号を実際にモータを駆動するために必要なパワーまで増幅するためのサーボドライバである。

次に、各機能モジュールのインターフェイスについて説明する。

図２中、制御装置１１内に示されている１１ｍはデータバスラインである。このデータバスライン１１ｍは、マイクロコントローラ１１ａからＤＳＰ１１ｂに位置指令を送ったり、スレーブアーム側のサーボ部のエンコーダフィードバック情報を読みとったり、アップダウンカウンタ１１ｅ、磁気センサー移動量インターフェイス１１ｄ、キーボードインターフェイス部１１ｆ、フットスイッチインターフェイス部１１ｇ、フロッピー（登録商標）ディスクインターフェイス部１１ｈのそれぞれからのデータをマイクロコントローラ１１ａに取り込んだりするラインである。

１１ｊは、ＤＳＰ１１ｂで得られた制御演算結果をサーボドライバ１１ｃに送るためのアナログ指令ラインである。１１ｋは、サーボドライバ１１ｃからのパワー信号を供給するラインおよびサーボ部フィードバックエンコーダラインである。１１ｕは、フロッピー（登録商標）ディスクドライブ１１ｉとフロッピー（登録商標）ディスクドライブコントローラ１１ｈとの間でのデータのやりとりを行なうためのデータラインである。１１ｔは、フットスイッチ１２とフットスイッチインターフェイス部１１ｇとの間でのデータラインである。１１ｓは、キーボード１３とキーボードインターフェイス部１１ｆとの通信を行なうためのデータラインである。

なお、前記インターフェイスにおいては、データの受け渡しを行なうデータバスライン１１ｍしか示さなかったが、前記各機能モジュールを選択するためのアドレスバスやコントロールライン等が付加されていることはいうまでもない。また、観察用スレーブマニピュレータと処置用スレーブマニピュレータのサーボ系を駆動するための１１ｊラインおよび１１ｋラインは、アナログ指令ラインのものしか示さなかったが、ＤＳＰ１１ｂでＰＩＤ制御則などの制御アルゴリズムを実行するためのエンコーダフィードバック信号ラインも存在する。

以上の構成によって、術者の頭の動き（ＨＭＤ９の動き）に追従（対応）して観察用スレーブマニピュレータが動作されるマスタースレーブ動作が行なわれ、マスターアーム８の操作に追従（対応）して処置用スレーブマニピュレータが動作されるマスタースレーブ動作が行なわれる。

すなわち、処置用のマスタースレーブ側では、マスターアーム８に設けられたエンコーダの情報がデータライン１１ｑを介してアップダウンカウンタ１１ｅで読み取られる。このアップダウンカウンタ１１ｅでは、初めにアップダウンカウンタ１１ｅに設定されたデータに対して移動量を増減させるので、絶対的な移動量（マスターアーム８の移動量）が検知できる。このアップダウンカウンタ１１ｅ内に保持されているデータはサンプリング毎にマイクロコントローラ１１ａ内にデータバス１１ｍを介して取り込まれる。マイクロコントローラ１１ａ内では、前記移動量に対して処置用スレーブマニピュレータの各軸をどのように動作させるかを決定するための座標変換処理が行なわれる。

一方、観察用のマスタースレーブ側でも、ＨＭＤ９からの情報がデータライン１１ｒを介して磁気センサーデータインターフェイス回路１１ｄに送られ、処置用のマスタースレーブ側とほぼ同様の処理がなされる。

さて、このような医療用マニピュレータシステムを腹腔内外科手術に適用した例が図３に示されている。図３は、手術室内における器材のレイアウトを示している。実際には患者の腹腔内を膨らませるための気腹器等の器具が備え付けてあるが、ここでは省略して示している。

図示のように、患者２が載置された手術台１のレール３には、手術を行なうために必要な１組の観察用スレーブマニピュレータ２７と、２組の処置用スレーブマニピュレータ２５ａ，２５ｂの合計３つのスレーブマニピュレータが設置されている。観察用マニピュレータ２７の先端には、先端が電動湾曲する内視鏡６が接続されており、各処置用マニピュレータ２５ａ，２５ｂの先端には、先端が電動で湾曲し且つ開閉動作する処置具４ａ，４ｂが接続されている。

このような３組のスレーブマニピュレータを制御するために、制御装置１１´，１１´´が図３に示すように配置されている。すなわち、制御装置１１´，１１´´は、操作者３８によって操作されるマスターマニピュレータ８ａ，８ｂおよびＨＭＤ９の動作に追従するように、駆動ライン３６ａ，３６ｂを介して各スレームマニピュレータ２５ａ，２５ｂ，２７の動作を制御している。

制御装置１１´は、操作者の右手によって操作されるマスターマニピュレータ８ａの動きを判断して処置用スレーブマニピュレータ２５ａを制御するとともに、ＨＭＤ９によって操作者３８の頭の動きを判断して観察用スレーブマニピュレータ２７を制御する。また、制御装置１１´´は、操作者の左手によって操作されるマスターマニピュレータ８ｂの動きを判断して処置用スレーブマニピュレータ２５ｂを制御する。

すなわち、操作者３８の頭にはＨＭＤ９が装着されており、このＨＭＤ９には磁気センサーのセンス部１０ａが取り付けられている。磁気センサーのソース部１０ｂはマスターマニピュレータ８ａの所定部位に配置されている。この構成によって、操作者３８の頭の動きが検知され、検知された位置情報が信号ライン３５を介して制御装置１１´に送られる。また、操作者３８の右手の動きは、マスターマニピュレータ８ａの各関節に設けられたエンコーダ情報としてライン３７ａを介して制御装置１１´に取り込まれる。操作者３８の左手の動きは、マスターマニピュレータ８ｂの各関節に設けられたエンコーダ情報としてライン３７ｂを介して制御装置１１´´に取り込まれる。

操作者３８の足元付近には、２連のフットスイッチ１２が配置されている。このフットスイッチ１２はライン３３を介して制御装置１１´に電気的に接続されており、フットスイッチ１２の一方のスイッチ１２ａを踏むことによってマスターマニピュレータ８ａ，８ｂの動作が可能となるような制御が制御装置１１´によってなされている。また、フットスイッチ１２の他方のスイッチ１２ｂは緊急停止用のスイッチであり、このスイッチ１２ｂを踏むことによって制御装置１１´がシステムダウンされ、各スレーブマニピュレータ２５ａ，２５ｂ，２７の動作が強制的に停止されるようになっている。

こうしたスイッチ１２ａ，１２ｂのＯＮ／ＯＦＦ信号は、信号ライン３３を介して制御装置１１´に送られ、制御装置１１´内の処理回路（図示しない）で解析処理される。そして、制御装置１１´は、例えば緊急停止状態が生じた時（スイッチ１２ｂが踏まれた時）には、各スレーブマニピュレータ２５ａ，２５ｂ，２７を同時に停止させるために、信号ライン３４を介して制御装置１１´をシステムダウンさせる。これによって、制御装置１１´によって制御されるスレーブマニピュレータ２５ａ，２７の動作は勿論、制御装置１１´´によって制御されるスレーブマニピュレータ２５ｂの動作も強制的に停止される。

以上説明したように、本参考形態の医療用マニピュレータシステムによれば、観察・処置中にスレーブマニピュレータ２５ａ，２５ｂ，２７のいずれかが動作不良や暴走を起こした場合に、単なるフットスイッチ１２ｂの踏み操作のみで全てのスレーブマニピュレータ２５ａ，２５ｂ，２７を確実に停止させることができる。したがって、安全性および操作性が向上する。

すなわち、一般に、マニピュレータは、観察・処置中に操作者３８の動きに対応して忠実に動作するので、操作者３８が意図しない動作を行なった場合に、患者に負担をかけてしまう可能性がある。その場合には、マスタースレーブ動作を行なわせるためのフットスイッチ１２ａをＯＦＦにすれば良いが、例えば、動作中に各スレーブマニピュレータ２５ａ，２５ｂ，２７が干渉し合った場合、マスタースレーブモード（フットスイッチ１２ａ）をＯＦＦにしても、マニピュレータのサーボ処理の都合上、指令偏差が残ってしまうため、スレーブマニピュレータ２５ａ，２５ｂ，２７が動作を行なってしまう可能性がある。しかしながら、こうした場合、本参考形態の医療用マニピュレータシステムでは、フットスイッチ１２の緊急スイッチ１２ｂを踏むことによって、全てのスレーブマニピュレータ２５ａ，２５ｂ，２７の動作を制御している制御装置１１´，１１´´を強制的にシステムダウンしてしまうため、スレーブマニピュレータ２５ａ，２５ｂ，２７の干渉による暴走を避けることができるようになる。

なお、本参考形態では、緊急停止スイッチがフットスイッチ１２の他方のスイッチ１２ｂであったが、操作者が操作するマスターマニピュレータ８ａ，８ｂの操作把持部に設けられたハンドスイッチであっても良い。

また、各スレーブマニピュレータ２５ａ，２５ｂ，２７を別個に停止させる複数のフットスイッチを設ければ、全てのスレーブマニピュレータを停止させる必要がなくなり、各スレーブマニピュレータのシステムダウンからの復帰作業に時間をかけなくても済むようになる。この場合、警告ランプ（例えば、緊急停止が生じた時に赤点滅するランプ）を、操作者が見やすい位置、例えば、マニピュレータの近傍や制御装置の近傍等に設置しても良い。また、警告ランプでは大げさであるという場合には、ＬＥＤによる表示を行なうようにしても良い。

図４は、本発明の第１の実施形態を示すものである。本実施形態の医療用マニピュレータシステムは、参考形態の構成および作用効果に加え、操作者の意図しない動きを制限することもでき、これによって、安全性を向上させることができる。以下、具体的に説明する。

図４に示すように、本実施形態の医療用マニピュレータシステムは、参考形態で示した構成（図２および図３参照）に加え、画像処理回路１４を備えている。この画像処理回路１４は、ペン入力モニター１５からの入力情報によって、モニター１５の画面上に表示されている範囲内外での処置具４の動作範囲を制限させ、安全性を向上させようとするものである。

ペン入力モニター１５には、観察用スレーブマニピュレータのスコープ６から信号ライン１４ａを介して体腔内の画像が写し出される。操作者は、この表示された画像に対し、入力ペン１５ａでモニター１５の画面上をなぞることによって、制限範囲を設定する。ただし、この制限範囲を画像処理回路１４に正確に認識させるため、操作者は、制限範囲を示す線（以下、制限線という。）が閉じるようにペン入力する必要がある。

このようにして描かれた制限線の情報は、信号ライン１５ｃを介して、画像処理回路１４に送信される。画像処理回路１４は、この情報に基づいて、制限線によって示された制限範囲がペン入力モニター１５のどこの画面の画素に対応しているかを認識するとともに、制限対象となる領域（動作可能領域）がその閉じた制限線の内側の領域か或いは外側の領域かを判断する。これによって、処置用スレーブマニピュレータの先端の動作範囲が制限される。

処置具４の先端にはマーキングがついており、画像処理回路１４は、これを色抽出することにより、処置具４のマーキング部が画面のどの場所にきているかを認識する。そして、このマーキングの位置が動作可能領域であるか否か（制限線によって囲まれた領域の内側か外側か）を判断し、設定の条件に応じて処置具４を動作・停止させる。それ以外の構成および作用効果は参考形態と同一である。

なお、制御装置１１のフロッピィディスクＦに今回の情報（観察用マニピュレータの位置や動作制限範囲等の情報）を記憶させても良い。これによって、使用毎に設定し直すという煩わしさを解消することができる。また、情報記憶媒体は、フロッピィディスクＦである必要はなく、例えばメモリカードや光ＣＤ等の媒体であっても良い。

以上説明したように、本実施形態の医療用マニピュレータシステムは、処置用スレーブマニピュレータを選択された領域でのみ動作させることによって、操作者の意図しない動作により対象部位以外の生体部位に無理な力をかけてしまうといった事態を回避することができる。したがって、術中の安全性が確保される。

図５ないし図９は本発明の第２の実施形態を示すものである。第１の実施形態では、ペン入力によって動作範囲を制限できたが、本実施形態では、画像処理のエッジ検出を用いることによって、対象臓器等の部位での動作限定を行なわすことができる。

図５は本実施形態の医療用マニピュレータシステムの構成を示している。図示のように、この医療用マニピュレータシステムには画像処理回路３９が設けられており、スコープ６で検出された画像データが画像処理回路３９に直接に入力されるようになっている。それ以外の構成は参考形態と同一である。

スコープ６で得られた画像データは信号ライン３９ａを介して画像処理回路３９に取り込まれる。取り込まれた画像データは、画像処理の領域分割法（原画像上におけるクラスタリング）によって処理される。この処理は、画像全体を開始点として一定の特徴を持たない領域を細分化していくものであり、最終的に均一な領域になった時点で領域の細分化を停止する。具体的には、４分木（Ｑｕａｄ ｔｒｅｅ）の方法を用い、画像をそれぞれの節点が最大４個の子を持つ木によって表現するものである。なお、これは、画像領域の分割を行なう極めて一般的な方法であるが、その他、原画像上のクラスタリングによるもの、特徴空間におけるクラスタリングによるもの、エッジ検出、さらにはテクスチャ解析によるもの等を用いても構わない。

図６に原画像が示されている。この原画像には画像処理回路３９によって前述した領域分割が施され、領域分割された画像には各領域に対して番号が付与される。この状態は、信号ライン３９ｂを介して、ＨＭＤ８の画面に図７のように表示される。

次に、領域のどの部分（臓器や血管等）に対して動作範囲の制限を行なうかを選択決定するために、領域選択が行なわれる。ここでは、図７に示した番号と同じ数値をキーボード入力することによって領域の選択が行なわれる。例えば領域４の選択がなされると、処置具４の先端に配置されたマーキングの位置が図８に示された斜線部領域内（領域４内）に入るように、すなわち、処置具４の先端が図８の矢印の方向に移動するように、処置用スレーブマニピュレータの動作を制御する。なお、この移動は、操作者の操作によるマスタースレーブ動作であっても良いし、制御装置１１側のプログラムによる自動的なものであっても良い。

以上の作業が終了したら、第１の実施形態と同様に、画像上の処置具４の先端のマーキングの位置と選択された分割領域の範囲位置とを比較することによって、処置用スレーブマニピュレータの動作範囲が限定される。

なお、以上は一つの領域部位における動作制限について説明したが、図９に示すように、複数の領域部位を選択し、かつ、斜線領域外でのみ処置用スレーブマニピュレータを動作させるようにすることもできる。

以上の一連の動作の一例を以下に示す。

（１）操作者が、キーボード入力により本実施形態で示す動作のコマンドを選択する。その後、画像の領域分割が行なわれ、操作者が装着しているＨＭＤの画面に、分割された画像が表示される。操作者は、その画像を観察し、キーボードの数値キー入力によって、選択したい領域を選択する。

（２）次に、操作者が処置用スレーブマニピュレータを動作させ、選択した領域に処置具４の先端のマーキングが入るように処置具４を誘導する。

（３）指定領域に処置具４を挿入した後、マスタースレーブ動作を開始させる。

以上説明したように、本実施形態の医療用マニピュレータシステムによれば、任意の臓器を選択し、その臓器の輪郭内外で処置用マニピュレータを動作させることができ、目的とする部位へのアプローチのみを行なうことが可能になる。したがって、意図しない動きを防止することができ、安全性が向上する。

図１０は本発明の第３の実施形態を示すものである。図１０の（ａ）は、処置用スレーブマニピュレータの先端の処置具４がステープラである場合を示している。この実施形態のマニピュレータシステムは、画像処理によって胆管の太さを認識し、その胆管にあったステープラ（処置具４）を自動的に選択して処置を行なおうとするものである。

本実施形態では、第２の実施形態で示したと同一の画像処理によって形状認識がなされるが、それに加え、胆管Ｓの太さを抽出することが行なわれる。まず、胆管のどのあたりを切除するかを選択するために、図１０の（ｂ）に示すようにＨＭＤ９の画面上に表示された円状のポインタＰを所望の部位まで誘導する。このポインタＰは、例えば制御装置１１のキーボードの矢印キーによって、画面の上下左右に移動される。

このポインタＰが胆管Ｓの所望の部位を囲むような場所に位置したら、そのポインタＰの円の内部にある胆管Ｓに対してエッジ検出を行なう。そして、このエッジ検出情報から、エッジで囲まれている斜線部分（図１０の（ｄ）参照）の矢印で示された方向の距離（胆管Ｓの太さ）を求める。これは、画面において何画素分であるかを求めることによって実現される。なお、この画素情報では、実際の距離が求められないため、予め決められた尺度と比較する必要がある。そのため、例えば、図１０の（ｂ）に示すように、処置具４の鉗子部のグリッパ４ａの長さａを画像処理によって抽出し、その時の長さａが何画素分かを求める。この場合、グリッパ４ａの長さａは既知であるので、１画素に対してどのくらいの長さであるかを計算することによって現在の胆管Ｓの太さがおおよそどのくらいかを認識することができる。

認識された情報により、ステープラの大きさを選択し、それによって、胆管切除術を行なうことができる（図１０の（ｃ）参照）。なお、処置具４のグリッパ４ａの長さａを出来るだけ正確に画面の画素に対応させるために、処置具４の長手方向のベクトルを画面に水平になるように配置することが望ましい。

以上説明したように、本実施形態の医療用マニピュレータシステムによれば、対象部位の処置に最適な処置具を選択することができるため、例えばステープラを経験的に選択して処置を行なっていた従来よりも操作性の向上を図ることができる。

図１１および図１２は本発明の第４の実施形態を示すものである。本実施形態の医療用マニピュレータシステムは、第１および第２の実施形態のように処置用スレーブマニピュレータの動作範囲を制限することもできるが、それ以外の手段によっても安全性の向上を図ることができる。

例えば、マスタースレーブモード動作時に、モニタ画面に表示されていない生体内領域に処置用スレーブマニピュレータが位置した場合、操作者は処置具４がどのような状態にあるのかを認識することができない。そこで、本実施形態では、図１１に示すように、処置具４の先端に赤外線センサー４１を設け、これによって処置具４の位置状態を認識することができる。

本実施形態の医療用マニピュレータシステムの構成が図１２に示されている。 図１２に示すように、赤外線センサー４１からのデータは、信号ライン５１を介して、制御装置１１に設けられたセンサー処理回路５２に入力されるようになっている。それ以外の構成は第２の実施形態と同一である。

赤外線センサー４１は、対象部位の発する赤外を検知するためのものであり、処置具４の先端が臓器に近付くと赤外線の量を多く検知することができる。そこで、本実施形態では、赤外線センサー４１が所定量の赤外線を検知した場合に、センサー処理回路５２がそれを認識し、処置用スレーブマニピュレータの動作が停止されるようになっている。具体的には、例えば、赤外線センサー４１からの検知データ値が予め設定された閾値以上であるとセンサー処理回路５２で判断された場合には、センサー処理回路５２から処置用スレーブマニピュレータを実際に制御しているサーボ処理回路１１ｂに停止命令が送られ、処置用スレーブマニピュレータの動作が停止される。したがって、処置具４の先端が意図しない臓器に接触することを防ぐことができる。

なお、本実施形態では、赤外線検知によって臓器に対する処置具４の先端の過度の接近を回避するようにしているが、例えば超音波センサーを用い、超音波の反射波から処置具４の先端の臓器に対する接近度を認識し、処置具４の先端が臓器にある一定距離以上近付きすぎないように制御しても良い。

以上説明したように、本実施形態の医療用マニピュレータシステムによれば、操作者が観察できない領域に処置具４が位置した場合でも、処置用スレーブマニピュレータの動作を自動的に停止することができるため、安全性が向上する。

ところで、一般に、観察・処置を行なうための器具はその種類が無数にあり、それら全てに対応したマニピュレータをラインアップすることは極めて困難である。そこで、以下、スコープおよび処置具の部分だけを交換することができる医療用マニピュレータシステムについて説明することとする。

図１３の（ａ）は、観察・処置用マニピュレータによる内視鏡下外科手術を行なう医療用マニピュレータシステムの構成を示している。図中１０１は、観察用スコープ１０２あるいは処置具１０３を先端に配置可能なロボットアームである。１０４は患者ベッドで、１０５は患者である。ロボットアーム１０１には電動で各関節を駆動させるためのサーボモータが内蔵されており（図示しない）、これらのサーボモータによって、スコープ１０２および処置具１０３が所望の位置および方向に動作できるようになっている。また、図中１０６は、ロボットアーム１０１とスコープ１０２あるいは処置具１０３とを連結させるための機構部であり、ネジ止め式になっている。

ところで、ロボットアーム１０１は、サーボ処理による位置決めを行なっているが、一般にスコープ１０２の重さと処置具１０３の重さとはかなり異なっているため、マニピュレータのサーボゲインを最適にするために、ロボットアーム１０１に取り付ける対象器具によってゲイン調整を行なう必要がある。もし、この調整を行なわないと、マニピュレータの応答性を向上させることができなくなり、ひいては操作性が低下してしまう。

そこで、本実施形態では、ロボットアーム１０１のサーボ処理系に自動ゲイン調整手段を設け、常に最適なゲインによるロボットアーム１０１の駆動を行なわせることができるようにしている。

図１３の（ｂ）にロボットアーム１０１の簡単な制御ブロック線図が示されている。図中ｓはラプラス演算子であり、ＫＰ１は比例ゲイン、ＫＩ１は積分ゲイン、Ｋ２はアンプゲイン、Ｔは制御対象（ここではモータ）時定数である。

また、θ１は入力位置指令、θ２は位置出力値である。図中点線で囲まれた部分は、参考形態で示したＤＳＰで実現している。そして、このＤＳＰの内部メモリ（図示しない）には、スコープ１０２を駆動する場合のループゲイン定数（比例ゲイン、積分ゲイン）と処置具１０３を駆動する場合のループゲイン定数とが予め各々記憶させてあり、動作を行なわせる際に、ループゲイン定数の選択を行なうようになっている。この選択は、制御装置のキーボードからのコマンドによって行われる。

ループゲイン定数の選択がされると、ＤＳＰ側でどのコマンドが設定されたかが認識され、そのコマンドに合うループゲインが選択される。その後、位置決めのためのサーボ処理が行なわれる。また、途中で器具を交換するような事態に対応するために、コマンドの認識は定期的にＤＳＰ側で確認される。

以上のような制御によれば、簡単な構成で各医療器具に合ったロボットアームのゲイン調整を行なうことができるようになり、常に最適な応答性でロボットアームを駆動させることができ、操作性が向上する。

なお、図１３の構成では、操作者が自分自身でループゲインの設定を行なわなければならないが、人間による操作では常にヒューマンエラーによる設定ミスが予測されるため、制御装置自身が負荷の推定を行ない、制御装置自身でループゲインを設定する制御構成について以下説明することとする。

図１４の（ａ）にそのブロック線図を示す。図中Ｋ２はアンプゲイン、Ｊはモータのイナーシャ、Ｋ１はモータトルク定数である。図中点線で囲まれた１１１はモータ部を示している。１１０はＤＳＰである。ただし、アンプは、指令通りの電流をモータに流せるようになっている。具体的には、電流フィードバックが設けられる。図中、θ１が入力指令であり、θ２が出力値である。図に示すように、θ２はライン１１２を介してＤＳＰ１１０側にフィードバックされている。
図１４（ｂ）は、図１４（ａ）の系のモータ電流指令（ｉ）と位置出力との間に、図中点線の部分のブロック線図を追加したものである。また、図中ｄは、モータ軸にかかる外乱を表わしている。

この構成において、ライン１１５から出力される外乱トルクｄは、
（Ｊ／Ｊ）（Ｋ１＋ｄ）−Ｋ１ …………（１）
という演算から求められる。ここで、モータ軸換算負荷がＪからＪ１に変化したとすると、
（Ｊ／Ｊ１）（Ｋ１＋ｄ）−Ｋ１ …………（２）
から求められる外乱トルクｄがライン１１５から出力される。

実際には、ブロック線図の点線内は、ＤＳＰ等による高速サンプリングを行なっているため、外乱トルクｄが急激に変化しない（ライン１１５の出力が変わらない）。したがって、モータ軸換算イナーシャは上式（１）および（２）より、
Ｊ＝Ｊ１
となる。

これによって、負荷がどの程度変わったかが認識されるため、例えば、ＤＳＰのメモリに各取り付け器具の換算イナーシャＪを記憶しておき比較することによって、自動的に取り付け器具の推定が可能になる。これによって、ＤＳＰ側で自動的に負荷にあったゲイン調整が可能となる。

以上説明した制御によれば、ヒューマンエラーを自動的になくすことが可能であるため、誤操作による操作性低下を防ぐことができる。

なお、以上説明してきた態様により、以下の項で示す各種の構成が得られる。また、以下の項で示す各種の構成は、任意に組み合わせても良い。

（付記項１乃至１０の発明が解決しようとする課題）
複数の医療用マニピュレータを使用した手術では、例えば一部のマニピュレータが意図しない動作を行なった場合、そのマニピュレータが暴走して術者や患者に無理な力を加えないよう何等かの処置を講じる必要がある。例えば、どのマニピュレータ制御装置をシステムダウンするべきかを術者が判断しなければならない。このような判断を術中に行なうことは、非常に煩雑である。また、刻々と進行する手術においては、術者の速やかな対処が必要となる。

付記項１乃至１０の発明は上記事情に着目してなされたものであり、その目的とするところは、複数の医療用マニピュレータを使用した手術においてマニピュレータに何等かの動作不良が生じた場合、それに対して速やかに対処できる安全性および操作性に優れた医療用マニピュレータシステムを提供することにある。

１．生体内組織部位の観察と処置の少なくとも一方を行なう器具を保持する複数の多関節手術用マニピュレータと、
前記多関節手術用マニピュレータを操作するための操作手段と、
前記操作手段からの操作情報に基づいて前記多関節手術用マニピュレータの動作を制御する制御手段と、
操作者の操作可能な部位に設けられ、前記多関節手術用マニピュレータの少なくとも１つの動作を強制的に停止させる強制停止手段と、
を具備することを特徴とする医療用マニピュレータシステム。

２．前記強制停止手段は、全てのマニピュレータの動作を停止させることを特徴とする第１項に記載の医療用マニピュレータシステム。

３．前記強制停止手段は、所望のマニピュレータの動作を選択的に停止させることを特徴とする第１項に記載の医療用マニピュレータシステム。

４．前記強制停止手段が個々のマニピュレータの近傍に設けられていることを特徴とする第３項に記載の医療用マニピュレータシステム。

５．前記強制停止手段が個々のマニピュレータを制御する制御装置の近傍に設けられていることを特徴とする第３項に記載の医療用マニピュレータシステム。

６．前記強制停止手段がハンドスイッチであることを特徴とする第２項ないし第５項のいずれか１項に記載の医療用マニピュレータシステム。

７．前記強制停止手段がフットスイッチであることを特徴とする第２項ないし第５項のいずれか１項に記載の医療用マニピュレータシステム。

８．マニピュレータが停止した時に点滅する警告手段を個々のマニピュレータの近傍に設けたことを特徴とする第１項に記載の医療用マニピュレータシステム。

９．前記警告手段が色付きランプであることを特徴とする第８項に記載の医療用マニピュレータシステム。

１０．前記警告手段がＬＥＤであることを特徴とする第８項に記載の医療用マニピュレータシステム。

（付記項１乃至１０の発明の効果）
以上説明したように、付記項１乃至１０の発明の医療用マニピュレータシステムによれば、複数の医療用マニピュレータを使用した手術においてマニピュレータに何等かの動作不良が生じた場合でも、それに対して速やかに対処できる。したがって、安全性および操作性に優れ、手術時間を短縮でき、患者に対する侵襲を低くすることができる。

１１．生体内組織部位の観察を行なう観察器具を保持する観察用多関節マニピュレータと、
生体内組織部位の処置を行なう処置器具を保持する少なくとも１つの処置用多関節マニピュレータと、
前記多関節マニピュレータの両者を操作するための操作手段と、
前記操作手段からの操作情報に基づいて前記多関節マニピュレータの動作を制御する制御手段と、
前記観察器具からの情報を画像情報として出力する表示手段と、
前記表示手段に表示された画像の任意の範囲を選択するための画像選択手段とを具備し、
前記多関節マニピュレータに保持された少なくとも観察または処置を行うための器具の先端近傍部が前記画像選択手段によって選択された範囲内にある時にのみマニピュレータの動作を可能とする動作判断手段が設けられていることを特徴とする医療用マニピュレータシステム。

１２．前記画像選択手段は、前記表示手段によって表示された観察画像上にペン入力によって選択することを特徴とする第１１項に記載の医療用マニピュレータシステム。

１３．前記動作判断手段は、画像処理による色抽出によるものであることを特徴とする第１１項に記載の医療用マニピュレータシステム。

１４．生体内組織部位の観察器具を保持する多関節手術用マニピュレータと、この多関節手術用マニピュレータを操作するための操作手段と、この操作手段からの操作情報に基づいて前記多関節手術用マニピュレータの動作を制御する制御手段と、前記観察器具からの情報を画像情報として出力する表示手段と、表示手段に表示された画像の任意の範囲を選択するための画像選択手段とを有する医療用マニピュレータシステムにおいて、前記画像選択手段が画像処理の領域選択によるものであることを特徴とする医療用マニピュレータシステム。

１５．前記領域選択手段が原画像上におけるクラスタリングを用いることを特徴とする第１４項に記載の医療用マニピュレータシステム。

１６．前記領域選択手段が特徴空間におけるクラスタリングを用いることを特徴とする第１４項に記載の医療用マニピュレータシステム。

１７．前記領域選択手段が原画像中のエッジを用いることを特徴とする第１４項に記載の医療用マニピュレータシステム。

１８．前記領域選択手段がテクスチャ解析を用いることを特徴とする第１４項に記載の医療用マニピュレータシステム。

１９．生体内組織部位の観察と処置の少なくとも一方の器具を保持する多関節手術用マニピュレータと、この多関節手術用マニピュレータを操作するための操作手段と、この操作手段からの操作情報に基づいて前記多関節手術用マニピュレータの動作を制御する制御手段とを有する医療用マニピュレータシステムにおいて、前記処置器具先端近傍が臓器付近に近付いた時にマニピュレータの動作を停止させるための動作制御判断手段を設けたことを特徴とする医療用マニピュレータシステム。

２０．前記動作制御判断手段は、処置器具に取り付けられたセンサーと、センサーから出力された情報が一定値を超えたら動作停止させるための処理回路とからなることを特徴とする第１９項に記載の医療用マニピュレータシステム。

２１．前記センサーが圧電素子センサーであることを特徴とする第２０項に記載の医療用マニピュレータシステム。

２２．前記センサーが赤外線検知センサーであることを特徴とする第２０項に記載の医療用マニピュレータシステム。

２３．生体内組織部位の観察と処置の少なくとも一方の器具を保持する多関節手術用マニピュレータと、この多関節手術用マニピュレータを操作するための操作手段と、この操作手段からの操作情報に基づいて前記多関節手術用マニピュレータの動作を制御する位置決めサーボ制御手段とを有する医療用マニピュレータシステムにおいて、前記器具に応じて前記マニピュレータのサーボゲインの値に切換え可能なサーボゲイン切換え手段を有する。

２４．生体内組織部位の観察と処置の少なくとも一方の器具を保持する多関節手術用マニピュレータと、この多関節手術用マニピュレータを操作するための操作手段と、この操作手段からの操作情報に基づいて前記多関節手術用マニピュレータの動作を制御する位置決めサーボ制御手段と、前記器具に応じて前記マニピュレータのサーボゲインの値に切換え可能なサーボゲイン切換え手段とを有する医療用マニピュレータシステムにおいて、
前記マニピュレータのサーボゲイン切換え手段は、予め設定された観察器具のサーボゲインと処置器具のサーボゲインとを切り換える切り換え手段であることを特徴とする医療用マニピュレータシステム。

２５．前記切り換え手段は、自動的に切り換わるように自動識別手段を有していることを特徴とする第２３項に記載の医療用マニピュレータシステム。

２６．前記自動識別手段が負荷の慣性を識別することによる識別装置であることを特徴とする第２３項に記載の医療用マニピュレータシステム。

本発明の参考形態に係る医療用マニピュレータシステムを構成するマニピュレータの処置具およびスコープの作動機構を概略的に示す構成図。 本発明の参考形態に係る医療用マニピュレータシステムの構成図。 本発明の参考形態に係る医療用マニピュレータシステムの具体例を示す構成図。 本発明の第１の実施形態に係る医療用マニピュレータシステムの構成図。 本発明の第２の実施形態に係る医療用マニピュレータシステムの構成図。 スコープによって得られた原画像を示す図。 領域分割された図６の原画像の各領域に対して番号が付与された表示例を示す図。 処置具の先端に配置されたマーキングの位置が原画像の一定の領域内に入る様子を示す図 複数の制限領域が指定された画像表示例を示す図である。 本発明の第３の実施形態を示し、胆管の太さを抽出して切除する一連の過程を示す図。 本発明の第４の実施形態に係わり、赤外線センサーを用いた動作制限の態様を示す図。 本発明の第４の実施形態に係る医療用マニピュレータシステムの構成図。 （ａ）はスコープおよび処置具の部分だけを交換することができる医療用マニピュレータシステムの一例を示す図、（ｂ）は（ａ）のシステムの制御ブロック線図。 制御装置自身でループゲインを設定するようにしたシステムのブロック線図。

符号の説明

４…処置具、５…処置用アーム（多関節手術用マニピュレータ）、６…スコープ、７…観察用アーム（多関節手術用マニピュレータ）、８…マスターアーム（操作手段）、９…ＨＭＤ（操作手段）、１４…画像処理回路。

Claims (7)

1. 少なくとも１つの多関節手術用マニピュレータが体腔内に挿入されて体腔内組織部位の観察と処置との少なくとも観察を行う器具を保持し、他の多関節手術用マニピュレータが体腔内に挿入されて体腔内組織部位の観察と処置との少なくとも一方を行なう器具を保持し、各多関節手術用マニピュレータは前記器具の全体を動作させるアームを有し、前記器具は、前記器具に設けられ前記器具の先端部を動作させる駆動機構と、前記器具に内蔵され前記駆動機構を駆動させる駆動源と、を有する、複数の多関節手術用マニピュレータと、
   動作させることにより前記多関節手術用マニピュレータを操作するための操作手段と、
   前記少なくとも観察を行なう器具により得られた体腔内観察画像を表示する表示手段と、
   前記表示手段に表示されている体腔内観察画像上で動作範囲を設定する設定手段と、
   前記観察と処置との少なくとも一方を行なう器具の先端部が前記動作範囲内でのみ自由に動作されるように、前記操作手段による前記多関節手術用マニピュレータの動作を制限する動作範囲制限手段と、
   を具備することを特徴とする医療用マニピュレータシステム。
2. 前記設定手段は、前記表示手段に表示されている体腔内観察画像上で前記動作範囲を直接設定可能な入力手段を有する、
   ことを特徴とする請求項１に記載の医療用マニピュレータシステム。
3. 前記設定手段は、前記少なくとも観察を行なう器具により観察して得られた体腔内観察画像をクラスタリング、エッジ検出、又は、テクスチャ解析により複数の領域に分割する画像処理手段と、前記画像処理手段により分割された複数の領域の中の所望の領域を前記動作範囲として選択する選択手段と、を有する、
   ことを特徴とする請求項１に記載の医療用マニピュレータシステム。
4. 前記多関節手術用マニピュレータに設けられ、前記器具の先端部と前記生体内組織部位との位置状態を検出するセンサーをさらに具備し、
   前記動作範囲制限手段は、前記センサーによる検出結果に基づき、前記器具の先端部が前記体腔内組織に接触しないように、前記多関節手術用マニピュレータの動作を制限する、
   ことを特徴とする請求項１に記載の医療用マニピュレータシステム。
5. 前記体腔内観察画像上の所望の部分のサイズを算出する算出手段をさらに具備する、
   ことを特徴とする請求項１に記載の医療用マニピュレータシステム。
6. 前記動作範囲制限手段は、前記観察と処置との少なくとも一方を行なう器具の先端部が前記動作範囲外にある場合には前記操作手段による当該多関節手術用マニピュレータの動作を停止させる、
   ことを特徴とする請求項１又は２に記載の医療用マニピュレータシステム。
7. 前記動作範囲制限手段は、前記観察と処置との少なくとも一方を行なう器具の先端部が前記動作範囲外にある場合には当該器具の先端部を前記動作範囲内へと移動させるように前記多関節手術用マニピュレータを動作させる、
   ことを特徴とする請求項１に記載の医療用マニピュレータシステム。

Images