JP5856745B2 - 手術システム及びその制御方法 - Google Patents

Description

本発明は、例えば医療用マニピュレータシステム等の手術システム及びその制御方法に関する。

近年、ロボットを用いた医療処置に係る技術について種々の提案が為されている。特に外科分野においては、多自由度アームを有する多自由度マニピュレータによって患者の処置をする医療用マニピュレータシステムについて各種の提案がなされている。
例えば特許文献１には、複数の医療用マニピュレータを使用した手術においてマニピュレータに何等かの動作不良が生じた場合に、それに対して速やかに対処できる安全性及び操作性に優れた医療用マニピュレータシステムが開示されている。

具体的には、特許文献１に開示されている医療用マニピュレータシステムでは、赤外線センサーが所定量の赤外線を検知した場合に、センサー処理回路がそれを認識し、処置用スレーブマニピュレータの動作が停止される。
例えば、赤外線センサーからの検知データ値が予め設定された閾値以上であるとセンサー処理回路で判断された場合には、センサー処理回路から処置用スレーブマニピュレータを実際に制御しているサーボ処理回路に停止命令が送られ、処置用スレーブマニピュレータの動作が停止される。このようにして、処置具の先端が、意図せずして臓器に接触してしまうことを防ぐことができる。

特許第３７１７５５２号公報

ところで、医療用マニピュレータシステムのうち撮像系（例えば内視鏡等）に異常が発生した場合には、術者は、視野を失う等の非常に大きな不都合を蒙る。従って、従来より医療用マニピュレータシステムのような手術システムにおいて、撮像系に生じた異常状態に対して適切且つ迅速に対処する技術が望まれている。なお、特許文献１に開示されている技術は、撮像系に生じた異常状態に対処する処理を規定しているものではない。

本発明は、上記の事情に鑑みてなされたもので、撮像系を具備する手術システムであって、撮像系により取得した画像が正常に表示されていない状態（異常状態）である場合に、適切に対処する処理を実行する手術システム及びその制御方法を提供することを目的とする。

上記の目的を達成するために、本発明の一態様の手術システムは、
画像情報を取得する撮像系を具備する手術システムであって、
前記画像情報が異常状態の内容を表す複数の異常検出パターンのいずれかにあてはまるかを判定する判定部と、
前記判定部により前記画像情報が少なくとも１つの前記異常検出パターンにあてはまると判定された場合に異常対応処理を実行する異常処理モードに切り替える制御部と、
を具備し、
前記制御部は、前記画像情報が複数の前記異常検出パターンにあてはまると判定された場合、前記異常処理モードにおいて、あてはまると判定された複数の前記異常検出パターンから導出された異常対応処理を実行し、前記画像情報が１つの前記異常検出パターンにあてはまると判定された場合、前記異常処理モードにおいて、あてはまると判定された１つの前記異常検出パターンに対応する異常対応処理を実行する。
上記の目的を達成するために、本発明の一採用の手術システムの制御方法は、
画像情報を取得する撮像系を具備する手術システムの制御方法であって、
前記画像情報が異常状態の内容を表す複数の異常検出パターンのいずれかにあてはまるかを判定することと、
前記画像情報が少なくとも１つの前記異常検出パターンにあてはまると判定された場合に異常対応処理を実行する異常処理モードに切り替えることと、
を具備し、
前記画像情報が複数の前記異常検出パターンにあてはまると判定された場合の前記異常処理モードは、
あてはまると判定された複数の前記異常検出パターンから異常対応処理を導出することと、
前記導出された異常対応処理を実行することと、
を含み、
前記画像情報が１つの前記異常検出パターンにあてはまると判定された場合の前記異常処理モードは、
あてはまると判定された１つの前記異常検出パターンに対応する異常対応処理を実行することを含む。

本発明によれば、撮像系を具備する手術システムであって、撮像系により取得した画像が正常に表示されていない状態（異常状態）である場合に、適切に対処する処理を実行する手術システム及びその制御方法を提供することができる。

本発明の一実施形態に係る手術システムの第１の構成例を示す図。 本発明の一実施形態に係る手術システムの第２の構成例を示す図。 本発明の一実施形態に係る手術システムに生じた異常状態への対応処理の一例のフローチャートを示す図。 図３に示すフローチャートのステップＳ４における処理（ステップＳ４からステップＳ５又はステップＳ８への分岐処理；同フローチャートにおいて破線で囲まれた領域Ｄ内の処理）を詳細に記すフローチャートを示す図。 図３に示すフローチャートにおけるステップＳ１０の処理（第二のモードへの設定処理）のサブルーチンのフローチャートを示す図。

以下、図面を参照して本発明の一実施形態について説明する。
図１は、本一実施形態に係る手術システムの第１の構成例を示す図である。本例では、マスタースレーブ方式の手術システムを想定している。ここで、マスタースレーブ方式の手術システムとは、マスターアームとスレーブアームとからなる２種のアームを有し、マスターアームの動作に追従させるようにしてスレーブアームを遠隔制御するシステムのことを言うものとする。

図１に示す手術システムは、手術台１００と、スレーブアーム２００ａ〜２００ｄと、スレーブ制御回路４００と、マスターアーム５００ａ，５００ｂと、操作部６００と、入力処理回路７００と、画像処理回路８００と、ディスプレイ９００ａ，９００ｂと、を有している。

手術台１００は、観察・処置の対象となる患者１が載置される台である。この手術台１００の近傍には、複数のスレーブアーム２００ａ、２００ｂ、２００ｃ、２００ｄが設置されている。なお、スレーブアーム２００ａ〜２００ｄを手術台１００に設置するようにしても良い。

スレーブアーム２００ａ、２００ｂ、２００ｃ、２００ｄは、それぞれ複数の多自由度関節を有して構成されている。このようなスレーブアーム２００ａ、２００ｂ、２００ｃ、２００ｄは、各関節を湾曲させることによって、手術台１００に載置された患者１に対してスレーブアーム２００ａ〜２００ｄの先端側（患者１の体腔に向かう側とする）に装着される処置具や観察器具といった各種の術具を位置決めする。

スレーブアーム２００ａ〜２００ｄの各関節は、アーム内に設けられた動力部によって個別に駆動される。この動力部としては、例えばインクリメンタルエンコーダや減速器等を備えたサーボ機構を有するモータ（サーボモータ）が用いられる。このサーボモータの動作制御は、スレーブ制御回路４００によって行われる。

さらに、スレーブアーム２００ａ〜２００ｄは、各々の先端側に装着される術具２４０ａ〜２４０ｄを駆動するための複数の動力部も有している。この動力部も例えばサーボモータが用いられ、このサーボモータの動作制御もスレーブ制御回路４００によって行われる。

スレーブアーム２００ａ〜２００ｄの動力部が駆動された場合には、モータの駆動量が位置検出器によって検出される。位置検出器からの検出信号はスレーブ制御回路４００に入力され、この検出信号により、スレーブアーム２００ａ〜２００ｄの駆動量がスレーブ制御回路４００において検出される。

手術用動力伝達アダプタ（以下、単にアダプタと言う）２２０ａ、２２０ｂ、２２０ｃ、２２０ｄは、スレーブアーム２００ａ、２００ｂ、２００ｃ、２００ｄと術具２４０ａ、２４０ｂ、２４０ｃ、２４０ｄとの間に介在されてスレーブアーム２００ａ、２００ｂ、２００ｃ、２００ｄと術具２４０ａ、２４０ｂ、２４０ｃ、２４０ｄとをそれぞれ接続する。詳細は後述するが、アダプタ２２０ａ〜２２０ｄは、それぞれが直動機構を有し、対応するスレーブアームの動力部において発生した動力を直動運動によって対応する術具に伝達するように構成されている。

術具２４０ａ〜２４０ｄは、複数の自由度を有する関節部を有し、患者１の体壁に開けられた図示しない挿入孔から患者１の体腔内に挿入される。また、術具２４０ａ〜２４０ｄは、先端部が湾曲駆動したり回転駆動したりできるように構成されている。
この湾曲駆動は、例えばスレーブアーム２００ａ〜２００ｄ内にそれぞれ設けられたサーボモータを駆動させて術具２４０ａ〜２４０ｄ内に挿通配置されているワイヤを押し引き操作することによって行われる。また、回転駆動は、例えばスレーブアーム２００ａ〜２００ｄ内にそれぞれ設けられたサーボモータを駆動させて術具２４０ａ〜２４０ｄ内にそれぞれ設けられた回転機構を作動させたりすることによって行われる。

さらに、術具の種類によっては、術具の先端に開閉機構が設けられている。この開閉機構は、例えば、処置を行う為の針や糸等の器具、血管、臓器、及び脂肪等を把持する操作を可能とする為の機構である。この開閉機構も、例えばスレーブアーム２００ａ〜２００ｄにそれぞれ設けられたサーボモータを駆動させて術具内に挿通配置されたワイヤを押し引き操作することにより作動される。

ここで、図１に示す４本のスレーブアーム２００ａ〜２００ｄのうち、例えば、スレーブアーム２００ａ、２００ｂ、２００ｄは処置用のスレーブアームとして用いられるものである。これら処置用のスレーブアーム２００ａ、２００ｂ、２００ｄには、術具２４０ａ、２４０ｂ、２４０ｄとして各種の外科手術器具が装着される。

なお、本一実施形態における外科手術器具とは、例えばメスや鋏等の、患者１の体内の組織部位に対して処置を行うための術具を言うものとする。また、スレーブアーム２００ｃは観察用のカメラアームとして用いられるものである。スレーブアーム２００ｃには、術具２４０ｃとして各種の観察器具が装着される。本一実施形態における観察器具とは、電子内視鏡等の、患者１の体内の組織部位を観察するための術具を言うものとする。

また、アダプタ２２０ａ〜２２０ｄに装着された術具２４０ａ〜２４０ｄは、交換用術具２４０ｅと交換可能になされている。このような術具の交換作業は、例えば助手２によって行われる。
ドレープ３００は、本一実施形態に係る手術システムにおいて滅菌処理を行う部位（以下、清潔域と称する）と滅菌処理を行わない部位（以下、不潔域と称する）とを分けるためものである。

例えば、メスや鋏等の外科手術器具は患者１の体腔内に直接接触するものであり、洗浄処理や滅菌処理を十分に行っておく必要がある。これに対し、スレーブアーム２００ａ〜２００ｄの動力部等は各種の電子部品を備えているため、通常は滅菌処理に耐え得る構造をしていない。

したがって、アダプタ２２０ａ〜２２０ｄを介してスレーブアーム２００ａ〜２００ｄに術具２４０ａ〜２４０ｄを装着した状態で手術を行う際には、滅菌処理済みの術具２４０ａ〜２４０ｄの部分を露出させ、スレーブアーム２００ａ〜２００ｄの動力部が保護されるように、図１に示すように、スレーブアーム２００ａ〜２００ｄの動力部の部分をドレープ３００によって包むようにした状態で手術を行う。

ドレープ３００によって清潔域と不潔域とを分けておくことにより、手術中において清潔域と不潔域との交錯を防止する。
スレーブ制御回路４００は、例えばＣＰＵやメモリ等を有して構成されている。このスレーブ制御回路４００は、スレーブアーム２００ａ〜２００ｂの制御を行うための所定のプログラムを記憶しており、入力処理回路７００からの制御信号に従って、スレーブアーム２００ａ〜２００ｂ又は術具２４０ａ〜２４０ｄの動作を制御する。

即ち、スレーブ制御回路４００は、入力処理回路７００からの制御信号に基づいて、操作者３によって操作されたマスターアームの操作対象のスレーブアーム（又は術具）を特定し、特定したスレーブアーム（術具）に操作者３のマスターアームの操作量に対応した動きをさせるために必要な駆動量を演算する。そして、スレーブ制御回路４００は、算出した駆動量に応じてマスターアームの操作対象のスレーブアームの動作を制御する。この際、スレーブ制御回路４００は、対応したスレーブアームに駆動信号を入力するとともに、対応したスレーブアームの動作に応じて動力部の位置検出器から入力されてくる検出信号に応じて、操作対象のスレーブアームの駆動量が目標の駆動量となるように駆動信号の大きさや極性を制御する。

さらに、スレーブ制御回路４００は、スレーブアーム２００ｃに装着された観察器具から画像信号が入力されてきた場合には、入力された画像信号を画像処理回路８００に出力することも行う。なお、詳細は後述するが、この画像信号に基づいて、画像処理回路８００は、視野異常の検出（判定）を行う。そして、画像処理回路８００は、この視野異常の検出（判定）結果に基づいて、制御モード（第一のモード、第二のモード）を切り替える。この際、スレーブ制御回路４００は、画像処理回路８００からの制御信号に基づいて、各々の制御モードにおける処理を実行するように、各スレーブアームの動作制御を行う。
また、スレーブ制御回路４００近傍には、図１に示すように本一実施形態に係る手術システムの状態等を確認するエンジニアであるＭＥ４が位置している場合もある。

ここで、前記制御モード（第一のモード、第二のモード）について詳細に説明する。
“第一のモード”とは、通常時（撮像系に異常が生じていない場合）の制御モードである。一方、“第二のモード”とは、撮像系により取得した画像が正常に表示されていない状態（異常状態）である場合の制御モードである。この第二のモードは、発生した異常状態の内容（後述する“異常検出パターン”）と、異常時に実行する処理（後述する“異常対応処理”）内容と、が対応付けされた制御モードである。

この第二のモードの対応付け設定は、例えば異常状態の内容、及び／または当該手術システムの操作者に応じて適宜為される。この設定は予め規定されていてもよいし、操作者により適宜変更可能にしてもよい。
前記異常の内容（異常検出パターン）とは、例えば後述の各異常フラグに対応する異常の内容である。
《異常検出パターン１》モニタ異常
ディスプレイ９００ａ，９００ｂに全く画像が来ていない（モニタへ信号は来ていない）
《異常検出パターン２》色異常
表示画像の色が不適切（ＲＧＢのバランスが極端に崩れている）
《異常検出パターン３》くもり異常
観察用のカメラアームであるスレーブアーム２００ｃのレンズが曇っている、明度が低下している、エッジの無い画像になっている
《異常検出パターン４》ノイズ異常
電源系のノイズが画像信号に混入している（画像信号を周波数解析すると特定周波数に大きなピークが立っている）
《異常検出パターン５》フレーム異常
フレームが欠落している（画像処理が表示更新処理に追いつかない、タイムアウトを検出している）
《異常検出パターン６》３Ｄ片目異常
３Ｄ表示において片目表示となっている（３Ｄ表示画像を取得する為の２台の内視鏡（左右の内視鏡）の画像が極端に違う）
なお、上述の各《異常検出パターン》はあくまでも一例であって、上述の例に限られないことは勿論である。

上述の異常検出パターンのうち、《異常検出パターン１》及び《異常検出パターン６》は撮像系の異常に起因する異常状態であり、《異常検出パターン２》〜《異常検出パターン５》は表示画像に係る異常状態である。
ところで、前記異常時に実行する処理（異常対応処理）内容とは、例えば次のような処理である。
《異常対応処理１》その場で停止処理
スレーブアーム２００ａ〜２００ｄのうち少なくとも１つを、その場で停止させる。
《異常対応処理２》退避させて停止処理
スレーブアーム２００ａ〜２００ｄのうち少なくとも１つを、患者１の体外に後退させてから停止させる。
《異常対応処理３》術具による把持を解除してから退避させて停止処理
スレーブアーム２００ａ、２００ｂ、２００ｄの術具（外科手術器具）２４０ａ、２４０ｂ、２４０ｄのうち少なくとも１つの把持状態を解除してから、スレーブアーム２００ａ、２００ｂ、２００ｄのうち少なくとも１つを、患者１の体外に後退させてから停止させる。
《異常対応処理４》撮像系のアームを後退させて広い視野を確保した上で術具のアームを退避させて停止させる処理
術具２４０ｃとして各種の観察器具が装着されたスレーブアーム２００ｃ（例えば内視鏡等）を後退させて、内視鏡による広い視野を確保した上で、術具（外科手術器具）２４０ａ、２４０ｂ、２４０ｄが装着されたスレーブアーム２００ａ、２００ｂ、２００ｄのうち少なくとも１つを、患者１の体外に退避させて停止させる。
《異常対応処理５》画像に異常が生じている可能性があることを操作者、助手、及びＭＥ等に提示する処理（アラーム、ワーニング）
ディスプレイ９００ａ，９００ｂに再生表示されている画像に異常が生じている可能性があることを、例えば音声・映像等によって、操作者３及び／または助手２に対して報知する。
《異常対応処理６》画像に異常が生じている可能性がある場合に、その異常内容（表示異常、色ずれ、くもり、片目など）を操作者、助手、及びＭＥ等に提示する処理
ディスプレイ９００ａ，９００ｂに再生表示されている画像に異常が生じている可能性がある場合に、その異常内容を、例えば音声・映像等によって、操作者３及び／または助手２に対して報知する。
《異常対応処理７》特別な処理を何も行わない
撮像系において異常が発生したからといって、必ずしも特別な処理が必要となるわけではない。従って、特別な処理が必要でない場合には、特別な処理を何も行わない（実質的に、通常時（撮像系に異常が生じていない場合）の処理モードである“第一のモード”に設定されている状態と同じ）。

なお、上述の各《異常対応処理》はあくまでも一例であって、上述の例に限られないことは勿論である。
ここで、“第二のモード”においては、上述の《異常検出パターン》と《異常対応処理》とが対応付けられて設定されており、《異常検出パターン》と《異常対応処理》との組み合わせは予め規定されてもよいし、ユーザが任意に設定できるようにしてもよい。

さらに、“第二のモード”においては、例えば次のような設定を行ってもよい。
［視野異常フラグに優先順位をつける設定］
同時に複数の視野異常フラグがＯＮに設定された場合の為に、各異常フラグ間で優先順位をつける。そして、同時に複数の視野異常フラグがＯＮに設定された場合には、優先順位がより上位の視野異常フラグに対応する異常対応処理を実行する。
［異常フラグがＯＮされた回数に基づいて、異常対応処理を変更していく設定］
例えば、或る視野異常フラグが一度目のＯＮ時には《異常対応処理５》を実行し、二度目のＯＮ時には《異常対応処理６》を実行する処理を行う。
［異常検出パターン毎に重み付けを行う設定］
異常検出パターン毎に重み付けを行い、発生した異常に対応する重みの和が所定値に達すると、《異常対応処理》を変更する。

以上、“第二のモード”の設定について説明したが、この設定は、予め定めた設定としてもよいし、ユーザが任意に設定できるようにしてもよい。また、当該手術システムの操作者の手術経験、技術レベル、手術対象部位等によって、適宜、設定変更可能に構成してもよい。

ところで、マスターアーム５００ａ、５００ｂは複数のリンク機構で構成されている。リンク機構を構成する各リンクには例えばインクリメンタルエンコーダ等の位置検出器が設けられている。この位置検出器によって各リンクの動作を検知することで、マスターアーム５００ａ、５００ｂの操作量が入力処理回路７００において検出される。

なお、図１の例において、マスターアーム５００ａが操作者３の右手によって操作されるアームであり、マスターアーム５００ｂが操作者３の左手によって操作されるアームである。このように、図１は、２本のマスターアーム５００ａ、５００ｂを用いて４本のスレーブアームを操作する場合の例を示している。この場合、マスターアームの操作対象のスレーブアームを適宜切り替える必要が生じる。このような切り替えは、例えば操作者３の操作部６００の操作によって行われる。勿論、マスターアームの本数とスレーブアームの本数とを同数とすることで操作対象を１対１の対応とすれば、このような切り替えは不要である。

操作部６００は、マスターアーム５００ａ、５００ｂの操作対象のスレーブアームを切り替えるための切替ボタン（以下、切替ボタンと言う）や、システムを緊急停止させたりするためのフットスイッチ等の各種の操作部材を有している。操作者３によって操作部６００を構成する何れかの操作部材が操作された場合には、対応する操作部材の操作に応じた操作信号が操作部６００から入力処理回路７００に入力される。

入力処理回路７００は、マスターアーム５００ａ、５００ｂからの操作信号及び操作部６００からの操作信号を解析し、操作信号の解析結果に従って本手術システムを制御するための制御信号を生成してスレーブ制御回路４００に入力する。
画像処理回路８００は、スレーブ制御回路４００及び入力処理回路７００と協働して当該手術システム全体を統括的に制御する。後述する図３乃至図５に示すフローチャートにおける処理も、主として画像処理回路８００による制御で行われる。

また、画像処理回路８００は、スレーブ制御回路４００から入力された画像信号を表示させるための各種の画像処理を施して、操作者用ディスプレイ９００ａ、助手用ディスプレイ９００ｂにおける表示用の画像データを生成する。操作者用ディスプレイ９００ａ及び助手用ディスプレイ９００ｂは、例えば液晶ディスプレイで構成され、観察器具を介して取得された画像信号に従って画像処理回路８００において生成された画像データに基づく画像を表示する。

上述した図１の構成の手術システムにおいては、まず滅菌処理済みの術具２４０ａ〜２４０ｄを装着する。本実施形態における滅菌処理としてはオートクレーブ滅菌やＥＯＧ滅菌等の各種の方式を用いることができる。
操作者３は、スレーブアーム２００ｃの先端に装着された観察器具を介して取り込まれた画像信号に基づいて操作者用ディスプレイ９００ａに表示された画像を見ながら、マスターアーム５００ａ、５００ｂを操作する。操作者３によるマスターアーム５００ａ、５００ｂの操作を受けて、マスターアーム５００ａ、５００ｂの各リンクに取り付けられた位置検出器からの検出信号が入力処理回路７００に入力される。また、操作部６００の切替ボタンが操作されることにより、操作部６００からの操作信号が入力処理回路７００に入力される。

入力処理回路７００は、操作部６００の切替ボタンからの操作信号の入力回数をカウントしており、この操作信号の入力回数に従って、マスターアーム５００ａ、５００ｂの操作対象のスレーブアームの切り替えを行う。例えば、初期状態では、マスターアーム５００ａの操作対象をスレーブアーム２００ａとし、マスターアーム５００ｂの操作対象をスレーブアーム２００ｂとしておく。

この初期状態において、切替ボタンが１回押された場合に、入力処理回路７００は、マスターアーム５００ａの操作対象をスレーブアーム２００ｃに切り替えたり、マスターアーム５００ｂの操作対象をスレーブアーム２００ｄに切り替える。以下、切替ボタンが１回押される毎に、入力処理回路７００は、マスターアーム５００ａの操作対象をスレーブアーム２００ａとスレーブアーム２００ｃとの間で切り替えたり、マスターアーム５００ｂの操作対象をスレーブアーム２００ｂとスレーブアーム２００ｄとの間で切り替える。

さらに、入力処理回路７００は、マスターアーム５００ａ、５００ｂの何れかの位置検出器から検出信号が入力された場合に、検出信号の値からマスターアームの操作量を判別する。そして、入力処理回路７００は、操作者３によって操作されたマスターアームの操作量を示す情報と、操作されたマスターアームの操作対象のスレーブアームを判別するための情報とを含む制御信号を生成し、生成した制御信号をスレーブ制御回路４００に入力する。

スレーブ制御回路４００は、入力処理回路７００からの制御信号に従って、操作者３によるマスターアームの操作に応じた動きをスレーブマニピュレータにさせるために必要な駆動量を演算する。そして、スレーブ制御回路４００は、マスターアームの操作対象のスレーブアームの駆動量が演算した駆動量に達するように、操作対象のスレーブアームに入力する駆動信号の大きさや極性を制御する。

また、スレーブ制御回路４００は、操作者３によってフットスイッチ踏まれて入力処理回路７００からシステムの緊急停止をさせる旨の制御信号が入力されたときには、スレーブアーム２００ａ〜２００ｄを停止させる。
図２は、本一実施形態に係る手術システムの第２の構成例を示す図である。図２に示す例では、ハンディタイプの手術システムを想定している。ここで、ハンディタイプの手術システムとは、外科手術器具が装着されたアームを操作者３が直接操作するシステムのことを言うものとする。

図２において、図１と同一又は対応する構成については図１と同一の参照符号を付すことで説明を省略する。
ここで、図２に示すスレーブ制御回路４００は、カメラアームとしてのアーム２００ｃの動作をマスタースレーブ方式で制御するために設けられている。アーム２００ｃについてもハンディタイプのアームとするのであれば、スレーブ制御回路４００は不要である。

ハンディアーム２００ｆは、スレーブアーム２００ａ〜２００ｄと同様、手術台１００の近傍に設置されている。ハンディアーム２００ｆも、スレーブアーム２００ａ〜２００ｄと同様、先端側に接続される術具を駆動するための複数の動力部を有している。

ハンディアーム２００ｆの動力部は、ハンディアーム２００ｆに設けられている図示しない操作部からの駆動信号に従って動力を発生する。また、図２に示すように、ハンディアーム２００ｆの先端にも図１で示したのと同様のアダプタ２２０ｆが接続され、さらに、アダプタ２２０ｆの先端には術具２４０ｆが接続される。

ハンディアーム２００ｆ、アダプタ２２０ｆ、術具２４０ｆは、それぞれ、別のハンディアーム２００ｇ、アダプタ２２０ｇ、術具２４０ｇと交換可能になされている。このような術具の交換作業は、例えば助手２によって行われる。
図２で示した構成の手術システムにおいては、操作者３がハンディアーム２００ｆの図示しない操作部を操作することにより、ハンディアーム２００ｆや術具２４０ｆが駆動される。その他の動作については図１で説明した動作が適用される。

図３は、本一実施形態に係る手術システムにおいて、撮像系により取得した画像が正常に表示されていない状態（異常状態）である場合の一例のフローチャートを示す図である。
まず、当該手術システムが起動処理されると、画像処理回路８００は所定の各種パラメータやフラグを読み込み（ステップＳ１）、動作を開始する（ステップＳ２）。ここで、画像処理回路８００は、ステップＳ１において読み込んだフラグのうち“視野異常フラグ”の状態を、ユーザに提示する（ステップＳ３）。この提示は、例えばディスプレイ９００ａ，９００ｂを利用して行われる。

“視野異常フラグ”は、詳細は後述するが主として撮像系における異常状態の発生に係るフラグであり、本例では、“モニタ異常フラグ”、“色異常フラグ”、“くもり異常フラグ”、“ノイズ異常フラグ”、“フレーム異常フラグ”、及び“３Ｄ片目異常フラグ”を設けている。

続いて、画像処理回路８００は、ディスプレイ９００ａ，９００ｂに表示されている画像データを、ディスプレイ９００ａ，９００ｂから受信し、該画像データに基づいて、視野が正常であるか否か（撮像系により取得した画像が正常に表示されているか否か）を判定する（ステップＳ４）。

このステップＳ４における処理（ステップＳ４からステップＳ５又はステップＳ８への分岐処理；同フローチャートにおいて破線で囲まれた領域Ｄ内の処理）は、詳細には次のような処理である。図４は、図３に示すフローチャートのステップＳ４における処理（ステップＳ４からステップＳ５又はステップＳ８への分岐処理；同フローチャートにおいて破線で囲まれた領域Ｄ内の処理）を詳細に記すフローチャートを示す図である。

図４に示すように、本例では、“視野異常フラグ”を構成する複数のフラグ（“モニタ異常フラグ”、“色異常フラグ”、“くもり異常フラグ”、“ノイズ異常フラグ”、“フレーム異常フラグ”、及び“３Ｄ片目異常フラグ”）について直列的に判定していく。

すなわち、まず、画像処理回路８００は、対象のモニタ（ディスプレイ９００ａ，９００ｂ）に映像信号が届いているか否かを判定する（ステップＳ４−１）。このステップＳ４−１をＮＯに分岐する場合（対象のモニタに映像信号が届いていない場合）、“モニタ異常フラグ”をＯＮに設定する（ステップＳ８−１）。

ステップＳ４−１をＹＥＳに分岐する場合またはステップＳ８−１における処理の後、画像処理回路８００は、対象のモニタ（ディスプレイ９００ａ，９００ｂ）にて再生表示されている画像の色バランスが正常範囲内に収まっているかを判定する（ステップＳ４−２）。このステップＳ４−２をＮＯに分岐する場合（再生表示されている画像の色バランスが正常範囲内に収まっていない場合）、“色異常フラグ”をＯＮに設定する（ステップＳ８−２）。

ステップＳ４−２をＹＥＳに分岐する場合またはステップＳ８−２における処理の後、画像処理回路８００は、対象のモニタ（ディスプレイ９００ａ，９００ｂ）にて再生表示されている映像がくもっていないか否か判定する（ステップＳ４−３）。このステップＳ４−３をＮＯに分岐する場合（再生表示されている映像がくもっている場合）、“くもり異常フラグ”をＯＮに設定する（ステップＳ８−３）。

ステップＳ４−３をＹＥＳに分岐する場合またはステップＳ８−３における処理の後、画像処理回路８００は、対象のモニタ（ディスプレイ９００ａ，９００ｂ）にて再生表示されている画像のノイズが正常範囲内のノイズであるか否か判定する（ステップＳ４−４）。このステップＳ４−４をＮＯに分岐する場合（再生表示されている画像のノイズが正常範囲内のノイズでない場合）、“ノイズ異常フラグ”をＯＮに設定する（ステップＳ８−４）。

ステップＳ４−４をＹＥＳに分岐する場合またはステップＳ８−４における処理の後、画像処理回路８００は、対象のモニタ（ディスプレイ９００ａ，９００ｂ）にて再生表示されている映像にフレーム落ちが無いか否かを判定する（ステップＳ４−５）。このステップＳ４−５をＮＯに分岐する場合（再生表示されている映像にフレーム落ちが有る場合）、“フレーム異常フラグ”をＯＮに設定する（ステップＳ８−５）。

ステップＳ４−５をＹＥＳに分岐する場合またはステップＳ８−５における処理の後、画像処理回路８００は、対象のモニタ（ディスプレイ９００ａ，９００ｂ）にて再生表示されている映像が“３Ｄ片目異常になっていないか（正常な３Ｄ表示であるか否か）”を判定する（ステップＳ４−６）。このステップＳ４−６をＮＯに分岐する場合（再生表示されている映像が“３Ｄ片目異常になっている（正常な３Ｄ表示でない）”場合）、“３Ｄ片目異常フラグ”をＯＮに設定する（ステップＳ８−６）。

ここで、ステップＳ４−６をＮＯに分岐する場合とは、例えば、３Ｄ画像を取得する為の２台の内視鏡のうち片方の内視鏡のみが、レンズ汚れ等により正常な立体画像を取得できない状態となっている場合である。
なお、ステップＳ４−６及びステップＳ８−６は、当該手術システムの撮像系が３Ｄ表示を行う仕様に構成されていない場合には不要なステップである。

以上説明した図４のフローチャートに示す各ステップ（ステップＳ４−１〜ステップＳ４−６）における判定は、当該判定時の瞬間においての判定でもよいし、或る異常状態が一定時間（一定割合）持続した場合に異常であると判定するとしてもよい。
なお、図４に示す処理例では、各視野異常フラグについて直列的に判断していく処理としているが、並列的に判断していく処理としても勿論よい。

上述した図４に示すフローチャートの処理を終えると、一つでも視野異常フラグがＯＮに設定されている場合にはステップＳ９へ移行し、全ての視野異常フラグがＯＮに設定されなかった場合にはステップＳ５へ移行する（当該ステップＳ４をＹＥＳに分岐する）。

ステップＳ４をＹＥＳに分岐した場合（視野が正常である場合）、画像処理回路８００は、全ての“視野異常フラグ”をＯＦＦに設定し、当該手術システムを“第一のモード”に設定する（ステップＳ６）。ここで“第一のモード”とは、通常時（撮像系に異常が生じていない場合）の処理モードである。

その後、画像処理回路８００は、“当該手術システムを終了するか否か”の判断をユーザに求める表示をディスプレイ９００ａ，９００ｂを利用して行い、該表示に対するユーザの応答操作に基づいて、当該手術システムを終了するか否かを判断する（ステップＳ７）。

ユーザにより当該手術システムの終了操作が行われた場合、ステップＳ７をＹＥＳに分岐し、画像処理回路８００は、当該時点において設定されている状態の視野異常フラグを不揮発性メモリ等に書き込み（ステップＳ１２）、当該手術システムを終了させる。一方、ステップＳ７をＮＯに分岐する場合は、前記ステップＳ３へ移行する。

ところで、前記ステップＳ４−１〜ステップＳ４−６のうち少なくとも何れか一つのステップをＮＯに分岐し、少なくとも一つの“視野異常フラグ”がＯＮに設定されると（ステップＳ８−１〜ステップＳ８−６）、ステップＳ９に移行する。
このステップＳ９において、画像処理回路８００は、当該時点において視野異常フラグが“有効”であるか否かを判定する（ステップＳ９）。このステップＳ９は、後述するステップＳ１３において視野異常フラグが既に“無効化処理”されており、当該時点においても未だ無効のままである場合を考慮したステップである。

このステップＳ９をＮＯに分岐する場合（視野異常フラグが無効である場合）、前記ステップＳ６に移行する。一方ステップＳ９をＹＥＳに分岐する場合（視野異常フラグが有効である場合）、当該手術システムを“第二のモード”に設定する（ステップＳ１０）。

このステップＳ１０における処理は、詳細には次のような処理である。図５は、図３に示すフローチャートにおけるステップＳ１０の処理（第二のモードへの設定処理）のサブルーチンのフローチャートを示す図である。すなわち、まず、画像処理回路８００は、予め設定されている“第二のモードの設定”を読み込む（ステップＳ１０−１）。

そして、画像処理回路８００は、前記ステップＳ１０−１において読み込んだ第二のモードの設定に基づいて、当該時点においてＯＮに設定されている視野異常フラグ（検出されている《異常検出パターン》）に対応付けされている《異常対応処理》を実行する（ステップＳ１０−２）。その後、図３に示すフローチャートのステップＳ１１へ移行する。

そして、画像処理回路８００は、“当該手術システムを終了するか否か”の判断をユーザに求める表示をディスプレイ９００ａ，９００ｂを利用して行い、該表示に対するユーザの応答操作に基づいて、当該手術システムを終了するか否かを判断する（ステップＳ１１）。

ユーザにより当該手術システムの終了操作が行われた場合、ステップＳ１１をＹＥＳに分岐し、画像処理回路８００は、当該時点において設定されている状態の視野異常フラグを不揮発性メモリ等に書き込み（ステップＳ１２）、当該手術システムを終了させる。

他方、ステップＳ１１をＮＯに分岐する場合は（当該手術システムでの処理を続行する場合は）、当該時点においてＯＮに設定されている《視野異常フラグ》のＯＮ状態を無効化処理する（ステップＳ１３）。
具体的には、このステップＳ１３における無効化処理の為に、例えばトグルスイッチを用いて有効／無効の切替えを行うように構成しても良いし、タイマ機能を用いて一定時間だけ《視野異常フラグ》のＯＮ状態を無効化するように構成してもよい。このステップＳ１３における処理の後、前記ステップＳ３に移行する。

以上説明したように、本一実施形態によれば、撮像系を具備する手術システムであって、撮像系により取得した画像が正常に表示されていない状態（異常状態）である場合に、適切に対処する処理を実行する手術システムを提供することができる。
従来より、手術システムにおいて撮像系に異常が発生した場合には、操作者等が当該撮像系の異常を認知してから、手動でスレーブマニピュレータの動作を停止させる等の処理を行っている。従って、撮像系に異常が発生してから実際に当該異常に対処するまでに、或る程度の時間が掛かってしまう（タイムラグが生じる）。しかしながら、本一実施形態に係る手術システムによれば、撮像系における異常（例えば内視鏡の故障等）が生じた場合に、そのことについての操作者の認知とは関係なく、速やかに異常対応処理が実行される。これにより、利便性が非常に向上する。

なお、上述の例では、視野異常フラグのＯＮ／ＯＦＦ設定を行った上で、第１のモードと第二のモードとの切り替えを行っているが、異常が検出された時点で直ちにモード切り替えを行っても勿論よい。
以上、一実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１００…手術台、２００ａ〜２００ｄ…スレーブアーム、 ２００ｆ，２００ｇ…ハンディアーム、２２０ａ〜２２０ｄ…手術用動力伝達アダプタ（アダプタ）、 ２２０ｆ，２２０ｇ…アダプタ、２４０ａ〜２４０ｄ…術具、 ２４０ｅ…交換用術具、 ２４０ｆ，２４０ｇ…術具、３００…ドレープ、４００…スレーブ制御回路、５００ａ，５００ｂ…マスターアーム、６００…操作部、７００…入力処理回路、８００…画像処理回路、９００ａ…操作者用ディスプレイ、９００ｂ…助手用ディスプレイ。

Claims (8)

1. 画像情報を取得する撮像系を具備する手術システムであって、
   前記画像情報が異常状態の内容を表す複数の異常検出パターンのいずれかにあてはまるかを判定する判定部と、
   前記判定部により前記画像情報が少なくとも１つの前記異常検出パターンにあてはまると判定された場合に異常対応処理を実行する異常処理モードに切り替える制御部と、
   を具備し、
   前記制御部は、前記画像情報が複数の前記異常検出パターンにあてはまると判定された場合、前記異常処理モードにおいて、あてはまると判定された複数の前記異常検出パターンから導出された異常対応処理を実行し、前記画像情報が１つの前記異常検出パターンにあてはまると判定された場合、前記異常処理モードにおいて、あてはまると判定された１つの前記異常検出パターンに対応する異常対応処理を実行する手術システム。
2. 前記制御部は、前記画像情報が複数の前記異常検出パターンにあてはまると判定された場合の前記異常処理モードにおいて前記異常対応処理を導出する際に、複数の前記異常検出パターンのそれぞれに重み付けをし、前記重み付けの総和を算出し、前記総和から異常対応処理を導出する請求項１に記載の手術システム。
3. 前記制御部は、前記画像情報が複数の前記異常検出パターンにあてはまると判定された場合の前記異常処理モードにおいて前記異常対応処理を導出する際に、前記制御部は、複数の前記異常検出パターンのそれぞれに優先順位をつけ、前記画像情報が当てはまると判定された前記異常検出パターンの中で最も高い優先順位が付けられた前記異常検出パターンに対応する異常対応処理を導出する請求項１に記載の手術システム。
4. 術具を先端に有するスレーブアームをさらに具備し、
   前記異常対応処理は、前記スレーブアームを患者の体外へ退避させることを含む請求項１に記載の手術システム。
5. 画像情報を取得する撮像系を具備する手術システムの制御方法であって、
   前記画像情報が異常状態の内容を表す複数の異常検出パターンのいずれかにあてはまるかを判定することと、
   前記画像情報が少なくとも１つの前記異常検出パターンにあてはまると判定された場合に異常対応処理を実行する異常処理モードに切り替えることと、
   を具備し、
   前記画像情報が複数の前記異常検出パターンにあてはまると判定された場合の前記異常処理モードは、
   あてはまると判定された複数の前記異常検出パターンから異常対応処理を導出することと、
   前記導出された異常対応処理を実行することと、
   を含み、
   前記画像情報が１つの前記異常検出パターンにあてはまると判定された場合の前記異常処理モードは、
   あてはまると判定された１つの前記異常検出パターンに対応する異常対応処理を実行することを含む、
   手術システムの制御方法。
6. 前記異常対応処理を導出することは、
   複数の前記異常検出パターンのそれぞれに重み付けをすることと、
   前記重み付けの総和を算出することと、
   前記総和から異常対応処理を導出することと、
   を含む請求項５に記載の手術システムの制御方法。
7. 前記異常対応処理を導出することは、
   複数の前記異常検出パターンのそれぞれに優先順位をつけることと、
   前記画像情報が当てはまると判定された前記異常検出パターンの中で最も高い優先順位が付けられた前記異常検出パターンに対応する異常対応処理を導出することと、
   を含む請求項５に記載の手術システムの制御方法。
8. 前記手術システムは、術具を先端に有するスレーブアームを具備し、
   前記異常対応処理は、前記スレーブアームを患者の体外へ退避させることを含む請求項５に記載の手術システムの制御方法。

Images