JP6650519B2 - 医療用システム - Google Patents

Description

本発明は、医療用システムに関するものである。

従来、大腸のような管腔内に挿入された処置具と、トロッカーを介し腹腔内に挿入された処置具とを協働させて処置を行う手術方法が知られている（例えば、特許文献１参照。）。このような手術において、管腔内の処置具と腹腔内の処置具は別々の操作者によって操作される。

特開２０１５−１４６９８１号公報

しかしながら、管腔内の処置具を操作する操作者と腹腔内の処置具を操作する操作者は、互いに声掛けする等して相手の状況を把握しながらそれぞれの処置具を操作する必要がある。したがって、円滑に処置を進めることが難しいという問題がある。
本発明は、上述した事情に鑑みてなされたものであって、１人の操作者が別々の腔内に配置された２つの処置部を把握しながら該２つの処置部を協調させて円滑に操作することができる医療用システムを提供することを目的とする。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明は、第１の撮像部および第１の処置部を有する腹腔マニピュレータと、第２の撮像部および第２の処置部を有する管腔マニピュレータと、操作者によって操作されるインタフェース部と、該インタフェース部に入力された操作に従って前記複数マニピュレータおよび前記管腔マニピュレータの動作を制御する制御部と、前記第１の撮像部によって取得された第１の画像および前記第２の撮像部によって取得された第２の画像を択一的に表示する画面を有する表示部と、前記画面の表示を前記第１の画像と前記第２の画像との間で切り替える表示切替部とを備え、前記インタフェース部が、前記腹腔マニピュレータおよび前記管腔マニピュレータに対する操作指示が前記操作者によって入力される第１の操作部と、該第１の操作部の操作対象が前記腹腔マニピュレータおよび前記管腔マニピュレータの中から択一的に前記操作者によって選択される第１の操作対象選択部と、前記腹腔マニピュレータおよび前記管腔マニピュレータに対する操作指示が前記操作者によって入力される第２の操作部と、該第２の操作部の操作対象が前記腹腔マニピュレータおよび前記管腔マニピュレータの中から択一的に前記操作者によって選択される第２の操作対象選択部と、を備え、前記表示切替部が、前記第１の画像および前記第２の画像のうち、前記第１の操作対象選択部によって選択された第１の操作対象のマニピュレータに設けられている撮像部による画像を選択し、選択された画像を前記画面に表示させ、前記第１の操作対象選択部および前記第２の操作対象選択部によって選択された２つの操作対象が前記腹腔マニピュレータおよび前記管腔マニピュレータである場合に、前記第１の処置部および前記第２の処置部の種類に応じて前記画面に表示する画像を選択する医療用システムを提供する。

本発明によれば、操作者によって、腹腔マニピュレータおよび管腔マニピュレータのうち一方が操作対象選択部を用いて操作対象として選択されて操作部が操作されると、選択されたマニピュレータが操作部の操作に対応する動作を行うように制御部によって制御される。したがって、操作対象選択部を用いて操作対象を腹腔マニピュレータと管腔マニピュレータとの間で切り替えることによって、別々の腔内に配置された腹腔マニピュレータと管腔マニピュレータを１人の操作者が１つのインタフェース部を介して遠隔操作することができる。

この場合に、操作対象を撮影した画像が表示部の画面に表示されるように、画面の表示が表示切替部によって制御される。したがって、操作者が操作対象を一方の腔内のマニピュレータから他方の腔内のマニピュレータに切り替えたときに、画面上の表示も切り替え後のマニピュレータの画像に自動的に切り替わる。これにより、１人の操作者が、単一の画面に択一的に表示される第１の画像および第２の画像に基づいて別々の腔内に配置された第１の処置部および第２の処置部を把握しながら、該第１の処置部および第２の処置部を協調させて円滑に操作することができる。

上記発明においては、前記腹腔マニピュレータが、１つまたは２つの前記第１の処置部を有し、前記管腔マニピュレータが、１つまたは２つの前記第２の処置部を有し、前記インタフェース部が、第１および第２の前記操作部と、該第１および第２の操作部にそれぞれ対応する前記第１および第２の操作対象選択部とを備え、前記表示切替部は、前記第１および第２の操作対象選択部によって選択された２つの操作対象が前記腹腔マニピュレータおよび前記管腔マニピュレータである場合に、前記第１の処置部および前記第２の処置部の種類に応じて前記画面に表示する画像を選択する。
このようにすることで、２つの操作対象選択部によって腹腔マニピュレータおよび管腔マニピュレータを操作対象として選択し、２つの操作部を使用して２つの処置部を同時に操作することができる。また、この場合に、２つの処置部の種類の組み合わせに応じて、より優先度の高い方の画像が画面に表示されるように、表示を切り替えることができる。

上記発明においては、前記表示切替部によって選択されなかった画像内の前記腹腔マニピュレータまたは前記管腔マニピュレータを、前記表示切替部によって選択された画像に重畳した重畳画像を生成する重畳処理部を備え、前記表示部が、前記重畳画像を前記画面に表示させてもよい。
このようにすることで、操作者は、画面に表示される重畳画像から、一方の腔内の操作対象の処置部のみならず、他方の腔内の処置部も観察することができる。

上記発明においては、前記表示部が、前記表示切替部によって選択されなかった画像を表示するサブ画面を有していてもよい。
このようにすることで、第１の画像および第２の画像のうち、一方が画面に表示され、他方がサブ画面に表示される。したがって、操作者は、第１の体腔内の第１の処置部および第２の体腔内の第２の処置部の両方を把握することができる。

上記発明においては、前記重畳処理部が、前記表示切替部によって選択された画像内の前記腹腔マニピュレータまたは前記管腔マニピュレータを、前記表示切替部によって選択されなかった画像に重畳したサブ重畳画像を生成し、前記表示部が、前記サブ重畳画像を表示するサブ画面を有していてもよい。
このようにすることで、操作者は、画面に表示される重畳画像およびサブ画面に表示されるサブ重畳画像から、第１の処置部および第２の処置部の両方をより正確に把握することができる。

上記発明においては、前記表示切替部によって選択された画像内の前記腹腔マニピュレータまたは前記管腔マニピュレータの前記画面上での動作方向が前記第１の操作部の操作方向と対応するように前記選択された画像を回転させる回転処理部を備えていてもよい。あるいは、前記制御部は、前記表示切替部によって選択された画像内の前記腹腔マニピュレータまたは前記管腔マニピュレータの前記画面上での動作方向が前記操作部の上下左右方向と対応するように前記操作対象の動作方向を制御してもよい。
このようにすることで、操作者による操作部の操作方向に対応する方向に画面上の画像内の操作対象が動くので、操作者は、直感的に操作対象を操作することができる。

本発明によれば、１人の操作者が別々の腔内に配置された２つの処置部を把握しながら該２つの処置部を協調させて円滑に操作することができるという効果を奏する。

本発明の第１の実施形態に係る医療用システムの全体構成を示す外観図である。 図１の医療用システムの全体構成を示すブロック図である。 図１の医療用システムのインタフェース部および表示部を示す図であり、操作対象が管腔内の処置部であるときの画面表示を説明する図である。 図１の医療用システムのインタフェース部および表示部を示す図であり、操作対象が腹腔内の処置部であるときの画面表示を説明する図である。 図１の医療用システムによる表示制御方法を示すフローチャートである。 本発明の第２の実施形態に係る医療用システムのインタフェース部および表示部を示す図であり、左右の操作対象が腹腔内の２つの処置部であるときの画面表示を説明する図である。 図６の医療用システムの画面表示のもう１つの例を示す図であり、左操作対象が腹腔内の鉗子であり、右操作対象が管腔内の高周波ナイフであるときの画面表示を説明する図である。 図６の医療用システムによる表示制御方法を示すフローチャートである。 本発明の第３の実施形態に係る医療用システムの全体構成を示すブロック図である。 図９の医療用システムのインタフェース部および表示部を示す図であり、左操作対象が腹腔内の鉗子であり、右操作対象が管腔内の高周波ナイフであるときの画面表示を説明する図である。 図９の医療用システムによる表示制御方法を示すフローチャートである。 図９の医療用システムによる重畳画像の生成方法を示すフローチャートである。 本発明の第４の実施形態に係る医療用システムのインタフェース部および表示部を示す図であり、左右の操作対象が腹腔内の処置部であるときの画面表示を説明する図である。 図１３の医療用システムの画面表示のもう１つの例を示す図であり、左操作対象が腹腔内の鉗子であり、右操作対象が管腔内の高周波ナイフであるときの画面表示を説明する図である。 図１３の医療用システムの表示制御方法を示すフローチャートである。 本発明の第５の実施形態に係る医療用システムのインタフェース部および表示部を示す図である。 メイン画面上の表示画像が回転した後の図１６の画面表示を説明する図である。 図１６の医療用システムの表示制御方法を示すフローチャートである。 図１８Ａの続きを示すフローチャートである。 本発明の第６の実施形態に係る医療用システムのインタフェース部および表示部を示す図である。 メイン画面上の画像が回転した後の図１９の画面表示を説明する図である。 図２０の画面表示において、操作部の操作方向と画面上の操作対象の動作方向との関係を説明する図である。 操作対象の動作方向を調整した後の操作部の操作方向と画面上の操作対象の動作方向との関係を説明する図である。 図１９の医療用システムによる表示制御方法を示すフローチャートである。 図２３Ａの続きを示すフローチャートである。 図１９の医療用システムによる表示制御方法の変形例を示すフローチャートである。

（第１の実施形態）
以下に、本発明の参考例としての第１の実施形態に係る医療用システム１００について図１から図５を参照して説明する。
本実施形態に係る医療用システム１００は、図１および図２に示されるように、体内に挿入される２つの医療用のマニピュレータ１，２と、体外に配置され操作者が２つのマニピュレータ１，２を遠隔操作するためのコンソール装置３とを備えている。

一方のマニピュレータ（第１のマニピュレータ）は、腹腔（第１の体腔）Ａ内で使用される腹腔マニピュレータ１である。腹腔マニピュレータ１は、腹腔Ａ内に挿入される細長いアーム１１と、該アーム１１の先端に設けられ生体組織を処置するための２つの電動式の処置部（第１の処置部）１２，１３と、アーム１１の先端に設けられ処置部１２，１３を観察するための撮像部（第１の撮像部）１４とを備えている。撮像部１４によって取得された腹腔画像（第１の画像）Ｌはコンソール装置３に送信される。腹腔マニピュレータ１には処置部１２，１３を電動駆動するための駆動部（図示略）が設けられており、制御部７からの制御信号に従って駆動部が処置部１２，１３を動作させるようになっている。

他方のマニピュレータ（第２のマニピュレータ）は、消化管のような管腔（第２の体腔）Ｂ内で使用される管腔マニピュレータ２である。管腔マニピュレータ２は、管腔Ｂ内に挿入される細長いアーム２１と、該アーム２１の先端に設けられ生体組織を処置するための２つの電動式の処置部（第２の処置部）２２，２３と、アーム２１の先端に設けられ処置部２２，２３を観察するための撮像部（第２の撮像部）２４とを備えている。撮像部２４によって取得された管腔画像（第２の画像）Ｅは、コンソール装置３に送信される。管腔マニピュレータ２には処置部２２，２３を電動駆動するための駆動部（図示略）が設けられており、制御部７から受信した制御信号に従って駆動部が処置部２２，２３を動作させるようになっている。

コンソール装置３は、操作者によって操作されるインタフェース部４と、撮像部１４，２４によって取得された腹腔画像Ｌおよび管腔画像Ｅを処理する画像処理部５と、該画像処理部５によって処理された画像を表示する表示部６と、インタフェース部４への入力に従って処置部１２，１３，２２，２３の動作および表示部６の表示を制御する制御部７とを備えている。インタフェース部４および表示部６は１つの作業台に設けられ、１人の操作者が表示部６に表示される腹腔画像Ｌおよび管腔画像Ｅを観察しながらインタフェース部４を操作するようになっている。

インタフェース部４は、操作者が処置部１２，１３；２２，２３に対する操作指示を入力するための２つの操作部４１Ｌ，４１Ｒと、２つの操作部４１Ｌ，４１Ｒの操作対象を選択するための単一の操作対象選択部４２とを備えている。

２つの操作部は、操作者の左手および右手にそれぞれ対応する左操作部４１Ｌおよび右操作部４１Ｒからなり、水平方向に並んで配置されている。右操作部４１Ｒは、腹腔マニピュレータ１の一方の処置部１２および管腔マニピュレータ２の一方の処置部２２と対応付けられている。左操作部４１Ｌは、腹腔マニピュレータ１の他方の処置部１３および管腔マニピュレータ２の他方の処置部２３と対応付けられている。各操作部４１Ｌ，４１Ｒは、例えばアーム状に形成され、多方向に操作可能である。操作部４１Ｌ，４１Ｒが操作者によって操作されると、操作部４１Ｌ，４１Ｒの操作方向および操作量を示す操作信号がインタフェース部４から制御部７に送信されるようになっている。

操作対象選択部４２は、図３および図４に示されるように、左操作部４１Ｌおよび右操作部４１Ｒの操作対象を「Ｌａｐａ」および「Ｅｎｄｏ」の中から択一的に操作者が選択することができるようになっている。「Ｌａｐａ」は、腹腔マニピュレータ１に設けられた処置部１２，１３を示す。「Ｅｎｄｏ」は、管腔マニピュレータ２に設けられた処置部２３，２３を示す。図３は、「Ｅｎｄｏ」が選択された状態を表し、図４は、「Ｌａｐａ」が選択された状態を表している。したがって、操作者は、同一の腔ＡまたはＢ内に配置される２つの処置部１２，１３または２２，２３を左右の操作部４１Ｌ，４１Ｒを使用して同時に操作することができる。操作対象選択部４２は、操作者によって選択された操作対象の情報（処置部選択情報）を制御部７に送信する。

表示部６は、腹腔画像Ｌおよび管腔画像Ｅのいずれか一方を表示する単一の画面６１を有している。
制御部７は、操作対象選択部４２から受信した処置部選択情報に基づき、操作者によって選択された操作対象の２つの処置部を特定する。次に、制御部７は、特定された２つの処置部１２，１３または２２，２３を駆動させるための制御信号をインタフェース部４から受信した操作信号に従って生成し、該制御信号を操作対象側のマニピュレータ１または２に送信する。

さらに、制御部（表示切替部）７は、処置部選択情報に基づき、マニピュレータ１，２から受信した腹腔画像Ｌおよび管腔画像Ｅのうち、操作対象と同一のマニピュレータ１または２に設けられている撮像部１４または２４の画像を表示画像として選択する。制御部７は、表示画像を画像処理部５を介して表示部６に送信し、画面６１に表示させる。これにより、腹腔画像Ｌおよび管腔画像Ｅのうち、操作対象が撮影された画像が画面６１に表示されるようになっている。
画像処理部５は、制御部７から受信した表示画像に適宜処理を施した後に、表示画像を表示部６に送信する。

次に、このように構成された医療用システム１００の作用について、管腔Ｂの壁Ｃの患部Ｄを腹腔Ａ側および管腔Ｂ側から処置する場合を例に挙げて説明する。
本実施形態に係る医療用システム１００によって患部Ｄを処置するためには、腹腔Ａ内に挿入された腹腔マニピュレータ１と管腔Ｂ内に挿入された管腔マニピュレータ２を、壁Ｃを介して略対向する位置に配置する。これにより、腹腔Ａ側から患部Ｄを観察した腹腔画像Ｌが撮像部１４によって取得され、管腔Ｂ側から患部Ｄを観察した管腔画像Ｅが撮像部２４によって取得される。腹腔画像Ｌおよび管腔画像Ｅはそれぞれ、マニピュレータ１，２からコンソール装置３内の制御部７に送信される。制御部７は、腹腔画像Ｌおよび管腔画像Ｅのうち所定の一方を表示画像として選択して表示部６に表示させるように、初期設定されている。

操作者は、管腔Ｂ側の処置部２２，２３を操作したいときには、図３に示されるように、操作対象選択部４２を操作して「Ｅｎｄｏ」を選択する。「Ｅｎｄｏ」を示す処置部選択情報は、インタフェース部４から制御部７に送信される（ステップＳＡ１）。制御部７は、処置部選択情報に基づいて操作対象を管腔マニピュレータ２の処置部２２，２３に設定するとともに、画面６１に管腔画像Ｅが表示されるように、画面６１の表示を制御する。

具体的には、制御部７は、図５に示されるように、現在の表示画像が管腔画像Ｅであるか否かを判断する（ステップＳＡ２）。現在の表示画像が管腔画像Ｅであり、画面６１に管腔画像Ｅが表示されている場合には（ステップＳＡ２のＹＥＳ）、管腔画像Ｅの選択を維持する。現在の表示画像が腹腔画像Ｌである場合には、制御部７は、表示画像を腹腔画像Ｌから管腔画像Ｅに切り替え（ステップＳＡ３の管腔側、ＳＡ５）、画面６１に管腔画像Ｅを表示させる。
これにより、操作者が画面６１上の管腔画像Ｅ内の患部Ｄおよび処置部２２，２３を観察しながら操作部４１Ｌ，４１Ｒによる処置部２２，２３の遠隔操作が可能な状態となる。

一方、操作者は、腹腔Ａ側の処置部１２，１３を操作したいときには、図４に示されるように、操作対象選択部４２を操作して「Ｌａｐａ」を選択する。「Ｌａｐａ」を示す処置部選択情報は、インタフェース部４から制御部７に送信される。制御部７は、処置部選択情報に基づいて操作対象を腹腔マニピュレータ１の処置部１２，１３に設定するとともに、画面６１に腹腔画像Ｌが表示されるように、画面６１の表示を制御する。

具体的には、制御部７は、現在の表示画像が管腔画像Ｅである場合には（ステップＳＡ２のＮＯ）、表示画像を管腔画像Ｅから腹腔画像Ｌに切り替え（ステップＳＡ３の腹腔側、ＳＡ４）、画面６１に腹腔画像Ｌを表示させる。
これにより、操作者が画面６１上の腹腔画像Ｌ内の患部Ｄおよび処置部１２，１３を観察しながら操作部４１Ｌ，４１Ｒによる処置部１２，１３の遠隔操作が可能な状態となる。

このように、本実施形態によれば、操作部４１Ｌ，４１Ｒの操作対象を腹腔Ａ内の処置部１２，１３と管腔Ｂ内の処置部２２，２３との間で切り替えることができる。これにより、壁Ｃによって隔てられた腔Ａ，Ｂ内に配置された２組の処置部１２，１３；２２，２３を、１つのインタフェース部４を介して１人の操作者が操作することができるという利点がある。

さらに、腹腔画像Ｌおよび管腔画像Ｅのうち、操作対象の処置部が撮影された画像が自動的に画面６１に表示される。そして、操作者が操作対象を切り替えたときには、画面６１の表示も操作対象側の画像に自動的に切り替わる。これにより、１人の操作者が、腹腔Ａ内の処置部１２，１３と管腔Ｂ内の処置部２２，２３の両方を把握しながら、２組の処置部１２，１３；２２，２３を協調させて円滑に操作することができるという利点がある。

本実施形態においては、マニピュレータ１，２に２つずつ処置部１２，１３；２２，２３が設けられ、インタフェース部４に２つの操作部４１Ｌ，４１Ｒが設けられていることとしたが、各マニピュレータ１，２の処置部の数および操作部の数はそれぞれ、１つであってもよく、３以上であってもよい。また、腹腔マニピュレータ１の処置部の数と管腔マニピュレータ２の処置部の数は、互いに異なっていてもよい。
なお、詳細には記述しないが、選択されていない処置部は、切り替え直前の状態に保持される。あるいは、選択されていない処置部は、予め設定された動作に従って動作してもよい。

（第２の実施形態）
次に、本発明の第２の実施形態に係る医療用システムについて図６から図８を参照して説明する。
本実施形態においては、第１の実施形態と異なる点について主に説明し、第１の実施形態と共通する構成については同一の符号を付して説明を省略する。

第１の実施形態においては、左右の操作部４１Ｌ，４１Ｒの操作対象が同一のマニピュレータ１または２に設けられた２つの処置部１２，１３または２２，２３であることとした。これに対し、本実施形態に係る医療用システムは、左操作部４１Ｌの操作対象および右操作部４１Ｒの操作対象として互いに異なるマニピュレータ１，２の処置部を選択可能であり、腹腔Ａ側の処置部１２または１３と管腔Ｂ側の処置部２２または２３とを同時に操作可能である点において、第１の実施形態と異なっている。

本実施形態において、腹腔マニピュレータ１は、処置部として高周波ナイフ１２および鉗子１３を有している。管腔マニピュレータ２は、処置部として高周波ナイフ２２および鉗子２３を有している。
インタフェース部４は、図６および図７に示されるように、左操作部４１Ｌおよび右操作部４１Ｒにそれぞれ対応する２つの操作対象選択部４２Ｌ，４２Ｒを備えている。

左操作対象選択部４２Ｌは、左操作部４１Ｌの操作対象（左操作対象）を、「Ｌａｐａ」および「Ｅｎｄｏ」に加えて、「Ｋｎｉｆｅ」および「Ｇｒａｓｐ」の中から択一的に操作者が選択することができるようになっている。同様に、右操作対象選択部４２Ｒは、右操作部４１Ｒの操作対象（右操作対象）を、「Ｌａｐａ」および「Ｅｎｄｏ」に加えて、「Ｋｎｉｆｅ」および「Ｇｒａｓｐ」の中から択一的に操作者が選択することができるようになっている。「Ｋｎｉｆｅ」は、マニピュレータ１，２に設けられた高周波ナイフ１２，２２を示す。「Ｇｒａｓｐ」は、マニピュレータ１，２に設けられた鉗子１３，２３を示す。したがって、操作者は、左操作対象を４つの処置部１２，１３，２２，２３の中から１つ選択し、右操作対象を４つの処置部１２，１３，２２，２３の中から１つ選択する。

左操作対象選択部４２Ｌは、操作者によって選択された左操作対象の情報（左処置部選択情報）を制御部７に送信する。右操作対象選択部４２Ｒは、操作者によって選択された右操作対象の情報（右処置部選択情報）を制御部７に送信する。

本実施形態において、制御部７は、図８に示される制御方法に従って画面６１の表示を制御する。
制御部７は、右処置部選択情報および左処置部選択情報を受信すると（ステップＳＢ１）、右処置部選択情報および左処置部選択情報に基づいて下記のステップＳＢ２〜ＳＢ７の判断を行い、画面６１に表示する画像を決定する。

具体的には、左右の操作対象に変更がない場合（ステップＳＢ２のＮＯ）、制御部７は、現在の表示画像を維持する（ステップＳＢ１１）。一方、少なくとも一方の操作対象に変更があった場合（ステップＳＢ２のＹＥＳ）、制御部７は、続いて、左右の操作対象の組み合わせを判断する（ステップＳＢ３〜ＳＢ７）。
左右の操作対象が「Ｋｎｉｆｅ」である場合（ステップＳＢ３のＹＥＳ）、制御部７は、画面６１に警告表示を表示する（ステップＳＢ８）。腹腔Ａおよび管腔Ｂで同時に高周波ナイフ１２，２２を使用することは望ましくない。したがって、警告表示によって、左右の操作対象の再選択が操作者に促される。

左右の操作対象のうち少なくとも一方が「Ｇｒａｓｐ」である場合（ステップＳＢ３のＮＯ）、制御部７は、続いて、両方の操作対象が「Ｌａｐａ」および「Ｅｎｄｏ」のうち同一側であるか否かを判断する（ステップＳＢ４，ＳＢ５）。左右の操作対象が「Ｌａｐａ」である場合（ステップＳＢ４のＹＥＳ）、制御部７は、図６に示されるように、表示画像として腹腔画像Ｌを選択し、腹腔画像Ｌを画面６１に表示させる（ステップＳＢ９）。一方、左右の操作対象が「Ｅｎｄｏ」である場合（ステップＳＢ５のＹＥＳ）、制御部７は、表示画像として管腔画像Ｅを選択し、管腔画像Ｅを画面６１に表示させる（ステップＳＢ１０）。

左右の操作対象のうち、一方が「Ｌａｐａ」であり、他方が「Ｅｎｄｏ」である場合（ステップＳＢ４のＮＯかつステップＳＢ５のＮＯ）、制御部７は、「Ｋｎｉｆｅ」が選択されているときには（ステップＳＢ６のＹＥＳ）、図７に示されるように、「Ｋｎｉｆｅ」が選択されている側の画像を優先的に表示画像として選択する（ステップＳＢ７の腹腔または管腔）。一方、左右の操作対象が「Ｇｒａｓｐ」であるときには（ステップＳＢ６のＮＯ）、制御部７は、現在の表示画像を維持する（ステップＳＢ１１）。

操作対象が「Ｋｎｉｆｅ」であるときは、操作者が高周波ナイフ１２，２２を使用して患部Ｄを切除するときである。このときに操作者が必要とする画像は、選択された高周波ナイフ１２または２２が撮影された画像である。本実施形態によれば、左右の操作対象が、別々の腔Ａ，Ｂ内に位置する２つ処置部である場合に、腹腔マニピュレータ１の高周波ナイフ１２が選択されているときには腹腔画像Ｌが優先的に画面６１に表示され、管腔マニピュレータ２の高周波ナイフ２２が選択されているときには管腔画像Ｅが優先的に画面６１に表示される。このように、左右の操作対象の種類の組み合わせに応じて操作者が必要としている画像を判断することによって、１人の操作者による、別々の腔Ａ，Ｂ内の２組の処置部１２，１３；２２，２３の操作をさらに効果的に支援することができ、１人の操作者によって２組の処置部１２，１３；２２，２３をさらに円滑に操作することができる。

（第３の実施形態）
次に、本発明の第３の実施形態に係る医療用システム３００について図９から図１２を参照して説明する。
本実施形態においては、第１および第２の実施形態と異なる点について主に説明し、第１および第２の実施形態と共通する構成については同一の符号を付して説明を省略する。
本実施形態に係る医療用システム３００は、左右の操作対象が別々の腔Ａ，Ｂ内に位置する処置部であるときに、図１０に示されるように、画面６１に表示される画像Ｅに、他側の腔Ａ内の処置部１３の像を重畳表示する点において、第２の実施形態と異なっている。

医療用システム３００は、図９に示されるように、２次元画像を取得する撮像部１４，２４に代えて、３次元（３Ｄ）画像を取得する３Ｄ撮像部１５，２５を備えている。さらに、医療用システム３００は、腹腔マニピュレータ１の３Ｄ撮像部１５に設けられたマーカ１６および重力センサ１７と、管腔マニピュレータ２の３Ｄ撮像部２５に設けられたマーカ２６および重力センサ２７と、体外に配置され各マーカ１６，２６からの信号に基づいて体内における各３Ｄ撮像部１５，２５の位置を検出する位置検出部８とをさらに備えている。

マーカ１６，２６は、体内から体外へ伝播する信号（例えば、磁場）を発生する。
位置検出部８は、各マーカ１６，２６が発生する信号を受信し、受信された信号に基づいて各３Ｄ撮像部１５，２５の位置を検出し、検出された３Ｄ撮像部１５，２５の位置を制御部７に送信する。
重力センサ１７，２７は、３Ｄ撮像部１５，２５の互いに直交する３軸方向の姿勢をそれぞれ検出し、検出された３Ｄ撮像部１５，２５の姿勢を制御部７に送信する。

本実施形態において、制御部７は、図１１に示される制御方法に従って画面６１の表示を制御する。
ステップＳＣ１〜ＳＣ８，ＳＣ１１は、第２の実施形態のステップＳＢ１〜ＳＢ８、ＳＢ１１とそれぞれ同一である。
制御部７は、表示画像として腹腔画像Ｌを選択した場合、管腔画像Ｅ内の処置部２２，２３を腹腔画像Ｌに重畳した重畳画像を画像処理部（重畳処理部）５に生成させ、該重畳画像を画面６１に表示させる（ステップＳＣ９）。一方、制御部７は、表示画像として管腔画像Ｅを選択した場合、腹腔画像Ｌ内の処置部１２，１３を管腔画像Ｅに重畳した重畳画像を画像処理部５に生成させ、該重畳画像を画面６１に表示させる（ステップＳＣ１０）。

図１２は、ステップＳＣ９，ＳＣ１０における重畳画像の生成方法を示す。
図１２に示されるように、制御部７は、各撮像部１５，２５の位置を位置検出部８に検出させ、各撮像部１５，２５の位置座標を位置検出部８から取得する（ステップＳＤ１）。また、制御部７は、各重力センサ１７，２７に各撮像部１５，２５の姿勢を検出させ、各撮像部１５，２５の姿勢の情報を重力センサ１７，２７から取得する（ステップＳＤ２）。また、制御部７は、各撮像部１５，２５から受信した３Ｄ画像信号情報から各処置部１２，１３，２２，２３の３Ｄ形状を算出する（ステップＳＤ３）。制御部７は、ステップＳＤ１〜ＳＤ３において得られた各撮像部１５，２５の位置座標および姿勢の情報と各処置部１２，１３，２２，２３の３Ｄ形状とを画像処理部５に送信する。

次に、画像処理部５は、制御部７から受信した情報およびデータに基づいて、全ての処置部１２，１３，２２，２３のボリュームデータを構築する（ステップＳＤ４）。ボリュームデータの構築には、各撮像部１５，２５の画角と、撮像部１５と処置部１２，１３との相対位置の情報と、撮像部２５と処置部２２，２３との相対位置の情報とがさらに用いられる。これら画角および相対位置の情報は、予め画像処理部５に保持されている。

次に、画像処理部５は、表示画像の座標面を、表示画像に対応する撮像部１５または２５の姿勢および画角に基づいて算出する（ステップＳＤ５）。次に、画像処理部５は、ボリュームデータを用いて、表示画像ではない方の画像に対応する（他側の）処置部のデータを座標面に投影する（ステップＳＤ６）。これにより、重畳画像が生成される。
なお、各処置部１２，１３，２２，２３の３Ｄ形状は、制御部７がマニピュレータ１，２の制御情報と各処置部の設計データとに基づく演算によって算出してもよい。

このように、本実施形態によれば、操作者が、腹腔Ａ内の処置部１２，１３と管腔Ｂ内の処置部２２，２３を同時に操作する場合に、表示画像が管腔画像Ｅであるときには腹腔Ａ内の処置部１２，１３が管腔画像Ｅに重畳され、表示画像が腹腔画像Ｌであるときには管腔Ｂ内の処置部２２，２３が腹腔画像Ｌに重畳される。したがって、操作者は、壁Ｃの向こう側に位置する処置部も表示画像から把握することができる。これにより、１人の操作者による、別々の腔Ａ，Ｂ内の２組の処置部１２，１３；２２，２３の操作をさらに効果的に支援することができ、１人の操作者によって２組の処置部１２，１３；２２，２３をさらに円滑に操作することができる。

（第４の実施形態）
次に、本発明の第４の実施形態に係る医療用システムについて図１３から図１５を参照して説明する。
本実施形態においては、第１および第２の実施形態と異なる点について主に説明し、第１および第２の実施形態と共通する構成については同一の符号を付して説明を省略する。
本実施形態に係る医療用システムは、図１３および図１４に示されるように、表示部６が、画面（以下、メイン画面という。）６１の隣に設けられ、表示画像ではない方の画像を表示するサブ画面６２を有する点において、第２の実施形態と異なっている。サブ画面６２は、メイン画面６１よりも小さい寸法を有している。

本実施形態において、制御部７は、図１５に示される制御方法に従ってメイン画面６１およびサブ画面６２の表示を制御する。
ステップＳＥ１〜ＳＥ８，ＳＥ１１は、第２の実施形態のステップＳＢ１〜ＳＢ８、ＳＢ１１とそれぞれ同一である。
制御部７は、表示画像として腹腔画像Ｌを選択した場合、図１３に示されるように、腹腔画像Ｌをメイン画面６１に表示させ、管腔画像Ｅをサブ画面６２に表示させる（ステップＳＥ９）。一方、制御部７は、表示画像として管腔画像Ｅを選択した場合、図１４に示されるように、管腔画像Ｅをメイン画面６１に表示させ、腹腔画像Ｌをサブ画面６２に表示させる（ステップＳＥ１０）。

このように、本実施形態によれば、表示画像ＥまたはＬではない方の画像ＬまたはＥがサブ画面６２に表示されるので、操作者は、腹腔Ａ内および管腔Ｂ内の両方の処置部１２，１３，２３，２２をより正確に把握することができる。これにより、１人の操作者による、別々の腔Ａ，Ｂ内の２組の処置部１２，１３；２２，２３の操作をさらに効果的に支援することができ、１人の操作者によって２組の処置部１２，１３；２２，２３をさらに円滑に操作することができる。

本実施形態においては、第３の実施形態において説明した重畳画像をメイン画面６１に表示してもよい。さらに、サブ画面６２にも重畳画像（サブ重畳画像）を表示してもよい。この場合、画像処理部５は、ステップＳＤ５，ＳＤ６と同様の方法によって、表示画像ではない方の画像に、表示画像と同一側の腔内の処置部を重畳した重畳画像を生成する。
このようにすることで、操作者は、メイン画面６１およびサブ画面６２に表示される重畳画像に基づいて、腹腔Ａ内および管腔Ｂ内の両方の処置部１２，１３，２３，２２をさらに正確に把握することができる。

（第５の実施形態）
次に、本発明の第５の実施形態に係る医療用システムについて図１６から図１８Ｂを参照して説明する。
本実施形態においては、第１および第２の実施形態と異なる点について主に説明し、第１および第２の実施形態と共通する構成については同一の符号を付して説明を省略する。

本実施形態に係る医療用システムは、メイン画面６１上の表示画像内における処置部の動作方向が、操作部４１Ｌ，４１Ｒの操作方向と対応するように、表示画像を回転させる点において、第２の実施形態と異なっている。図１６および図１７には、表示部６に第４の実施形態において説明したサブ画面６２が設けられている例が示されているが、第２の実施形態のようにサブ画面６２が表示部６に設けられていなくてもよい。

メイン画面６１および操作部４１Ｌ，４１Ｒは、図１６および図１７に示されるように、上下左右方向をそれぞれ有している。メイン画面６１の上下左右方向と操作部４１Ｌ，４１Ｒの上下左右方向は、互いに対応している。
本実施形態において、制御部７は、図１８Ａおよび図１８Ｂに示される制御方法に従ってメイン画面６１上の表示画像の回転を制御する。
ステップＳＦ１〜ＳＦ１１は、第４の実施形態のステップＳＥ１〜ＳＥ１１とそれぞれ同一である。

図１６に示されるように、ステップＳＦ１０において管腔画像Ｅをメイン画面６１に表示させた後、操作者が操作部４１Ｌ，４１Ｒを操作することによって管腔画像Ｅ内の処置部２２，２３が動くと、制御部７は、管腔画像Ｅ内の処置部２２，２３の動作方向を検出する（ステップＳＦ１４）。そして、制御部７は、メイン画面６１上における（メイン画面６１の座標系における）処置部２２，２３の動作方向が、操作部４１Ｌ，４１Ｒの操作方向と対応するように、管腔画像Ｅの回転角度を算出する。次に、制御部７は、算出された回転角度だけ管腔画像Ｅを回転させるように画像処理部（回転処理部）５を制御する（ステップＳＦ１５）。これにより、図１７に示されるように、操作部４１Ｌ，４１Ｒの操作方向とメイン画面６１上における処置部２２，２３の動作方向とが一致するように、メイン画面６１上の管腔画像Ｅが回転する。

同様に、ステップＳＦ９において腹腔画像Ｌをメイン画面６１に表示させた後、操作者が操作部４１Ｌ，４１Ｒを操作することによって腹腔画像Ｌの処置部１２，１３が動くと、制御部７は、腹腔画像Ｌ内の処置部１２，１３の動作方向を検出する（ステップＳＦ１２）。そして、制御部７は、メイン画面６１上における（メイン画面６１の座標系における）処置部１２，１３の動作方向が、操作部４１Ｌ，４１Ｒの操作方向と対応するように、腹腔画像Ｌの回転角度を算出する。次に、制御部７は、算出された回転角度だけ腹腔画像Ｌを回転させるように画像処理部５を制御する（ステップＳＦ１３）。これにより、操作部４１Ｌ，４１Ｒの操作方向とメイン画面６１上における処置部１２，１３の動作方向とが一致するように、メイン画面６１上の腹腔画像Ｌが回転する。

体内におけるマニピュレータ１，２の姿勢によっては処置部１２，１３，２２，２３の上下左右方向と操作部４１Ｌ，４１Ｒの上下左右方向との間にずれが生じる。処置部１２，１３，２２，２３の上下左右方向と操作部４１Ｌ，４１Ｒの上下左右方向とがずれた状態で操作部４１Ｌ，４１Ｒを操作すると、操作部４１Ｌ，４１Ｒの操作方向とは異なる方向にメイン画面６１内で処置部１２，１３，２２，２３が動く。そこで、図１７に示されるように、操作部４１Ｌ，４１Ｒの操作方向とメイン画面６１上における処置部１２，１３または２２，２３の動作方向とが一致するように、表示画像を回転させることによって、操作者は、操作部４１Ｌ，４１Ｒを用いてより直感的に処置部１２，１３，２２，２３を操作することができる。

（第６の実施形態）
次に、本発明の第６の実施形態に係る医療用システムについて図１９から図２４を参照して説明する。
本実施形態においては、第２の実施形態と異なる点について主に説明し、第１および第２の実施形態と共通する構成については同一の符号を付して説明を省略する。

本実施形態に係る医療用システムは、図１９から図２２に示されるように、インタフェース部４が、画面６１に表示される表示画像を回転させるための回転操作部４３を備える点において、第２の実施形態と異なっている。図１９から図２２には、サブ画面６２を有しない表示部６が示されているが、第４の実施形態のようにサブ画面６２が表示部６に設けられていてもよい。
回転操作部４３は、操作者によって任意の角度だけ回転操作されるように構成されている。回転操作部４３は、操作者による回転操作の回転角度を示す回転操作情報を制御部７に送信する。

本実施形態において、制御部７は、図２３Ａおよび図２３Ｂに示される制御方法に従って画面６１の表示および処置部１２，１３，２２，２３の動作を制御する。
ステップＳＧ１〜ＳＧ１１は、第２の実施形態のＳＢ１〜ＳＢ１１とそれぞれ同一である。画面６１に表示画像Ｅが表示された後、図１９に示されるように操作者が回転操作部４３を操作すると、回転操作情報が制御部７に送信される（ステップＳＧ１２のＹＥＳ）。制御部７は、回転角度だけ表示画像Ｅを回転させるように画像処理部（回転処理部）５を制御する。これにより、図２０に示されるように画面６１上の表示画像Ｅが回転する。

続いて、図２１に示されるように、操作者が操作部４１Ｌ，４１Ｒを操作することによって表示画像Ｅ内の処置部２２，２３が動くと、制御部７は、上述したステップＳＦ１２，ＳＦ１４と同様にして表示画像Ｅ内の処置部２２，２３の動作方向を検出する（ステップＳＧ１３）。次に、制御部７は、画面６１上における処置部２２，２３の動作方向を操作部４１Ｌ，４１Ｒの操作方向に対応させるための制御パラメータを算出し（ステップＳＧ１４）、算出された制御パラメータを用いて処置部２２，２３の動作方向を調整した制御信号を生成し（ステップＳＧ１５）、該制御信号をマニピュレータ２に送信する。これにより、図２２に示されるように、操作部４１Ｌ，４１Ｒの操作方向に対応する方向に処置部２２，２３が動作するようになる。

操作者が、画面６１上の表示画像Ｅを回転させたときに、処置部２２，２３の上下左右方向と操作部４１Ｌ，４１Ｒの上下左右方向との間にずれが生じ得る。例えば、図２１の状態において、右操作部４１Ｒを左上へ操作すると、画面６１上の表示画像Ｅ内の処置部２２は右下へ動く。そこで、図２２に示されるように、操作部４１Ｌ，４１Ｒの操作方向と画面６１上における処置部２２，２３の動作方向とが一致するように制御信号を調整することによって、操作者は、操作部４１Ｌ，４１Ｒを用いてより直感的に処置部２２，２３を操作することができる。

本実施形態においては、表示画像内の処置部の動作方向に基づいて制御信号を調整することとしたが、これに代えて、制御部７が、図２４に示されるように、回転操作情報から取得される回転操作の回転角度に基づいて、画面６１上における処置部２２，２３の動作方向を操作部４１Ｌ，４１Ｒの操作方向に対応させるための制御パラメータを算出してもよい（ステップＳＧ１６）。このようにすることで、表示画像内から処置部の動きを検出する処理を不要にすることができる。

上述した第１から第６の実施形態は、適宜組み合わせて実施することができる。
また、第１から第６の実施形態において説明した画像処理部５および制御部７の機能は、例えば、中央演算処理装置（ＣＰＵ）と主記憶装置と補助記憶装置とを備えるコンピュータによって実現される。具体的には、補助記憶装置に画像処理プログラムおよび制御プラグラムが格納され、これらのプログラムが補助記憶装置から主記憶装置にロードされ、プログラムに従ってＣＰＵが動作することによって、画像処理部５および制御部７による上述した処理が実行されるようになっている。

１００，３００ 医療用システム
１ 腹腔マニピュレータ（第１のマニピュレータ）
２ 管腔マニピュレータ（第２のマニピュレータ）
１２，１３，２２，２３ 処置部
１４，１５ 撮像部（第１の撮像部）
２４，２５ 撮像部（第２の撮像部）
４ インタフェース部
４１Ｌ，４１Ｒ 操作部
４２，４２Ｌ，４２Ｒ 操作対象選択部
４３ 回転操作部
５ 画像処理部（重畳処理部、回転処理部）
６ 表示部
６１ 画面、メイン画面
６２ サブ画面
７ 制御部
Ａ 腹腔（第１の体腔）
Ｂ 管腔（第２の体腔）
Ｌ 腹腔画像（第１の画像）
Ｅ 管腔画像（第２の画像）

Claims (7)

1. 第１の撮像部および第１の処置部を有する腹腔マニピュレータと、
   第２の撮像部および第２の処置部を有する管腔マニピュレータと、
   操作者によって操作されるインタフェース部と、
   該インタフェース部に入力された操作に従って前記腹腔マニピュレータおよび前記管腔マニピュレータの動作を制御する制御部と、
   前記第１の撮像部によって取得された第１の画像および前記第２の撮像部によって取得された第２の画像を択一的に表示する画面を有する表示部と、
   前記画面の表示を前記第１の画像と前記第２の画像との間で切り替える表示切替部とを備え、
   前記インタフェース部が、
   前記腹腔マニピュレータおよび前記管腔マニピュレータに対する操作指示が前記操作者によって入力される第１の操作部と、
   該第１の操作部の操作対象が前記腹腔マニピュレータおよび前記管腔マニピュレータの中から択一的に前記操作者によって選択される第１の操作対象選択部と、
   前記腹腔マニピュレータおよび前記管腔マニピュレータに対する操作指示が前記操作者によって入力される第２の操作部と、
   該第２の操作部の操作対象が前記腹腔マニピュレータおよび前記管腔マニピュレータの中から択一的に前記操作者によって選択される第２の操作対象選択部と、を備え、
   前記表示切替部が、
   前記第１の画像および前記第２の画像のうち、前記第１の操作対象選択部によって選択された第１の操作対象のマニピュレータに設けられている撮像部による画像を選択し、選択された画像を前記画面に表示させ、
   前記第１の操作対象選択部および前記第２の操作対象選択部によって選択された２つの操作対象が前記腹腔マニピュレータおよび前記管腔マニピュレータである場合に、前記第１の処置部および前記第２の処置部の種類に応じて前記画面に表示する画像を選択する医療用システム。
2. 前記腹腔マニピュレータが、２つの前記第１の処置部をさらに有し、
   前記管腔マニピュレータが、２つの前記第２の処置部をさらに有する、
   請求項１に記載の医療用システム。
3. 前記表示切替部によって選択されなかった画像内の前記腹腔マニピュレータまたは前記管腔マニピュレータを、前記表示切替部によって選択された画像に重畳した重畳画像を生成する重畳処理部を備え、
   前記表示部が、前記重畳画像を前記画面に表示させる請求項１に記載の医療用システム。
4. 前記表示部が、前記表示切替部によって選択されなかった画像を表示するサブ画面を有する請求項１に記載の医療用システム。
5. 前記重畳処理部が、前記表示切替部によって選択された画像内の前記腹腔マニピュレータまたは前記管腔マニピュレータを、前記表示切替部によって選択されなかった画像に重畳したサブ重畳画像を生成し、
   前記表示部が、前記サブ重畳画像を表示するサブ画面を有する請求項３に記載の医療用システム。
6. 前記表示切替部によって選択された画像内の前記腹腔マニピュレータまたは前記管腔マニピュレータの前記画面上での動作方向が前記第１の操作部の操作方向と対応するように前記選択された画像を回転させる回転処理部を備える請求項１に記載の医療用システム。
7. 前記制御部は、前記表示切替部によって選択された画像内の前記腹腔マニピュレータまたは前記管腔マニピュレータの前記画面上での動作方向が前記操作部の上下左右方向と対応するように前記操作対象の動作方向を制御する請求項１に記載の医療用システム。

Images