JP7081584B2 - 医療用観察システム、制御装置及び制御方法 - Google Patents

Description

本明細書で開示する技術は、医療用観察システム、医療用観察システムの制御装置及び制御方法に関する。

観察装置の一例として、内視鏡は、観察対象物の中に挿入して観察画像を得る撮像部と、得られた観察画像を表示する表示装置からなり、医療分野を始めとしたさまざまな産業分野において広く利用に供されている。最近では、アーム先端に内視鏡を取り付ける医療用システムも開発されている。このような医療用システムでは、少なくとも一部の人的作業にロボティックス技術を導入することにより、作業の高精度化、高能率化を実現できるという点などにメリットがある。

内視鏡には、柔軟な素材を利用した軟性鏡と、金属などの硬い鏡筒からなる硬性鏡がある。硬性内視鏡は、数ミリメートルから数センチメートル離れたところにある観察対象物を映す。通常、腹腔内手術などには硬性鏡が利用される。具体的には、硬性鏡は、トロッカーと呼ばれる筒を介して腹腔内に挿入される。このとき、硬性鏡はトロッカーを支点として回転することになる。

また、硬性内視鏡の種類として、硬性鏡の光軸が鏡筒の軸方向と一致する（レンズが正面方向を向いている）直視鏡の他に、硬性鏡の光軸が鏡筒の軸に対して傾いた斜視鏡を挙げることができる（例えば、特許文献１を参照のこと）。

特開２０１６－８７１４１号公報

本明細書で開示する技術の目的は、操作性が向上した医療用観察システム、内鏡システムの制御装置及び制御方法を提供することにある。

本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第１の側面は、
患部を観察するために用いる医療用観察装置を保持可能なアームと、
前記アーム又は前記医療用観察装置を制御する制御部と、
ユーザーが前記医療用観察装置の視野範囲の変更の指示を入力するためのユーザー・インターフェース部と、
を具備し、
前記制御部は、前記ユーザー・インターフェース部を介して前記医療用観察装置の視野範囲の変更が指示されたことに応じて前記アーム又は前記医療用観察装置を制御する、医療用観察システムである。

前記ユーザー・インターフェース部は、例えば、ユーザーが前記医療用観察装置の視野範囲の任意の方向への移動の指示を入力するための第１の操作子を備えている。そして、前記制御部は、前記第１の操作子の操作に従って前記医療用観察装置の視野範囲が指示された移動方向に対応する方向に移動するように、前記アームの運動を制御するようにする。

また、前記医療用観察装置は、接眼光学系の光軸（スコープの鏡筒軸）に対して対物光学系の光軸が所定の角度だけ傾斜し、前記鏡筒軸回りに回動可能な斜視鏡とすることができる。このような場合、前記ユーザー・インターフェース部は、ユーザーが前記斜視鏡の視野方向を指示するための第２の操作子をさらに備え、前記制御部は、前記第２の操作子の操作に従って、前記斜視鏡の鏡筒軸周りの回転角を制御するようにしてもよい。

また、前記ユーザー・インターフェース部は、前記内視鏡のズームのアップ及びダウンの指示を入力するための第３の操作子をさらに備え、前記制御部は、前記第３の操作子の操作に従って前記内視鏡の視野範囲がズーム・アップ又はダウンするように、前記多リンク構造体の運動を制御するようにしてもよい。前記内視鏡が鏡筒軸に対して対物光学系の光軸が所定の角度だけ傾斜した斜視鏡である場合には、前記制御部は、前記斜視鏡がトロッカーを介して腹腔内に挿入され、前記トロッカーを支点として回転するという拘束条件下で、前記斜視鏡と観察対象の間が前記ユーザー・インターフェース部を介して指示されたズーム倍率に応じた距離となるように、前記アームの運動を制御するようにすればよい。

また、本明細書で開示する技術の第２の側面は、
アームに保持された医療用観察装置の視野範囲の変更の指示を入力するためのユーザー・インターフェース部と、
前記アーム又は前記医療用観察装置を制御する制御部と、
を具備し、
前記制御部は、前記ユーザー・インターフェース部を介して前記医療用観察装置の視野範囲の変更が指示されたことに応じて前記アーム又は前記医療用観察装置を制御する、制御装置である。

また、本明細書で開示する技術の第３の側面は、
アームに保持された医療用観察装置の視野範囲の変更の指示を入力するためのユーザー入力ステップと、
前記アーム又は前記医療用観察装置を制御する制御ステップと、
を有し、
前記制御ステップでは、前記ユーザー入力ステップで前記医療用観察装置の視野範囲の変更が指示されたことに応じて前記アーム又は前記医療用観察装置を制御する、制御方法である。

本明細書で開示する技術によれば、操作性が向上した医療用観察システム、内鏡システムの制御装置及び制御方法を提供することができる。

なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、医療用観察システム１０００の構成例を示した斜視図である。 図２は、医療用観察システム１０００を取り付けた支持アーム装置７００の構成例を模式的に示した図である。 図３は、医療用観察システム１０００の使用方法に一例を模式的示した図である。 図４は、医療用観察システム１０００の斜視図に、右手に保持された右手鉗子９００と左手に保持された左手鉗子９１０の各々を重ね合わせて示した図である。 図５は、斜視鏡１００の上面、前面（対象組織９３０側）、及び背面（カメラ２００側）の各々から見た位置関係を模式的に示した図である。 図６は、図５中の斜視鏡１００の背面で示したカメラ視野範囲９５０を拡大して示した図である。 図７は、モニター画面８００に表示された斜視鏡画像と、モニター画面８００を観察している施術者１１００の様子を示した図である。 図８は、モニター画面８００に表示された斜視鏡画像と、モニター画面８００を観察している施術者１１００の様子を示した図である。 図９は、モニター画面８００に表示された斜視鏡画像と、モニター画面８００を観察している施術者１１００の様子を示した図である。 図１０は、ユーザー・インターフェース部１６０に適用される入力装置１６１０の構成例を示した図である。 図１１は、ユーザー・インターフェース部１６０に適用される入力装置１６２０の他の構成例を示した図である。 図１２は、モニター画面８００の画像のズーム倍率の変更に応じた支持アーム装置７００の運動制御方法を説明するための図である。 図１３は、モニター画面８００の画像のズーム倍率の変更に応じた支持アーム装置７００の運動制御方法を説明するための図である。 図１４は、モニター画面８００の画像のズーム倍率の変更に応じた支持アーム装置７００の運動制御方法を説明するための図である。 図１５は、モニター画面８００の画像のズーム倍率の変更に応じた支持アーム装置７００の運動制御方法を説明するための図である。 図１６は、斜視鏡１００を腹壁１６０１から腹腔内に挿入して観察対象物１６０２を観察している様子を示した図である。 図１７は、斜視鏡１００を腹壁１６０１から腹腔内に挿入して観察対象物１６０２を観察している様子を示した図である。 図１８は、鉗子の根元部分のハンドルに搭載されたリモコンの外観構成を示した図である。 図１９は、支持アーム装置７００の動作モードの状態遷移を示した図である。 図２０は、アーム部７０１の制御を実現するためのシステム構成例を示した図である。 図２１は、ＵＩ操作モードを実現するための動作モード制御部２０３０の機能的構成例を示した図である。 図２２は、ＵＩ操作モードにおける支持アーム装置７００の詳細な動作状態遷移を示した図である。 図２３は、ＭＯＶＥコマンドにより指定可能な移動方向を示した図である。 図２４は、ＭＯＶＥコマンドに応じた画面の移動方向を示した図である。 図２５は、ＭＯＶＥコマンドに応じた斜視鏡１００の動作を示した図である。 図２６は、ＴＲＡＣＫＩＮＧコマンドにより目標点を表示する画面位置を示した図である。 図２７は、目標点に追従して画面が移動する様子を示した図である。 図２８は、目標点に追従する斜視鏡１００の動作を示した図である。 図２９は、ＯＶＥＲＶＩＥＷコマンドを実現するためのアーム部７０１の動作の様子を示した図である。 図３０は、ＺＯＯＭコマンドに応じて画面を拡大又は縮小する様子を示した図である。 図３１は、ＺＯＯＭコマンドを実現するためのアーム部７０１の動作の様子を示した図である。 図３２は、ユーザーからの指示と画面の移動方向との対応関係を示した図である。 図３３は、ユーザーからの指示と斜視鏡の向きとの対応関係を示した図である。 図３４は、ユーザーからの指示と斜視鏡の向きとの対応関係を示した図である。 図３５は、ユーザーからの指示と斜視鏡の向きとの対応関係を示した図である。 図３６は、ユーザーからの指示と斜視鏡の向きとの対応関係を示した図である。 図３７は、永久回転に対応していない斜視鏡に対して可動範囲外を跨ぐ回転指示が入力されたときの挙動を示した図である。 図３８は、永久回転に対応していない斜視鏡に対して可動範囲外への回転指示が入力されたときの挙動を示した図である。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

図１には、本明細書で開示する技術を適用することができる医療用観察システム１０００の構成例を示している。

図示の医療用観察システム１０００は、例えば腹腔内手術などを行う医療用システムに利用されることを想定して、いわゆる硬性内視鏡が適用される。医療用観察システム１０００は、鏡筒１００とカメラ２００を備えている。斜視鏡１００とカメラ２００は、鏡筒１００の接眼光学系の光軸Ｃ１とカメラ２００の撮像光学系の光軸Ｃ２が一致するように接続されている。内視鏡の鏡筒には直視鏡と斜視鏡があるが、本実施形態に係る医療用観察システム１０００では、鏡筒１００に斜視鏡が用いられている（以下では、鏡筒１００を斜視鏡１００とも呼ぶ）。

斜視鏡１００は、ライトガイド（図示しない）を取り付けるライトガイドコネクター１０２と、カメラ２００に接続される接眼部１０８を備えている。また、斜視鏡１００の遠位端には、対物レンズ部１０６が配設されている。対物レンズ部１０６の対物光学系の光軸Ｃ３は、接眼光学系の光軸Ｃ１に対して所定の角度だけ傾斜している。

斜視鏡１００は、その先端が例えば患者の腹壁に穿刺されたトロッカー（図示しない）を介して腹腔内に挿入して用いられる。ライトガイドコネクター１０２に取り付けられたライトガイドは、斜視鏡１００の内部に延設されている。ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）やレーザなどの光源（図示しない）によって生成された光は、ライトガイドによって斜視鏡１００の先端まで導光され、対物レンズ部１０６を介して患者の腹腔内の観察対象に向かって照射されることになる。

また、斜視鏡１００は、保持部６００によって接眼光学系の光軸Ｃ１回りに回動自在に支持されており、斜視鏡回動装置３００の駆動力により、保持部６００に対して接眼光学系の光軸Ｃ１回りに回動する。斜視鏡回動装置３００は、駆動力を発生するモーターと、モーターの出力軸の回転角を検出するエンコーダーなどを備えている。但し、斜視鏡回動装置３００は、モーターを利用した電動式ではなく、手動式により斜視鏡１００を回動させるように構成してもよい。

保持部６００を駆動させることによって、斜視鏡１００は、トロッカー（図示しない）と呼ばれる腹壁に穿刺された筒状の開孔器具を介して腹腔内に進退するとともに、トロッカーを支点として（すなわち、斜視鏡１００がトロッカーを通過する位置が動かないように）回転して、その先端の対物レンズ部１０６は腹腔内で移動する。例えば、保持部６００が接眼光学系の光軸Ｃ１と平行な方向に斜視鏡１００を移動させるように駆動する場合には、斜視鏡１００の挿入方向は接眼光学系の光軸のＣ１の方向と一致する。

また、斜視鏡回動装置３００の駆動力により、斜視鏡１００は保持部６００に対して接眼光学系の光軸Ｃ１回りに回動して、対物レンズ部１０６の対物光学系の光軸Ｃ３も接眼光学系の光軸Ｃ１回りに回動する。例えば、対物レンズ部１０６から光軸Ｃ３の方向に所定の距離だけ前方に、後述するカメラ２００の撮像量領域に相当するカメラ視野範囲９５０が存在する場合、接眼光学系の光軸Ｃ１回りの回転に伴って、カメラ視野範囲９５０の中心は、参照番号９６０で示す回転移動軌跡を描きながら移動することになる。

カメラ２００は、筐体（カメラヘッド）４００内に格納され、斜視鏡１００の画像を撮影する撮像素子２０４と、撮像素子２０４の前側に配設された撮像光学系（図示しない）を備えている。撮像素子２０４としては、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）タイプのイメージセンサであり、ベイヤー配列を有するカラー撮影可能なものが用いられる。例えば、４Ｋ以上の高解像度の画像の撮影に対応した撮像素子がカメラ２００に用いられてもよい。また、立体視（３Ｄ表示）に対応するために、カメラ２００に複数の撮像素子が設けられていてもよい。なお、カメラ２００には、撮像光学系を適宜駆動させて倍率及び焦点距離を調整する機構が搭載されている。

ライトガイドを介して光が照射された観察対象からの反射光（観察光）は、撮像光学系に寄って撮像素子２０４に集光される。そして、撮像素子２０４は、受光した観察光を光電変換して、電気信号、すなわち観察像に対応する画像信号を生成する。カメラ２００は、この画像信号をＲＡＷデータとして出力する。

カメラ２００は、撮像光学系の光軸Ｃ２回りに回動自在に、筐体４００内で支持されている。カメラ２００は、カメラ回動装置５００の駆動力により、筐体４００に対して撮像光学系の光軸Ｃ２回りに回動する。カメラ回動装置５００は、駆動力を発生するモーターと、モーターの出力軸の回転角を検出するエンコーダーなどを備えている。

筐体４００の接眼部１０８側の端面には、重力センサー１７０が配設されており、重力の方向Ｇを検知することができる。医療用観察システム１０００が支持アーム装置（後述）に取り付けて使用される場合などには、使用中に医療用観察システム１０００の姿勢が変化するが、重力センサー１７０で重力の方向Ｇを常に検知することができる。なお、重力センサー１７０を配置する場所は、図示に限定されるものではない。

また、医療用観察システム１０００は、制御装置１５０を備えている。制御装置１５０の構成の詳細については、後述に譲る。また、医療用観察システム１０００には、斜視鏡１００及びカメラ２００で取得した画像（すなわち、撮像素子２０４で撮像した画像）を表示する表示装置１６８が接続されている。医療用観察システム１０００のユーザーである施術者は、表示装置１６８のモニター画面に表示される腹腔内の患部の画像を観察しながら、鉗子や攝子、切断器具といった医療用術具を操作して患部に対する処置を行なうことができる。

図１において、対物光学系の光軸Ｃ３の遠位方向をＹ軸正方向、Ｙ軸に垂直で対物レンズ部１０６の平面上でＹ軸に直交し垂直上方（重力Ｇに対して略相対方向）をＺ軸正方向、同平面上でＺ軸に直交し水平方向右側（Ｙ軸正方向に向いて右側）をＸ軸正方向と定める。

また、接眼光学系の光軸Ｃ１の遠位方向をＹ１軸正方向、Ｙ１軸に垂直な接眼部１０８の平面上でＹ１軸に直交する垂直上方（重力Ｇに対して略相対方向）をＺ１軸正方向、同平面上でＺ１軸に直交し水平方向右側（Ｙ１軸正方向に向いて右側）をＸ１軸正方向と定める。

また、撮像素子２０４の前側に配置された撮像光学系の遠位方向をＹ２軸正方向、Ｙ２軸に垂直な撮像素子２０４の平面（撮像面）上でＹ２軸に直交する垂直上方（重力Ｇに対して略相対方向）をＺ２軸正方向、同平面上でＺ１軸に直交する水平方向右側（Ｙ２軸正方向に向いて右側）をＸ２軸正方向と定める。

図２には、図１に示した医療用観察システム１０００の利用形態の１つとして、医療用観察システム１０００を、支持アーム装置７００の遠位端に取り付けた様子を示している。支持アーム装置７００は、スコープホルダー、内視鏡ホルダー、ホルダーアームとも呼ばれる。

図２に示すように、保持部６００は、支持アーム装置７００の遠位端にて医療用観察システム１０００を支持している。支持アーム装置７００は、電動又は手動のいずれかで駆動する。また、図２に示すように、施術者などのユーザー１１００が保持部６００を直接握って操作を行なうこともできる。例えばマニュアル操作モード（後述）では、施術者１１００の操作に応じて曲げられ、また、施術者１１００が保持部６００から手を離すと、支持アーム装置７００は最後に曲げられた状態を維持する。

支持アーム装置７００は、基台であるベース部７０２と、ベース部７０２から延伸するアーム部７０１で構成される。図２では、図面の簡素化のため、アーム部７０１の構成を簡略化して描いている。実際には、アーム部７０１が所望の自由度を有するように、リンク及び関節部の形状、数、配置、並びに関節部の回転軸の方向などが適宜設定される。

図２に示すアーム部７０１は、複数のリンクが関節部によって互いに連結された多リンク構造体であり、例えば６自由度以上の自由度を有している。これにより、アーム部７０１の可動範囲内で遠位端の医療用観察システム１０００を自由に移動させることが可能であり、斜視鏡１００を所望の方向からトロッカー（図示しない）を介して患者の腹腔内に挿入することができる。

各関節部にはそれぞれアクチュエータが設けられており、関節部はアクチュエータを駆動することにより所定の回転軸回りに回転可能に構成されている。制御装置１５０内のアーム制御部１６４は、アクチュエータの駆動を制御することにより、各関節部の回転角度を制御し、これによってアーム部７０１の駆動を制御し、ひいては医療用観察システム１０００（若しくは、斜視鏡１００）の位置及び姿勢の制御を実現することができる。

例えば、アーム制御部１６４は、後述するユーザー・インターフェース（ＵＩ）部１６０を介した入力操作に応じてアーム部７０１の駆動が適宜制御して、医療用観察システム１０００の位置及び姿勢を制御する。このような制御により、アーム部７０１の遠位端の医療用観察システム１０００を任意の位置に移動させた後、その位置で固定的に支持することができる。

支持アーム装置７００は、例えばロボティックス技術を用いた医療用システムであり、複数の関節部の回転駆動を制御することにより、腹腔内手術などの施術に関する所望の動作が実現される。医療用観察システム１０００と支持アーム装置７００をそれぞれ個別の装置として扱ってもよいし、支持アーム装置７００を含めて１つの医療用観察システム１０００として扱うこともできる。

例えば、一般化逆動力学を用いた演算により、施術に関する運動目的及び拘束条件を考慮しながら、全身協調制御するための各関節部のトルク指令値を算出して制御を実現することができる。また、各関節部をトルク制御する際に摩擦や慣性などのモデル化誤差に起因する外乱トルクを推定して、トルク指令値を修正することにより、関節部駆動用のアクチュエータの理想関節制御を実現することができる。但し、支持アーム装置７００の全身協調制御や関節部の理想関節制御は、本明細書で開示する技術と直接関連しないので、詳細な説明は省略する。

図３には、本実施形態に係る医療用観察システム１０００の使用方法に一例を模式的に示している。但し、同図は、右手鉗子９００と左手鉗子９１０とともに、医療用観察システム１０００の斜視鏡１００がそれぞれトロッカー（図示しない）を介して腹腔内に挿入されているものとする。

医療用観察システム１０００には表示装置１６８が接続されており、表示装置１６８のモニター画面８００には、斜視鏡１００及びカメラ２００で取得した画像（すなわち、撮像素子２０４で撮像した画像）が表示されている。モニター画面８００には、被写体の重力の方向Ｇが画面の上下方向と一致するように表示される。施術者１１００は、モニター画面８００に表示される腹腔内の患部の画像を観察しながら施術することができる。なお、対物レンズ部１０６の対物光学系の光軸Ｃ３は接眼光学系の光軸Ｃ１回りに回動するが（前述）、対物光学系の光軸Ｃ３が回動している間も、常に被写体の重力の方向Ｇが画面の上下方向と一致するように、撮像画像がモニター画面８００に表示される。

施術者１１００は、右手に右手鉗子９００を保持するとともに、左手に左手鉗子９１０を保持している。参考として、図４には、医療用観察システム１０００の斜視図に、右手に保持された右手鉗子９００と左手に保持された左手鉗子９１０の各々を重ね合わせて示している。処置目的としている対象組織９３０を頂点、自身を底面とし、右手鉗子９００と左手鉗子９１０を各々斜線とした２等辺３角形９３１を構成するように配置する。そして、対物レンズ部１０６の対物光学系の光軸Ｃ３が、この２等辺３角形９３１の垂直２等分線９３２上に位置するように、視野方向を取るようにすることが基本とされる。この基本通りの位置関係であれば、直視鏡使用時の手術と同様にハンド・アイ・コーディネイトを取ること（目で見たものに合わせる感覚で操作すること）ができる。

なお、図３及び図４では、図面の簡素化のため、施術者１１００が右手鉗子９００及び左手鉗子９１０の根元をそれぞれ右手及び左手で握っている図を描いているが、実際には、右手鉗子９００及び左手鉗子９１０の根元部分のハンドルで鉗子の把持操作を行なう場合もある。

図１６には、斜視鏡１００を腹壁１６０１から腹腔内に挿入して観察対象物１６０２を観察している様子を示している。トロッカー点Ｔは、腹壁１６０１にトロッカー（図示しない）が穿刺された場所であり、人体に斜視鏡１００を挿入する位置に相当する。参照番号１６０２は斜視鏡１００（医療用観察システム１０００）による観察対象物を示し、参照番号１６０３は臓器などの障害物を示している。また、Ｃ４は、トロッカー点Ｔと観察対象物１６０２を結ぶ方向である。図１６に示す例では、斜視鏡１００は、Ｃ４から紙面時計回りに角度θ₁だけ傾斜した方向で腹腔内に挿入されている。

トロッカー点Ｔを支点として、斜視鏡１００の接眼光学系の光軸Ｃ１を回転させることができる。また、斜視鏡１００をトロッカー点Ｔから腹腔内に進退させることができる。したがって、斜視鏡１００のトロッカー点Ｔを支点とする回転と進退方向の移動を組み合わせて、斜視鏡１００の位置及び姿勢を変更することができる。また、既に述べたように、斜視鏡１００の先端の対物光学系の光軸Ｃ３は接眼光学系の光軸Ｃ１（斜視鏡１００の長手方向）に対して所定の角度φだけ傾斜している。したがって、斜視鏡１００を接眼光学系の光軸Ｃ１回りに回転させることによって、対物光学系の光軸Ｃ３方向（すなわち、カメラ２００の視線方向）を変更することができる。要するに、斜視鏡１００のトロッカー点Ｔを支点とする回転と進退方向の移動と、さらに斜視鏡１００を接眼光学系の光軸Ｃ１回りの回転とを組み合わせて、カメラ２００の視野範囲を変更することができる。

図１６に示す斜視鏡１００の位置及び姿勢では、斜視鏡１００の先端の対物レンズ１０６と観察対象物１６０２の間に障害物１６０３が存在する。観察対象物１６０２は障害物１６０３の影となってしまうため、カメラ２００で撮影した画像で観察対象物１６０２の全域を観察することができない。参照番号１６０４は、この状態でのカメラ２００による撮像画像を示している。

図１７には、斜視鏡１００を腹腔内に挿入した状態で、その位置及び姿勢を変更して、観察対象物１６０２を観察している様子を示している。斜視鏡１００は、トロッカー点Ｔを支点として回転され、トロッカー点Ｔと観察対象物１６０２を結ぶＣ４方向から紙面反時計回りに角度θ₂だけ傾斜している。また、斜視鏡１００を接眼光学系の光軸回りに回転させて、対物光学系の光軸方向も適宜調整している。図１７に示すように斜視鏡１００の位置及び姿勢、並びに視線方向を変更した状態では、障害物１６０３は、斜視鏡１００の先端の対物レンズ１０６と観察対象物１６０２の間から外れる。したがって、カメラ２００で撮影した画像で、障害物１６０３に遮られることなく、観察対象物１６０２の全域を観察することができない。参照番号１７０１は、この状態でのカメラ２００による撮像画像を示している。

なお、アーム制御部１６４は、保持部６００に保持された斜視鏡１００を所望の位置及び姿勢を変更するための、支持アーム装置７００の各関節部のアクチュエータを駆動制御する。図１６に示した位置及び姿勢から図１７に示した位置及び姿勢に変更する際には、観察対象物１６０２がカメラ２００の撮像画像の中心に位置した状態を保つように（すなわち、対物光学系の光軸が観察対象物１６０２の方向を向く状態を保つように）、アーム制御部１６４は、支持アーム装置７００の各関節部のアクチュエータを駆動制御するものとする。

また、図５には、斜視鏡１００の上面、前面（対象組織９３０側）、及びカメラ２００の背面側の各々から見た位置関係を模式的に示している。図１にも示したように、斜視鏡１００は、カメラ２００を格納する筐体４００の先端に、接眼部１０８を介して取り付けられている。斜視鏡１００とカメラ２００は、互いに独立して回動可能である。斜視鏡１００は、保持部６００によって接眼光学系の光軸Ｃ１回りに回動自在に支持されており、斜視鏡回動装置３００の駆動力により、保持部６００に対して接眼光学系の光軸Ｃ１回りに回動する。一方、カメラ２００は、カメラ回動装置５００の駆動力により、筐体４００に対して撮像光学系の光軸Ｃ２回りに回動する。

図５では、接眼光学系の光軸Ｃ１に垂直で、対象組織９３０がある平面を、術野平面９４０と定義する。そして、その術野平面９４０上に、カメラ２００の撮像素子２０４の撮像領域に相当するカメラ視野範囲９５０が存在する。

上述したように、対物レンズ部１０６の対物光学系の光軸Ｃ３は、接眼光学系の光軸Ｃ１に対して所定の角度だけ傾斜している。また、斜視鏡回動装置３００の駆動力により、斜視鏡１００は保持部６００に対して接眼光学系の光軸Ｃ１回りに回動して、対物レンズ部１０６の対物光学系の光軸Ｃ３も接眼光学系の光軸Ｃ１回りに回動する。このような斜視鏡１００の回転により、カメラ視野範囲９５０の中心は、術野平面９４０上で回転移動軌跡９６０を描きながら移動することになる。

図６には、図５中でカメラ２００の背面側から見たカメラ視野範囲９５０を拡大して示している。図６において、図５で示したカメラ視野範囲９５０の位置を初期位置とし、このとき、対象組織９３０が図示の位置にあると仮定する。また、図７～図９は、モニター画面８００に表示された斜視鏡画像と、モニター画面８００を観察している施術者１１００の様子を示している。但し、図７～図９の各々において、右手鉗子９００と左手鉗子９１０とともに、医療用観察システム１０００の斜視鏡１００がそれぞれトロッカー（図示しない）を介して腹腔内に挿入されているものとする。そして、斜視鏡１００及びカメラ２００で取得した画像が表示装置１６８のモニター画面８００に表示され、施術者１１００は、モニター画面８００の画像を観察しながら施術している。

図７には、カメラ視野範囲９５０の初期位置で、斜視鏡１００及びカメラ２００で取得した斜視鏡画像（すなわち、撮像素子２０４で撮像した画像）を示している。図７に示す初期位置では、対象組織９３０は、カメラ２００の視野範囲の上縁付近で捕捉されており、モニター画面８００上では下半分しか映っていない。この状態では、モニター画面８００の画像の上下方向が重力方向と一致するので、ハンド・アイ・コーディネイトは良好ということができる。しかしながら、斜視鏡１００の対物光学系の光軸Ｃ３は対象組織９３０とは異なる方向に向けられているため、図示のように対象組織９３０の下半分しかモニター画面に表示されていない。施術者１１００は、対象組織９３０の全体を観察することはできないので、施術が難しくなる。

そこで、斜視鏡回動装置３００により、斜視鏡１００を、接眼光学系の光軸Ｃ１を中心として回動させて、対象組織９３０全体がカメラ２００の視野範囲に入るようにする。斜視鏡１００の接眼光学系の光軸Ｃ１回りの回転は、電動又は手動のいずれで行なってもよい（前述）。

斜視鏡１００を斜視鏡１００の接眼光学系の光軸Ｃ１回りに回動させると、図６に示すように、カメラ２００の視野範囲は、初期のカメラ範囲９５０から接眼光学系の光軸Ｃ１回りに回転して、カメラ視野範囲９５０ａに移動する。この結果、対象組織９３０は、移動後のカメラ視野範囲９５０ａのほぼ中央に存在する。したがって、図８に示すように、モニター画面８００上では、対象組織９３０は画面の中央に配置されて、対象組織９３０全体が表示されるようになる。

しかしながら、斜視鏡１００を回動させると、重力方向が画面の上下方向と一致せず傾いてしまう。このため、図８に示すように、対象組織９３０も、モニター画面８００上では、画面の上下方向とは一致しない、傾いた姿勢で表示されてしまう。

図８に示す状態では、施術者１１００は、モニター画面８００に対して首を傾けるなど自らの身体の動作などによって、対象組織９３０の重力方向と上下方向を一致させるための対応をせざるを得ない。施術者１１００は、図８に示すようなモニター画面８００を観察しながらでは、不自然な姿勢をとって対象組織９３０を施術するのが難しい。すなわち、施術者１１００はハンド・アイ・コーディネイトを保つことができない。

そこで、本実施形態では、斜視鏡１００を接眼光学系の光軸Ｃ１回りに回転させたときに、重力の方向Ｇと撮像光学系のＺ２軸の方向の相対角度が変化しないように、カメラ２００の筐体をカメラ回動装置５００により回動させるようにする。

斜視鏡１００を斜視鏡１００の接眼光学系の光軸Ｃ１回りに回動させるとともに、重力の方向Ｇと撮像光学系のＺ２軸の方向の相対角度が一定となるようにカメラ２００の撮像素子２０４を撮像光学系の光軸Ｃ２回りに回動させると、図６に示すように、カメラ２００の視野範囲は、前述したカメラ視野位置９５０ａが回転して、初期のカメラ範囲９５０とほぼ平行な傾きとなるように回転させたカメラ視野位置９５０ｂとなる。

このカメラ視野位置９５０ｂのほぼ中央に対象組織９３０が存在するが、対象組織９３０の重力方向が画面の上下方向と一致する。したがって、図９に示すように、モニター画面８００上では、対象組織９３０は画面の中央に配置され、且つ、画面の上下方向と一致する正しい姿勢で、対象組織９３０全体が表示されるようになる。

図９に示す状態では、施術者１１００は、対象組織９３０の重力方向が画面の上下方向と一致した状態で観察しながら、右手鉗子９００、左手に左手鉗子９１０を操作することが可能となる。モニター画面８００の表示座標系における重力の方向も変化せず、左右両手の右手鉗子９００、左手鉗子９１０のモニター画面８００の画面上における左右の位置関係も変化しない。したがって、施術者１１００は良好なハンド・アイ・コーディネイトを確保した状態で処置を行なうことが可能となる。

続いて、制御装置１５０について説明する。制御装置１５０は、大まかに言うと、斜視鏡回転角取得部１５２と、重力方向取得部１５４と、カメラ回転角算出部１５６と、カメラ回転角制御部１５８と、斜視鏡回転角制御部１６２と、アーム制御部１６４と、画像信号処理部１６６を備えている。また、制御装置１５０には、ＵＩ部１６０と、表示装置１６８が接続されている。制御装置１５０は、医療用観察システム１０００（又は、支持アーム装置７００）と一体であってもよいし、医療用観察システム１０００（又は、支持アーム装置７００）とは無線又は有線で接続された情報処理装置（パーソナル・コンピューターやサーバー装置など）であってもよい。

重力方向取得部１５４は、重力の方向Ｇを取得する。カメラ２００の筐体４００には、重力センサー１７０が取り付けられている。重力方向取得部１５４は、重力センサー１７０の検出値に基づいて、重力の方向Ｇを取得する。重力方向取得部１５４は、モデル計算など、他の手法により重力の方向を取得するようにしてもよい。

斜視鏡回転角取得部１５２は、斜視鏡１００の回転角を取得する。斜視鏡回転角取得部１５２は、重力方向取得部１５４で取得した重力の方向Ｇを基準として、斜視鏡１００の回転角を取得することができる。具体的には、斜視鏡回転角取得１５２は、図６に示す重力Ｇの方向を基準として、水平方向（接眼光学系のＸＹ面）に対する斜視鏡１００の回転角（図６に示す角度θ₃）を取得する。斜視鏡回動装置３００は、モーターの回転角を検出する角度センサーを含んでいる（前述）。したがって、斜視鏡回転角取得１５２は、重力方向に対する基準位置（水平方向）をあらかじめ定めておくことにより、角度センサーの検出値から水平方向に対する角度θ₃を検出することができる。

カメラ回転角算出部１５６は、重力の方向に対する斜視鏡１００の回転角に基づいて、カメラ回動装置５００の回転角を算出する。カメラ回転角算出部１５６は、斜視鏡回転角取得１５２が取得した角度θ₃に基づく重力方向を基準として、カメラ回動装置５００の回転角を算出することができる。具体的には、カメラ回転角算出部１５６は、重力の方向Ｇを基準として、水平方向（撮像光学系のＸＹ面）に対するカメラ２００の回転角（図６に示す角度θ₄）を算出する。図６に示すように、角度θ₃＝θ₄となる。

カメラ回転角制御部１５８は、カメラ回転角算出部１５６が算出したカメラ回動装置５００の回転角θ₄に基づいて、カメラ回動装置５００を制御する。上述したように、斜視鏡１００を接眼光学系の光軸Ｃ１回りに回転させたときに、重力の方向Ｇと撮像光学系のＺ２軸の方向の相対角度が変化しないように、カメラ回転角制御部１５８がカメラ２００の筐体をカメラ回動装置５００により回動させるようにする。

ＵＩ部１６０は、医療用観察システム１０００のユーザーである施術者１１００が、医療用観察システム１０００に対する指示を入力するための１以上の入力装置からなる。ＵＩ部１６０として適用される入力装置として、複数の操作子（ボタンなど）を備えたコントローラ（リモコンを含む）や、タッチパネル、ジョイスティックなどを挙げることができる。リモコンなどのコントローラは、例えば、術者が持つ術具の把持部（例えば、手術用鉗子のハンドル（後述）など）に搭載することが可能であり、その操作子に対する入力操作に基づく制御信号は制御装置１５０に対して有線又は無線で送信される。もちろん、マウスやキーボードといった、コンピューターの一般的な入力装置をＵＩ部１６０として活用することもできる。

さらに、本実施形態では、ＵＩ部１６０は、ユーザーの音声を収音可能なマイクロフォンを含み、このマイクロフォンを介して収音された音声の認識結果によっても各種の入力が行なわれる。ＵＩ部１６０がこのような非接触で情報入力が可能な構成を備えることにより、術者や術者のサポートスタッフなど特に清潔域に属するユーザーが、不潔域に属する機器を非接触で操作することが可能になる。また、ユーザーは、鉗子など所持している術具から手を放すことなく、機器操作を指示することが可能となり、ユーザーの利便性が向上するとともに手術手技の効率が向上する。

また、腕時計型や眼鏡型などの人体に装着可能なウェアラブルデバイスをＵＩ部１６０に用いることもできる。ウェアラブルデバイスは、ユーザー身体の動きや視線の動きを検出可能なカメラ若しくはその他のデバイスを含み、ユーザーのジェスチャや視線の動きを検出することができる。この種のウェアラブルデバイスによって検出されるユーザーのジェスチャや視線に応じて各種の入力が行なわれる。ＵＩ部１６０がウェアラブルデバイスを備えることにより、清潔域に属するユーザーが、不潔域に属する機器を非接触で操作することが可能になる。また、ユーザーは、鉗子など所持している術具から手を放すことなく、機器操作を指示することが可能となり、ユーザーの利便性が向上する。なお、ウェアラブルデバイスの代わりに、ユーザーのジェスチャや視線を検出するセンシングシステムを別途設けることにより、清潔域に属するユーザーが不潔域に属する機器を非接触で操作することを可能にしてもよい。

術者や術者のサポートスタッフなどのユーザーは、医療用観察システム１０００を利用して手術を行なう際に、上記のＵＩ部１６０を介して、患者の身体情報や、手術の術式など、手術に関する各種の情報を入力することができる。また、ユーザーは、ＵＩ部１６０を介して、支持アーム装置７００のアーム部７０１を駆動させる旨の指示や、カメラ２００による撮像条件（光源からの照射光の種類、ズーム倍率、焦点距離など）を変更する旨の指示などを入力することができる。

また、本実施形態では、ＵＩ部１６０は、モニター画面８００に表示される画像の範囲、言い換えれば、斜視鏡１００及びカメラ２００によるカメラ視野範囲の変更に関する指示を、受け付けることができるものとする。カメラ視野範囲の変更とは、カメラ視野範囲の上下及び左右の各方向への移動（トロッカー点を支点とする斜視鏡１００の進退並びに回転操作）、斜視鏡１００の接眼光学系の光軸Ｃ１回りの回転（時計回り及び反時計回りを含む）、ズーム倍率の変更などを挙げることができる。ＵＩ部１６０は、これらの指示をユーザーから個別に受け付けるための、ボタンなどの複数の操作子を備えていてもよい。

斜視鏡回転角制御部１６２は、施術者１１００の操作などに応じて斜視鏡回動装置３００の回転角を制御する。例えば、施術者１１００が上記のＵＩ部１６０を介して斜視鏡１００の時計回り及び反時計回りの回転を指示すると、斜視鏡回転角制御部１６２は、斜視鏡回動装置３００の回転角を制御する。なお、斜視鏡１００を接眼光学系の光軸Ｃ１回りに回動させたときには、回転角に拘わらす被写体の重力の方向Ｇが画面の上下方向と常に一致するように、カメラ回転角制御部１５８がカメラ２００の筐体をカメラ回動装置５００により回動させるようにする（前述）。

アーム制御部１６４は、遠位端に医療用観察システム１０００を取り付けた支持アーム装置７００の運動を制御する。具体的には、アーム制御部１６４は、アーム部７０１の各関節部に設けられたアクチュエータの駆動を制御することにより、各関節部の回転角度を制御し、これによってアーム部７０１の駆動を制御し、ひいては医療用観察システム１０００（若しくは、斜視鏡１００）の位置及び姿勢の制御を実現する。

例えば、施術者１１００が上記のＵＩ部１６０を介してカメラ視野範囲を上下又は左右の方向に移動させるように指示したときには、斜視鏡１００及びカメラ２００で取得される画像が指示された方向に移動するように、アーム制御部１６４は支持アーム装置７００の運動を制御する。但し、斜視鏡１００はトロッカーを介して腹腔内に挿入されており、言い換えればアーム部７０１の動作はトロッカー点に拘束されるので、単純に遠位端の位置を移動させてカメラの視野範囲を上下又は左右の方向に移動できる訳ではない、という点に十分留意されたい。

また、施術者１１００が上記のＵＩ部１６０を介してモニター画面８００に表示されている画像のズーム倍率の変更を指示したときには、斜視鏡１００の対物レンズ部１０６が対象組織９３０からズーム倍率に応じた距離となるように、アーム制御部１６４は支持アーム装置７００の運動を制御する。直視鏡の場合は、接眼光学系の光軸Ｃ１の方向に進退させることによって対象組織９３０からの距離を簡単に調整することができる。ところが、斜視鏡１００の場合は、対物レンズ部１０６の対物光学系の光軸Ｃ３が接眼光学系の光軸Ｃ１に対して傾斜しているので、斜視鏡１００を接眼光学系の光軸Ｃ１の方向に進退させると対物光学系の光軸Ｃ３がＣ１方向に平行移動するが対象組織９３０との距離を調整することにはならない、という点を十分理解されたい。

アーム制御部１６４は、斜視鏡１００の位置及び姿勢に変更する際には、観察対象物がカメラ２００の撮像画像の中心に位置した状態を保つように（すなわち、対物光学系の光軸が観察対象物の方向を向く状態を保つように）、支持アーム装置７００の各関節部のアクチュエータを駆動制御するものとする。

アーム制御部１６４は、位置制御方式又は力制御方式のいずれの方式により支持アーム装置７００を制御するのでもよい。但し、医療用観察システム１０００並びに支持アーム装置７００が医療用であることを考慮すると、狭い手術室内で施術者や助手などと至近距離で動作し、対人物理インタラクションを実現することが求められていることから、力制御方式が好ましいと言うことができる。

支持アーム装置７００に力制御方式を採用する場合、アーム制御部１６４は、ユーザーからの外力を受け、その外力にならってアーム部７０１が円滑に移動するように各関節部のアクチュエータを駆動させる。アーム制御部１６４は、いわゆるパワーアシスト制御を行なってもよい。これにより、ユーザーは遠位端の保持部６００若しくは医療用観察システム１０００を直接触れながら、比較的軽い力でアーム部７０１を移動させることができる。したがって、ユーザーは、より直感的で且つ簡易な操作により医療用観察システム１０００を移動させることが可能になる。また、医療用観察システム１０００の位置（若しくは、斜視鏡１００を介してカメラ２００で観察する場所）をより確実に固定することが可能となるので、施術術者としてのユーザーは、術部の画像を安定的に得て、手術を円滑に行なうことが可能になる。

また、力制御方式を採用する場合、アーム制御部１６４は、例えば、一般化逆動力学を用いた演算により、施術に関する運動目的及び拘束条件を考慮しながら、支持アーム装置７００を全身協調制御するための各関節部のトルク指令値を算出して制御を実現することができる。例えば、斜視鏡１００及びカメラ２００によるカメラ視野範囲の上下及び左右の各方向への移動、ズーム倍率に応じた斜視鏡１００の対物レンズ部１０６の対象組織９３０への進退などを運動目的とし、斜視鏡１００がトロッカー（図示しない）を介して腹腔内に挿入されていること（すなわち、斜視鏡１００がトロッカー点を通過する位置が固定されていること）を拘束条件に含めて、一般化逆動力学を用いた演算により、支持アーム装置７００の各関節部のトルク指令値を算出することができる。

なお、一般化逆動力学を用いた全身協調制御の詳細については、例えば、本出願人に既に譲渡されている特開２００９－９５９５９号公報や特開２０１０－１８８４７１号公報を参照されたい。

また、支持アーム装置７００に力制御方式を採用する場合、各関節部をトルク制御する際に摩擦や慣性などのモデル化誤差が懸念される。そこで、アーム制御部１６４は、モデル化誤差に起因する外乱トルクを推定して、トルク指令値を修正することにより、関節部駆動用のアクチュエータの理想関節制御を実現するようにしてもよい。なお、理想関節制御の詳細については、例えば本出願人に既に譲渡されている特開２００９－２６９１０２号公報を参照されたい。

一方、支持アーム装置７００に位置制御方式を採用する場合には、例えば、斜視鏡１００及びカメラ２００によるカメラ視野範囲の上下及び左右の各方向への移動、ズーム倍率に応じた斜視鏡１００の対物レンズ部１０６の対象組織９３０への進退などを運動目的に応じて、遠位端の斜視鏡１００の位置と姿勢を決定する。そして、斜視鏡１００がトロッカー（図示しない）を介して腹腔内に挿入されていること（すなわち、斜視鏡１００がトロッカー点を通過する位置が固定されていること）を拘束条件に含めて、所望する斜視鏡１００の位置を実現するための支持アーム装置７００の各関節部の位置指令値を、逆運動学（Ｉｎｖｅｒｓｅ Ｋｉｎｅｍａｔｉｃｓ）演算に基づいて算出するようにすればよい。

画像信号処理部１６６は、カメラ２００で撮像した画像の処理と表示装置１６８への画像出力を制御する。具体的には、画像信号処理部１６６は、カメラ２００から出力された画像信号（ＲＡＷデータ）に対して、デモザイクなどの現像処理を始めとする各種の画像処理を施す。また、画像信号処理部１６６は、術具追従などの処理のために、カメラ２００の撮像画像に映った鉗子などの術具検出処理を行なう。そして、画像信号処理部１６６は、画像処理を施した後の画像信号を表示装置１６８に送信して、モニター画面に表示出力させる。また、画像信号処理部１６６は、カメラ２００に対して、ズーム倍率や焦点距離などの撮像条件を制御するための制御信号を送信する。

表示装置１６８は、画像信号処理部１６６からの制御により、画像信号処理部１６６で画像処理が施された画像信号に基づく画像をモニター画面に表示する。医療用観察システム１０００が４Ｋ又は８Ｋなどの高解像度の撮像に対応したものである場合、あるいは３Ｄ表示に対応したものである場合には、表示装置１６８も医療用観察システム１０００の解像度や表示方式に対応したものが用いられるべきである。例えば４Ｋや８Ｋなどの高解像度の撮影に対応する場合、５５インチ以上の画面サイズを持つ表示装置１６８を用いることで、一層の没入が得られる。もちろん、用途に応じて解像度画面サイズが異なる複数の表示装置１６８を装備してもよい。

図１０には、ＵＩ部１６０に適用される入力装置１６１０の構成例を示している。図示の入力装置１６１０は、一体型の十字キー１６１１を備えている。図示の十字キー１６１１は、上下キーと左右キーを備えている。施術者１１００などのユーザーは、十字キー１６１１の上下キーの上側又は下側を択一的に押下操作することで、カメラ視野範囲の上方向又は下方向への移動を指示することができる。また、十字キー１６１１の左右キーの左側又は右側を択一的に押下操作することで、カメラ視野範囲の左方向又は下方向への移動を指示することができる。但し、十字キー１６１１のような機械式のボタンを備えた入力装置１６１０ではなく、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面上に表示した十字キーであってもよい。ユーザーは、ＧＵＩ表示された十字キーの上下キー又は左右キーをタッチ操作又はマウスによるクリック操作を行なうことができる。

支持アーム装置７００に対して力制御方式を適用してカメラ視野範囲の上方向又は下方向への移動を実現する場合には、アーム制御部１６４は、斜視鏡１００及びカメラ２００によるカメラ視野範囲の上下及び左右の各方向への移動を運動目的とし、遠位端の斜視鏡１００がトロッカー（図示しない）を介して腹腔内に挿入されていること（すなわち、斜視鏡１００がトロッカー点を通過する位置が固定されていること）を拘束条件に含めて、一般化逆動力学を用いた演算により、支持アーム装置７００の各関節部のトルク指令値を算出する。そして、算出されたトルク指令値に従って支持アーム装置７００の各関節部が駆動すると、モニター画面８００の表示は、十字キー１６１１が操作された方向へと移動していくことになる。

あるいは、支持アーム装置７００に対して位置制御方式を適用してカメラ視野範囲の上方向又は下方向への移動を実現する場合には、アーム制御部１６４は、斜視鏡１００及びカメラ２００によるカメラ視野範囲が上下又は左右のいずれかの方向へ移動するという運動目的に応じて、遠位端の斜視鏡１００の位置と姿勢を決定する。そして、斜視鏡１００がトロッカー（図示しない）を介して腹腔内に挿入されていること（すなわち、斜視鏡１００がトロッカー点を通過する位置が固定されていること）を拘束条件に含めて、所望する斜視鏡１００の位置を実現するための支持アーム装置７００の各関節部の位置指令値を、逆運動学演算に基づいて算出するようにすればよい。そして、算出された位置指令値に従って支持アーム装置７００の各関節部が駆動すると、モニター画面８００の表示は、十字キー１６１１が操作された方向へと移動していくことになる。

また、図１１には、ＵＩ部１６０に適用される入力装置１６２０の他の構成例を示している。図示の入力装置１６２０は、上下及び左右の各方向に配置された４つの操作ボタン１６２１～１６２４を備えている。

施術者１１００などのユーザーは、右側に配置された操作ボタン１６２１を押下操作することで、斜視鏡１００の時計回り（ＣＷ）の回転を指示することができる。同様に、左側に配置された操作ボタン１６２２を押下操作することで、斜視鏡１００の反時計回り（ＣＣＷ）の回転を指示することができる。

なお、斜視鏡１００を接眼光学系の光軸Ｃ１回りに回動させたときには、回転角に拘わらす被写体の重力の方向Ｇが画面の上下方向と常に一致するように、カメラ回転角制御部１５８がカメラ２００の筐体をカメラ回動装置５００により回動させるようにする（前述）。

また、施術者１１００などのユーザーは、上側に配置された操作ボタン１６２３を押下操作することで、モニター画面８００に表示されている画像のズーム・アップを指示することができる。同様に、下側に配置された操作ボタン１６２４を押下操作することで、モニター画面８００に表示されている画像のズーム・ダウンを指示することができる。

上記のように、施術者１１００が上記の入力装置１６２０を介してモニター画面８００に表示されている画像のズーム倍率の変更を指示したときには、斜視鏡１００の対物レンズ部１０６が対象組織９３０からズーム倍率に応じた距離となるように、アーム制御部１６４は支持アーム装置７００の運動を制御する。

ここで、直視鏡の場合には、対物光学系の光軸が接眼光学系の光軸Ｃ１の方向と一致する。したがって、図１２に示すように、直視鏡を接眼光学系の光軸Ｃ１の方向（若しくは、直視鏡の長手方向）に進退させることによって、直視鏡と対象組織９３０間の距離が所望のズーム倍率に合致するように、簡単に調整することができる。

これに対し、本実施形態のように斜視鏡１００の場合には、対物レンズ部１０６の対物光学系の光軸Ｃ３が接眼光学系の光軸Ｃ１に対して傾斜している。このため、斜視鏡１００を接眼光学系の光軸Ｃ１の方向（若しくは、斜視鏡１００の長手方向）に進退させると、図１３に示すように、対物光学系の光軸Ｃ３はＣ１の方向に対して平行移動することになり、斜視鏡１００が対物光学系の光軸Ｃ３の方向に進退することにはならない。すなわち、斜視鏡１００を単純に長手方向に進退させても、斜視鏡１００と対称組織９３０間の距離をズーム倍率に合致させることはできない。

そこで、斜視鏡１００を接眼光学系の光軸Ｃ１の方向に進退させるのではなく、図１４に示すように、斜視鏡１００が対物光学系の光軸Ｃ３の方向に進退するようにアーム部７０１を駆動させて、斜視鏡１００と対象組織９３０間の距離が所望のズーム倍率に合致するように調整するべきである。また、斜視鏡１００は、トロッカーを介して腹腔内に挿入され、トロッカーを支点として（すなわち、斜視鏡１００がトロッカー点を通過する位置が動かないように）回転するという拘束条件があることから、図１４に示すような対物光学系の光軸Ｃ３の方向に直進するという運動は困難であり、図１５に示すように斜視鏡１００の進退とトロッカーを支点とする回転運動を組み合わせて、なるべく対物光学系の光軸Ｃ３の方向の進退に近似させて斜視鏡１００を移動させる、というのが現実的である。

支持アーム装置７００に対して力制御方式を適用してモニター画面８００の画像のズーム倍率の変更を実現する場合には、アーム制御部１６４は、斜視鏡１００を対物光学系の光軸Ｃ３の方向に進退させることを運動目的とし、斜視鏡１００がトロッカー（図示しない）を介して腹腔内に挿入されていること（すなわち、斜視鏡１００がトロッカー点を通過する位置が固定されていること）を拘束条件に含めて、一般化逆動力学を用いた演算により、支持アーム装置７００の各関節部のトルク指令値を算出する。そして、算出されたトルク指令値に従って支持アーム装置７００の各関節部が駆動すると、モニター画面８００の表示は、操作キー１６２３又は１６２４で指示されたズーム倍率に変化する。

あるいは、支持アーム装置７００に対して位置制御方式を適用してモニター画面８００の画像のズーム倍率の変更を実現する場合には、アーム制御部１６４は、アーム制御部１６４は、斜視鏡１００を対物光学系の光軸Ｃ３の方向に進退させるという運動目的に応じて、遠位端の斜視鏡１００の位置と姿勢を決定する。そして、斜視鏡１００がトロッカー（図示しない）を介して腹腔内に挿入されていること（すなわち、斜視鏡１００がトロッカー点を通過する位置が固定されていること）を拘束条件に含めて、所望する斜視鏡１００の位置を実現するための支持アーム装置７００の各関節部の位置指令値を、逆運動学演算に基づいて算出するようにすればよい。そして、算出された位置指令値に従って支持アーム装置７００の各関節部が駆動すると、モニター画面８００の表示は、操作キー１６２３又は１６２４で指示されたズーム倍率に変化する。

なお、上述したような、４つの操作ボタン１６２１～１６２４の各々への、時計回り、反時計回り、ズーム・アップ、ズーム・ダウンの割り当ては、ユーザーにとって直感的に理解し易いものである、と本出願人は思料する。

また、４つの操作ボタン１６２１～１６２４のような機械式のボタンを備えた入力装置１６１０ではなく、ＧＵＩ画面上に表示した４つの操作ボタンであってもよい。ユーザーは、ＧＵＩ表示された４つの操作ボタンの各々をタッチ操作又はマウスによるクリック操作を行なうことができる。また、各操作ボタンに割り当てる操作機能はユーザーが適宜変更可能な設定としてもよい。

図１０や図１１に示した入力装置１６１０、１６２０によれば、上下及び左右の方向に画面の移動を直感的に指示することができる。また、ジョイスティックのように自由に方向入力することが可能な入力デバイスを用いる場合も同様である。ジョイスティックを用いることにより、上下、左右、斜め、又は任意の方向への移動指示や回転方向の指示を直感的に行なうことが可能となる。

他方、斜視鏡１００を用いた医療用観察システム１０００の場合、画面を見ているだけでは斜視鏡１００がどの方向に向いているかが分からない。入力装置１６１０、１６２０を介した上下及び左右の移動方向の指示に従って、アーム部７０１の遠位端をそのまま移動させると、画面はユーザーが意図した方向に移動するとは限らない。

そこで、重力方向取得部１５４が重力センサー１７０の検出結果から医療用観察システム１００の正しい重力方向を得るとともに、アーム部７０１の姿勢情報に基づいて、画面の上下方向を重力方向に合わせる。そして、ユーザーから指示された画面の移動方向を実現するための、アーム部７０１の各関節部の回転角とカメラ２００の回転角とを逆運動学演算に基づいて算出して、アーム制御部１６４がアーム部７０１を駆動制御するとともに、カメラ回転角制御部１５８がカメラ２００の回転角を駆動制御する。このようにして、図３２に示すように、ユーザーによる画面の方向入力３２０１に対応させた画面の移動３２０２を実現させるようにする。

斜視鏡１００の回転方向や回転量によって画面の移動を指示すると、ユーザーは画面からは斜視鏡１００がどちらを向いているのかが分からなくなってしまう。これに対し、ユーザーからは上下及び左右の２自由度の形式で指示を受け付けるとともに、ユーザーからの移動指示に対応させて画面を移動させることで、ユーザーは直感的に見たい方向を見ることができるようになり、操作性が向上する。

カメラ２００のＸＹ軸と、画面のＸＹ軸とを合わせる。そして、図３３に示すように、ユーザーから上方向への方向入力３３０１が入力されたときには、斜視鏡１００の視線方向がカメラ２００のＹ軸上方向を向くようにカメラ回転角制御部１５８がカメラ２００を回転駆動させる。その結果、画面は斜視鏡１００が向くＹ軸上方向に移動する。

また、図３４に示すように、ユーザーから下方向への方向入力３４０１が入力されたときには、斜視鏡１００の視線方向がカメラ２００のＹ軸下方向を向くようにカメラ回転角制御部１５８がカメラ２００を回転駆動させる。その結果、画面は斜視鏡１００が向くＹ軸下方向に移動する。

また、図３５に示すように、ユーザーから左方向への方向入力３５０１が入力されたときには、斜視鏡１００の視線方向がカメラ２００のＸ軸左方向を向くようにカメラ回転角制御部１５８がカメラ２００を回転駆動させる。その結果、画面は斜視鏡１００が向くＸ軸左方向に移動する。

また、図３６に示すように、ユーザーから左上方向への方向入力３６０１が入力されたときには、斜視鏡１００の視線方向が左上方向を向くようにカメラ回転角制御部１５８がカメラ２００を回転駆動させる。その結果、画面は斜視鏡１００が向く左上方向に移動する。

ここで、斜視鏡１００が３６０度回転に対応していない場合には、可動範囲外を跨ぐような回転指示がユーザーから入力されたときに、その挙動が問題となる。図３７には、可動範囲外を跨ぐような回転指示がユーザーから入力されたときの斜視鏡１００の挙動を例示している。参照番号３７０１で示す可動範囲を持つ斜視鏡１００に対して、現在の回転位置３７０２から回転位置３７０３へ、経路３７０４で回転移動する指示が入力されたとする。経路３７０４は、可動範囲３７０１の外を通過するため、入力された指示通りに斜視鏡１００を回転させることはできない。

そこで、永久回転に対応しない斜視鏡１００に対して可動範囲外を跨ぐ回転移動が指示されたときには、図３７中の参照番号３７０５で示すように、可動範囲３７０１内のみを通過する経路に置き換えて、現在の回転位置３７０２から回転位置３７０３へ、斜視鏡１００を回転移動させるようにしてもよい。

また、斜視鏡１００が３６０度回転（永久回転）に対応していない場合には、可動範囲外へ移動するような回転指示がユーザーから入力されたときも、その挙動が問題となる。図３８には、可動範囲外への回転指示がユーザーから入力されたときの斜視鏡１００の挙動を例示している。参照番号３８０１で示す可動範囲を持つ斜視鏡１００に対して、現在の回転位置３８０２から、可動範囲３８０１の外にある回転位置３８０３へ回転移動する指示が入力されたとする。このような場合、可動範囲３８０１の端までしか斜視鏡１００を回転させることができない。そこで、可動範囲３８０１の両端のうち、指示された回転位置３８０３により近い方の端３８０４まで回転移動させるようにする。可動範囲３８０１の他方の端３８０５に回転移動させた場合と比較して、極力ユーザーの要求に近い画面を提示できるようにすることができる。

ユーザーは、ＵＩ部１６０を介して、医療用観察システム１０００を保持する支持アーム装置７００の動作を指示することができる。既に述べたように、ＵＩ部１６０は、さまざまな入力デバイスを適用することができ、さらに音声入力機能や視線入力機能、ジェスチャ入力機能も利用することができる。本実施例では、リモコンなどのユーザーが直接操作する入力デバイス（通常のＵＩ）と、音声やジェスチャ、視線などユーザー自身の動作で操作可能な入力デバイス（例えば、ＮＵＩ（Ｎａｔｕｒａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）など）を同時に使用して複合的な操作を行なうことを想定している。

また、ユーザーが通常のＵＩ又はＮＵＩのいずれを使用するにせよ、支持アーム装置７００に対する指示は、アーム部７０１の各関節部のアクチュエータに対する駆動を直接指示するものではなく、斜視鏡１００及びカメラ２００によるカメラ視野範囲の上下及び左右の各方向への移動、ズーム倍率、カメラ２００の回転といった撮像条件を指示するという形式で行なわれることを基本とする。したがって、アーム制御部１６４は、斜視鏡１００を挿通するトロッカー点が固定されているという拘束条件の下で、ＵＩ又はＮＵＩを介したユーザーから指示された斜視鏡１００若しくはカメラ２００の移動を実現するための各アクチュエータに対する指令値を、逆運動学演算などに基づいて算出する。

ユーザーがリモコンなどの通常のＵＩを用いて行なうＵＩ操作コマンドの例を以下の表１にまとめておく。ＵＩ部１６０は、これらのコマンドを入力可能な操作ボタンを装備しているものとする。操作ボタンは、機械式の操作子であっても、ＧＵＩ画面上のボタンであってもよい。

図１８には、術者としてのユーザーが操作する鉗子の根元部分のハンドルに搭載され、表１に示したような操作入力が可能なリモコン１８００の外観構成例を示している。図示のリモコン１８００は、カメラ２００の視線方向の移動を指示するＭＯＶＥ操作用ボタン１８０１と、カメラ２００のズーム操作を指示するＺＯＯＭ操作用ボタン１８０２と、斜視鏡１００の光軸Ｃ１（若しくはＣ２）回りの回転を指示するＯＢＬＩＱＵＥ操作用ボタン１８０３と、このリモコン１８００を用いたＵＩ操作の開始を指示するＵＩ操作トリガーボタン１８０４を備えている。ＯＢＬＩＱＵＥ操作用ボタン１８０３は、２自由度内で自由に方向入力することが可能な操作子であることが好ましい。

ＵＩ操作トリガーボタン１８０４は、音声や視線追従などの直感的な操作を可能にするＮＵＩ操作中にリモコン１８００を同時に使用することを指示する操作ボタンである。具体的には、ＵＩ操作トリガーボタン１８０４が押下操作されている期間のみ、上記の各ボタン１８０１～１８０３を用いたＵＩ操作が可能となり、ＵＩ操作トリガーボタン１８０４を解除すると、各ボタン１８０８～１８０３を用いたＵＩ操作が無効になる。音声や視線追従などのＮＵＩ操作とリモコン１８００による操作の同時使用を、ＵＩ操作トリガーボタン１８０４が押下操作されている期間のみに限定することで、ＮＵＩ操作中にユーザーの指先の不用意な動きによってアーム部７０１が意図しない誤動作を行なうのを防止して、安全な複合操作並びに安全な施術を実現することができる。なお、ＵＩ操作トリガーボタン１８０４は、リモコン１８００などユーザーの手元ではなく、フットスイッチ（図示しない）であってもよい。

また、ユーザーが音声を介して入力可能な音声コマンドの例を以下の表２にまとめておく。なお、ここでは説明の便宜上、音声コマンドしか挙げていないが、ジェスチャやユーザーの視線といったその他のＮＵＩコマンドを使用することも可能である。

音声若しくはリモコン１８００の操作により入力されるＭＯＶＥ、ＴＲＡＣＫＩＮＧ、ＯＶＥＲＶＩＥＷ／ＧＯ ＢＡＣＫ、ＺＯＯＭ、及びＯＢＬＩＱＵＥの各コマンドについて補足説明しておく。これらのコマンドはいずれも、カメラ２００の撮像画像を表示する表示装置１６８の画面の移動又は回転を指示するものである。

ＭＯＶＥは、表示装置１６８の画面（若しくは、カメラ２００の撮像画像）を、音声若しくはリモコン１８００で指定した方向に移動させることを指示するコマンドである。音声コマンドでは、表２に示したように、ＭＯＶＥコマンドにより、Ｕｐｐｅｒ、Ｌｏｗｅｒ、Ｌｅｆｔ、Ｒｉｇｈｔ、Ｕｐｐｅｒ Ｌｅｆｔ、Ｕｐｐｅｒ Ｒｉｇｈｔ、Ｌｏｗｅｒ Ｌｅｆｔ、Ｌｏｗｅｒ Ｒｉｇｈｔの８通りの方向を指定することができる。

図２３には、Ｕｐｐｅｒ、Ｌｏｗｅｒ、Ｌｅｆｔ、Ｒｉｇｈｔ、Ｕｐｐｅｒ Ｌｅｆｔ、Ｕｐｐｅｒ Ｒｉｇｈｔ、Ｌｏｗｅｒ Ｌｅｆｔ、Ｌｏｗｅｒ Ｒｉｇｈｔの各ＭＯＶＥコマンドにより指定される移動方向を示している。図２４には、ＭＯＶＥコマンドで指定した方向に従った画面の移動方向を示している。また、図２５には、ＭＯＶＥコマンドを実現するためのアーム部７０１の動作の様子を示している。図２５に示すように、基本的には、トロッカー点を支点として斜視鏡１００を回転させるように、アーム部７０１（図２５では図示しない）は動作する。

ＴＲＡＣＫＩＮＧは、表示装置１６８の画面（若しくは、カメラ２００の撮像画像）を、目標点に追従して移動させることを指示するコマンドである。術具や視線を目標点に設定することができる。図２６には、画面上で目標点を表示する場所を示している。同図に示すように、目標点に指定された術具やユーザーの視線が、画面中央の「Ｔｒａｃｋ」と示された位置に表示されるように、画面が移動する。図２７には、目標点に追従して画面が移動する様子を示している。ＴＲＡＣＫＩＮＧコマンドに応じて、目標点に指定された術具が画面の中央で表示されるように、画面が移動する。また、図２８には、目標点に指定された術具に追従するためのアーム部７０１の動作の様子を示している。図２８に示すように、トロッカー点を支点として斜視鏡１００を回転させるように、アーム部７０１は動作する。術具ではなくユーザーの視線を追従する場合も、同様に、アーム部７０１は、トロッカー点を支点として斜視鏡１００を回転させるように動作する。

ＯＶＥＲＶＩＥＷは、術部（又は、目標点）の俯瞰を指示するコマンドである。また、ＧＯ ＢＡＣＫは、俯瞰する前の画面への復帰を指示するコマンドである。ＯＶＥＲＶＩＥＷ及びＧＯ ＢＡＣＫの各コマンドの内容を、以下の表３にまとめておく。

図２９には、ＯＶＥＲＶＩＥＷコマンドを実現するためのアーム部７０１の動作の様子を示している。同図に示すように、斜視鏡１００をトロッカー点まで退避させることにより、カメラ２００は術部を俯瞰して撮像することができ、表示装置１６８には、術部を俯瞰した画面が表示されることになる。また、ＯＶＥＲＶＩＥＷコマンドを実施した後に、ＧＯ ＢＡＣＫコマンドが入力されると、トロッカー点まで退避していた斜視鏡１００が、元の術部付近の位置まで復帰する。これによって、表示装置１６８には、術部に接近（ズーム）した元の画面に戻る。なお、ＯＶＥＲＶＩＥＷ及びＧＯ ＢＡＣＫコマンドを実行する際のアーム部７０１の動作制御は、基本的にはＺＯＯＭコマンドの実行時と同様である。

ＺＯＯＭは、表示装置１６８の画面（若しくは、カメラ２００の撮像画像）の拡大並びに縮小を指示するコマンドである。画面の拡大並びに縮小を示すコマンドの内容を、以下の表４にまとめておく。「ＺＯＯＭ ＩＮ」、「ｃｌｏｓｅｒ」、「ｐｕｓｈ ｆｏｒｗａｒｄ」などが画面の拡大を指示するＺＯＯＭコマンドである。また、「ＺＯＯＭ ＯＵＴ」、「ｆａｒｔｈｅｒ」、「ｐｕｌｌ ｂａｃｋ」などが画面の縮小を指示するＺＯＯＭコマンドである。図３０には、ＺＯＯＭコマンドに応じて画面を拡大又は縮小する様子を示している。ＺＯＯＭ ＩＮが指示されたときには、画面内の点線の四角で囲った部分を画面全体で表示するように、画面の表示が拡大される。また、ＺＯＯＭ ＯＵＴが指示されたときには、画面全体が画面内の点線の四角で囲った部分まで画面の表示が縮退する。

図３１には、ＺＯＯＭコマンドを実現するためのアーム部７０１の動作の様子を示している。基本的には、斜視鏡１００を術部により近づけることにより、画面を拡大させること（ＺＯＯＭ ＩＮ）ができ、逆に、斜視鏡１００を術部から遠ざけることにより、画面を縮小させること（ＺＯＯＭ ＯＵＴ）ができる。図１３及び図１４を参照しながら既に説明したように、斜視鏡１００を単純に長手方向に進退させても、斜視鏡１００と対称組織９３０間の距離をズーム倍率に合致させることはできない。斜視鏡１００が対物光学系の光軸Ｃ３の方向に進退するようにアーム部７０１を駆動させて、ＺＯＯＭ ＩＮ及びＺＯＯＭ ＯＵＴを実現する。

なお、斜視鏡１００を術部から遠ざける動作は、斜視鏡１００をトロッカー点まで退避させる動作に相当するので、ＺＯＯＭコマンドを実行する際のアーム部７０１の動作制御は、基本的にはＯＶＥＲＶＩＥＷ及びＧＯ ＢＡＣＫコマンドの実行時と同様に扱うことができる場合がある。

ＯＢＬＩＱＵＥは、斜視鏡１００の回転を指示するコマンドである。ＯＢＬＩＱＵＥは、カメラ回転角制御部１５８がカメラ回動装置５００を制御することによって実現する。すなわち、ＯＢＬＩＱＵＥは、アーム部７０１の動作を伴わないので、ＭＯＶＥ、ＴＲＡＣＫＩＮＧ、ＯＶＥＲＶＩＥＷ／ＧＯ ＢＡＣＫ、ＺＯＯＭの各コマンドと並行して実施することができる。音声コマンドとしてＯＢＬＩＱＵＥコマンドを入力する場合、表５に示すように時計回りの回転角度を示すパラメータを付けて指定する入力方法と、表６に示すように回転方向（右旋回（ＣＷ）又は左旋回（ＣＣＷ））を示すパラメータを付けて指定する方法が挙げられる。

図１９には、支持アーム装置７００の動作モードの状態遷移を模式的に示している。支持アーム装置７００の動作モードとして、停止（ＨＯＬＤ）モードと、トロッカー点設定（ＴＲＯＣＡＲ）モードと、マニュアル操作（ＭＡＮＵＡＬ）モードと、リモコン操作モード（ＲＭＴＣＴＲＬ）と、ＵＩ（複合）操作モードを備えている。

停止モードは、支持アーム装置７００のアーム部７０１の動作を完全に停止若しくは固定した状態である。

トロッカー点設定モードは、斜視鏡１００を患者の腹腔内に挿入し動作させる際の支点（若しくは、動作の拘束条件）となる位置を設定するための動作モードである。基本的には、トロッカーを介して斜視鏡１００を腹腔内に挿入する際に最初だけトロッカー点設定モードを使用する。例えば、制御装置１５０本体のトロッカーボタン（図示しない）をオンにしたことにより、停止モードからトロッカー点設定モードに移行し、トロッカーボタンをオフにしたときやトロッカー点設定処理が完了したことにより停止モードに復帰する。アーム制御部１６４は、トロッカー点設定モードで計測したトロッカーの位置を記憶しておく。

マニュアル操作モードは、図２に示したように、施術者などのユーザーが保持部６００などを直接握ってアーム部７０１を手動で動かすことができる動作モードである。マニュアル操作モードでは、基本的にはアーム部７０１は、ユーザーがほとんど抵抗を感じることなく保持部６００又はアーム先端部を所望の位置に自在に移動可能な状態（オールフリー状態）であり、ユーザーは保持部６００などを直接握ってアーム部７０１を手動で動かすことができるが、ユーザーが保持部６００から手を離してもアーム部７０１はその直前の位置及び姿勢を保つ。例えば、支持アーム装置７００（若しくは制御装置１５０）本体のオールフリー・ボタンをオンにすることで、停止モードからマニュアル操作モードに移行し、オールフリー・ボタンをオフにすると停止モードに復帰する。

また、マニュアル操作モード下で、リモコン１８００に対するキーアクションが行なわれると、アーム部７０１がオールフリー中にリモコン操作を行なうことが可能となるリモコン＋マニュアル操作モードに移行する。但し、ＭＯＶＥやＺＯＯＭのようにアーム部７０１のマニュアル操作と相反するコマンドをリモコン１８００から受け付けないように、斜視鏡回転（ＯＢＬＩＱＵＥ）のみがリモコン操作可能とする。そして、オールフリー・ボタンをオフにすると、リモコン＋マニュアル操作モードから停止モードに復帰する。

リモコン操作モードは、リモコン１８００のみによりアーム部７０１を操作するモードである。リモコン操作モード下では、ＭＯＶＥ操作用ボタン１８０１を用いたカメラ２００の視線方向の移動や、ＺＯＯＭ操作用ボタン１８０２を用いたカメラ２００のズーミング、ＯＢＬＩＱＵＥ操作用ボタン１８０３を用いた斜視鏡１００の回転といったリモコン操作が可能である。

例えば、停止モードにおいてリモコン１８００のいずれかのボタン１８０１～１８０３に対するキーアクションがあると、停止モードからリモコン操作モードに移行し、最後にリモコン操作が行なわれてから所定時間が経過したとき（すなわちタイムアウトしたとき）に停止モードに復帰する。あるいは、リモコン操作の開始を指示するためのリモコン操作オン・ボタンやリモコン操作の終了を指示するためのリモコン操作オフ・ボタンなどをリモコン１８００や支持アーム装置７００などに配設してもよい。

また、リモコン操作モード下で、支持アーム装置７００（若しくは制御装置１５０）本体のオールフリー・ボタンをオンにすることで、リモコン操作モードからマニュアル操作モード（前述）に移行する。

ＵＩ操作モードは、リモコンなどのユーザーが直接操作する入力デバイス（通常のＵＩ）と、音声や視線などユーザー自身の動作で操作可能な入力デバイス（例えば、ＮＵＩ（Ｎａｔｕｒａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）など）を同時に使用して複合的な操作を行なう動作モードである。

例えば停止モードやリモコン操作モードにおいて、「Ｈｉ Ｓｏｎｙ」や「Ｈｅｙ Ｓｏｎｙ」といった、ＵＩ操作の開始を指示する音声起動フレーズが音声入力されたり、リモコン１８００上のＵＩ操作トリガーボタン１８０４が押下操作されたりすることによって、ＵＩ操作モードに移行する。また、ＵＩ操作モード下で、「ＯＫ Ｓｏｎｙ」や「Ｔｈａｎｋ ｙｏｕ Ｓｏｎｙ」といった、ＵＩ操作の終了を指示する音声起動フレーズが音声入力されたり、リモコン１８００上のＵＩ操作トリガーボタン１８０４が解除されたりすることによって、停止モードに復帰する。また、ＵＩ操作モード下で、支持アーム装置７００（若しくは制御装置１５０）本体のオールフリー・ボタンをオンにすることで、リモコン操作モードからマニュアル操作モード（前述）に移行する。

ＵＩ操作モード下では、常にリモコン１８００を用いた操作が可能な訳ではなく、ＵＩ操作トリガーボタン１８０４が押下操作されている期間のみ、上記の各ボタン１８０１～１８０３を用いたＵＩ操作が可能となり、ＵＩ操作トリガーボタン１８０４を解除すると、各ボタン１８０８～１８０３を用いたＵＩ操作が無効になる。音声や視線追従などのＮＵＩ操作とリモコン１８００による操作の同時使用を、ＵＩ操作トリガーボタン１８０４が押下操作されている期間のみに限定することで、ＮＵＩ操作中にユーザーの指先の不用意な動きによってアーム部７０１が意図しない動作を行なうのを防止して、安全な複合操作を実現することができる。

図２０には、制御装置１５０において、支持アーム装置７００のアーム部７０１の制御を実現するための詳細なシステム構成例を示している。図示のシステム構成は、図１９に示した動作モードの状態遷移に対応することができ、とりわけ通常のＵＩ操作とＮＵＩ操作を同時に使用する複合的なＵＩ操作モードを好適に実現することができる。

ＵＩ部１６０は、図１９に示した動作モードの状態遷移に対応するためには、少なくとも、ユーザーの音声を収音するマイク２００１と、例えばユーザーが操作するリモコン２００２を備えている。リモコン２００２は、例えば図１８に示した、鉗子などの術具のハンドルに取り付けられたリモコン１８００に相当する。また、ＵＩ部１６０は、ＵＩ操作トリガーとなるフットスイッチ２００３を備えていてもよい。さらに、ＵＩ部１６０は、視線追従を行なうために、ユーザーの視線を検出する視線検出部２００４を備えていることが好ましい。視線検出部２００４は、例えば、眼鏡型などの人体に装着可能なウェアラブルデバイスに装備された視線検出用カメラ、あるいは人体に装着若しくは非装着で視線を検出するその他のセンサーで構成される。

制御装置１５０は、ユーザーがＵＩ部１６０に対して入力を行なった結果を、ＵＩ入力部２０１０で受信すると、ＵＩ検出部２０２０にて音声コマンドやリモコンの状態、ユーザーの視線などを検出する。例えば、ＵＩ検出部２０２０は、マイク２００１で収音されたユーザーの音声を認識して、上記の表２に示したような音声コマンドを認識する。また、ＵＩ検出部２０２０は、図１８に示したリモコン１８００の各ボタン１８０１～１８０４の操作状態を検出する。

支持アーム装置７００のアーム部７０１の遠位端（保持部６００）の斜視鏡１００は、トロッカー（図示しない）を介して患者の腹腔内に挿入されており、カメラ２００は、斜視鏡１００を介して、術野を撮像している。

画像信号処理部１６６は、カメラ２００で撮像した画像の処理と表示装置１６８への画像出力を制御する。具体的には、画像信号処理部１６６は、カメラ２００から出力された画像信号（ＲＡＷデータ）に対して、デモザイクなどの現像処理を始めとする各種の画像処理を施す。そして、画像信号処理部１６６は、画像処理を施した後の画像信号を表示装置１６８に送信して、モニター画面に表示出力させる。

また、画像信号処理部１６６は、術具追従などの処理のために、カメラ２００の撮像画像に映った鉗子などの術具検出処理を行なう。ＵＩ検出部２０２０は、画像信号処理部１６６から術具検出結果を受信して、術具の位置を検出し、術具の追従（ｔｒａｃｋｉｎｇ）動作に利用する。但し、術具検出結果ではなく、ユーザーの視線検出結果を追従動作に利用するようにしてもよい。また、ＵＩ検出部２０２０で検出した術具の位置やユーザーの視線位置を、表示装置１６８の画面上にＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）若しくはＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）で表示するようにしてもよい。

システム・パラメータ生成部２０４０は、ＵＩ検出部２０２０における音声コマンド検出結果、リモコンの状態検出結果、ユーザーの視線検出結果、若しくは、術具位置の検出結果に基づいて、追従動作時におけるアーム部７０１の先端（若しくは、斜視鏡１００）の移動量などの動的なパラメータを決定する。

動作モード制御部２０３０は、支持アーム装置７００の動作モードを制御する。具体的には、動作モード制御部２０３０は、ＵＩ検出部２０２０における音声コマンドの検出結果やリモコン状態の検出結果、若しくは支持アーム装置７００本体のボタン２０５０に対するユーザーの操作などに基づいて、図１９に示した状態遷移に従って支持アーム装置７００の動作モードを制御する。

アーム制御部１６４は、動作モード制御部２０３０で決定される動作モードに応じて、例えばシステム・パラメータ決定部２０４０で決定したパラメータに従って、アーム部７０１の駆動を制御する。例えば、音声コマンドやリモコン操作によってカメラ２００の移動やズームが指示されると、アーム制御部１６４は、指示された通りにカメラ２００の視野範囲が変更されるように、逆運動学演算などに基づいてアーム部７０１の各関節部に対する指令値を算出して、支持アーム装置７００に出力する。

動作モード制御部２０３０は、図１９に示した状態遷移に従って、支持アーム装置７００の動作モードを制御する。動作モードのうちＵＩ操作モードは、リモコンなどのユーザーが直接操作する通常のＵＩと、音声や視線などユーザー自身の動作で操作可能なＮＵＩを同時に使用して複合的な操作を行なう動作モードである。

図２１には、ＵＩ操作モードを実現するための動作モード制御部２０３０の機能的構成例を示している。但し、説明の簡素化のため、ここでは、リモコン１８００に対するＵＩ入力と、ユーザーの音声入力を同時に使用するＵＩ操作モードについて言及する。

ユーザーからの音声コマンドや、リモコン１８００上のＵＩ操作トリガーボタン１８０４の操作に応じて、ＵＩ操作モードがオン／オフされる。例えば停止モードやリモコン操作モードにおいて、「Ｈｉ Ｓｏｎｙ」や「Ｈｅｙ Ｓｏｎｙ」といった、ＵＩ操作の開始を指示する音声起動フレーズが音声入力されたり、リモコン１８００上のＵＩ操作トリガーボタン１８０４が押下操作されたりすることによって、ＵＩ操作モードがオンになる。また、ＵＩ操作モードのオン状態で、「ＯＫ Ｓｏｎｙ」や「Ｔｈａｎｋ ｙｏｕ Ｓｏｎｙ」といった、ＵＩ操作の終了を指示する音声起動フレーズが音声入力されたり、リモコン１８００上のＵＩ操作トリガーボタン１８０４が解除されたりすることによって、ＵＩ操作モードがオフになる。

動作モード制御部２０３０は、ＵＩ操作モードを実現するために、音声コマンド処理部２１０１と、リモコン処理部２１０２と、排他制御部２１０３を備えている。ＵＩ操作モードがオンになると、ＵＩ検出部２０２０は、ＵＩ入力部１６０に対するユーザーの入力を検出する。そして、ＵＩ操作モードがオンになると、ＵＩ検出部２０２０は、ユーザー入力の検出結果を、音声コマンド処理部２１０１及びリモコン処理部２１０２に供給する。基本的には、ＵＩ操作トリガーボタン１８０４が押下操作されている期間のみ、リモコン１８００の状態検出結果がリモコン処理部２１０２に供給される。

音声コマンド処理部２１０１には、音声認識処理などにより検出された、「ＯＶＥＲＶＩＥＷ／ＧＯ ＢＡＣＫ」、「ＺＯＯＭ」、「ＭＯＶＥ」、「ＴＲＡＣＫＩＮＧ」、「ＯＢＬＩＱＵＥ」といった音声コマンド（表２を参照のこと）が入力される。そして、音声コマンド処理部２１０１は、入力された音声コマンドに応じて、アーム部７０１を駆動するための制御パラメータを決定する。音声コマンドのうち「ＯＶＥＲＶＩＥＷ／ＧＯ ＢＡＣＫ」と「ＺＯＯＭ」は同様のアーム動作となるので、音声コマンド処理部２１０１は、各々について決定された制御パラメータを統合する。また、「ＭＯＶＥ」と「ＴＲＡＣＫＩＮＧ」は同様のアーム動作となるので、音声コマンド処理部２１０１は、各々について決定された制御パラメータを統合する。

また、リモコン処理部２１０２には、ユーザーがリモコン１８００の各ボタン１８０１～１８０３を操作した結果に基づいて、「ＺＯＯＭ」、「ＭＯＶＥ」、「ＯＢＬＩＱＵＥ」といったリモコンコマンド（表１を参照のこと）が入力される。リモコン処理部２１０は、入力されたリモコンコマンドに応じて、アーム部７０１を駆動するための制御パラメータを決定する。

ユーザーが音声とリモコン１８００の操作で、同種類のコマンドを同時に入力することも想定される。そこで、排他制御部２１０３は、音声コマンド又はリモコンコマンドのうち一方のコマンドに従って決定された制御パラメータのみをアーム制御部１６４に出力するように、コマンドの排他制御を実施する。

本実施例では、排他制御部２１０３は、ＵＩ操作トリガーボタン１８０４が押下操作されている期間中は、リモコン１８００からの入力コマンドを優先して排他制御する。すなわち、同期間中において、音声コマンド処理部２１０１において音声コマンド「ＯＶＥＲＶＩＥＷ／ＧＯ ＢＡＣＫ」又は「ＺＯＯＭ」に基づいて決定した制御パラメータと、リモコン処理部２１０２においてリモコン操作「ＺＯＯＭ」に基づいて決定した制御パラメータのうち後者のパラメータを、アーム制御部１６４に排他的に出力する。また、同期間中において、音声コマンド処理部２１０１において音声コマンド「ＭＯＶＥ」又は「ＴＲＡＣＫＩＮＧ」に基づいて決定した制御パラメータと、リモコン処理部２１０２においてリモコン操作「ＭＯＶＥ」に基づいて決定した制御パラメータのうち後者のパラメータを、アーム制御部１６４に排他的に出力する。また、同期間中において、音声コマンド処理部２１０１において音声コマンド「ＯＢＬＩＱＵＥ」に基づいて決定した制御パラメータと、リモコン処理部２１０２においてリモコン操作「ＯＢＬＩＱＵＥ」に基づいて決定した制御パラメータのうち後者のパラメータを、アーム制御部１６４に排他的に出力する。但し、リモコン１８００ではなく音声コマンドを優先して排他制御する実施例も想定される。

図２２には、ＵＩ操作モードにおける支持アーム装置７００の詳細な動作状態遷移を示している。この動作状態遷移は、図２１に示した動作モード制御部２０３０の機能的構成により実現することができる。

停止モード下で（ＳＴ２２０１）、所定の音声起動フレーズがユーザーから音声入力され（ＳＴ２２０３）、又は、リモコン１８００上でＵＩ操作トリガーボタン１８０４が押下操作されたことに応じて（ＳＴ２２０２）、ＵＩ操作モードに移行する（ＳＴ２２０４）。ＵＩ操作モード下では、リモコン操作及び音声コマンドを同時に使用して、アーム部７０１の操作が可能になる。ＵＩ操作モード下では、ＵＩ操作トリガーボタン１８０４が押下操作されているときのみ、ユーザーは、各ボタン１８０１～１８０３を用いた入力操作が可能である。

ＵＩ操作モード下では、ユーザーから音声コマンドが入力されると（ＳＴ２２０５）、同コマンドを実現するためのアーム動作が決定される（ＳＴ２２０７）。また、ＵＩ操作モード下では、ユーザーがリモコン１８００上のボタン１８０１～１８０３を押下操作すると（ＳＴ２２０６）、リモコン操作に対応するアーム動作が決定される。また、音声コマンドの入力とリモコン１８００の操作が同時に行われたときには、アーム動作の決定時には（ＳＴ２２０７）、リモコン１８００の操作が優先するように、排他制御が実施される。

音声コマンドによりＴＲＡＣＫＩＮＧすなわち追従動作が指示された場合には、視線検出用カメラなどの視線検出部２００４を用いてユーザーの視線を検出し（ＳＴ２２０８）、又は、カメラ２００の撮像画像中の術具の位置を検出して（ＳＴ２２０９）、ユーザーの視線又は術具を目標点に設定する。そして、カメラ２００の撮像画像がこの目標点に追従して移動するためのアーム動作が決定される（ＳＴ２２０７）。

そして、アーム制御部１６４は、決定されたアーム動作に基づいて、アーム部７０１の動作を制御する（ＳＴ２２１０）。その後、アーム部７０１の動作を完了すると、停止モードに復帰する（ＳＴ２２１１）。

また、リモコン１８００上でＵＩ操作トリガーボタン１８０４が解除されたとき（ＳＴ２２０２）、又は、ＵＩ操作モード下でＵＩ操作の終了を指示する音声起動フレーズが音声入力されたときにも（ＳＴ２２１２）、停止モードに復帰する（ＳＴ２２１１）。

なお、上記実施形態では、内視鏡、特に斜視鏡をアームに装着して操作する医療用観察装置の事例について説明したが、本技術の適用は斜視鏡に限定されるものではない。すなわち、本技術は、接眼光学系の光軸（スコープの鏡筒軸）と対物光学系の光軸が一致しない医療用観察装置に対して適用可能である。

例えば、体腔内の見え難い部位も観察可能となるように先端湾曲機能を有する硬性鏡にも、本技術を適用可能である。この場合、術中の観察状況によっては先端部の湾曲によりスコープの鏡筒軸と対物光学系の光軸（先端部の光軸）が一致しない状況が発生し得るが、そのような場合でも、装置の操作性を向上させることができる。このほか、本技術を側視鏡にも適用可能であることは言うまでもない。

また、本技術は手術用顕微鏡に対しても適用可能であり、鏡筒軸に対して対物光学系の光軸が所定の角度だけ傾斜しているようなマイクロスコープをアームに装着した場合に、その操作性を向上するために有効である。

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、本明細書で開示する技術を主にロボティックス技術を利用する医療用システムに適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではなく、手術以外の医療用途、あるいは医療以外のさまざまな分野で利用される力制御型のロボット装置にも同様に適用することができる。

また、本明細書では、リモコンなどからの通常のＵＩ操作と音声入力や視線追従などによるＮＵＩ操作を同時に使用した支持アーム装置の複合的な操作に関する実施例について説明したが、本明細書で開示する技術の要旨はこれに限定されるものではない。本明細書で開示する技術は、ユーザーが直接操作するリモコン以外の入力デバイスからの操作と、ジェスチャ入力など音声入力以外のＮＵＩとを組み合わせた複合操作に対しても同様に適用することが可能である。また、支持アーム装置以外のさまざまな医療機械や産業機械を操作の対象として、同様に本明細書で開示する技術に係る複合操作を適用することができる。

要するに、例示という形態により本明細書で開示する技術について説明してきたが、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）複数のリンクが関節部によって互いに連結された多リンク構造体と、
前記多リンク構造体に取り付けられた内視鏡と、
前記多リンク構造体又は前記内視鏡を制御する制御部と、
ユーザーが前記内視鏡の視野範囲の変更の指示を入力するためのユーザー・インターフェース部と、
を具備し、
前記制御部は、前記ユーザー・インターフェース部を介してユーザーが指示した前記内視鏡の視野範囲の変更に応じて前記多リンク構造体又は前記内視鏡を制御する、医療用観察システム。
（２）前記ユーザー・インターフェース部は、ユーザーが前記内視鏡の視野範囲の上下及び左右の移動の指示を入力するための第１の操作子を備え、
前記制御部は、前記第１の操作子の操作に従って前記内視鏡の視野範囲が上下又は左右に移動するように、前記多リンク構造体の運動を制御する、
上記（１）に記載の医療用観察システム。
（３）前記内視鏡は、接眼光学系の光軸に対して対物光学系の光軸が所定の角度だけ傾斜し、前記接眼光学系の光軸回りに回動可能な斜視鏡であり、
前記ユーザー・インターフェース部は、ユーザーが前記斜視鏡の視野方向を指示するための第２の操作子をさらに備え、
前記制御部は、前記第２の操作子の操作に従って、前記斜視鏡の鏡筒軸周りの回転角を制御する、
上記（１）又は（２）のいずれかに記載の医療用観察システム。
（４）前記第２の操作子は、前記内視鏡の視野方向を上下、左右、又は斜め方向への移動指示により入力する操作子である、
上記（３）に記載の医療用観察システム。
（５）前記制御部は、前記斜視鏡を通して撮像された画像を表示する画面上の座標系に対応した向きに前記斜視鏡の回転角を制御する、
上記（３）に記載の医療用観察システム。
（６）前記制御部は、前記斜視鏡を通して撮像された画像を表示する画面上の上下方向が重力方向に基づいて調整した向きとなるように前記斜視鏡の回転角を制御する、
上記（３）に記載の医療用観察システム。
（７）前記ユーザー・インターフェース部は、前記内視鏡のズームのアップ及びダウンの指示を入力するための第３の操作子をさらに備え、
前記制御部は、前記第３の操作子の操作に従って前記内視鏡の視野範囲がズーム・アップ又はダウンするように、前記多リンク構造体の運動を制御する、
上記（１）乃至（６）のいずれかに記載の医療用観察システム。
（８）前記内視鏡は、接眼光学系の光軸に対して対物光学系の光軸が所定の角度だけ傾斜した斜視鏡であり、
前記制御部は、前記斜視鏡がトロッカーを介して腹腔内に挿入され、前記トロッカーを支点として回転するという拘束条件下で、前記斜視鏡と観察対象の間が前記ユーザー・インターフェース部を介して指示されたズーム倍率に応じた距離となるように、前記多リンク構造体の運動を制御する、
上記（７）に記載の医療用観察システム。
（９）前記視野範囲の画像を撮像する撮像部をさらに備える、
上記（１）乃至（８）のいずれかに記載の医療用観察システム。
（１０）前記視野範囲の画像を表示する表示装置をさらに備える、
上記（１）乃至（９）のいずれかに記載の医療用観察システム。
（１１）複数のリンクが関節部によって互いに連結された多リンク構造体に取り付けられた内視鏡の視野範囲の変更の指示を入力するためのユーザー・インターフェース部と、
前記多リンク構造体又は前記内視鏡を制御する制御部と、
を具備し、
前記制御部は、前記ユーザー・インターフェース部を介してユーザーが指示した前記内視鏡の視野範囲の変更に応じて前記多リンク構造体又は前記内視鏡を制御する、制御装置。
（１２）複数のリンクが関節部によって互いに連結された多リンク構造体に取り付けられた内視鏡の視野範囲の変更の指示を入力するためのユーザー入力ステップと、
前記多リンク構造体又は前記内視鏡を制御する制御ステップと、
を有し、
前記制御ステップでは、前記ユーザー入力ステップでユーザーが指示した前記内視鏡の視野範囲の変更に応じて前記多リンク構造体又は前記内視鏡を制御する、制御方法。
（２１）患部を観察するために用いる医療用観察装置を保持可能なアームと、
前記アーム又は前記医療用観察装置を制御する制御部と、
ユーザーが前記医療用観察装置の視野範囲の変更の指示を入力するためのユーザー・インターフェース部と、
を具備し、
前記制御部は、前記ユーザー・インターフェース部を介して前記医療用観察装置の視野範囲の変更が指示されたことに応じて前記アーム又は前記医療用観察装置を制御する、医療用観察システム。
（２２）前記ユーザー・インターフェース部は、ユーザーが前記医療用観察装置の視野範囲の任意の方向への移動の指示を入力するための第１の操作子を備え、
前記制御部は、前記第１の操作子の操作に従って前記医療用観察装置の視野範囲が指示された移動方向に対応する方向に移動するように、前記アームの運動を制御する、
上記（２１）に記載の医療用観察システム。
（２３）前記第１の操作子は、少なくとも上下、左右及び斜め方向を含む方向への移動の指示を入力するための操作子である、
上記（２）に記載の医療用観察システム。
（２４）前記医療用観察装置は斜視鏡であり、
前記ユーザー・インターフェース部は、ユーザーが前記斜視鏡の視野方向を指示するための第２の操作子をさらに備え、
前記制御部は、前記第２の操作子の操作に従って、前記斜視鏡の鏡筒軸周りの回転角を制御する、
上記（２１）又は（２２）のいずれかに記載の医療用観察システム。
（２５）前記第２の操作子は、前記斜視鏡の視野方向を任意の方向への移動指示及び正転又は逆転の回転指示により入力する操作子である、
上記（２４）に記載の医療用観察システム。
（２６）前記制御部は、前記斜視鏡を通して撮像された画像を表示する画面上の座標系に対応した向きに前記斜視鏡の回転角を制御する、
上記（２４）に記載の医療用観察システム。
（２７）前記制御部は、前記斜視鏡を通して撮像された画像を表示する画面上の上下方向が重力方向に基づいて調整した向きとなるように前記斜視鏡の回転角を制御する、
上記（２４）に記載の医療用観察システム。
（２８）前記ユーザー・インターフェース部は、前記医療用観察装置のズームのアップ及びダウンの指示を入力するための第３の操作子をさらに備え、
前記制御部は、前記第３の操作子の操作に従って前記医療用観察装置の視野範囲がズーム・アップ又はダウンするように、前記アームの運動を制御する、
上記（２１）乃至（２７）のいずれかに記載の医療用観察システム。
（２９）前記医療用観察装置は斜視鏡であり、
前記制御部は、前記斜視鏡がトロッカーを介して腹腔内に挿入され、前記トロッカーを支点として回転するという拘束条件下で、前記斜視鏡と観察対象の間が前記ユーザー・インターフェース部を介して指示されたズーム倍率に応じた距離となるように、前記アームの運動を制御する、
上記（２８）に記載の医療用観察システム。
（３０）前記アームに保持された前記医療用観察装置をさらに備える、
上記（２１）乃至（２９）のいずれかに記載の医療用観察システム。
（３１）前記医療用観察装置の視野範囲の画像を撮像する撮像部をさらに備える、
上記（２１）乃至（３０）のいずれかに記載の医療用観察システム。
（３２）前記医療用観察装置の視野範囲の画像を表示する表示装置をさらに備える、
上記（２１）乃至（３０）のいずれかに記載の医療用観察システム。
（３３）前記ユーザー・インターフェース部は、少なくとも操作子を備えたコントローラと音声入力部を備え、
前記制御部は、前記音声入力部に入力された音声及び前記コントローラの操作に応じて、前記アーム又は前記医療用観察装置を制御する、
上記（２１）乃至（３２）のいずれかに記載の医療用観察システム。
（３４）前記制御部は、音声入力の開始を指示する第１の起動フレーズが入力されたことに応答して音声コマンドによる前記アーム又は前記医療用観察装置の制御を開始し、音声入力の終了を指示する第２の起動フレーズが入力されたことに応答して音声コマンドによる前記アーム又は前記医療用観察装置の制御を終了する、
上記（３３）に記載の医療用観察システム。
（３５）前記制御部は、前記コントローラ上の所定のトリガーボタンが操作されている期間のみ、前記コントローラの操作に応じて前記アーム又は前記医療用観察装置を制御する、
上記（３３）又は（３４）のいずれかに記載の医療用観察システム。
（３６）前記制御部は、前記音声入力部に入力された音声コマンドよりも前記コントローラの操作を優先させて、前記アーム又は前記医療用観察装置を制御する、
上記（３３）乃至（３５）のいずれかに記載の医療用観察システム。
（３７）前記制御部は、前記医療用観察装置の視野の俯瞰又はズームに関する音声入力と、前記コントローラに対する前記医療用観察装置の視野ズームに関する操作が同時に行なわれたときに、前記コントローラに対する操作を優先させて、前記アーム又は前記内視鏡を制御する、
上記（３６）に記載の医療用観察システム。
（３８）前記制御部は、前記医療用観察装置の視野範囲の移動又は所定の目標物の追従に関する音声入力と、前記コントローラに対する前記医療用観察装置の視野範囲の移動に関する操作が同時に行なわれたときに、前記コントローラに対する操作を優先させて、前記アーム又は前記内視鏡を制御する、
上記（３６）に記載の医療用観察システム。
（３９）前記医療用観察装置は斜視鏡であり、
前記制御部は、前記音声入力部及び前記コントローラに対して前記斜視鏡の回転の指示が同時に行なわれたときに、前記コントローラに対する操作を優先させて、前記斜視鏡の回転を制御する、
上記（３６）に記載の医療用観察システム。
（４０）アームに保持された医療用観察装置の視野範囲の変更の指示を入力するためのユーザー・インターフェース部と、
前記アーム又は前記医療用観察装置を制御する制御部と、
を具備し、
前記制御部は、前記ユーザー・インターフェース部を介して前記医療用観察装置の視野範囲の変更が指示されたことに応じて前記アーム又は前記内視鏡を制御する、制御装置。
（４１）アームに保持された医療用観察装置の視野範囲の変更の指示を入力するためのユーザー入力ステップと、
前記アーム又は前記医療用観察装置を制御する制御ステップと、
を有し、
前記制御ステップでは、前記ユーザー入力ステップで前記医療用観察装置の視野範囲の変更が指示されたことに応じて前記アーム又は前記内視鏡を制御する、制御方法。

１００…斜視鏡（鏡筒）
１０２…ライトガイドコネクター、１０６…対物レンズ部
１０８…接眼部
１５０…制御装置、１５２…斜視鏡回転角取得部
１５４…重力方向取得部、１５６…カメラ回転角算出部
１５８…カメラ回転角制御部、１６０…ユーザー・インターフェース部
１６２…斜視鏡回転角制御部、１６４…アーム制御部
１６６…画像信号処理部、１６８…表示装置
１７０…重力センサー
２００…カメラ、２０４…撮像素子
３００…斜視鏡回動装置、４００…筐体、５００…カメラ回動装置
６００…保持部
７００…支持アーム装置、７０１…アーム部、７０２…ベース部
８００…モニター画面
９００…右手鉗子、９１０…左手鉗子、９３０…対象組織
１０００…医療用観察システム
２００１…マイク、２００２…リモコン
２００３…フットスイッチ、２００４…視線検出部
２０１０…ＵＩ入力部、２０２０…ＵＩ検出部
２０３０…動作モード制御部、２０４０…システム・パラメータ生成部
２０５０…本体ボタン
２１０１…音声コマンド処理部、２１０２…リモコン処理部
２１０３…排他制御部

Claims (21)

1. 斜視鏡と前記斜視鏡を通して画像を撮像するカメラを含む医療用観察装置を保持可能なアームと、
   前記アーム及び前記医療用観察装置を制御する制御部と、
   ユーザーが前記カメラの視野範囲の変更の指示を入力するためのユーザー・インターフェース部と、
   を具備し、
   前記制御部は、前記ユーザー・インターフェース部を介して指示された通りに前記カメラの視野範囲を変更するように、前記アームに対する前記斜視鏡の鏡筒の接眼光学系の光軸Ｃ１回りの回転動作と、前記カメラの撮像光学系の光軸Ｃ２回りの回転動作と、前記アームの動作を制御する、医療用観察システム。
2. 前記ユーザー・インターフェース部は、ユーザーが前記カメラの視野範囲の任意の方向への移動の指示を入力するための第１の操作子を備え、
   前記制御部は、前記第１の操作子の操作に従って前記カメラの視野範囲が指示された移動方向に対応する方向に移動するように、前記アームに対する前記斜視鏡の鏡筒の接眼光学系の光軸Ｃ１回りの回転動作と、前記カメラの撮像光学系の光軸Ｃ２回りの回転動作と、前記アームの動作を制御する、
   請求項１に記載の医療用観察システム。
3. 前記第１の操作子は、少なくとも上下、左右及び斜め方向を含む方向への移動の指示を入力するための操作子である、
   請求項２に記載の医療用観察システム。
4. 前記ユーザー・インターフェース部は、ユーザーが前記斜視鏡の視野方向を指示するための第２の操作子をさらに備え、
   前記制御部は、前記第２の操作子の操作に従って、前記斜視鏡の鏡筒軸周りの回転角を制御する、
   請求項１に記載の医療用観察システム。
5. 前記第２の操作子は、前記斜視鏡の視野方向を任意の方向への移動指示及び正転又は逆転の回転指示により入力する操作子である、
   請求項４に記載の医療用観察システム。
6. 前記制御部は、前記斜視鏡を通して撮像された画像を表示する画面上の座標系に対応した向きに前記斜視鏡の回転角を制御する、
   請求項４に記載の医療用観察システム。
7. 前記制御部は、前記斜視鏡を通して撮像された画像を表示する画面上の上下方向が重力方向に基づいて調整した向きとなるように前記斜視鏡の回転角を制御する、
   請求項４に記載の医療用観察システム。
8. 前記ユーザー・インターフェース部は、前記カメラのズームのアップ及びダウンの指示を入力するための第３の操作子をさらに備え、
   前記制御部は、前記第３の操作子の操作に従って前記カメラの視野範囲がズーム・アップ又はダウンするように、前記アームに対する前記斜視鏡の鏡筒の接眼光学系の光軸Ｃ１回りの回転動作と、前記カメラの撮像光学系の光軸Ｃ２回りの回転動作と、前記アームの動作を制御する、
   請求項１に記載の医療用観察システム。
9. 前記制御部は、前記斜視鏡がトロッカーを介して腹腔内に挿入され、前記トロッカーを支点として回転するという拘束条件下で、前記斜視鏡と観察対象の間が前記ユーザー・インターフェース部を介して指示されたズーム倍率に応じた距離となるように、前記アームに対する前記斜視鏡の鏡筒の接眼光学系の光軸Ｃ１回りの回転動作と、前記カメラの撮像光学系の光軸Ｃ２回りの回転動作と、前記アームの動作を制御する、
   請求項８に記載の医療用観察システム。
10. 前記アームに保持された前記医療用観察装置をさらに備える、
    請求項１に記載の医療用観察システム。
11. 前記カメラの視野範囲の画像を表示する表示装置をさらに備える、
    請求項１に記載の医療用観察システム。
12. 前記ユーザー・インターフェース部は、前記表示装置の画面に表示されている前記カメラの視野範囲の画像の任意の方向への移動指示又は回転方向の指示をユーザーから入力する、
    請求項１１に記載の医療用観察システム。
13. 前記ユーザー・インターフェース部は、少なくとも操作子を備えたコントローラと音声入力部を備え、
    前記制御部は、前記音声入力部に入力された音声及び前記コントローラの操作に応じて、前記アーム及び前記医療用観察装置を制御する、
    請求項１に記載の医療用観察システム。
14. 前記制御部は、音声入力の開始を指示する第１の起動フレーズが入力されたことに応答して音声コマンドによる前記アーム及び前記医療用観察装置の制御を開始し、音声入力の終了を指示する第２の起動フレーズが入力されたことに応答して音声コマンドによる前記アーム及び前記医療用観察装置の制御を終了する、
    請求項１３に記載の医療用観察システム。
15. 前記制御部は、前記コントローラ上の所定のトリガーボタンが操作されている期間のみ、前記コントローラの操作に応じて前記アーム及び前記医療用観察装置を制御する、
    請求項１３に記載の医療用観察システム。
16. 前記制御部は、前記音声入力部に入力された音声コマンドよりも前記コントローラの操作を優先させて、前記アーム及び前記医療用観察装置を制御する、
    請求項１３に記載の医療用観察システム。
17. 前記制御部は、前記カメラの視野の俯瞰又はズームに関する音声入力と、前記コントローラに対する前記カメラの視野ズームに関する操作が同時に行なわれたときに、前記コントローラに対する操作を優先させて、前記アーム及び前記医療用観察装置を制御する、
    請求項１６に記載の医療用観察システム。
18. 前記制御部は、前記カメラの視野範囲の移動又は所定の目標物の追従に関する音声入力と、前記コントローラに対する前記カメラの視野範囲の移動に関する操作が同時に行なわれたときに、前記コントローラに対する操作を優先させて、前記アーム及び前記医療用観察装置を制御する、
    請求項１６に記載の医療用観察システム。
19. 前記制御部は、前記音声入力部及び前記コントローラに対して前記斜視鏡の回転の指示が同時に行なわれたときに、前記コントローラに対する操作を優先させて、前記斜視鏡の回転を制御する、
    請求項１６に記載の医療用観察システム。
20. アームに保持された斜視鏡と前記斜視鏡を通して画像を撮像するカメラを含む医療用観察装置における前記カメラの視野範囲の変更の指示を入力するためのユーザー・インターフェース部と、
    前記アーム及び前記医療用観察装置を制御する制御部と、
    を具備し、
    前記制御部は、前記ユーザー・インターフェース部を介して指示された通りに前記カメラの視野範囲を変更するように、前記アームに対する前記斜視鏡の鏡筒の接眼光学系の光軸Ｃ１回りの回転動作と、前記カメラの撮像光学系の光軸Ｃ２回りの回転動作と、前記アームの動作を制御する、制御装置。
21. アームに保持された斜視鏡と前記斜視鏡を通して画像を撮像するカメラを含む医療用観察装置を制御する制御装置による制御方法であって、
    前記制御装置が備えるユーザー・インターフェース部が、前記カメラの視野範囲の変更の指示を入力するためのユーザー入力ステップと、
    前記制御装置が備える制御部が、前記ユーザー入力ステップで指示された通りに前記カメラの視野範囲を変更するように、前記アームに対する前記斜視鏡の鏡筒の接眼光学系の光軸Ｃ１回りの回転動作と、前記カメラの撮像光学系の光軸Ｃ２回りの回転動作と、前記アームの動作を制御する制御ステップと、
    を有する制御方法。

Images