JP6939778B2

JP6939778B2 - 制御装置、制御方法及び手術システム

Info

Publication number: JP6939778B2
Application number: JP2018514171A
Authority: JP
Inventors: 和田　成司; 成司和田; 前田　毅; 毅前田; 加奈松浦
Original assignee: Sony Corp; Sony Group Corp
Current assignee: Sony Corp; Sony Group Corp
Priority date: 2016-04-28
Filing date: 2017-03-06
Publication date: 2021-09-22
Anticipated expiration: 2037-03-06
Also published as: US20190328479A1; JPWO2017187795A1; WO2017187795A1; US11278369B2; EP3449859A4; EP3449859A1

Description

本開示は、制御装置、制御方法及び手術システムに関する。

近年、医療現場においては、検査や手術をサポートするために支持アーム装置が用いられつつある。例えば、支持アーム装置のアーム部によって内視鏡や顕微鏡等の術部を拡大観察するための観察用器具を支持し、当該観察用器具によって撮影された画像を見ながら医師が検査や手術を行う方法が提案されている。あるいは、アーム部の先端に鉗子やレトラクタ等の処置具を設け、従来人手で行われていた処置具の支持や操作を、支持アーム装置に行わせる方法も提案されている。なお、以下の説明では、支持アーム装置のアーム部の先端に設けられる観察用器具又は処置具等のことを、医療用器具と総称する。また、以下の説明では、アーム部の先端に観察用器具が設けられた支持アーム装置のことを観察装置とも呼称する。

また、このような支持アーム装置を用いた手術を対象とした支援システムが開発されている。例えば、特許文献１には、マニピュレータによって医療用器具を支持し、当該マニピュレータを操作することによって手術を行う手術システムに対する支援システムが開示されている。特許文献１に記載の技術では、ＭＲＩ（ＭａｇｎｅｔｉｃＲｅｓｏｎａｎｃｅＩｍａｇｉｎｇ）装置によって撮影された患者の術部の３次元情報に基づいて、ユーザによって、当該術部に対して、医療用器具が動作してもよい領域又は経路が設定される。そして、手術中には、医療用器具の位置をセンシングするとともに、当該医療用器具が設定された領域又は経路から外れそうになった場合に、警告が発せられる。当該技術によれば、医療用器具が患者の身体の意図せぬ部位に接触してしまう事態を回避し、より安全な手術を実現することが可能になると考えられる。

しかしながら、特許文献１に記載の技術では、ＭＲＩ装置で事前に撮影された患者の術部の３次元情報に基づいて、上記領域又は上記経路が設定される。実際の手術時における患者の体腔内の状況は、必ずしも手術前に取得された情報に基づく３次元情報とは一致しない場合があるため、このような場合には、特許文献１に記載の技術では、警告が有効に働かず、安全を十分に確保できない恐れがある。また、特許文献１に記載の技術では、マニピュレータ（すなわち、アーム部）によって支持される医療用器具と、患者の身体との接触を防止することしか考慮されていない。一方、実際の手術現場では、ユーザの操作によるアーム部の移動に伴い、アーム部と周囲の物体（例えば、患者のドレープやメーヨー台（手術器具台）、医療スタッフ、手術機器等）との接触も生じ得る。このような接触が生じれば、アーム部の移動が妨げられることとなり、手術の円滑な実行が困難になる。従って、更に安全な手術を実現するためには、アーム部と周囲の物体との接触も考慮する必要がある。

これに対して、例えば工場において製品の組み立てや溶接作業、塗装作業等に用いられる産業用の多関節ロボット装置においては、そのアーム部と周囲の障害物との干渉を回避するための技術が開発されている。例えば、特許文献２には、冗長自由度を有するアーム部を備えた多関節ロボット装置において、当該アーム部の先端に設けられるエンドエフェクタの位置及び姿勢を固定したまま、干渉を回避し得るようにアーム部の駆動を制御する方法が開示されている。特許文献２に記載の技術のような、産業用の多関節ロボット装置における干渉回避技術を、医療用の支持アーム装置の駆動制御に応用することにより、より安全な手術を実現できる可能性がある。

特開２００４−２２３１２８号公報特開２００５−１４１０８号公報

ここで、特許文献２に記載の技術では、障害物に対して設定された比較基準点と、多関節ロボット装置に対して設定された比較対象点と、の距離が最大になるようにアーム部の駆動を制御することにより、干渉を回避するような当該アーム部の動作を実現している。産業用の多関節ロボット装置では、例えば流れ作業において同じ作業を繰り返し行うことが想定され、当該多関節ロボット装置と回避対象である障害物との位置関係もほぼ変化しないと考えられるため、このような事前に設定された比較基準点及び比較対象点を用いた駆動制御であっても、一定の効果を奏することが可能であると考えられる。

一方、医療用の支持アーム装置については、手術中に周囲の物体が頻繁に移動することが想定される。従って、特許文献２に記載の技術をそのまま適用したとしても、アーム部と周囲の物体との干渉を効果的に抑制することは困難であると考えられる。

上記事情に鑑みれば、医療用の支持アーム装置においては、より安全にそのアーム部の駆動を制御する技術が求められていた。そこで、本開示では、より安全性を向上させることが可能な、新規かつ改良された制御装置、制御方法及び手術システムを提案する。

本開示によれば、医療用器具を支持するアーム部の駆動を制御する駆動制御部と、前記医療用器具又は前記アーム部の周囲の様子を示す周囲画像に基づいて、前記医療用器具又は前記アーム部の侵入の適否が判断される侵入適否領域を空間上に設定する領域設定部と、ユーザによる前記アーム部に対する非接触の操作に応じて前記駆動制御部によって前記アーム部の駆動が制御される際に、前記侵入適否領域に対する前記医療用器具又は前記アーム部の侵入の有無を判定する侵入判定部と、前記侵入判定部による判定結果に応じて、前記医療用器具又は前記アーム部の前記侵入適否領域への侵入を抑制するための侵入抑制アクションを実行させるアクション指示部と、を備える、制御装置が提供される。

また、本開示によれば、プロセッサが、医療用器具又は前記医療用器具を支持するアーム部の周囲の様子を示す周囲画像に基づいて、前記医療用器具又は前記アーム部の侵入の適否が判断される侵入適否領域を空間上に設定することと、ユーザによる前記アーム部に対する非接触の操作に応じて前記アーム部の駆動を制御する際に、前記侵入適否領域に対する前記医療用器具又は前記アーム部の侵入の有無を判定することと、前記侵入適否領域に対する前記医療用器具又は前記アーム部の侵入の有無の判定結果に応じて、前記医療用器具又は前記アーム部の前記侵入適否領域への侵入を抑制するための侵入抑制アクションを実行させることと、を含む、制御方法が提供される。

また、本開示によれば、アーム部によって支持され、術部を拡大して撮影する顕微鏡部と、前記顕微鏡部によって撮影された前記術部の画像を表示する表示装置と、前記顕微鏡部又は前記アーム部の周囲の様子を示す周囲画像を撮影する周囲画像取得用カメラと、前記アーム部の駆動を制御する駆動制御部と、前記周囲画像取得用カメラによって撮影された前記周囲画像に基づいて、前記顕微鏡部又は前記アーム部の侵入の適否が判断される侵入適否領域を空間上に設定する領域設定部と、ユーザによる前記アーム部に対する非接触の操作に応じて前記駆動制御部によって前記アーム部の駆動が制御される際に、前記侵入適否領域に対する前記顕微鏡部又は前記アーム部の侵入の有無を判定する侵入判定部と、前記侵入判定部による判定結果に応じて、前記顕微鏡部又は前記アーム部の前記侵入適否領域への侵入を抑制するための侵入抑制アクションを実行させるアクション指示部と、を備える、手術システムが提供される。

本開示によれば、医療用器具又はアーム部の周囲の様子を示す周囲画像に基づいて、侵入適否領域が設定される。そして、ユーザによる非接触の操作に応じて当該アーム部の駆動が制御される際に、当該侵入適否領域に対する当該医療用器具又は当該アーム部の侵入の有無に応じて、侵入抑制アクションが実行される。当該構成によれば、実際の周囲の様子を反映して侵入適否領域が設定されるため、より適切に当該侵入適否領域を設定することができるとともに、より適切に侵入抑制アクションを実行することができる。よって、より安全なアーム部の駆動制御が実現し得る。

以上説明したように本開示によれば、より安全性を向上させることが可能になる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。

本実施形態に係る手術システムの概略構成を示す図である。本実施形態に係る手術システムの機能構成の一例を示すブロック図である。周囲画像取得用カメラによって取得された周囲画像の一例を示す図である。距離情報付き周囲画像の一例を示す図である。侵入適否領域を設定するためのＧＵＩの一例について説明するための図である。本実施形態に係る制御方法の処理手順の一例を示すフロー図である。本実施形態に係る制御方法の処理手順の一例を示すフロー図である。本実施形態の一変形例に係る手術システムの概略構成を示す図である。本実施形態に係る観察装置の一構成例を示す外観図である。

以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．手術システムの構成
１−１．概略構成
１−２．機能構成
２．制御方法
３．変形例
４．観察装置の構成例
５．補足

なお、以下では、本開示の一例として、支持アーム装置が、そのアーム部の先端に術部を拡大して撮影する機能を有する電子撮像式の顕微鏡部が設けられる観察装置であり、当該観察装置を用いて手術（例えば、脳外科手術、眼科手術又は心臓外科手術等）が行われる実施形態について説明する。ただし、本開示はかかる例に限定されない。本開示に係る技術は、アーム部の先端に支持される医療用器具の種類にかかわらず、あらゆる種類の支持アーム装置に適用されてよい。また、本開示に係る技術が適用される医療行為は、手術に限定されず、検査等、各種の医療行為であってよい。本開示に係る技術は、支持アーム装置の駆動制御においてより高い安全性を実現するものであり、アーム部の先端に支持される医療用器具の種類や、当該技術が適用される医療行為の内容によらず、同様の効果を奏することが可能である。

また、以下の説明では、後述する手術システムを用いるユーザ、及び後述する観察装置を操作するユーザのことを、便宜的に術者と記載することとする。ただし、この記載は、手術システムを用いるユーザ、及び観察装置を操作するユーザを限定するものではなく、当該観察システムを用いる主体、及び観察装置を操作する主体は、助手や看護師等、他の医療スタッフであってもよい。

（１．手術システムの構成）
（１−１．概略構成）
図１を参照して、本開示の好適な一実施形態に係る手術システムの概略構成について説明する。図１は、本実施形態に係る手術システムの概略構成を示す図である。図１では、本実施形態に係る手術システム１０を用いて、術者２０１が、患者ベッド２０３上の患者２０５に対して手術を行っている様子を概略的に示している。

図１を参照すると、本実施形態に係る手術システム１０は、観察装置１１０と、表示装置１２０と、周囲画像取得用カメラ１３０と、制御装置１４０と、マイクロフォン１５１と、眼鏡型ウェアラブルデバイス１５２と、フットスイッチ１５３と、動作認識用カメラ１５４と、を備える。なお、詳しくは後述するが、マイクロフォン１５１、眼鏡型ウェアラブルデバイス１５２、フットスイッチ１５３及び動作認識用カメラ１５４は、ハンズフリーモードにおける術者２０１の操作を受け付けるための入力装置として機能する。従って、以下の説明では、これらを総称してハンズフリー入力装置とも呼称することとする。

（観察装置）
観察装置１１０は、顕微鏡部１１１と、顕微鏡部１１１を先端で支持するアーム部１１２と、を備える。なお、図１では、簡単のため、観察装置１１０の構成を簡略化して図示している。観察装置１１０の具体的な構成例については、下記（４．観察装置の構成例）で改めて詳細に説明する。

顕微鏡部１１１は、筐体内に、撮像素子、及び当該撮像素子に観察対象からの光（観察光）を導光するための光学系等が格納されて構成される。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。このように、顕微鏡部１１１は、電子的に画像を撮影する、電子撮像式の顕微鏡部である。顕微鏡部１１１は、取得した画像信号を制御装置１４０に送信する。

顕微鏡部１１１の光学系は、焦点距離を調整するためのフォーカスレンズ、及び倍率を調整するためのズームレンズを有する。顕微鏡部１１１には、これらフォーカスレンズ及びズームレンズを光軸方向に移動させるための駆動機構が設けられている。制御装置１４０からの制御によって当該駆動機構を介してフォーカスレンズ及びズームレンズの位置が適宜移動させられることにより、顕微鏡部１１１の焦点距離及び倍率が調整される。

また、本実施形態では、顕微鏡部１１１は、１対の撮像素子を有するステレオカメラとして構成される。つまり、顕微鏡部１１１は、３Ｄ表示のための画像信号を取得する。

アーム部１１２は、複数のリンクが複数の関節部によって互いに回動可能に連結されることによって構成される。各関節部にはアクチュエータが設けられており、制御装置１４０からの制御によってこれらのアクチュエータの駆動が制御されることにより、アーム部の姿勢、並びに顕微鏡部１１１の位置及び姿勢が制御される。手術時には、術者２０１による操作によって、顕微鏡部１１１によって術部が撮影されるように、アーム部１１２の姿勢、並びに顕微鏡部１１１の位置及び姿勢が適宜調整される。

本実施形態では、アーム部１１２は、冗長自由度を有するように構成される。ここで、冗長自由度を有するとは、顕微鏡部１１１について所望の位置及び姿勢を実現するために必要な最低限の自由度よりも多い自由度を有することを意味する。例えば、一般的に、顕微鏡部１１１の動きに関して、並進３自由度及び回転３自由度の計６自由度を有するようにアーム部１１２が構成されれば、当該アーム部１１２の可動範囲内において顕微鏡部１１１の位置及び姿勢を自由に制御することが可能になる。従って、本実施形態では、アーム部１１２は、顕微鏡部１１１の動きに関して６自由度よりも大きい自由度（例えば７自由度又は８自由度）を有するように構成される。冗長自由度を有することにより、例えば、顕微鏡部１１１の位置及び姿勢を固定した状態で、アーム部１１２の姿勢のみを変更するように、当該アーム部１１２を駆動させることが可能になる。

（表示装置）
表示装置１２０は、患者ベッド２０３を挟んで術者２０１と対向する位置に配置される。表示装置１２０には、制御装置１４０からの制御により、観察装置１１０の顕微鏡部１１１によって撮影された術部の画像が映し出される。術者２０１は、表示装置１２０に映し出された画像によって術部を観察しながら、当該術部に対して各種の処置を行う。

また、表示装置１２０としては、眼鏡式の３Ｄディスプレイが用いられる。これにより、立体視が可能になるため、術者２０１が術部をより正確に観察することが可能になる。なお、表示装置１２０の具体的な構成が限定されず、表示装置１２０としては、例えば液晶ディスプレイ装置又はＥＬ（Electro Luminescence）ディスプレイ装置等、各種の公知の表示装置が適用されてよい。

また、表示装置１２０は、術部画像に代えて、又は術部画像とともに、手術に関する各種の情報（例えば、患者２０５の身体的データや、前もって行われた検査の結果、術式についての情報等）を表示してもよい。この表示の切り替えは、術者２０１による任意の操作に応じて実行されてよい。

（周囲画像取得用カメラ）
周囲画像取得用カメラ１３０は、観察装置１１０の顕微鏡部１１１に設けられ、顕微鏡部１１１及びアーム部１１２の周囲の様子を示す周囲画像を撮影する。周囲画像取得用カメラ１３０は、可能な限り広い範囲の画像を撮影可能なように、例えば広角レンズを有するカメラとして構成される。また、全周囲の画像を得るために、複数の周囲画像取得用カメラ１３０が顕微鏡部１１１に設けられてもよい。周囲画像取得用カメラ１３０は、撮影した周囲画像に係る画像信号を制御装置１４０に送信する。なお、本実施形態では、便宜的に、周囲画像を、「顕微鏡部１１１「及び」アーム部１１２の周囲の様子を示す画像」としているが、本開示はかかる例に限定されない。例えば、周囲画像は、「顕微鏡部１１１「又は」アーム部１１２の周囲の様子を示す画像」であってもよい。周囲画像は、「顕微鏡部１１１「及び／又は」アーム部１１２の周囲の様子を示す画像」として設定されればよく、実装時に周囲画像をどのように設定するかは、術者又は手術システム１０の設計者等によって適宜設定されてよい。

ここで、詳しくは後述するが、周囲画像は、侵入適否領域を設定するための距離情報付き周囲画像（周囲画像に対して、顕微鏡部１１１及びアーム部１１２と周囲の物体との距離情報が付加された画像）を表示するために用いられる。従って、周囲画像取得用カメラ１３０としては、距離情報を取得可能なもの（例えばステレオカメラ等）が用いられる。周囲画像取得用カメラ１３０によって取得された当該距離情報も、画像信号とともに制御装置１４０に送信される。

（制御装置）
制御装置１４０は、手術システム１０の動作を統合的に制御する。具体的には、制御装置１４０は、術者２０１の操作に応じてアーム部１１２の駆動を制御し、顕微鏡部１１１の位置及び姿勢（すなわち、撮影範囲及び撮影方向）を制御する。また、制御装置１４０は、術者２０１の操作に応じて、顕微鏡部１１１の撮影条件（焦点距離及び倍率等）を制御する。また、制御装置１４０は、表示装置１２０における表示を制御する。

ここで、アーム部１１２の各関節部に設けられるアクチュエータには、モータ等の駆動機構、及び各関節部における回転角度を検出するエンコーダ等が搭載される。当該エンコーダの検出値は、随時制御装置１４０に送信されており、制御装置１４０は、このエンコーダの検出値を用いて、アーム部１１２の駆動制御を行うことができる。具体的には、制御装置１４０は、当該エンコーダによって検出された各関節部の回転角度についての情報と、制御装置１４０に予め入力されているアーム部１１２の内部モデル（アーム部１１２の駆動制御に用いられる制御モデルであり、制御対象であるアーム部１１２の幾何的な情報、及びアーム部１１２の運動についての情報を含むモデル）と、に基づいて、現在のアーム部１１２の状態（具体的には、アーム部１１２の現在の姿勢、並びに顕微鏡部１１１の現在の位置及び姿勢）を把握することができる。制御装置１４０は、把握したこれらの情報を用いて、術者２０１からの操作に応じた顕微鏡部１１１の移動を実現するような各関節部に対する制御値（例えば、位置制御であれば回転角度、又は力制御であれば発生トルク等）を算出し、当該制御値に従って各関節部の駆動機構を駆動させる。これにより、術者２０１の操作に応じたアーム部１１２の駆動制御が実現され得る。

また、制御装置１４０は、アーム部１１２の動作モードを設定する。ここで、動作モードとは、制御装置１４０がアーム部１１２の駆動制御を行う際における、術者２０１による操作の種類に応じたアーム部１１２の動作モードのことである。具体的には、動作モードには、手動モード及びハンズフリーモードが存在する。

手動モードとは、術者２０１が手で顕微鏡部１１１及びアーム部１１２に直接触れ、当該アーム部１１２に力を加えながら当該アーム部１１２を移動させる操作に応じて、当該アーム部１１２の駆動が制御される動作モードのことである。以下の説明では、この手動モードに係る操作のことを、便宜的に、直接的な操作とも呼称することとする。例えば、手動モードでは、制御装置１４０は、力制御によってアーム部１１２を駆動させる。この際、制御装置１４０は、術者２０１からの外力を受け、その外力にならってスムーズにアーム部１１２が移動するように各関節部のアクチュエータを駆動させる、いわゆるパワーアシスト制御を行うことができる。パワーアシスト制御では、術者２０１の直接的な操作をサポートするようにアーム部１１２の駆動が制御されることとなるため、術者２０１に、あたかも無重力下でアーム部１１２を移動させているかのような軽い操作感を与えることができ、術者２０１の操作性を向上させることができる。

一方、ハンズフリーモードとは、術者２０１が自身の手を用いずに行う操作に応じて、アーム部１１２の駆動が制御される動作モードのことである。以下の説明では、このハンズフリーモードに係る操作のことを、便宜的に、ハンズフリー操作とも呼称することとする。具体的には、本実施形態では、ハンズフリー操作は、音声、視線、頭部の動き（いわゆる、ヘッドトラック）、ジェスチャ、及びフットスイッチ１５３を介した脚部による操作を含む。例えば、ハンズフリーモードでは、制御装置１４０は、位置制御によって、術者２０１がハンズフリー操作によって指定した移動量だけ顕微鏡部１１１が移動するように、アーム部１１２を駆動させる。

手術時には、術者２０１の両手は処置具を把持しているため、ハンズフリーモードで手を用いずにアーム部１１２の駆動制御を行うことができることにより、術者２０１は、顕微鏡部１１１の操作のために処置具を一旦手放す必要がない。また、ハンズフリーモードで手を用いずにアーム部１１２の駆動制御を行うことができることにより、術者２０１は、顕微鏡部１１１の操作のために不潔域に存在する入力装置等に手で触れる必要がない。このように、ハンズフリーモードでアーム部１１２を操作することにより、手術をより円滑に行うことが可能になる。

なお、この動作モードの切り替えは、術者２０１による任意の指示入力（例えば、ハンズフリー入力装置を介した指示入力や、スイッチ等の他の入力装置を介した指示入力）によって行われてよい。

また、制御装置１４０は、アーム部１１２の駆動制御に際して、周囲画像取得用カメラ１３０によって撮影された周囲画像に基づいて、空間上に顕微鏡部１１１及びアーム部１１２の侵入の適否が判断される領域（以下、侵入適否領域とも呼称する）を設定する。そして、制御装置１４０は、術者２０１のハンズフリー操作に応じてアーム部１１２を駆動させている間に、当該侵入適否領域に対して顕微鏡部１１１及びアーム部１１２が侵入した場合には、例えばアーム部１１２の動作を停止させる、及び／又は警告を出力させる等の、侵入適否領域へのアーム部１１２の侵入を抑制するためのアクション（以下、侵入抑制アクションとも呼称する）を実行させる。なお、制御装置１４０の具体的な機能については、下記（１−２．機能構成）で改めて詳細に説明する。なお、本実施形態では、便宜的に、侵入適否領域（具体的には、後述する侵入禁止領域、侵入注意領域、及び侵入許可領域）を、「顕微鏡部１１１「及び」アーム部１１２の侵入の適否が判断される領域」としているが、本開示はかかる例に限定されない。例えば、侵入適否領域は、「顕微鏡部１１１「又は」アーム部１１２の侵入の適否が判断される領域」であってもよい。侵入適否領域は、「顕微鏡部１１１「及び／又は」アーム部１１２の侵入の適否が判断される領域」として設定されればよく、実装時に侵入適否領域をどのように設定するかは、術者又は手術システム１０の設計者等によって適宜設定されてよい。

なお、制御装置１４０は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のプロセッサ、プロセッサとメモリ等の記憶素子が混載された制御基板、又はＰＣ（Personal Computer）等の一般的な情報処理装置等であり得る。制御装置１４０を構成するプロセッサが所定のプログラムに従って演算処理を実行することにより、上記の各機能が実現され得る。

（ハンズフリー入力装置）
ハンズフリー入力装置は、術者２０１によるハンズフリー操作を受け付けるための入力装置の総称である。具体的には、本実施形態では、ハンズフリー入力装置として、マイクロフォン１５１、眼鏡型ウェアラブルデバイス１５２、フットスイッチ１５３及び動作認識用カメラ１５４が設けられる。

マイクロフォン１５１及び眼鏡型ウェアラブルデバイス１５２は、術者２０１に装着される。マイクロフォン１５１は、術者２０１の音声を収音し、その音声に係る音声信号を制御装置１４０に送信する。制御装置１４０は、マイクロフォン１５１から送信されてくる音声信号を受信し、音声認識処理を行うことにより、術者２０１による音声を介した操作を認識する。

眼鏡型ウェアラブルデバイス１５２には、術者２０１の視線を検出する視線検出センサが搭載される。眼鏡型ウェアラブルデバイス１５２の視線検出センサは、術者２０１の視線についての検出結果を制御装置１４０に送信する。制御装置１４０は、当該検出結果を解析することにより、術者２０１による視線を介した操作を認識する。なお、眼鏡型ウェアラブルデバイス１５２は、表示装置１２０において３Ｄ表示を見るための３Ｄ眼鏡としての機能も備えている。

フットスイッチ１５３は、術者２０１の脚部による操作内容を示す操作信号を制御装置１４０に送信する。制御装置１４０は、当該操作信号に基づいて、術者２０１によるフットスイッチ１５３を介した操作を認識する。

動作認識用カメラ１５４は、術者２０１の姿を撮影し得る位置に配置される。図示する例では、動作認識用カメラ１５４は、術者２０１と対向して設けられる表示装置１２０の上部に設けられている。動作認識用カメラ１５４は、撮影した術者２０１の画像に係る画像信号を制御装置１４０に送信する。制御装置１４０は、当該画像信号に基づいて画像認識処理を行うことにより、術者２０１のヘッドトラック及びジェスチャを検出し、動作認識用カメラ１５４を介した操作を認識する。なお、術者２０１の頭部にはマーカ１５５が装着されており、制御装置１４０は、動作認識用カメラ１５４によって撮影された術者２０１の画像の中から当該マーカ１５５の動きを検出することにより、術者２０１のヘッドトラックの方向及び移動量を認識することができる。

制御装置１４０は、ハンズフリー入力装置を介した術者２０１による操作に基づいて、上述した顕微鏡部１１１の位置及び姿勢の制御、顕微鏡部１１１の撮影条件の制御、及び表示装置１２０における表示の制御を行う。なお、どのような操作に応じて具体的にどのような制御を行うかは、任意に設定可能である。例えば、顕微鏡部１１１の位置及び姿勢の制御であれば、術者２０１の操作に「方向」の概念を有する指示が含まれている場合には、当該「方向」の概念を有する指示に従って顕微鏡部１１１が移動するように、アーム部１１２が駆動され得る。また、例えば、指示内容に「傾き」の概念を有する指示が含まれている場合には、当該「傾き」の概念を有する指示に従って顕微鏡部１１１が姿勢を変更するように、アーム部１１２が駆動され得る。

以上、本実施形態に係る手術システム１０の概略構成について説明した。なお、手術システム１０の構成は、以上説明した構成例に限定されない。例えば、手術システム１０では、観察装置１１０の顕微鏡部１１１はステレオカメラとして構成されなくてもよく、例えば単板の撮像素子を有するように構成され、２Ｄ表示用の画像信号を取得してもよい。この場合には、表示装置１２０としても、２Ｄ表示に対応したものが用いられ、当該表示装置１２０は、術部の画像を２Ｄ表示することとなる。また、例えば、手術システム１０では、観察装置１１０のアーム部１１２は、顕微鏡部１１１の動きに関して冗長自由度を有するように構成されなくてもよい。例えば、アーム部１１２は、６自由度以下の任意の自由度を有するように構成されてもよい。ただし、手術時には多様な方向から術部を撮影したいという要望が存在し得るため、顕微鏡部１１１を自由に移動させるために、アーム部１１２は、少なくとも６自由度を有するように構成されることが好ましい。

また、上記の構成例では、周囲画像取得用カメラ１３０が顕微鏡部１１１に取り付けられていたが、本実施形態はかかる例に限定されない。周囲画像取得用カメラ１３０は、顕微鏡部１１１及びアーム部１１２の周囲の画像を取得可能であればよく、その設置位置は任意であってよい。例えば、周囲画像取得用カメラ１３０は、手術室の天井に設けられる、いわゆる術場カメラであってもよい。

また、ハンズフリー入力装置の種類も上述した例に限定されない。ハンズフリー入力装置は、術者２０１が手を用いずに操作入力可能な装置であればよく、ハンズフリー入力装置としては任意の装置が適用されてよい。

（１−２．機能構成）
図２を参照して、図１に示す手術システム１０の機能構成について説明する。図２は、本実施形態に係る手術システム１０の機能構成の一例を示すブロック図である。

図２では、図１に示す手術システム１０を構成する各装置（観察装置１１０の顕微鏡部１１１及びアーム部１１２、表示装置１２０、周囲画像取得用カメラ１３０、制御装置１４０、並びにハンズフリー入力装置１５０）、及び手術システム１０が有する各機能を、模擬的にブロックによって示している。観察装置１１０、表示装置１２０、周囲画像取得用カメラ１３０及びハンズフリー入力装置１５０の構成及び機能については図１を参照して既に説明しているため、ここでは、制御装置１４０の機能について詳細に説明する。

なお、図１では図示及び説明を省略していたが、図２に示すように、手術システム１０は、手動入力装置１７０及び警告出力部１８０を更に備える。手動入力装置１７０は、ハンズフリー入力装置１５０以外の入力装置であり、術者２０１が手で触れて操作入力を行う入力装置である。手動入力装置１７０は、例えばタッチパネル、レバー、スイッチ等である。また、警告出力部１８０は、術者２０１に対して視覚的、聴覚的及び／又は触覚的に警告を出力する機能を有する。例えば、警告出力部１８０は、ランプ、ブザー、及び／又は術者２０１に装着されたバイブレーション装置等によって構成される。当該バイブレーション装置は、例えば眼鏡型ウェアラブルデバイス１５２に設けられてもよいし、別個の装置として設けられてもよい。あるいは、警告出力部１８０は、表示装置１２０を含む任意の表示装置によって構成され、警告を示す光や文字等を当該表示装置に表示してもよい。本実施形態では、警告出力部１８０を構成する装置は任意であってよく、警告の様態も任意であってよい。

図示するように、制御装置１４０は、その機能として、操作認識部１６０と、画像処理部１４１と、領域設定部１４２と、動作モード設定部１４３と、侵入判定部１４４と、アクション指示部１４５と、駆動制御部１４６と、警告制御部１４７と、を有する。

（処置前における処理）
まず、手術のセッティングが終了した後、術者２０１が術部に対して各種の処置を行う前に実行される処理に係る機能について説明する。なお、手術のセッティングとは、具体的には、患者２０５の手術室内への搬入、術部を露出させるための作業（脳外科手術であれば開頭作業）、並びに医療スタッフ及び手術機器の配置等であり得る。

手術のセッティングが終了し、術者２０１が処置を行う前において、画像処理部１４１は、周囲画像取得用カメラ１３０によって取得された周囲画像についての画像信号に対して、当該術部画像を表示装置１２０に表示させるための各種の画像処理を行う。そして、当該画像処理を施した画像信号を表示装置１２０に送信するとともに、当該画像信号に基づいて表示装置１２０に周囲画像を表示させる。なお、上記画像処理では、例えば、現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）及び／又は拡大処理（すなわち、電子ズーム処理）等、各種の公知の信号処理が行われてよい。

図３は、周囲画像取得用カメラ１３０によって取得された周囲画像の一例を示す図である。図３に示すように、周囲画像には、顕微鏡部１１１及びアーム部１１２と、その周囲の物体が含まれ得る。図示する例であれば、周囲の物体として、術者２０１、他の医療スタッフ２０７、患者２０５、表示装置１２０、各種の手術機器２０９等が映し出されている。なお、図３、及び後述する４及び図５では、一例として、周囲画像取得用カメラ１３０が手術室の天井に設けられた場合に取得され得る画像を示している。

また、画像処理部１４１は、周囲画像に基づいて、顕微鏡部１１１及びアーム部１１２と、周囲の物体（例えば、術者２０１、患者２０５、他の医療スタッフ２０７、及び各種の手術機器２０９等）との距離を解析し、周囲画像に対してその距離情報を付加した距離情報付き周囲画像を表示装置１２０に表示させる。

図４は、距離情報付き周囲画像の一例を示す図である。図４に示すように、距離情報は、例えば、顕微鏡部１１１及びアーム部１１２と周囲の物体との距離をいくつかの段階に分類し、この分類に応じて周囲画像を領域分けし、当該領域に対して段階ごとに異なる色を付すことによって、示される。図示する例では、顕微鏡部１１１及びアーム部１１２との距離が極近い物体が存在する領域３０１、顕微鏡部１１１及びアーム部１１２との距離が近い物体が存在する領域３０３、顕微鏡部１１１及びアーム部１１２との距離が中程度の物体が存在する領域３０５、及び顕微鏡部１１１及びアーム部１１２との距離が遠い物体が存在する領域３０７、の４つの領域に周囲画像が領域分けされ、各領域３０１〜３０７にそれぞれ異なる色が付されることにより、距離情報が示されている。これらの領域のうち、領域３０１〜３０５は、アーム部１１２の可動範囲内の領域、すなわち、駆動時に顕微鏡部１１１及びアーム部１１２が侵入する可能性がある領域であり、領域３０７は、アーム部１１２の可動範囲外の領域である。

更に、画像処理部１４１は、距離情報付き周囲画像に基づいて、侵入適否領域を設定するためのＧＵＩ（Graphical User Interface）に係る表示を、表示装置１２０に表示させる。当該ＧＵＩの詳細については、図５を参照して後述する。

領域設定部１４２は、周囲画像に基づいて空間上に侵入適否領域を設定する。本実施形態では、領域設定部１４２は、侵入適否領域を設定するためのＧＵＩを介して行われる術者２０１による領域選択操作に応じて、空間上に当該侵入適否領域を設定する。

図５は、侵入適否領域を設定するためのＧＵＩの一例について説明するための図である。図示するように、侵入適否領域を設定するためのＧＵＩでは、距離情報付き周囲画像が表示装置１２０に表示される。当該ＧＵＩでは、距離情報付き周囲画像において顕微鏡部１１１及びアーム部１１２からの距離に応じて分類されている各領域３０１〜３０７を、術者２０１が手動入力装置１７０を介して適宜選択することにより、これらの領域ごとに侵入適否領域を設定することができる。この際、領域３０１〜３０７がそれぞれ複数存在する場合には、その１つずつの領域に対して侵入適否領域を設定することができる。例えば、手動入力装置１７０がタッチパネルである場合には、当該タッチパネルが表示装置１２０と一体的に構成されており、術者２０１は、表示画面上の領域３０１〜３０７に指、スタイラス等で直接触れることにより、侵入適否領域として設定する領域を選択することができる。あるいは、手動入力装置１７０は、マウス等のポインティングデバイスであってもよく、術者２０１は、当該ポインティングデバイスを介して表示画面上のポインタを操作することにより、領域３０１〜３０７の中から侵入適否領域として設定する領域を選択してもよい。

ここで、本実施形態では、侵入適否領域として、３種類の領域、すなわち侵入禁止領域３１１、侵入注意領域３１３及び侵入許可領域３１５が設定される。侵入禁止領域３１１は、アーム部１１２の可動範囲内の領域であって、安全の観点から、顕微鏡部１１１及びアーム部１１２が侵入することが禁止される領域である。例えば、図示するように、術者２０１は、上記ＧＵＩにおいて、アーム部１１２の可動範囲に属する領域３０１〜３０５の中から、患者２０５や手術機器等、顕微鏡部１１１及びアーム部１１２と接触してはいけない物体が存在する領域を、侵入禁止領域３１１として選択する。

侵入注意領域３１３は、アーム部１１２の可動範囲内の領域であって、注意を払う必要はあるものの、顕微鏡部１１１及びアーム部１１２が部分的に侵入しても差し支えない領域である。例えば、図示するように、術者２０１は、上記ＧＵＩにおいて、アーム部１１２の可動範囲に属する領域３０１〜３０５の中から、例えば手術室内に懸架されたケーブルや布等、顕微鏡部１１１及びアーム部１１２と接触したとしても柔軟に変形可能な物体が存在する領域を、侵入注意領域３１３として選択する。

侵入許可領域３１５は、アーム部１１２の可動範囲内の領域であって、現状は物体が存在するものの、顕微鏡部１１１及びアーム部１１２が侵入しても差し支えない領域である。例えば、図示するように、術者２０１は、上記ＧＵＩにおいて、アーム部１１２の可動範囲に属する領域３０１〜３０５の中から、例えば医療スタッフ（助手や看護師等）等、顕微鏡部１１１及びアーム部１１２が近付いてきた場合に避けることが可能な物体が存在する領域を、侵入許可領域３１５として選択する。

領域設定部１４２は、この術者２０１による選択操作に応じて、空間上に侵入禁止領域、侵入禁止注意領域及び侵入許可領域を設定する。そして、領域設定部１４２は、設定した侵入禁止領域、侵入禁止注意領域及び侵入許可領域についての情報を、侵入判定部１４４に提供する。なお、必ずしも侵入禁止領域、侵入禁止注意領域及び侵入許可領域が全て設定されなくてもよく、これらのうちの少なくともいずれかが設定されればよい。

このように、本実施形態では、手術のセッティングが終了した後、術者が処置を開始する前のタイミングで撮影された周囲画像に基づいて、領域設定部１４２が侵入適否領域を設定する。この段階で取得された周囲画像は、まさに実際の処置時の状況を反映したものであるであるため、この周囲画像に基づいて侵入適否領域が設定されることにより、より実態に即した適切な侵入適否領域を設定することができる。また、侵入適否領域は、術者２０１によって任意に設定可能である。実際の手術現場を熟知している術者２０１によって侵入適否領域が設定されることによって、当該侵入適否領域がより適切に設定され得る。

（処置中における処理）
次に、上記の侵入適否領域の設定処理が行われた後、術者２０１が術部に対して各種の処置を行っている最中に実行される処理に係る機能について説明する。

操作認識部１６０は、ハンズフリー入力装置１５０から送信される術者２０１の操作を示す情報に基づいて、当該術者２０１の操作を認識する。具体的には、操作認識部１６０は、その機能として、音声認識部１６１と、視線認識部１６２と、ヘッドトラック認識部１６３と、ジェスチャ認識部１６４と、フットスイッチ操作認識部１６５と、を有する。

音声認識部１６１は、マイクロフォン１５１によって収音された術者２０１の音声に係る音声信号を解析し、術者２０１による音声を介した操作を認識する。視線認識部１６２は、眼鏡型ウェアラブルデバイス１５２に搭載される視線検出センサよって検出された術者２０１の視線についての検出結果に基づいて、術者２０１による視線を介した操作を認識する。ヘッドトラック認識部１６３及びジェスチャ認識部１６４は、動作認識用カメラ１５４によって撮影された術者２０１の画像を解析することにより、術者２０１によるヘッドトラック及びジェスチャを介した操作を認識する。フットスイッチ操作認識部１６５は、フットスイッチ１５３によって取得された術者２０１の脚部による操作に係る操作信号に基づいて、術者２０１によるフットスイッチ１５３を介した操作を認識する。

操作認識部１６０によって認識される操作は、動作モードの変更に関するもの、アーム部１１２の操作に関するもの、及び表示装置１２０の表示制御に関するものを含む。操作認識部１６０は、認識した操作が動作モードの変更に関するものである場合には、その操作内容についての情報を、動作モード設定部１４３に提供する。また、操作認識部１６０は、認識した操作がアーム部１１２の操作に関するものである場合には、その操作内容についての情報を、駆動制御部１４６に提供する。また、操作認識部１６０は、認識した操作が表示装置１２０の表示制御に関するものである場合には、その操作内容についての情報を、画像処理部１４１に提供する。

画像処理部１４１は、顕微鏡部１１１によって取得された術部画像についての画像信号に対して、当該術部画像を表示装置１２０に表示させるための各種の画像処理（例えば、上述した周囲画像に係る画像処理と同様の処理）を行う。そして、画像処理を施した画像信号を表示装置１２０に送信するとともに、当該画像信号に基づいて表示装置１２０に術部画像を表示させる。また、画像処理部１４１は、術者２０１による操作に応じて、術部画像の代わりに、又は術部画像とともに、手術に関する各種の情報を表示装置１２０に表示させてもよい。

動作モード設定部１４３は、操作認識部１６０から提供される術者２０１の操作内容についての情報に応じて、アーム部１１２の動作モードを、手動モード及びハンズフリーモードのいずれかに設定する。動作モード設定部１４３は、設定した動作モードについての情報を、侵入判定部１４４及び駆動制御部１４６に提供する。

侵入判定部１４４は、動作モード設定部１４３によって設定された動作モードについての情報、領域設定部１４２によって設定された侵入適否領域（すなわち、侵入禁止領域、侵入禁止注意領域及び侵入許可領域）についての情報、及びアーム部１１２から送信されるアーム部１１２の状態を示す情報（具体的には、各関節部に設けられるエンコーダの検出値）に基づいて、ハンズフリー操作に応じてアーム部１１２の駆動が制御されている最中に、顕微鏡部１１１及びアーム部１１２が侵入適否領域に侵入したかどうかを判定する。ここで、上述したように、制御装置１４０には、アーム部１１２の各関節部に設けられるエンコーダの検出値が随時送信されている。侵入判定部１４４は、当該エンコーダの検出値と、制御装置１４０に予め入力されているアーム部１１２の内部モデルと、に基づいて、現在のアーム部１１２の状態（具体的には、アーム部１１２の姿勢、並びに顕微鏡部１１１の位置及び姿勢）を把握することができる。そして、侵入判定部１４４は、把握した現在のアーム部１１２の状態と、空間上に設定されている侵入適否領域と、を比較することにより、顕微鏡部１１１及びアーム部１１２の侵入適否領域への侵入有無を判定する。

なお、本明細書では、便宜的に、「侵入判定部１４４が、顕微鏡部１１１及びアーム部１１２が侵入適否領域に侵入したかどうかを判定する」と記載しているが、実際には、侵入判定部１４４は、顕微鏡部１１１及びアーム部１１２が侵入適否領域に侵入しそうになった場合に、顕微鏡部１１１及びアーム部１１２が侵入適否領域に侵入したと判定してもよい。例えば、侵入判定部１４４は、顕微鏡部１１１及びアーム部１１２と、侵入適否領域との距離が所定のしきい値以下になった場合に、顕微鏡部１１１及びアーム部１１２が侵入適否領域に侵入したと判定する。これにより、顕微鏡部１１１及びアーム部１１２が侵入適否領域に実際に侵入する前に、後述するアクション指示部１４５からの指示によって侵入抑制アクションが実行されることとなるため、顕微鏡部１１１及びアーム部１１２の侵入適否領域への侵入を、未然に防止することが可能となる。

侵入判定部１４４は、判定結果についての情報を、アクション指示部１４５に提供する。なお、侵入判定部１４４は、手動モードにおいて術者２０１による直接的な操作に応じてアーム部１１２の駆動が制御されている場合には、侵入有無の判定処理を行わない。この理由については後述する。

アクション指示部１４５は、侵入判定部１４４による判定結果に基づいて、侵入抑制アクションを行う旨の指示を発行する。本実施形態では、アクション指示部１４５は、顕微鏡部１１１及びアーム部１１２の侵入適否領域への侵入の様態に応じて、駆動制御部１４６及び／又は警告制御部１４７に対して、異なる侵入抑制アクションに係る指示を発行する。

具体的には、アクション指示部１４５は、顕微鏡部１１１及びアーム部１１２が侵入禁止領域に侵入したと判定された場合には、アーム部１１２の動きを停止させるように駆動制御部１４６に対して指示を発行するとともに、アーム部１１２が侵入禁止領域に侵入した旨の警告を出力するように警告制御部１４７に対して指示を発行する。これにより、アーム部１１２が侵入禁止領域に侵入することが強制的に防止されるとともに、警告を受けた術者２０１等の医療スタッフが適宜適切な処置を取りながら手術を継続することが可能になる。

また、アクション指示部１４５は、顕微鏡部１１１及びアーム部１１２が侵入注意領域に侵入したと判定された場合には、冗長自由度を利用して顕微鏡部１１１の位置及び姿勢を維持しながら顕微鏡部１１１及びアーム部１１２が侵入注意領域を回避するように（すなわち、顕微鏡部１１１及びアーム部１１２ができるだけ侵入注意領域に入らないように）当該アーム部１１２を動作させるように駆動制御部１４６に対して指示を発行するとともに、アーム部１１２が侵入注意領域に侵入した旨の警告を出力するように警告制御部１４７に対して指示を発行する。これにより、顕微鏡部１１１及びアーム部１１２が侵入注意領域に侵入することが可能な限り抑制されるとともに、警告を受けた術者２０１等の医療スタッフが、顕微鏡部１１１及びアーム部１１２の動きに注意を払いながら手術を継続することが可能になる。

また、アクション指示部１４５は、顕微鏡部１１１及びアーム部１１２が侵入許可領域に侵入したと判定された場合には、アーム部１１２が侵入許可領域に侵入した旨の警告を出力するように警告制御部１４７に対して指示を発行する。これにより、警告を受けた術者２０１等の医療スタッフが、アーム部１１２の動きに注意を払い、当該顕微鏡部１１１及びアーム部１１２を回避しながら、手術を継続することが可能になる。

なお、アクション指示部１４５は、動作モードが手動モードであり、侵入判定部１４４による侵入有無の判定処理が行われていない場合には、侵入抑制アクションに係る処理を行わない。

駆動制御部１４６は、術者２０１の操作に応じて、アーム部１１２の各関節部に設けられているアクチュエータを駆動させることにより、アーム部１１２の駆動を制御する。侵入判定部１４４と同様に、駆動制御部１４６は、アーム部１１２の各関節部に設けられるエンコーダの検出値と、制御装置１４０に予め入力されているアーム部１１２の内部モデルと、に基づいて、現在のアーム部１１２の姿勢を把握することができる。そして、駆動制御部１４６は、把握した現在のアーム部１１２の状態と、操作認識部１６０によって認識された術者２０１による操作内容と、に基づいて、術者２０１による操作に応じた顕微鏡部１１１の移動を実現するような各関節部に対する制御値を算出し、当該制御値に従って各関節部を駆動させることにより、顕微鏡部１１１に所望の位置及び姿勢を取らせる、又はアーム部１１２に所望の姿勢を取らせる。

ここで、駆動制御部１４６は、アーム部１１２の駆動制御に際して、動作モードに応じて異なる制御を行う。まず、アーム部１１２の動作モードが手動モードである場合には、駆動制御部１４６は、力制御によって、術者２０１による直接的な操作に応じて顕微鏡部１１１が移動するようにアーム部１１２の駆動を制御する。例えば、駆動制御部１４６は、パワーアシスト制御によってアーム部１１２を駆動させる。また、この際、駆動制御部１４６は、アクション指示部１４５によって指示が発行されていたとしても、当該指示に従った制御は行わず、術者２０１による直接的な操作に応じてアーム部１１２を動作させる。

一方、アーム部１１２の動作モードがハンズフリーモードである場合には、駆動制御部１４６は、位置制御によって、ハンズフリー入力装置１５０を介して入力され、操作認識部１６０によって認識された術者２０１の操作に応じて顕微鏡部１１１が移動するように、アーム部１１２の駆動を制御する。ただし、この際、駆動制御部１４６は、アクション指示部１４５によって指示が発行されている場合には、術者２０１の操作にかかわらず、当該指示に従った制御を行う。

つまり、駆動制御部１４６は、アーム部１１２が侵入禁止領域に侵入したと判定された場合には、アクション指示部１４５からの指示に従い、術者２０１の操作にかかわらず、アーム部１１２の移動を停止させる。また、駆動制御部１４６は、アーム部１１２が侵入注意領域に侵入したと判定された場合には、アクション指示部１４５からの指示に従い、術者２０１の操作にかかわらず、アーム部１１２ができるだけ侵入注意領域に侵入しないように、顕微鏡部１１１の位置及び姿勢を維持したまま当該アーム部１１２の姿勢を変更させる。

警告制御部１４７は、アクション指示部１４５からの指示に従って警告出力部１８０の駆動を制御し、術者２０１に対してアーム部１１２が侵入適否領域に侵入した旨の警告を出力させる。なお、警告制御部１４７は、術者２０１による任意の操作に応じて、出力させた警告を停止させることができる。

以上、本実施形態に係る手術システム１０の機能構成について説明した。以上説明したように、本実施形態によれば、実際の手術室内における顕微鏡部１１１及びアーム部１１２の周囲画像に基づいて侵入適否領域が設定され、アーム部１１２の駆動制御時には、設定された侵入適否領域に対するアーム部１１２の侵入の有無に応じて、侵入抑制アクションが実行される。手術時には、顕微鏡部１１１及びアーム部１１２の周囲の人や物は頻繁に移動し得るため、上述したように、このように実際の状況に応じて侵入適否領域が設定されることにより、より実態に即した適切な侵入適否領域を設定することが可能になる。従って、このようにして設定された侵入適否領域に対するアーム部１１２の侵入の有無に応じて侵入抑制アクションが実行されることにより、当該侵入抑制アクションもより適切に実行されることとなり、より安全な手術が実現され得る。

ここで、もしもアーム部１１２が周囲のあらゆる物体と干渉することを防止するように侵入抑制アクションを実行すると、アーム部１１２が移動可能な範囲が過度に制限されてしまい、円滑な手術の実行が妨げられてしまう恐れがある。これに対して、本実施形態では、アーム部１１２と干渉し得る物体の様態に応じて、複数の種類の侵入適否領域が段階的に設定される。そして、アーム部１１２が侵入した侵入適否領域の種類に応じて、異なる侵入抑制アクションが実行される。これにより、アーム部１１２と周囲の物体との干渉を好適に抑制しつつ、円滑に手術を実行することが可能になる。

また、本実施形態では、アーム部１１２の動作モードがハンズフリーモードである場合のみ、侵入有無の判定処理が行われ、侵入抑制アクションが実行される。これは、例えば、手動モードでは、術者２０１が顕微鏡部１１１又はアーム部１１２に直接触りながら当該アーム部１１２を操作するため、当該術者２０１は、アーム部１１２の動きを当然に把握しながら、当該アーム部１１２を操作することとなる。従って、侵入抑制アクションを実行するまでもなく、術者２０１自身の操作によって、アーム部１１２と周囲の物体との干渉を回避することができると考えられるため、手動モード時には侵入抑制アクションを実行する必要性が低いからである。むしろ、手動モード時において侵入抑制アクションを実行すると、術者２０１によるアーム部１１２の操作が過度に限定されてしまい、術者２０１の操作性を損ねる恐れもある。

一方、ハンズフリーモードでは、例えば、顕微鏡部１１１が所望の術部画像が得られるような位置及び姿勢となるように、術者２０１が表示装置１２０の表示を見ながらアーム部１１２を操作する様態が考えられる。つまり、ハンズフリーモードでは、術者２０１は、アーム部１１２の動き自体には注意を払っていない可能性が高い。このような場合には、アーム部１１２が意図せず周囲の物体と接触してしまう恐れがあるため、侵入抑制アクションを実行し、その接触を自動的に抑制する機能が重要となるのである。

このように、本実施形態では、アーム部１１２の動きを術者２０１が把握していない可能性が高いハンズフリーモードにおいてのみ侵入抑制アクションを実行することにより、術者２０１の操作性を損ねることなく、より安全なアーム部１１２の駆動制御を実現しているのである。

なお、以上説明した機能構成はあくまで一例であり、手術システム１０は、以上説明した処理を実行可能であればよく、その機能構成は任意であってよい。例えば、上記の構成例では、侵入適否領域の設定に係る各種の画像（周囲画像、距離情報付き周囲画像、及び領域設定のためのＧＵＩに係る表示画面の画像）が、術部画像が表示される表示装置１２０に表示されていたが、本実施形態はかかる例に限定されない。手術システム１０が、表示装置１２０とは別個の表示装置を備えるように構成され、これらの侵入適否領域の設定に係る各種の画像は、当該別個の表示装置に表示されてもよい。なお、同一の表示装置１２０に、侵入適否領域の設定に係る各種の画像と、術部画像とがともに表示され得る場合には、その画像表示の切り替えは、術者２０１による任意の操作によって行われてよい。

また、上記の構成例では、術者２０１が処置を行う前に侵入適否領域の設定処理が行われていたが、本実施形態はかかる例に限定されない。例えば、処置を行っている間に周囲の状況が大きく変化した場合には、処置を行っている最中に、侵入適否領域を再設定する処理が行われてもよい。これにより、最新の状況を反映して侵入適否領域が設定され得るため、より適切に侵入適否領域を設定することが可能になる。

また、上記の構成例では、侵入適否領域として、侵入禁止領域、侵入注意領域及び侵入許可領域の３種類の領域が設定されていたが、本実施形態はかかる例に限定されない。侵入適否領域を段階的に設定する際のその段階の分け方は任意であってよい。例えば、
侵入適否領域として、３種類以外の他の数の種類の領域が設定されてもよい。あるいは、侵入適否領域は段階的に設定されなくてもよく、侵入適否領域として１種類の領域が設定されてもよい。

なお、制御装置１４０の具体的な装置構成は限定されない。制御装置１４０は、上述した機能を実現するように構成されればよく、その具体的な装置構成は任意であってよい。例えば、制御装置１４０は、１つの装置として構成されなくてもよく、複数の装置によって構成されてもよい。制御装置１４０が複数の装置によって構成される場合には、例えば、これら複数の装置に図２にブロックで模擬的に示す機能が分散されて搭載されるとともに、これら複数の装置が互いに通信可能に接続され、互いに協働して動作することにより、制御装置１４０と同様の機能が実現され得る。

また、図２に示す手術システム１０の制御装置１４０の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等の処理装置に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。

（２．制御方法）
図６Ａ及び図６Ｂを参照して、本実施形態に係る制御方法の処理手順について説明する。図６Ａ及び図６Ｂは、本実施形態に係る制御方法の処理手順の一例を示すフロー図である。なお、図６Ａ及び図６Ｂに示す各処理は、上述した図２に示す手術システム１０の制御装置１４０によって実行される処理に対応している。これらの各処理の詳細については、手術システム１０の機能構成について説明する際に既に説明しているため、以下の制御方法の処理手順についての説明では、各処理についての詳細な説明は割愛する。

また、図６Ａ及び図６Ｂに示す一連の処理が実行される前に、手術のセッティングが終了しているものとする。つまり、本実施形態に係る制御方法は、術者２０１が術部に対する処置をいつでも開始可能な状況まで手術の準備が終了した段階で開始される。

図６Ａ及び図６Ｂを参照すると、本実施形態に係る制御方法では、まず、周囲画像が取得される（ステップＳ１０１）。ステップＳ１０１に示す処理は、図２に示す周囲画像取得用カメラ１３０から、制御装置１４０の画像処理部１４１に、周囲画像についての情報が送信される処理に対応している。

次に、侵入適否領域が設定される（ステップＳ１０３）。具体的には、ステップＳ１０３では、例えば図５に示すＧＵＩを用いた術者２０１による指示に従って、侵入適否領域として、侵入禁止領域、侵入注意領域及び侵入許可領域が設定される。なお、ステップＳ１０３に示す処理は、図２に示す領域設定部１４２によって実行される処理に対応している。

以上説明したステップＳ１０１及びステップＳ１０３における処理は、術者２０１が術部に対する処置を開始する前に実行される処理である。一方、以下に説明するステップＳ１０５以降の処理は、術者２０１が術部に対する処置を開始した後に実行される処理である。

ステップＳ１０５では、術者２０１の操作に応じて、観察装置１１０のアーム部１１２の動作モードが設定される。ステップＳ１０５に示す処理は、図２に示す動作モード設定部１４３によって実行される処理に対応している。なお、本実施形態では、ステップＳ１０５よりも後に行われる一連の処理の間において、術者２０１によって、任意のタイミングで、動作モードを変更する旨の指示が入力されてよい。当該指示が入力された場合には、ステップＳ１０５に戻り、当該指示に応じた動作モードの設定処理が行われる。

次に、動作モードが判定される（ステップＳ１０７）。動作モードが手動モードである場合には、ステップＳ１０９に進み、術者２０１による直接的な操作に応じて、アーム部１１２の駆動が制御される。この場合には、術者２０１による制御終了の指示、又は動作モードを変更する旨の指示が入力されるまで、ステップＳ１０９の処理が繰り返し実行される（すなわち、手動モードでのアーム部１１２の駆動制御が続行される）。

一方、動作モードがハンズフリーモードである場合には、ステップＳ１１１に進み、術者２０１によるハンズフリー操作に応じて、アーム部１１２の駆動が制御される。なお、以上のステップＳ１０７〜ステップＳ１１１に示す処理は、図２に示す駆動制御部１４６によって実行される処理に対応している。

ステップＳ１１１でハンズフリー操作に応じてアーム部１１２の駆動が制御されている間に、顕微鏡部１１１及びアーム部１１２が侵入禁止領域に侵入したかどうかが判定される（ステップＳ１１３）。ステップＳ１１３に示す処理は、図２に示す侵入判定部１４４によって実行される処理に対応している。

ステップＳ１１３で、アーム部１１２が侵入禁止領域に侵入したと判定された場合には、アーム部１１２の動作が停止されるとともに（ステップＳ１１５）、顕微鏡部１１１及びアーム部１１２が侵入禁止領域に侵入した旨の警告が出力される（ステップＳ１１７）。ステップＳ１１５及びステップＳ１１７に示す処理は、図２に示すアクション指示部１４５によって発行される指示に従って、駆動制御部１４６及び警告制御部１４７が実行する処理に対応している。

ステップＳ１１７で警告が出力されると、次に、術者２０１による動作モードを変更する旨の指示が入力されたかどうかが判定される（ステップＳ１１９）。当該指示が入力されない間は、アーム部１１２の動作が停止されたまま、かつ警告が出力され続けたまま、当該指示があるまで待機する。一方、当該指示が入力された場合には、ステップＳ１０５に戻り、当該指示に従って動作モードが再度設定される。この場合には、動作モードがハンズフリーモードから手動モードに変更されることとなるため、ステップＳ１０７及びステップＳ１０９の処理が実行され、術者２０１は、直接的な操作によってアーム部１１２を移動させることが可能になる。この際、動作モードの変更に伴い、警告も停止され得る。つまり、本実施形態では、アーム部１１２が侵入禁止領域に侵入したと判定され、アーム部１１２の動作が停止された場合には、動作モードを変更することにより、術者２０１は、当該アーム部１１２を移動させ、手術を継続することが可能となる。

これに対して、ステップＳ１１３で、顕微鏡部１１１及びアーム部１１２が侵入禁止領域に侵入していないと判定された場合には、ステップＳ１２１に進み、顕微鏡部１１１及びアーム部１１２が侵入注意領域に侵入したかどうかが判定される。ステップＳ１２１に示す処理は、図２に示す侵入判定部１４４によって実行される処理に対応している。

ステップＳ１２１で、顕微鏡部１１１及びアーム部１１２が侵入注意領域に侵入したと判定された場合には、顕微鏡部１１１の位置及び姿勢を維持したまま侵入注意領域にできるだけ侵入しないようにアーム部１１２の姿勢が変更されるとともに（ステップＳ１２３）、顕微鏡部１１１及びアーム部１１２が侵入注意領域に侵入した旨の警告が出力される（ステップＳ１２５）。ステップＳ１２３及びステップＳ１２５に示す処理は、図２に示すアクション指示部１４５によって発行される指示に従って、駆動制御部１４６及び警告制御部１４７が実行する処理に対応している。

顕微鏡部１１１及びアーム部１１２が侵入注意領域に侵入した場合には、術者２０１は、ハンズフリー操作によるアーム部１１２の操作を継続することが可能である。従って、ステップＳ１２５で警告が出力された後には、ステップＳ１１１に戻り、ハンズフリー操作に応じたアーム部１１２の駆動制御が引き続き実行される。なお、顕微鏡部１１１及びアーム部１１２が侵入注意領域に侵入してはいるものの、安全上問題がないと判断され得る場合には、上記警告は、術者２０１による任意の操作によって適宜停止されてよい。

ステップＳ１２１で、顕微鏡部１１１及びアーム部１１２が侵入注意領域に侵入していないと判定された場合には、ステップＳ１２７に進み、顕微鏡部１１１及びアーム部１１２が侵入許可領域に侵入したかどうかが判定される。ステップＳ１２７に示す処理は、図２に示す侵入判定部１４４によって実行される処理に対応している。

ステップＳ１２７で、顕微鏡部１１１及びアーム部１１２が侵入許可領域に侵入したと判定された場合には、顕微鏡部１１１及びアーム部１１２が侵入許可領域に侵入した旨の警告が出力される（ステップＳ１２９）。ステップＳ１２９に示す処理は、図２に示すアクション指示部１４５によって発行される指示に従って、警告制御部１４７が実行する処理に対応している。

顕微鏡部１１１及びアーム部１１２が侵入許可領域に侵入している場合及び侵入していない場合ともに、術者２０１は、ハンズフリー操作によるアーム部１１２の操作を継続することが可能である。従って、ステップＳ１２９で警告が出力された後又はステップＳ１２７で顕微鏡部１１１及びアーム部１１２が侵入許可領域に侵入していないと判定された場合には、ステップＳ１１１に戻り、ハンズフリー操作に応じたアーム部１１２の駆動制御が引き続き実行される。なお、アーム部１１２が侵入許可領域に侵入してはいるものの、安全上問題がないと判断され得る場合には、上記警告は、術者２０１による任意の操作によって適宜停止されてよい。

以上、図６Ａ及び図６Ｂを参照して、本実施形態に係る制御方法の処理手順について説明した。

（３．変形例）
以上説明した実施形態の一変形例について説明する。図７は、本実施形態の一変形例に係る手術システムの概略構成を示す図である。

図７を参照すると、本実施形態の一変形例に係る手術システム１０ａは、観察装置１１０と、表示装置１２０ａと、周囲画像取得用カメラ１３０と、制御装置１４０ａと、マイクロフォン１５１と、フットスイッチ１５３と、動作認識用カメラ１５４と、を備える。このように、本変形例に係る手術システム１０ａは、上述した手術システム１０に対して、表示装置１２０及び制御装置１４０の構成が変更されるとともに、眼鏡型ウェアラブルデバイス１５２が設けられないものに対応する。また、術者２０１に対してマーカ１５５も設けられない。手術システム１０ａにおいて、その他の事項については、以上説明した手術システム１０と同様である。従って、以下の手術システム１０ａについての説明では、手術システム１０と相違する事項について主に説明し、重複する事項についてはその詳細な説明を省略する。

図示するように、本変形例では、表示装置１２０ａは、比較的術者２０１から比較的近距離に配置される。例えば、表示装置１２０ａは、患者ベッド２０３上において、術者２０１の眼前に配置される。表示装置１２０ａは、裸眼式の３Ｄディスプレイであり、術者２０１は眼鏡型ウェアラブルデバイス１５２等の別途の装置を装着することなく、表示装置１２０ａにおいて立体的に術部を観察することが可能である。

また、この表示装置１２０ａの配置位置に伴い、本変形例では、動作認識用カメラ１５４も、比較的術者２０１から近距離に配置される。従って、制御装置１４０ａは、動作認識用カメラ１５４による撮像画像に基づいて、術者２０１の視線を検出することができる。また、動作認識用カメラ１５４と術者２０１との距離が近いため、マーカ１５５がなくても、制御装置１４０ａは、動作認識用カメラ１５４による撮像画像に基づいて、術者２０１のヘッドトラックを正確に認識することが可能である。

制御装置１４０ａの構成及び機能において、上記の術者２０１の視線の認識方法及びヘッドトラックの認識方法以外の事項は、図２に示す制御装置１４０と同様であるため、その説明を省略する。

以上、本実施形態の一変形例に係る手術システム１０ａの概略構成について説明した。

（４．観察装置の構成例）
以上説明した観察装置１１０の具体的な一構成例について説明する。図８は、本実施形態に係る観察装置１１０の一構成例を示す外観図である。なお、図１及び図７に示す概略図では、観察装置１１０は、患者ベッド２０３にアーム部１１２の基端が接続されていたが、図８では、後述する床面と接地するベース部５３１５を備え、当該ベース部５３１５にアーム部１１２の基端が接続される構成例を図示している。また、図８では、一例として、顕微鏡部１１１の動きに関して６自由度を有するアーム部１１２を有する観察装置１１０の構成を示している。ただし、上述したように、観察装置１１０のアーム部１１２は、冗長自由度を有するように構成されてもよい。

図８を参照すると、観察装置１１０は、観察対象（患者２０５の術部）を拡大観察するための顕微鏡部１１１と、顕微鏡部１１１を先端で支持するアーム部１１２と、アーム部１１２の基端を支持するベース部５３１５と、観察装置１１０の動作を統合的に制御する制御装置５３１７と、を有する。

顕微鏡部１１１は、略円筒形状の筒状部５３０５と、当該筒状部５３０５の内部に設けられる撮像部（図示せず）と、筒状部５３０５の外周の一部領域に設けられる操作部５３０７と、から構成される。

筒状部５３０５の下端の開口面には、内部の撮像部を保護するカバーガラスが設けられる。観察光は、当該カバーガラスを通過して、筒状部５３０５の内部の撮像部に入射する。なお、筒状部５３０５の内部には例えばＬＥＤ（Light Emitting Diode）等からなる光源が設けられてもよく、撮像時には、当該カバーガラスを介して、当該光源から観察対象に対して光が照射されてもよい。

撮像部は、観察光を集光する光学系と、当該光学系が集光した観察光を受光する撮像素子と、から構成される。当該光学系は、フォーカスレンズ及びズームレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察像に対応した画像信号を生成する。当該撮像素子としては、例えばＢａｙｅｒ配列を有するカラー撮影可能なものが用いられる。当該撮像素子は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等、各種の公知の撮像素子であってよい。撮像素子によって生成された画像信号は、ＲＡＷデータとして制御装置５３１７に送信される。ここで、この画像信号の送信は、好適に光通信によって行われてもよい。手術現場では、術者が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信で画像信号が送信されることにより、低レイテンシで撮像画像を表示することが可能となる。

なお、撮像部は、その光学系のフォーカスレンズ及びズームレンズを光軸に沿って移動させる駆動機構を有し得る。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像時の焦点距離及び撮像画像の拡大倍率が調整され得る。また、撮像部には、ＡＥ（Auto Exposure）機能やＡＦ（Auto Focus）機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載されてもよい。

また、撮像部は、立体視（３Ｄ表示）に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、当該撮像部が多板式で構成される場合には、各撮像素子に対応して、光学系も複数系統が設けられ得る。ただし、本実施形態はかかる例に限定されず、撮像部は、１つの撮像素子を有するいわゆる単板式の撮像部として構成されてもよいし、１対以上の複数の撮像素子を有するいわゆる多板式の撮像部として構成されてもよい。撮像部が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。

操作部５３０７は、例えば十字レバー又はスイッチ等によって構成され、術者２０１の操作入力を受け付ける入力手段である。例えば、術者２０１は、操作部５３０７を介して、観察像の観察対象までの焦点距離及び拡大倍率を変更する旨の指示を入力することができる。当該指示に従って撮像部の駆動機構がズームレンズ及びフォーカスレンズを適宜移動させることにより、焦点距離及び拡大倍率が調整され得る。また、例えば、術者２０１は、アーム部１１２の動作モードが手動モードである場合に、操作部５３０７を介して、その動作モードを、後述するオールフリーモード及び固定モードのいずれかに、更に切り替える旨の指示を入力することができる。なお、手動モードにおいて術者２０１が顕微鏡部１１１を移動させようとする場合には、当該術者２０１は筒状部５３０５を握るように把持した状態で当該顕微鏡部１１１を移動させる様態が想定される。従って、操作部５３０７は、術者２０１が筒状部５３０５を移動させている間でも操作可能なように、術者２０１が筒状部５３０５を握った状態で指によって容易に操作しやすい位置に設けられることが好ましい。

アーム部１１２は、複数のリンク（第１リンク５３１３ａ〜第６リンク５３１３ｆ）が、複数の関節部（第１関節部５３１１ａ〜第６関節部５３１１ｆ）によって互いに回動可能に連結されることによって構成される。

第１関節部５３１１ａは、略円柱形状を有し、その先端（下端）で、顕微鏡部１１１の筒状部５３０５の上端を、当該筒状部５３０５の中心軸と平行な回転軸（第１軸Ｏ_１）まわりに回動可能に支持する。ここで、第１関節部５３１１ａは、第１軸Ｏ_１が顕微鏡部１１１の撮像部の光軸と一致するように構成され得る。これにより、第１軸Ｏ_１まわりに顕微鏡部１１１を回動させることにより、撮像画像を回転させるように視野を変更することが可能になる。

第１リンク５３１３ａは、先端で第１関節部５３１１ａを固定的に支持する。具体的には、第１リンク５３１３ａは略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第１軸Ｏ_１と直交する方向に延伸しつつ、当該一辺の端部が第１関節部５３１１ａの外周の上端部に当接するように、第１関節部５３１１ａに接続される。第１リンク５３１３ａの略Ｌ字形状の基端側の他辺の端部に第２関節部５３１１ｂが接続される。

第２関節部５３１１ｂは、略円柱形状を有し、その先端で、第１リンク５３１３ａの基端を、第１軸Ｏ_１と直交する回転軸（第２軸Ｏ_２）まわりに回動可能に支持する。第２関節部５３１１ｂの基端には、第２リンク５３１３ｂの先端が固定的に接続される。

第２リンク５３１３ｂは、略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第２軸Ｏ_２と直交する方向に延伸しつつ、当該一辺の端部が第２関節部５３１１ｂの基端に固定的に接続される。第２リンク５３１３ｂの略Ｌ字形状の基端側の他辺には、第３関節部５３１１ｃが接続される。

第３関節部５３１１ｃは、略円柱形状を有し、その先端で、第２リンク５３１３ｂの基端を、第１軸Ｏ_１及び第２軸Ｏ_２と互いに直交する回転軸（第３軸Ｏ_３）まわりに回動可能に支持する。第３関節部５３１１ｃの基端には、第３リンク５３１３ｃの先端が固定的に接続される。第２軸Ｏ_２及び第３軸Ｏ_３まわりに顕微鏡部１１１を含む先端側の構成を回動させることにより、水平面内での顕微鏡部１１１の位置を変更するように、当該顕微鏡部１１１を移動させることができる。つまり、第２軸Ｏ_２及び第３軸Ｏ_３まわりの回転を制御することにより、撮像画像の視野を平面内で移動させることが可能になる。

第３リンク５３１３ｃは、その先端側が略円柱形状を有するように構成されており、当該円柱形状の先端に、第３関節部５３１１ｃの基端が、両者が略同一の中心軸を有するように、固定的に接続される。第３リンク５３１３ｃの基端側は角柱形状を有し、その端部に第４関節部５３１１ｄが接続される。

第４関節部５３１１ｄは、略円柱形状を有し、その先端で、第３リンク５３１３ｃの基端を、第３軸Ｏ_３と直交する回転軸（第４軸Ｏ_４）まわりに回動可能に支持する。第４関節部５３１１ｄの基端には、第４リンク５３１３ｄの先端が固定的に接続される。

第４リンク５３１３ｄは、略直線状に延伸する棒状の部材であり、第４軸Ｏ_４と直交するように延伸しつつ、その先端の端部が第４関節部５３１１ｄの略円柱形状の側面に当接するように、第４関節部５３１１ｄに固定的に接続される。第４リンク５３１３ｄの基端には、第５関節部５３１１ｅが接続される。

第５関節部５３１１ｅは、略円柱形状を有し、その先端側で、第４リンク５３１３ｄの基端を、第４軸Ｏ_４と平行な回転軸（第５軸Ｏ_５）まわりに回動可能に支持する。第５関節部５３１１ｅの基端には、第５リンク５３１３ｅの先端が固定的に接続される。第４軸Ｏ_４及び第５軸Ｏ_５は、顕微鏡部１１１を上下方向に移動させ得る回転軸である。第４軸Ｏ_４及び第５軸Ｏ_５まわりに顕微鏡部１１１を含む先端側の構成を回動させることにより、顕微鏡部１１１の高さ、すなわち顕微鏡部１１１と観察対象との距離を調整することができる。

第５リンク５３１３ｅは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略Ｌ字形状を有する第１の部材と、当該第１の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第２の部材と、が組み合わされて構成される。第５リンク５３１３ｅの第１の部材の鉛直方向に延伸する部位の上端近傍に、第５関節部５３１１ｅの基端が固定的に接続される。第５リンク５３１３ｅの第２の部材の基端（下端）には、第６関節部５３１１ｆが接続される。

第６関節部５３１１ｆは、略円柱形状を有し、その先端側で、第５リンク５３１３ｅの基端を、鉛直方向と平行な回転軸（第６軸Ｏ_６）まわりに回動可能に支持する。第６関節部５３１１ｆの基端には、第６リンク５３１３ｆの先端が固定的に接続される。

第６リンク５３１３ｆは鉛直方向に延伸する棒状の部材であり、その基端はベース部５３１５の上面に固定的に接続される。

第１関節部５３１１ａ〜第６関節部５３１１ｆの回転可能範囲は、顕微鏡部１１１が所望の動きを可能であるように適宜設定されている。これにより、以上説明した構成を有するアーム部１１２においては、顕微鏡部１１１の動きに関して、並進３自由度及び回転３自由度の計６自由度の動きが実現され得る。このように、顕微鏡部１１１の動きに関して６自由度が実現されるようにアーム部１１２を構成することにより、アーム部１１２の可動範囲内において顕微鏡部１１１の位置及び姿勢を自由に制御することが可能になる。従って、あらゆる角度から術部を観察することが可能となり、手術をより円滑に実行することができる。

なお、図示するアーム部１１２の構成はあくまで一例であり、アーム部１１２を構成するリンクの数及び形状（長さ）、並びに関節部の数、配置位置及び回転軸の方向等は、所望の自由度が実現され得るように適宜設計されてよい。例えば、上述したように、顕微鏡部１１１を自由に動かすためには、アーム部１１２は６自由度を有するように構成されることが好ましいが、アーム部１１２はより大きな自由度（すなわち、冗長自由度）を有するように構成されてもよい。冗長自由度が存在する場合には、アーム部１１２においては、顕微鏡部１１１の位置及び姿勢が固定された状態で、アーム部１１２の姿勢を変更することが可能となる。従って、上述した侵入注意領域に顕微鏡部１１１及びアーム部１１２が侵入した場合のように、顕微鏡部１１１及びアーム部１１２ができるだけ侵入注意領域に侵入しないように当該アーム部１１２の姿勢を制御する等、術者にとってより利便性の高い制御が実現され得る。

ここで、第１関節部５３１１ａ〜第６関節部５３１１ｆには、モータ等の駆動機構、及び各関節部における回転角度を検出するエンコーダ等が搭載されたアクチュエータが設けられ得る。そして、第１関節部５３１１ａ〜第６関節部５３１１ｆに設けられる各アクチュエータの駆動が制御装置５３１７によって適宜制御されることにより、アーム部１１２の姿勢、すなわち顕微鏡部１１１の位置及び姿勢が制御され得る。具体的には、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、アーム部１１２の現在の状態を把握することができる。制御装置５３１７は、把握したアーム部１１２の現在の状態に基づいて、術者２０１による操作に応じた顕微鏡部１１１の移動を実現するような各関節部に対する制御値を算出し、当該制御値に応じて各関節部の駆動機構を駆動させる。

上述したように、例えば、アーム部１１２の動作モードが手動モードである場合には、制御装置５３１７によって、力制御により、術者２０１による直接的な操作に応じてアーム部１１２の駆動が適宜制御され、顕微鏡部１１１の位置及び姿勢が制御される。また、例えば、アーム部１１２の動作モードがハンズフリーモードである場合には、制御装置５３１７によって、位置制御により、術者２０１によるハンズフリー操作に応じてアーム部１１２の駆動が適宜制御され、顕微鏡部１１１の位置及び姿勢が制御される。

また、アーム部１１２は、ピボット動作をするようにその駆動が制御されてもよい。ここで、ピボット動作とは、顕微鏡部１１１の光軸が空間上の所定の点（以下、ピボット点とも呼称する）を常に向くように、顕微鏡部１１１を移動させる動作である。ピボット動作によれば、同一の観察位置を様々な方向から観察することが可能となるため、より詳細な患部の観察が可能となる。

また、第１関節部５３１１ａ〜第６関節部５３１１ｆには、その回転を拘束するブレーキが設けられ得る。当該ブレーキの動作は、制御装置５３１７によって制御され得る。例えば、顕微鏡部１１１の位置及び姿勢を固定したい場合には、制御装置５３１７は各関節部のブレーキを作動させる。これにより、アクチュエータを駆動させなくてもアーム部１１２の姿勢、すなわち顕微鏡部１１１の位置及び姿勢が固定され得るため、消費電力を低減することができる。顕微鏡部１１１の位置及び姿勢を移動したい場合には、制御装置５３１７は、各関節部のブレーキを解除し、術者２０１の操作に応じてアクチュエータを適宜駆動させればよい。

このようなブレーキの動作は、上述した操作部５３０７を介した術者２０１による操作に応じて行われ得る。術者２０１は、顕微鏡部１１１の位置及び姿勢を移動したい場合には、操作部５３０７を操作し、各関節部のブレーキを解除させる。これにより、アーム部１１２の動作モードが、各関節部における回転を自由に行えるモード（オールフリーモード）に移行する。また、術者２０１は、顕微鏡部１１１の位置及び姿勢を固定したい場合には、操作部５３０７を操作し、各関節部のブレーキを作動させる。これにより、アーム部１１２の動作モードが、各関節部における回転が拘束されたモード（固定モード）に移行する。

制御装置５３１７は、観察装置１１０の動作を制御する。例えば、制御装置５３１７は、術者２０１の操作に応じて第１関節部５３１１ａ〜第６関節部５３１１ｆのアクチュエータを動作させることにより、アーム部１１２の駆動を制御する。また、例えば、制御装置５３１７は、第１関節部５３１１ａ〜第６関節部５３１１ｆのブレーキの動作を制御することにより、アーム部１１２の動作モードをオールフリーモードと固定モードとの間で変更する。また、例えば、制御装置５３１７は、観察装置１１０の顕微鏡部１１１の撮像部における撮影条件（焦点距離及び拡大倍率）を調整させる。また、例えば、制御装置５３１７は、観察装置１１０の顕微鏡部１１１の撮像部によって取得された画像信号に各種の信号処理を施すとともに、当該画像データに基づいて、術部画像を表示装置１２０（図８では図示せず）に表示させる。

なお、制御装置５３１７と顕微鏡部１１１との通信、及び制御装置５３１７と第１関節部５３１１ａ〜第６関節部５３１１ｆとの通信は、有線通信であってもよいし無線通信であってもよい。有線通信の場合には、電気信号による通信が行われてもよいし、光通信が行われてもよい。この場合、有線通信に用いられる伝送用のケーブルは、その通信方式に応じて電気信号ケーブル、光ファイバ、又はこれらの複合ケーブルとして構成され得る。一方、無線通信の場合には、手術室内に伝送ケーブルを敷設する必要がなくなるため、当該伝送ケーブルによって医療スタッフの手術室内の移動が妨げられる事態が解消され得る。

制御装置５３１７は、ＣＰＵ、ＧＰＵ等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載された制御基板等であり得る。制御装置５３１７のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。なお、図示する例では、制御装置５３１７は、観察装置１１０と別個の装置として設けられているが、制御装置５３１７は、観察装置１１０のベース部５３１５の内部に設置され、観察装置１１０と一体的に構成されてもよい。あるいは、制御装置５３１７は、複数の装置によって構成されてもよい。例えば、顕微鏡部１１１や、アーム部１１２の第１関節部５３１１ａ〜第６関節部５３１１ｆにそれぞれ制御基板等が設けられ、これらが互いに通信可能に接続されることにより、制御装置５３１７と同様の機能が実現されてもよい。

ここで、制御装置５３１７は、上述した手術システム１０、１０ａの制御装置１４０と同一のものであり得る。つまり、制御装置５３１７は、制御装置１４０と同様の機能を有し、観察装置１１０の動作を制御するとともに、手術システム１０、１０ａの動作を統合的に制御してもよい。

以上、本実施形態に係る観察装置１１０の具体的な一構成例について説明した。

（５．補足）
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、術者がハンズフリー操作によってアーム部を操作する際に侵入抑制アクションが行われていたが、本開示に係る技術はかかる例に限定されない。例えば、本開示に係る技術は、マスタースレイブ方式でアーム部が操作される手術システムに対して適用されてもよい。マスタースレイブ方式では、術者がアーム部を遠隔操作するため、ハンズフリー操作時と同様に、術者はアーム部の動きを直接見ることなく、当該アーム部を操作することとなる。従って、本開示に係る技術を適用することにより、同様の効果を得ることができる。このように、本開示に係る技術は、術者がアーム部に非接触な状態で当該アーム部を操作する様態の手術システムに対して、好適に適用され得る。

また、例えば、上記実施形態では、侵入抑制アクションとして、侵入適否領域への侵入を回避するようなアーム部の動作、及び警告の出力が行われていたが、本開示に係る技術はかかる例に限定されない。本開示に係る技術では、侵入抑制アクションは、アーム部の侵入適否領域への侵入を抑制し得るアクションであればよく、その種類は限定されない。例えば、侵入抑制アクションとして、侵入適否領域への侵入を回避するようなアーム部の動作、及び警告の出力のうちのいずれか一方のみが行われてもよい。あるいは、侵入抑制アクションとして、上記警告以外にも、術者に対してアーム部の侵入適否領域への侵入を喚起する種々のアクションが行われてもよい。アーム部の侵入適否領域への侵入を喚起するアクションとしては、例えば、アーム部が侵入適否領域に近付くにつれて、徐々に当該アーム部の動作速度を遅くする等のアクションが考えられる。アーム部の動作速度が遅くなれば、顕微鏡部１１１の動作速度も遅くなるため、術者が見ている術部画像における視野移動の速度も低下する。術者は、この術部画像における視野移動の速度が遅くなったことによって、アーム部が侵入適否領域に近付いていることを認識することができる。その他、侵入抑制アクションとしては、一般的に支持アーム装置の操作において操作者に対して何らかの注意喚起を行う際に、当該操作者へのフィードバックとして用いられている、あらゆるアクションが採用されてよい。

また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
医療用器具を支持するアーム部の駆動を制御する駆動制御部と、
前記医療用器具又は前記アーム部の周囲の様子を示す周囲画像に基づいて、前記医療用器具又は前記アーム部の侵入の適否が判断される侵入適否領域を空間上に設定する領域設定部と、
ユーザによる前記アーム部に対する非接触の操作に応じて前記駆動制御部によって前記アーム部の駆動が制御される際に、前記侵入適否領域に対する前記医療用器具又は前記アーム部の侵入の有無を判定する侵入判定部と、
前記侵入判定部による判定結果に応じて、前記医療用器具又は前記アーム部の前記侵入適否領域への侵入を抑制するための侵入抑制アクションを実行させるアクション指示部と、
を備える、
制御装置。
（２）
前記侵入抑制アクションは、前記侵入適否領域への侵入を回避するような前記アーム部の動作、及び警告の出力の少なくともいずれかである、
前記（１）に記載の制御装置。
（３）
前記侵入適否領域は、前記アーム部の可動範囲内において前記医療用器具又は前記アーム部が侵入することが禁止される領域である侵入禁止領域、前記アーム部の可動範囲内において前記医療用器具又は前記アーム部が部分的に侵入することが許可される領域である侵入注意領域、並びに前記アーム部の可動範囲内において前記医療用器具又は前記アーム部が侵入することが許可される領域である侵入許可領域、の少なくともいずれかを含む、
前記（１）又は（２）に記載の制御装置。
（４）
前記周囲画像は、手術室内の様子を含み、
前記侵入禁止領域は、患者、及び患者ベッドの周囲の手術機器の少なくともいずれかが存在する領域を含む、
前記（３）に記載の制御装置。
（５）
前記周囲画像は、手術室内の様子を含み、
前記侵入注意領域は、前記手術室内に懸架されたケーブル、及び前記手術室内に懸架された布の少なくともいずれかが存在する領域を含む、
前記（３）に記載の制御装置。
（６）
前記周囲画像は、手術室内の様子を含み、
前記侵入許可領域は、医療スタッフが存在する領域を含む、
前記（３）に記載の制御装置。
（７）
前記侵入判定部が、前記医療用器具又は前記アーム部が前記侵入禁止領域に侵入したと判定した場合には、前記アクション指示部は、前記アーム部の動作を停止させる旨の指示、及び警告を出力させる旨の指示を発行する、
前記（３）〜（６）のいずれか１項に記載の制御装置。
（８）
前記アーム部は、前記医療用器具の動きに関して冗長自由度を有するように構成され、
前記侵入判定部が、前記医療用器具又は前記アーム部が前記侵入注意領域に侵入したと判定した場合には、前記アクション指示部は、前記医療用器具の位置及び姿勢を維持したまま前記アーム部が前記侵入注意領域に侵入しないように前記アーム部を動作させる旨の指示、及び警告を出力させる旨の指示を発行する、
前記（３）〜（７）のいずれか１項に記載の制御装置。
（９）
前記侵入判定部が、前記医療用器具又は前記アーム部が前記侵入許可領域に侵入したと判定した場合には、前記アクション指示部は、警告を出力させる旨の指示を発行する、
前記（３）〜（８）のいずれか１項に記載の制御装置。
（１０）
前記ユーザによる前記アーム部に対する非接触の操作は、前記ユーザが手を用いずに前記アーム部を操作するハンズフリー操作を含み、
前記ハンズフリー操作は、音声、視線、ヘッドトラック、ジェスチャ、及びフットスイッチの少なくともいずれかを介した操作を含む、
前記（１）〜（９）のいずれか１項に記載の制御装置。
（１１）
前記ユーザによる前記アーム部に対する非接触の操作は、マスタースレイブ方式による前記アーム部の操作を含む、
前記（１）〜（９）のいずれか１項に記載の制御装置。
（１２）
前記医療用器具は、観察対象を拡大して撮影する電子撮像式の顕微鏡部である、
前記（１）〜（１１）のいずれか１項に記載の制御装置。
（１３）
プロセッサが、医療用器具又は前記医療用器具を支持するアーム部の周囲の様子を示す周囲画像に基づいて、前記医療用器具又は前記アーム部の侵入の適否が判断される侵入適否領域を空間上に設定することと、
ユーザによる前記アーム部に対する非接触の操作に応じて前記アーム部の駆動を制御する際に、前記侵入適否領域に対する前記医療用器具又は前記アーム部の侵入の有無を判定することと、
前記侵入適否領域に対する前記医療用器具又は前記アーム部の侵入の有無の判定結果に応じて、前記医療用器具又は前記アーム部の前記侵入適否領域への侵入を抑制するための侵入抑制アクションを実行させることと、
を含む、
制御方法。
（１４）
アーム部によって支持され、術部を拡大して撮影する顕微鏡部と、
前記顕微鏡部によって撮影された前記術部の画像を表示する表示装置と、
前記顕微鏡部又は前記アーム部の周囲の様子を示す周囲画像を撮影する周囲画像取得用カメラと、
前記アーム部の駆動を制御する駆動制御部と、
前記周囲画像取得用カメラによって撮影された前記周囲画像に基づいて、前記顕微鏡部又は前記アーム部の侵入の適否が判断される侵入適否領域を空間上に設定する領域設定部と、
ユーザによる前記アーム部に対する非接触の操作に応じて前記駆動制御部によって前記アーム部の駆動が制御される際に、前記侵入適否領域に対する前記顕微鏡部又は前記アーム部の侵入の有無を判定する侵入判定部と、
前記侵入判定部による判定結果に応じて、前記顕微鏡部又は前記アーム部の前記侵入適否領域への侵入を抑制するための侵入抑制アクションを実行させるアクション指示部と、
を備える、
手術システム。

１０、１０ａ手術システム
１１０観察装置
１２０、１２０ａ表示装置
１３０周囲画像取得用カメラ
１４０、１４０ａ制御装置
１４１画像処理部
１４２領域設定部
１４３動作モード設定部
１４４侵入判定部
１４５アクション指示部
１４６駆動制御部
１４７警告制御部
１５０ハンズフリー入力装置
１５１マイクロフォン
１５２眼鏡型ウェアラブルデバイス
１５３フットスイッチ
１５４動作認識用カメラ
１５５マーカ
１６０操作認識部
１６１音声認識部
１６２視線認識部
１６３ヘッドトラック認識部
１６４ジェスチャ認識部
１６５フットスイッチ操作認識部
１７０手動入力装置
１８０警告出力部

Claims

医療用器具を支持するアーム部の駆動を制御する駆動制御部と、
前記医療用器具又は前記アーム部の周囲の様子を示す周囲画像に基づいて、前記医療用器具又は前記アーム部の侵入の適否が判断される侵入適否領域を空間上に設定する領域設定部と、
ユーザによる前記アーム部に対する非接触の操作に応じて前記駆動制御部によって前記アーム部の駆動が制御される際に、前記侵入適否領域に対する前記医療用器具又は前記アーム部の侵入の有無を判定する侵入判定部と、
前記侵入判定部による判定結果に応じて、前記医療用器具又は前記アーム部の前記侵入適否領域への侵入を抑制するための侵入抑制アクションを実行させるアクション指示部と、
を備え、
前記アーム部は、前記医療用器具の動きに関して冗長自由度を有するように構成され、
前記侵入適否領域は、前記アーム部の可動範囲内において前記医療用器具又は前記アーム部が侵入することが禁止される領域である侵入禁止領域、前記アーム部の可動範囲内において前記医療用器具又は前記アーム部が部分的に侵入することが許可される領域である侵入注意領域、並びに前記アーム部の可動範囲内において前記医療用器具又は前記アーム部が侵入することが許可される領域である侵入許可領域を含み、
前記アクション指示部は、
前記侵入判定部が前記医療用器具又は前記アーム部が前記侵入禁止領域に侵入したと判定した場合には、前記アーム部の動作を停止させる旨の指示、及び警告を出力させる旨の指示を発行し、
前記侵入判定部が前記医療用器具又は前記アーム部が前記侵入注意領域に侵入したと判定した場合には、前記医療用器具の位置及び姿勢を維持したまま前記アーム部が前記侵入注意領域に侵入しないように、前記冗長自由度を利用して前記アーム部を動作させる旨の指示、及び警告を出力させる旨の指示を発行し、
前記侵入判定部が前記医療用器具又は前記アーム部が前記侵入許可領域に侵入したと判定した場合には、警告を出力させる旨の指示を発行する、
制御装置。
前記周囲画像は、手術室内の様子を含み、
前記侵入禁止領域は、患者、及び患者ベッドの周囲の手術機器の少なくともいずれかが存在する領域を含む、
請求項１に記載の制御装置。
前記周囲画像は、手術室内の様子を含み、
前記侵入注意領域は、前記手術室内に懸架されたケーブル、及び前記手術室内に懸架された布の少なくともいずれかが存在する領域を含む、
請求項１に記載の制御装置。
前記周囲画像は、手術室内の様子を含み、
前記侵入許可領域は、医療スタッフが存在する領域を含む、
請求項１に記載の制御装置。
前記ユーザによる前記アーム部に対する非接触の操作は、前記ユーザが手を用いずに前記アーム部を操作するハンズフリー操作を含み、
前記ハンズフリー操作は、音声、視線、ヘッドトラック、ジェスチャ、及びフットスイッチの少なくともいずれかを介した操作を含む、
請求項１〜４のいずれか１項に記載の制御装置。
前記ユーザによる前記アーム部に対する非接触の操作は、マスタースレイブ方式による前記アーム部の操作を含む、
請求項１〜４のいずれか１項に記載の制御装置。
前記医療用器具は、観察対象を拡大して撮影する電子撮像式の顕微鏡部である、
請求項１〜６のいずれか１項に記載の制御装置。
プロセッサが、医療用器具又は前記医療用器具を支持するアーム部の周囲の様子を示す周囲画像に基づいて、前記医療用器具又は前記アーム部の侵入の適否が判断される侵入適否領域を空間上に設定することと、
ユーザによる前記アーム部に対する非接触の操作に応じて前記アーム部の駆動を制御する際に、前記侵入適否領域に対する前記医療用器具又は前記アーム部の侵入の有無を判定することと、
前記侵入適否領域に対する前記医療用器具又は前記アーム部の侵入の有無の判定結果に応じて、前記医療用器具又は前記アーム部の前記侵入適否領域への侵入を抑制するための侵入抑制アクションを実行させることと、
を含み、
前記アーム部は、前記医療用器具の動きに関して冗長自由度を有するように構成され、
前記侵入適否領域は、前記アーム部の可動範囲内において前記医療用器具又は前記アーム部が侵入することが禁止される領域である侵入禁止領域、前記アーム部の可動範囲内において前記医療用器具又は前記アーム部が部分的に侵入することが許可される領域である侵入注意領域、並びに前記アーム部の可動範囲内において前記医療用器具又は前記アーム部が侵入することが許可される領域である侵入許可領域を含み、
前記医療用器具又は前記アーム部が前記侵入禁止領域に侵入したと判定した場合には、前記侵入抑制アクションの実行として、前記アーム部の動作を停止させる旨の指示、及び警告を出力させる旨の指示を発行し、
前記医療用器具又は前記アーム部が前記侵入注意領域に侵入したと判定した場合には、前記侵入抑制アクションの実行として、前記医療用器具の位置及び姿勢を維持したまま前記アーム部が前記侵入注意領域に侵入しないように、前記冗長自由度を利用して前記アーム部を動作させる旨の指示、及び警告を出力させる旨の指示を発行し、
前記医療用器具又は前記アーム部が前記侵入許可領域に侵入したと判定した場合には、前記侵入抑制アクションの実行として、警告を出力させる旨の指示を発行する、
制御方法。
アーム部によって支持され、術部を拡大して撮影する顕微鏡部と、
前記顕微鏡部によって撮影された前記術部の画像を表示する表示装置と、
前記顕微鏡部又は前記アーム部の周囲の様子を示す周囲画像を撮影する周囲画像取得用カメラと、
前記アーム部の駆動を制御する駆動制御部と、
前記周囲画像取得用カメラによって撮影された前記周囲画像に基づいて、前記顕微鏡部又は前記アーム部の侵入の適否が判断される侵入適否領域を空間上に設定する領域設定部と、
ユーザによる前記アーム部に対する非接触の操作に応じて前記駆動制御部によって前記アーム部の駆動が制御される際に、前記侵入適否領域に対する前記顕微鏡部又は前記アーム部の侵入の有無を判定する侵入判定部と、
前記侵入判定部による判定結果に応じて、前記顕微鏡部又は前記アーム部の前記侵入適否領域への侵入を抑制するための侵入抑制アクションを実行させるアクション指示部と、
を備え、
前記アーム部は、前記顕微鏡部の動きに関して冗長自由度を有するように構成され、
前記侵入適否領域は、前記アーム部の可動範囲内において前記顕微鏡部又は前記アーム部が侵入することが禁止される領域である侵入禁止領域、前記アーム部の可動範囲内において前記顕微鏡部又は前記アーム部が部分的に侵入することが許可される領域である侵入注意領域、並びに前記アーム部の可動範囲内において前記顕微鏡部又は前記アーム部が侵入することが許可される領域である侵入許可領域を含み、
前記アクション指示部は、
前記侵入判定部が前記顕微鏡部又は前記アーム部が前記侵入禁止領域に侵入したと判定した場合には、前記アーム部の動作を停止させる旨の指示、及び警告を出力させる旨の指示を発行し、
前記侵入判定部が前記顕微鏡部又は前記アーム部が前記侵入注意領域に侵入したと判定した場合には、前記顕微鏡部の位置及び姿勢を維持したまま前記アーム部が前記侵入注意領域に侵入しないように、前記冗長自由度を利用して前記アーム部を動作させる旨の指示、及び警告を出力させる旨の指示を発行し、
前記侵入判定部が前記顕微鏡部又は前記アーム部が前記侵入許可領域に侵入したと判定した場合には、警告を出力させる旨の指示を発行する、
手術システム。