JP7044140B2 - 手術支援システム、画像処理方法及び情報処理装置 - Google Patents

Description

本開示は、手術支援システム、画像処理方法及び情報処理装置に関する。

内視鏡下手術では、患者の体腔内に内視鏡の鏡筒を挿入し、当該内視鏡により得られる撮像画像を表示装置に映し出し、この表示を見ながら、術者（医師）等の医療スタッフが処置具を操作して患部の切除等の各種の処置を行う。従って、より安全に、かつより円滑に手術を実行するために、医療スタッフに対してより安定的に画像を提供することが求められている。

安定的に画像を提供するための技術として、例えば、特許文献１には、患者の体腔内における処置具の先端の位置を検出し、内視鏡によって撮影された撮像画像のうち、当該処置具の特定部位の動きに追従して、当該処置具の特定部位近傍の領域のみを切り出し、表示装置に表示させる技術が開示されている。当該技術によれば、スコピストが手動で処置具の動きに追従するように内視鏡を操作しなくても、当該処置具の特定部位近傍の画像が常に表示されるため、医療スタッフに対してより安定的に画像を提供することが可能になる。

また、手術時には、エナジーデバイスによって処置を行う際に、焼灼された生体組織からミストが発生することがある。オートフォーカス（ＡＦ）機能が搭載されている内視鏡では、処置部を含む観察対象部位を撮影中にミストが発生すると、当該ミストによってコントラストが低下してＡＦが誤作動し、処置部の鮮明な画像が得られなくなってしまう恐れがある。これに対して、特許文献２には、ＡＦ機能が搭載されている内視鏡において、ミストの発生を検出した場合に合焦動作を停止する技術が開示されている。当該技術によれば、ミストが発生した場合であっても、ＡＦが誤作動することなく、ミスト発生前に得られていた処置部にフォーカスが合った画像がそのまま表示されることとなるため、医療スタッフに対してより安定的に画像を提供することが可能になる。

特開平８－１６４１４８号公報 特開２０１５－１３６４７０号公報

ここで、内視鏡下手術において、上述したミストが発生した場合や、処置に伴い血液等の体液が飛散した場合に、ミスト及び／又は体液等によって鏡筒の対物レンズが汚れてしまうと、観察対象部位の撮影を鮮明に行えなくなってしまう恐れがある。従って、ミストの発生及び／又は体液の飛散等が生じた場合には、これを避けるために、撮影中に鏡筒を移動させることがある。あるいは、例えば、他の処置具によって処置を行うための作業空間を確保するために鏡筒を移動させることもある。このように、内視鏡下手術では、さまざまな要因により、撮影中に鏡筒を移動させる必要が生じることがある。

このように鏡筒が移動した場合であっても、医療スタッフに対して安定的に画像を提供することができれば、当該医療スタッフの円滑な作業の助けになり、手術の安全性の向上、及び手術時間の短縮を実現できる可能性がある。

そこで、本開示では、手術の安全性の向上及び手術時間の短縮を実現できる、新規かつ改良された手術支援システム、画像処理方法及び情報処理装置を提案する。

本開示によれば、内視鏡によって撮影された患者の体腔内の撮像画像を表示装置に表示させるための画像データを生成する画像処理部、を備え、前記画像処理部は、撮影中に前記内視鏡の鏡筒が対物レンズの光軸方向に移動した際に、前記撮像画像のうち前記表示装置に表示される表示画像に表される範囲である表示範囲が、移動中及び移動後において移動前の表示範囲から変化しないように、前記画像データを生成する、画像処理システムが提供される。

また、本開示によれば、上記画像処理装置と、アーム部によって前記内視鏡を支持する支持アーム装置の駆動を制御し、前記内視鏡の鏡筒を移動させるアーム制御装置と、を備え、前記画像処理装置は、所定の退避条件を満たした場合に、前記鏡筒が対物レンズの光軸方向であって観察対象部位から遠ざかる方向である退避方向に移動する退避動作を実行させる旨の指示を前記アーム制御装置に対して発行し、所定の復帰条件を満たした場合に、前記鏡筒が対物レンズの光軸方向であって観察対象部位に近付く方向である復帰方向に移動する復帰動作を実行させる旨の指示を前記アーム制御装置に対して発行する移動制御部、を更に有する、内視鏡手術システムが提供される。

また、本開示によれば、内視鏡によって患者の体腔内を撮影中に前記内視鏡の鏡筒が対物レンズの光軸方向に移動した際に、プロセッサが、前記内視鏡による撮像画像のうち表示装置に表示される表示画像に表される範囲である表示範囲が、移動中及び移動後において移動前の表示範囲から変化しないように、前記撮像画像を前記表示装置に表示させるための画像データを生成する、画像処理方法が提供される。

本開示によれば、撮影中に内視鏡の鏡筒が対物レンズの光軸方向に移動した際に、その撮像画像のうち表示装置に表示される表示画像に表される範囲である表示範囲が、移動中及び移動後において移動前の表示範囲から変化しないように、当該撮像画像を当該表示装置に表示させるための画像データが生成される。従って、当該表示装置の表示を見ている術者等の医療スタッフに対して、鏡筒に移動中においても、ほぼ一定の画像が安定的に提供され得る。

以上説明したように本開示によれば、術者等の医療スタッフに対してより安定的に画像を提供することが可能になる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。

第１の実施形態に係る内視鏡手術システムの一構成例を示す図である。 第１の実施形態に係る画像処理システムの構成の一例を示すブロック図である。 退避動作時の鏡筒の動きについて説明するための図である。 鏡筒の退避前及び退避中における、撮影範囲、撮像画像、及び表示画像の関係を概略的に示す図である。 第１の実施形態に係る画像処理方法の処理手順の一例を示すフロー図である。 第２の実施形態に係る画像処理システムの構成の一例を示すブロック図である。 第３の実施形態に係る画像処理システムにおいて実行される画像処理方法の処理手順の一例を示すフロー図である。 撮像画像内の一部にミスト検出対象領域を設定する変形例における、ミストの発生を検出する方法について説明するための図である。 処置具と処置部との距離を退避条件及び復帰条件とする変形例について説明するための図である。 エナジーデバイスの注目点について説明するための図である。 エナジーデバイスの状態を退避条件及び復帰条件とする変形例に係る画像処理システムの構成を示すブロック図である。 術者がエナジーデバイスを使用する際の様子を示す図である。 ユーザの指示を退避条件及び復帰条件とする変形例に係る画像処理システムの構成を示すブロック図である。 支持アーム装置の他の構成例を概略的に示す図である。 半自動の退避動作及び復帰動作に係るアシスト力について説明するための図である。 半自動の退避動作及び復帰動作に係るアシスト力について説明するための図である。 鏡筒の先端と観察対象部位との距離の、表示画面上への一表示例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１－１．内視鏡手術システムの構成
１－２．画像処理システムの構成
１－３．画像処理方法
２．第２の実施形態
３．第３の実施形態
４．変形例
４－１．撮像画像に基づくミスト検出の他の方法
４－２．退避条件及び復帰条件の他の例
４－２－１．処置具と処置部との距離
４－２－２．エナジーデバイスの状態
４－２－３．エナジーデバイスの先端の動きの検出
４－２－４．ユーザによる指示
４－２－５．内視鏡の鏡筒の先端と処置具との距離
４－３．支持アーム装置の他の構成例
４－４．退避動作及び復帰動作の半自動化
５．補足

なお、以下では、本開示の好適な実施形態として、内視鏡手術システムに対して本技術が適用される場合を例に挙げて説明する。また、以下の説明において、「ユーザ」とは、内視鏡手術システムを用いる医療スタッフ（処置部に対して処置を行う医師（術者）、内視鏡を操作する医師（スコピスト）、又は助手等）の少なくともいずれかのことを意味するものとする。特に区別する必要がある場合のみ、当該ユーザを、術者又はスコピスト等と記載する。

また、以下に示す各図面では、説明のため、一部の構成部材の大きさを誇張して表現している場合があり、各図面において図示される各構成部材の相対的な大きさは、必ずしも実際の構成部材間における大小関係を正確に表現するものではない。

（１．第１の実施形態）
（１－１．内視鏡手術システムの構成）
図１を参照して、本開示の第１の実施形態に係る画像処理システムが適用され得る内視鏡手術システムの構成について説明する。図１は、第１の実施形態に係る内視鏡手術システム３０００の一構成例を示す図である。図１では、術者（医師）３５０１が、内視鏡手術システム３０００を用いて、患者ベッド３５０３上の患者３５０５に手術を行っている様子が図示されている。図示するように、内視鏡手術システム３０００は、内視鏡３１００と、その他の術具３２００と、内視鏡３１００を支持する支持アーム装置３３００と、内視鏡下手術のための各種の装置が搭載されたカート３４００と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ３２０７ａ～３２０７ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ３２０７ａ～３２０７ｄから、内視鏡３１００の鏡筒３１０１や、その他の術具３２００が患者３５０５の体腔内に挿入される。図示する例では、その他の術具３２００として、気腹チューブ３２０１、エナジーデバイス３２０３及び鉗子３２０５が、患者３５０５の体腔内に挿入されている。また、エナジーデバイス３２０３は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具３２００はあくまで一例であり、術具３２００としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。なお、以下の説明では、術具のうち、患者の体腔内の生体組織（内蔵、血管等）に対して切除、把持、支持等、各種の処置を行うもののことを、処置具とも呼称する。上記で例示したものの中であれば、エナジーデバイス３２０３、鉗子３２０５、攝子、及びレトラクタが処置具に当たる。

内視鏡３１００によって撮影された患者３５０５の体腔内の術部の画像が、表示装置３４０３に表示される。術者３５０１は、表示装置３４０３に表示された術部の画像をリアルタイムで見ながら、エナジーデバイス３２０３や鉗子３２０５を用いて、例えば病変に当たる体組織を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ３２０１、エナジーデバイス３２０３及び鉗子３２０５は、手術中に、術者３５０１又は助手等によって支持され、操作される。

（支持アーム装置）
支持アーム装置３３００は、ベース部３３０１から延伸するアーム部３３０３を備える。図示する例では、アーム部３３０３は、関節部３３０５ａ、３３０５ｂ、３３０５ｃ、及びリンク３３０７ａ、３３０７ｂから構成されており、アーム制御装置３４０７からの制御により駆動される。アーム部３３０３によって内視鏡３１００が支持され、その位置及び姿勢が制御される。これにより、内視鏡３１００の安定的な位置の固定が実現され得る。

ただし、図１では、簡単のため、アーム部３３０３の構成を簡略化して図示している。実際には、アーム部３３０３が所望の自由度を有するように、関節部３３０５ａ～３３０５ｃ及びリンク３３０７ａ、３３０７ｂの形状、数及び配置、並びに関節部３３０５ａ～３３０５ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部３３０３は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部３３０３の可動範囲内において内視鏡３１００を自由に移動させることが可能になるため、所望の方向から内視鏡３１００の鏡筒３１０１を患者３５０５の体腔内に挿入することが可能になる。

関節部３３０５ａ～３３０５ｃにはアクチュエータが設けられており、関節部３３０５ａ～３３０５ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。これらアクチュエータの駆動が後述するアーム制御装置３４０７によって互いに協調して制御されることにより、各関節部３３０５ａ～３３０５ｃの回転角度が適宜制御され、アーム部３３０３の姿勢が制御される。これにより、内視鏡３１００の位置及び姿勢が制御される。

具体的には、関節部３３０５ａ～３３０５ｃに設けられるアクチュエータには、各関節部の回転角度を検出するエンコーダや、各関節部に作用するトルクを検出するトルクセンサ等の、各関節部の状態を検出するための各種のセンサが設けられる。これらのセンサの検出値は、アーム制御装置３４０７に送信される。アーム制御装置３４０７は、アーム部３３０３の幾何学的状態及び力学的状態が支持アーム装置３３００の内部座標によって表現された内部モデルを有しており、当該内部モデルと、当該センサの検出値と、に基づいて、現在の関節部３３０５ａ～３３０５ｃの状態、すなわち現在のアーム部３３０３の状態（位置、姿勢、速度等）を把握することができる。アーム制御装置３４０７は、把握したアーム部３３０３の状態に基づいて、ユーザによるアーム部３３０３の動作に対する操作入力に対応する各関節部の駆動制御量（例えば、回転角度や駆動トルク）を算出し、当該駆動制御量に応じて各関節部を駆動させる。

例えば、ユーザが、入力装置３４０９（フットスイッチ３４１９を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置３４０７によってアーム部３３０３の駆動が適宜制御され、内視鏡３１００の位置及び姿勢が制御されてよい。あるいは、アーム部３３０３は、ユーザのジェスチャ等によって操作されてもよい。あるいは、アーム部３３０３は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部３３０３は、手術室から離れた場所に設置される入力装置３４０９を介してユーザによって遠隔操作され得る。

なお、第１の実施形態では、アーム部３３０３の駆動方式は限定されず、アーム制御装置３４０７は、力制御又は位置制御等、各種の公知の制御方式によってアーム部３３０３の駆動を制御することができる。この際、力制御が適用される場合には、アーム制御装置３４０７は、内視鏡３１００を操作するスコピストがアーム部３３０３又は内視鏡３１００に直接触れて行う操作（以下、直接操作ともいう）に応じて、その直接操作における外力にならってスムーズにアーム部３３０３が移動するように各関節部３３０５ａ～３３０５ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行うことができる。これにより、スコピストが直接アーム部３３０３に触れながらアーム部３３０３を移動させる際に、比較的軽い力で当該アーム部３３０３を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡３１００を移動させることが可能となり、スコピストの利便性を向上させることができる。

（内視鏡）
内視鏡３１００は、先端から所定の長さの領域が患者３５０５の体腔内に挿入される鏡筒３１０１と、鏡筒３１０１の基端に接続されるカメラヘッド３１０３と、から構成される。第１の実施形態では、内視鏡３１００は、硬性の鏡筒３１０１を有するいわゆる硬性鏡として構成される。

鏡筒３１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。第１の実施形態では、内視鏡３１００は、当該対物レンズが、その光軸が鏡筒３１０１の延伸方向と平行になるように設けられる、いわゆる直視鏡として構成される。内視鏡３１００には光源装置３４０５が接続されており、当該光源装置３４０５によって生成された光が、鏡筒３１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者３５０５の体腔内の観察対象部位に向かって照射される。観察対象部位からの反射光（観察光）が、対物レンズ及び鏡筒３１０１内に設けられるリレー光学系を介して、カメラヘッド３１０３まで導かれる。

カメラヘッド３１０３の内部には光学系及び撮像素子が設けられており、観察光は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）３４０１に送信される。なお、カメラヘッド３１０３には、その光学系を適宜駆動させることにより、倍率及び焦点距離（フォーカス）を調整する機構が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド３１０３には撮像素子が複数設けられてもよい。すなわち、内視鏡３１００は、ステレオカメラを搭載してもよい。この場合、鏡筒３１０１の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ３４０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡３１００、表示装置３４０３及びアーム制御装置３４０７の動作を統括的に制御する。ＣＣＵ３４０１は、本開示における画像処理装置に対応するものである。具体的には、ＣＣＵ３４０１は、カメラヘッド３１０３から受け取った画像信号に対して、例えば現像処理（デモザイク処理）や拡大処理（電子ズーム処理）等の、当該画像信号に基づく画像を表示装置３４０３に表示させるための各種の画像処理を施す。つまり、ＣＣＵ３４０１は、内視鏡３１００によって撮影された撮像画像を表示装置３４０３に表示させるための画像データを生成する。ＣＣＵ３４０１は、各種の画像処理が施された画像信号（すなわち、生成した画像データ）を表示装置３４０３に送信する。

また、ＣＣＵ３４０１は、カメラヘッド３１０３に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率やフォーカス等、撮像条件に関する情報が含まれ得る。

また、ＣＣＵ３４０１は、所定の条件を満たした場合に、内視鏡３１００の鏡筒３１０１を現在の位置から退避させる旨の指示を、その際の退避移動量についての情報とともに、アーム制御装置３４０７に送信する。アーム制御装置３４０７は、当該指示に基づいて、鏡筒３１０１がその退避移動量の分だけ観察対象部位から離れるように、アーム部３３０３を駆動させる。この際、アーム制御装置３４０７は、鏡筒３１０１を、その先端に設けられる対物レンズの光軸方向、すなわち鏡筒３１０１の延伸方向に移動させる。

第１の実施形態では、ＣＣＵ３４０１は、この退避指示に従って鏡筒３１０１が移動している間及び移動後において、内視鏡３１００による撮像画像のうち表示装置３４０３に表示される表示画像に表される範囲である表示範囲が、移動前における表示範囲から変化しないように、上述した画像データを生成する。これにより、鏡筒３１０１の移動中及び移動後において、表示装置３４０３には、内視鏡３１００による撮像画像における観察対象部位内の同一の範囲が常に表示されることとなるため、術者３５０１に対して、鏡筒３１０１の移動にかかわらず略同一のより安定的な表示が提供されることとなる。

なお、以上説明した、ＣＣＵ３４０１及びアーム制御装置３４０７によって行われる、内視鏡３１００の鏡筒３１０１の移動、及びその移動に伴う画像処理については、下記（１－２．画像処理システムの構成）で改めて詳述する。

表示装置３４０３は、ＣＣＵ３４０１からの制御により、当該ＣＣＵ３４０１によって生成された画像データに基づく画像を表示する。内視鏡３１００が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置３４０３としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置３４０３として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置３４０３が設けられてもよい。

光源装置３４０５は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡３１００に供給する。

アーム制御装置３４０７は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置３３００のアーム部３３０３の駆動を制御する。

入力装置３４０９は、内視鏡手術システム３０００に対する入力インタフェースである。ユーザは、入力装置３４０９を介して、内視鏡手術システム３０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置３４０９を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置３４０９を介して、アーム部３３０３を駆動させる旨の指示や、内視鏡３１００による撮像条件（照射光の種類、倍率及びフォーカス等）を変更する旨の指示、エナジーデバイス３２０３を駆動させる旨の指示等を入力する。

入力装置３４０９の種類は限定されず、入力装置３４０９は各種の公知の入力装置であってよい。入力装置３４０９としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ３４１９及び／又はレバー等が適用され得る。入力装置３４０９としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置３４０３の表示面上に設けられてもよい。

あるいは、入力装置３４０９は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスを含んでもよく、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われてもよい。また、入力装置３４０９は、ユーザの動きを検出可能なカメラを含んでもよく、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われてもよい。更に、入力装置３４０９は、ユーザの声を収音可能なマイクロフォンを含んでもよく、当該マイクロフォンを介して音声によって各種の入力が行われてもよい。このように、入力装置３４０９が非接触で各種の情報を入力可能に構成される場合には、特に清潔域に属するユーザ（例えば術者３５０１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置３４１１は、組織の焼灼、切開又は血管の封止等のためのエナジーデバイス３２０３の駆動を制御する。気腹装置３４１３は、内視鏡３１００による視野の確保及び術者の作業空間の確保の目的で、患者３５０５の体腔を膨らめるために、気腹チューブ３２０１を介して当該体腔内にガスを送り込む。レコーダ３４１５は、手術に関する各種の情報を記録可能な装置である。プリンタ３４１７は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以上、内視鏡手術システム３０００の構成について説明した。

（１－２．画像処理システムの構成）
図２を参照して、以上説明した内視鏡手術システム３０００に適用される、第１の実施形態に係る画像処理システム１の構成について説明する。図２は、第１の実施形態に係る画像処理システム１の構成の一例を示すブロック図である。画像処理システム１は、手術中に内視鏡３１００が移動した場合における、表示装置３４０３に表示される表示画像を制御するものである。なお、図２では、上述した内視鏡手術システム３０００のうち、画像処理システム１に関連する構成のみを抜き出して図示している。以下の画像処理システム１についての説明では、図１に示す内視鏡手術システム３０００の構成も参照しながら、その構成について説明を行う。

図２を参照すると、画像処理システム１は、内視鏡３１００と、ＣＣＵ３４０１と、アーム制御装置３４０７と、支持アーム装置３３００のアーム部３３０３と、から構成される。

内視鏡３１００（より厳密には、内視鏡３１００のカメラヘッド３１０３）には、上述したように、撮像素子１１１及びフォーカス調整機構１１２が搭載される。手術中には、撮像素子１１１によって得られた画像信号が、フレームレートに対応する所定の間隔で随時ＣＣＵ３４０１に送信されている。

ＣＣＵ３４０１は、その機能として、移動制御部１２１、画像処理部１２２及びフォーカス制御部１２３を有する。ＣＣＵ３４０１を構成するプロセッサが所定のプログラムに従って動作することにより、これらの機能が実現され得る。

画像処理部１２２は、撮像素子１１１によって得られた画像信号に対して各種の画像処理を行うことにより、撮像画像に係る画像データを生成する。また、画像処理部１２２は、当該撮像画像に係る画像データに基づいて、出力用の画像データを生成する。出力用の画像データとは、具体的には、上述した内視鏡手術システム３０００の表示装置３４０３、レコーダ３４１５、又はプリンタ３４１７等の各種のデータ出力用装置において処理可能な形式に加工された画像データのことである。本実施形態では、画像処理部１２２は、撮像画像に係る画像データに基づいて、表示装置３４０３に表示される表示画像に係る画像データを生成する。

ここで、本明細書において、撮像画像とは、撮像素子１１１、及びその前段に設けられる光学系等、内視鏡３１００の撮像機構のハードウェアに従って決定される倍率、画角、フォーカス等を有する画像のことを意味する。一方、表示画像とは、実際に表示装置３４０３に表示される画像のことを意味する。表示画像は、撮像画像そのものであってもよい。あるいは、表示画像は、撮像画像の一部領域を切り出したものであったり、撮像画像の一部領域を電子ズーム機能によって拡大したものであったり等、撮像画像に対して所定の加工を施した画像であってもよい。つまり、画像処理部１２２は、撮像画像に係る画像データに各種の加工を施して、又は、何ら加工を施さず、表示画像に係る画像データを生成する。

手術中において、通常時、すなわち後述する移動制御部１２１による鏡筒３１０１の移動の制御が行われていない場合には、画像処理部１２２がどのような表示画像に係る画像データを生成するかは、ユーザによって適宜設定され得る。つまり、通常時には、このユーザによって適宜設定された条件（撮像画像の切り出し、電子ズームによる拡大等）に従って、画像処理部１２２が、表示画像に係る画像データを生成する。そして、この生成された画像データが、表示装置３４０３に送信され、表示される。術者３５０１は、この表示画像によって処置部の様子を観察しながら、処置具を操作して、当該処置部に対して各種の処置を行う。

移動制御部１２１は、所定の条件を満たした場合に、アーム制御装置３４０７に対して内視鏡３１００の鏡筒３１０１を移動させる旨の指示を発行することにより、当該鏡筒３１０１の移動を制御する。具体的には、移動制御部１２１は、所定の退避条件を満たした場合に、鏡筒３１０１が観察対象部位から離れるように、鏡筒３１０１を移動させる。また、移動制御部１２１は、所定の復帰条件を満たした場合に、鏡筒３１０１が退避前の位置に戻るように（すなわち、鏡筒３１０１が観察対象部位に近付くように）、鏡筒３１０１を移動させる。なお、この退避動作時及び復帰動作時における鏡筒３１０１の移動方向は、鏡筒３１０１に設けられる対物レンズの光軸方向、すなわち、鏡筒３１０１の延伸方向である。

第１の実施形態では、退避条件は、エナジーデバイス３２０３による体組織の焼灼によって生じるミストの発生を検出した場合である。また、復帰条件は、当該ミストの消失を検出した場合である。具体的には、移動制御部１２１は、画像処理部１２２によって生成された撮像画像に係る画像データに基づいて、ミストの発生及び消失を検出する。なお、画像データに基づくミストの発生及び消失の検出の具体的な方法としては、各種の公知の画像認識処理に係る方法が用いられてよいため、ここでは詳細な説明を省略する。例えば、画像データに基づくミストの発生及び消失の検出には、上記特許文献２（特開２０１５－１３６４７０号公報）に記載の方法を好適に適用することができる。特許文献２に記載の方法では、撮像画像における輝度の時間変化を示す表価値、彩度の時間変化を示す表価値、及びダイナミックレンジの時間変化を示す評価値を算出し、これらの評価値に基づいて、ミストの発生及び消失を検出している。

移動制御部１２１は、ミストの発生を検出した場合には、退避動作時における鏡筒３１０１の移動量である退避移動量を決定し、退避動作を行わせる旨の指示、及び当該退避移動量についての情報を、アーム制御装置３４０７に対して送信する。第１の実施形態では、退避移動量としては、ユーザによって予め設定される一定の値が用いられる。例えば、当該退避移動量は、発生したミストが内視鏡３１００による撮像画像に影響を与えないような値として、適宜設定されてよい。

また、移動制御部１２１は、ミストの消失を検出した場合には、復帰時の鏡筒３１０１の移動量である復帰移動量を決定し、復帰動作を行わせる旨の指示、及び当該復帰移動量についての情報を、アーム制御装置３４０７に対して送信する。この際、復帰移動量としては、退避移動量と同じ値が決定される。

フォーカス制御部１２３は、鏡筒３１０１の移動中及び移動後に、観察対象部位に常に焦点が合うように、内視鏡３１００のフォーカス調整機構１１２の駆動を制御する。これにより、鏡筒３１０１の退避動作及び復帰動作における一連の移動中において、退避前に撮影されていた観察対象部位にフォーカスの合った撮像画像が常に得られることとなる。

アーム制御装置３４０７は、その機能として、アクチュエータ駆動制御部１３１を有する。アーム制御装置３４０７を構成するプロセッサが所定のプログラムに従って動作することにより、当該機能が実現され得る。

支持アーム装置３３００のアーム部３３０３の各関節部には、アクチュエータ１４１が設けられる。アクチュエータ駆動制御部１３１は、移動制御部１２１からの指示に従って、各種の制御方式に従って、当該アーム部３３０３の各関節部に設けられるアクチュエータ１４１を互いに協調させて駆動させることにより、アーム部３３０３を動作させ、鏡筒３１０１に退避動作及び復帰動作を行わせる。なお、図２では、内視鏡３１００がアーム部３３０３によって物理的に支持されていることを、破線の矢印で両者のブロックを結ぶことによって表現している。

退避動作時及び復帰動作時における実際の鏡筒３１０１の移動量は、アーム部３３０３の各関節部に設けられるセンサの検出値に基づいて、アーム制御装置３４０７によって随時把握されている。アーム制御装置３４０７は、退避動作時及び復帰動作時には、この鏡筒３１０１の移動量についての情報を、ＣＣＵ３４０１に対して随時送信する。

第１の実施形態では、この鏡筒３１０１の退避動作及び復帰動作が行われている間、画像処理部１２２が、通常時とは異なる表示画像に基づく画像データを生成する。そして、この生成された画像データが、表示装置３４０３に送信され、表示される。具体的には、画像処理部１２２は、鏡筒３１０１の移動中又は移動後において、内視鏡３１００による撮像画像のうち表示装置３４０３に表示される表示画像に表される範囲である表示範囲が、移動前における表示範囲から変化しないように、表示画像に係る画像データを生成する。

図３及び図４を参照して、この鏡筒３１０１の退避動作時及び復帰動作時における画像処理部１２２による処理についてより詳細に説明する。ここでは、退避動作時を例に挙げて画像処理の詳細について説明する。

図３は、退避動作時の鏡筒３１０１の動きについて説明するための図である。図３（ａ）は、退避前の状態を示している。この状態で、エナジーデバイス３２０３によって処置が行われ、ミスト２０１が発生したとすると、上述したように、ＣＣＵ３４０１の移動制御部１２１によってこのミスト２０１の発生が検出され、退避動作を行わせる旨の指示が発行される。図３（ｂ）は、退避中の状態を示している。当該指示に従い、アーム制御装置３４０７のアクチュエータ駆動制御部１３１によって、図３（ｂ）に示すように、鏡筒３１０１が、その対物レンズの光軸方向に退避するように移動させられる。

図４は、鏡筒３１０１の退避動作前及び退避動作中における、撮影範囲、撮像画像、及び表示画像の関係を概略的に示す図である。図４では、左列に退避動作前における撮影範囲、撮像画像、及び表示画像を概略的に示しており、右列に退避動作中における撮影範囲、撮像画像、及び表示画像を概略的に示している。

図４に示すように、退避動作前（すなわち、通常時）における鏡筒３１０１の位置においては、ある撮影範囲２０３内の様子が、撮像画像２０５として撮影される。そして、ユーザによって切り出しや電子ズーム等の設定が特になされていなければ、この撮像画像２０５と略同一の画像が、表示画像２０７として表示されることになる。

一方、退避動作中には、鏡筒３１０１が観察対象部位から遠ざかるように移動することにより、図示するように、その撮影範囲２０９は、退避動作前の撮影範囲２０３よりも大きくなる。図４では、説明のため、退避動作中の撮影範囲２０９に対して、退避動作前の撮影範囲２０３を二点鎖線で示している。この場合、この撮影範囲２０９の様子が撮像画像２１１として得られるため、図示するように、退避動作前の撮像画像２０５を含むより広範囲の画像が、撮像画像２１１として得られることとなる。この際、退避動作前と同様に、この撮像画像２１１をそのまま表示画像として映し出すと、処置部の表示が徐々に小さくなるように表示画像が変化してしまうこととなるため、その間術者３５０１は処置を中断せざるを得ず、円滑な手術の実行が困難になってしまう。

そこで、第１の実施形態では、画像処理部１２２は、鏡筒３１０１の退避動作中に取得された撮像画像２１１内の、退避動作前における表示範囲に対応する領域２１３を切り出し、当該領域２１３を電子ズーム機能によって拡大することにより、表示画像に係る画像データを生成する。具体的には、上述したように、第１の実施形態では、退避動作時には鏡筒３１０１をその対物レンズの光軸方向に移動させることとしているため、画像処理部１２２は、切り出す領域２１３の中心を撮像画像２１１の中心に固定したまま、鏡筒３１０１の移動量に応じて当該切り出す領域２１３の大きさを徐々に小さくしていけばよい。なお、鏡筒３１０１の移動量は、アーム制御装置３４０７から送信される退避動作前の鏡筒３１０１の位置についての情報と、現在の鏡筒３１０１の位置についての情報に基づいて算出すればよい。これにより、退避中における表示画像２１５としては、電子ズームを行うことによる若干の画質の劣化は生じ得るものの、退避前における表示画像２０７と、ほぼ同様の画像が得られることとなる。

以上の説明では、退避動作時を例に挙げて当該退避動作時における画像処理について説明したが、復帰動作時にも、画像処理部１２２は、同様の処理を実行する。具体的には、画像処理部１２２は、鏡筒３１０１の復帰動作中に取得された撮像画像内の、退避動作前における表示範囲に対応する領域を切り出し、当該領域を電子ズーム機能によって拡大することにより、表示画像に係る画像データを生成する。この際、退避動作時には、画像処理部１２２は、切り出す領域の中心を撮像画像の中心に固定したまま、鏡筒３１０１の移動量に応じて当該切り出す領域の大きさを徐々に大きくしていけばよい。

第１の実施形態では、以上説明した画像処理を行うことにより、退避動作又は復帰動作に伴い鏡筒３１０１が移動したとしても、術者３５０１に対して提供される画像はほぼ変化しないこととなる。つまり、手術中に鏡筒３１０１が移動したとしても、術者に対してより安定的な画像を提供することができるため、手術の安全性をより高めるとともに、手術をより円滑に行うことが可能になる。また、手術時間をより低減することが可能になる。

以上、第１の実施形態に係る画像処理システムの構成について説明した。なお、以上説明した構成例では、退避条件及び復帰条件を、それぞれミストの発生の検出及びミストの消失の検出としていたが、第１の実施形態はかかる例に限定されない。例えば、ミストに代えて、又はミストとともに、処置具による処置に伴って生じる血液等の体液の飛散を対象として、退避条件及び復帰条件が設定されてもよい。また、以上の説明では、画像処理部１２２が、表示装置３４０３に表示される表示画像に係る画像データを生成する場合について説明したが、第１の実施形態はかかる例に限定されない。第１の実施形態では、上述したように、画像処理部１２２は、レコーダ３４１５又はプリンタ３４１７等の他のデータ出力用装置に対する出力用の画像データを生成することができる。この場合、画像処理部１２２は、鏡筒３１０１の移動中又は移動後において、内視鏡３１００による撮像画像のうち表示装置３４０３に表示される表示画像に表される範囲である表示範囲が、移動前における表示範囲から変化しないように、各データ出力用装置に対応した出力用の画像データを生成することができる。つまり、画像処理部１２２は、必ずしも表示装置３４０３に表示されるための画像データを作成しなくてもよく、レコーダ３４１５等の記録装置によって記録されるための画像データや、プリンタ３４１７等の印刷装置によって印刷されるための画像データを作成してもよい。

ここで、一般的に、内視鏡下手術においては、上述したように、処置具によって処置部に対して処置を行う際に、ミストが発生したり、血液等の体液が飛散したりすることがある。内視鏡３１００の鏡筒３１０１を処置部を含む観察対象部位に比較的近付けて撮影を行っている場合には、このようにミストや体液の飛散が発生すると、これらミスト及び／又は体液によって鏡筒３１０１の対物レンズが汚れてしまい、観察対象部位の観察及び撮影を鮮明に行えなくなってしまうことがある。

これに対して、一般的に、手術中にミスト及び／又は体液等によって鏡筒３１０１の対物レンズが汚れてしまった場合には、一旦鏡筒３１０１を患者の体腔から引き抜き、清浄な状態にしてから、再度鏡筒３１０１を患者の体腔内に挿入し、観察対象部位の撮影を再開する、という方法が取られている。

しかしながら、当該方法では、鏡筒３１０１を引き抜いている間は、当然、撮影が中断されることとなるため、その間は体腔内に挿入されている他の処置具の様子を視覚的に把握することができず、危険が生じる恐れがある。また、鏡筒３１０１を再挿入する際に、撮影中断前と略同一の観察状態を再現する必要があるため、その作業が、スコピストの負担を増加させるとともに、手術時間の増加にもつながり、術者３５０１及び患者３５０５の負担も大きくなってしまう。また、鏡筒３１０１を一旦引き抜き、再度挿入する作業自体が、スコピスト及び患者３５０５にとって負担となり得る。更に、鏡筒３１０１を再度挿入した際に、撮影中断前と全く同じ位置に鏡筒を位置させることは困難であるため、撮影中断前と撮影再開後とで、撮像画像が大きく変化してしまう可能性がある。この場合、術者３５０１は、中断前とは異なる撮影方向、撮影範囲で撮影された撮像画像を見ながら手術を再開しなければならないため、術者３５０１の負担が増加するとともに、手術のリスクも高まる恐れがある。

そこで、ミスト及び／又は体液等に対する対策として、鏡筒３１０１の対物レンズが汚れないように、予めより離れた位置から観察対象部位を撮影する方法も考えられる。しかしながら、遠距離から撮影すると、観察対象部位の詳細な撮影が困難となるため、処置を行う際の細部の観察が困難になる。電子ズーム機能を用いて処置部を拡大して表示させたとしても、近距離から撮影した場合に比べて画質は劣化してしまうので、最適な観察状態とは言えない。

また、ミスト及び／又は体液等に対する他の対策として、術者３５０１とスコピストが連携して、ミスト及び／又は体液等の飛散の発生時に予め鏡筒３１０１を退避させておく方法も考えられる。当該方法によれば、退避時にも体腔内の様子を撮影し続けることができるため、上述した一旦鏡筒３１０１を引き抜く方法に比べて、より安全に手術を続行できる可能性がある。しかしながら、当該方法も、一旦鏡筒３１０１を引き抜く場合と同様に、撮影再開時には再び鏡筒３１０１を観察対象部位に近付ける作業が発生するため、撮影中断前と同じ観察状態を再現することは困難であり、撮像画像は変化してしまう。また、退避時に撮影を続ける際には、退避後の位置で適切な撮像画像が得られるようにフォーカスの再調整を行う作業が必要となる場合があり、その場合には、撮影再開時に再度フォーカスを調整し直す作業を行う必要があるため、スコピストの負担の増加とともに手術時間の増加につながる。

上記の諸問題に対して、第１の実施形態では、上述したように、ミスト及び／又は体液等の飛散の発生を検出したことを退避条件として、支持アーム装置３３００によって、鏡筒３１０１が、当該ミスト及び／又は体液等が撮像画像に影響を及ぼさない位置まで自動的に退避される。従って、ミスト及び／又は体液等によって鏡筒３１０１が汚れることが回避され得るため、上述した従来の方法のように一旦鏡筒３１０１を引き抜く作業は生じず、体腔内の様子を常に観察することができる。よって、より安全な手術が提供され得る。なお、鏡筒３１０１が自動的に退避してしまうと、ユーザ（特にスコピスト）にとっては、鏡筒３１０１の位置が把握できないという不都合が生じることが懸念されるが、第１の実施形態では、退避動作後に、ミストの消失及び／又は体液等の飛散が収まったことが検出された場合には、支持アーム装置３３００によって、鏡筒３１０１が、元の位置まで自動的に復帰される。従って、このような不都合の発生も解消される。

また、第１の実施形態によれば、鏡筒３１０１の退避動作時及び復帰動作持に、フォーカス制御部１２３によるフォーカス制御処理、及び画像処理部１２２による上述した画像処理が行われるため、表示装置３４０３には、略一定の表示画像が映し出される。つまり、鏡筒３１０１の移動に伴う術者３５０１に提供される表示の変化がほとんど発生しない。このように、第１の実施形態によれば、安定的な表示を維持しながら、ミスト及び／又は体液等によって鏡筒３１０１が汚されることを防止することが可能になる。従って、手術をより円滑に行うことが可能となるため、手術時間の低減、医療スタッフの負担の軽減、患者３５０５の負担の軽減（侵襲性の低減）を実現することができる。

（１－３．画像処理方法）
図５を参照して、第１の実施形態に係る画像処理システム１において実行される画像処理方法の処理手順について説明する。図５は、第１の実施形態に係る画像処理方法の処理手順の一例を示すフロー図である。

なお、図５に示す各ステップにおける処理は、図２に示すＣＣＵ３４０１によって実行される処理に対応している。具体的には、ステップＳ１０１～ステップＳ１０７、及びステップＳ１１１～ステップＳ１１７における処理は、ＣＣＵ３４０１の移動制御部１２１によって実行される処理に対応している。また、ステップＳ１０９及びステップＳ１１９における処理は、ＣＣＵ３４０１の画像処理部１２２及びフォーカス制御部１２３によって実行される処理に対応している。各処理の詳細については、図２を参照して既に説明しているため、以下の画像処理方法の処理手順についての説明では、各処理についての詳細な説明は省略する。

また、図５に示す一連の処理の間、随時、内視鏡３１００の撮像素子１１１によって画像信号が取得され、ＣＣＵ３４０１の画像処理部１２２によって当該画像信号に基づいて撮像画像に係る画像データ、及び表示画像に係る画像データが生成されている。そして、この生成された表示画像に係る画像データに基づいて、当該表示画像が表示装置３４０３に表示されている。

図５を参照すると、第１の実施形態に係る画像処理方法では、まず、ミストの発生が検出されたかどうかが判定される（ステップＳ１０１）。具体的には、ステップＳ１０１では、撮像画像に係る画像データに基づいてミストの発生が検出されたかどうかが判定される。

ステップＳ１０１でミストの発生が検出されなかった場合には、鏡筒３１０１の退避動作は行われないので、画像処理方法を終了する。一方、ステップＳ１０１でミストの発生が検出された場合には、ステップＳ１０３に進む。

ステップＳ１０３では、鏡筒３１０１の退避移動量が決定される。第１の実施形態では、退避移動量としては、ユーザによって予め設定された所定の値が用いられる。

次いで、鏡筒３１０１の現在位置が最終位置かどうか、すなわちステップＳ１０３で決定された退避移動量だけ移動したかどうかが判定される（ステップＳ１０５）。ミストの発生が検出された直後であって退避動作開始前には、当然鏡筒３１０１の現在位置は最終位置でない。この場合、ステップＳ１０７に進む。

ステップＳ１０７では、鏡筒３１０１を退避方向に移動させる旨の指示が発行される。当該指示に従って、図２に示すアーム制御装置３４０７のアクチュエータ駆動制御部１３１が、支持アーム装置３３００のアーム部３３０３の各関節部に設けられるアクチュエータ１４１を駆動させることにより、鏡筒３１０１が退避方向に移動する。

次いで、この鏡筒３１０１が退避方向に移動している最中に、観察対象部位に焦点が合うようにフォーカスが制御されるとともに、表示画像の表示範囲が退避動作前と同じになるように、撮像画像の切り出し及び電子ズーム処理が行われる（ステップＳ１０９）。すなわち、表示画像の表示範囲が退避動作前と同じになるように、当該表示画像に係る画像データが生成される。

ステップＳ１０９における処理が終了すると、ステップＳ１０５に戻り、鏡筒３１０１の現在位置が最終位置かどうかの判定処理が再度行われる。以降、ステップＳ１０５で鏡筒３１０１の現在位置が最終位置と判定されるまで、すなわち鏡筒３１０１が退避移動量だけ移動するまで、ステップＳ１０５～ステップＳ１０９における処理が繰り返される。これにより、退避動作中に、ほぼ同一の表示画像が表示されることとなる。

ステップＳ１０５で鏡筒３１０１の現在位置が最終位置と判定された場合には、ステップＳ１１１に進む。ステップＳ１１１では、ミストの消失が検出されたかどうかが判定される。具体的には、ステップＳ１１１では、撮像画像に係る画像データに基づいてミストの消失が検出されたかどうかが判定される。

ステップＳ１１１でミストの消失が検出されなかった場合には、そのまま待機し、例えば撮像画像のフレームレートに対応する所定時間の後、ステップＳ１１１における判定処理を再度繰り返す。つまり、ミストが消失するまでは、鏡筒３１０１は、退避した位置で待機する。

ステップＳ１１１でミストの消失が検出された場合には、ステップＳ１１３に進む。ステップＳ１１３では、鏡筒３１０１の復帰移動量が決定される。第１の実施形態では、復帰移動量としては、退避移動量と同一の値が用いられる。

次いで、鏡筒３１０１の現在位置が最終位置かどうか、すなわちステップＳ１１３で決定された復帰移動量だけ移動したかどうかが判定される（ステップＳ１１５）。ミストの消失が検出された直後であって復帰動作開始前には、当然鏡筒３１０１の現在位置は最終位置でない。この場合、ステップＳ１１７に進む。

ステップＳ１１７では、鏡筒３１０１を復帰方向に移動させる旨の指示が発行される。当該指示に従って、図２に示すアーム制御装置３４０７のアクチュエータ駆動制御部１３１が、支持アーム装置３３００のアーム部３３０３の各関節部に設けられるアクチュエータ１４１を駆動させることにより、鏡筒３１０１が復帰方向に移動する。

次いで、この鏡筒３１０１が復帰方向に移動している最中に、観察対象部位に焦点が合うようにフォーカスが制御されるとともに、表示画像の表示範囲が退避動作前と同じになるように、撮像画像の切り出し及び電子ズーム処理が行われる（ステップＳ１１９）。すなわち、表示画像の表示範囲が退避動作前と同じになるように、当該表示画像に係る画像データが生成される。

ステップＳ１１９における処理が終了すると、ステップＳ１１５に戻り、鏡筒３１０１の現在位置が最終位置かどうかの判定処理が再度行われる。以降、ステップＳ１１５で鏡筒３１０１の現在位置が最終位置と判定されるまで、すなわち鏡筒３１０１が復帰移動量だけ移動するまで、ステップＳ１１５～ステップＳ１１９における処理が繰り返される。これにより、復帰動作中においても、ほぼ同一の表示画像が表示されることとなる。

ステップＳ１１１で鏡筒３１０１の現在位置が最終位置と判定された場合には、画像処理方法に係る一連の処理を終了する。第１の実施形態では、手術中に内視鏡３１００によって観察対象部位を撮影している最中に、以上説明した一連の処理が随時実行される。

以上、第１の実施形態に係る画像処理方法の処理手順について説明した。

（２．第２の実施形態）
図６を参照して、本開示の第２の実施形態について説明する。図６は、第２の実施形態に係る画像処理システムの構成の一例を示すブロック図である。なお、第２の実施形態に係る画像処理システムが適用され得る内視鏡手術システムは、図１に示す内視鏡手術システム３０００と同様であるため、ここではその説明を省略する。

図６を参照すると、第２の実施形態に係る画像処理システム２は、上述した図２に示す第１の実施形態に係る画像処理システム１に対して、内視鏡３１００及びＣＣＵ３４０１の機能が変更されたものに対応する。画像処理システム２のそれ以外の構成は、画像処理システム１と同様であるため、ここでは、画像処理システム１と重複する事項についてはその説明を省略する。また、第２の実施形態に係る画像処理方法についても、後述する退避移動量の決定方法が異なること、及び当該退避移動量に基づく退避動作の実行有無の判定処理が追加されること以外は、第１の実施形態に係る画像処理方法と同様であるため、その説明を省略する。

第２の実施形態に係る内視鏡３１００ａには、撮像素子１１１及びフォーカス調整機構１１２が搭載される。これらは、第１の実施形態に係る画像処理システム１の内視鏡３１００に搭載されるものと同様である。第２の実施形態では、第１の実施形態とは異なり、内視鏡３１００ａは、その機能として、距離検出部１１３を有する。

距離検出部１１３は、内視鏡３１００ａの鏡筒３１０１の先端から観察対象部位までの、当該鏡筒３１０１の対物レンズの光軸方向における距離（すなわち、鏡筒３１０１の延伸方向における距離）を検出する。距離検出部１１３は、検出した距離情報を、ＣＣＵ３４０１に送信する。

なお、距離検出部１１３の具体的な構成は限定されない。例えば、内視鏡３１００ａにステレオカメラが搭載される場合であれば、距離検出部１１３は当該ステレオカメラによって構成され得る。ステレオカメラによる撮像画像には、当該撮像画像内に存在する物体の奥行き情報が含まれるため、当該ステレオカメラによる撮像画像から、上記の距離を検出することができる。なお、図２では便宜的に距離検出部１１３を内視鏡３１００ａの機能として図示しているが、ステレオカメラによる撮像画像から上記距離を検出する場合には、厳密には、当該ステレオカメラによって取得された画像信号に基づいて、ＣＣＵ３４０１を構成するプロセッサが上記距離を算出することになる。その意味で、距離検出部１１３の機能は、内視鏡３１００ａのステレオカメラ及びＣＣＵ３４０１のプロセッサによって構成されるとも言える。

あるいは、例えば、距離検出部１１３は、鏡筒３１０１の先端に設けられる測距センサによって構成され得る。ただし、測距センサを設けると、その分鏡筒３１０１が大型化し侵襲性が増加する恐れがある。また、測距センサを設けることによるコストの増加も懸念される。従って、距離検出部１１３は、ステレオカメラによって実現されることがより好ましい。

第２の実施形態では、ＣＣＵ３４０１には、その機能として、移動制御部１２１ａと、画像処理部１２２と、フォーカス制御部１２３と、が設けられる。画像処理部１２２及びフォーカス制御部１２３の機能は、第１の実施形態におけるこれらの機能と同様である。第２の実施形態では、移動制御部１２１ａの機能が第１の実施形態とは異なる。

具体的には、移動制御部１２１ａは、ミストが撮像画像に影響を及ぼさない鏡筒３１０１の先端と観察対象部位との距離をＸ１、ミストの発生を検出する直前における鏡筒３１０１の先端と観察対象部位との距離をＸ２とした場合に、退避移動量Ｘ３を、Ｘ３＝Ｘ１－Ｘ２として決定する。距離Ｘ２は、ミストの発生を検出する直前において上述した距離検出部１１３によって検出される距離である。また、距離Ｘ１は、過去の経験等に基づいて、ユーザによって適宜決定されてよい。例えば、観察対象部位である生体組織の種類や、エナジーデバイス３２０３の種類、術式等により、ミストの発生量に傾向がある場合であれば、過去の知見から得られた当該傾向に基づいて、距離Ｘ１が決定されてよい。

そして、移動制御部１２１ａは、退避移動量Ｘ３＞０である場合には、当該退避移動量Ｘ３だけ、退避動作を行うように、アーム制御装置３４０７に指示を発行する。退避動作では、アーム制御装置３４０７によって、当該退避移動量Ｘ３だけ鏡筒３１０１が移動される。この場合、上記のようにＸ３＝Ｘ１－Ｘ２であるから、鏡筒３１０１は、その先端が、ミストが撮像画像に影響を及ぼさない距離Ｘ１だけ観察対象部位から離れた場所に位置するように移動することになる。

一方、退避移動量Ｘ３＜０である場合には、移動制御部１２１ａは、退避動作を行う旨の指示を発行しない。退避移動量Ｘ３＜０である場合には、ミストの発生は検出されていたとしても、鏡筒３１０１は、既に、撮像画像が当該ミストの影響を受けない距離に存在している状態であるため、退避動作を行う必要がないからである。

なお、移動制御部１２１ａのその他の機能は、第１の実施形態に係る移動制御部１２１と同様であるため、その説明を省略する。

以上、第２の実施形態について説明した。以上説明したように、第２の実施形態によれば、ミストの発生を検出する直前における鏡筒３１０１の先端と観察対象部位との距離Ｘ２が検出され、当該距離Ｘ２と、ミストが撮像画像に影響を及ぼさない鏡筒３１０１の先端と観察対象部位との距離Ｘ１と、に基づいて、Ｘ３＝Ｘ１－Ｘ２として、退避移動量Ｘ３が決定される。また、当該退避移動量Ｘ３＞０である場合のみ、退避動作が実行される。

ここで、第１の実施形態では、退避移動量は事前に設定される一定の値であった。従って、当該退避移動量に基づいて鏡筒３１０１を退避させると、必要以上に遠くまで鏡筒３１０１を退避させてしまったり、既に鏡筒３１０１が観察対象部位から十分離れており本来は退避させる必要がない場合であっても退避動作が実行されてしまう可能性がある。

これに対して、第２の実施形態では、上記のように、距離Ｘ１、Ｘ２を考慮することにより、ミストが撮像画像に影響を及ぼさない必要最低限の量だけ鏡筒３１０１が退避することになる。また、既に鏡筒３１０１が観察対象部位から十分離れている場合には、退避動作が行われない。例えば、退避移動量が大きければ、それだけ表示画像における電子ズームの倍率も大きくなるため、画質が粗くなることが懸念されるが、第２の実施形態では、このように、鏡筒３１０１の退避動作を最小化する、あるいは必要がなければ退避させないことができるため、術者に対して更に安定的に画像を提供することが可能になる。

（３．第３の実施形態）
図７を参照して、本開示の第３の実施形態に係る画像処理方法の処理手順について説明する。図７は、第３の実施形態に係る画像処理システムにおいて実行される画像処理方法の処理手順の一例を示すフロー図である。なお、第３の実施形態に係る画像処理システムが適用され得る内視鏡手術システムは、図１に示す内視鏡手術システム３０００と同様であるため、ここではその説明を省略する。また、第３の実施形態に係る画像処理システムは、図２に示す第１の実施形態に係る画像処理システム１において、ＣＣＵ３４０１の移動制御部１２１の機能が変更されたものに対応するため、ここではその説明を省略する。以下では、図７を参照して画像処理方法の処理手順について説明しつつ、この第３の実施形態に係る移動制御部の機能についても併せて説明する。

なお、図７に示す各処理のうち、ステップＳ２０１～ステップＳ２０５、ステップＳ２０９～ステップＳ２１１、及びステップＳ２１５における処理は、ＣＣＵ３４０１の移動制御部によって実行される処理に対応している。また、ステップＳ２０７及びステップＳ２１３における処理は、ＣＣＵ３４０１の画像処理部１２２及びフォーカス制御部１２３によって実行される処理に対応している。図７に示す各処理のうち、第１の実施形態と同様の処理については、その詳細な説明を省略する。

また、第３の実施形態においても、第１の実施形態と同様に、図７に示す一連の処理の間、随時、内視鏡３１００の撮像素子１１１によって画像信号が取得され、ＣＣＵ３４０１の画像処理部１２２によって当該画像信号に基づいて撮像画像に係る画像データ及び表示画像に係る画像データが生成されている。そして、この生成された表示画像に係る画像データに基づいて、当該表示画像が表示装置３４０３に表示されている。

図７を参照すると、第３の実施形態に係る画像処理方法では、まず、ミストの発生が検出されたかどうかが判定される（ステップＳ２０１）。ステップＳ２０１における処理は、第１の実施形態における図５に示すステップＳ１０１における処理と同様である。

ステップＳ２０１でミストの発生が検出されなかった場合には、鏡筒３１０１の退避動作は行われないので、画像処理方法を終了する。一方、ステップＳ２０１でミストの発生が検出された場合には、ステップＳ２０３に進む。

ステップＳ２０３では、撮像画像内に占めるミストの存在領域が３０％以上かどうかが判定される。具体的には、ステップＳ２０３では、撮像画像に係る画像データに基づいて、撮像画像を多数の領域に分割するとともに、各領域について画像認識処理によりミストが存在する領域かどうかの判断が行われる。そして、その結果に基づいて、撮像画像内に占めるミストの存在領域が算出され、その値が３０％というしきい値と比較される。なお、撮像画像内に占めるミストの存在領域の割合を算出する方法はかかる例に限定されず、各種の方法が用いられてよい。

ステップＳ２０３で撮像画像内に占めるミストの存在領域が３０％以上であると判定された場合には、鏡筒３１０１を退避方向に移動させる旨の指示が発行され（ステップＳ２０５）、当該指示に従って、アーム制御装置３４０７によって支持アーム装置３３００のアーム部３３０３の駆動が制御され、鏡筒３１０１が退避方向に移動する。そして、この鏡筒３１０１が退避方向に移動している最中に、観察対象に焦点が合うようにフォーカスが制御されるとともに、表示画像の表示範囲が退避動作前と同じになるように、撮像画像の切り出し及び電子ズーム処理が行われる（ステップＳ２０７）。ステップＳ２０５及びステップＳ２０７における処理は、第１の実施形態における図５に示すステップＳ１０７及びステップＳ１０９における処理と同様である。

ステップＳ２０７における処理が終了すると、ステップＳ２０３に戻り、撮像画像内に占めるミストの存在領域が３０％以上かどうかの判定処理が再度行われる。以降、ステップＳ２０３で撮像画像内に占めるミストの存在領域が３０％よりも少ないと判定されるまで、ステップＳ２０３～ステップＳ２０９７おける処理が繰り返される。これにより、退避動作中に、ほぼ同一の表示画像が表示されることとなる。

このように、第３の実施形態では、第１の実施形態とは異なり、移動制御部が、撮像画像内に占めるミストの存在領域が所定の第１の割合以上になった場合を退避条件として、退避動作を行う旨の指示を発行する。また、その際、退避移動量を決定して退避動作を行う旨の指示を発行するのではなく、撮像画像内に占めるミストの存在領域が３０％よりも少なくなるまで、退避動作を継続させる。撮像画像内に占めるミストの存在領域が大きいほど、鏡筒３１０１の先端とミスト発生位置との距離が近いことを意味しているため、このように、撮像画像内に占めるミストの存在領域が所定の割合よりも大きい場合に退避動作を行うことにより、ミスト発生位置からより遠ざかるように鏡筒３１０１を退避させることが可能となる。

ステップＳ２０３で撮像画像内に占めるミストの存在領域が３０％よりも少ないと判定された場合には、ステップＳ２０９に進む。ステップＳ２０９では、撮像画像内に占めるミストの存在領域が２５％以下かどうかが判定される。具体的には、ステップＳ２０９では、撮像画像内に占めるミストの存在領域が、上述したステップＳ２０３と同じ方法によって算出され、その値が２５％というしきい値と比較される。

ステップＳ２０９で撮像画像内に占めるミストの存在領域が２５％よりも多いと判定された場合には、ステップＳ２０３に戻り、撮像画像内に占めるミストの存在領域が３０％以上かどうかの判定処理が再度行われる。そして、その結果に応じて、ステップＳ２０５及びステップＳ２０９のいずれかに再度進む。

一方、ステップＳ２０９で撮像画像内に占めるミストの存在領域が２５％以下であると判定された場合には、鏡筒３１０１を復帰方向に移動させる旨の指示が発行され（ステップＳ２１１）、当該指示に従って、アーム制御装置３４０７によって支持アーム装置３３００のアーム部３３０３の駆動が制御され、鏡筒３１０１が復帰方向に移動する。そして、この鏡筒３１０１が復帰方向に移動している最中に、観察対象に焦点が合うようにフォーカスが制御されるとともに、表示画像の表示範囲が退避動作前と同じになるように、撮像画像の切り出し及び電子ズーム処理が行われる（ステップＳ２１３）。ステップＳ２１１及びステップＳ２１３における処理は、第１の実施形態における図５に示すステップＳ１１７及びステップＳ１１９における処理と同様である。

このように、第３の実施形態では、第１の実施形態とは異なり、移動制御部が、撮像画像内に占めるミストの存在領域が所定の第２の割合以下になった場合を復帰条件として、復帰動作を行う旨の指示を発行する。撮像画像内に占めるミストの存在領域が所定の割合以下になった場合は、鏡筒３１０１がミスト発生位置から十分に離れた場合、及び／又はミストの発生が収まった場合を意味しているため、このような復帰条件に基づいて復帰動作を行うことにより、鏡筒３１０１が必要以上にミスト発生位置から遠ざからないように、当該鏡筒３１０１の移動を制御することが可能になる。

ステップＳ２１３における処理が終了すると、復帰動作が終了したかどうかが判定される（ステップＳ２１５）。具体的には、復帰動作が終了したかどうかは、退避動作を行う前の元の位置まで鏡筒３１０１が戻ったかどうかによって判定される。あるいは、別途復帰移動量が設定されており、最も退避した位置から当該復帰移動量だけ復帰方向に鏡筒３１０１が戻ったかどうかに応じて、復帰動作が終了したかどうかが判定されてもよい。

ステップＳ２１５で復帰動作が終了していないと判定された場合には、ステップＳ２０３に戻り、撮像画像内に占めるミストの存在領域が３０％以上かどうかの判定処理が再度行われる。そして、その結果に応じて、ステップＳ２０５及びステップＳ２０９のいずれかに再度進む。このように、第３の実施形態では、画像処理方法に係る一連の処理が終了するまで、ステップＳ２０３及びステップＳ２０９における撮像画像内に占めるミストの存在領域の判定処理が繰り返し実行される。そして、撮像画像内に占めるミストの存在領域が所定の第１の割合以上であれば鏡筒３１０１に退避動作を行わせ、撮像画像内に占めるミストの存在領域が所定の第２の割合以下であれば鏡筒３１０１に復帰動作を行わせる。従って、ミストの発生が検出された場合に、鏡筒３１０１が、ミスト発生位置から、ミストの存在領域が所定の第１の割合よりも小さくなるような所定の第１の距離以上離れるように、かつ当該第１の距離とは異なる所定の第２の距離以上離れすぎないように、鏡筒３１０１を移動させることが可能となる。

ステップＳ２１５で復帰動作が終了したと判定された場合には、鏡筒３１０１がミスト発生位置に近付いても、撮像画像内に占めるミストの存在領域が２５％以下となっていることを意味している。つまり、ミストの発生が撮像画像に影響を及ぼさない程度に収まっていることを意味しているため、この場合には、画像処理方法に係る一連の処理を終了する。第３の実施形態では、手術中に内視鏡３１００によって観察対象部位を撮影している最中に、以上説明した一連の処理が随時実行される。

以上、第３の実施形態に係る画像処理方法の処理手順について説明した。なお、上記の例では、退避動作を行うかどうかの判定基準となる撮像画像内に占めるミストの存在領域の第１の割合を３０％とし、復帰動作を行うかどうかの判定基準となる撮像画像内に占めるミストの存在領域の第２の割合を２５％としていたが、これらの値はあくまで一例である。第３の実施形態では、これら第１及び第２のしきい値は、過去の経験等に基づいて、ユーザによって適宜設定されてよい。例えば、第１及び第２の割合は、過去の知見から得られた、撮像画像内に占めるミストの存在領域と、当該ミストが撮像画像に及ぼす影響との関係に基づいて、鏡筒３１０１の対物レンズがミストに汚されることなく撮像画像が鮮明に得られるような値として、適宜設定されてよい。

ここで、上述した第１及び第２の実施形態では、主にミストによって鏡筒３１０１の対物レンズが汚れることを避けるために、当該鏡筒３１０１を退避させていたが、ミストが発生した際には、当該ミストによって対物レンズが直接汚されなかった場合であっても、当該ミストが撮影範囲に充満することにより、視界が塞がれてしまい、鮮明な撮像画像を得ることが困難になる恐れがある。これに対して、第３の実施形態によれば、上記のように撮像画像内に占めるミストの存在領域の割合に応じて、鏡筒３１０１を退避させる。ミストの発生量自体は同量であったとしても、鏡筒３１０１を退避させることにより、撮像画像内に占めるミストの存在領域の割合は減少することになるため、より鮮明な撮像画像を得ることが可能になる。このように、第３の実施形態によれば、ミストによって鏡筒３１０１の対物レンズが汚れることを避けるだけでなく、撮影範囲に充満するミストによって撮影が困難になり得る場合であっても、好適により安定的な画像を提供することが可能になる。

（４．変形例）
以上説明した第１～第３の実施形態のいくつかの変形例について説明する。

（４－１．撮像画像に基づくミスト検出の他の方法）
以上説明した構成例では、ＣＣＵ３４０１、３４０１ａの移動制御部１２１、１２１ａが、撮像画像に係る画像データからミストの発生を検出する際に、撮像画像の全体を対象として、ミストの発生を検出していた。しかし、第１及び第２の実施形態はかかる例に限定されない。移動制御部１２１、１２１ａは、撮像画像内の一部にミスト検出対象領域を設定し、当該ミスト検出対象領域についてのみ、ミストの発生の検出処理を行ってもよい。

図８を参照して、第１及び第２の実施形態の一変形例として、このような、撮像画像内の一部にミスト検出対象領域を設定する変形例について説明する。図８は、撮像画像内の一部にミスト検出対象領域を設定する変形例における、ミストの発生を検出する方法について説明するための図である。なお、本変形例は、ミストの検出処理の詳細が第１及び第２の実施形態と異なるだけであり、その他の事項は第１及び第２の実施形態と同様である。従って、以下の本変形例についての説明では、第１及び第２の実施形態との相違点についてのみ主に説明する。

図８では、手術中に内視鏡３１００によって得られる撮像画像２１７の一例を概略的に示している。図示するように、撮像画像２１７には、エナジーデバイス３２０３及び当該エナジーデバイス３２０３によって処置が行われる処置部２１９が含まれる。

本変形例では、移動制御部は、ミストを検出する際に、図８（ａ）に示すように、まず、撮像画像から、エナジーデバイス３２０３の先端２２１を検出する。このエナジーデバイス３２０３の先端２２１の検出処理には、各種の公知の画像認識技術が用いられてよい。なお、図示する例では、当該先端２２１は把持機構になっており、エナジーデバイス３２０３では、当該把持機構によって処置部を挟んだ状態で高周波電流を当該把持機構に印加することにより、当該処置部を焼灼し、切除する。

移動制御部は、検出したエナジーデバイス３２０３の先端２２１付近の領域として、ミスト検出対象領域２２３を設定する。ミストは、実際に処置部に対して処置を行う先端２２１近傍で生じるからである。

この状態で、移動制御部は、設定したミスト検出対象領域２２３について、ミストの検出処理を行う。図８（ｂ）は、ミスト検出対象領域２２３内においてミスト２０１が発生した様子を模擬的に示している。

以上説明したように、本変形例では、撮像画像全体を対象としてミストの検出処理を行うのではなく、撮像画像内の一部にミスト検出対象領域を設定し、当該ミスト検出対象領域についてのみ、ミストの発生の検出処理を行う。このように、一部の領域に対象を限定することにより、ミストの検出処理において移動制御部を構成するプロセッサに掛かる負荷を軽減することが可能になる。

なお、以上の説明では、ミストの発生の検出を対象としていたが、ミストの発生に代えて又はミストの発生とともに、血液等の体液の飛散を退避条件とする場合には、本変形例に係る構成を、この血液等の体液の飛散の検出に適用してもよい。具体的には、移動制御部は、体液の飛散を発生させ得る処置具の先端を撮像画像内から検出するとともに、当該先端近傍に体液飛散検出対象領域を設定する。そして、移動制御部は、当該体液飛散検出対象領域についてのみ、体液の飛散の検出処理を行う。これにより、ミストの発生を検出する場合と同様に、体液の飛散の検出処理においてプロセッサに掛かる負荷を軽減することが可能になる。

（４－２．退避条件及び復帰条件の他の例）
以上の説明では、第１及び第２の実施形態において、鏡筒３１０１の退避条件及び復帰条件を、それぞれ、ミストの発生の検出及びミストの消失の検出としていた。しかし、第１及び第２の実施形態はかかる例に限定されない。第１及び第２の実施形態では、ＣＣＵ３４０１、３４０１ａの移動制御部１２１、１２１ａは、他の退避条件及び復帰条件にそれぞれ従って、退避動作及び復帰動作を行う旨の指示を発行してもよい。

ここでは、鏡筒３１０１の退避条件及び復帰条件が異なるいくつかの変形例について説明する。なお、以下に説明する退避条件及び復帰条件についての各変形例は、退避条件及び復帰条件が第１及び第２の実施形態と異なるだけであり、その他の事項は第１及び第２の実施形態と同様である。従って、以下の各変形例についての説明では、第１及び第２の実施形態との相違点についてのみ主に説明する。

（４－２－１．処置具と処置部との距離）
第１及び第２の実施形態では、処置具と処置部との距離を退避条件及び復帰条件としてもよい。図９は、処置具と処置部との距離を退避条件及び復帰条件とする変形例について説明するための図である。図９では、内視鏡下手術中における患者の体腔内の様子を概略的に示している。

本変形例においては、移動制御部は、退避条件又は復帰条件を満たしているかどうかを判定するために、撮像画像に係る画像データに基づいて、撮像画像の中から、ミストを生じさせ得る処置具、及びその先端を検出する。図９（ａ）に示す例では、検出対象として、エナジーデバイス３２０３、及びその先端２２１を示している。なお、このエナジーデバイス３２０３、及びその先端２２１の検出処理には、各種の公知の画像認識技術が用いられてよい。

そして、移動制御部は、エナジーデバイス３２０３の先端２２１と、当該エナジーデバイス３２０３の先端２２１が向いている方向に位置する処置部との距離ｄを算出する。より具体的には、移動制御部は、図１０に示すように、エナジーデバイス３２０３の先端２２１方向への延長線と、処置部が含まれる臓器２２４の表面との交点を、当該エナジーデバイス３２０３の注目点Ｑと仮定し、当該エナジーデバイス３２０３の先端２２１と当該注目点Ｑとの距離を、当該エナジーデバイス３２０３の先端２２１と処置部との距離として算出する。図１０は、エナジーデバイス３２０３の注目点Ｑについて説明するための図である。

当該注目点Ｑは、エナジーデバイス３２０３及び臓器２２４の３次元的な位置情報に基づいて算出され得る。３次元的な位置情報は、内視鏡３１００、３１００ａがステレオカメラによって構成される場合であれば、その撮像画像から得ることができる。あるいは、複数の測距センサを患者の体腔内に別途挿入することにより、これらの測距センサの検出値に基づいて３次元的な位置情報が得られてもよい。

例えば、移動制御部は、このようにして得られた３次元情報に基づいて、本願出願人による先行出願である特開２０１５－２２８９５４号公報及び特開２０１５－２２８９５５号公報に記載の方法を用いて、エナジーデバイス３２０３の注目点Ｑの空間座標を求めることができる。そして、移動制御部は、この求めた注目点Ｑの空間座標と、エナジーデバイス３２０３の３次元情報から得られるその先端２２１の空間座標と、から、両者の間の距離ｄを算出する。

移動制御部は、このようにして求めたエナジーデバイス３２０３の先端２２１と処置部との距離ｄに基づいて、退避動作を行うかどうか、及び復帰動作を行うかどうかを判定する。例えば、移動制御部は、当該距離ｄが所定の第１のしきい値以下であることを退避条件として鏡筒３１０１に退避動作を行わせる旨の指示を発行する。また、例えば、移動制御部は、退避動作を行った結果当該距離ｄが所定の第２のしきい値以上となったことを復帰条件として鏡筒３１０１に復帰動作を行わせる旨の指示を発行する。当該第１及び第２のしきい値としては、エナジーデバイス３２０３による処置によってミストが発生した場合に、当該ミストが撮像画像に影響を及ぼさないような値として、適宜設定され得る。

なお、退避条件における第１のしきい値及び復帰条件における第２のしきい値は、同じ値であってもよいし、互いに異なる値であってもよい。例えば、第２のしきい値を第１のしきい値よりも大きくすることにより、鏡筒３１０１が退避した後、エナジーデバイス３２０３が処置部から大きく離れた場合でないと復帰動作が実行されないこととなるため、鏡筒３１０１の過度な移動を好適に制限することが可能になる。

なお、以上の説明では、ミストを生じさせ得る処置具と処置部との距離を退避条件及び復帰条件としていたが、ミストを生じさせ得る処置具ではなく、血液等の体液の飛散を生じさせ得る処置具を対象として、当該処置具と処置部との距離を退避条件及び復帰条件としてもよい。また、上記の例では、処置具及び処置部が含まれる生体組織の３次元情報に基づいて処置具と処置部との距離が算出されていたが、例えば処置具の先端に測距センサを設ける等、他の方法によって当該距離が求められてもよい。

以上説明したように、本変形例によれば、ミストや体液の飛散を発生させ得る処置具が処置部に一定の距離以上近付いたことを退避条件として、鏡筒３１０１に退避動作を行わせる旨の指示が発行される。従って、ミストや体液の飛散が実際に生じる前に退避動作を行わせることができるため、鏡筒３１０１が汚れることをより確実に回避することが可能になる。

（４－２－２．エナジーデバイスの状態）
第１及び第２の実施形態では、エナジーデバイス３２０３の状態を退避条件及び復帰条件としてもよい。図１１は、エナジーデバイス３２０３の状態を退避条件及び復帰条件とする変形例に係る画像処理システムの構成を示すブロック図である。なお、本変形例に係る画像処理システム１ａは、図２に示す第１の実施形態に係る画像処理システム１に対して、図１に示す処置具制御装置３４１１がその構成として追加されるとともに、退避条件及び復帰条件が異なることにより移動制御部１２１の機能が一部変更されたものに対応する。画像処理システム１ａのそれ以外の構成は、画像処理システム１と同様であるため、ここでは、画像処理システム１と重複する事項についてはその説明を省略する。

図示するように、本変形例に係る画像処理システム１ａでは、処置具制御装置３４１１から、処置具の状態についての情報が、ＣＣＵ３４０１ｂに随時送信される。本変形例では、移動制御部１２１ｂは、この処置具の状態についての情報に基づいて、退避条件又は復帰条件が満たされているかどうかを判定する。

具体的には、処置具の状態についての情報には、エナジーデバイス３２０３が起動されたかどうかに関する情報が含まれる。移動制御部１２１ｂは、処置具の状態についての情報に基づいて、エナジーデバイス３２０３が起動されたこと（すなわち、エナジーデバイス３２０３に通電がされたこと）を退避条件として、鏡筒３１０１に退避動作を行わせる旨の指示を発行する。また、移動制御部１２１ｂは、処置具の状態についての情報に基づいて、エナジーデバイス３２０３の出力が停止されたこと（すなわち、エナジーデバイス３２０３への通電が停止されたこと）、かつ撮像画像に基づいてミストの消失が検出されたことを復帰条件として、鏡筒３１０１に復帰動作を行わせる旨の指示を発行する。

あるいは、処置具の状態についての情報には、エナジーデバイス３２０３の先端の把持機構を開閉するためのハンドルに対する術者３５０１による操作に関する情報が含まれる。図１２は、術者３５０１がエナジーデバイス３２０３を使用する際の様子を示す図である。図示するように、エナジーデバイス３２０３の基端側には、ハンドル２２５が設けられており、術者３５０１が当該ハンドル２２５を操作することにより、先端２２１の把持機構が開閉する仕組みになっている。つまり、術者３５０１がエナジーデバイス３２０３の把持機構を閉じるようにハンドル２２５を操作していることは、エナジーデバイス３２０３で処置が行われていることを意味している。また、術者３５０１がエナジーデバイス３２０３の把持機構を開くようにハンドル２２５を操作していることは、エナジーデバイス３２０３での処置が終了したことを意味している。

移動制御部１２１ｂは、処置具の状態についての情報に基づいて、術者３５０１がエナジーデバイス３２０３の把持機構を閉じるようにハンドル２２５を操作したことを退避条件として、鏡筒３１０１に退避動作を行わせる旨の指示を発行する。また、移動制御部１２１ｂは、処置具の状態についての情報に基づいて、術者３５０１がエナジーデバイス３２０３の把持機構を開くようにハンドル２２５を操作したこと、かつ撮像画像に基づいてミストの消失が検出されたことを復帰条件として、鏡筒３１０１に復帰動作を行わせる旨の指示を発行する。

エナジーデバイス３２０３が起動されたこと、及び術者がエナジーデバイス３２０３の把持機構を閉じるようにハンドル２２５を操作したことは、間もなく当該エナジーデバイス３２０３を用いて処置が行われること、及び当該エナジーデバイス３２０３を用いて処置が行われていることをそれぞれ意味しているから、術者によるこれらの行為は、ミストを発生させる恐れのある行為とも言える。従って、本変形例では、これらの行為のいずれかを退避条件することにより、実際にミストが生じる前に退避動作を行わせることができるため、鏡筒３１０１が汚れることをより確実に回避することが可能になる。

（４－２－３．エナジーデバイスの先端の動きの検出）
第１及び第２の実施形態では、エナジーデバイス３２０３の先端の動きを退避条件及び復帰条件としてもよい。本変形例では、移動制御部は、撮像画像からエナジーデバイスの先端を検出するとともに、その動き、すなわち把持機構（図１２に示す先端２２１に設けられる把持機構）の開閉動作を検出する。なお、このエナジーデバイスの先端の検出、及び当該動きの検出には、各種の公知の画像認識技術が用いられてよい。

そして、移動制御部は、エナジーデバイス３２０３の先端の把持機構が処置部に対応する生体組織の一部を把持する動作が検出されたことを退避条件として、鏡筒３１０１に退避動作を行わせる旨の指示を発行する。また、移動制御部は、エナジーデバイス３２０３の先端の把持機構が処置部に対応する生体組織の一部を解放する動作が検出されたこと、かつ撮像画像に基づいてミストの消失が検出されたことを復帰条件として、鏡筒３１０１に復帰動作を行わせる旨の指示を発行する。

なお、以上の説明では、ミストを生じさせ得る処置具を対象として、エナジーデバイス３２０３の先端の把持機構の動作を退避条件及び復帰条件としていたが、血液等の体液の飛散を生じさせ得る処置具を対象として、当該処置具（例えば鉗子等）の先端の動作を退避条件及び復帰条件としてもよい。この場合、例えば、移動制御部は、撮像画像に基づいて、当該処置具の先端が処置部に対して処置を行っていること、すなわち体液が飛散し得る動作を行っていることが検出されたことを退避条件として、鏡筒３１０１に退避動作を行わせる旨の指示を発行する。また、例えば、移動制御部は、撮像画像に基づいて、当該処置具の先端が処置部に対して処置を行っていないこと、すなわち体液が飛散し得る操作を行っていないことが検出されたこと、かつ撮像画像に基づいて血液等の体液の飛散が収まったことが検出されたことを復帰条件として、鏡筒３１０１に復帰動作を行わせる旨の指示を発行する。

本変形例のように、エナジーデバイス３２０３等の処置具の先端の動きに応じて退避動作を行わせることにより、実際にミスト及び／又は血液等の体液の飛散が生じる前に退避動作を行わせることができるため、鏡筒３１０１が汚れることをより確実に回避することが可能になる。

（４－２－４．ユーザによる指示）
第１及び第２の実施形態では、ユーザ（例えば、術者３５０１又はスコピスト）の指示を退避条件及び復帰条件としてもよい。図１３は、ユーザの指示を退避条件及び復帰条件とする変形例に係る画像処理システムの構成を示すブロック図である。なお、本変形例に係る画像処理システム１ｂは、図２に示す第１の実施形態に係る画像処理システム１に対して、図１に示す入力装置３４０９がその構成として追加されるとともに、退避条件及び復帰条件が異なることにより移動制御部１２１の機能が一部変更されたものに対応する。画像処理システム１ｂのそれ以外の構成は、画像処理システム１と同様であるため、ここでは、画像処理システム１と重複する事項についてはその説明を省略する。

図示するように、本変形例に係る画像処理システム１ｂでは、入力装置３４０９を介して、ユーザからの鏡筒３１０１に退避動作を行わせる旨の指示、及び鏡筒３１０１に復帰動作を行わせる旨の指示が、ＣＣＵ３４０１ｃに対して入力される。ユーザからの指示入力は、図１に示すフットスイッチ３４１９のようなスイッチ、音声、又はジェスチャ等、あらゆる形式で行われてよい。ただし、手術中には、術者３５０１及びスコピストの両手は、処置具又は内視鏡３１００等によって塞がれていることが想定され得るため、音声、又はジェスチャ等の非接触での入力が可能であると、術者３５０１及びスコピストの利便性を向上させることができる。本変形例では、移動制御部１２１ｃは、このユーザからの指示を退避条件及び復帰条件として、鏡筒３１０１に退避動作を行わせる旨の指示及び鏡筒３１０１に復帰動作を行わせる旨の指示を、それぞれアーム制御装置３４０７に対して発行する。

ここで、以上説明した実施形態及び変形例では、いずれも、ミスト及び／又は体液等によって鏡筒３１０１が汚れることを防止することを目的として退避条件及び復帰条件が設定されていた。しかしながら、例えば、処置具によって処置を行う際の作業空間を確保するため等、他の目的で意図的に鏡筒３１０１を一旦観察対象部位から遠ざけたい場合がある。本変形例では、ユーザによる指示によって、任意のタイミングで、表示画像を変化させることなく退避動作を行わせることが可能となるため、このような意図的に一旦鏡筒３１０１を退避させたい場合に特に有用である。

（４－２－５．内視鏡の鏡筒の先端と処置具との距離）
第１及び第２の実施形態では、内視鏡３１００、３１００ａの鏡筒３１０１の先端と処置具との距離を退避条件及び復帰条件としてもよい。なお、本変形例は、以上説明した実施形態及び変形例とは異なり、ミスト及び／又は体液等によって鏡筒が汚れることを防止することを目的としたものではない。本変形例では、内視鏡３１００、３１００ａの鏡筒３１０１の先端と処置具との距離を退避条件及び復帰条件とすることにより、当該鏡筒３１０１が意図せず処置具と接触してしまうことを防止することが可能になる。

具体的には、本変形例では、内視鏡３１００、３１００ａの鏡筒３１０１の先端と処置具との距離が検出される。この距離の検出方法としては、各種の方法を用いることができる。例えば、当該距離は、内視鏡３１００、３１００ａがステレオカメラによって構成される場合であれば、その撮像画像に基づいて検出され得る。あるいは、例えば、当該距離は、鏡筒３１０１の先端に測距センサを設けることにより、当該測距センサの検出値に基づいて検出され得る。あるいは、例えば、当該距離は、複数の測距センサを患者の体腔内に別途挿入することにより、これらの測距センサの検出値に基づいて鏡筒３１０１及び処置具の３次元的な位置情報が取得されることにより、当該３次元的な位置情報に基づいて検出され得る。

本変形例では、移動制御部は、この検出された内視鏡３１００、３１００ａの鏡筒３１０１の先端と処置具との距離に基づいて、退避動作を行うかどうか、及び復帰動作を行うかどうかを判定する。例えば、移動制御部は、当該距離が所定の第１のしきい値以下であることを退避条件として、鏡筒３１０１に退避動作を行わせる旨の指示を発行する。また、例えば、移動制御部は、退避動作を行った結果当該距離が所定の第２のしきい値以上となったことを復帰条件として、鏡筒３１０１に復帰動作を行わせる旨の指示を発行する。当該第１及び第２のしきい値としては、鏡筒３１０１と処置具との接触が確実に防止され得る値として、適宜設定され得る。

以上説明したように、本変形例によれば、内視鏡３１００、３１００ａの鏡筒３１０１の先端と処置具との距離を退避条件及び復帰条件とすることにより、手術中に鏡筒３１０１及び処置具が体腔内で移動した際に、意図せず両者が接触しそうになった場合であっても、その接触を防止することが可能となる。また、接触を防止するために鏡筒３１０１が移動している間も、表示装置の表示は略一定に保たれるため、円滑な手術の続行が実現される。

なお、体腔内に処置具が複数挿入されている場合には、内視鏡３１００、３１００ａの鏡筒３１０１の先端とこれら複数の処置具との距離がそれぞれ検出され、これらの距離のそれぞれに基づいて、各処置具に対して、退避動作を行うかどうか、及び復帰動作を行うかどうかの判定処理が行われてよい。これにより、体腔内に処置具が複数挿入されている場合であっても、鏡筒３１０１とこれら複数の処置具との接触が防止され得る。

また、本変形例では、復帰移動量は、必ずしも退避移動量と同一でなくてもよい。また、復帰移動量は一定の値でなくてもよい。本変形例は、鏡筒３１０１が意図せず処置具と接触してしまうことを防止することを目的とするものであるから、例えば、復帰動作時に、退避動作前の元の位置まで鏡筒３１０１が戻るのではなく、処置具との距離がより安全に保たれ得る位置まで鏡筒３１０１が戻り、そこで鏡筒３１０１が停止した方が、この目的を達成する上では有用であると考えられる。従って、本変形例では、復帰移動量は、例えば鏡筒３１０１と処置具との間の距離が常に一定以上に保たれるように、復帰動作を行うごとに適宜設定されてもよい。

（４－３．支持アーム装置の他の構成例）
以上の構成例では、図１を参照して説明したように、例えば６自由度を有する支持アーム装置３３００のアーム部３３０３によって内視鏡３１００を支持し、当該アーム部３３０３の姿勢を制御することにより、内視鏡３１００の鏡筒３１０１の退避動作及び復帰動作を行っていた。しかし、第１～第３の実施形態はかかる例に限定されない。他の構成を有する支持アーム装置によって退避動作及び復帰動作における鏡筒３１０１の移動が行われてもよい。なお、本変形例では、支持アーム装置の構成が異なり、そのために退避動作時及び復帰動作時における当該支持アーム装置の駆動制御方法が異なること以外は、上述した第１～第３の実施形態と同様である。従って、以下の本変形例についての説明では、第１～第３の実施形態との相違点についてのみ主に説明する。

図１４は、支持アーム装置の他の構成例を概略的に示す図である。図１４を参照すると、本変形例に係る支持アーム装置３００は、ベース部３１０と、ベース部３１０から延伸するアーム部３２０と、を備える。また、アーム部３２０の先端には、内視鏡３１００を支持するホールド部３３０が設けられる。本変形例では、図１に示す内視鏡手術システム３０００において、上述した支持アーム装置３３００に代えて、この支持アーム装置３００が適用される。

図示する例では、アーム部３２０は、関節部３２１ａ、３２１ｂ、３２１ｃ、及びリンク３２３ａ、３２３ｂ、３２３ｃから構成されており、図１に示すアーム制御装置３４０７からの制御により駆動される。ただし、図１３では、簡単のため、アーム部３２０の構成を簡略化して図示している。実際には、アーム部３２０が所望の自由度を有するように、関節部３２１ａ～３２１ｃ及びリンク３２３ａ～３２３ｃの形状、数及び配置、並びに関節部３２１ａ～３２１ｃの回転軸の方向等が適宜設定され得る。上述した第１～第３の実施形態に係る支持アーム装置３３００と同様に、例えば、アーム部３２０は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部３２０の可動範囲内においてホールド部３３０を自由に移動させることが可能になるため、所望の方向から内視鏡３１００の鏡筒３１０１を患者３５０５の体腔内に挿入することが可能になる。

ホールド部３３０は、内径が内視鏡３１００の鏡筒３１０１の外径と略同径の略円筒形状の部材であり、その円筒内に当該鏡筒３１０１が挿通された状態で、当該内視鏡３１００を支持する。ホールド部３３０の円筒の内壁には、鏡筒３１０１をその延伸方向（すなわち、対物レンズの光軸方向）に移動可能なスライダー機構、及び当該スライダー機構を駆動させるアクチュエータが設けられる。当該アクチュエータの駆動をアーム制御装置３４０７によって制御することにより、鏡筒３１０１をその延伸方向に所定量だけ移動させることができる。本変形例では、このホールド部３３０の機構を用いて、退避動作時及び復帰動作時の鏡筒３１０１の移動を行う。

ここで、上述した第１～第３の実施形態に係る支持アーム装置３３００では、多軸のアーム部３３０３の姿勢を適宜制御することにより、退避動作時及び復帰動作時の鏡筒３１０１の移動を行っていた。この場合、鏡筒３１０１をその延伸方向に平行に移動させるためには、アーム部３３０３の動きは比較的複雑なものになる。また、アーム部３３０３の各関節部３３０５ａ～３３０５ｃの回転を協調して制御することによってこの鏡筒３１０１の移動を実現しなくてはいけないため、制御も比較的複雑になる。

一方、本変形例によれば、上記のような機構を有するホールド部３３０によって鏡筒３１０１を支持し、その延伸方向への移動を実現するため、退避動作時及び復帰動作時に、アーム部３２０自体は駆動させる必要がなく、ホールド部３３０のアクチュエータに対するより簡易な制御によって鏡筒３１０１の延伸方向への移動を実現することが可能になる。

（４－４．退避動作及び復帰動作の半自動化）
以上の構成例では、退避動作及び復帰動作は、退避条件及び復帰条件をそれぞれ満たした場合に、アーム制御装置３４０７によっていわば自動的に行われていた。しかし、第１～第３の実施形態はかかる例に限定されず、図１に示すように内視鏡３１００を支持アーム装置３３００によって保持した状態で、スコピストが当該内視鏡３１００を操作している場合に、スコピストに退避動作及び復帰動作を促すように、アーム制御装置３４０７が支持アーム装置３３００を駆動させてもよい。なお、本明細書では、このような、退避動作時及び復帰動作時に、スコピストに退避動作及び復帰動作を促すように支持アーム装置３３００の駆動が制御される様態のことを、これまで説明したいわば自動的な退避動作及び復帰動作と区別するために、半自動の退避動作及び復帰動作と呼称する。本変形例では、半自動の退避動作及び復帰動作が行われること以外は、上述した第１～第３の実施形態と同様である。従って、以下の本変形例についての説明では、第１～第３の実施形態との相違点についてのみ主に説明する。

半自動の退避動作及び復帰動作は、上述したように、内視鏡３１００を支持アーム装置３３００によって保持した状態で、スコピストが当該内視鏡３１００を操作している場合に行われることを想定している。また、支持アーム装置３３００の駆動制御が力制御によって行われていることを想定している。また、この場合、例えば、スコピストは、直接操作によって内視鏡３１００を操作している。

本変形例では、退避条件を満たした場合には、鏡筒３１０１を退避させる方向の力（退避方向へのアシスト力）をスコピストに与えるように、アーム制御装置３４０７が支持アーム装置３３００を駆動させる。これにより、スコピストは、鏡筒３１０１を退避させるべき状況（すなわち、上述したような退避条件のいずれか）が発生していることを把握し、そのアーム部３３０３から与えられるアシスト力にならって、退避動作を行うように、内視鏡３１００を操作することができる。

この際、図１５及び図１６に示すように、アシスト力Ｙ（退避方向を正とする）は、エナジーデバイス３２０３と処置部との距離Ｘに応じて、変化してもよい。図１５及び図１６は、半自動の退避動作及び復帰動作に係るアシスト力について説明するための図である。図１５では、図９と同様に、内視鏡下手術中における患者の体腔内の様子を概略的に示している。また、図１６では、エナジーデバイス３２０３と処置部との距離Ｘと、アシスト力Ｙとの関係を概略的にグラフによって示している。

図示するように、本変形例では、エナジーデバイス３２０３と処置部との距離Ｘが、所定のしきい値ｔｈｒ以下になった場合に、退避方向へのアシスト力Ｙを発生させる。また、当該アシスト力Ｙは、エナジーデバイス３２０３と処置部との距離Ｘが短くなるほど、線形的に大きくなるように発生される。エナジーデバイス３２０３と処置部との距離Ｘが短い場合には、エナジーデバイス３２０３によって処置が行われミストが発生する可能性が高い状態であるから、このように距離Ｘに応じたアシスト力Ｙを発生させることにより、ミストが発生する可能性が高い場合には退避方向へのより強いアシスト力をスコピストが感じることとなり、スコピストに対して鏡筒３１０１を退避させるべき状況が発生していることをより強く喚起できるとともに、退避動作をスムーズに行うことが可能になる。なお、エナジーデバイス３２０３と処置部との距離Ｘは、上記（４－２－１．処置具と処置部との距離）で説明した方法と同様の方法によって検出され得る。

以上の説明では退避動作について説明したが、復帰動作時には、同様に、復帰方向へのアシスト力を発生させるように、アーム制御装置３４０７が支持アーム装置３３００を駆動させる。

ここで、以上説明してきた各実施形態及び各変形例では、退避動作が開始されてから復帰動作が終了するまでの間は、画像処理部によって適宜撮像画像の切り出し処理及び電子ズーム処理が行われているため、表示装置３４０３における表示は略一定である。通常、スコピストは、内視鏡３１００によって撮影された画像を見ることによって体腔内での鏡筒３１０１の位置を把握し、当該鏡筒３１０１を移動させているため、表示装置３４０３上の表示が略一定であると、スコピストが鏡筒３１０１を操作することが困難になる恐れがある。

これに対して、以上説明した本変形例以外の各実施形態及び各変形例では、退避動作及び復帰動作はスコピストの操作に従って行われるのではなく、いわば自動的に行われる。そして、基本的には退避移動量と復帰移動量とは同じ値に設定されており、退避動作後に復帰条件を満たした場合には、元の位置まで鏡筒３１０１が戻ることになる。つまり、これらの各実施形態及び各変形例では、退避動作及び復帰動作をスコピストの操作によって行うことは想定されておらず、また、退避動作及び復帰動作が行われたとしても、最終的には元の位置まで鏡筒３１０１が戻るため、上記のように退避動作が開始されてから復帰動作が終了するまでの間、表示装置３４０３における表示が略一定であっても、大きな支障はないと考えられる。

一方、本変形例では、半自動での退避動作及び復帰動作が行われる、すなわちスコピストの操作によって退避動作及び復帰動作が行われる。従って、退避動作時及び復帰動作時に表示装置３４０３上の表示が略一定であると、スコピストは、鏡筒３１０１の体腔内での位置を把握できず、退避動作及び復帰動作に係る操作を行いにくくなってしまう恐れがある。

そこで、本変形例では、図１７に示すように、表示画面２２７上において、表示画像に、現在の鏡筒３１０１の先端と観察対象部位である臓器２３１との距離を示すインジケータ２２９が重畳表示されてもよい。当該インジケータ２２９の表示制御は、ＣＣＵの画像処理部によって行われ得る。図１７は、鏡筒３１０１の先端と観察対象部位との距離の、表示画面上への一表示例を示す図である。なお、図示する例では、距離を示すためにインジケータ２２９が用いられているが、より具体的に当該距離が数値によって表示されてもよい。

以上、退避動作及び復帰動作が半自動で行われる変形例について説明した。ここで、力制御によって駆動される支持アーム装置３３００によって保持されている内視鏡３１００をスコピストが直接操作によって操作している場合に、上述したようないわば自動的な退避動作及び復帰動作が行われると、スコピストに対して比較的強い力が急に作用する可能性があるため、スコピストの操作性を低下させてしまう恐れがある。これに対して、本変形例では、退避動作及び復帰動作を促す程度の比較的弱いアシスト力を発生させ、あくまでもスコピストの操作が主体となって退避動作及び復帰動作が実行される。従って、力制御によって駆動される支持アーム装置３３００によって保持されている内視鏡３１００をスコピストが直接操作によって操作していることを想定した場合には、本変形例に係る半自動の退避動作及び復帰動作を実行することにより、スコピストの操作性を低下させることなく、退避動作及び復帰動作をより円滑に行うことが可能となる。

なお、本変形例では、復帰動作については、鏡筒３１０１が復帰位置（すなわち、退避動作前の元の位置）まで戻った際に、そのことをスコピストに通知する機能が、画像処理システムに設けられてもよい。退避動作が開始されてから復帰動作が終了するまでの間、表示装置３４０３上の表示は略一定に保たれるため、復帰動作時にスコピストが鏡筒３１０１を観察対象部位に近付くように移動させていった際に、スコピストは、当該表示を見ても、鏡筒３１０１の先端と観察対象部位との距離が近付いていっていることを把握できないからである。たとえ上述したインジケータ２２９が重畳表示されていたとしても、鏡筒３１０１の先端と観察対象部位との距離を直感的に把握することは困難であるため、このような通知機能が更に設けられることが好ましい。

当該通知は、各種の方法によって行われてよい。例えば、アーム制御装置３４０７がパルス的なアシスト力を発生させてもよい。また、例えば、ＣＣＵが、表示画面にインジケータ２２９以外の何らかの通知を表示させてもよい。また、例えば、スコピストがＨＭＤや各種のウェアラブルデバイスを身に付けている場合であれば、当該ウェアラブルデバイスが振動、音声、表示等各種の手段を介して当該通知を行ってもよい。

（５．補足）
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的なものではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

例えば、以上説明した各実施形態及び各変形例に係る画像処理システムが適用され得る内視鏡手術システムの構成は、図１に示す例に限定されない。各実施形態及び各変形例に係る画像処理システムは、各種の内視鏡システムに適用可能である。また、各実施形態及び各変形例に係る画像処理システムの構成は、図２、６、１１、１３に示す例に限定されない。当該画像処理システムは、全体として以上説明した処理を実行可能であればよく、その構成は任意であってよい。例えば、画像処理システムを構成する各装置、特にＣＣＵ３４０１、３４０１ａ、３４０１ｂ、３４０１ｃ、及びアーム制御装置３４０７の機能は、それぞれ、１台の装置又は任意の複数の装置の協働によって実現されてもよい。

また、以上説明した各実施形態及び各変形例に係る画像処理システムの各装置、特にＣＣＵ及びアーム制御装置の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等の処理装置に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク又はフラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。

また、以上説明した各実施形態及び各変形例が有し得る各構成は、可能な範囲で互いに組み合わせて適用することが可能である。例えば、上記（４－２．退避条件及び復帰条件の他の例）で説明した退避条件及び復帰条件のうちのいくつかが組み合わされて設定されてもよい。この場合、設定された複数の退避条件のうちのいずれか及び複数の復帰条件のうちのいずれかを満たした場合に、それぞれ、退避動作及び復帰動作が実行され得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
内視鏡によって撮影された患者の体腔内の撮像画像から出力用の画像データを生成する画像処理部、を備え、
前記画像処理部は、撮影中に前記内視鏡の鏡筒が対物レンズの光軸方向に移動した際に、前記撮像画像のうち表示装置に表示される表示画像に表される範囲である表示範囲が、移動中及び移動後において移動前の表示範囲から変化しないように、前記画像データを生成する、
画像処理装置。
（２）
前記画像処理部は、移動中及び移動後に得られる撮像画像の中心から所定の距離の範囲を切り出し、拡大することにより、移動中及び移動後における前記画像データを生成する、
前記（１）に記載の画像処理装置。
（３）
前記（１）に記載の画像処理装置と、
アーム部によって前記内視鏡を支持する支持アーム装置の駆動を制御し、前記内視鏡の鏡筒を移動させるアーム制御装置と、
を備え、
前記画像処理装置は、所定の退避条件を満たした場合に、前記鏡筒が対物レンズの光軸方向であって観察対象部位から遠ざかる方向である退避方向に移動する退避動作を実行させる旨の指示を前記アーム制御装置に対して発行し、所定の復帰条件を満たした場合に、前記鏡筒が対物レンズの光軸方向であって観察対象部位に近付く方向である復帰方向に移動する復帰動作を実行させる旨の指示を前記アーム制御装置に対して発行する移動制御部、を更に有する、
内視鏡手術システム。
（４）
前記退避条件は、前記撮像画像に基づいてミストの発生が検出されたことであり、前記復帰条件は、前記撮像画像に基づいてミストの消失が検出されたことである、
前記（３）に記載の内視鏡手術システム。
（５）
前記ミストの発生が検出される際に、前記撮像画像の中からエナジーデバイスの先端が検出され、検出された前記エナジーデバイスの先端を含む所定の領域内において、前記ミストの発生が検出される、
前記（４）に記載の内視鏡手術システム。
（６）
前記退避条件は、前記撮像画像に占めるミストの存在領域が所定の第１の割合以上であることであり、前記復帰条件は、前記撮像画像に占めるミストの存在領域が所定の第２の割合以下であることである、
前記（３）に記載の内視鏡手術システム。
（７）
前記退避条件は、処置具と処置部との距離が所定の第１のしきい値以下であることであり、前記復帰条件は、処置具と処置部との距離が所定の第２のしきい値以上であることである、
前記（３）に記載の内視鏡手術システム。
（８）
前記退避条件は、エナジーデバイスに通電がされたことであり、前記復帰条件は、エナジーデバイスの出力が停止され、かつ前記撮像画像に基づいてミストの消失が検出されたことである、
前記（３）に記載の内視鏡手術システム。
（９）
前記退避条件は、術者によるエナジーデバイスで処置を行う旨の操作が行われたことであり、前記復帰条件は、術者によるエナジーデバイスでの処置が終了した旨の操作が行われたことである、
前記（３）に記載の内視鏡手術システム。
（１０）
前記退避条件は、前記撮像画像に基づいて処置具の先端の把持機構が生体組織の一部を把持したことが検出されたことであり、前記復帰条件は、前記撮像画像に基づいて処置具の先端の把持機構が生体組織の一部を解放したことが検出され、かつ前記撮像画像に基づいてミストの消失が検出されたことである、
前記（３）に記載の内視鏡手術システム。
（１１）
前記退避条件及び復帰条件は、ユーザによる指示入力があったことである、
前記（３）に記載の内視鏡手術システム。
（１２）
前記退避条件は、内視鏡の先端と処置具との距離が所定の第１のしきい値以下であることであり、前記復帰条件は、内視鏡の先端と処置具との距離が所定の第２のしきい値以上であることである、
前記（３）に記載の内視鏡手術システム。
（１３）
前記復帰動作時における前記鏡筒の移動量は、前記退避動作時における前記鏡筒の移動量と同じ値である、
前記（３）～（５）及び（７）～（１１）のいずれか１項に記載の内視鏡手術システム。
（１４）
前記退避動作時における前記鏡筒の移動量は、ミストが前記撮像画像に影響を及ぼさない前記鏡筒の先端と観察対象部位との距離から、ミストの発生を検出する直前における前記鏡筒の先端と前記観察対象部位との距離を差し引いた値である、
前記（３）～（５）及び（７）～（１１）のいずれか１項に記載の内視鏡手術システム。
（１５）
前記アーム制御装置によって前記アーム部を構成する複数の関節部における回転が互いに協調して制御されることにより、前記退避動作及び前記復帰動作が実行される、
前記（３）～（１４）のいずれか１項に記載の内視鏡手術システム。
（１６）
前記内視鏡は、前記アーム部の先端に設けられる円筒形状のホールド部に前記鏡筒が挿通されることによって支持され、
前記ホールド部は、前記鏡筒を延伸方向に移動可能に支持するスライダー機構と、前記スライダー機構を動作させ前記鏡筒を延伸方向に移動させるアクチュエータと、を有し、
前記アーム制御装置からの制御により前記アクチュエータが前記スライダー機構を動作させることにより、前記退避動作及び前記復帰動作が実行される、
前記（３）～（１４）のいずれか１項に記載の内視鏡手術システム。
（１７）
前記アーム制御装置は、操作者による外力をアシストするように前記アーム部を駆動させるパワーアシスト制御を行う、
前記（３）～（１６）のいずれか１項に記載の内視鏡手術システム。
（１８）
前記アーム制御装置は、前記退避動作時には、前記アーム部又は前記内視鏡に直接触れて操作を行っているスコピストに対して、前記退避方向への前記鏡筒の移動操作を促すようなアシスト力を発生させるように前記支持アーム装置を駆動させ、前記復帰動作時には、前記スコピストに対して、前記復帰方向への前記鏡筒の移動操作を促すようなアシスト力を発生させるように前記支持アーム装置を駆動させる、
前記（３）～（１７）のいずれか１項に記載の内視鏡手術システム。
（１９）
前記画像処理部は、前記退避動作時及び前記復帰動作時に、前記表示画像に、前記鏡筒の先端と観察対象部位との距離を重畳表示させる、
前記（３）～（１８）のいずれか１項に記載の内視鏡手術システム。
（２０）
内視鏡によって患者の体腔内を撮影中に前記内視鏡の鏡筒が対物レンズの光軸方向に移動した際に、プロセッサが、前記内視鏡による撮像画像のうち表示装置に表示される表示画像に表される範囲である表示範囲が、移動中及び移動後において移動前の表示範囲から変化しないように、前記撮像画像から出力用の画像データを生成する、
画像処理方法。

１、１ａ、１ｂ、２ 画像処理システム
１１１ 撮像素子
１１２ フォーカス調整機構
１１３ 距離検出部
１２１、１２１ａ、１２１ｂ、１２１ｃ 移動制御部
１２２ 画像処理部
１２３ フォーカス制御部
１３１ アクチュエータ駆動制御部
１４１ アクチュエータ
３０００ 内視鏡手術システム
３１００ 内視鏡
３１０１ 鏡筒
３２００ 術具
３２０３ エナジーデバイス
３３００ 支持アーム装置３３００
３４０１ ＣＣＵ
３４０３ 表示装置
３４０７ アーム制御装置
３４０８ 安全制御装置
３４０９ 入力装置

Claims (23)

1. 医療用観察部と、
   前記医療用観察部によって撮影された患者の体腔内の撮像画像から出力用の画像データを生成する画像処理部と、
   アーム部によって前記医療用観察部を支持する支持アーム装置と、
   前記支持アーム装置の駆動を制御し、前記医療用観察部を光軸方向に移動させるアーム制御装置と、を備え、
   前記画像処理部は、撮影中に前記医療用観察部の光軸方向の移動により、前記医療用観察部の撮像範囲が移動した際に、前記撮像画像のうち表示装置に表示される表示画像に表される範囲である表示範囲が、移動中及び移動後において移動前の表示範囲から変化しないように、前記画像データを生成する、
   手術支援システム。
2. 前記医療用観察部は、内視鏡である請求項１に記載の手術支援システム。
3. 前記画像処理部は、前記医療用観察部の先端と処置具との距離が変わる方向への前記医療用観察部の移動により、前記医療用観察部の撮像範囲が移動した際に、前記表示範囲が移動中及び移動後において移動前の表示範囲から変化しないように、前記画像データを生成する、
   請求項１又は２に記載の手術支援システム。
4. 前記画像処理部は、移動中及び移動後に得られる撮像画像の中心から所定の距離の範囲を切り出し、拡大することにより、移動中及び移動後における前記画像データを生成する、
   請求項１～３の何れか１項に記載の手術支援システム。
5. 所定の退避条件を満たした場合に、前記医療用観察部の鏡筒が対物レンズの光軸方向であって、観察対象部位から遠ざかる方向である退避方向に移動する退避動作を実行させる旨の指示を前記アーム制御装置に対して発行し、所定の復帰条件を満たした場合に、前記鏡筒が対物レンズの光軸方向であって観察対象部位に近付く方向である復帰方向に移動する復帰動作を実行させる旨の指示を前記アーム制御装置に対して発行する移動制御部、を更に有する、
   請求項１～４の何れか１項に記載の手術支援システム。
6. 前記退避条件は、前記撮像画像に基づいてミストの発生が検出されたことであり、前記復帰条件は、前記撮像画像に基づいてミストの消失が検出されたことである、
   請求項５に記載の手術支援システム。
7. 前記ミストの発生が検出される際に、前記撮像画像の中からエナジーデバイスの先端が検出され、検出された前記エナジーデバイスの先端を含む所定の領域内において、前記ミストの発生が検出される、
   請求項６に記載の手術支援システム。
8. 前記退避条件は、前記撮像画像に占めるミストの存在領域が所定の第１の割合以上であることであり、前記復帰条件は、前記撮像画像に占めるミストの存在領域が所定の第２の割合以下であることである、
   請求項５に記載の手術支援システム。
9. 前記退避条件は、処置具と処置部との距離が所定の第１のしきい値以下であることであり、前記復帰条件は、処置具と処置部との距離が所定の第２のしきい値以上であることである、
   請求項５に記載の手術支援システム。
10. 前記退避条件は、エナジーデバイスに通電がされたことであり、前記復帰条件は、エナジーデバイスの出力が停止され、かつ前記撮像画像に基づいてミストの消失が検出されたことである、
    請求項５に記載の手術支援システム。
11. 前記退避条件は、術者によるエナジーデバイスで処置を行う旨の操作が行われたことであり、前記復帰条件は、術者によるエナジーデバイスでの処置が終了した旨の操作が行われたことである、
    請求項５に記載の手術支援システム。
12. 前記退避条件は、前記撮像画像に基づいて処置具の先端の把持機構が生体組織の一部を把持したことが検出されたことであり、前記復帰条件は、前記撮像画像に基づいて処置具の先端の把持機構が生体組織の一部を解放したことが検出され、かつ前記撮像画像に基づいてミストの消失が検出されたことである、
    請求項５に記載の手術支援システム。
13. 前記退避条件及び復帰条件は、ユーザによる指示入力があったことである、
    請求項５に記載の手術支援システム。
14. 前記退避条件は、医療用観察部の先端と処置具との距離が所定の第１のしきい値以下であることであり、前記復帰条件は、医療用観察部の先端と処置具との距離が所定の第２のしきい値以上であることである、
    請求項５に記載の手術支援システム。
15. 復帰動作時における前記鏡筒の移動量は、退避動作時における前記鏡筒の移動量と同じ値である、
    請求項５～７及び請求項９～１３のいずれか１項に記載の手術支援システム。
16. 退避動作時における前記鏡筒の移動量は、ミストが前記撮像画像に影響を及ぼさない前記鏡筒の先端と観察対象部位との距離から、ミストの発生を検出する直前における前記鏡筒の先端と前記観察対象部位との距離を差し引いた値である、
    請求項５～７及び請求項９～１３のいずれか１項に記載の手術支援システム。
17. 前記アーム制御装置によって前記アーム部を構成する複数の関節部における回転が互いに協調して制御されることにより、前記退避動作及び前記復帰動作が実行される、
    請求項５～１６のいずれか１項に記載の手術支援システム。
18. 前記医療用観察部は、前記アーム部の先端に設けられる円筒形状のホールド部に前記鏡筒が挿通されることによって支持され、
    前記ホールド部は、前記鏡筒を延伸方向に移動可能に支持するスライダー機構と、前記スライダー機構を動作させ前記鏡筒を延伸方向に移動させるアクチュエータと、を有し、
    前記アーム制御装置からの制御により前記アクチュエータが前記スライダー機構を動作させることにより、前記退避動作及び前記復帰動作が実行される、
    請求項５～１６のいずれか１項に記載の手術支援システム。
19. 前記アーム制御装置は、操作者による外力をアシストするように前記アーム部を駆動させるパワーアシスト制御を行う、
    請求項５～１８のいずれか１項に記載の手術支援システム。
20. 前記アーム制御装置は、退避動作時には、前記アーム部又は前記医療用観察部に直接触れて操作を行っているスコピストに対して、前記退避方向への前記鏡筒の移動操作を促すようなアシスト力を発生させるように前記支持アーム装置を駆動させ、復帰動作時には、前記スコピストに対して、前記復帰方向への前記鏡筒の移動操作を促すようなアシスト力を発生させるように前記支持アーム装置を駆動させる、
    請求項５～１９のいずれか１項に記載の手術支援システム。
21. 前記画像処理部は、退避動作時及び復帰動作時に、前記表示画像に、前記鏡筒の先端と観察対象部位との距離を重畳表示させる、
    請求項５～２０のいずれか１項に記載の手術支援システム。
22. 内視鏡によって患者の体腔内を撮影中に前記内視鏡の光軸方向の移動により、前記内視鏡の撮像範囲が移動した際に、プロセッサが、前記内視鏡による撮像画像のうち表示装置に表示される表示画像に表される範囲である表示範囲が、移動中及び移動後において移動前の表示範囲から変化しないように、前記撮像画像から出力用の画像データを生成する、
    画像処理方法。
23. 医療用観察部によって撮影された患者の体腔内の撮像画像から出力用の画像データを生成する画像処理部と、
    アーム部によって前記医療用観察部を支持する支持アーム装置の駆動を制御し、前記医療用観察部を光軸方向に移動させるアーム制御部と、を備え、
    前記画像処理部は、撮影中に前記医療用観察部の光軸方向の移動により、前記医療用観察部の撮像範囲が移動した際に、前記撮像画像のうち表示装置に表示される表示画像に表される範囲である表示範囲が、移動中及び移動後において移動前の表示範囲から変化しないように、前記画像データを生成する、
    情報処理装置。

Images