JP7067467B2 - 医療用情報処理装置、情報処理方法、医療用情報処理システム - Google Patents

Description

本開示は、医療用情報処理装置、情報処理方法、医療用情報処理システムに関する。

近年、患者への負担が小さい内視鏡を用いた内視鏡手術が多く行われている。内視鏡手術においては、内視鏡を用いて患者の腹腔内を撮像し、内視鏡が撮像する撮像画像をディスプレイに表示しながら手術が行われる。

特許文献１には、上述したような内視鏡手術に用いられる内視鏡下手術装置が開示されている。特許文献１に開示された手術装置は、内視鏡の撮像画像から処置具の先端の位置を検出し、検出結果に基づいて撮像画像の一部を切り出してモニタに拡大表示することが開示されている。

特開平８－１６４１４８号公報

特許文献１に開示されている手術装置は、撮像画像の切り出し位置を制御する。しかし撮像画像の切り出し位置では、内視鏡手術において撮像できる範囲が限られる。

そこで本開示では、カメラを支持するアーム部の動きを制御することによって、操作者または術者が望む多様な撮像を行う情報処理装置が提案される。

本開示によれば、カメラからの撮像画像の処理を制御する画像制御部と、前記カメラを支持するアーム部の動きを制御するアーム制御部と、を有し、前記画像制御部及び前記アーム制御部の一方は、他方からの制御情報に基づいて制御を行う、医療用情報処理装置が提供される。

以上説明したように本開示によれば、操作者または術者が望む多様な撮像を行うことができる。

なお、上記の効果は必ずしも限定されず、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

図１は、内視鏡手術システムの概略的な構成の一例を示す図である。 図２は、図１に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 図３は、図１で示した手術システムの構成の一部を示すブロック図である。 図４Ａは、本開示の術具の追跡を行う動作におけるＣＣＵの処理の一例を示すフロー図である。 図４Ｂは、本開示の術具の追跡を行う動作におけるアーム制御装置の処理の一例を示すフロー図である。 図５は、本開示の術具の追跡を行う動作の一例を示すフロー図である。 図６Ａは、本開示のアーム制御によるズーム動作におけるＣＣＵの処理の一例を示すフロー図である。 図６Ｂは、本開示のアーム制御によるズーム動作におけるアーム制御装置の処理の一例を示すフロー図である。 図７は、図６で示したアーム制御によるズーム動作の遷移を示す図である。 図８は、図６で示したアーム制御によるズーム動作の遷移の他の例を示す図である。 図９は、図６で示したアーム制御によるズーム動作の遷移の他の例を示す図である。 図１０は、本開示の術具の種類に基づく表示画像の振り分け動作を示す図である。 図１１は、図１０で示した術具の種類に基づく表示画像の振り分け動作を示すフロー図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行う。
１．手術システムの構成例
２．第１の実施形態
３．第２の実施形態
４．第３の実施形態
５．補足
６．むすび

＜１．手術システムの構成例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。

図１は、本開示に係る技術が適用され得る内視鏡手術システム３０００の概略的な構成の一例を示す図である。図１では、術者（医師）３５０１が、内視鏡手術システム３０００を用いて、患者ベッド３５０３上の患者３５０５に手術を行っている様子が図示されている。図示するように、内視鏡手術システム３０００は、内視鏡３１００と、その他の術具３２００と、内視鏡３１００を支持する支持アーム装置３３００と、内視鏡下手術のための各種の装置が搭載されたカート３４００と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ３２０７ａ～３２０７ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ３２０７ａ～３２０７ｄから、内視鏡３１００の鏡筒３１０１や、その他の術具３２００が患者３５０５の体腔内に挿入される。図示する例では、その他の術具３２００として、気腹チューブ３２０１、エネルギー処置具３２０３及び鉗子３２０５が、患者３５０５の体腔内に挿入されている。また、エネルギー処置具３２０３は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具３２００はあくまで一例であり、術具３２００としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡３１００によって撮影された患者３５０５の体腔内の術部の画像が、表示装置３４０３に表示される。術者３５０１は、表示装置３４０３に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具３２０３や鉗子３２０５を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ３２０１、エネルギー処置具３２０３及び鉗子３２０５は、手術中に、術者３５０１又は助手等によって支持される。

（支持アーム装置）
支持アーム装置３３００は、ベース部３３０１から延伸するアーム部３３０３を備える。図示する例では、アーム部３３０３は、関節部３３０５ａ、３３０５ｂ、３３０５ｃ、及びリンク３３０７ａ、３３０７ｂから構成されており、アーム制御装置３４０７からの制御により駆動される。アーム部３３０３によって内視鏡３１００が支持され、その位置及び姿勢が制御される。これにより、内視鏡３１００の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡３１００は、先端から所定の長さの領域が患者３５０５の体腔内に挿入される鏡筒３１０１と、鏡筒３１０１の基端に接続されるカメラヘッド３１０３と、から構成される。図示する例では、硬性の鏡筒３１０１を有するいわゆる硬性鏡として構成される内視鏡３１００を図示しているが、内視鏡３１００は、軟性の鏡筒３１０１を有するいわゆる軟性鏡として構成されてもよい。

鏡筒３１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡３１００には光源装置３４０５が接続されており、当該光源装置３４０５によって生成された光が、鏡筒３１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者３５０５の体腔内の観察対象に向かって照射される。なお、内視鏡３１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド３１０３の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）３４０１に送信される。なお、カメラヘッド３１０３には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド３１０３には撮像素子が複数設けられてもよい。この場合、鏡筒３１０１の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ３４０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡３１００及び表示装置３４０３の動作を統括的に制御する。具体的には、ＣＣＵ３４０１は、カメラヘッド３１０３から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ３４０１は、当該画像処理を施した画像信号を表示装置３４０３に提供する。また、ＣＣＵ３４０１は、カメラヘッド３１０３に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。

表示装置３４０３は、ＣＣＵ３４０１からの制御により、当該ＣＣＵ３４０１によって画像処理が施された画像信号に基づく画像を表示する。内視鏡３１００が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置３４０３としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置３４０３として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置３４０３が設けられてもよい。

光源装置３４０５は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡３１００に供給する。

アーム制御装置３４０７は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置３３００のアーム部３３０３の駆動を制御する。

入力装置３４０９は、内視鏡手術システム３０００に対する入力インタフェースである。ユーザは、入力装置３４０９を介して、内視鏡手術システム３０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置３４０９を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置３４０９を介して、アーム部３３０３を駆動させる旨の指示や、内視鏡３１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具３２０３を駆動させる旨の指示等を入力する。

入力装置３４０９の種類は限定されず、入力装置３４０９は各種の公知の入力装置であってよい。入力装置３４０９としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ３４１９及び／又はレバー等が適用され得る。入力装置３４０９としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置３４０３の表示面上に設けられてもよい。

あるいは、入力装置３４０９は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置３４０９は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置３４０９は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置３４０９が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者３５０１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置３４１１は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具３２０３の駆動を制御する。気腹装置３４１３は、内視鏡３１００による視野の確保及び術者の作業空間の確保の目的で、患者３５０５の体腔を膨らめるために、気腹チューブ３２０１を介して当該体腔内にガスを送り込む。レコーダ３４１５は、手術に関する各種の情報を記録可能な装置である。プリンタ３４１７は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以下、内視鏡手術システム３０００において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
支持アーム装置３３００は、基台であるベース部３３０１と、ベース部３３０１から延伸するアーム部３３０３と、を備える。図示する例では、アーム部３３０３は、複数の関節部３３０５ａ、３３０５ｂ、３３０５ｃと、関節部３３０５ｂによって連結される複数のリンク３３０７ａ、３３０７ｂと、から構成されているが、図１では、簡単のため、アーム部３３０３の構成を簡略化して図示している。実際には、アーム部３３０３が所望の自由度を有するように、関節部３３０５ａ～３３０５ｃ及びリンク３３０７ａ、３３０７ｂの形状、数及び配置、並びに関節部３３０５ａ～３３０５ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部３３０３は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部３３０３の可動範囲内において内視鏡３１００を自由に移動させることが可能になるため、所望の方向から内視鏡３１００の鏡筒３１０１を患者３５０５の体腔内に挿入することが可能になる。

関節部３３０５ａ～３３０５ｃにはアクチュエータが設けられており、関節部３３０５ａ～３３０５ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置３４０７によって制御されることにより、各関節部３３０５ａ～３３０５ｃの回転角度が制御され、アーム部３３０３の駆動が制御される。これにより、内視鏡３１００の位置及び姿勢の制御が実現され得る。この際、アーム制御装置３４０７は、力制御又は位置制御等、各種の公知の制御方式によってアーム部３３０３の駆動を制御することができる。

例えば、術者３５０１が、入力装置３４０９（フットスイッチ３４１９を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置３４０７によってアーム部３３０３の駆動が適宜制御され、内視鏡３１００の位置及び姿勢が制御されてよい。当該制御により、アーム部３３０３の先端の内視鏡３１００を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部３３０３は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部３３０３は、手術室から離れた場所に設置される入力装置３４０９を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置３４０７は、ユーザからの外力を受け、その外力にならってスムーズにアーム部３３０３が移動するように、各関節部３３０５ａ～３３０５ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部３３０３に触れながらアーム部３３０３を移動させる際に、比較的軽い力で当該アーム部３３０３を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡３１００を移動させることが可能となり、ユーザの利便性を向上させることができる。

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡３１００が支持されていた。これに対して、支持アーム装置３３００を用いることにより、人手によらずに内視鏡３１００の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置３４０７は必ずしもカート３４００に設けられなくてもよい。また、アーム制御装置３４０７は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置３４０７は、支持アーム装置３３００のアーム部３３０３の各関節部３３０５ａ～３３０５ｃにそれぞれ設けられてもよく、複数のアーム制御装置３４０７が互いに協働することにより、アーム部３３０３の駆動制御が実現されてもよい。

（カメラヘッド及びＣＣＵ）
図２を参照して、内視鏡３１００のカメラヘッド３１０３及びＣＣＵ３４０１の機能についてより詳細に説明する。図２は、図１に示すカメラヘッド３１０３及びＣＣＵ３４０１の機能構成の一例を示すブロック図である。

図２を参照すると、カメラヘッド３１０３は、その機能として、レンズユニット３１０５と、撮像部３１０７と、駆動部３１０９と、通信部３１１１と、カメラヘッド制御部３１１３と、を有する。また、ＣＣＵ３４０１は、その機能として、通信部３４２１と、画像処理部３４２３と、制御部３４２５と、を有する。カメラヘッド３１０３とＣＣＵ３４０１とは、伝送ケーブル３４２７によって双方向に通信可能に接続されている。

まず、カメラヘッド３１０３の機能構成について説明する。レンズユニット３１０５は、鏡筒３１０１との接続部に設けられる光学系である。鏡筒３１０１の先端から取り込まれた観察光は、カメラヘッド３１０３まで導光され、当該レンズユニット３１０５に入射する。レンズユニット３１０５は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット３１０５は、撮像部３１０７の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部３１０７は撮像素子によって構成され、レンズユニット３１０５の後段に配置される。レンズユニット３１０５を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部３１０７によって生成された画像信号は、通信部３１１１に提供される。

撮像部３１０７を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者３５０１は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部３１０７を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者３５０１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部３１０７が多板式で構成される場合には、各撮像素子に対応して、レンズユニット３１０５も複数系統設けられる。

また、撮像部３１０７は、必ずしもカメラヘッド３１０３に設けられなくてもよい。例えば、撮像部３１０７は、鏡筒３１０１の内部に、対物レンズの直後に設けられてもよい。

駆動部３１０９は、アクチュエータによって構成され、カメラヘッド制御部３１１３からの制御により、レンズユニット３１０５のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部３１０７による撮像画像の倍率及び焦点が適宜調整され得る。

通信部３１１１は、ＣＣＵ３４０１との間で各種の情報を送受信するための通信装置によって構成される。通信部３１１１は、撮像部３１０７から得た画像信号をＲＡＷデータとして伝送ケーブル３４２７を介してＣＣＵ３４０１に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者３５０１が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部３１１１には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル３４２７を介してＣＣＵ３４０１に送信される。

また、通信部３１１１は、ＣＣＵ３４０１から、カメラヘッド３１０３の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部３１１１は、受信した制御信号をカメラヘッド制御部３１１３に提供する。なお、ＣＣＵ３４０１からの制御信号も、光通信によって伝送されてもよい。この場合、通信部３１１１には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部３１１３に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ３４０１の制御部３４２５によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡３１００に搭載される。

カメラヘッド制御部３１１３は、通信部３１１１を介して受信したＣＣＵ３４０１からの制御信号に基づいて、カメラヘッド３１０３の駆動を制御する。例えば、カメラヘッド制御部３１１３は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部３１０７の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部３１１３は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部３１０９を介してレンズユニット３１０５のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部３１１３は、更に、鏡筒３１０１やカメラヘッド３１０３を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット３１０５や撮像部３１０７等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド３１０３について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ３４０１の機能構成について説明する。通信部３４２１は、カメラヘッド３１０３との間で各種の情報を送受信するための通信装置によって構成される。通信部３４２１は、カメラヘッド３１０３から、伝送ケーブル３４２７を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部３４２１には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部３４２１は、電気信号に変換した画像信号を画像処理部３４２３に提供する。

また、通信部３４２１は、カメラヘッド３１０３に対して、カメラヘッド３１０３の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部３４２３は、カメラヘッド３１０３から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部３４２３は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

画像処理部３４２３は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部３４２３が複数のＧＰＵによって構成される場合には、画像処理部３４２３は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部３４２５は、内視鏡３１００による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部３４２５は、カメラヘッド３１０３の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部３４２５は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡３１００にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部３４２５は、画像処理部３４２３による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部３４２５は、画像処理部３４２３によって画像処理が施された画像信号に基づいて、術部の画像を表示装置３４０３に表示させる。この際、制御部３４２５は、各種の画像技術を用いて術部画像内における各種の物体を認識する。例えば、制御部３４２５は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具３２０３使用時のミスト等を認識することができる。制御部３４２５は、表示装置３４０３に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者３５０１に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド３１０３及びＣＣＵ３４０１を接続する伝送ケーブル３４２７は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル３４２７を用いて有線で通信が行われていたが、カメラヘッド３１０３とＣＣＵ３４０１との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル３４２７を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル３４２７によって妨げられる事態が解消され得る。

なお、ここでは、一例として内視鏡手術システム３０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

＜２．第１の実施形態＞
（術具の追跡動作）
以上、本実施形態に係る内視鏡手術システム３０００の構成が示された。以下では、上述した内視鏡手術システム３０００における術具３２００の追跡動作ついて説明される。上述したようにＣＣＵ３４０１は、カメラヘッド３１０３から画像信号を受信し、受信した画像信号に基づいて物体を認識する。本開示の内視鏡手術システム３０００においては、認識した術具３２００を追跡する動作がなされる。なお、カメラヘッド３１０３は撮像を行うカメラの一例であり、ＣＣＵ３４０１は撮像画像の処理を制御する画像制御部の一例である。

また、術具３２００の検出は、上述したように術具３２００のエッジの形状及び／または色等を検出することによって行われる。しかし、術具３２００の検出は他の方法によって行われてもよく、例えば術具３２００の検出は術具３２００の輝度勾配を検出することによって行われてもよい。これは、術具３２００の輝度勾配は一様（一定方向に一定）である一方、臓器などの術具３２００以外の物体の輝度勾配は一様ではないことに基づく。また、術具３２００の検出は機械学習を用いて行われてもよい。機械学習を用いることによって、使用されるたびに術具３２００の検出精度は向上される。これは、手術システムという誤認識が許容されないシステムにおいて極めて有効である。

図３は、本開示における術具３２００の追跡動作の一例を示す図である。図３中の実線で示される枠は、撮像部３１０７の撮像素子で撮像される撮像領域１００を示す。また、図３中の点線で示される枠は、ＣＣＵ３４０１が表示装置３４０３に送信する表示領域２００を示す。一般的に撮像領域１００は表示領域２００よりも大きく、ＣＣＵ３４０１は撮像領域１００から表示領域２００を切り出して表示装置３４０３に表示領域２００が送信される。

また、図３の上段は、表示領域２００が表示装置３４０３において表示されている様子を示す。図３の下段は、撮像領域１００と表示領域２００との関係を示している。図３の上段では、患者３５０５の臓器等の撮像対象物３００と鉗子３２０５等の術具３２００が撮像されている様子が示されている。

図３のＡは初期状態であり、術具３２００の先端付近が表示領域２００の中央に位置している。次に図３のＢは、術者３５０１または助手が術具３２００を動かすことなどによって、術具３２００が右方向に移動している様子を示している。

このとき図３Ｂの下段で示されるように、ＣＣＵ３４０１は、検出されている術具３２００の動きを追跡するために表示領域２００の切り出し位置を右側に変更する。このように、ＣＣＵ３４０１が術具３２００の動きに応じて表示領域２００の切り出し位置を変更することによって、術具３２００の先端付近が表示領域２００の中央に保たれる。術具３２００の先端が表示領域２００の中央に保たれることによって、術者３５０１または助手は処置が行いやすくなる。

次に図３のＣは、図３のＢからさらに術具３２００が右に移動した場合を示す図である。図３のＣでは、術具３２００の先端は、初期状態の撮像領域１００（Ａ及びＢの撮像領域１００）の範囲外に位置することになる。このときＣＣＵ３４０１は、アーム部３３０３を動かして術具３２００を追跡するようにアーム制御装置３４０７に対して制御情報を送る。ＣＣＵ３４０１から制御情報を受け取ったアーム制御装置３４０７は、アーム部３３０３を動かし、術具３２００の追跡を行う。なお、アーム制御装置３４０７は、アーム部３３０３の制御を行うアーム制御部の一例である。

このとき、術具３２００の先端が表示領域２００の中央に保たれるように、図３Ｃの下段で示すようにＣＣＵ３４０１は、表示領域２００の切り出し位置を鉗子３２０５の移動方向（図３Ｃの上図では右側）とは反対の方向（図３Ｃの下図では左側）に変更する。これによって、表示領域２００は撮像領域１００の中央になり、次に切り出し位置の変更を行うための領域が確保される。

このように表示領域２００の切り出し位置の変更では術具３２００の動きに対応できない場合に、ＣＣＵ３４０１は、アーム部３３０３を動かすように制御情報をアーム制御装置３４０７に送信する。これによって、より広い範囲において術具３２００の追跡が可能となる。

なお、アーム部３３０３の剛性によっては、アーム移動後にカメラブレが発生する可能性がある。このときＣＣＵ３４０１は、表示領域の切り出し位置変更を行うことによってこのカメラブレを補正するように構成されてもよい。このカメラブレの補正は、ＣＣＵ３４０１が画像処理をすることによって、またはアーム部３３０３にジャイロセンサを取り付けることによって行われる。

図４Ａは、上述した術具３２００の追跡動作におけるＣＣＵ３４０１の処理を示すフロー図である。Ｓ１００においてＣＣＵ３４０１は、術具３２００の動きを検出する。次にＳ１０２において、ＣＣＵ３４０１は、術具３２００の動きが表示領域２００の切り出し位置の変更で対応可能か否かを判断する。

Ｓ１０２において術具３２００の動きが表示領域２００の切り出し位置の変更で対応可能である場合、処理はＳ１０８に進む。Ｓ１０８において、ＣＣＵ３４０１は、術具３２００の動きに応じて表示領域２００の切り出し位置の変更を行う。

Ｓ１０２において術具３２００の動きが表示領域２００の切り出し位置の変更で対応できない場合、ＣＣＵ３４０１はアーム制御装置３４０７にアーム部３３０３を制御するための制御情報を送る（Ｓ１０４）。

Ｓ１０４で送信された制御情報に基づいてアーム制御装置３４０７がアーム部３３０３を移動させると、アーム制御装置３４０７はアーム移動情報をＣＣＵ３４０１に送信し、ＣＣＵ３４０１は、アーム移動情報を受信する（Ｓ１０６）。

そしてＳ１０８においてＣＣＵ３４０１は、アーム制御装置３４０７から受信したアーム移動情報に基づいて表示領域２００の切り出し位置を変更する。この表示領域２００の切り出し位置の変更は、Ｓ１１０によるアーム部３３０３の移動の方向とは反対方向となるように行われる。

次に術具３２００の追跡動作におけるアーム制御装置３４０７の処理が説明される。図４Ｂは、術具３２００の追跡動作におけるアーム制御装置３４０７の処理を示すフロー図である。図４ＡのＳ１０４においてＣＣＵ３４０１が制御情報を送信すると、Ｓ１１０においてアーム制御装置３４０７は当該制御情報を受信する。

次にＳ１１２において、アーム制御装置３４０７は、ＣＣＵ３４０１から受け取った制御情報に基づいてアーム部３３０３を移動させるアーム移動量を算出する。次にＳ１１４において、アーム制御装置３４０７は、算出されたアーム移動量に基づいてアーム部３３０３を移動させる。Ｓ１１４において、アーム部３３０３が移動すると、Ｓ１１６においてアーム制御装置３４０７はアーム移動情報をＣＣＵ３４０１に送る。

なお、図４ＡのＳ１０２における判断は、様々な方法で行われてもよい。例えば、撮像領域１００内に所定の枠が予め設定され、術具３２００の先端がその所定の枠を越えて移動した場合に、ＣＣＵ３４０１は表示領域２００の切り出し位置の変更では対応できないと判断してもよい。また、ＣＣＵ３４０１は、術具３２００の動きベクトルを算出し、動きベクトルのベクトル量が所定の大きさよりも大きいときに、ＣＣＵ３４０１は表示領域２００の切り出し位置の変更では対応できないと判断してもよい。この場合、ＣＣＵ３４０１は、算出したベクトル量に応じた速度および方向でアームを動かすように制御情報をアーム制御装置３４０７に送信してもよい。

また、上述した例では図４ＢのＳ１１６においてアーム制御装置３４０７はアーム移動情報をＣＣＵ３４０１に送信し、ＣＣＵ３４０１は当該アーム移動情報に基づいて切り出し位置の変更を行った。しかしＣＣＵ３４０１は、画像検出によって術具３２００を検出し、検出された術具３２００の先端付近が表示領域２００の中央になるように表示領域２００の切り出し位置の変更を行ってもよい。なお、ＣＣＵ３４０１が図４ＡのＳ１０６で受け取るアーム移動情報に基づいて表示領域２００の切り出し位置を変更する場合、ＣＣＵ３４０１は画像検出を行わないので、ＣＣＵ３４０１は切り出し位置の変更を少ない処理負担で行うことができる。

以上では、本開示の手術システムにおいて術具３２００の追跡を行う際の動作例について説明された。以下では、図５を参照して上述した術具３２００の追跡を行う際の各装置間で送受信される情報が示される。

上述したように、ＣＣＵ３４０１はカメラヘッド３１０３から画像信号を受信し、受信した画像信号を処理する。また、ＣＣＵ３４０１は、カメラヘッド３１０３における倍率または焦点距離等を変更するためのカメラヘッド制御信号をカメラヘッド３１０３に送信する。

一方アーム制御装置３４０７は、アーム部３３０３に外力が加えられたことを示す外力情報をアーム部３３０３から受信する。また、アーム制御装置３４０７は、アーム部３３０３を制御するためのアーム制御信号をアーム部３３０３に送信する。

ＣＣＵ３４０１とアーム制御装置３４０７との間では、上述したアーム部３３０３の移動による術具３２００の追跡を行うために制御情報が送受信される。ＣＣＵ３４０１は、図４ＡのＳ１０４で示した制御情報として、例えば術具３２００の位置情報または表示領域２００の切り出し位置情報をアーム制御装置３４０７に送信する。また、ＣＣＵ３４０１は、制御情報として、検出された術具３２００の動きに関するベクトル量をアーム制御装置３４０７に送信してもよい。ＣＣＵ３４０１がベクトル量を送信することによって、アーム制御装置３４０７は、アーム部３３０３の動作を術具３２００の動きの速度及び方向に合わせて制御することができる。

また、アーム制御装置３４０７は、図４ＢのＳ１１６で示したアーム移動情報として、例えばアームの位置情報または移動速度または移動方向をＣＣＵ３４０１に送信する。また、アーム制御装置３４０７は、アーム移動情報としてアーム部３３０３の移動に関するベクトル量をＣＣＵ３４０１に送信してもよい。アーム制御装置３４０７がベクトル量を送信することによって、ＣＣＵ３４０１は、表示領域２００の切り出し位置変更をアーム部３３０３の動きの速度及び方向に合わせて制御することができる。

そして、ＣＣＵ３４０１は、カメラヘッド３１０３から受け取った画像信号を処理し、撮像領域１００から表示領域２００を切り出して表示装置３４０３に送信する。

なお、図４ＡのＳ１０２において、切り出し位置の変更で対応できない場合、術具３２００が撮像領域１００内に存在しない可能性がある。この場合、ＣＣＵ３４０１は、撮像部３１０７の撮像素子で撮像される撮像領域１００の過去フレームを記憶しておいてもよい。そしてＣＣＵ３４０１およびアーム制御装置３４０７は、当該過去フレームにおける術具３２００の動きに関する情報（例えば、動きベクトル量）を用いてアーム制御による術具３２００の追跡動作を行ってもよい。また、術具３２００が撮像領域１００内に存在するようになった場合、アーム制御装置３４０７は、術具３２００の先端が撮像領域１００の中央付近となるようにＣＣＵ３４０１と協働してアームを制御してもよい。

（第１の実施形態のむすび）
上述したように本開示の手術システムでは、ＣＣＵ３４０１が表示領域２００の切り出し位置変更によって術具３２００の追跡を行うだけではなく、アーム制御装置３４０７がカメラヘッド３１０３を支持するアーム部３３０３を移動させて術具３２００の追跡を行う。これによって、ＣＣＵ３４０１の表示領域２００の切り出し位置変更だけでは対応できない術具３２００の移動があった場合にも術具３２００の追跡が可能となる。よって、術者３５０１又は助手は、表示領域２００を変更する操作を行わなくてよく、ストレスなく手術を行うことができる。

＜３．第２の実施形態＞
（アーム制御によるズーム動作）
以上では、アーム部３３０３を制御することによる術具３２００の追跡動作の例が説明された。以下では、アーム部３３０３を制御することによるズーム動作について説明される。上述したようにレンズユニット３１０５のズームレンズを光軸に沿って所定の距離だけ移動させることによって、本開示の内視鏡手術システム３０００は光学ズームを行うことができる。なお、以下に説明される「ズーム」という言葉には、特に明記されない限り「ズームイン」及び「ズームアウト」の両方の意味が含まれる。

手術システムにおけるレンズユニット３１０５は、滅菌処理によってレンズが歪んでしまうことを考慮するため、拡大できる倍率が制限されている。よって本開示の内視鏡手術システム３０００は、カメラヘッド３１０３による光学ズームまたは電子ズームに加えて、アーム部３３０３を制御することによるズームを行う。これにより、光学ズームに加えてさらに大きいまたは小さい倍率のズームが可能となり、また電子ズームよりも高解像度の画像のズームが可能となる。なお、電子ズームは、撮像部３１０７が撮像した画像の一部を切り取って拡大することによって行われる。

以下の表１に光学ズーム、電子ズーム、アーム制御によるズーム動作のそれぞれの特性が示される。

表１に示されるようにユーザからのズーム指示に対する応答速度について、電子ズームは３つのズーム方法の中で一番速く、アーム制御は３つのズーム方法の中で一番遅い。また光学ズームは両者の中間の応答速度である。次に画質については、光学ズーム及びアーム制御によるズームは高画質を保てるが、電子ズームは画質が劣化する。またカメラヘッド３１０３と被写体の間に障害物がある場合にズーム動作ができるか否か（障害物対応）については、光学ズーム及び電子ズームはズーム動作が可能であるが、アーム制御によるズーム動作はできない。

以上では、各ズーム動作の特性が示された。以下では、カメラヘッド３１０３によるズーム動作及びアーム制御によるズーム動作を組み合わせたズーム動作について説明される。図６Ａは、カメラヘッド３１０３によるズーム動作及びアーム制御によるズーム動作を組み合わせたズーム動作におけるＣＣＵ３４０１の処理の一例を示すフロー図である。最初にＳ２００において、ユーザはズーム倍率を指定する指示を入力する。

Ｓ２０２において、ＣＣＵ３４０１はＳ２００において指定された倍率が現在の倍率であるか否かを判定する。Ｓ２０２においてＣＣＵ３４０１が指定倍率は現在の倍率であると判定すると、処理は終了する。一方、Ｓ２０２においてＣＣＵ３４０１が指定倍率は現在の倍率と異なると判定すると、処理はＳ２０４に進む。

Ｓ２０４において、ＣＣＵ３４０１は、Ｓ２００で指定された倍率に基づいて光学ズームまたは電子ズームを行う。次に処理はＳ２０６に進み、ＣＣＵ３４０１は光学または電子ズームの倍率が所定値に達したか否かを判定する。Ｓ２０６において、ＣＣＵ３４０１が光学または電子ズームの倍率が所定値に達していないと判定する場合、処理はＳ２０４に戻りズーム動作が繰り返される。Ｓ２０６において、ＣＣＵ３４０１が光学または電子ズームの倍率が所定値に達したと判定する場合、処理はＳ２０８に進む。

Ｓ２０８においてＣＣＵ３４０１は、画像検出を行うことによって障害物があるか否かを判定する。Ｓ２０８においてＣＣＵ３４０１が障害物があると判定すると、アーム部３３０３が動くと危険であるため、処理は終了する。一方、Ｓ２０８においてＣＣＵ３４０１が障害物がないと判定すると、ＣＣＵ３４０１は、図４及び図５を用いて上述した制御情報をアーム制御装置３４０７に送る（Ｓ２１０）。

Ｓ２１０で送信された制御情報に基づいてアーム制御装置３４０７がアーム部３３０３を移動させると、アーム制御装置３４０７はアーム移動情報をＣＣＵ３４０１に送信し、ＣＣＵ３４０１は、アーム移動情報を受信する（Ｓ２１２）。そしてＣＣＵ３４０１は、Ｓ２１４においてアーム制御装置３４０７から受け取ったアーム移動情報に基づいて画角及びフォーカス合わせを行う。

次にカメラヘッド３１０３によるズーム動作及びアーム制御によるズーム動作を組み合わせたズーム動作におけるアーム制御装置３４０７の処理が説明される。図６Ｂは、カメラヘッド３１０３によるズーム動作及びアーム制御によるズーム動作を組み合わせたズーム動作におけるアーム制御装置３４０７の処理を示すフロー図である。図６ＡのＳ２１０においてＣＣＵ３４０１が制御情報を送信すると、Ｓ２１６においてアーム制御装置３４０７は当該制御情報を受信する。

Ｓ２１８において、アーム制御装置３４０７は、ＣＣＵ３４０１から受け取った制御情報に基づいてアーム部３３０３を移動させるアーム移動量を算出する。次にＳ２２０において、アーム制御装置３４０７は、算出されたアーム移動量に基づいてアーム部３３０３を移動させる。Ｓ２２０において、アーム部３３０３が移動すると、Ｓ２２２においてアーム制御装置３４０７は、図４及び図５を用いて上述したアーム移動情報をＣＣＵ３４０１に送る。

なお、Ｓ２０６における所定値は、光学または電子ズームの倍率の限界値であってもよい。またＳ２０６における所定値は、光学または電子ズームの倍率の限界値を下回る所定の値であってもよい。Ｓ２０６における所定値が光学及または電子ズームの倍率の限界値を下回る所定の値である場合、ＣＣＵ３４０１は光学または電子ズームを行える余地を残すことができる。これによって、ＣＣＵ３４０１は、ユーザの指示によって表示画像を俯瞰視画像にすぐに切り替えることができる。

また、上述した例では図６ＢのＳ２２２において、アーム制御装置３４０７はアーム移動情報をＣＣＵ３４０１に送信し、ＣＣＵ３４０１は当該アーム移動情報に基づいて画角及びフォーカス合わせを行った。しかしＣＣＵ３４０１は、撮像画像のコントラスト等に基づく処理によって画角及びフォーカス合わせを行ってもよい。

以上では、本開示の内視鏡手術システム３０００においてアーム制御によるズーム動作の動作フローが説明された。以下では、図７を用いて図６で示された本開示のズーム動作における各ズームの関係が説明される。図７の実線Ｌ１はアーム制御によるズームを示し、破線Ｌ２は、カメラヘッド３１０３によるズーム（光学ズーム及び／または電子ズーム）の動作を示す。

縦軸の左側はカメラヘッド３１０３によるズームの倍率を示す軸であり、実線Ｌ１に対する軸である。縦軸の右側は鏡筒３１０１のレンズの先端から被写体までの距離であるワーキングディスタンス（ＷＤ）を示す軸であり、破線Ｌ２に対する軸である。

図７においてカメラヘッド３１０３によるズームの倍率の初期値は１倍であり、ＷＤの初期値をＬとする。なお以下ではカメラヘッド３１０３による倍率は２倍が限界値であると仮定して説明がされる。

ｔ１においてユーザがズーム指示を行うと、カメラヘッド３１０３によるズームがアーム制御によるズームの前に行われる。このようにカメラヘッド３１０３によるズームがアーム制御によるズームの前に行われる理由は、カメラヘッド３１０３によるズーム動作の方がアーム制御によるズーム動作よりも速いためである。

また、アーム制御によるズーム動作はアーム部３３０３の動き出しに時間がかかるため、カメラヘッド３１０３によるズーム動作がアーム制御によるズーム動作よりも先に行われることが好ましい。

次にｔ２において、カメラヘッド３１０３によるズーム倍率が限界値の２倍より小さい所定の値に達すると、カメラヘッド３１０３によるズーム倍率は下がり出す。このようにカメラヘッド３１０３によるズーム倍率が限界値に達する前に下げられることによって、急なユーザからのズーム動作要求に対応できる余地を残すことができる。例えば、ズーム倍率は、ユーザの指示によって倍率１に素早く戻ることができ、術者３５０１が術部の俯瞰画像を見たいときにすぐに対応することができる。また、電子ズームを限界倍率まで使用しないことによって、画質の劣化が低減される。

また、ｔ２において、カメラヘッド３１０３によるズーム倍率が限界値の２倍より小さい所定の値に達すると、アーム制御によるズームが開始される。アーム制御によるズームは、アーム部３３０３が動くことによってレンズが被写体に近づくことによってなされる。次にｔ３において、カメラヘッド３１０３によるズームはズーム倍率１に戻る。そして、ｔ４までアーム制御によるズームが行われ、ｔ４においてＷＤは初期値の１／２となる。このとき、アーム制御によるズーム動作によって初期値の２倍の倍率が達成される。

ｔ４の後、さらにユーザからズーム動作の指示がある場合、ｔ１からｔ４までと同様なズーム動作が繰り返され、ｔ７の時点でズーム倍率は３倍となる。ｔ２の時点と同様に、ｔ５の時点でカメラヘッド３１０３によるズームの倍率は減少し始め、ｔ６の時点においてカメラヘッド３１０３によるズームの倍率は１倍に戻る。ｔ６の後、アーム制御によるズーム動作が継続され、ｔ７においてアーム制御によるズーム動作によってＷＤは初期値の１／３となる。これによって、レンズと被写体との距離が小さくなり、ズーム倍率は初期値の３倍になる。

（画質優先モード）
以上では、本開示の内視鏡手術システム３０００におけるズーム動作の概略について説明された。以下では、ユーザによって画質を優先するモードが選択されているときの本開示の内視鏡手術システム３０００におけるズーム動作について説明される。

上述した表１からわかるように、電子ズームは他の２つのズーム方法に比べて画質の点で劣る。よって、画質を優先するモードが選択されている場合、ズーム動作は、光学ズーム及びアーム制御によるズーム動作が優先して行われる。

図８は、画質優先モードが選択されている場合の各ズーム動作の関係を示す図である。図８の実線Ｌ１は光学ズームの動作を示し、破線Ｌ２はアーム制御によるズームの動作を示し、点線Ｌ３は電子ズームによるズームの動作を示す。

ｔ１からｔ６までの動作は、図７で示したズーム動作に対応する。ただし、画質優先モードでは、図７で示したカメラヘッド３１０３によるズーム動作として光学ズームによるズーム動作が行われる。図７を用いて上述したように、ｔ６の時点で倍率は初期値の３倍となっている。

ｔ６の時点以降もユーザがズーム指示を行うと、光学ズームが電子ズームよりも先に行われる。そしてｔ７において光学ズームが限界値まで行われると、倍率は初期値の６倍となる。ｔ７以降もユーザがズーム指示を行うと、最終的に電子ズームが行われる。そしてｔ８において電子ズームが限界値まで行われると、倍率は初期値の１２倍となる。このように電子ズームが行われる前に、光学ズーム及びアーム制御によるズームが行われることによって画質が維持されたまま画像の拡大が行われる。

以上では画質を優先するモードが選択されている場合のズーム動作について説明された。以下では、ズームが行われる速度が優先されるモードが選択された場合の動作について説明される。表１からわかるように、ズーム動作としての応答速度は、電子ズームが一番速く、次に光学ズームが速い。このようにアーム制御によるズーム動作は、他の２つの方法によるズーム動作と比べてズーム動作の応答速度の点で劣る。

（速度優先モード）
図９は、速度優先モードが選択されている場合の各ズーム動作の関係を示す図である。図９の点線の対応関係は図８と同様であり、実線Ｌ１は光学ズームの動作を示し、破線Ｌ２はアーム制御によるズームの動作を示し、点線Ｌ３は電子ズームによるズームの動作を示す。

速度優先モードでは、ｔ１において一番応答速度が速い電子ズームが行われる。次にｔ２において電子ズームの次に応答速度が速い光学ズームが行われる。そしてｔ３において電子ズームの倍率が限界値である２倍になる前にアーム制御によるズームが行われる。そしてｔ４の時点において、電子ズーム、光学ズーム及びアーム制御によるズームの３つによって、倍率は初期値の２倍となる。

ｔ４からｔ５にかけて、電子ズームによるズーム倍率は減少し、光学ズーム及びアーム制御によるズームが継続して行われる。ｔ５の時点では光学ズームによるズーム倍率が減少し始め、アーム制御によるズーム動作が継続して行われる。

ｔ６の時点では、電子ズーム及び光学ズームの倍率は１倍まで戻る。そして、アーム制御によってレンズの先端から被写体までのＷＤが初期値の１／２になることにより、アーム制御によるズームの倍率は２倍となる。よって全体としてのズーム倍率は２倍となる。

そしてｔ６からｔ８までは、ｔ１からｔ６と同様に、電子ズーム、光学ズーム、アーム制御によるズームの順でズーム動作が行われる。そしてｔ７からｔ８までに電子ズーム及び光学ズームの倍率は１倍に戻り、ＷＤが初期値の１／３になることによってアーム制御によるズームの倍率は３倍となる。よって全体としてのズーム倍率は３倍となる。このようにズーム動作に対する応答速度が速い順にズーム動作が行われることによって、ユーザからのズーム指示に素早く対応することができる。また、アーム制御によるズーム動作の前に電子ズーム及び光学ズームが行われることにより、アームを動かすための時間を稼ぐことができる。

なお、内視鏡手術システム３０００においては、アーム部３３０３の一部分の位置またはアーム先端に装着される内視鏡３１００がトロッカ等によって位置が固定される場合がありうる。また、手術顕微鏡等においても、術者の視野確保または手術領域の確保の観点から、アームの動きに制約を設けたい場合が生じうる。そのようなモードの場合には、本開示の内視鏡手術システム３０００におけるズーム動作は、カメラヘッド３１０３による光学ズームまたは電子ズームを、アーム制御によるズーム動作に優先して行う。これによりアームの位置が極力変化しないように制御される。

（第２の実施形態のむすび）
上述したように本開示の内視鏡手術システム３０００では、カメラヘッド３１０３によるズーム（電子ズーム及び光学ズーム）に加えて、アーム制御によるズーム動作が行われることにより、カメラヘッド３１０３によるズームのみでは対応できない倍率までズームを行うことができる。よって、術者３５０１又は助手が望む倍率まで表示画像を拡大または縮小することができる。

また、画質優先モード及び速度優先モードを備え、選択されているモードに応じて使用されるズーム動作が変更されることによって、術者３５０１又は助手が望む画質又は速度に応じて表示画像を拡大または縮小することができる。

＜４．第３の実施形態＞
（術具の種類に基づく表示画像の振り分け動作）
以上では、カメラヘッド３１０３によるズーム（電子ズーム及び光学ズーム）に加えて、アーム制御によるズーム動作が行われる実施形態について説明された。以下では、術具３２００の種類に基づく表示画像の振り分け動作について説明される。

図１０は、撮像部３１０７で撮像される術部の撮像画像の一例を示す図である。内視鏡手術システム３０００においては、様々な術具３２００が使用される。例えば、術者３５０１はエネルギー処置具３２０３を用いて患部を切除し、助手は鉗子３２０５を用いて患部を摘まんで術者３５０１の補助を行う。

術者３５０１及び助手は行う処置が異なるため、それぞれが望む視野も異なる。例えば、術者３５０１はエネルギー処置具３２０３を使って患部を切り取るなどの細かい処置を行うため、術者３５０１は術部の拡大された画像を望む。一方助手は、術具３２００が他の臓器を傷つけていないかを確認したいため、術具３２００の全部を含む俯瞰視画像を望む。

したがって、ＣＣＵ３４０１は、図１０の点線で示した領域を術者３５０１のためにメインモニタに出力し、図１０の実線で示した領域を助手のためにメインモニタとは異なるサブモニタに出力する。ここで図１０の実線で示された領域には、３つの術具（１つエネルギー処置具３２０３と２つの鉗子３２０５）が含まれ、その３つの術具３２００の先端のすべてが図１０の実線で示される撮像画像に含まれている。以下、すべての術具３２００の先端が含まれるとは、撮像画像に含まれるすべての術具３２００の先端が撮像画像に含まれることを意味する。

図１１は、上述した表示画像の振り分け動作を示すフロー図である。最初にＳ３００において、ＣＣＵ３４０１は術具３２００の検出を行う。ここでＣＣＵ３４０１は、検出された術具３２００が術者用の術具３２００か、助手用の術具３２００かを判別する。次にＳ３０２において、ＣＣＵ３４０１は撮像画像に含まれているすべての術具３２００の先端が撮像画像に含まれているか否かを判別する。

Ｓ３０２において、ＣＣＵ３４０１が、すべての術具３２００の先端が撮像画像内に含まれていると判断すると、処理はＳ３０８に進む。Ｓ３０８では、ＣＣＵ３４０１は、術者用の術具３２００が含まれる拡大画像をメインモニタに出力し、すべての術具３２００の先端が含まれる画像を助手用の俯瞰画像としてサブモニタに出力する。なお、拡大画像は、撮像画像の一部を切り出し、電子ズームを行うことによって作成される。

Ｓ３０２において、ＣＣＵ３４０１が、すべての術具３２００の先端が撮像画像内に含まれていないと判断すると、処理はＳ３０４に進む。Ｓ３０４において、ＣＣＵ３４０１はアーム制御によるズーム動作を行うため、アーム制御装置３４０７にアーム部３３０３を制御するための制御情報を送る。ここで送られる制御情報には、アーム部３３０３を動かす移動量または速度または術具３２００の位置に関する情報が含まれてもよい。

Ｓ３０４でアーム制御装置３４０７が制御情報を受け取ると、アーム制御装置３４０７はアーム部３３０３の移動量を算出し、アーム部３３０３を移動させる（Ｓ３０６）。次に処理はＳ３００に戻り、Ｓ３００からＳ３０６が繰り返される。つまりアーム制御装置３４０７がアーム部３３０３を動かすと、ＣＣＵ３４０１はすべての術具３２００の先端が撮像画像に含まれるか否かを判定する。そして、すべての術具３２００の先端が含まれていなければ、ＣＣＵ３４０１は制御情報を送り、アーム制御装置３４０７は当該制御情報に基づいてアーム部３３０３を動かす。

Ｓ３００からＳ３０６の処理の繰り返しによるアーム部３３０３の移動によってズームアウトがされる。そしてＳ３０２においてＣＣＵ３４０１がすべて術具３２００の先端が撮像画像に含まれていると判定すると、ＣＣＵ３４０１は術者３５０１の術具３２００を含む拡大画像をメインモニタに出力する（Ｓ３０８）。また、ＣＣＵ３４０１は、すべての術具３２００の先端が含まれる画像をサブモニタに出力する（Ｓ３０８）。

なお、Ｓ３００における術具３２００の検出は、上述したように術具３２００のエッジの形状及び／または色、術具３２００の輝度勾配等を検出することによって行われる。また、術具３２００の検出は機械学習を用いて行われてもよい。

また、Ｓ３００の術具３２００の検出においては、術者３５０１が使用する術具３２００か、助手が使用する術具３２００かが判別される。この判別は、内視鏡手術システム３０００が上述した術具３２００のエッジの形状及び／または色、術具３２００の輝度勾配のパターンをそれぞれの術具３２００ごとに記憶し、パターンマッチングが行われることによってなされてもよい。また、助手が使用する鉗子３２０５等の術具３２００は基本的にあまり動かないので、ＣＣＵ３４０１は術具３２００の動きを検出して動きのある術具３２００は術者３５０１が使用する術具３２００であると判別してもよい。

以上の例では、ズーム位置及びその拡大率については術具３２００の検出結果に応じてなされた。しかし、ズームの拡大においては、術具３２００を含むような拡大率の他にも、患部領域および術具３２００の双方を含むような拡大率で表示を行う構成とすることも可能である。この場合において、患部領域の特定にあっては、術具３２００の検出処理と同様の学習処理に拠ることもできるし、特殊光（狭帯域光、蛍光励起光）による観察の結果に基づいて検出することも可能である。

（第３の実施形態のむすび）
上述したように本開示の手術システムでは、術者用の表示画像と助手用の表示画像とを異なるモニタに振り分けることができる。よって、術者３５０１又は助手のそれぞれが望む画角で表示画像を提供することができる。

＜５．補足＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明した。なお、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属する。

例えば、図１１において、アーム制御によるズーム動作のみが説明されたが、光学ズームが行われたあとにアーム制御によるズーム動作が行われてもよい。これによってより大きくズームアウトができ、術者３５０１及び助手が望む画像が提供される。また、光学ズームはアーム制御によるズームよりも応答速度が速いため、アーム部３３０３が動き出す時間を稼ぐことができる。

＜６．むすび＞
以上説明したように本開示の実施形態によれば、カメラヘッド３１０３による撮像制御だけでなくアーム制御による撮像制御も行われる。これによって、術者３５０１又は助手は、自らが望む表示画像を取得することができる。

また、本明細書に記載された効果は、あくまで例示であって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
カメラからの撮像画像の処理を制御する画像制御部と、
前記カメラを支持するアーム部の動きを制御するアーム制御部と、を有し、
前記画像制御部及び前記アーム制御部の一方は、他方からの制御情報に基づいて制御を行う、医療用情報処理装置。
（２）
前記画像制御部は、前記カメラが撮像する撮像画像から処置具を検出し、
前記画像制御部は、検出された前記処置具の動きに応じて前記撮像画像の切り出し位置を変更する、前記（１）に記載の医療用情報処理装置。
（３）
前記画像制御部は、検出された前記処置具の動きに基づいて前記アーム制御部に制御情報を送り、
前記アーム制御部は、前記画像制御部から受け取った前記制御情報に基づいて前記アーム部を移動させる移動量を算出する、前記（１）または前記（２）のいずれか１項に記載の医療用情報処理装置。
（４）
前記アーム制御部は、算出した前記アーム部の移動量を前記画像制御部に送り、
前記画像制御部は、前記アーム制御部から受け取った前記アーム部の移動量に基づいて前記撮像画像の切り出し位置の変更を行う、前記（３）に記載の医療用情報処理装置。
（５）
前記処置具の動きが所定の基準を超えている場合、前記画像制御部は前記アーム部を制御するための制御情報を前記アーム制御部に送る、前記（３）または前記（４）のいずれか１項に記載の医療用情報処理装置。
（６）
前記画像制御部は、前記カメラに対して拡大指示を送り、
前記画像制御部が前記カメラによる拡大よりも前記アーム部の移動による拡大が適していると判定したときに、
前記画像制御部は、前記アーム部を制御するための制御情報を前記アーム制御部に送る、前記（１）から前記（５）のいずれか１項に記載の医療用情報処理装置。
（７）
前記カメラによる拡大には、光学ズームと電子ズームが含まれ、
前記画像制御部は、画質を優先するモードが選択されている場合、前記電子ズームよりも先に前記光学ズームに対する制御を行う、前記（６）に記載の医療用情報処理装置。
（８）
前記カメラによる拡大には、光学ズームと電子ズームが含まれ、
前記画像制御部は、画像を拡大する速度を優先するモードが選択されている場合、前記光学ズームよりも先に前記電子ズームに対する制御を行う、前記（６）に記載の医療用情報処理装置。
（９）
前記画像制御部は、前記カメラによる拡大倍率が限界値に達する前に、前記アーム制御部に前記制御情報を送る、前記（６）から前記（８）のいずれか１項に記載の医療用情報処理装置。
（１０）
前記画像制御部は、前記カメラが撮像する撮像画像から複数の処置具を検出し、
前記画像制御部は、検出された前記複数の処置具の先端が前記撮像画像に全て含まれるように縮小処理を行う、前記（１）から前記（９）のいずれか１項に記載の医療用情報処理装置。
（１１）
前記画像制御部は、前記処置具の種類をさらに検出し、
前記画像制御部は、術者用の処置具が表示画像に含まれるように前記撮像画像を切り出す、前記（１０）に記載の医療用情報処理装置。
（１２）
カメラからの撮像画像の処理を制御すること、
前記カメラを支持するアーム部の動きを制御すること、
前記撮像画像の処理を制御することまたはアーム部の動きを制御することの一方は、他方の制御による制御情報に基づいて制御を行うこと、を含む情報処理方法。
（１３）
画像を撮像するカメラと、
前記カメラからの撮像画像の処理を制御する画像制御部と、
前記カメラを支持するアーム部と、
前記カメラを支持するアーム部の動きを制御するアーム制御部と、を有し、
前記画像制御部及び前記アーム制御部の一方は、他方からの制御情報に基づいて制御を行うように構成されている、医療用情報処理システム。

３０００ 内視鏡手術システム
３１００ 内視鏡
３１０１ 鏡筒
３１０３ カメラヘッド
３１０５ レンズユニット
３１０７ 撮像部
３１０９ 駆動部
３１１１ 通信部
３１１３ カメラヘッド制御部
３２００ 術具
３２０１ 気腹チューブ
３２０３ エネルギー処置具
３２０５ 鉗子
３３００ 支持アーム装置
３３０１ ベース部
３３０３ アーム部
３４００ カート
３４０１ カメラコントロールユニット（ＣＣＵ）
３４０３ 表示装置
３４０５ 光源装置
３４０７ アーム制御装置
３４０９ 入力装置
３４１１ 処置具制御装置
３４１３ 気腹装置
３４２３ 画像処理部
３４２５ 制御部
３４２７ 伝送ケーブル
３５０１ 術者
３５０３ 患者ベッド
３５０５ 患者

Claims (11)

1. カメラからの撮像画像の処理を制御する画像制御部と、
   前記カメラを支持するアーム部の動きを制御するアーム制御部と、を有し、
   前記画像制御部及び前記アーム制御部の一方は、他方と連動して前記カメラで撮像される撮像画像の表示領域を制御し、
   前記画像制御部は、光学または電子ズームのズーム倍率が限界値を下回る所定の値に達した場合、前記アーム部を制御するための制御情報を前記アーム制御部に送り、
   前記画像制御部は、前記カメラからの撮像画像に基づいて、前記カメラと被写体との間に、前記アーム部を制御することによるズーム動作を妨げる障害物があるか否かを判定し、
   前記アーム制御部は、前記画像制御部により前記障害物があると判定された場合、前記アーム部の制御を実行しない
   医療用情報処理装置。
2. 前記画像制御部は、画質を優先するモードが選択されている場合、前記電子ズームよりも先に前記光学または電子ズームに対する制御を行う、
   請求項１に記載の医療用情報処理装置。
3. 前記画像制御部は、画像を拡大する速度を優先するモードが選択されている場合、前記光学または電子ズームよりも先に前記電子ズームに対する制御を行う、
   請求項１に記載の医療用情報処理装置。
4. 前記画像制御部は、前記カメラが撮像する撮像画像から処置具を検出し、
   前記画像制御部は、検出された前記処置具の動きに応じて前記撮像画像の切り出し位置を変更する、請求項１～３の何れか１項に記載の医療用情報処理装置。
5. 前記画像制御部は、検出された前記処置具の動きに基づいて前記アーム制御部に制御情報を送り、
   前記アーム制御部は、前記画像制御部から受け取った前記制御情報に基づいて前記アーム部を移動させる移動量を算出する、請求項４に記載の医療用情報処理装置。
6. 前記アーム制御部は、算出した前記アーム部の移動量を前記画像制御部に送り、
   前記画像制御部は、前記アーム制御部から受け取った前記アーム部の移動量に基づいて前記撮像画像の切り出し位置の変更を行う、請求項５に記載の医療用情報処理装置。
7. 前記処置具の動きが所定の基準を超えている場合、前記画像制御部は前記アーム部を制御するための制御情報を前記アーム制御部に送る、請求項５または６に記載の医療用情報処理装置。
8. 前記画像制御部は、前記カメラが撮像する撮像画像から複数の処置具を検出し、
   前記画像制御部は、検出された前記複数の処置具の先端が前記撮像画像に全て含まれるように縮小処理を行う、請求項１～７のいずれか１項に記載の医療用情報処理装置。
9. 前記画像制御部は、前記処置具の種類をさらに検出し、
   前記画像制御部は、術者用の処置具が表示画像に含まれるように前記撮像画像を切り出す、請求項８に記載の医療用情報処理装置。
10. 画像を撮像するカメラと、前記カメラからの撮像画像の処理を制御する画像制御部と、前記カメラを支持するアーム部と、前記カメラを支持するアーム部の動きを制御するアーム制御部とを有する情報処理装置が実行する情報処理方法であって、
    前記画像制御部が、前記カメラからの撮像画像の処理を制御すること、
    前記アーム制御部が、前記カメラを支持するアーム部の動きを制御すること、
    前記画像制御部及び前記アーム制御部の一方が、他方と連動して前記カメラで撮像される撮像画像の表示領域を制御すること、
    前記画像制御部が、光学または電子ズームのズーム倍率が限界値を下回る所定の値に達した場合、前記アーム部を制御するための制御情報を送ること、
    前記アーム制御部が、前記カメラからの撮像画像に基づいて、前記カメラと被写体との間に、前記アーム部を制御することによるズーム動作を妨げる障害物があるか否かを判定すること、
    前記アーム制御部が、前記障害物があると判定された場合、前記アーム部の制御を実行しないこと
    を含む情報処理方法。
11. 画像を撮像するカメラと、
    前記カメラからの撮像画像の処理を制御する画像制御部と、
    前記カメラを支持するアーム部と、
    前記カメラを支持するアーム部の動きを制御するアーム制御部と、を有し、
    前記画像制御部及び前記アーム制御部の一方は、他方と連動して前記カメラで撮像される撮像画像の表示領域を制御し、
    前記画像制御部は、光学または電子ズームのズーム倍率が限界値を下回る所定の値に達した場合、前記アーム部を制御するための制御情報を前記アーム制御部に送り、
    前記画像制御部は、前記カメラからの撮像画像に基づいて、前記カメラと被写体との間に、前記アーム部を制御することによるズーム動作を妨げる障害物があるか否かを判定し、
    前記アーム制御部は、前記画像制御部により前記障害物があると判定された場合、前記アーム部の制御を実行しない
    医療用情報処理システム。

Images