WO2022219878A1

WO2022219878A1 - 医療用観察システム、医療用画像処理方法及び情報処理装置

Info

Publication number: WO2022219878A1
Application number: PCT/JP2022/003288
Authority: WO
Inventors: 和人横山
Original assignee: ソニーグループ株式会社
Priority date: 2021-04-12
Filing date: 2022-01-28
Publication date: 2022-10-20

Abstract

医療用観察システム（１００）は、手術中に撮像部（５００９）によって撮像された対象物（５０１７）の画像情報、対象物（５０１７）に関する情報（２０ａ）、及び、撮像部（５００９）の撮像条件に基づいて、撮像部（５００９）から対象物（５０１７）までの距離を表すデプスを推定する制御部（１）、を備え、対象物（５０１７）に関する情報（２０ａ）は、対象物（５０１７）の実際のサイズ（Ｌ）を含む。

Description

医療用観察システム、医療用画像処理方法及び情報処理装置

　本開示は、医療用観察システム、医療用画像処理方法及び情報処理装置に関する。

　例えば特許文献１は、手術中に撮像された画像に基づいて、内視鏡を支持するアームの自律制御を行う手法を開示する。

特開２０２１－１３４１２号公報特開２０１５－１２３２０１号公報

　画像中の対象物のデプスを推定する技術への要望が存在し、また、そのようなデプス推定技術には依然として改善の余地が残る。

　本開示の一側面は、手術中に撮像された画像中の対象物のデプスを推定することを目的とする。

　一側面に係る医療用観察システムは、手術中に撮像部によって撮像された対象物の画像情報、対象物に関する情報、及び、撮像部の撮像条件に基づいて、撮像部から対象物までの距離を表すデプスを推定する制御部、を備え、対象物に関する情報は、対象物の実際のサイズを含む。

　一側面に係る医療用画像処理方法は、対象物に関する情報を準備することと、撮像部によって手術中の画像を撮像することと、撮像した対象物の画像情報、対象物に関する情報、及び、撮像部の撮像条件に基づいて、撮像部から対象物までの距離を表すデプスを推定することと、を含む、医療用画像処理方法であって、対象物に関する情報は、対象物の実際のサイズを含む。

　一側面に係る情報処理装置は、手術中に撮像部によって撮像された対象物の画像情報、対象物に関する情報、及び、撮像部の撮像条件に基づいて、撮像部から対象物までの距離を表すデプスを推定する、情報処理装置であって、対象物に関する情報は、対象物の実際のサイズを含む。

内視鏡手術システムの概略的な構成の一例を示す図である。カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。実施形態に係る医療用観察システムの概略構成の例を示す図である。画像の例を模式的に示す図である。事前情報の例を模式的に示す図である。パラメータ情報の例を模式的に示す図である。画像認識結果の例を模式的に示す図である。対象物のデプスの推定の例を模式的に示す図である。事前情報の生成の例を模式的に示す図である。術具の姿勢計算に関する機能及び処理を模式的に示す図である。事前情報の例を模式的に示す図である。画像認識結果の例を模式的に示す図である。臓器の３次元マップの更新に関する機能及び処理を模式的に示す図である。自律制御に関する機能及び処理の例を模式的に示す図である。自律制御に関する機能及び処理の例を模式的に示す図である。干渉回避制御に関する機能及び処理の例を模式的に示す図である。干渉回避制御に関する機能及び処理の例を模式的に示す図である。他のデプス推定部との併用に関する機能及び処理の例を模式的に示す図である。医療用観察システムにおいて実行される処理の例を示すフローチャートである。装置のハードウェア構成の例を示す図である。

　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の要素には同一の符号を付することにより重複する説明を省略する。

　以下に示す項目順序に従って本開示を説明する。
　　１．内視鏡システム
　　２．医療用観察システムの実施形態
　　　２．１　第１実施形態
　　　２．２　第２実施形態
　　　２．３　第３実施形態
　　　２．４　第４実施形態
　　　２．５　第５実施形態
　　　２．６　第６実施形態
　　３．ハードウェア構成の例
　　４．効果の例

１．内視鏡手術システム
　まず、本開示の実施形態の詳細を説明する前に、図１を参照して、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成について説明する。図１は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１では、執刀医５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図１に示すように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具（医療用器具）５０１７と、内視鏡（医療用観察装置）５００１を支持する支持アーム装置（医療用アーム）５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７とを有する。以下、内視鏡手術システム５０００の詳細について、順次説明する。

［術具］
　内視鏡手術では、腹壁を切って開腹する代わりに、例えば、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内（腹腔内）に挿入される。図１に示す例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図１に示す術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具を挙げることができる。

［支持アーム装置］
　支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を有する。図１に示す例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。そして、アーム部５０３１によって内視鏡５００１が支持され、内視鏡５００１の位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。

［内視鏡］
　内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５とから構成される。図１に示す例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよく、本開示の実施形態においては、特に限定されるものではない。

　鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導かれ、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、本開示の実施形態においては、内視鏡５００１は、前方直視鏡であってもよいし、斜視鏡であってもよく、特に限定されるものではない。

　カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera　Control　Unit）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

　なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられることとなる。

［カートに搭載される各種装置］
　まず、表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が、例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は、３Ｄ表示に対応したものである場合には、表示装置５０４１として、それぞれに対応する、高解像度の表示が可能なもの、及び／又は、３Ｄ表示可能なものが用いられる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられていてもよい。

　また、内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像は、当該表示装置５０４１に表示される。執刀医５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行うことができる。なお、図示を省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、執刀医５０６７又は助手等によって支持されてもよい。

　また、ＣＣＵ５０３９は、ＣＰＵ（Central　Processing　Unit）やＧＰＵ（Graphics　Processing　Unit）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御することができる。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。さらに、ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号は、倍率や焦点距離等、撮像条件に関する情報を含むことができる。

　光源装置５０４３は、例えばＬＥＤ（Light　Emitting　Diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。

　アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。

　入力装置５０４７は、内視鏡手術システム５０００に対する入力インターフェイスである。執刀医５０６７は、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、執刀医５０６７は、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、執刀医５０６７は、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力することができる。なお、入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７、及び／又は、レバー等が適用され得る。例えば、入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられていてもよい。

　あるいは、入力装置５０４７は、例えば、メガネ型のウェアラブルデバイスやＨＭＤ（Head　Mounted　Display）等の、執刀医５０６７の身体の一部に装着されるデバイスであってもよい。この場合、これらのデバイスによって検出される執刀医５０６７のジェスチャや視線に応じて、各種の入力が行われることとなる。また、入力装置５０４７は、執刀医５０６７の動きを検出可能なカメラを含むことができ、当該カメラによって撮像された画像から検出される執刀医５０６７のジェスチャや視線に応じて、各種の入力が行われてもよい。さらに、入力装置５０４７は、執刀医５０６７の声を収音可能なマイクロフォンを含むことができ、当該マイクロフォンを介して音声によって各種の入力が行われてもよい。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば執刀医５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、執刀医５０６７は、所持している術具から手を離すことなく機器を操作することが可能となるため、執刀医５０６７の利便性が向上する。

　処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び執刀医５０６７の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

［支持アーム装置（詳細構成）］
　さらに、支持アーム装置５０２７の詳細構成の一例について説明する。支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１とを有する。図１に示す例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂとから構成されているが、図１では、簡単のため、アーム部５０３１の構成を簡略化して図示している。具体的には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ～５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ～５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。

　関節部５０３３ａ～５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ～５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ～５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。

　例えば、執刀医５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１（スレーブ）は、手術室から離れた場所または手術室内に設置される入力装置５０４７（マスターコンソール）を介して執刀医５０６７によって遠隔操作され得る。

　ここで、一般的には、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、本開示の実施形態においては、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

　なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ～５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。

［光源装置］
　次に、光源装置５０４３の詳細構成の一例について説明する。光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

　また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

　また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ　Ｂａｎｄ　Ｉｍａｇｉｎｇ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又は、インドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光、及び／又は、励起光を供給可能に構成され得る。

［カメラヘッド及びＣＣＵ（詳細構成例）＞
　次に、図２を参照して、カメラヘッド５００５及びＣＣＵ５０３９の詳細構成の一例について説明する。図２は、図１に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。

　詳細には、図２に示すように、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５とを有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３とを有する。そして、カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。

　まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

　撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。

　撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。ＣＭＯＳ以外の撮像素子の例は、ＣＣＤ（Charge　Coupled　Device）タイプのイメージセンサである。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、執刀医５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

　また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい（ステレオ方式）。３Ｄ表示が行われることにより、執刀医５０６７は術部における生体組織（臓器）の奥行きをより正確に把握することや、生体組織までの距離を把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられてもよい。

　また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。

　駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。

　通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、執刀医５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。

　また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、及び／又は、撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。

　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto　Exposure）機能、ＡＦ（Auto　Focus）機能及びＡＷＢ（Auto　White　Balance）機能が内視鏡５００１に搭載される。

　カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報、及び／又は、撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、さらに、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を有していてもよい。

　なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

　次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。

　また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

　画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise　Reduction）処理、及び／又は、手ブレ補正処理等）、及び／又は、拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

　画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

　制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件が執刀医５０６７によって入力されている場合には、制御部５０６３は、当該執刀医５０６７による入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

　また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、執刀医５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

　カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又は、これらの複合ケーブルである。

　ここで、図示する例においては、伝送ケーブル５０６５を用いて有線で通信が行われているものとしていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフ（例えば、執刀医５０６７）の移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。

　上述のような内視鏡手術システム５０００においては、内視鏡５００１の撮像部５００９、より具体的には内視鏡５００１の例えば先端部（鏡筒５００３の先端部）と、術具、臓器等の対象物との干渉回避、適切なズーム調整等のために、対象物の位置を把握（取得等）することが望ましい。また、術具を含む対象物の位置は、内視鏡５００１を支持するアーム部５０３１の制御に重要で基本的な情報であり、連続的且つ安定的にリアルタイムで把握されることが望ましい。

　対象物の位置の把握するための手段の一つは、内視鏡５００１から対象物までの距離（相対距離）であるデプスの測定、推定等である。直接的なデプス測定技術としては、ＴＯＦ（Time　Of　Flight）センサ及びライダー（ＬｉＤＡＲ：Light　Detection　And　Ranging）等がある。しかしながら、これらの技術は、内視鏡５００１の構造的制約、滅菌対応等の観点から使用が困難である。単眼でのデプス推定方法としては、ＳｆＭ（Structure　from　Motion）があるが、内視鏡５００１を動かす必要があり、適切な視野の確保のために不要な動作が求められることがある。ステレオ内視鏡の視差を利用する方法もあるが、デプス認識結果にノイズが出やすく、内視鏡５００１を支持するアーム部５０３１の制御に悪影響を及ぼす可能性がある。

　上述のような課題の少なくとも一部が、開示される技術によって対処される。詳細は後述するが、開示される技術は、対象物の画像に加えて、対象物の実際のサイズを含む事前情報も活用することにより、例えば一般的な内視鏡であっても安定的なデプス推定を可能にする。デプス推定結果を活用したさまざまな制御等も可能になる。画像認識には一般的な２次元画像認識技術を用いることができる。内視鏡は単眼内視鏡であってもよい。

２．医療用観察システムの実施形態
２．１　第１実施形態
　図３は、実施形態に係る医療用観察システムの概略構成の例を示す図である。以下では、上述の内視鏡手術システム５０００（医療用観察システムの一例）に適用される場合の医療観察システムについて説明する。例示される医療用観察システム１００は、カメラヘッド５００５及びＣＣＵ５０３９と、制御部１と、支持アーム装置５０２７とを含む。

　制御部１は、情報処理装置１０と、アーム制御装置５０４５とを含む。制御部１は、情報処理装置１０によって医療用画像を処理し、処理結果をアーム制御装置５０４５のアーム制御に反映させる医療用画像処理装置でもある。アーム制御装置５０４５は自律制御部８０を含み、これについては後に図１４以降を参照して改めて説明する。

　情報処理装置１０は、情報取得部２０と、画像認識処理部３０と、デプス推定部４０とを含む。情報処理装置１０の一部又は全部の機能は、ＣＣＵ５０３９に備えられていてもよい。情報処理装置１０には、内視鏡５００１、より具体的にはカメラヘッド５００５の撮像部５００９によって例えば連続的に撮像された手術中の画像（医療用画像）が入力される。画像について、図４も参照して説明する。

　図４は、画像の例を模式的に示す図である。画像中の対象物として、術具５０１７及び患者５０７１の臓器５０７１ａが模式的に図示される。例示される術具５０１７は、はさみ鉗子であり、先に説明した鉗子５０２３に相当し得る。

　なお、本開示において、「撮像」は、「撮影」を含む意味であってよい。以下、とくに説明がある場合を除き、「撮像」及び／又は「映像」を、単に「撮像」という。矛盾の無い範囲において、「撮像」は、「撮影」に読み替えられてよい。また、「画像」は、「映像」を含む意味であってよい。以下、とくに説明がある場合を除き、「画像」及び／又は「映像」を、単に「画像」という。矛盾の無い範囲において、「画像」は「映像」に読み替えられてよい。

　図３に戻り、情報取得部２０は、情報処理装置１０において実行される処理に必要なさまざまな情報を取得したり記憶したりする。取得される情報のいくつかの例について説明する。

　情報取得部２０によって取得される情報の例は、事前情報２０ａである。事前情報２０ａは、予め準備されている対象物に関する情報であり、より具体的には、対象物の実際のサイズ（大きさ）を含む。実際のサイズは、画面上等のサイズではなく、現実の３次元空間上の物理的な（幾何学的な）サイズを指し示す。単位の例は、ｍｍ（ミリメートル）、ｍ（メートル）等である。

　対象物が術具５０１７の場合、事前情報２０ａは、術具５０１７のさまざまな部分（例えば先端部分等）のサイズを含んでよい。術具５０１７の先端部分の例は、鉗子の根本部分（はさみの根本部分であり稼働しない部分）等である。例えばそのような部分を構成するシャフトの太さ等が、事前情報２０ａに含まれてよい。

　対象物が臓器５０７１ａの場合、事前情報２０ａは、臓器５０７１ａのさまざまな部分のサイズを含んでよい。例えば、臓器５０７１ａの各部分のうち、画像認識において特徴が検出されやすい部分のサイズ（例えば血管の太さ等）が、事前情報２０ａに含まれてよい。臓器５０７１ａの形状が公知の形状（例えば円形形状、楕円形形状等）で近似できる場合には、その公知の形状のサイズが、臓器５０７１ａのサイズとして事前情報２０ａに含まれてもよい。事前情報２０ａについて、図５も参照して説明する。

　図５は、事前情報の例を模式的に示す図である。例示される事前情報２０ａは、術具５０１７の実際のサイズＬ１１と、術具５０１７の実際のサイズＬ２１とを含む。この例では、サイズＬ１１は、鉗子の先端部分のシャフトの実際の太さである。サイズＬ２１は、臓器５０７１ａの形状に近似する楕円形形状の長軸の実際の長さである。

　図３に戻り、情報取得部２０によって取得される情報の別の例は、パラメータ情報２０ｂである。パラメータ情報２０ｂは、カメラヘッド５００５の撮像部５００９の撮像条件を含む情報である。撮像条件は、撮像のパラメータ情報（例えば内視鏡パラメータ情報）を含む。パラメータ情報２０ｂについて、図６も参照して説明する。

　図６は、パラメータ情報の例を模式的に示す図である。例示されるパラメータ情報２０ｂは、視野角θと、焦点距離ｆと、画像平面のサイズｐとを含む。視野角θ及び焦点距離ｆは、その名称のとおりであるので、詳細な説明は行わない。画像平面は、内視鏡５００１の前方における撮像素子の投影面に相当する。画像平面のサイズｐは、その投影面のサイズ（すなわち撮像素子のサイズ）に相当する。焦点距離ｆ及び画像平面のサイズｐは、ミリメートル、メートル等で表されてもよいし、ピクセル（pixel）等で表されてもよい。パラメータ情報２０ｂは、固定の情報であってもよいし、手術中に適宜変更される情報であってもよい。いずれにおいても、パラメータ情報２０ｂは、カメラヘッド５００５の撮像部５００９の設計データ等に基づいて把握される既知の情報である。

　図３に戻り、画像認識処理部３０は、カメラヘッド５００５の撮像部５００９によって撮像された画像に対して、画像認識処理を実行する。例えば、画像認識処理部３０は、画像中の対象物のサイズを認識する。ここでのサイズは、上述の撮像素子の投影面上の対象物のサイズである。サイズは、ミリメートル、メートル等で表されてもよいし、ピクセル（pixel）等で表されてもよい。画像認識処理には、種々の公知の画像認識エンジン、画像認識アルゴリズム（学習済みモデル等を含む）等が用いられてよい。画像認識には、一般的な２次元画像認識が用いられてよい。画像認識処理部３０による認識結果を、画像認識結果２０ｃと称する。画像認識結果２０ｃは、対象物の画像情報を取得するために用いられる。

　画像認識結果２０ｃは、手術中にリアルタイムで取得される情報（例えば内視鏡映像情報）である点において、事前情報２０ａ及びパラメータ情報２０ｂと異なり得る。画像認識結果２０ｃについて、図７も参照して説明する。

　図７は、画像認識結果の例を模式的に示す図である。例示される画像認識結果２０ｃは、撮像素子の投影面上（以下、単に「投影面上」という場合もある。）の術具５０１７のサイズＤ１１と、投影面上の臓器５０７１ａのサイズＤ２１とを含む。この例では、投影面上のサイズＤ１１は、投影面上の鉗子の先端部分のシャフトの太さである。投影面上のサイズＤ２１は、臓器５０７１ａの形状に近似する楕円形形状の長軸の投影面上の長さである。

　図３に戻り、デプス推定部４０は、事前情報２０ａ、パラメータ情報２０ｂ及び画像認識結果２０ｃに基づいて、対象物のデプスを推定する。対象物のデプスは、カメラヘッド５００５の撮像部５００９から対象物までの距離（相対距離）であり、より具体的には、例えば内視鏡５００１の先端部（鏡筒５００３の先端部）と、対象物との間の距離である。デプス推定部４０による対象物のデプスの推定について、図８も参照して説明する。

　図８は、対象物のデプスの推定の例を模式的に示す図である。推定のための計算に用いられる変数として、距離ｚ、焦点距離ｆ、対象物の実際のサイズＬ、及び、投影面上の対象物のサイズＤが図示される。

　距離ｚは、推定しようとする対象物のデプスである。対象物の実際のサイズＬは、例えば先に図５を参照して説明したサイズＬ１１、サイズＬ２１等に相当し、事前情報２０ａに含まれている。焦点距離ｆは、先に述べたように、パラメータ情報２０ｂに含まれている。投影面上の対象物のサイズＤは、例えば先に図７を参照して説明したサイズＤ１１、サイズＤ２１等に相当し、画像認識結果２０ｃに含まれている。

　図８から幾何学的に理解されるように、以下の式（１）が成立する。焦点距離ｆの単位と、投影面上の対象物のサイズＤの単位とは、同じであるものとする。

　例えば上記の式（１）に従って、デプス推定部４０は、距離ｚを計算し、計算した距離ｚを、対象物のデプスとして推定する。すなわち、デプス推定部４０は、焦点距離ｆと対象物の実際のサイズＬとを乗算し、投影面上の対象物のサイズＤで除算する。例えば、対象物の実際のサイズＬが図５のサイズＬ１１であり、投影面上の対象物のサイズＤが図７のサイズＤ１１である場合、デプス推定部４０は、以下のように計算した距離ｚを、鉗子の先端部分（はさみの根本部分）のデプスとして推定する。

　なお、図８から理解されるように、距離ｚ及び対象物の実際のサイズＬの定め方等に応じて、上記の式（２）は適宜変更され得る。例えば、距離ｚ及び／又は対象物の実際のサイズＬの補正等のための何らかの演算（乗算、除算、加算、減算等）が追加されてもよい。いずれにおいても、デプス推定部４０による対象物のデプスの推定は、焦点距離ｆと対象物の実際のサイズＬとの乗算、及び、投影面上の対象物のサイズＤによる除算を含み得る。

　図３に戻り、再び情報取得部２０について説明する。情報取得部２０は、対象物に関する情報、より具体的には事前情報２０ａに関する情報（ここでは「入力情報」ともいう。）を入力可能に構成される。情報取得部２０は、入力された入力情報に基づいて、事前情報２０ａを生成してもよい。情報取得部２０による事前情報２０ａの生成について、図９も参照して説明する。

　図９は、事前情報の生成の例を模式的に示す図である。入力情報として、「術具の幾何学的な情報」、「術具のメーカー・型番情報」、「手術情報」及び「ＣＴスキャン情報」が例示される。

　入力情報「術具の幾何学的な情報」は、術具５０１７の実際のサイズであり、事前情報２０ａそのものに相当する。このような入力情報がユーザ操作等によって直接入力されてよい。

　入力情報「術具のメーカー・型番情報」は、術具５０１７のメーカー、術具５０１７の型番等の情報である。情報取得部２０は、例えばメーカー、型番等を検索キーワードとして、術具５０１７のサイズ等の情報を提供するＷｅｂサイト等（この例では外部サーバとして図示）から、術具５０１７のサイズ等の情報を取得する。

　入力情報「手術情報」は、実施する手術の術式、使用する術具５０１７の情報等を含む情報である。手術情報に術具５０１７の幾何学的な情報が直接には含まれていない場合、情報取得部２０は、術式、トロッカ５０２５ａ～５０２５ｄの太さ等に基づいて術具５０１７のサイズを推定してもよいし、Ｗｅｂ検索等により術具の幾何学的な情報を取得してもよい。

　入力情報「ＣＴスキャン情報」は、ＣＴスキャンによる患者５０７１の体腔内の幾何情報である。例えば、主要な血管の太さ、処置対象外の臓器５０７１ａ等、術中にサイズが変化しない対象物の幾何情報がＣＴスキャン情報に含まれてよい。

　また、情報取得部２０は、入力情報が不足等している場合には、「デフォルト情報（相場値等）」に基づいて事前情報２０ａを生成してよい。デフォルト情報（相場値等）は、その術具５０１７、臓器５０７１ａ等の常識的な（一般的な）サイズを示す情報である。

　例えば以上のようにして、情報取得部２０を介して必要な事前情報２０ａを予め入力したり生成ししたりすることで（準備することで）、デプス推定部４０による対象物のデプス推定への活用に供することができる。

　これまで説明した制御部１によれば、とくに対象物の実際のサイズを含む事前情報２０ａ等を用いることにより、画像中の対象物のデプスが推定される。画像認識は一般的な２次元画像認識で足り、例えばステレオ画像等の特殊な画像認識を用いる場合よりも、処理が安定化する。ステレオ画像からの視差算出等は不要である。例えば鏡視下手術で広く用いられている単眼内視鏡に適用することができる。例えば特許文献２に開示されているようなＳｆＭのロボット動作、モード切替等も不要である。モード切替が無いので、対象物のデプスを連続的且つ安定的にリアルタイムで推定することができる。なお、ステレオ内視鏡にも適用されてよく、その場合には、例えば一方のカメラが汚れなどで使えない場合でもデプス推定が可能になる。対象物のデプスを推定することにより、例えば内視鏡５００１の自律制御（例えば後述の図１４～図１７）に必要な重要な情報を取得できる。術具５０１７を画面内に適切な距離感で捉え続けるような制御（例えば後述の図１５～図１７）も可能になる。

　以上説明した対象物のデプス推定結果を活用するいくつかの実施形態について説明する。

２．２　第２実施形態
　術具５０１７の３次元姿勢が計算されてよい。これについて、図１０～図１２を参照して説明する。

　図１０は、術具の姿勢計算に関する機能及び処理を模式的に示す図である。制御部１は、術具３次元姿勢計算部６０を含む。術具３次元姿勢計算部６０は、制御部１の情報処理装置１０の構成要素であってよい。術具３次元姿勢計算部６０は、事前情報２０ａと、デプス推定部４０によって推定された術具５０１７のデプスとに基づいて、術具５０１７の３次元姿勢を計算する。この場合に用いられる事前情報２０ａは、同じ術具５０１７の２つの部分の実際のサイズと、それらの間の実際の距離とを含む。画像認識結果２０ｃは、投影面上の同じ術具５０１７の２つの部分のサイズを認識する。このような事前情報２０ａ及び画像認識結果２０ｃについて、図１１及び図１２も参照して説明する。

　図１１は、事前情報の例を模式的に示す図である。例示される事前情報２０ａは、術具５０１７の実際のサイズＬ１１と、術具５０１７の実際のサイズＬ１２と、実際の距離Ｌ１３とを含む。サイズＬ１１は、術具５０１７における第１の部分の実際のサイズであり、より具体的には、鉗子の先端部分のシャフトの実際の太さである。サイズＬ１２は、術具５０１７における第２の部分の実際のサイズであり、より具体的には、第１の部分から既知の距離だけ離間した部分のシャフトの実際の太さである。この例では、第２の部分には、画像認識が行い易いように、マーキングＭがシャフトの円周方向に沿って設けられる。距離Ｌ１３は、上述の既知の距離、すなわち第１の部分と第２の部分との間の実際の距離である。

　図１２は、画像認識結果の例を模式的に示す図である。例示される画像認識結果２０ｃは、投影面上の術具５０１７のサイズＤ１１と、投影面上の術具５０１７のサイズＤ１２とを含む。サイズＤ１１は、投影面上の術具５０１７における第１の部分のサイズであり、より具体的には、投影面上の鉗子の先端部分のシャフトの太さである。サイズＤ１２は、投影面上の術具５０１７における第２の部分のサイズであり、より具体的には、投影面上の第１の部分から既知の距離だけ離間した部分（マーキングＭが設けられた部分）の太さである。

　図１０に戻り、デプス推定部４０は、術具５０１７における第１の部分のデプスと、第２の部分のデプスとを推定する。これまで説明した原理により、術具５０１７の第１の部分及び第２の部分それぞれのデプスが連続的且つ安定的にリアルタイムで推定される。

　術具３次元姿勢計算部６０は、デプス推定部４０によって推定された術具５０１７の第１の部分のデプス及び第２の部分のデプスと、事前情報２０ａと、画像認識結果２０ｃとに基づいて、撮像部５００９に対する術具５０１７の３次元姿勢を計算する。術具５０１７における２つの部分のデプス、それらの部分どうしの間の実際の距離等から、術具の３次元姿勢が計算される。術具３次元姿勢計算部６０によって計算された術具５０１７の３次元姿勢は、例えばオイラー角、クオータニオン等を用いて表される。

　このような実施形態によれば、術具５０１７の３次元姿勢を、連続的且つ安定的にリアルタイムで把握することができる。

２．３　第３実施形態
　臓器５０７１ａの３次元マップが更新されてよい。これについて、図１３を参照して説明する。図１３は、臓器の３次元マップの更新に関する機能及び処理を模式的に示す図である。制御部１は、臓器３次元位置計算部７０と、３次元マップ更新部７１とを含む。臓器３次元位置計算部７０及び３次元マップ更新部７１は、情報処理装置１０の構成要素であってよい。

　例えば手術前に、ＣＴスキャンＣＴＳによって予め患者５０７１の体腔内における臓器５０７１ａの３次元マップ７１ａが生成される。３次元マップ７１ａは、例えば情報取得部２０によって取得され記憶される。

　デプス推定部４０は、これまで説明したように、事前情報２０ａと、パラメータ情報２０ｂと、画像認識結果２０ｃとに基づいて、臓器５０７１ａのデプスを推定する。

　臓器３次元位置計算部７０は、デプス推定部４０によって推定された臓器５０７１ａのデプスと、画像認識結果２０ｃと、内視鏡アーム位置姿勢情報７０ａとに基づいて、体腔内における臓器５０７１ａの３次元位置を計算する。内視鏡アーム位置姿勢情報７０ａは、内視鏡５００１支持するアーム部５０３１の位置及び姿勢の情報であり、例えばアーム制御装置５０４５等から与えられる。内視鏡アーム位置姿勢情報７０ａは、撮像部５００９の位置姿勢を示す撮像部位置姿勢情報ともいえる。画像認識結果２０ｃには、投影面上の臓器５０７１ａの位置も含まれてよい。例えば、内視鏡アーム位置姿勢情報７０ａを基準として、推定された臓器５０７１ａのデプス、さらには画像認識結果２０ｃにおいて認識された投影面上の臓器５０７１ａの位置等に基づいて、臓器５０７１ａの３次元位置が計算される。

　３次元マップ更新部７１は、臓器３次元位置計算部７０によって計算された臓器５０７１ａの３次元位置と、３次元マップ７１ａとを照合し、必要に応じて３次元マップ７１ａを更新する。例えば、臓器３次元位置計算部７０によって計算された臓器５０７１ａの３次元位置に整合するように、３次元マップ７１ａが更新される。

　このような実施形態によれば、手術前のＣＴスキャンＣＴＳでは得ることのできない、体腔内のリアルタイムな変化を観測し、その観測結果が反映されるように３次元マップ７１ａを更新することができる。例えば、体腔内での内視鏡５００１の動作の適切な軌道計画等に３次元マップ７１ａを活用することができる。

２．４　第４実施形態
　先に図３を参照して説明したように、制御部１はアーム制御装置５０４５を含み、アーム制御装置５０４５は自律制御部８０を含む。自律制御部８０による自律制御について、図１４及び図１５を参照して説明する。図１４及び図１５は、自律制御に関する機能及び処理の例を模式的に示す図である。

　図１４に示される例では、デプス推定部４０によって推定された対象物のデプスが目標デプス（目標値）に近づくように、アーム部５０３１が制御される。

　画像認識処理部３０の画像認識結果は、これまで説明した画像認識結果２０ｃの他に、画像認識結果２０ｄも含む。画像認識結果２０ｄは、自律制御に使用することのできるさまざまな情報を含む。画像認識結果２０ｄの例は、術具の位置、種類、臓器の位置、種類等である。画像認識結果２０ｄは、手術シーン、アクション等の情報も含んでよい。手術シーンは、例えば、手術の一連のシーケンスにおける現時点での位置（フェーズ）等を示す。アクションは、例えば、術具による剥離操作、切離操作等、処置の内容等を示す。アクションの時間スケールは、シーケンスの時間スケールよりも短くてよい。

　自律制御部８０は、デプス推定部４０によって推定された対象物のデプスと、画像認識処理部３０の画像認識結果２０ｄとに基づいて、支持アーム装置５０２７を介してアーム部５０３１を制御する。なお、以降において、自律制御部８０による支持アーム装置５０２７を介したアーム部５０３１の制御のことを、単に自律制御部８０によるアーム部５０３１の制御という場合もある。自律制御部８０の制御に関する主な機能ブロックとして、図１４には、対象物目標デプス計算部８１及び動作指令値計算部８２が例示される。

　対象物目標デプス計算部８１は、画像認識結果２０ｄに基づいて、対象物のデプスの目標値（目標デプス）を計算する。目標デプスは、例えば、執刀医５０６７と表示装置５０４１の画面との距離、画面の大きさ、解像度、対象物の事前情報２０ａ等に基づいて計算される。それらの条件の変化に合わせて、目標デプスは適宜更新（補正等）されてよい。スコープワークにおいては、デプスの物理的な数値そのものよりも、執刀医５０６７が画面上（画像平面上）で対象物をどれくらいの大きさや構図で見たいかが重要となるからである。

　対象物目標デプス計算部８１は、執刀医５０６７等によるユーザ操作に応じて目標デプスを計算してもよい。ユーザ操作の例は、目標デプスの大きさの指定、変更（今よりも大きくする又は小さくする等）等である。対象物目標デプス計算部８１は、そのようなユーザ操作を受け付けるインターフェイスを提供してよい。インターフェイスには、例えば先に説明した入力装置５０４７等が用いられてよい。

　動作指令値計算部８２は、デプス推定部４０によって推定された対象物のデプスと、対象物目標デプス計算部８１によって計算された目標デプスとを比較し、両者が一致するように、アーム制御装置５０４５に与える動作指令値を計算する。動作指令値は、例えば内視鏡５００１を支持するアーム部５０３１の位置、姿勢等を指定する値である。動作指令値計算部８２によって計算された動作指令値がアーム制御装置５０４５に与えられ、動作指令値に従って、アーム部５０３１の位置、姿勢等、ひいては撮像部５００９の（内視鏡５００１の）位置、姿勢等が制御される。

　このような実施形態によれば、デプス推定部４０によって推定された対象物のデプスに基づく自律制御が可能になる。例えば内視鏡５００１が単眼内視鏡の場合であっても、安定的且つ連続的に、しかもリアルタイムで対象物のデプスを推定（認識）し、適切な視野提供等を行うアーム部５０３１の自律制御（ロボット制御）が可能になる。推定される対象物のデプスが内視鏡５００１に対する対象物の距離であり、アーム部５０３１の位置姿勢に関する情報（例えば図１３の内視鏡アーム位置姿勢情報７０ａ）と同じ３次元空間の情報であるので、自律制御アルゴリズムの構成をシンプルにしやすいといったメリットもある。

　さらに図１５に示される例では、対象物の撮像画像の画面表示サイズが制御される。この制御に関する主な機能ブロックとして、対象物目標デプス計算部８１及び動作指令値計算部８２の他に、対象物目標画面上サイズ計算部８３も例示される。

　対象物目標画面上サイズ計算部８３は、対象物目標デプス計算部８１によって計算された目標デプスと、事前情報２０ａと、パラメータ情報２０ｂとに基づいて、画面表示される対象物の目標サイズ（目標画面上サイズ）を計算する。目標画面上サイズは、推定された対象物のデプスが目標デプスであるときの、対象物の画面表示サイズの目標値である。目標画面上サイズは、執刀医５０６７と表示装置５０４１の画面との距離、画面の大きさ、解像度等に基づいて計算される。それらの条件の変化に合わせて、目標画面上サイズは適宜更新（補正等）されてよい。

　対象物目標画面上サイズ計算部８３は、執刀医５０６７等のユーザ操作に応じて目標画面上サイズを計算してもよい。対象物目標画面上サイズ計算部８３は、そのようなユーザ操作を受け付けるインターフェイスを提供してよい。インターフェイスには、例えば先に説明した入力装置５０４７等が用いられてよい。

　動作指令値計算部８２は、画像認識処理部３０の画像認識結果２０ｄと、対象物目標画面上サイズ計算部８３によって計算された目標画面上サイズとに基づいて、アーム部５０３１に与える動作指令値を計算する。例えば、動作指令値計算部８２は、対象物の画面表示サイズを目標画面上サイズに近づけるようなズーム倍率を計算したり、内視鏡５００１の挿入量を計算したりする。なお、内視鏡５００１の挿入量の変化によって実際のデプスが目標デプスから離れることになるが、執刀医５０６７に提供したい視野を最終目標とした場合にはそのような制御も許容され得る。

　このような実施形態によれば、画面上の対象物のサイズ（見え方等）を直接制御することができる。例えば、最終的に執刀医５０６７に提供したい視野の観点で、アーム制御装置５０４５への動作指令値の調整を容易に行えるようになる。

２．５　第５実施形態
　干渉回避制御が自律制御に含まれてもよい。これについて、図１６及び図１７を参照して説明する。図１６及び図１７は、干渉回避制御に関する機能及び処理の例を模式的に示す図である。

　図１６に示される例では、自律制御部８０は、撮像部５００９、より具体的には内視鏡５００１の例えば鏡筒５００３の先端部と対象物との干渉を回避するように、アーム部５０３１を制御する。この制御に関する主な機能ブロックとして、対象物目標デプス計算部８１、動作指令値計算部８２及び対象物目標画面上サイズ計算部８３の他に、対象物下限デプス計算部８４及び対象物上限画面上サイズ計算部８５も例示される。

　対象物下限デプス計算部８４は、撮像部５００９と対象物との物理的な接近を許容するその許容値（下限デプス）を計算する。下限デプスは、例えば、対象物の種類等に基づいて計算されてよい。対象物下限デプス計算部８４は、執刀医５０６７等のユーザ操作に応じて下限デプスを計算してもよい。対象物下限デプス計算部８４は、そのようなユーザ操作を受け付けるインターフェイスを提供してよい。インターフェイスには、例えば先に説明した入力装置５０４７等が用いられてよい。

　対象物上限画面上サイズ計算部８５は、対象物下限デプス計算部８４によって計算された下限デプスと、事前情報２０ａと、パラメータ情報２０ｂとに基づいて、対象物の画面表示サイズの上限サイズを計算する。対象物の画面表示サイズとその対象物のデプスとの間の関係性（例えば画像平面上での対象物のサイズが大きくなるにつれてその対象物のデプスが小さくなる等）等に基づいて、上限サイズが計算される。対象物上限画面上サイズ計算部８５は、執刀医５０６７等のユーザ操作に応じて上限サイズを計算してもよい。対象物上限画面上サイズ計算部８５は、そのようなユーザ操作を受け付けるインターフェイスを提供してよい。インターフェイスには、例えば先に説明した入力装置５０４７等が用いられてよい。

　動作指令値計算部８２は、画像認識処理部３０の画像認識結果２０ｄと、対象物目標画面上サイズ計算部８３によって計算された目標画面上サイズと、対象物上限画面上サイズ計算部８５によって計算された上限サイズとに基づいて、アーム部５０３１に与える動作指令値を計算する。具体的に、動作指令値計算部８２は、対象物の画面表示サイズが上限サイズを上回らないように、動作指令値を計算する。例えば、動作指令値計算部８２は、対象物が大きく見えるにつれて、仮想的な斥力（例えば逆方向のトルク等）を発生させるような動作指令値を計算してよい。画面の見え方に対するバーチャルウォールともいえる。

　左右の術具の両方が画面内に見える場合、動作指令値計算部８２は、術式、術者の利き手等に応じて、仮想的な斥力の大きさの重みを左右で変えてもよい。例えば、執刀医５０６７が右利きの場合には、右手鉗子の動作が左手鉗子の動作よりも大きくなりやすいため、相対的に、左手鉗子よりも対象物からの距離を確保して（距離を置いて）スコープワークするように、仮想的な斥力の大きさの重み（計算時の倍率等）を調整してよい。手術前に執刀医５０６７の利き手、好み等のプロファイルが情報取得部２０によって取得されてよい。

　このような実施形態によれば、安定的且つ連続的にリアルタイムで対象物のデプスを推定し、適切な視野提供等を行いつつ、対象物との接触を回避する制御も行える。

　また、図１７に示される例では、自律制御部８０は、術具５０１７の３次元姿勢も考慮して、撮像部５００９と対象物との干渉を回避するように、アーム部５０３１を制御する。この制御に関する主な機能ブロックとして、対象物目標デプス計算部８１、動作指令値計算部８２及び対象物目標画面上サイズ計算部８３の他に、術具・撮像部最短距離計算部８６及び術具・撮像部距離下限計算部８７も例示される。

　術具・撮像部最短距離計算部８６は、術具３次元姿勢計算部６０によって計算された術具５０１７の３次元姿勢に基づいて、撮像部５００９（例えば内視鏡５００１の鏡筒５００３の先端部）と、術具５０１７との間の最短距離を計算する。例えば、術具５０１７が鉗子である場合、撮像部５００９から鉗子のシャフト上のいずれかの部分（１点）までの距離が、最短距離として計算され得る。

　術具・撮像部距離下限計算部８７は、撮像部５００９と術具５０１７との間の距離の下限値（下限距離）を計算する。下限距離は、例えば、対象物の種類等に基づいて計算されてよい。

　動作指令値計算部８２は、通常は、適切な視野を提供するようにアーム部５０３１に与える動作指令値を計算する。それとともに、動作指令値計算部８２は、術具・撮像部最短距離計算部８６によって計算された最短距離が、術具・撮像部距離下限計算部８７によって計算された下限距離を下回らないように、動作指令値を補正する。

　なお、先の説明と同様に、左右の術具の両方が画面内に見える場合には、動作指令値計算部８２は、術式、術者の利き手等に応じて、仮想的な斥力の大きさの重みを左右で変えてもよい。

　このような実施形態によれば、術具５０１７においてデプスが推定された部分だけでなく、他の部分も含めた干渉回避制御が可能になる。

　なお、以上説明した図１４～図１７に示される自律制御部８０の各構成要素は、矛盾の無い範囲において組み合わされてよい。例えば、図１７に示される自律制御部８０において、対象物目標画面上サイズ計算部８３を備えない構成が採用されてもよい。

２．６　第６実施形態
　他のデプス推定部が併用されてもよい。これについて、図１８を参照して説明する。図１８は、他のデプス推定部との併用に関する機能及び処理の例を模式的に示す図である。

　これまで説明したデプス推定部４０に加えて、他のデプス推定部９０も利用可能である。種々の公知の推定手法が、他のデプス推定部９０によって用いられてよい。切替部９１は、デプス推定部４０による対象物のデプスの推定と、他のデプス推定部９０による対象物のデプスの推定とを切り替える。状況に応じた切り替えにより、対象物のデプス推定がより安定化する可能性が高まる。

　他のデプス推定部９０による推定手法は、ステレオカメラが搭載された内視鏡における視差を用いた手法を含んでよい。このような他のデプス推定部９０によって対象物のデプスが推定されているときに、片側のカメラがレンズ汚れなどで使用できなくなったり、対象物との距離が近く左右のカメラで対象物が映る範囲のずれが大きくなりデプス推定ができなくなったりした場合に、切替部９１は、デプス推定部４０によるデプス推定が行われる（或いは継続される）ように切り替えてよい。

　他のデプス推定部９０の推定手法は、単眼内視鏡におけるＳｆＭを含んでよい。このような他のデプス推定部９０によって対象物のデプスが推定されているときに、内視鏡の状態を変えずに対象物のデプスを推定する必要が出てきた場合等に、切替部９１は、デプス推定部４０によるデプス推定が行われるように切り替えてよい。

　他にも、他のデプス推定部９０が内視鏡５００１に搭載される専用の測距デバイスによって実現される場合に、動作条件を満たさなくなったり、故障したりした場合に、切替部９１は、デプス推定部４０によるデプス推定が行われるように切り替えてよい。

　また、他のデプス推定部９０において、デプス推定結果の信頼度が低下している場合にも、切替部９１は、デプス推定部４０によるデプス推定が行われるように切り替えてよい。例えば、他のデプス推定部９０が学習済みモデル等を用いるものである場合には、ブラックボックス化を避けるために、デプス推定結果に加えて信頼度も把握されるようになっていることがある。

　他のデプス推定部９０及び切替部９１も、情報処理装置１０の構成要素であってよい。

　このような実施形態によれば、これまで説明したデプス推定部４０だけでなく、他のデプス推定部９０も併用（フュージョン）することで、デプス推定性能を向上できる可能性が高まる。例えば、他のデプス推定部９０が使用できない状況に陥った場合においても、デプス推定部４０に切り替えることにより、デプス推定を安定して継続できる。

　図１９は、医療用観察システムにおいて実行される処理（医療用画像処理方法）の例を示すフローチャートである。これまでの説明と重複する説明は適宜省略する。

　ステップＳ１において、対象物に関する情報が準備される。例えば制御部１の情報処理装置１０の情報取得部２０（図９）によって事前情報２０ａが取得される。

　ステップＳ２において、画像が撮像される。医療用観察システム１００のカメラヘッド５００５の撮像部５００９が、手術中の画像を撮像する。撮像された画像は、制御部１の情報処理装置１０に入力される。

　ステップＳ３において、対象物のデプスが推定される。制御部１の情報処理装置１０のデプス推定部４０が、先のステップＳ１で準備された事前情報２０ａと、パラメータ情報２０ｂと、先のステップＳ２で撮像された画像の画像認識結果２０ｃとに基づいて、対象物のデプスを推定する。

　ステップＳ４において、推定結果が活用される。例えば、制御部１の情報処理装置１０のデプス推定部４０によって推定されたデプスが、先に説明したような術具５０１７の３次元姿勢計算、臓器５０７１ａの３次元マップの更新、アーム制御装置５０４５による自律制御、他のデプス推定部９０との併用等に活用される。

３．ハードウェア構成の例
　図２０は、装置のハードウェア構成の例を示す図である。これまで説明した制御部１は、例えば図２０に示されるコンピュータ１０００によって実現される。

　コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び、入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に保存されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に保存されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を保存する。

　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る医療用画像処理方法、情報処理方法のためのプログラムを記録する記録媒体である。

　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、コンピュータ読み取り可能な所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　Disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

　例えば、コンピュータ１０００がこれまで説明した制御部１として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたデプスを推定するためのプログラムを実行することにより、制御部１の機能を実現する。また、ＨＤＤ１４００には、制御部１の処理を実行するためのプログラムが格納されてもよい。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からプログラムを取得してもよい。

　制御部１は、例えばクラウドコンピューティング等のように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。

　上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。

　上記実施形態では、画像を撮像する撮像部として、内視鏡５００１（の撮像部５００９）を例に挙げて説明した。ただし、内視鏡５００１以外の他の撮像部によって画像が撮像されてもよい。他の撮像部の例は、手術用顕微鏡である。

４．効果の例
　以上説明した技術は、例えば次のように特定される。図１～図９等を参照して説明したように、医療用観察システム１００は、手術中に（内視鏡５００１の）撮像部５００９によって撮像された対象物（例えば術具５０１７、臓器５０７１ａ等）の画像情報、対象物に関する情報、及び、撮像部５００９の撮像条件に基づいて、撮像部５００９から対象物までの距離を表すデプスを推定する制御部１、を備え、対象物に関する情報は、対象物の実際のサイズＬを含む（事前情報２０ａ）。このような医療用観察システム１００によって、手術中に撮像された画像中の対象物のデプスを推定することができる。例えば、対象物のデプスを連続的且つ安定的にリアルタイムで推定することができる。なお、撮像部は、内視鏡５００１以外の撮像部、例えば手術用顕微鏡であってもよい。

　図５～図７等を参照して説明したように、画像情報は、撮像素子の投影面上の対象物のサイズＤを含み（画像認識結果２０ｃ）、撮像条件は、焦点距離ｆを含んでよい（パラメータ情報２０ｂ）。例えばこれらの情報から、対象物のデプスを推定することができる。

　図８等を参照して説明したように、デプス推定部４０による対象物のデプスの推定は、焦点距離ｆと対象物の実際のサイズＬとの乗算、及び、撮像素子の投影面上の対象物のサイズＤによる除算を含んでよい。例えばこのようにして、対象物のデプスを推定（計算等）することができる。

　図９等を参照して説明したように、対象物に関する情報は、術具５０１８の幾何学的な情報、術具５０１７のメーカー・型番情報、手術情報及びＣＴスキャン情報の少なくとも１つを含んでよい。例えばこのような情報に基づいて、対象物に関する情報を予め準備することができる。

　図１０～図１２等を参照して説明したように、対象物に関する情報（例えば事前情報２０ａ）は、術具５０１７の第１の部分の実際のサイズＬ（例えばサイズＬ１１）と、第２の部分の実際のサイズ（例えばサイズＬ１２）と、第１の部分及び第２の部分の間の実際の距離（例えば距離Ｌ１３）とを含み、制御部１は、第１の部分のデプスと、第２の部分のデプスとを推定し、対象物に関する情報と、推定した第１の部分のデプス及び第２の部分のデプスとに基づいて、術具５０１７の３次元姿勢を計算してよい。これにより、術具５０１７の３次元姿勢を連続的且つ安定的に、リアルタイムで把握することができる。

　図１３等を参照して説明したように、制御部１は、推定した臓器５０７１ａのデプスと、画像情報と、撮像部５００９の位置及び姿勢を示す撮像部位置姿勢情報（例えば内視鏡アーム位置姿勢情報７０ａ）とに基づいて、臓器５０７１ａの３次元位置を計算し、臓器の３次元位置に基づいて、体腔内の３次元マップ７１ａを更新してよい。これにより、手術前のＣＴスキャンＣＴＳでは得ることのできない、体腔内のリアルタイムな変化を観測し、その観測結果が反映されるように３次元マップ７１ａを更新することができる。例えば、体腔内での内視鏡５００１の動作の適切な軌道計画等に３次元マップ７１ａを活用することができる。

　図１４～図１７等を参照して説明したように、医療用観察システム１００は、撮像部５００９を保持するアーム部５０３１を更に備え、制御部１は、推定した対象物のデプスと、画像情報とに基づいて、アーム部５０３１を制御してよい。例えば、画像情報は、対象物の位置及び／又は種類を含み（画像認識結果２０ｄ）、制御部１は、対象物の位置及び／又は種類に基づいて推定した対象物のデプスが目標デプスに近づくようにアーム部５０３１を制御してよい。これにより、推定した対象物のデプスに基づくアーム部５０３１の制御（例えば自律制御）が可能になる。

　図１５等を参照して説明したように、制御部１は、対象物の撮像画像の画面表示サイズが目標サイズに近づくようにアーム部５０３１を制御してよい。これにより、対象物の画面上の見え方等を直接制御することができる。

　図１６等を参照して説明したように、制御部１は、対象物の画面表示サイズが上限サイズを上回らないようにアーム部５０３１を制御してよい。例えば仮想的な斥力を発生させるようにアーム部５０３１が制御されてもよい。これにより、撮像部５００９（例えば内視鏡５００１の鏡筒５００３の先端部）と、対象物との接触を回避することができる。

　図１７等を参照して説明したように、制御部１は、撮像部５００９と術具５０１７との最短距離が下限距離を下回らないようにアーム部５０３１を制御してよい。例えば仮想的な斥力を発生させるようにアーム部５０３１が制御されてもよい。これにより、術具５０１７においてデプスが推定された部分だけでなく、他の部分も含めた干渉回避制御が可能になる。

　図１８等を参照して説明したように、制御部１は、更に、制御部１による対象物のデプスの推定と、他のデプス推定部９０による対象物のデプスの推定とを切り替えてよい。このように他のデプス推定部９０を併用することで、デプス推定性能を向上できる可能性が高まる。

　図１９等を参照して説明した医療用画像処理方法も、実施形態の１つである。医療用画像処理方法は、対象物に関する情報を準備すること（ステップＳ１）と、撮像部５００９によって手術中の画像を撮像すること（ステップＳ２）と、撮像した対象物の画像情報、対象物に関する情報、及び、撮像部５００９の撮像条件に基づいて、撮像部５００９から対象物のデプスを推定すること（ステップＳ３）と、を含む。このような医療用画像処理方法によっても、これまで説明したように、手術中に撮像された画像中の対象物のデプスを推定することができる。

　図３等を参照して説明した情報処理装置１０も、実施形態の１つである。情報処理装置１０は、手術中に撮像部５００９によって撮像された対象物の画像情報、対象物に関する情報、及び、撮像部５００９の撮像条件に基づいて、撮像部５００９から対象物までの距離を表すデプスを推定する。このような情報処理装置１０によっても、これまで説明したように、手術中に撮像された画像中の対象物のデプスを推定することができる。

　なお、本開示に記載された効果は、あくまで例示であって、開示された内容に限定されない。他の効果があってもよい。

　以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。

　なお、本技術は以下のような構成も取ることができる。
（１）
　手術中に撮像部によって撮像された対象物の画像情報、前記対象物に関する情報、及び、前記撮像部の撮像条件に基づいて、前記撮像部から前記対象物までの距離を表すデプスを推定する制御部、
　を備え、
　前記対象物に関する情報は、前記対象物の実際のサイズを含む、
　医療用観察システム。
（２）
　前記画像情報は、撮像素子の投影面上の前記対象物のサイズを含み、
　前記撮像条件は、焦点距離を含む、
　（１）に記載の医療用観察システム。
（３）
　前記対象物のデプスの推定は、前記焦点距離と前記対象物の実際のサイズとの乗算、及び、前記撮像素子の前記投影面上の前記対象物のサイズによる除算を含む、
　（２）に記載の医療用観察システム。
（４）
　前記対象物は、術具及び臓器の少なくとも一方を含む、
　（１）～（３）のいずれかに記載の医療用観察システム。
（５）
　前記対象物に関する情報は、術具の幾何学的な情報、術具のメーカー・型番情報、手術情報及びＣＴスキャン情報の少なくとも１つを含む、
　（１）～（４）のいずれかに記載の医療用観察システム。
（６）
　前記対象物は、術具を含み、
　前記対象物に関する情報は、前記術具の第１の部分の実際のサイズと、第２の部分の実際のサイズと、前記第１の部分及び前記第２の部分の間の実際の距離とを含み、
　前記制御部は、
　　前記第１の部分のデプスと、前記第２の部分のデプスとを推定し、
　　前記対象物に関する情報と、推定した前記第１の部分のデプス及び前記第２の部分のデプスとに基づいて、前記術具の３次元姿勢を計算する、
　（１）～（５）のいずれかに記載の医療用観察システム。
（７）
　前記対象物は、臓器を含み、
　前記制御部は、推定した前記臓器のデプスと、前記画像情報と、前記撮像部の位置及び姿勢を示す撮像部位置姿勢情報とに基づいて、前記臓器の３次元位置を計算し、前記臓器の３次元位置に基づいて、体腔内の３次元マップを更新する、
　（１）～（６）のいずれかに記載の医療用観察システム。
（８）
　前記撮像部を保持するアーム部を更に備え、
　前記制御部は、推定した前記対象物のデプスと、前記画像情報とに基づいて、前記アーム部を制御する、
　（１）～（７）のいずれかに記載の医療用観察システム。
（９）
　前記画像情報は、前記対象物の位置及び／又は種類を含み、
　前記制御部は、前記対象物の位置及び／又は種類に基づいて推定した前記対象物のデプスと、前記画像情報とに基づいて、前記アーム部を制御する、
　（８）に記載の医療用観察システム。
（１０）
　前記制御部は、前記対象物の撮像画像の画面表示サイズが目標サイズに近づくように前記アーム部を制御する、
　（８）又は（９）に記載の医療用観察システム。
（１１）
　前記制御部は、前記対象物の撮像画像の画面表示サイズが上限サイズを上回らないように前記アーム部を制御する、
　（８）～（１０）のいずれかに記載の医療用観察システム。
（１２）
　前記対象物は術具を含み、
　前記制御部は、前記撮像部と前記術具との最短距離が下限距離を下回らないように前記アーム部を制御する、
　（８）～（１１）のいずれかに記載の医療用観察システム。
（１３）
　前記制御部は、仮想的な斥力を発生させるように前記アーム部を制御する、
　（８）～（１２）のいずれかに記載の医療用観察システム。
（１４）
　前記制御部は、更に、による前記対象物のデプスの推定と、他のデプス推定部による前記対象物のデプスの推定とを切り替える、
　（１）～（１３）のいずれかに記載の医療用観察システム。
（１５）
　前記撮像部は、又は手術用顕微鏡のうちの少なくとも一方である、
　（１）～（１４）のいずれかに記載の医療用観察システム。
（１６）
　対象物に関する情報を準備することと、
　撮像部によって手術中の画像を撮像することと、
　撮像した対象物の画像情報、前記対象物に関する前記情報、及び、前記撮像部の撮像条件に基づいて、前記撮像部から前記対象物までの距離を表すデプスを推定することと、
　を含む、
　医療用画像処理方法であって、
　前記対象物に関する情報は、前記対象物の実際のサイズを含む、
　医療用画像処理方法。
（１７）
　手術中に撮像部によって撮像された対象物の画像情報、前記対象物に関する情報、及び、前記撮像部の撮像条件に基づいて、前記撮像部から前記対象物までの距離を表すデプスを推定する、
　情報処理装置であって、
　前記対象物に関する情報は、前記対象物の実際のサイズを含む、
　情報処理装置。

　　　１　制御部
　　１０　情報処理装置
　　２０　情報取得部
　２０ａ　事前情報
　２０ｂ　パラメータ情報
　２０ｃ　画像認識結果
　２０ｄ　画像認識結果
　　３０　画像認識処理部
　　４０　デプス推定部
　　６０　術具３次元姿勢計算部
　　７０　臓器３次元位置計算部
　７０ａ　内視鏡アーム位置姿勢情報
　　７１　３次元マップ更新部
　７１ａ　３次元マップ
　　８０　自律制御部
　　８１　対象物目標デプス計算部
　　８２　動作指令値計算部
　　８３　対象物目標画面上サイズ計算部
　　８４　対象物下限デプス計算部
　　８５　対象物上限画面上サイズ計算部
　　８６　術具・撮像部最短距離計算部
　　８７　術具・撮像部距離下限計算部
　　９０　他のデプス推定部
　　９１　切替部
　１００　医療用観察システム
５０００　内視鏡手術システム
５００１　内視鏡
５００３　鏡筒
５００５　カメラヘッド
５００９　撮像部
５０１７　術具
５０２３　鉗子
５０２７　支持アーム装置
５０３１　アーム部
５０４５　アーム制御装置

Claims

　手術中に撮像部によって撮像された対象物の画像情報、前記対象物に関する情報、及び、前記撮像部の撮像条件に基づいて、前記撮像部から前記対象物までの距離を表すデプスを推定する制御部、
　を備え、
　前記対象物に関する情報は、前記対象物の実際のサイズを含む、
　医療用観察システム。
　前記画像情報は、撮像素子の投影面上の前記対象物のサイズを含み、
　前記撮像条件は、焦点距離を含む、
　請求項１に記載の医療用観察システム。
　前記対象物のデプスの推定は、前記焦点距離と前記対象物の実際のサイズとの乗算、及び、前記撮像素子の前記投影面上の前記対象物のサイズによる除算を含む、
　請求項２に記載の医療用観察システム。
　前記対象物は、術具及び臓器の少なくとも一方を含む、
　請求項１に記載の医療用観察システム。
　前記対象物に関する情報は、術具の幾何学的な情報、術具のメーカー・型番情報、手術情報及びＣＴスキャン情報の少なくとも１つを含む、
　請求項１に記載の医療用観察システム。
　前記対象物は、術具を含み、
　前記対象物に関する情報は、前記術具の第１の部分の実際のサイズと、第２の部分の実際のサイズと、前記第１の部分及び前記第２の部分の間の実際の距離とを含み、
　前記制御部は、
　　前記第１の部分のデプスと、前記第２の部分のデプスとを推定し、
　　前記対象物に関する情報と、推定した前記第１の部分のデプス及び前記第２の部分のデプスとに基づいて、前記術具の３次元姿勢を計算する、
　請求項１に記載の医療用観察システム。
　前記対象物は、臓器を含み、
　前記制御部は、推定した前記臓器のデプスと、前記画像情報と、前記撮像部の位置及び姿勢を示す撮像部位置姿勢情報とに基づいて、前記臓器の３次元位置を計算し、前記臓器の３次元位置に基づいて、体腔内の３次元マップを更新する、
　請求項１に記載の医療用観察システム。
　前記撮像部を保持するアーム部を更に備え、
　前記制御部は、推定した前記対象物のデプスと、前記画像情報とに基づいて、前記アーム部を制御する、
　請求項１に記載の医療用観察システム。
　前記画像情報は、前記対象物の位置及び／又は種類を含み、
　前記制御部は、前記対象物の位置及び／又は種類に基づいて推定した前記対象物のデプスが目標デプスに近づくように前記アーム部を制御する、
　請求項８に記載の医療用観察システム。
　前記制御部は、前記対象物の撮像画像の画面表示サイズが目標サイズに近づくように前記アーム部を制御する、
　請求項８に記載の医療用観察システム。
　前記制御部は、前記対象物の撮像画像の画面表示サイズが上限サイズを上回らないように前記アーム部を制御する、
　請求項８に記載の医療用観察システム。
　前記対象物は術具を含み、
　前記制御部は、前記撮像部と前記術具との最短距離が下限距離を下回らないように前記アーム部を制御する、
　請求項８に記載の医療用観察システム。
　前記制御部は、仮想的な斥力を発生させるように前記アーム部を制御する、
　請求項８に記載の医療用観察システム。
　前記制御部は、更に、前記対象物のデプスの推定と、他のデプス推定部による前記対象物のデプスの推定とを切り替える、
　請求項１に記載の医療用観察システム。
　前記撮像部は、内視鏡又は手術用顕微鏡のうちの少なくとも一方である、
　請求項１に記載の医療用観察システム。
　対象物に関する情報を準備することと、
　撮像部によって手術中の画像を撮像することと、
　撮像した対象物の画像情報、前記対象物に関する前記情報、及び、前記撮像部の撮像条件に基づいて、前記撮像部から前記対象物までの距離を表すデプスを推定することと、
　を含む、
　医療用画像処理方法であって、
　前記対象物に関する情報は、前記対象物の実際のサイズを含む、
　医療用画像処理方法。
　手術中に撮像部によって撮像された対象物の画像情報、前記対象物に関する情報、及び、前記撮像部の撮像条件に基づいて、前記撮像部から前記対象物までの距離を表すデプスを推定する、
　情報処理装置であって、
　前記対象物に関する情報は、前記対象物の実際のサイズを含む、
　情報処理装置。