JP7517325B2 - 医療システム、信号処理装置、及び、信号処理方法 - Google Patents

Description

本技術は、医療システム、信号処理装置、及び、信号処理方法に関し、特に、例えば、術野を撮影した術野画像を用いて、リアルタイムで高精度の3D(Dimensional)情報を得ることができるようにする医療システム、信号処理装置、及び、信号処理方法に関する。

内視鏡や顕微鏡を用いて手術等を行う医療システムについて、3D情報を利用して、手術の効率を向上させる技術が提案されている（例えば、特許文献１を参照）。

国際公開第2016/098665号

内視鏡や顕微鏡を用いた医療システムにおいて、術野を撮影した術野画像に映る臓器には、血管等の細かい凹凸が存在する。手術では、そのような細かい凹凸が重要な場合がある。

しかしながら、細かい凹凸を高精度及び高密度に表現する3D情報を生成するアルゴリズムについては、計算量が大であり、常時、リアルタイムで、3D情報を生成することは難しい。

本技術は、このような状況に鑑みてなされたものであり、術野画像を用いて、リアルタイムで高精度の3D情報を得ることができるようにするものである。

本技術の医療システムは、術野を撮影して、術野画像を出力する撮像部と、前記術野画像を用いて、第１のアルゴリズムにより、前記術野の3D情報を生成する第１の生成部と、前記術野画像に注目領域が設定された場合、前記第１のアルゴリズムと異なる第２のアルゴリズムにより、前記注目領域の3D情報を生成する第２の生成部とを備え、前記第１のアルゴリズムは、前記第２のアルゴリズムよりも計算量が少ないアルゴリズムである医療システムである。

本技術の信号処理装置は、術野を撮影した術野画像を用いて、第１のアルゴリズムにより、前記術野の3D情報を生成する第１の生成部と、前記術野画像に注目領域が設定された場合、前記第１のアルゴリズムと異なる第２のアルゴリズムにより、前記注目領域の3D情報を生成する第２の生成部とを備え、前記第１のアルゴリズムは、前記第２のアルゴリズムよりも計算量が少ないアルゴリズムである信号処理装置である。

本技術の信号処理方法は、第１の生成部と第２の生成部を備える信号処理装置の前記第１の生成部が、術野を撮影した術野画像を用いて、第１のアルゴリズムにより、前記術野の3D情報を生成することと、前記第２の生成部が、前記術野画像に注目領域が設定された場合、前記第１のアルゴリズムと異なる第２のアルゴリズムにより、前記注目領域の3D情報を生成することとを含み、前記第１のアルゴリズムは、前記第２のアルゴリズムよりも計算量が少ないアルゴリズムである信号処理方法である。

本技術においては、術野を撮影した術野画像を用いて、第１のアルゴリズムにより、前記術野の3D情報が生成される。前記術野画像に注目領域が設定された場合、前記第１のアルゴリズムと異なる第２のアルゴリズムにより、前記注目領域の3D情報が生成される。前記第１のアルゴリズムは、前記第２のアルゴリズムよりも計算量が少ないアルゴリズムである。

なお、信号処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

また、信号処理装置は、コンピュータにプログラムを実行させることにより実現することができる。プログラムは、記録媒体に記録して、又は、伝送媒体を介して伝送することにより頒布することができる。

本技術を適用した医療システムの一実施の形態の構成例を示すブロック図である。 SLAMの概要を説明する図である。 SLAMを用いた手術支援の例を説明する図である。 内視鏡１１及びCCU１３の第１の構成例を示すブロック図である。 CCU１３による通常マップ及び高精度マップの生成の第１の例を説明するフローチャートである。 CCU１３による通常マップ及び高精度マップの生成の第２の例を説明するフローチャートである。 CCU１３が行う信号処理の例を説明するフローチャートである。 内視鏡１１及びCCU１３の第２の構成例を示すブロック図である。 CCU１３が行う信号処理の例を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

＜本技術を適用した医療システムの一実施の形態＞

図１は、本技術を適用した医療システムの一実施の形態の構成例を示すブロック図である。

図１の医療システムは、例えば、腹部の内視鏡外科手術において用いられる内視鏡手術システムの構成例を示している。なお、本技術は、内視鏡手術システムの他、顕微鏡を用いる医療システムにも適用することができる。

図１の医療システムでは、腹部等の内視鏡外科手術において、腹壁を切って開腹する代わりに、開孔器具としてのトロッカ２５ａ，２５ｂが、腹壁に数か所取り付けられる。そして、トロッカ２５ａ，２５ｂに設けられている孔から、患者Ｕの体内を観察する観察用医療機器としての腹腔鏡（以下、内視鏡ともいう）１１や、エネルギ処置具２２、鉗子２３等が体内に挿入される。

術者は、内視鏡１１によって（ビデオ）撮影された患者Ｕの体内にある患部（腫瘍など）の画像（動画）をリアルタイムに見ながら、エネルギ処置具２２等によって患部を切除する等の処置を行う。内視鏡１１や、エネルギ処置具２２、鉗子２３は、術者又はロボット等により保持される。なお、術者とは、手術室で行われる手術に関わっている医療従事者をいい、術者には、例えば手術の執刀医、助手、スコピスト、看護師の他、手術室とは別の場所からその手術をモニタしている医者等が含まれる。

このような内視鏡下手術を行う手術室内には、内視鏡下手術のための装置類を搭載するカート３１、患者Ｕが横たわる患者ベッド３３、フットスイッチ３５等が配置される。カート３１には、医療機器として、例えば、カメラコントロールユニット(CCU)１３、表示装置１５、光源装置１７、処置具用装置２１、気腹装置２４、レコーダ２６、及びプリンタ２７等の装置類が載置される。

内視鏡１１は、スコープとカメラヘッドを有する。スコープは、光源装置１７が照らした術野からの光をカメラヘッドに導光する光学系である。カメラヘッドは、光学系及びイメージセンサ等を有する撮像部である。内視鏡１１は、患者Ｕの体内に挿入され、患者Ｕの体内の画像（信号）を撮影する。内視鏡１１で撮影された患部の画像は、カメラヘッドに接続されたカメラケーブルを介してCCU１３に伝送される。CCU１３は、カメラケーブルを介して内視鏡１１に接続される他、無線の通信経路を介して内視鏡１１に接続されてもよい。CCU１３は、内視鏡１１から出力（伝送）される画像に対して信号処理を施し、信号処理後の画像を表示装置１５に出力する。このような構成により、患部が映る術野画像が表示装置１５に表示される。なお、スコープは硬性タイプでもよいし、軟性タイプでもよい。

なお、CCU１３は、信号処理後の画像をレコーダ２６に出力することで、レコーダ２６に、術野画像を記録させてもよい。また、CCU１３は、信号処理後の画像をプリンタ２７に出力することで、プリンタ２７に、術野画像を印刷させてもよい。

光源装置１７は、様々な波長の光を発生する。光源装置１７は、ライトガイドケーブルを介して内視鏡１１に接続され、光源装置１７が発生した光は、内視鏡１１から患部に対して照射される。光源装置１７が発生する光は、例えば、補助光として用いられる場合もある。

処置具用装置２１は、例えば、電気熱を用いて患部を切断するエネルギ処置具２２に対して高周波電流を出力する高周波出力装置である。

気腹装置２４は、送気、吸気手段を備え、患者Ｕの体内の、例えば腹部領域に空気を送気する。

フットスイッチ３５は、術者のフット操作に応じて、所定のトリガ信号を、CCU１３や処置具用装置２１等に出力する。

＜SLAMの概要＞

図２は、SLAMの概要を説明する図である。

SLAMは、撮像部からの画像のみ、又は、画像と画像以外のセンサ情報とから、周囲環境の3Dマップの生成と、その3Dマップ中での撮像部に基づく自己位置（及び姿勢）の推定をリアルタイムに行う技術である。

図１の医療システムは、SLAMによって、術部（患部）を含む術野（となる範囲）の3Dマップと、術部に対する内視鏡１１の相対的な位置（例えば、内視鏡１１の撮像部の位置または内視鏡１１のスコープの先端の位置）を取得することで、手術支援を行うことができる。手術支援としては、例えば、術中に指導医が執刀医に、術野画像上に、GUI(Graphical User Interface)で切除部位等を指示することや、術野画像を、術前に撮影したCT(Computed Tomography)画像と照合して、GUIで、手術のナビゲーションを行うこと等がある。なお、内視鏡１１のスコープの先端を自己位置とする場合は、撮像部の自己位置を推定した後に、スコープの情報（例えば、撮像部からスコープ先端までの長さ情報やスコープの形情報）に基づき、自己位置をスコープ先端とすることが好ましい。このとき、スコープの情報はスコープから電気的情報としてCCU１３が取得してもよいし、CCU１３が術野画像の特徴からスコープの種類を推定して、予め記憶した情報から推定したスコープに紐づく情報を読み出してもよい。また、撮像部から予め定めた距離にある点や内視鏡１１の光軸上の点を自己位置としてもよい。本医療システムを撮像部を有する顕微鏡に適用する場合は、顕微鏡の相対的な位置（例えば、顕微鏡の撮像部または撮像部を支える支持部の先端）を取得する構成とする。

SLAMでは、例えば、移動する撮像部で撮影された画像から、エッジ等の特徴点が検出され、異なる時刻t1とt2とで撮影された画像それぞれに映る対応する特徴点どうしが、対応点として対応付けられる。さらに、SLAMでは、対応点の3D空間の座標が求められ、多数の対応点の3D空間の座標が表す点の集合（点群）として、被写体の3D形状、ひいては、撮像部が撮影している3D空間の3Dマップが生成される。また、SLAMでは、撮像部の自己位置が、例えば、特徴点の座標に基づく連立方程式を解くことで推定される。

撮像部で撮影された画像を用いるSLAMは、Visual SLAMと呼ばれる。SLAMについては、例えば、Andrew J. Davison, “Real-Time Simultaneous Localization and Mapping with a Single Camera”, Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410に記載されている。

＜手術支援の概要＞

図３は、SLAMを用いた手術支援の例を説明する図である。

図１の医療システムでは、手術支援として、例えば、指導医の操作に応じて、執刀医への指導をするための、切除部位等を指示するアノテーションを、術野画像上の、指導医が指示した位置に描画することができる。

そして、図１の医療システムでは、SLAMにおいて得られる3Dマップ及び撮像部に基づく自己位置に応じて、内視鏡１１の位置や姿勢が変化した場合であっても、アノテーションを、術野画像上の、指導医が指示した位置に追従して表示することができる。

＜内視鏡１１及びCCU１３の第１の構成例＞

図４は、図１の内視鏡１１及びCCU１３の第１の構成例を示すブロック図である。

ここで、医療システムにおいて、例えば、図３で説明したようなアノテーションを描画する等のアプリケーションで用いられる3Dマップは、安全性の観点から、高精度であることが望ましい。

しかしながら、上述したVisual SLAM等のSLAMは、リアルタイム性に優れている反面、3Dマップの点群が疎で、多くの外れ値を含む。

一方、多視点の画像を用いて、（点群が）密で、高精度の3Dマップを生成するアルゴリズム（計算モデル）として、例えば、Multi-view stereo等のSfM(Structure from Motion)がある。Multi-view stereoについては、例えば、Multi-View Stereo: A Tutorial. Foundations and. TrendsR in Computer Graphics and Vision, vol. 9, no. 1-2, 2013, pp.1-148 や、Evaluation of multi-view 3D reconstruction software, CAIP 2015: Computer Analysis of Images and Patterns, pp.450-461に記載されている。

Multi-view stereoによれば、密で、高精度の3Dマップを生成することができる。しかしながら、Multi-view stereoは、計算負荷が高く、処理時間がかかるため、リアルタイムでの自己位置推定や3Dマップの生成（更新）が要求される用途には適さない。

そこで、CCU１３では、内視鏡１１で術野（となる範囲）を撮影した術野画像を用いて、第１のアルゴリズムとしての、例えば、Visual SLAMにより、術野の3Dマップ（3D情報）の生成及び自己位置推定を、リアルタイムで行う。さらに、CCU１３では、術野画像に注目領域が設定された場合、第１のアルゴリズムと異なる第２のアルゴリズムとしての、例えば、Multi-view stereoにより、注目領域の3Dマップを生成する。これにより、3Dマップの生成及び自己位置推定のリアルタイム性を確保しつつ、注目領域、例えば、術者が必要とする領域については、密で、高精度の3Dマップを提供すること、すなわち、リアルタイム性と3Dマップの高精度との両立を可能とする。

図４において、内視鏡１１は、撮像部１０１を有し、CCU１３は、シーン検出部１０２、フレーム記憶部１０３、注目領域設定部１０４、通常マップ生成部１０５、高精度マップ生成部１０６、術前情報記憶部１０７、及び、表示画像生成部１０８を有する。

撮像部１０１は、例えば、術野の可視光線を受光することにより術野を撮影し、その撮影により得られるRGB(Red, Green, Blue)の画像を術野画像として出力する。撮像部１０１が出力する術野画像は、シーン検出部１０２、及び、通常マップ生成部１０５に供給される。さらに、撮像部１０１が出力する術野画像は、通常マップ生成部１０５を介して、表示画像生成部１０８に供給される。

シーン検出部１０２は、撮像部１０１からの術野画像の各フレームについて、特定のシーンとしての、例えば、3Dマップの生成の障害となる障害シーンを検出する。障害シーンとしては、例えば、出血、発煙、白飛び等があるシーンがある。

シーン検出部１０２は、障害シーンが検出された場合、その障害シーンが映る術野画像のフレームの、フレーム記憶部１０３への出力を制限する。したがって、シーン検出部１０２からフレーム記憶部１０３に対しては、障害シーンが映る術野画像のフレームは出力されない。

また、シーン検出部１０２は、障害シーンが検出されなかった場合、術野画像のフレームを、フレーム記憶部１０３に出力する。

ここで、障害シーンとしての、例えば、出血シーンを検出する方法としては、画像認識技術等によって、画像のみから出血エリアを同定する方法がある。

障害シーンとしての、例えば、発煙シーンを検出する方法としては、画像認識技術等によって、焼灼シーンを検出する方法がある。

障害シーンとしての、例えば、白飛びのシーンを検出する方法としては、画像認識技術等によって、白飛びが生じている、又は、白飛びが発生しやすいシーンを検出する方法がある。

フレーム記憶部１０３は、シーン検出部１０２が出力する術野画像のフレームから、高精度マップの生成に用いるフレームをキーフレームとして選択して記憶する。

図４では、シーン検出部１０２において、障害シーンが映る術野画像のフレームは、フレーム記憶部１０３に出力されない。したがって、フレーム記憶部１０３では、撮像部１０１が出力する術野画像のフレームのうちの、障害シーンが映るフレーム（特定フレーム）を除くフレーム、すなわち、障害シーンが映っていない術野画像のフレームから選択されたフレームが、キーフレームとして記憶される。

ここで、図４では、後述するように、高精度マップ生成部１０６において、フレーム記憶部１０３に記憶された術野画像のキーフレームを用いて、第２のアルゴリズムとしての、例えば、Multi-view stereo等のSfMにより、高精度（及び密）の3Dマップである高精度マップが生成される。

高精度マップ生成部１０６において、Multi-view stereoにより、効率的に、高精度マップを生成するには、より多くの異なる視点の画像（フレーム）が、キーフレームとして存在することが望ましい。

そこで、フレーム記憶部１０３は、通常マップ生成部１０５によって自己位置が推定される内視鏡１１の撮像部１０１の軌跡や、術野内の特徴点の数の変化によって、撮像部１０１の視点（位置）の変化を検出する。そして、フレーム記憶部１０３は、撮像部１０１の視点の変化に応じて、例えば、シーン検出部１０２が出力する術野画像のフレームからキーフレームを選択する間隔等のキーフレームの選択や記憶の仕方を切り替える。

例えば、フレーム記憶部１０３は、撮像部１０１の視点の変化の変化量を閾値処理することにより、撮像部１０１の視点が、定常的（ほぼ停止している）な状態であるか、又は、移動している状態であるかを判定する。

撮像部１０１の視点が定常的な状態である場合、シーン検出部１０２が出力する術野画像のフレームに映るシーンはほとんど変化しない。そこで、フレーム記憶部１０３は、シーン検出部１０２が出力する最新のフレームをキーフレームとして選択し、そのキーフレームを、過去にキーフレームとして記憶したフレーム、例えば、直前にキーフレームとして記憶したフレームに上書きする形で記憶する。

また、撮像部１０１の視点が移動している状態である場合、術野（となる範囲）が変わることにより、通常マップ生成部１０５で行われるVisual SLAMにおいて新しい特徴点が検出される。そこで、フレーム記憶部１０３は、新しい特徴点が所定数だけ検出されるごとに、シーン検出部１０２が出力するフレームをキーフレームとして選択して記憶する。

以上のように、フレーム記憶部１０３では、撮像部１０１の視点の変化に応じて、キーフレームの選択の頻度を切り替えることができる。

なお、フレーム記憶部１０３において、キーフレームとして記憶するフレームの最大枚数は、あらかじめ決めておくことができる。フレーム記憶部１０３において、最大枚数のキーフレームが記憶された場合、新たなキーフレームは、最も古いキーフレームに上書きする形で記憶される。

注目領域設定部１０４は、術野画像（のフレーム）に、注目領域を設定する。術野画像については、その術野画像のフレームの一部の領域を、注目領域に設定することもできるし、術野画像のフレームの全体の領域を、注目領域に設定することもできる。

ここで、注目領域については、高精度マップ生成部１０６において、Multi-view stereoにより、高精度マップが生成される。Multi-view stereoによれば、高精度（及び密）の3Dマップである高精度マップを生成することができる。但し、Multi-view stereoは、計算負荷が高く、処理時間がかかるため、フレーム全体をMulti-view stereoの対象とすると、リアルタイム性を阻害する。又は、Multi-view stereoによりフレーム全体についての高精度マップを生成しながら、リアルタイム性を確保するためには、CCU１３として、極めて高速な装置が必要となり、医療システムが高コスト化する。

そこで、注目領域設定部１０４では、Multi-view stereoを長時間実行しても、リアルタイム性を阻害しないサイズ内の術野画像の一部の領域を、注目領域に設定することができる。また、注目領域設定部１０４では、術野画像のフレームの全体の領域を、Multi-view stereoの対象としてもリアルタイム性を阻害しない短時間（例えば、数秒等）の範囲内で、術野画像のフレームの全体の領域を、注目領域に設定することができる。

例えば、注目領域設定部１０４では、術野画像において、手術の対象の術部（が映る領域）だけを、注目領域に設定することができる。また、例えば、注目領域設定部１０４では、エネルギ処置具２２としての電気メスで、臓器を切り取る数秒等の短時間のシーンにおいて、術野画像のフレームの全体の領域を、注目領域に設定することができる。

注目領域設定部１０４では、術野画像において、高精細であることが必要とする領域、又は、高精細であることが必要と推定される領域を、注目領域に設定することができる。

注目領域の設定は、例えば、術者の指定に応じて行うことができる。例えば、表示装置１５に表示された術野画像において、術者が、UI(User Interface)を操作することにより囲った領域を、注目領域に設定することができる。また、例えば、表示装置１５に表示された術野画像を、複数の区分け領域にあらかじめ区分けしておき、ユーザによる区分け領域を指定する音声（例えば、「右上」や「左下」等）に応じて、音声により指定された区分け領域を、注目領域に設定することができる。さらに、例えば、表示装置１５に表示された術野画像を見る術者の視線を検出し、その視線から推定される、術者が注目している位置を含む領域を、注目領域に設定することができる。

注目領域の設定は、例えば、手術前に得られる情報や、手術中に得られる情報に応じて行うことができる。例えば、手術前に得られる情報や、手術中に得られる情報を用いた物体認識等によって、あらかじめ指定された物体を認識し、その物体の認識結果を用いて、注目領域を設定することができる。

例えば、CT画像等の医用画像で、病変部位や手術の対象となる部位をあらかじめ指定しておき、通常マップ生成部１０５で得られる通常マップ、又は、表示画像生成部１０８で得られる、高精度マップを統合した通常マップにおいて、あらかじめ指定された部位と形状のマッチングがとれた領域（あらかじめ指定された部位が映る領域）を、注目領域に設定することができる。

また、例えば、人工知能技術等によって、過去の履歴から、高精度にすべき領域を予測し、その領域を、注目領域に設定することができる。さらに、例えば、術具の画像を用いて、術具を認識するための学習をあらかじめ行っておき、術具を認識して、その術具が処置を行っている部位が映る領域を、注目領域に設定することができる。

その他、例えば、所定のロボットからの指定に応じて、注目領域を設定することができる。例えば、内視鏡１１が、スコープホルダロボットで支持され、そのスコープホルダロボットが、領域を指定する機能を有する場合には、スコープホルダロボットから指定された領域を、注目領域に設定することができる。

通常マップ生成部１０５は、撮像部１０１が出力する術野画像を用いて、その術野画像に映る範囲全体を対象として、第１のアルゴリズムとしての、例えば、Visual SLAM等のSLAMにより、3Dマップの生成と自己位置推定とを行う。

第１のアルゴリズムとしては、3Dマップの生成と自己位置推定とに、画像のみを用いるVisual-SLAMの他、3Dマップを構成する点群の精度（及び疎密）の程度はともかくとして、リアルタイム性を確保することができる3Dマップの生成アルゴリズムを採用することができる。

なお、第１のアルゴリズムとしては、自己位置推定を行わず、3Dマップの生成だけを行うアルゴリズムを採用することができる。但し、第１のアルゴリズムとして、3Dマップの生成だけを行うアルゴリズムを採用する場合には、別途、自己位置推定を行う必要がある。

また、第１のアルゴリズムとしては、画像のみを用いて、3Dマップ（3D情報）を生成するアルゴリズムの他、画像と、ToFセンサやLidar等が出力する奥行情報とを用いて、3Dマップを生成するアルゴリズムを採用することができる。

ここで、通常マップ生成部１０５が第１のアルゴリズムによりリアルタイムで生成する3Dマップを、通常マップともいう。通常マップは、撮像部１０１が撮影する3D空間の、撮像部１０１に基づく自己位置との相対的な位置関係を認識するための3Dマップである。

高精度マップ生成部１０６は、注目領域設定部１０４で注目領域が設定された場合に、その注目領域を対象として、フレーム記憶部１０３に記憶された術野画像のキーフレームを用いて、第２のアルゴリズムとしての、例えば、Multi-view stereo等のSfMにより、3Dマップの生成、すなわち、注目領域に映る物体の3D形状の認識を行う。

第２のアルゴリズムとしては、通常マップよりも高精度の3Dマップを生成することができる3Dマップの生成アルゴリズムを採用することができる。第２のアルゴリズムにより生成される3Dマップは、第１のアルゴリズムにより生成される通常マップよりも高精度であるため、第２のアルゴリズムは、計算負荷が高く、処理時間を要する。逆に言えば、第１のアルゴリズムとしては、リアルタイム性を確保することができるように、第２のアルゴリズムよりも計算量が少ないアルゴリズムが採用される。

また、第１のアルゴリズムでは、術野画像に映る範囲（術野）全体を対象として、通常マップを生成するのに対して、第２のアルゴリズムでは、注目領域のみを対象として、3Dマップを生成する。

なお、第２のアルゴリズムとしては、自己位置推定を行わないアルゴリズムを採用することができる。但し、第２のアルゴリズムは、自己位置推定を行うアルゴリズムであってもよい。

ここで、高精度マップ生成部１０６が、第２のアルゴリズムにより生成する、通常マップよりも高精度の3Dマップを、高精度マップともいう。高精度マップは、注目領域の3D形状を、通常マップよりも高精細に表現する。第１のアルゴリズムとしてのVisual SLAMでは、第２のアルゴリズムと比較して、精度は落ちるが、高フレームレートで3Dマップ（通常マップ）を生成することができる。一方、第２のアルゴリズムとしてのMulti-view stereoでは、高フレームレートでの3Dマップ（高精度マップ）の生成は難しいが、高精度の3Dマップを生成することができる。

術前情報記憶部１０７は、手術前に得られる術前情報を記憶する。術前情報とは、例えば、手術前に撮影したCT画像から構築される3Dモデル等である。

表示画像生成部１０８は、通常マップ生成部１０５で生成された（疎らな）通常マップに、高精度マップ生成部１０６で生成された（密な）高精度マップを統合する統合部として機能する。

すなわち、統合部として機能する表示画像生成部１０８は、通常マップに対して、高精度マップ（注目領域）の位置合わせを行って、その位置合わせ後の高精度マップを、通常マップに統合する。

通常マップに高精度マップを統合する方法としては、Iterative closest point(ICP)といったレジストレーション手法を採用することができる。

ここで、表示画像生成部１０８は、注目領域設定部１０４で設定された新たな注目領域が過去の注目領域と重複する場合、通常マップに統合された過去の注目領域の高精度マップを削除し、その削除後の通常マップに、高精度マップ生成部１０６で新たに生成された新たな注目領域の高精度マップを統合する。新たな注目領域が過去の注目領域と重複する場合、例えば、注目領域に映る臓器が切り取られること等によって、新たな注目領域と過去の注目領域とで、注目領域に映る部位の形状が異なっていることがあり、最新の注目領域に映る部位を、通常マップに反映するためである。

表示画像生成部１０８は、撮像部１０１が出力する術野画像の他、必要に応じて、高精度マップを統合した統合後の通常マップや、術前情報記憶部１０７に記憶された術前情報を用いて、表示装置１５で表示する表示画像を生成し、表示装置１５に供給する。

例えば、表示画像生成部１０８は、通常マップを用いて、術者がアノテーションを表示することを指示した3D空間内の位置を特定し、その位置に、アノテーションが描画された術野画像を、表示画像として生成することができる。

＜CCU１３が行う信号処理＞

図５は、CCU１３による通常マップ及び高精度マップの生成の第１の例を説明するフローチャートである。

ステップＳ１１において、CCU１３は、撮像部１０１が順次出力する術野画像のフレームを取得する。撮像部１０１が出力する術野画像のフレームは、必要に応じて、キーフレームとして、フレーム記憶部１０３に記憶され、処理は、ステップＳ１１からステップＳ１２に進む。

ステップＳ１２では、CCU１３において、高精度マップ生成部１０６が、注目領域設定部１０４による注目領域の設定が行われたかどうかを判定する。

ステップＳ１２において、注目領域が設定されていないと判定された場合、処理は、ステップＳ１３に進む。

ステップＳ１３では、通常マップ生成部１０５は、撮像部１０１が出力する術野画像のフレームを用いて、第１のアルゴリズムとしてのVisual SLAMによる通常マップの生成（及び更新）と、撮像部１０１の自己位置推定とを行い、処理は、ステップＳ１４に進む。

ステップＳ１４では、表示画像生成部１０８は、必要に応じて、最新の通常マップを用いて、表示画像を生成し、処理は、ステップＳ１５に進む。

ステップＳ１５では、表示画像生成部１０８は、表示画像を、表示装置１５に表示させる。

一方、ステップＳ１２において、注目領域が設定されたと判定された場合、処理は、ステップＳ１６に進む。

ステップＳ１６では、高精度マップ生成部１０６は、注目領域のみについて、第２の計算アルゴリズムとしてのMulti-view stereoによる高精度マップの生成を行い、処理は、ステップＳ１７に進む。

ステップＳ１７では、表示画像生成部１０８は、最新の通常マップに、最新の高精度マップを統合する。そして、処理は、ステップＳ１７からステップＳ１４に進み、以下、上述した処理が行われる。

図５の通常マップ及び高精度マップの生成の第１の例では、注目領域が設定されない場合には、通常マップが生成され、注目領域が設定された場合には、通常マップは生成されず、注目領域のみの高精度マップが生成される。

図６は、CCU１３による通常マップ及び高精度マップの生成の第２の例を説明するフローチャートである。

ステップＳ２１において、CCU１３では、図５のステップＳ１１と同様に、撮像部１０１が出力する術野画像のフレームが取得され、必要に応じて、キーフレームとして、フレーム記憶部１０３に記憶される。そして、処理は、ステップＳ２１からステップＳ２２とステップＳ３１とに並列に進む。

ステップＳ２２では、通常マップ生成部１０５は、図５のステップＳ１３と同様に、撮像部１０１が出力する術野画像のフレームを用いて、第１のアルゴリズムとしてのVisual SLAMによる通常マップの生成と、撮像部１０１の自己位置推定とを行い、処理は、ステップＳ２３に進む。

ステップＳ２３では、表示画像生成部１０８は、図５のステップＳ１４と同様に、必要に応じて、最新の通常マップを用いて、表示画像を生成し、処理は、ステップＳ２４に進む。

ステップＳ２４では、表示画像生成部１０８は、図５のステップＳ１５と同様に、表示画像を、表示装置１５に表示させる。

一方、ステップＳ３１では、CCU１３において、高精度マップ生成部１０６が、図５のステップＳ１２と同様に、注目領域設定部１０４による注目領域の設定が行われたかどうかを判定する。

ステップＳ３１において、注目領域が設定されていないと判定された場合、処理は、ステップＳ３２及びＳ３３をスキップして、ステップＳ２３に進む。

また、ステップＳ３１において、注目領域が設定されたと判定された場合、処理は、ステップＳ３２に進む。

ステップＳ３２では、高精度マップ生成部１０６は、図５のステップＳ１６と同様に、注目領域のみについて、第２の計算アルゴリズムとしてのMulti-view stereoによる高精度マップの生成を行い、処理は、ステップＳ３３に進む。

ステップＳ３３では、表示画像生成部１０８は、図５のステップＳ１７と同様に、最新の通常マップに、最新の高精度マップを統合する。そして、処理は、ステップＳ３３からステップＳ２３に進み、以下、上述した処理が行われる。

図６の通常マップ及び高精度マップの生成の第２の例では、通常マップは、注目領域の設定の有無にかかわらず、常時生成される。高精度マップは、図５と同様に、注目領域が設定された場合にのみ、その注目領域についてのみ生成される。

図７は、図４のCCU１３が行う信号処理の例を説明するフローチャートである。

ステップＳ５１において、通常マップ生成部１０５は、撮像部１０１が出力する術野画像を用いて、第２のアルゴリズムにより計算量が少ない第１のアルゴリズムにより、リアルタイムでの通常マップの生成及び自己位置推定を行い、処理は、ステップＳ５２に進む。

ステップＳ５２では、通常マップ生成部１０５は、通常マップを、直前のステップＳ５１で生成された通常マップによって更新し、処理は、ステップＳ５３に進む。

ステップＳ５３では、シーン検出部１０２が、撮像部１０１が出力する術野画像の（最新の）フレームが、障害シーンが映る障害フレームであるかどうかを判定する。

ステップＳ５３において、撮像部１０１が出力する術野画像のフレームが、障害フレームでないと判定された場合、処理は、ステップＳ５４に進む。

ステップＳ５４では、フレーム記憶部１０３は、障害フレームでない術野画像のフレームを、必要に応じて、キーフレームとして記憶し、処理は、ステップＳ５５に進む。

一方、ステップＳ５３において、撮像部１０１が出力する術野画像のフレームが、障害フレームであると判定された場合、処理は、ステップＳ５４をスキップして、ステップＳ５５に進む。したがって、ここでは、障害フレームは、フレーム記憶部１０３には記憶されない。

ステップＳ５５では、高精度マップ生成部１０６が、注目領域設定部１０４において注目領域が設定されたかどうかを判定する。

ステップＳ５５において、注目領域が設定されていないと判定された場合、処理は、ステップＳ５６ないしＳ５９をスキップして、ステップＳ６０に進む。

また、ステップＳ５５において、注目領域が設定されたと判定された場合、処理は、ステップＳ５６に進む。

ステップＳ５６では、表示画像生成部１０８は、直前のステップＳ５５で設定されたと判定された新たな注目領域（の一部又は全部）が過去の注目領域と重複するかどうかを判定する。

ステップＳ５６において、新たな注目領域が過去の注目領域と重複しないと判定された場合、処理は、ステップＳ５７をスキップして、ステップＳ５８に進む。

また、ステップＳ５６において、新たな注目領域が過去の注目領域と重複すると判定された場合、処理は、ステップＳ５７に進む。

ステップＳ５７では、表示画像生成部１０８は、通常マップに統合された過去の注目領域の高精度マップを削除し、処理は、ステップＳ５８に進む。

ステップＳ５８では、高精度マップ生成部１０６は、フレーム記憶部１０３に記憶されたキーフレームを用いて、第１のアルゴリズムにより高精度の第２のアルゴリズムにより、新たな注目領域についてのみ高精度マップの生成を行い、処理は、ステップＳ５９に進む。

ステップＳ５９では、通常マップに、高精度マップを統合し、処理は、ステップＳ６０に進む。

ステップＳ６０では、CCU１３は、信号処理を終了するかどうかを判定し、終了しないと判定した場合、処理は、ステップＳ５１に戻り、以下、同様の処理が繰り返される。

また、ステップＳ６０において、信号処理を終了すると判定された場合、すなわち、例えば、術者が信号処理を終了するように、医療システムを操作した場合、CCU１３は、信号処理を終了する。

＜内視鏡１１及びCCU１３の第２の構成例＞

図８は、図１の内視鏡１１及びCCU１３の第２の構成例を示すブロック図である。

なお、図中、図４の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図８において、内視鏡１１は、撮像部１０１及びサブセンサ１２１を有する。したがって、図８の内視鏡１１は、撮像部１０１を有する点で、図４の場合と共通する。但し、図８の内視鏡１１は、サブセンサ１２１が新たに設けられている点で、図４の場合と相違する。

また、図８において、CCU１３は、フレーム記憶部１０３、注目領域設定部１０４、通常マップ生成部１０５、高精度マップ生成部１０６、術前情報記憶部１０７、表示画像生成部１０８、及び、シーン検出部１３１を有する。したがって、図８のCCU１３は、フレーム記憶部１０３ないし表示画像生成部１０８を有する点で、図４の場合と共通する。但し、図８のCCU１３は、シーン検出部１０２に代えて、シーン検出部１３１が設けられている点で、図４の場合と相違する。

ここで、3Dマップの生成に、RGBの画像である術野画像を用いる場合には、そのようなRGBの術野画像を用いた3Dマップの生成に障害が生じたときに、通常マップ生成部１０５での通常マップの生成及び自己位置推定を行うことが困難になる。

例えば、手術中に術野内で出血や発煙等が生じた場合、第１のアルゴリズムとしてのVisual SLAMでは、被写体について十分な特徴点を検出することができず、通常マップ生成及び自己位置推定が困難になる。また、血液が付着した部位や煙で隠れた部分については、本来の3Dマップを生成することが困難になる。

そこで、図８では、内視鏡１１において、可視光線をセンシング（受光）し、そのセンシング結果として、RGBの術野画像を出力するセンサとしての撮像部１０１とは別に、障害シーンのセンシングに適したセンシング条件でセンシングを行うサブセンサ１２１が設けられている。さらに、図８では、シーン検出部１３１が、障害シーンであるかどうかによって、撮像部１０１が出力する術野画像、又は、サブセンサ１２１が出力するセンシング結果を選択し、フレーム記憶部１０３に出力する。

すなわち、サブセンサ１２１は、例えば、可視光線以外の波長の光をセンシングするセンサであり、そのセンシングにより得られるサブセンサ画像を、センシング結果として出力する。

したがって、サブセンサ１２１が出力するサブセンサ画像によれば、障害シーンであっても、十分な数の特徴点を検出することができる。

サブセンサ１２１でサブセンサ画像を撮影するときの撮影方法や照明方法は、適宜選択することができる。

例えば、出血シーンや発煙シーンについては、IR(Infrared)やNBI(Narrow Band Imaging)等による透過観察を行うことができるセンサを兼ね備えたカメラ（撮像部）を、サブセンサ１２１として採用し、IR等の特殊光により被写体を照明する特殊光観察技術を用いて、透過観察により、サブセンサ画像を撮影することができる。

例えば、白飛びシーンについては、PL(Polarized Light)フィルタやND(Neutral Density)フィルタ等の偏光フィルタが搭載されたカメラを、サブセンサ１２１として採用し、白飛びが抑制されたサブセンサ画像を撮影することができる。

シーン検出部１３１は、図４のシーン検出部１０２と同様に、撮像部１０１からの術野画像の各フレームについて、障害シーンを検出する。

シーン検出部１３１は、障害シーンが検出されなかった場合、シーン検出部１０２と同様に、（障害シーンが映っていない）術野画像のフレームを、フレーム記憶部１０３に出力する。

また、シーン検出部１３１は、障害シーンが検出された場合、その障害シーンが映るフレームについては、サブセンサ１２１が出力するサブセンサ画像のフレームを、フレーム記憶部１０３に出力する。

したがって、フレーム記憶部１０３において、障害シーンが映るフレームについては、サブセンサ１２１が出力するサブセンサ画像のフレームが、キーフレームとして記憶され得る。その結果、高精度マップ生成部１０６では、障害シーンについても、注目領域の高精度マップを、安定して生成することができる。

なお、通常マップ生成部１０５では、障害シーンであるかどうかにかかわらず、撮像部１０１が出力するRGBの術野画像を常時用いて、通常マップの生成及び自己位置推定を行うことができる。また、通常マップ生成部１０５では、障害シーンでない場合には、撮像部１０１が出力するRGBの術野画像を用いて、通常マップの生成及び自己位置推定を行い、障害シーンである場合には、サブセンサ１２１が出力するサブセンサ画像を用いて、通常マップの生成及び自己位置推定を行うことができる。

図９は、図８のCCU１３が行う信号処理の例を説明するフローチャートである。

CCU１３では、ステップＳ７１ないしＳ７４において、図７のステップＳ５１ないしＳ５４とそれぞれ同様の処理が行われる。

そして、図７のステップＳ５３に対応するステップＳ７３において、撮像部１０１が出力する術野画像のフレームが、障害フレームであると判定された場合、処理は、ステップＳ９１に進む。

ステップＳ９１では、フレーム記憶部１０３は、撮像部１０１が出力する術野画像において障害シーンが映る障害フレームについて、サブセンサ１２１が出力するサブセンサ画像のフレームを、必要に応じて、キーフレームとして記憶し、処理は、ステップＳ７５に進む。

ステップＳ７５ないしＳ８０では、図７のステップＳ５５ないしＳ６０とそれぞれ同様の処理が行われる。

なお、図９において、障害シーンについては、その障害シーンが映るフレーム全体を、注目領域に設定することができる。この場合、障害シーンが短時間であれば、リアルタイム性を維持しつつ、障害によって、RGBの術野画像では見にくくなっている部分をも正確に表現する高精度マップを生成することができる。

以上のように、術野を撮影した術野画像を用いて、第１のアルゴリズムにより、術野の3Dマップとしての通常マップを生成し、術野画像に注目領域が設定された場合、第１のアルゴリズムと異なる第２のアルゴリズムにより、注目領域の3Dマップとしての高精度マップを生成するので、例えば、第１のアルゴリズムとして、計算量が少なく、リアルタイム性を確保することができる3Dマップの生成アルゴリズムを採用するとともに、第２のアルゴリズムとして、高精度の3Dマップを生成することができる生成アルゴリズムを採用することで、3Dマップの生成（及び自己位置推定）のリアルタイム性を確保しつつ、注目領域については、高精度の3Dマップを生成することができる。その結果、術者に、3Dマップを用いて得られる情報として、正確かつ安定した情報を提供することができる。

また、障害シーンを適切にセンシングすることができるサブセンサ１２１を採用することにより、注目領域が、出血シーンや発煙シーン等の、RGBの術野画像を用いた3Dマップの生成に障害があるシーンを含む場合でも、注目領域について、高精度の3Dマップを生成することができる。

＜本技術を適用したコンピュータの説明＞

次に、上述したCCU１３の一連の処理は、ハードウエアにより行うこともできるし、ソフトウエアにより行うこともできる。一連の処理をソフトウエアによって行う場合には、そのソフトウエアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

図１０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。

あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。

CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。

これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。

なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

なお、本技術は、以下の構成をとることができる。

＜１＞
術野を撮影して、術野画像を出力する撮像部と、
前記術野画像を用いて、第１のアルゴリズムにより、前記術野の3D情報を生成する第１の生成部と、
前記術野画像に注目領域が設定された場合、前記第１のアルゴリズムと異なる第２のアルゴリズムにより、前記注目領域の3D情報を生成する第２の生成部と
を備える医療システム。
＜２＞
前記第２のアルゴリズムは、前記第１のアルゴリズムよりも高精度の3D情報が生成されるアルゴリズムである
＜１＞に記載の医療システム。
＜３＞
前記第２のアルゴリズムにより生成された3D情報を、前記第１のアルゴリズムにより生成された3D情報に統合する統合部をさらに備える
＜１＞又は＜２＞に記載の医療システム。
＜４＞
前記統合部は、前記第１のアルゴリズムにより生成された3D情報に対して、前記第２のアルゴリズムにより生成された3D情報の位置合わせを行って、前記第２のアルゴリズムにより生成された3D情報を、前記第１のアルゴリズムにより生成された3D情報に統合する
＜３＞に記載の医療システム。
＜５＞
前記統合部は、前記注目領域が過去の前記注目領域と重複する場合、前記第１のアルゴリズムにより生成された3D情報に統合された過去の前記注目領域の3D情報を削除し、新たに生成された前記注目領域の3D情報を統合する
＜３＞又は＜４＞に記載の医療システム。
＜６＞
前記第１のアルゴリズムは、3D情報の生成とともに、前記撮像部に基づく自己位置推定を行うアルゴリズムである
＜１＞ないし＜５＞のいずれかに記載の医療システム。
＜７＞
前記第１のアルゴリズムは、Visual-SLAMである
＜１＞ないし＜６＞のいずれかに記載の医療システム。
＜８＞
前記第２のアルゴリズムは、自己位置推定を行わないアルゴリズムである
＜１＞ないし＜７＞のいずれかに記載の医療システム。
＜９＞
前記第２のアルゴリズムは、Multi-view stereoである
＜１＞ないし＜８＞のいずれかに記載の医療システム。
＜１０＞
前記第１のアルゴリズムは、前記第２のアルゴリズムよりも計算量が少ないアルゴリズムである
＜１＞ないし＜９＞のいずれかに記載の医療システム。
＜１１＞
前記第２の生成部は、前記撮像部が出力する前記術野画像のフレームから選択されたキーフレームを用いて、前記第２のアルゴリズムにより、3D情報を生成する
＜１＞ないし＜１０＞のいずれかに記載の医療システム。
＜１２＞
前記術野画像のフレームから、特定のシーンが映る特定フレームを検出するシーン検出部をさらに備え、
前記第２の生成部は、前記術野画像のフレームのうちの、前記特定フレームを除くフレームから選択された前記キーフレームを用いて、前記第２のアルゴリズムにより、3D情報を生成する
＜１１＞に記載の医療システム。
＜１３＞
前記撮像部の位置の変化に応じて、前記キーフレームの選択の頻度が切り替えられる
＜１１＞又は＜１２＞に記載の医療システム。
＜１４＞
前記注目領域を設定する注目領域設定部をさらに備える
＜１＞ないし＜１３＞のいずれかに記載の医療システム。
＜１５＞
前記注目領域設定部は、ユーザからの指定に応じて、前記注目領域を設定する
＜１４＞に記載の医療システム。
＜１６＞
前記注目領域設定部は、所定のロボットの出力に応じて、前記注目領域を設定する
＜１４＞又は＜１５＞に記載の医療システム。
＜１７＞
前記注目領域設定部は、あらかじめ指定された部位が映る領域を、前記注目領域を設定する
＜１４＞ないし＜１６＞のいずれかに記載の医療システム。
＜１８＞
術野を撮影した術野画像を用いて、第１のアルゴリズムにより、前記術野の3D情報を生成する第１の生成部と、
前記術野画像に注目領域が設定された場合、前記第１のアルゴリズムと異なる第２のアルゴリズムにより、前記注目領域の3D情報を生成する第２の生成部と
を備える信号処理装置。
＜１９＞
術野を撮影した術野画像を用いて、第１のアルゴリズムにより、前記術野の3D情報を生成することと、
前記術野画像に注目領域が設定された場合、前記第１のアルゴリズムと異なる第２のアルゴリズムにより、前記注目領域の3D情報を生成することと
を含む信号処理方法。

１１ 内視鏡， １３ CCU， １５ 表示装置， １７ 光源装置， ２１ 処置具用装置， ２２ エネルギ処置具， ２３ 鉗子， ２４ 気腹装置， ２５ａ，２５ｂ トロッカ， ２６ レコーダ， ２７ プリンタ， ３１ カート， ３３ 患者ベッド， ３５ フットスイッチ， １０１ 撮像部， １０２ シーン検出部， １０３ フレーム記憶部， １０４ 注目領域設定部， １０５ 通常マップ生成部， １０６ 高精度マップ生成部， １０７ 術前情報記憶部， １０８ 表示画像生成部， １２１ サブセンサ， １３１ シーン検出部， ９０１ バス， ９０２ CPU， ９０３ ROM， ９０４ RAM， ９０５ ハードディスク， ９０６ 出力部， ９０７ 入力部， ９０８ 通信部， ９０９ ドライブ， ９１０ 入出力インタフェース， ９１１ リムーバブル記録媒体

Claims (18)

1. 術野を撮影して、術野画像を出力する撮像部と、
   前記術野画像を用いて、第１のアルゴリズムにより、前記術野の3D情報を生成する第１の生成部と、
   前記術野画像に注目領域が設定された場合、前記第１のアルゴリズムと異なる第２のアルゴリズムにより、前記注目領域の3D情報を生成する第２の生成部と
   を備え、
   前記第１のアルゴリズムは、前記第２のアルゴリズムよりも計算量が少ないアルゴリズムである
   医療システム。
2. 前記第２のアルゴリズムは、前記第１のアルゴリズムよりも高精度の3D情報が生成されるアルゴリズムである
   請求項１に記載の医療システム。
3. 前記第２のアルゴリズムにより生成された3D情報を、前記第１のアルゴリズムにより生成された3D情報に統合する統合部をさらに備える
   請求項１に記載の医療システム。
4. 前記統合部は、前記第１のアルゴリズムにより生成された3D情報に対して、前記第２のアルゴリズムにより生成された3D情報の位置合わせを行って、前記第２のアルゴリズムにより生成された3D情報を、前記第１のアルゴリズムにより生成された3D情報に統合する
   請求項３に記載の医療システム。
5. 前記統合部は、前記注目領域が過去の前記注目領域と重複する場合、前記第１のアルゴリズムにより生成された3D情報に統合された過去の前記注目領域の3D情報を削除し、新たに生成された前記注目領域の3D情報を統合する
   請求項３に記載の医療システム。
6. 前記第１のアルゴリズムは、3D情報の生成とともに、前記撮像部に基づく自己位置推定を行うアルゴリズムである
   請求項１に記載の医療システム。
7. 前記第１のアルゴリズムは、Visual-SLAMである
   請求項１に記載の医療システム。
8. 前記第２のアルゴリズムは、自己位置推定を行わないアルゴリズムである
   請求項１に記載の医療システム。
9. 前記第２のアルゴリズムは、Multi-view stereoである
   請求項１に記載の医療システム。
10. 前記第２の生成部は、前記撮像部が出力する前記術野画像のフレームから選択されたキーフレームを用いて、前記第２のアルゴリズムにより、3D情報を生成する
    請求項１に記載の医療システム。
11. 前記術野画像のフレームから、特定のシーンが映る特定フレームを検出するシーン検出部をさらに備え、
    前記第２の生成部は、前記術野画像のフレームのうちの、前記特定フレームを除くフレームから選択された前記キーフレームを用いて、前記第２のアルゴリズムにより、3D情報を生成する
    請求項１０に記載の医療システム。
12. 前記撮像部の位置の変化に応じて、前記キーフレームの選択の頻度が切り替えられる
    請求項１０に記載の医療システム。
13. 前記注目領域を設定する注目領域設定部をさらに備える
    請求項１に記載の医療システム。
14. 前記注目領域設定部は、ユーザからの指定に応じて、前記注目領域を設定する
    請求項１３に記載の医療システム。
15. 前記注目領域設定部は、所定のロボットの出力に応じて、前記注目領域を設定する
    請求項１３に記載の医療システム。
16. 前記注目領域設定部は、あらかじめ指定された部位が映る領域を、前記注目領域を設定する
    請求項１３に記載の医療システム。
17. 術野を撮影した術野画像を用いて、第１のアルゴリズムにより、前記術野の3D情報を生成する第１の生成部と、
    前記術野画像に注目領域が設定された場合、前記第１のアルゴリズムと異なる第２のアルゴリズムにより、前記注目領域の3D情報を生成する第２の生成部と
    を備え、
    前記第１のアルゴリズムは、前記第２のアルゴリズムよりも計算量が少ないアルゴリズムである
    信号処理装置。
18. 第１の生成部と第２の生成部を備える信号処理装置の
    前記第１の生成部が、術野を撮影した術野画像を用いて、第１のアルゴリズムにより、前記術野の3D情報を生成することと、
    前記第２の生成部が、前記術野画像に注目領域が設定された場合、前記第１のアルゴリズムと異なる第２のアルゴリズムにより、前記注目領域の3D情報を生成することと
    を含み、
    前記第１のアルゴリズムは、前記第２のアルゴリズムよりも計算量が少ないアルゴリズムである
    信号処理方法。

Images