JPWO2019181212A1 - 医療用表示制御装置、および表示制御方法 - Google Patents

Abstract

【課題】医療従事者の利便性の向上を図ることが可能な、医療用表示制御装置、および表示制御方法を提供する。
【解決手段】観察対象を撮像する撮像デバイスにより撮像された右目用の医療用撮像画像および左目用の医療用撮像画像に基づいて、観察対象の立体モデルを生成する生成部と、立体モデルと右目用の特殊光観察画像および左目用の特殊光観察画像とを組み合わせて表示画面に表示させる、または、立体モデルと外部の生体情報取得装置から取得される生体情報とを組み合わせて表示画面に表示させる、表示制御部と、を備える、医療用表示制御装置が、提供される。
【選択図】図５

Description

本開示は、医療用表示制御装置、および表示制御方法に関する。

近年、医療現場においては、例えば、脳神経外科手術などの微細手術（マイクロサージャリ）をサポートするためや、内視鏡手術を行うために、患部などの観察対象を拡大観察することが可能な医療用観察装置が用いられる場合がある。医療用観察装置としては、例えば、光学式の顕微鏡を備える医療用観察装置と、電子撮像式の顕微鏡として機能する撮像デバイスを備える医療用観察装置とが挙げられる。以下では、上記光学式の顕微鏡を備える医療用観察装置を「光学式の医療用観察装置」と示す。また、以下では、上記撮像デバイスを備える医療用観察装置を、「電子撮像式の医療用観察装置」または単に「医療用観察装置」と示す場合がある。また、以下では、医療用観察装置が備える撮像デバイスにより観察対象が撮像された撮像画像（動画像、または、静止画像。以下、同様とする。）を「医療用撮像画像」と示す。

電子撮像式の医療用観察装置は、撮像デバイスの高画質化や撮像された画像が表示される表示装置の高画質化などに伴い、光学式の医療用観察装置と同等以上の画質が得られるようになっている。また、電子撮像式の医療用観察装置を用いる利用者（例えば、術者や術者の助手などの医療従事者。以下、同様とする。）は、光学式の医療用観察装置を用いる場合のように光学式の顕微鏡を構成する接眼レンズを覗き込む必要はないので、撮像デバイスの位置をより自由に移動させることが可能である。そのため、電子撮像式の医療用観察装置が用いられることによって微細手術などをより柔軟にサポートすることができるという利点があり、医療現場での電子撮像式の医療用観察装置の利用が進んでいる。

また、“手術室から離れた場所から、手術室で手術中に使用されている装置を管理する手術支援システム”に関する技術が開発されている。上記技術としては、例えば下記の特許文献１に記載の技術が挙げられる。

特開２００７−７０４０号公報

電子撮像式の医療用観察装置は、例えば、近赤外線の波長帯域の光や、５−ＡＬＡ（5-Aminolevulinic Acid）を用いた蛍光観察の蛍光波長帯域の光など、自然光とは異なる特定の波長帯域の光を用いて撮像を行うことが可能である。以下では、自然光とは異なる特定の波長帯域の光を「特殊光」と示す。

特殊光を用いて撮像が行われることによって、例えば、術者や助手などの医療従事者は、観察対象における血管や腫瘍などの位置を、自然光を用いて撮像が行われる場合よりも、より容易に特定することが可能である。しかしながら、特殊光を用いて撮像が行われることにより得られる医療用撮像画像では、輝度、コントラストが十分でなく暗部ノイズが多いことがある。上記のように輝度、コントラストが十分でなく暗部ノイズが多い医療用撮像画像が得られた場合には、医療従事者が、観察対象における血管や腫瘍などの位置を容易に特定することができない可能性がある。以下では、特殊光を用いて撮像が行われることにより得られる医療用撮像画像を「特殊光観察画像」と示す。

また、医療現場では、電子撮像式の医療用観察装置などの医療用観察装置に加えて、例えば、“神経モニタリング装置や、迷走神経を電気刺激する神経刺激装置などの、生体情報を取得することが可能な医療用装置”が用いられている。以下では、生体情報を取得することが可能な医療用装置を「生体情報取得装置」と示す。

生体情報取得装置により取得された生体情報が示す内容は、例えば、医療現場に設置されている任意の表示装置に表示され、術者や助手などの医療従事者は、医療用観察装置により観察されている観察対象の状態と、当該生体情報が示す内容とを、頭の中で統合して、手技などの医療行為を行っている。そのため、医療従事者が負担を感じる場合があった。

本開示では、医療従事者の利便性の向上を図ることが可能な、新規かつ改良された医療用表示制御装置、および表示制御方法を提案する。

本開示によれば、観察対象を撮像する撮像デバイスにより撮像された右目用の医療用撮像画像および左目用の医療用撮像画像に基づいて、上記観察対象の立体モデルを生成する生成部と、上記立体モデルと右目用の特殊光観察画像および左目用の特殊光観察画像とを組み合わせて表示画面に表示させる、または、上記立体モデルと外部の生体情報取得装置から取得される生体情報とを組み合わせて上記表示画面に表示させる表示制御部と、を備える、医療用表示制御装置が、提供される。

また、本開示によれば、観察対象を撮像する撮像デバイスにより撮像された右目用の医療用撮像画像および左目用の医療用撮像画像に基づいて、上記観察対象の立体モデルを生成することと、上記立体モデルと右目用の特殊光観察画像および左目用の特殊光観察画像とを組み合わせて表示画面に表示させる、または、上記立体モデルと外部の生体情報取得装置から取得される生体情報とを組み合わせて上記表示画面に表示させることと、を有する、医療用表示制御装置により実行される表示制御方法が、提供される。

本開示によれば、医療従事者の利便性の向上を図ることができる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。

本実施形態に係る医療用観察システムの構成の第１の例を示す説明図である。 本実施形態に係る医療用観察システムが使用されるユースケースの一例を示す説明図である。 本実施形態に係る医療用観察装置が備える撮像デバイスの構成の一例を説明するための説明図である。 本実施形態に係る医療用観察システムの構成の第２の例を示す説明図である。 本実施形態に係る医療用観察装置の構成の一例を示す機能ブロック図である。 本実施形態に係る医療用撮像画像の一例を示す説明図である。 本実施形態に係る“立体モデルと右目用の特殊光観察画像および左目用の特殊光観察画像とが組み合わされた表示”の一例を示す説明図である。 神経モニタリング装置による生体情報の取得の例を説明するための説明図である。 神経モニタリング装置による生体情報の取得の例を説明するための説明図である。 本実施形態に係る表示制御方法の第２の適用例に係る“立体モデルと生体情報とが組み合わされた表示”の第１の例を示す説明図である。 本実施形態に係る表示制御方法の第２の適用例に係る“立体モデルと生体情報とが組み合わされた表示”の第２の例を示す説明図である。 本実施形態に係る表示制御方法の第２の適用例に係る“立体モデルと生体情報とが組み合わされた表示”の第３の例を示す説明図である。 神経刺激装置による生体情報の取得の例を説明するための説明図である。 本実施形態に係る表示制御方法の第３の適用例に係る“立体モデルと生体情報とが組み合わされた表示”の例を示す説明図である。 本実施形態に係る表示制御方法の第３の適用例に係る処理の一例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る医療用観察システム、および本実施形態に係る表示制御方法
［１］医療用観察システムの構成
［１−１］第１の例に係る医療用観察システム
［１−２］第２の例に係る医療用観察システム
［１−３］医療用観察装置の機能構成
［２］本実施形態に係る表示制御方法
［３］本実施形態に係る表示制御方法の適用例
［３−１］本実施形態に係る表示制御方法の第１の適用例
［３−２］本実施形態に係る表示制御方法の第２の適用例
［３−３］本実施形態に係る表示制御方法の第３の適用例
［４］本実施形態に係る表示制御方法が用いられることにより奏される効果の一例
２．本実施形態に係るプログラム

（本実施形態に係る医療用観察システム、および本実施形態に係る表示制御方法）
以下、本実施形態に係る医療用観察システムの一例を説明しつつ、本実施形態に係る表示制御方法について説明する。

以下では、本実施形態に係る医療用観察装置が本実施形態に係る表示制御方法に係る処理を行う場合、すなわち、本実施形態に係る医療用観察装置が医療用表示制御装置として機能する場合について、主に説明する。なお、本実施形態に係る医療用観察システムにおいて、医療用表示制御装置として機能する装置は、本実施形態に係る医療用観察装置に限られない。例えば、本実施形態に係る医療用観察システムでは、後述する表示装置が、本実施形態に係る表示制御方法に係る処理を行う医療用表示制御装置として機能してもよい。また、本実施形態に係る医療用観察システムでは、メディカルコントローラなどの本実施形態に係る表示制御方法に係る処理を行うことが可能な任意の装置が、医療用表示制御装置として機能しうる。

［１］医療用観察システムの構成
［１−１］第１の例に係る医療用観察システム
図１は、本実施形態に係る医療用観察システム１０００の構成の第１の例を示す説明図である。図１に示す医療用観察システム１０００は、例えば、医療用観察装置１００と、表示装置２００とを有する。

なお、第１の例に係る医療用観察システムは、図１に示す例に限られない。

例えば、第１の例に係る医療用観察システムは、医療用観察装置１００における各種動作を制御する医療用制御装置（図示せず）を、さらに有していてもよい。図１に示す医療用観察システム１０００では、後述するように、医療用観察装置１００が制御部（後述する）を備えることにより、医療用観察装置１００が医療用制御装置（図示せず）の機能を有している例を示している。

医療用制御装置（図示せず）としては、例えば、“メディカルコントローラ”や、“サーバなどのコンピュータ”などが、挙げられる。また、医療用制御装置（図示せず）は、例えば、上記のような機器に組み込むことが可能な、ＩＣ（Integrated Circuit）であってもよい。

また、第１の例に係る医療用観察システムは、医療用観察装置１００と表示装置２００との一方または双方を複数有する構成であってもよい。医療用観察装置１００を複数有する場合、医療用観察装置１００それぞれにおいて、後述する表示制御方法に係る処理が行われる。また、第１の例に係る医療用観察システムが医療用観察装置１００と表示装置２００とを複数有する構成である場合、医療用観察装置１００と表示装置２００とが一対一に対応付けられていてもよいし、複数の医療用観察装置１００が１つの表示装置２００に対応付けられていてもよい。複数の医療用観察装置１００が１つの表示装置２００に対応付けられている場合、表示装置２００では、例えば切り替え操作などが行われることによって、どの医療用観察装置１００において撮像された医療用撮像画像を表示画面に表示させるのかが、切り替えられる。

図２は、本実施形態に係る医療用観察システム１０００が使用されるユースケースの一例を示す説明図であり、第１の例に係る医療用観察システム１０００が使用されるユースケースの一例を示している。

医療用観察装置１００が備える撮像デバイス（後述する）によって、観察対象の患者ＰＡ（医療行為を受ける対象の患者）が撮像される。上記医療行為を受ける対象の患者が撮像された撮像画像が、医療用撮像画像の一例に該当する。

医療用観察装置１００において撮像された医療用撮像画像は、表示装置２００の表示画面に表示される。そして、医療用観察装置１００を用いて医療行為を行う術者ＯＰ（医療用観察装置１００の使用者の一例）は、表示装置２００の表示画面に表示されている医療用撮像画像を見ながら、患者ＰＡに対して医療行為を行う。

また、術者ＯＰは、フットスイッチＦＳなどの医療用観察装置１００の外部の操作デバイス、または、医療用観察装置１００が備える操作デバイス（後述する）を操作することによって、医療用観察装置１００が備えるアーム（後述する）や撮像デバイス（後述する）などを動作させ、医療用観察装置１００を所望の状態にさせる。

以下、図１に示す第１の例に係る医療用観察システム１０００を構成する各装置について、説明する。

［１−１−１］表示装置２００
表示装置２００は、第１の例に係る医療用観察システム１０００における表示手段であり、医療用観察装置１００からみて外部の表示デバイスに該当する。表示装置２００は、例えば、医療用観察装置１００において撮像された医療用撮像画像や、ＵＩ（User Interface）に係る画像などの、様々な画像を表示画面に表示する。また、表示装置２００は、任意の方式により３Ｄ表示が可能な構成を有していてもよい。表示装置２００における表示は、例えば、医療用観察装置１００、または、医療用制御装置（図示せず）によって制御される。

医療用観察システム１０００において表示装置２００は、手術室の壁面や天井、床面などの、手術室内において術者などの手術に関わる者により視認されうる任意の場所に設置される。

表示装置２００としては、例えば、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイなどが挙げられる。

なお、表示装置２００は、上記に示す例に限られない。例えば、表示装置２００は、ヘッドマウントディスプレイやアイウェア型の装置などのような、術者などが身体に装着して用いる任意のウェアラブル装置であってもよい。

表示装置２００は、例えば、表示装置２００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。

［１−１−２］医療用観察装置１００
図１に示す医療用観察装置１００は、電子撮像式の医療用観察装置である。例えば手術時に図１に示す医療用観察装置１００が用いられる場合、術者（医療用観察装置１００の使用者の一例）は、医療用観察装置１００により撮像されて、表示装置２００の表示画面に表示された医療用撮像画像を参照しながら術部（患部）を観察し、当該術部に対して、術式に応じた手技などの各種処置を行う。

図１に示すように、医療用観察装置１００は、例えば、ベース１０２と、アーム１０４と、撮像デバイス１０６とを備える。

また、図１では示していないが、医療用観察装置１００は、例えば、ＭＰＵ（Micro Processing Unit）などの演算回路で構成される、１または２以上のプロセッサ（図示せず）と、ＲＯＭ（Read Only Memory。図示せず）と、ＲＡＭ（Random Access Memory。図示せず）と、記録媒体（図示せず）と、通信デバイス（図示せず）とを、備えていてもよい。医療用観察装置１００は、例えば、医療用観察装置１００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。

プロセッサ（図示せず）は、医療用観察装置１００における制御部（後述する）として機能する。ＲＯＭ（図示せず）は、プロセッサ（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、プロセッサ（図示せず）により実行されるプログラムなどを一時的に記憶する。

記録媒体（図示せず）は、医療用観察装置１００における記憶部（図示せず）として機能する。記録媒体（図示せず）には、例えば、本実施形態に係る表示制御方法に係るデータや、各種アプリケーションなどの、様々なデータが記憶される。ここで、記録媒体（図示せず）としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記録媒体（図示せず）は、医療用観察装置１００から着脱可能であってもよい。

通信デバイス（図示せず）は、医療用観察装置１００が備える通信手段であり、表示装置２００などの外部装置と、無線または有線で通信を行う役目を果たす。ここで、通信デバイス（図示せず）としては、例えば、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）や、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、通信アンテナおよびＲＦ回路（無線通信）、あるいはＬＡＮ端子および送受信回路（有線通信）などが挙げられる。

［１−１−２−１］ベース１０２
ベース１０２は、医療用観察装置１００の基台であり、アーム１０４の一端が接続されて、アーム１０４と撮像デバイス１０６とを支持する。

また、ベース１０２には例えばキャスタが設けられ、医療用観察装置１００は、キャスタを介して床面と接地する。キャスタが設けられることにより、医療用観察装置１００は、キャスタによって床面上を容易に移動することが可能である。

［１−１−２−２］アーム１０４
アーム１０４は、複数のリンクが関節部によって互いに連結されて構成される。

また、アーム１０４は、撮像デバイス１０６を支持する。アーム１０４により支持された撮像デバイス１０６は３次元的に移動可能であり、移動後の撮像デバイス１０６は、アーム１０４によって、位置および姿勢が保持される。

より具体的には、アーム１０４は、例えば、複数の関節部１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、１１０ｅ、１１０ｆと、関節部１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、１１０ｅ、１１０ｆによって互いに回動可能に連結される複数のリンク１１２ａ、１１２ｂ、１１２ｃ、１１２ｄ、１１２ｅ、１１２ｆとから構成される。関節部１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、１１０ｅ、１１０ｆそれぞれの回転可能範囲は、アーム１０４の所望の動きが実現されるように、設計段階や製造段階などにおいて任意に設定される。

つまり、図１に示す医療用観察装置１００では、アーム１０４を構成する６つの関節部１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、１１０ｅ、１１０ｆに対応する６つの回転軸（第１軸Ｏ１、第２軸Ｏ２、第３軸Ｏ３、第４軸Ｏ４、第５軸Ｏ５、および第６軸Ｏ６）によって、撮像デバイス１０６の移動に関して６自由度が実現されている。より具体的には、図１に示す医療用観察装置１００では、並進３自由度、および回転３自由度の６自由度の動きが実現される。

関節部１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、１１０ｅ、１１０ｆそれぞれには、アクチュエータ（図示せず）が設けられ、関節部１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、１１０ｅ、１１０ｆそれぞれは、アクチュエータ（図示せず）の駆動によって、対応する回転軸で回転する。アクチュエータ（図示せず）の駆動は、例えば、後述する制御部として機能するプロセッサ、または、外部の医療用制御装置（図示せず）によって制御される。

関節部１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、１１０ｅ、１１０ｆそれぞれには、６つの回転軸における回転角度をそれぞれ検出することが可能な角度センサ（図示せず）が、設けられうる。角度センサとしては、例えば、ロータリエンコーダや角速度センサなどの、６つの回転軸それぞれにおける回転角度を得ることが可能な任意のセンサが、挙げられる。

関節部１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、１１０ｅ、１１０ｆそれぞれが、アクチュエータ（図示せず）の駆動により対応する回転軸で回転することによって、例えばアーム１０４を伸ばす、縮める（折り畳む）などの、様々なアーム１０４の動作が、実現される。

関節部１１０ａは、略円柱形状を有し、関節部１１０ａの先端部分（図１における下端部分）で、撮像デバイス１０６（図１における撮像デバイス１０６の上端部分）を、撮像デバイス１０６の中心軸と平行な回転軸（第１軸Ｏ１）まわりに回動可能なように支持する。ここで、医療用観察装置１００は、第１軸Ｏ１が撮像デバイス１０６における光軸と一致するように構成される。つまり、図１に示す第１軸Ｏ１まわりに撮像デバイス１０６を回動させることによって、撮像デバイス１０６により撮像された医療用撮像画像は、視野が回転するように変更される画像となる。

リンク１１２ａは、略棒状の部材であり、関節部１１０ａを固定的に支持する。リンク１１２ａは、例えば、第１軸Ｏ１と直交する方向に延伸され、関節部１１０ｂに接続される。

関節部１１０ｂは、略円柱形状を有し、リンク１１２ａを、第１軸Ｏ１と直交する回転軸（第２軸Ｏ２）まわりに回動可能なように支持する。また、関節部１１０ｂには、リンク１１２ｂが固定的に接続される。

リンク１１２ｂは、略棒状の部材であり、第２軸Ｏ２と直交する方向に延伸される。また、リンク１１２ｂには、関節部１１０ｂと関節部１１０ｃとがそれぞれ接続される。

関節部１１０ｃは、略円柱形状を有し、リンク１１２ｂを、第１軸Ｏ１および第２軸Ｏ２それぞれと互いに直交する回転軸（第３軸Ｏ３）まわりに回動可能なように支持する。また、関節部１１０ｃには、リンク１１２ｃの一端が固定的に接続される。

ここで、第２軸Ｏ２および第３軸Ｏ３まわりにアーム１０４の先端側（撮像デバイス１０６が設けられる側）が回動することによって、水平面内での撮像デバイス１０６の位置が変更されるように、撮像デバイス１０６を移動させることができる。つまり、医療用観察装置１００では、第２軸Ｏ２および第３軸Ｏ３まわりの回転が制御されることにより、医療用撮像画像の視野を平面内で移動させることが可能になる。

リンク１１２ｃは、一端が略円柱形状を有し、他端が略棒状を有する部材である。リンク１１２ｃの一端側には、関節部１１０ｃの中心軸と略円柱形状の中心軸とが同一となるように、関節部１１０ｃが固定的に接続される。また、リンク１１２ｃの他端側には、関節部１１０ｄが接続される。

関節部１１０ｄは、略円柱形状を有し、リンク１１２ｃを、第３軸Ｏ３と直交する回転軸（第４軸Ｏ４）まわりに回動可能なように支持する。関節部１１０ｄには、リンク１１２ｄが固定的に接続される。

リンク１１２ｄは、略棒状の部材であり、第４軸Ｏ４と直交するように延伸される。リンク１１２ｄの一端は、関節部１１０ｄの略円柱形状の側面に当接するように、関節部１１０ｄに固定的に接続される。また、リンク１１２ｄの他端（関節部１１０ｄが接続される側とは反対側の端）には、関節部１１０ｅが接続される。

関節部１１０ｅは、略円柱形状を有し、リンク１１２ｄの一端を、第４軸Ｏ４と平行な回転軸（第５軸Ｏ５）まわりに回動可能なように支持する。また、関節部１１０ｅには、リンク１１２ｅの一端が固定的に接続される。

ここで、第４軸Ｏ４および第５軸Ｏ５は、撮像デバイス１０６を垂直方向に移動させうる回転軸である。第４軸Ｏ４および第５軸Ｏ５まわりにアーム１０４の先端側（撮像デバイス１０６が設けられる側）が回動することによって、撮像デバイス１０６の垂直方向の位置が変わる。よって、第４軸Ｏ４および第５軸Ｏ５まわりにアーム１０４の先端側（撮像デバイス１０６が設けられる側）が回動することによって、撮像デバイス１０６と、患者の術部などの観察対象との距離を変えることが、可能となる。

リンク１１２ｅは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略Ｌ字形状を有する第１の部材と、当該第１の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第２の部材とが、組み合わされて構成される部材である。リンク１１２ｅの第１の部材の鉛直方向に延伸する部位には、関節部１１０ｅが固定的に接続される。また、リンク１１２ｅの第２の部材には、関節部１１０ｆが接続される。

関節部１１０ｆは、略円柱形状を有し、リンク１１２ｅを、鉛直方向と平行な回転軸（第６軸Ｏ６）まわりに回動可能なように支持する。また、関節部１１０ｆには、リンク１１２ｆが固定的に接続される。

リンク１１２ｆは、略棒状の部材であり、鉛直方向に延伸される。リンク１１２ｆの一端は、関節部１１０ｆが接続される。また、リンク１１２ｆの他端（関節部１１０ｆが接続される側とは反対側の端）は、ベース１０２に固定的に接続される。

アーム１０４が上記に示す構成を有することによって、医療用観察装置１００では、撮像デバイス１０６の移動に関して６自由度が実現される。

なお、アーム１０４の構成は、上記に示す例に限られない。

例えば、アーム１０４の関節部１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、１１０ｅ、１１０ｆそれぞれには、関節部１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、１１０ｅ、１１０ｆそれぞれにおける回転を規制するブレーキが設けられていてもよい。本実施形態に係るブレーキとしては、例えば、機械的に駆動するブレーキや、電気的に駆動する電磁ブレーキなど、任意の方式のブレーキが挙げられる。

上記ブレーキの駆動は、例えば、後述する制御部として機能するプロセッサ、または、外部の医療用制御装置（図示せず）によって制御される。上記ブレーキの駆動が制御されることにより、医療用観察装置１００では、アーム１０４の動作モードが設定される。アーム１０４の動作モードとしては、例えば、固定モードとフリーモードとが挙げられる。

ここで、本実施形態に係る固定モードとは、例えば、アーム１０４に設けられる各回転軸における回転がブレーキにより規制されることにより、撮像デバイス１０６の位置および姿勢が固定される動作モードである。アーム１０４が固定モードとなることによって、医療用観察装置１００の動作状態は、撮像デバイス１０６の位置および姿勢が固定される固定状態となる。

また、本実施形態に係るフリーモードとは、上記ブレーキが解除されることにより、アーム１０４に設けられる各回転軸が自由に回転可能となる動作モードである。例えば、フリーモードでは、術者による直接的な操作によって撮像デバイス１０６の位置および姿勢を調整することが可能となる。ここで、本実施形態に係る直接的な操作とは、例えば、術者が手で撮像デバイス１０６を把持し、当該撮像デバイス１０６を直接移動させる操作のことを意味する。

［１−１−２−３］撮像デバイス１０６
撮像デバイス１０６は、アーム１０４により支持され、例えば患者の術部などの観察対象を撮像する。撮像デバイス１０６における撮像は、例えば、後述する制御部として機能するプロセッサ、または、外部の医療用制御装置（図示せず）によって制御される。

撮像デバイス１０６は、例えば電子撮像式の顕微鏡に対応する構成を有する。

図３は、本実施形態に係る医療用観察装置１００が備える撮像デバイス１０６の構成の一例を説明するための説明図である。

撮像デバイス１０６は、例えば、撮像部材１２０と、略円筒形状を有する筒状部材１２２とを有し、撮像部材１２０は、筒状部材１２２内に設けられる。

筒状部材１２２の下端（図３における下側の端）の開口面には、例えば、撮像部材１２０を保護するためのカバーガラス（図示せず）が設けられる。

また、例えば筒状部材１２２の内部には光源（図示せず）が設けられ、撮像時には、当該光源からカバーガラス越しに被写体に対して照明光が照射される。照明光が照射された被写体からの反射光（観察光）が、カバーガラス（図示せず）を介して撮像部材１２０に入射することにより、撮像部材１２０によって被写体を示す画像信号（医療用撮像画像を示す画像信号）が得られる。

撮像部材１２０としては、各種の公知の電子撮像式の顕微鏡部に用いられている構成を適用することが可能である。

一例を挙げると、撮像部材１２０は、例えば、光学系１２０ａと、光学系１２０ａを通過した光により観察対象の像を撮像する撮像素子を含むイメージセンサ１２０ｂとで構成される。光学系１２０ａは、例えば、対物レンズ、ズームレンズおよびフォーカスレンズなどの１または２以上のレンズとミラーなどの光学素子で構成される。イメージセンサ１２０ｂとしては、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などの撮像素子を複数用いたイメージセンサが、挙げられる。

撮像部材１２０は、例えば、光学系１２０ａおよびイメージセンサ１２０ｂで構成される撮像デバイスを、２つ以上有することなどにより、いわゆるステレオカメラとして機能する。ステレオカメラとして機能する撮像デバイス１０６の構成において、光学系は、ガリレオ式光学系であってもよいし、グリノー式光学系であってもよい。

以下では、後述する第２の例に係る医療用観察システムを構成する医療用観察装置１００を含む本実施形態に係る医療用観察装置１００が、ステレオカメラとして機能する複数の撮像デバイスを備え、複数の撮像デバイスそれぞれの撮像によって、右目用の医療用撮像画像および左目用の医療用撮像画像を含む複数の医療用撮像画像が得られる場合を例に挙げる。

撮像部材１２０を構成する撮像デバイスには、ズーム機能（光学ズーム機能と電子ズーム機能との一方または双方）、ＡＦ（Auto Focus）機能などの、一般的に電子撮像式の顕微鏡部に備えられる１または２以上の機能が搭載される。

また、撮像部材１２０は、例えば４Ｋ、８Ｋなどの、いわゆる高解像度での撮像が可能な構成であってもよい。撮像部材１２０が高解像度での撮像が可能に構成されることにより、所定の解像度（例えば、Ｆｕｌｌ ＨＤ画質など）を確保しつつ、例えば５０インチ以上などの大画面の表示画面を有する表示装置２００に画像を表示させることが可能となるので、当該表示画面を見る術者の視認性が向上する。また、撮像部材１２０が高解像度での撮像が可能に構成されることにより、撮像画像が電子ズーム機能によって拡大されて表示装置２００の表示画面に表示されたとしても、所定の解像度を確保することが可能となる。さらに、電子ズーム機能を用いて所定の解像度が確保される場合には、撮像デバイス１０６における光学ズーム機能の性能を抑えることが可能となるので、撮像デバイス１０６の光学系をより簡易にすることができ、撮像デバイス１０６をより小型に構成することができる。

撮像デバイス１０６には、例えば、撮像デバイス１０６の動作を制御するための各種の操作デバイスが設けられる。例えば図３では、ズームスイッチ１２４と、フォーカススイッチ１２６と、動作モード変更スイッチ１２８とが、撮像デバイス１０６に設けられている。なお、ズームスイッチ１２４、フォーカススイッチ１２６、および動作モード変更スイッチ１２８が設けられる位置と形状とが、図３に示す例に限られないことは、言うまでもない。

ズームスイッチ１２４とフォーカススイッチ１２６とは、撮像デバイス１０６における撮像条件を調整するための操作デバイスの一例である。

ズームスイッチ１２４は、例えば、ズーム倍率（拡大率）を大きくするズームインスイッチ１２４ａと、ズーム倍率を小さくするズームアウトスイッチ１２４ｂとで構成される。ズームスイッチ１２４に対する操作が行われることによりズーム倍率が調整されて、ズームが調整される。

フォーカススイッチ１２６は、例えば、観察対象（被写体）までの焦点距離を遠くする遠景フォーカススイッチ１２６ａと、観察対象までの焦点距離を近くする近景フォーカススイッチ１２６ｂとで構成される。フォーカススイッチ１２６に対する操作が行われることにより焦点距離が調整されて、フォーカスが調整される。

動作モード変更スイッチ１２８は、撮像デバイス１０６におけるアーム１０４の動作モードを変更するための操作デバイスの一例である。動作モード変更スイッチ１２８に対する操作が行われることにより、アーム１０４の動作モードが変更される。アーム１０４の動作モードとしては、例えば上述したように、固定モードとフリーモードとが挙げられる。

動作モード変更スイッチ１２８に対する操作の一例としては、動作モード変更スイッチ１２８を押下する操作が、挙げられる。例えば、術者が動作モード変更スイッチ１２８を押下している間、アーム１０４の動作モードがフリーモードとなり、術者が動作モード変更スイッチ１２８を押下していないときには、アーム１０４の動作モードが固定モードとなる。

また、撮像デバイス１０６には、各種操作デバイスに対する操作を行う操作者が操作を行う際の操作性や利便性などをより高めるために、例えば、滑り止め部材１３０と、突起部材１３２とが設けられる。

滑り止め部材１３０は、例えば操作者が筒状部材１２２を手などの操作体で操作を行う際に、操作体の滑りを防止するために設けられる部材である。滑り止め部材１３０は、例えば、摩擦係数が大きい材料で形成され、凹凸などのより滑りにくい構造を有する。

突起部材１３２は、操作者が筒状部材１２２を手などの操作体で操作を行う際に、当該操作体が光学系１２０ａの視野を遮ってしまうことや、当該操作体で操作を行う際に、カバーガラス（図示せず）に当該操作体が触れることにより当該カバーガラスが汚れることなどを、防止するために設けられる部材である。

なお、滑り止め部材１３０および突起部材１３２それぞれが設けられる位置と形状とが、図３に示す例に限られないことは、言うまでもない。また、撮像デバイス１０６には、滑り止め部材１３０と突起部材１３２との一方または双方が設けられていなくてもよい。

撮像デバイス１０６における撮像により生成された画像信号（画像データ）は、例えば後述する制御部として機能するプロセッサにおいて、画像処理が行われる。本実施形態に係る画像処理としては、例えば、ガンマ補正、ホワイトバランスの調整、電子ズーム機能に係る画像の拡大または縮小、または、画素間補正などの各種処理のうちの、１または２以上の処理が、挙げられる。

なお、本実施形態に係る医療用観察システムが、医療用観察装置１００における各種動作を制御する医療用制御装置（図示せず）を有する場合には、本実施形態に係る画像処理は、当該医療用制御装置（図示せず）において行われてもよい。

医療用観察装置１００は、例えば、表示制御信号と、上記のような画像処理が行われた画像信号とを、表示装置２００に送信する。

表示制御信号と画像信号とが表示装置２００に送信されることによって、表示装置２００の表示画面には、観察対象が撮像された医療用撮像画像（例えば、術部が撮像された撮像画像）が、光学ズーム機能と電子ズーム機能との一方または双方によって所望の倍率に拡大または縮小されて表示される。

図１に示す医療用観察装置１００は、例えば図１、図３を参照して示したハードウェア構成を有する。

なお、本実施形態に係る医療用観察装置のハードウェア構成は、図１、図３を参照して示した構成に限られない。

例えば、本実施形態に係る医療用観察装置は、ベース１０２を備えず、手術室などの天井や壁面などにアーム１０４が直接取り付けられる構成であってもよい。例えば、天井にアーム１０４が取り付けられる場合には、本実施形態に係る医療用観察装置は、アーム１０４が天井から吊り下げられる構成となる。

また、図１では、アーム１０４が、撮像デバイス１０６の駆動に関して６自由度が実現されるように構成されている例を示しているが、アーム１０４の構成は、撮像デバイス１０６の駆動に関する自由度が６自由度となる構成に限られない。例えば、アーム１０４は、用途に応じて撮像デバイス１０６を適宜移動しうるように構成されればよく、関節部およびリンクの数や配置、関節部の駆動軸の方向などは、アーム１０４が所望の自由度を有するように適宜設定することが可能である。

また、図１、図３では、撮像デバイス１０６の動作を制御するための各種の操作デバイスが、撮像デバイス１０６に設けられる例を示しているが、図１、図３に示す操作デバイスのうちの一部または全部は、撮像デバイス１０６に設けられなくてもよい。一例を挙げると、撮像デバイス１０６の動作を制御するための各種の操作デバイスは、本実施形態に係る医療用観察装置を構成する撮像デバイス１０６以外の他の部位に設けられていてもよい。また、他の例を挙げると、撮像デバイス１０６の動作を制御するための各種の操作デバイスは、フットスイッチＦＳやリモートコントローラなどの、外部の操作デバイスであってもよい。

また、撮像デバイス１０６は、複数の観察モードを切り替えることが可能な構成であってもよい。本実施形態に係る観察モードとしては、例えば、自然光で撮像を行う観察モード、特殊光で撮像を行う観察モード、ＮＢＩ（Narrow Band Imaging）などの画像強調観察技術を利用して撮像を行う観察モードなどが、挙げられる。本実施形態に係る特殊光とは、例えば上述したように、近赤外線の波長帯域の光や、５−ＡＬＡを用いた蛍光観察の蛍光波長帯域の光など、特定の波長帯域の光である。

複数の観察モードを切り替えることが可能な撮像デバイス１０６の構成の一例としては、例えば、“特定の波長帯域の光を透過させ、他の波長帯域の光を透過させないフィルタと、当該フィルタを光路上に選択的に配置する移動機構と、を備える構成”が、挙げられる。本実施形態に係るフィルタが透過させる特定の波長帯域としては、例えば、近赤外線の波長帯域（例えば、約０．７［マイクロメートル］〜２．５［マイクロメートル］の波長帯域）や、５−ＡＬＡを用いた蛍光観察による蛍光波長帯域（例えば、約０．６［マイクロメートル］〜０．６５［マイクロメートル］の波長帯域）、ＩＣＧ（Indocyanine Green）の蛍光波長帯域（例えば、約０．８２［マイクロメートル］〜０．８５［マイクロメートル］の波長帯域）などが、挙げられる。

なお、撮像デバイス１０６には、透過させる波長帯域が異なる複数のフィルタが設けられていてもよい。また、上記では、フィルタが光路上に配置されることにより、特定の波長帯域の光で撮像が行われる例を示したが、特定の波長帯域の光で撮像を行うための撮像デバイス１０６の構成が、上記に示す例に限られないことは、言うまでもない。

以下では、撮像デバイス１０６などの本実施形態に係る医療用観察装置１００が備える撮像デバイスが、特殊光で撮像を行う観察モードで撮像を行うことを「特殊光観察」と示す。

［１−２］第２の例に係る医療用観察システム
本実施形態に係る医療用観察システム１０００は、図１に示す第１の例に示す構成に限られない。次に、医療用観察システム１０００の他の例として、内視鏡装置として機能する医療用観察装置１００を有する医療用観察システム１０００の構成の一例を説明する。

図４は、本実施形態に係る医療用観察システム１０００の構成の第２の例を示す説明図である。図４に示す医療用観察システム１０００は、例えば、医療用観察装置１００と、表示装置２００とを有する。例えば図４に示す医療用観察装置１００が手術時に用いられる場合、術者は、医療用観察装置１００により撮像されて、表示装置２００の表示画面に表示された医療用撮像画像を参照しながら術部を観察し、当該術部に対して、術式に応じた手技などの各種処置を行う。

なお、第２の例に係る医療用観察システムは、図４に示す例に限られない。

例えば、第２の例に係る医療用観察システムは、第１の例に係る医療用観察システムと同様に、医療用観察装置１００における各種動作を制御する医療用制御装置（図示せず）を、さらに有していてもよい。

また、第２の例に係る医療用観察システムは、第１の例に係る医療用観察システムと同様に、医療用観察装置１００と表示装置２００との一方または双方を複数有する構成であってもよい。

以下、図４に示す第２の例に係る医療用観察システム１０００を構成する各装置について、説明する。

［１−２−１］表示装置２００
表示装置２００は、第２の例に係る医療用観察システム１０００における表示手段であり、医療用観察装置１００からみて外部の表示デバイスに該当する。第２の例に係る医療用観察システム１０００を構成する表示装置２００は、第１の例に係る医療用観察システム１０００を構成する表示装置２００と同様である。

［１−２−２］医療用観察装置１００
図４に示す医療用観察装置１００は、例えば、挿入部材１３４と、光源ユニット１３６と、ライトガイド１３８と、カメラヘッド１４０と、ケーブル１４２と、制御ユニット１４４とを備える。医療用観察装置１００は、例えば、医療用観察装置１００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。

挿入部材１３４は、細長形状を有し、入射光を集光する光学系を内部に備える。挿入部材１３４の先端は、例えば、患者の体腔内に挿入される。挿入部材１３４の後端はカメラヘッド１４０の先端と着脱可能に接続される。また、挿入部材１３４は、ライトガイド１３８を介して光源ユニット１３６と接続され、光源ユニット１３６から光が供給される。

挿入部材１３４は、例えば、可撓性を有さない素材で形成されてもよいし、可撓性を有する素材で形成されてもよい。挿入部材１３４を形成する素材によって、医療用観察装置１００は、硬性鏡または軟性鏡と呼ばれうる。

光源ユニット１３６は、ライトガイド１３８を介して挿入部材１３４と接続される。光源ユニット１３６は、ライトガイド１３８を介して挿入部材１３４に光を供給する。

光源ユニット１３６は、例えば、波長が異なる光を発光する複数の光源を有する。光源ユニット１３６が有する複数の光源としては、例えば、赤色の光を発光する光源、緑色の光を発光する光源、および青色の光を発光する光源が挙げられる。赤色の光を発光する光源としては、例えば、１または２以上の赤色発光ダイオードが挙げられる。緑色の光を発光する光源としては、例えば、１または２以上の緑色発光ダイオードが挙げられる。青色の光を発光する光源としては、例えば、１または２以上の青色発光ダイオードが挙げられる。なお、光源ユニット１３６が有する複数の光源が、上記に示す例に限られないことは、言うまでもない。光源ユニット１３６は、例えば、複数の光源を単一チップで有し、または、複数の光源を複数のチップで有する。

光源ユニット１３６は、制御ユニット１４４と有線または無線で接続され、光源ユニット１３６における発光は、制御ユニット１４４により制御される。

挿入部材１３４に供給された光は、挿入部材１３４の先端から出射され、患者の体腔内組織などの観察対象に照射される。そして、観察対象からの反射光は、挿入部材１３４内の光学系によって集光される。

カメラヘッド１４０は、観察対象を撮像する機能を有する。カメラヘッド１４０は、信号伝送部材であるケーブル１４２を介して制御ユニット１４４と接続される。

カメラヘッド１４０は、イメージセンサを有し、挿入部材１３４によって集光された観察対象からの反射光を光電変換することにより観察対象を撮像し、撮像によって得られた画像信号（医療用撮像画像を示す信号）を制御ユニット１４４へケーブル１４２を介して出力する。カメラヘッド１４０が有するイメージセンサとしては、例えば、ＣＭＯＳやＣＣＤなどの撮像素子を複数用いたイメージセンサが、挙げられる。

内視鏡装置として機能する医療用観察装置１００では、例えば、挿入部材１３４、光源ユニット１３６、およびカメラヘッド１４０が、“患者の体内に挿入されて、体内を撮像する撮像デバイス”の役目を果たす。

なお、内視鏡装置として機能する医療用観察装置１００は、例えば、いわゆるステレオカメラとして機能する複数の撮像デバイスを備える構成であってもよい。ステレオカメラとして機能する撮像デバイスの構成において、光学系は、第１の例に係る医療用観察システムを構成する医療用観察装置１００と同様に、ガリレオ式光学系であってもよいし、グリノー式光学系であってもよい。

また、内視鏡装置として機能する医療用観察装置１００における撮像デバイスは、自然光で撮像を行う観察モードや特殊光で撮像を行う観察モードなどの複数の観察モードを、切り替えることが可能な構成であってもよい。

制御ユニット１４４は、撮像デバイスを制御する。より具体的には、制御ユニット１４４は、光源ユニット１３６およびカメラヘッド１４０それぞれを制御する。

また、制御ユニット１４４は、通信デバイス（図示せず）を含み、カメラヘッド１４０から出力された画像信号を任意の無線通信または任意の有線通信で、表示装置２００へ送信する。制御ユニット１４４は、画像信号と表示制御信号とを表示装置２００へ送信してもよい。

制御ユニット１４４が含む通信デバイス（図示せず）としては、例えば、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）や、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、通信アンテナおよびＲＦ回路（無線通信）、光通信用デバイス（有線通信または無線通信）、あるいはＬＡＮ端子および送受信回路（有線通信）などが挙げられる。通信デバイス（図示せず）は、複数の通信方式によって、１または２以上の外部装置と通信を行うことが可能な構成であってもよい。

また、制御ユニット１４４は、カメラヘッド１４０から出力された画像信号に対して所定の処理を行い、所定の処理が行われた画像信号を表示装置２００へ送信してもよい。画像信号に対する所定の処理としては、例えば、ホワイトバランスの調整や、電子ズーム機能に係る画像の拡大または縮小、画素間補正などが、挙げられる。

なお、制御ユニット１４４は、画像信号に基づく医療用撮像画像を記憶してもよい。

制御ユニット１４４としては、例えばＣＣＵ（Camera Control Unit）が挙げられる。

内視鏡装置として機能する医療用観察装置１００は、例えば図４を参照して示したハードウェア構成を有する。内視鏡装置として機能する医療用観察装置１００では、例えば、挿入部材１３４、光源ユニット１３６、およびカメラヘッド１４０が、撮像デバイスの役目を果たし、制御ユニット１４４により撮像デバイスにおける撮像が制御される。

［１−３］医療用観察装置１００の機能構成
次に、図１、図４に示す医療用観察装置１００を、機能ブロックを用いて説明する。図５は、本実施形態に係る医療用観察装置１００の構成の一例を示す機能ブロック図である。

医療用観察装置１００は、例えば、撮像部１５０と、通信部１５２と、制御部１５４とを備える。

撮像部１５０は、観察対象を撮像する。撮像部１５０は、例えば、“撮像デバイス１０６”（図１に示す医療用観察装置１００の場合）や、“挿入部材１３４、光源ユニット１３６、およびカメラヘッド１４０”
（図４に示す医療用観察装置１００の場合）で構成される。撮像部１５０における撮像は、例えば制御部１５４によって制御される。

通信部１５２は、医療用観察装置１００が備える通信手段であり、表示装置２００などの外部装置と無線または有線で通信を行う役目を果たす。通信部１５２は、例えば上述した通信デバイス（図示せず）で構成される。通信部１５２における通信は、例えば制御部１５４によって制御される。

制御部１５４は、例えば上述したプロセッサ（図示せず）で構成され、医療用観察装置１００全体を制御する役目を果たす。また、制御部１５４は、後述する表示制御方法に係る処理を主導的に行う役目を果たす。なお、制御部１５４における表示制御方法に係る処理は、複数の処理回路（例えば、複数のプロセッサなど）で分散して行われてもよい。

より具体的には、制御部１５４は、例えば、撮像制御部１５６と、生成部１５８と、表示制御部１６０とを有する。

撮像制御部１５６は、撮像部１５０を構成する撮像デバイスを制御する。撮像デバイスの制御としては、例えば、少なくともズーム機能（光学ズーム機能および電子ズーム機能）を含む、ＡＦ機能の制御などの一般的に電子撮像式の顕微鏡部に備えられる１または２以上の機能の制御が、挙げられる。

生成部１５８は、本実施形態に係る表示制御方法に係る処理の一部の処理である生成処理（後述する）を行う役目を果たす。生成部１５８は、例えば、右目用の医療用撮像画像および左目用の医療用撮像画像に基づいて、観察対象の立体モデルを生成する。本実施形態に係る表示制御方法に係る生成処理の一例については、後述する。

表示制御部１６０は、本実施形態に係る表示制御方法に係る処理の一部の処理である表示制御処理（後述する）を行う役目を果たし、例えば表示装置２００の表示画面などの表示画面への表示を制御する。

表示制御部１６０は、例えば、生成部１５８において生成された立体モデルを、表示画面に表示させる。例えば撮像部１５０を構成する撮像デバイスにおいて特殊光観察が行われ、右目用の特殊光観察画像および左目用の特殊光観察画像とが得られている場合、表示制御部１６０は、例えば、立体モデルと右目用の特殊光観察画像および左目用の特殊光観察画像とを組み合わせて、表示画面に表示させる。また、例えば、外部の生体情報取得装置から（直接的に、または、他の装置を介して）生体情報が取得された場合、表示制御部１６０は、立体モデルと取得された生体情報とを組み合わせて、表示画面に表示させる“本実施形態に係る表示制御方法に係る表示制御処理の一例”、“立体モデルと右目用の特殊光観察画像および左目用の特殊光観察画像とを組み合わせた表示の一例”、および“立体モデルと生体情報とを組み合わせた表示の一例”については、後述する。

なお、表示制御部１６０における表示画面への表示の制御の例は、上記に示す例に限られない。

例えば、表示制御部１６０は、医療用撮像画像の表示画面への表示を制御することが可能である。表示制御部１６０は、例えば、右目用の医療用撮像画像および左目用の医療用撮像画像それぞれを表示画面に表示させる制御（３Ｄ表示の制御）を行う。なお、表示制御部１６０は、右目用の医療用撮像画像または左目用の医療用撮像画像の一方を表示させることによって、２Ｄ表示の制御を行うことも可能である。以下では、表示制御部１６０が、右目用の医療用撮像画像および左目用の医療用撮像画像それぞれを表示画面に表示させる場合を例に挙げる。

また、表示制御部１６０は、ＵＩに係る画像などの様々な画像の表示画面への表示を制御してもよい。

表示制御部１６０は、例えば、表示制御信号と画像信号とを通信部１５２を構成する通信デバイス（図示せず）に伝達し、表示制御信号と画像信号とを表示装置２００に対して送信させることによって、表示装置２００における表示を制御する。なお、通信部１５２における通信の制御は、制御部１５４を構成する通信制御部（図示せず）により行われてもよい。

また、表示制御部１６０は、画像信号に対応するデータを、記憶部（図示せず）として機能する記録媒体（図示せず）や、外部の記録媒体などの任意の記録媒体に、記録させてもよい。記録媒体に記録させる画像信号に対応するデータは、後述する“立体モデルと右目用の特殊光観察画像および左目用の特殊光観察画像とを組み合わされているデータ”や、“立体モデルと生体情報とを組み合わされているデータ”であってもよい。

なお、立体モデルと、立体モデルに組み合されるデータとは、任意の方法で対応付けて記録されてもよい。また、表示制御部１６０は、立体モデルに組み合されるか否かによらず、生体情報取得装置における測定位置を示すデータなどの立体モデル以外の他のデータを、立体モデルと対応付けて記録してもよい。

制御部１５４は、例えば、生成部１５８および表示制御部１６０を有することにより、本実施形態に係る表示制御方法に係る処理を主導的に行う役目を果たす。また、制御部１５４は、例えば、撮像制御部１５６、および表示制御部１６０を有することによって、医療用観察装置１００全体を制御する役目を果たす。

なお、制御部１５４の機能構成は、図５に示す例に限られない。

例えば、制御部１５４は、本実施形態に係る表示制御方法に係る処理の切り分け方に応じた構成など、医療用観察装置１００が有する機能の切り分け方に応じた、任意の構成を有することが可能である。

一例を挙げると、医療用観察装置１００が図１に示す構成である場合、制御部１５４は、アーム１０４の駆動を制御するアーム制御部（図示せず）をさらに有していてもよい。アーム１０４の駆動の制御の一例としては、例えば、“関節部１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、１１０ｅ、１１０ｆそれぞれに対応するアクチュエータ（図示せず）に対して、駆動を制御する制御信号を印加すること”などが挙げられる。

医療用観察装置１００は、例えば図５に示す機能構成によって、後述する本実施形態に係る表示制御方法に係る処理を行う。

なお、本実施形態に係る医療用観察装置の機能構成は、図５に示す構成に限られない。

例えば、本実施形態に係る医療用観察装置は、図５に示す撮像制御部１５６、生成部１５８、および表示制御部１６０の一部または全部を、制御部１５４とは個別に備える（例えば、別の処理回路で実現する）ことができる。

また、本実施形態に係る医療用観察装置において本実施形態に係る表示制御方法に係る処理を実行することが可能な機能構成は、図５に示す構成に限られない。例えば、本実施形態に係る医療用観察装置は、本実施形態に係る表示制御方法に係る処理の切り分け方に応じた機能構成をとることが可能である。

また、本実施形態に係る医療用観察装置が図１に示す構成である場合、本実施形態に係る医療用観察装置は、アーム１０４で構成されるアーム部（図示せず）を有する。アーム部（図示せず）を構成するアーム１０４は、撮像部１５０を構成する撮像デバイス１０６を支持する。

また、例えば、通信部１５２と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合には、本実施形態に係る医療用観察装置は、通信部１５２を備えていなくてもよい。

また、本実施形態に係る医療用観察システムが、医療用制御装置（図示せず）を有する構成であり、本実施形態に係る医療用観察装置が当該医療用制御装置（図示せず）により制御される場合、本実施形態に係る医療用観察装置は、制御部１５４を備えていなくてもよい。

ここで、医療用制御装置（図示せず）は、例えば、制御部１５４と同様の機能、構成を有する制御部を備えることによって、後述する本実施形態に係る表示制御方法に係る処理を行い、また、本実施形態に係る医療用観察装置が備える撮像部１５０などの各構成要素における動作を制御する。医療用制御装置（図示せず）は、備えている通信デバイス、または、接続されている外部の通信デバイスを介して、本実施形態に係る医療用観察装置と通信を行うことによって、本実施形態に係る医療用観察装置が備える各構成要素における動作を制御する。

さらに、本実施形態に係る医療用観察システムが、医療用制御装置（図示せず）を有する構成であり、本実施形態に係る医療用観察装置が当該医療用制御装置（図示せず）により制御される場合、本実施形態に係る医療用観察装置は、制御部１５４の一部の機能を有さない構成をとることも可能である。

［２］本実施形態に係る表示制御方法
次に、本実施形態に係る表示制御方法について、説明する。以下では、本実施形態に係る表示制御方法に係る処理を医療用観察装置１００（より具体的には、例えば医療用観察装置１００を構成する制御部１５４が有する生成部１５８および表示制御部１６０）が行う場合を例に挙げる。なお、上述したように、本実施形態に係る医療用観察システムにおいて、本実施形態に係る表示制御方法に係る処理は、表示装置２００や、医療用制御装置（図示せず）などにより行われてもよい。

上述したように、特殊光観察が行われたとしても、輝度、コントラストが十分でなく暗部ノイズが多い特殊光観察画像が得られた場合には、医療従事者が、観察対象における血管や腫瘍などの位置を容易に特定することができない可能性がある。

また、上述したように、医療現場で生体情報取得装置が用いられる場合、術者や助手などの医療従事者は、医療用撮像画像が示す観察対象の状態と、生体情報が示す内容とを、頭の中で統合して、手技などの医療行為を行っており、医療従事者が負担を感じる場合がある。

そこで、医療用観察装置１００は、観察対象の立体モデルを生成し、立体モデルと右目用の特殊光観察画像および左目用の特殊光観察画像とを組み合わせて表示画面に表示させ、または、立体モデルと外部の生体情報取得装置から取得される生体情報とを組み合わせて表示画面に表示させる。後述する表示制御方法の適用例において例示するように、観察対象の立体モデルは、観察対象の解剖学的な構造を示す。つまり、立体モデルと組み合わせることが可能な本実施形態に係る生体情報は、解剖学的な構造に対応する情報であるといえる。

医療用観察装置１００が特殊光観察画像または生体情報を立体モデルに組み合わせて表示させることによって、表示画面には、特殊光観察画像に基づく内容または生体情報に基づく内容が立体モデルに統合されている画像が、表示される。

ここで、特殊光観察画像に基づく内容が立体モデルに統合されることによって、医療従事者は、観察対象における血管や腫瘍などの位置を、特殊光観察画像を見る場合よりも容易に特定することが可能となる。また、生体情報に基づく内容が立体モデルに統合されることによって、医療従事者は、医療用撮像画像が示す観察対象の状態と生体情報が示す内容とを、頭の中で統合する必要は、ない。

よって、本実施形態に係る表示制御方法に係る処理が行われることによって、医療従事者の利便性の向上を図ることができる。

より具体的には、医療用観察装置１００は、本実施形態に係る表示制御方法に係る処理として、例えば下記の（１）に示す生成処理および下記の（２）に示す表示制御処理を行う。

（１）生成処理
医療用観察装置１００は、右目用の医療用撮像画像および左目用の医療用撮像画像に基づいて、観察対象の立体モデルを生成する。

医療用観察装置１００は、例えば、“右目用の医療用撮像画像と左目用の医療用撮像画像との対応位置それぞれにおける距離”を取得し、取得された距離から立体モデルを生成する。医療用観察装置１００により生成される立体モデルの例は、後述する。

“右目用の医療用撮像画像と左目用の医療用撮像画像との対応位置それぞれにおける距離”は、例えば、下記の（ａ）の処理および（ｂ）の処理を行うことによって得られる。下記の（ａ）の処理および（ｂ）の処理は、医療用観察装置１００により行われてもよいし、医療用制御装置（図示せず）などの医療用観察装置１００の外部装置において行われてもよい。以下では、下記の（ａ）の処理および（ｂ）の処理が医療用観察装置１００により行われる場合を例に挙げる。

（ａ）対応付け処理
医療用観察装置１００は、例えば、右目用の医療用撮像画像および左目用の医療用撮像画像それぞれから特徴部分を抽出し、抽出された特徴部分をマッチングすることにより、右目用の医療用撮像画像および左目用の医療用撮像画像を対応付ける。

医療用撮像画像における特徴部分は、例えば、任意のエッジ検出処理により検出されたエッジと任意の外周調査処理の結果との一方または双方など、画像から特徴部分を抽出することが可能な任意の技術を用いて抽出される。また、医療用観察装置１００は、例えばパターンマッチングなど、抽出された特徴部分を比較して同一の被写体を同定することが可能な任意の技術を用いて、右目用の医療用撮像画像および左目用の医療用撮像画像を対応付ける。

（ｂ）距離算出処理
医療用観察装置１００は、上記（ａ）の処理（対応付け処理）により対応付けられた対応点ごとに距離を算出する。

医療用観察装置１００は、例えば下記の数式１に示す演算を行うことによって、距離ｚを算出する。下記の数式１に示す“ｈ”は、右目用の医療用撮像画像を撮像する撮像デバイスと左目用の医療用撮像画像を撮像する撮像デバイスとの距離（すなわち、基線長）であり、既知の値である。下記の数式１に示す“ｆ”は、右目用の医療用撮像画像を撮像する撮像デバイスおよび左目用の医療用撮像画像を撮像する撮像デバイスの焦点距離であり、既知の値である。下記の数式１に示す“ｘ”は、左目用の医療用撮像画像における対応点のｘ座標を示し、下記の数式１に示す“ｘ’”は、右目用の医療用撮像画像における対応点のｘ座標を示している。

ｚ＝ｈ・ｆ／｜ｘ−ｘ’｜
・・・（数式１）

例えば上記（ａ）の処理および上記（ｂ）の処理が行われることによって、“右目用の医療用撮像画像と左目用の医療用撮像画像との対応位置それぞれにおける距離”を得ることが可能である。なお、“右目用の医療用撮像画像と左目用の医療用撮像画像との対応位置それぞれにおける距離”を得ることが可能な処理が、上記（ａ）の処理および上記（ｂ）の処理に限られないことは、言うまでもない。

（２）表示制御処理
医療用観察装置１００は、例えば、上記（１）の処理（生成処理）により生成された立体モデルと右目用の特殊光観察画像および左目用の特殊光観察画像とを組み合わせ、または、当該立体モデルと生体情報とを組み合わせる。そして、医療用観察装置１００は、組み合わせた結果を表示画面に表示させる。

医療用観察装置１００は、例えば、撮像部１５０を構成する撮像デバイスにおいて特殊光観察が行われ、右目用の特殊光観察画像および左目用の特殊光観察画像とが得られている場合に、立体モデルと右目用の特殊光観察画像および左目用の特殊光観察画像とを組み合わせる。また、医療用観察装置１００は、例えば、外部の生体情報取得装置から（直接的に、または、他の装置を介して）生体情報が取得された場合に、立体モデルと生体情報とを組み合わせる。“立体モデルと右目用の特殊光観察画像および左目用の特殊光観察画像とを組み合わせた表示の一例”、および“立体モデルと生体情報とを組み合わせた表示の一例”については、後述する。

なお、本実施形態に係る表示制御方法に係る表示制御処理は、上記に示す例に限られない。

例えば、医療用観察装置１００は、所定の期間の各時点において生成された立体モデルを、時系列に従って順次表示させてもよい。立体モデルが時系列に従って順次表示されることによって、所定の期間における観察対象の動きに応じて立体モデルも動く。よって、立体モデルが時系列に従って順次表示されることにより、表示画面を見る者は、所定の期間における観察対象の動きを、立体モデルから認識することができる。また、立体モデルが時系列に従って順次表示される場合においても、“医療用観察装置１００が、時系列に従って順次表示される立体モデルそれぞれに、対応する時点における特殊光観察画像、または、対応する時点における生体情報が組み合わせること”によって、医療従事者の利便性の向上を図ることができるという効果が、奏される。

ここで、立体モデルは、“右目用の医療用撮像画像と左目用の医療用撮像画像との対応位置それぞれにおける距離”から生成される。よって、所定の期間の各時点において立体モデルが生成されることは、数値化された観察対象の動きを示すデータを取得することに該当する。

また、例えば上述したように、医療用観察装置１００は、画像信号に対応するデータを、記憶部（図示せず）として機能する記録媒体（図示せず）などの任意の記録媒体に、記録させてもよい。また、医療用観察装置１００は、立体モデルと立体モデル以外の他のデータとを、任意の記録媒体に、対応付けて記録してもよい。

医療用観察装置１００は、本実施形態に係る表示制御方法に係る処理として、例えば上記（１）の処理（生成処理）および上記（２）の処理（表示制御処理）を行う。なお、上記（１）の処理（生成処理）および上記（２）の処理（表示制御処理）は、本実施形態に係る表示制御方法に係る処理を便宜上切り分けたものである。つまり、本実施形態に係る表示制御方法に係る処理の切り分け方は、上記（１）の処理（生成処理）および上記（２）の処理（表示制御処理）に限られない。

［３］本実施形態に係る表示制御方法の適用例
次に、本実施形態に係る表示制御方法の適用例を挙げつつ、本実施形態に係る表示制御方法に係る処理の一例を説明する。なお、本実施形態に係る表示制御方法の適用例が、下記に示す適用例に限られないことは、言うまでもない。

［３−１］本実施形態に係る表示制御方法の第１の適用例：立体モデルと右目用の特殊光観察画像および左目用の特殊光観察画像とを組み合わせた表示が行われる例
立体モデルと右目用の特殊光観察画像および左目用の特殊光観察画像とを組み合わせた表示が行われる場合の一例を説明する。

図６は、本実施形態に係る医療用撮像画像の一例を示す説明図である。図６に示す符号Ｏは、観察対象の術部（患部）に存在する血管を示している。なお、観察対象に存在する血管は、自然光で撮像が行われている場合には、視認され難く、近赤外線の波長帯域の光を用いた特殊光観察では、視認され易い。

医療用観察装置１００は、例えば図６に示すように観察対象が撮像された右目用の医療用撮像画像および左目用の医療用撮像画像から、当該観察対象の立体モデルを生成する。

立体モデルが生成されると、医療用観察装置１００は、立体モデルと、右目用の特殊光観察画像および左目用の特殊光観察画像とを組み合わせる。

医療用観察装置１００は、例えば、上記（ａ）の処理（対応付け処理）および上記（ｂ）の処理（距離算出処理）を行うことによって、右目用の特殊光観察画像および左目用の特殊光観察画像から距離を算出する。また、医療用観察装置１００は、右目用の特殊光観察画像および左目用の特殊光観察画像から算出される距離を、右目用の医療用撮像画像および左目用の医療用撮像画像から算出される距離により補正する。そして、医療用観察装置１００は、上記補正の結果に基づいて、立体モデルに、右目用の特殊光観察画像および左目用の特殊光観察画像を組み合わせる。

ここで、右目用の特殊光観察画像および左目用の特殊光観察画像から算出される距離を補正する理由は、例えば、輝度、コントラストが十分でなく暗部ノイズが多い特殊光観察画像が得られる場合があるためである。

図７は、本実施形態に係る“立体モデルと右目用の特殊光観察画像および左目用の特殊光観察画像とが組み合わされた表示”の一例を示す説明図である。図７に示す符号Ｏは、図６に示す符号Ｏと同様に、観察対象の術部（患部）に存在する血管を示している。つまり、図７は、図６に示す観察対象が撮像された右目用の医療用撮像画像および左目用の医療用撮像画像から生成された立体モデル上に、右目用の特殊光観察画像および左目用の特殊光観察画像から検出される血管が重畳されている例を示している。なお、立体モデルと特殊光観察画像から検出される血管との重畳方法は、特に限定されない。

例えば図７に示す例のように、立体モデルと右目用の特殊光観察画像および左目用の特殊光観察画像とが組み合わされて、表示画面に表示される。よって、図７に示す画像を見た医療従事者は、観察対象における血管の位置を容易に特定することができる。なお、“立体モデルと右目用の特殊光観察画像および左目用の特殊光観察画像とが組み合わされた表示”の例が、図７に示す例に限られないことは、言うまでもない。

なお、第１の適用例に係る処理は、上記に示す例に限られない。

例えば、医療用観察装置１００は、医療用撮像画像を表示画面に表示させる場合、立体モデル上に重畳された血管の位置を当該医療用撮像画像上に反映させてもよい。医療用観察装置１００は、例えば、図７に示すような立体モデルと右目用の特殊光観察画像および左目用の特殊光観察画像との組み合わせ結果と、ナビゲーション装置（いわゆる医療用ナビゲーションシステムを実現するための医療機器）において特定されている位置とを組み合わせることによって、立体モデル上に重畳された血管の位置を当該医療用撮像画像上に反映させる。

［３−２］本実施形態に係る表示制御方法の第２の適用例：立体モデルと生体情報とを組み合わせた表示が行われる第１の例
立体モデルと生体情報とを組み合わせた表示が行われる場合の一例として、生体情報取得装置が、神経モニタリング装置である場合を説明する。生体情報取得装置が神経モニタリング装置である場合、生体情報は、神経モニタリング装置における測定位置ごとの測定値を示す。

神経モニタリング装置は、例えば、モノポーラ（単極）の電極と不関電極との間を流れる電流レベルを検出することによって、神経の位置を同定する装置である。例えば、上記モノポーラの電極は、神経の検出対象の部位に当てられ、モノポーラの電極から神経を刺激するための電流を流すことによって、当該部位に存在する神経の位置が同定される。なお、神経モニタリング装置における神経の同定方法が、上記に限られないことは、言うまでもない。

図８、図９は、神経モニタリング装置による生体情報の取得の例を説明するための説明図である。図８では、神経の検出対象の部位の一例として、顔面を示している。図８に示す点Ａ、Ｂ、Ｃ、Ｄは、モノポーラの電極が当てられる位置であり、神経モニタリング装置における測定位置に該当する。図９のＡは、図８の測定位置Ａにおける測定値の一例を示し、図９のＢは、図８の測定位置Ｂにおける測定値の一例を示している。また、図９のＣは、図８の測定位置Ｃにおける測定値の一例を示し、図９のＤは、図８の測定位置Ｄにおける測定値の一例を示している。

医療用観察装置１００は、観察対象が撮像された右目用の医療用撮像画像および左目用の医療用撮像画像から、当該観察対象の立体モデルを生成する。

立体モデルが生成されると、医療用観察装置１００は、立体モデルと、測定位置ごとの測定値に基づく神経が存在する可能性を示す指標（以下、「第１の指標」と示す。）とを組み合わせる。

医療用観察装置１００は、右目用の医療用撮像画像および左目用の医療用撮像画像に基づいて、生体情報取得装置に対応する機器を検出することにより、測定位置を特定する。

生体情報取得装置が神経モニタリング装置である場合、生体情報取得装置に対応する機器としては、例えば、モノポーラの電極が挙げられる。医療用観察装置１００は、例えば、画像からオブジェクトを認識する任意のオブジェクト認識技術に係る処理を行うことによって、医療用撮像画像からモノポーラの電極を検出する。そして、医療用観察装置１００は、検出されたモノポーラの電極と観察対象とが接している部分（または接していると推定される部分）を、測定位置として特定する。なお、測定位置の特定方法が、上記に示す例に限られないことは、言うまでもない。

ここで、測定値に基づく第１の指標としては、例えば、測定値と１または２以上の閾値との比較結果に基づき分類される、神経の反応レベルが、挙げられる。なお、測定値に基づく第１の指標は、上記に示す反応レベルに限られない。例えば、測定値に基づく第１の指標は、測定値そのものであってもよい。以下では、測定値に基づく第１の指標が、反応レベルである場合を例に挙げる。

医療用観察装置１００は、例えば、立体モデル上に測定位置ごとの第１の指標を表示させることによって、立体モデルと生体情報とを組み合わせた表示を実現する。医療用観察装置１００は、例えば、立体モデル上に、測定位置ごとの第１の指標に対応する表示オブジェクトを重畳させることによって、立体モデルと生体情報とを組み合わせた表示を実現する。なお、立体モデルと表示オブジェクトとの重畳方法は、特に限定されない。

また、医療用観察装置１００は、測定位置ごとの測定値に基づいて、神経の位置を推定し、推定された神経の位置をさらに組み合わせて、表示画面に表示させてもよい。医療用観察装置１００は、例えば、立体モデル上に、推定された神経の位置を示す表示オブジェクトを重畳させることによって、立体モデルと推定された神経の位置とを組み合わせた表示を実現する。

神経の位置は、例えば、測定位置ごとの反応レベルを特定し、神経が存在する可能性が高い反応レベルの測定値に対応する測定位置との距離が、最も小さくなる線（直線または曲線）を特定することによって、推定される。なお、測定位置ごとの測定値に基づく神経の位置の推定方法が、上記に示す例に限られないことは、言うまでもない。以下では、測定位置ごとの測定値に基づく神経の位置の推定結果を「神経位置予測ライン」と示す場合がある。

図１０は、本実施形態に係る表示制御方法の第２の適用例に係る“立体モデルと生体情報とが組み合わされた表示”の第１の例を示す説明図である。図１０のＡは、図８の測定位置Ａに対応する第１の指標に対応する表示オブジェクトの一例を示し、図１０のＢは、図８の測定位置Ｂに対応する第１の指標に対応する表示オブジェクトの一例を示している。また、図１０のＣは、図８の測定位置Ｃに対応する第１の指標に対応する表示オブジェクトの一例を示し、図１０のＤは、図８の測定位置Ｄに対応する第１の指標に対応する表示オブジェクトの一例を示している。また、図１０では、神経位置予測ラインを示す表示オブジェクト（推定された神経の位置を示す表示オブジェクト）が、さらに表示されている例を示している。

例えば図１０に示す例のように、立体モデルと、神経モニタリング装置から取得される生体情報とが組み合わされて、表示画面に表示される。よって、図１０に示す画像を見た医療従事者は、観察対象における神経の位置を容易に特定することができる。

なお、“立体モデルと、神経モニタリング装置から取得される生体情報とが組み合わされた表示”の例は、図１０に示す例に限られない。

例えば、第２の適用例に係る“立体モデルと生体情報とが組み合わされた表示”では、神経位置予測ラインを示す表示オブジェクトが表示されていなくてもよい。

また、例えば、医療用観察装置１００は、さらに、右目用の医療用撮像画像および左目用の医療用撮像画像とを表示画面に表示させてもよい。また、医療用観察装置１００は、さらに、右目用の医療用撮像画像と左目用の医療用撮像画像との一方を表示画面に表示させることも可能である。

図１１は、本実施形態に係る表示制御方法の第２の適用例に係る“立体モデルと生体情報とが組み合わされた表示”の第２の例を示す説明図である。図１１は、図８に示す観察対象が撮像された右目用の医療用撮像画像および左目用の医療用撮像画像上に、図１０に示す立体モデル、測定位置ごとの第１の指標に対応する表示オブジェクト、および神経位置予測ラインを示す表示オブジェクトが重畳されている例を示している。

例えば図１１に示すように、医療用観察装置１００は、右目用の医療用撮像画像および左目用の医療用撮像画像上に、立体モデル、測定位置ごとの第１の指標に対応する表示オブジェクト、および神経位置予測ラインを示す表示オブジェクトを重畳させて、表示画面に表示させる。なお、上述したように、第２の適用例に係る“立体モデルと生体情報とが組み合わされた表示”では、神経位置予測ラインを示す表示オブジェクトが表示されていなくてもよい。

図１２は、本実施形態に係る表示制御方法の第２の適用例に係る“立体モデルと生体情報とが組み合わされた表示”の第３の例を示す説明図である。図１２は、図８に示す観察対象が撮像された右目用の医療用撮像画像および左目用の医療用撮像画像が、表示画面の第１の領域Ｒ１に表示されている例を示している。また、図１２は、図１０に示す立体モデル、測定位置ごとの第１の指標に対応する表示オブジェクト、および神経位置予測ラインを示す表示オブジェクトが、表示画面の第２の領域Ｒ２に表示されている例を示している。

例えば図１２に示すように、医療用観察装置１００は、右目用の医療用撮像画像および左目用の医療用撮像画像を第１の領域Ｒ１に表示させる。また、医療用観察装置１００は、立体モデル、測定位置ごとの第１の指標に対応する表示オブジェクト、および神経位置予測ラインを示す表示オブジェクトを、第１の領域Ｒ１と異なる第２の領域Ｒ２に表示させる。なお、上述したように、第２の適用例に係る“立体モデルと生体情報とが組み合わされた表示”では、神経位置予測ラインを示す表示オブジェクトが表示されていなくてもよい。

ここで、図１２に示す例では、第２の領域Ｒ２がＰｉｎＰ（Picture in Picture）で表示される例を示しているが、第２の領域Ｒ２の表示方法は、図１２に示す例に限られない。例えば、医療用観察装置１００は、表示画面を分割し、分割された領域のうちの異なる領域を、第１の領域Ｒ１、第２の領域Ｒ２としてもよい。

［３−３］本実施形態に係る表示制御方法の第３の適用例：立体モデルと生体情報とを組み合わせた表示が行われる第２の例
立体モデルと生体情報とを組み合わせた表示が行われる場合の他の例として、生体情報取得装置が、迷走神経を電気刺激する神経刺激装置である場合を説明する。

神経刺激装置は、例えば、心臓の電気刺激を与える部位に当てられている電極を介して、迷走神経に対して刺激パルス（電気パルス）を出力し、心臓の心拍を検出する装置である。上記電極が当てられる位置が、神経刺激装置における測定位置に該当する。迷走神経を電気刺激する神経刺激装置は、ペーシングアナライザと呼ばれる場合がある。

図１３は、神経刺激装置による生体情報の取得の例を説明するための説明図である。図１３のＡは、一の測定位置において神経刺激装置が取得する生体情報の一例であり、図１３のＢは、他の測定位置において神経刺激装置が取得する生体情報の一例である。生体情報取得装置が神経刺激装置ある場合、生体情報には、刺激閾値が含まれる。ここで、刺激閾値とは、迷走神経に対して与えられる刺激パルスのエネルギーが最小となるパルス幅の刺激パルスが出力されるときの閾値電圧の値である。

医療用観察装置１００は、観察対象が撮像された右目用の医療用撮像画像および左目用の医療用撮像画像から、当該観察対象の立体モデルを生成する。

立体モデルが生成されると、医療用観察装置１００は、立体モデルと、測定位置ごとの刺激閾値の指標（以下、「第２の指標」と示す。）とを組み合わせる。

医療用観察装置１００は、上記第２の適用例と同様に、右目用の医療用撮像画像および左目用の医療用撮像画像に基づいて、生体情報取得装置に対応する機器を検出することにより、測定位置を特定する。

生体情報取得装置が神経刺激装置である場合、生体情報取得装置に対応する機器としては、例えば、刺激パルスが出力される電極が挙げられる。医療用観察装置１００は、例えば、画像からオブジェクトを認識する任意のオブジェクト認識技術に係る処理を行うことによって、医療用撮像画像から刺激パルスが出力される電極を検出する。そして、医療用観察装置１００は、検出された刺激パルスが出力される電極と観察対象とが接している部分（または接していると推定される部分）を、測定位置として特定する。なお、測定位置の特定方法が、上記に示す例に限られないことは、言うまでもない。

ここで、第２の指標としては、例えば、刺激閾値と１または２以上の判定閾値との比較結果に基づき分類される、刺激閾値のレベルが、挙げられる。なお、第２の指標は、上記に示す刺激閾値のレベルに限られない。例えば、第２の指標は、刺激閾値そのものであってもよい。以下では、第２の指標が、刺激閾値のレベルである場合を例に挙げる。

医療用観察装置１００は、例えば、立体モデル上に測定位置ごとの第２の指標を表示させることによって、立体モデルと生体情報とを組み合わせた表示を実現する。医療用観察装置１００は、例えば、立体モデル上に、測定位置ごとの第２の指標に対応する表示オブジェクトを重畳させることによって、立体モデルと生体情報とを組み合わせた表示を実現する。

図１４は、本実施形態に係る表示制御方法の第３の適用例に係る“立体モデルと生体情報とが組み合わされた表示”の例を示す説明図である。図１４のＡは、図１３のＡに対応する測定位置における第２の指標に対応する表示オブジェクトの一例を示し、図１４のＢは、図１３のＢに対応する測定位置における第２の指標に対応する表示オブジェクトの一例を示している。なお、図１４では、さらに他の測定位置における第２の指標に対応する表示オブジェクトの一例も併せて示している。

例えば図１４に示す例のように、立体モデルと、神経刺激装置から取得される生体情報とが組み合わされて、表示画面に表示される。よって、例えば図１４に示す例のように、刺激パルスが出力される電極の位置ごとの刺激パルスに対する反応レベルと、立体モデル化された心筋モデルとが同時に表示されるので、図１４に示す画像を見た医療従事者は、心筋を動かすための最低限の電圧を、より容易に判断することができる。

なお、“立体モデルと、神経刺激装置から取得される生体情報とが組み合わされた表示”の例は、図１４に示す例に限られない。例えば、医療用観察装置１００は、図１３に示すような各測定位置における生体情報を、さらに表示させてもよい。

なお、第３の適用例に係る処理は、上記に示す例に限られない。

例えば上述したように、医療用観察装置１００は、所定の期間の各時点において生成された立体モデルを、時系列に従って順次表示させることも可能である。上述したように、立体モデルが時系列に従って順次表示されることによって、所定の期間における観察対象の動きに応じて立体モデルも動き、表示画面を見る者は、所定の期間における観察対象の動きを、立体モデルから認識することができる。

図１５は、本実施形態に係る表示制御方法の第３の適用例に係る処理の一例を示す説明図である。図１５のＡは、第１の時点において生成された立体モデルの一例を示している。また、図１５のＢは、第２の時点（第１の時点よりも後の時点）において生成された立体モデルの一例を示している。

例えば図１５のＡに示す立体モデルと、図１５のＢに示す立体モデルとが時系列に従って順次表示されることによって、表示画面を見る者は、所定の期間における観察対象の動きを、立体モデルから認識することができる。

また、例えば上述したように、医療用観察装置１００は、立体モデルと、立体モデル以外の他のデータとを、記憶部（図示せず）として機能する記録媒体（図示せず）などの任意の記録媒体に、任意の方法で対応付けて記録することも可能である。第３の適用例では、医療用観察装置１００は、例えば、神経刺激装置における測定位置を示すデータ、各測定位置における刺激閾値を示すデータ、数値化された観察対象の動きを示すデータ、特殊観察画像を示すデータのうちの一部または全部を、立体モデルと対応付けて記録する。

本実施形態に係る表示制御方法の適用例としては、例えば、上記［３−１］に示す第１の適用例〜上記［３−３］に示す第３の適用例が挙げられる。なお、上記［３−１］〜上記［３−３］に示した適用例それぞれにおける処理が、上記に示す例に限られないこと、および本実施形態に係る表示制御方法の適用例が、上記［３−１］〜上記［３−３］に示した適用例に限られないことは、言うまでもない。

［４］本実施形態に係る表示制御方法が用いられることにより奏される効果の一例
本実施形態に係る表示制御方法が用いられることによって、例えば下記に示す効果が奏される。なお、本実施形態に係る表示制御方法が用いられることにより奏される効果が、下記に示す例に限られないことは、言うまでもない。
・単に被写体（観察対象。以下、同様とする。）を撮像して３次元白色光画像（自然光を用いて撮像された医療用撮像画像）や特殊光観察画像を得るだけでなく、術中に、３次元モデル（立体モデル。以下、同様とする。）が作成されることによって、術者などの医療従事者は、［ｍｍ］単位での被写体の大きさ、位置を把握することができる。よって、本実施形態に係る表示制御方法が用いられることにより、医療従事者における解剖の理解が補助される。
・施術後（例えば剥離切開吻合後）の被写体の形状や、目では見えない血流の流れる方向や速度を数値化することが可能であるので、手術の質を術後に判定することができる。
・外部の生体情報取得装置から得られる被写体の生体情報と、３次元モデルのデータと連携を図ることによって、医療従事者は、解剖の詳細な理解を得ることができる。
・例えば、心臓のペースメーカーの刺激値を設定するために、迷走神経を電気刺激する神経刺激装置が用いられる場合、神経刺激装置における心筋刺激値（刺激パルスの値）によって心臓の動きが変化する。ここで、本実施形態に係る表示制御方法が用いられる場合には、施術前後での心臓の動きの変化が数値化されて表示することが可能であるので、医療従事者による手術の質の判断を補助することができる。

（本実施形態に係るプログラム）
コンピュータシステムを、本実施形態に係る医療用観察装置（または、本実施形態に係る医療用表示制御装置）として機能させるためのプログラム（例えば、本実施形態に係る表示制御方法に係る処理を実行することが可能なプログラム）が、コンピュータシステムにおいてプロセッサなどにより実行されることによって、医療従事者の利便性の向上を図ることができる。ここで、本実施形態に係るコンピュータシステムとしては、単体のコンピュータ、または、複数のコンピュータが挙げられる。本実施形態に係るコンピュータシステムによって、本実施形態に係る表示制御方法に係る一連の処理が行われる。

また、コンピュータシステムを、本実施形態に係る医療用観察装置（または、本実施形態に係る医療用表示制御装置）として機能させるためのプログラムが、コンピュータシステムにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る表示制御方法に係る処理によって実現される表示によって奏される効果を、奏することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到しうることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記では、コンピュータシステムを、本実施形態に係る医療用観察装置（または、本実施形態に係る医療用表示制御装置）として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も、併せて提供することができる。

上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
観察対象を撮像する撮像デバイスにより撮像された右目用の医療用撮像画像および左目用の医療用撮像画像に基づいて、前記観察対象の立体モデルを生成する生成部と、
前記立体モデルと右目用の特殊光観察画像および左目用の特殊光観察画像とを組み合わせて表示画面に表示させる、または、前記立体モデルと外部の生体情報取得装置から取得される生体情報とを組み合わせて前記表示画面に表示させる表示制御部と、
を備える、医療用表示制御装置。
（２）
前記表示制御部は、
前記右目用の特殊光観察画像および前記左目用の特殊光観察画像から算出される距離を、前記右目用の医療用撮像画像および前記左目用の医療用撮像画像から算出される距離により補正し、
前記右目用の特殊光観察画像および前記左目用の特殊光観察画像から算出される距離の補正結果に基づいて、前記立体モデルに、前記右目用の特殊光観察画像および前記左目用の特殊光観察画像を組み合わせる、（１）に記載の医療用表示制御装置。
（３）
前記生体情報取得装置は、神経モニタリング装置であり、
前記生体情報は、前記神経モニタリング装置における測定位置ごとの測定値を示し、
前記表示制御部は、前記立体モデルと、前記測定位置ごとの測定値に基づく神経が存在する可能性を示す指標とを組み合わせて、前記表示画面に表示させる、（１）に記載の医療用表示制御装置。
（４）
前記表示制御部は、前記立体モデル上に、前記測定位置ごとの前記指標を表示させる、（３）に記載の医療用表示制御装置。
（５）
前記表示制御部は、
前記測定位置ごとの測定値に基づいて、神経の位置を推定し、
推定された前記神経の位置をさらに組み合わせて、前記表示画面に表示させる、（３）または（４）に記載の医療用表示制御装置。
（６）
前記表示制御部は、推定された前記神経の位置を、前記立体モデル上に表示させる、（５）に記載の医療用表示制御装置。
（７）
前記表示制御部は、さらに、前記右目用の医療用撮像画像および前記左目用の医療用撮像画像とを前記表示画面に表示させる、（３）〜（６）のいずれか１つに記載の医療用表示制御装置。
（８）
前記表示制御部は、前記右目用の医療用撮像画像および前記左目用の医療用撮像画像上に、前記立体モデルと、前記測定位置ごとの前記指標とを重畳させて、前記表示画面に表示させる、（７）に記載の医療用表示制御装置。
（９）
前記表示制御部は、
前記右目用の医療用撮像画像および前記左目用の医療用撮像画像を、前記表示画面の第１の領域に表示させ、
前記立体モデルと、前記測定位置ごとの前記指標とを組み合わせて、前記第１の領域とは異なる前記表示画面の第２の領域に、表示させる、（７）に記載の医療用表示制御装置。
（１０）
前記生体情報取得装置は、迷走神経を電気刺激する神経刺激装置であり、
前記生体情報には、刺激閾値が含まれ、
前記表示制御部は、前記立体モデルと、前記神経刺激装置における測定位置ごとの刺激閾値の指標とを組み合わせて、前記表示画面に表示させる、（１）に記載の医療用表示制御装置。
（１１）
前記表示制御部は、前記立体モデル上に、前記測定位置ごとの前記刺激閾値の指標を表示させる、（１０）に記載の医療用表示制御装置。
（１２）
前記表示制御部は、前記右目用の医療用撮像画像および前記左目用の医療用撮像画像に基づいて、前記生体情報取得装置に対応する機器を検出することにより、前記測定位置を特定する、（３）〜（１１）のいずれか１つに記載の医療用表示制御装置。
（１３）
前記表示制御部は、所定の期間の各時点において生成された前記立体モデルを、時系列に従って順次表示させる、（１）〜（１２）のいずれか１つに記載の医療用表示制御装置。
（１４）
前記生体情報は、解剖学的な構造に対応する情報である、（１）〜（１３）のいずれか１つに記載の医療用表示制御装置。
（１５）
複数のリンクが関節部によって互いに連結されて構成されるアームと、
前記アームにより支持されている前記撮像デバイスと、
をさらに備える、（１）〜（１４）のいずれか１つに記載の医療用表示制御装置。
（１６）
患者の体内に挿入され、前記体内を前記観察対象として撮像する前記撮像デバイスをさらに備える、（１）〜（１４）のいずれか１つに記載の医療用表示制御装置。
（１７）
観察対象を撮像する撮像デバイスにより撮像された右目用の医療用撮像画像および左目用の医療用撮像画像に基づいて、前記観察対象の立体モデルを生成することと、
前記立体モデルと右目用の特殊光観察画像および左目用の特殊光観察画像とを組み合わせて表示画面に表示させる、または、前記立体モデルと外部の生体情報取得装置から取得される生体情報とを組み合わせて前記表示画面に表示させることと、
を有する、医療用表示制御装置により実行される表示制御方法。

１００ 医療用観察装置
１０２ ベース
１０４ アーム
１０６ 撮像デバイス
１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、１１０ｅ、１１０ｆ 関節部
１１２ａ、１１２ｂ、１１２ｃ、１１２ｄ、１１２ｅ、１１２ｆ リンク
１２０ 撮像部材
１２２ 筒状部材
１２４ ズームスイッチ
１２６ フォーカススイッチ
１２８ 動作モード変更スイッチ
１３４ 挿入部材
１３６ 光源ユニット
１３８ ライトガイド
１４０ カメラヘッド
１４２ ケーブル
１４４ 制御ユニット
１５０ 撮像部
１５２ 通信部
１５４ 制御部
１５６ 撮像制御部
１５８ 生成部
１６０ 表示制御部
２００ 表示装置
１０００ 医療用観察システム

Claims (17)

1. 観察対象を撮像する撮像デバイスにより撮像された右目用の医療用撮像画像および左目用の医療用撮像画像に基づいて、前記観察対象の立体モデルを生成する生成部と、
   前記立体モデルと右目用の特殊光観察画像および左目用の特殊光観察画像とを組み合わせて表示画面に表示させる、または、前記立体モデルと外部の生体情報取得装置から取得される生体情報とを組み合わせて前記表示画面に表示させる表示制御部と、
   を備える、医療用表示制御装置。
2. 前記表示制御部は、
   前記右目用の特殊光観察画像および前記左目用の特殊光観察画像から算出される距離を、前記右目用の医療用撮像画像および前記左目用の医療用撮像画像から算出される距離により補正し、
   前記右目用の特殊光観察画像および前記左目用の特殊光観察画像から算出される距離の補正結果に基づいて、前記立体モデルに、前記右目用の特殊光観察画像および前記左目用の特殊光観察画像を組み合わせる、請求項１に記載の医療用表示制御装置。
3. 前記生体情報取得装置は、神経モニタリング装置であり、
   前記生体情報は、前記神経モニタリング装置における測定位置ごとの測定値を示し、
   前記表示制御部は、前記立体モデルと、前記測定位置ごとの測定値に基づく神経が存在する可能性を示す指標とを組み合わせて、前記表示画面に表示させる、請求項１に記載の医療用表示制御装置。
4. 前記表示制御部は、前記立体モデル上に、前記測定位置ごとの前記指標を表示させる、請求項３に記載の医療用表示制御装置。
5. 前記表示制御部は、
   前記測定位置ごとの測定値に基づいて、神経の位置を推定し、
   推定された前記神経の位置をさらに組み合わせて、前記表示画面に表示させる、請求項３に記載の医療用表示制御装置。
6. 前記表示制御部は、推定された前記神経の位置を、前記立体モデル上に表示させる、請求項５に記載の医療用表示制御装置。
7. 前記表示制御部は、さらに、前記右目用の医療用撮像画像および前記左目用の医療用撮像画像とを前記表示画面に表示させる、請求項３に記載の医療用表示制御装置。
8. 前記表示制御部は、前記右目用の医療用撮像画像および前記左目用の医療用撮像画像上に、前記立体モデルと、前記測定位置ごとの前記指標とを重畳させて、前記表示画面に表示させる、請求項７に記載の医療用表示制御装置。
9. 前記表示制御部は、
   前記右目用の医療用撮像画像および前記左目用の医療用撮像画像を、前記表示画面の第１の領域に表示させ、
   前記立体モデルと、前記測定位置ごとの前記指標とを組み合わせて、前記第１の領域とは異なる前記表示画面の第２の領域に、表示させる、請求項７に記載の医療用表示制御装置。
10. 前記生体情報取得装置は、迷走神経を電気刺激する神経刺激装置であり、
    前記生体情報には、刺激閾値が含まれ、
    前記表示制御部は、前記立体モデルと、前記神経刺激装置における測定位置ごとの刺激閾値の指標とを組み合わせて、前記表示画面に表示させる、請求項１に記載の医療用表示制御装置。
11. 前記表示制御部は、前記立体モデル上に、前記測定位置ごとの前記刺激閾値の指標を表示させる、請求項１０に記載の医療用表示制御装置。
12. 前記表示制御部は、前記右目用の医療用撮像画像および前記左目用の医療用撮像画像に基づいて、前記生体情報取得装置に対応する機器を検出することにより、前記測定位置を特定する、請求項３に記載の医療用表示制御装置。
13. 前記表示制御部は、所定の期間の各時点において生成された前記立体モデルを、時系列に従って順次表示させる、請求項１に記載の医療用表示制御装置。
14. 前記生体情報は、解剖学的な構造に対応する情報である、請求項１に記載の医療用表示制御装置。
15. 複数のリンクが関節部によって互いに連結されて構成されるアームと、
    前記アームにより支持されている前記撮像デバイスと、
    をさらに備える、請求項１に記載の医療用表示制御装置。
16. 患者の体内に挿入され、前記体内を前記観察対象として撮像する前記撮像デバイスをさらに備える、請求項１に記載の医療用表示制御装置。
17. 観察対象を撮像する撮像デバイスにより撮像された右目用の医療用撮像画像および左目用の医療用撮像画像に基づいて、前記観察対象の立体モデルを生成することと、
    前記立体モデルと右目用の特殊光観察画像および左目用の特殊光観察画像とを組み合わせて表示画面に表示させる、または、前記立体モデルと外部の生体情報取得装置から取得される生体情報とを組み合わせて前記表示画面に表示させることと、
    を有する、医療用表示制御装置により実行される表示制御方法。

Images