JPWO2018220930A1

JPWO2018220930A1 - 画像処理装置、画像処理システム及び画像処理装置の作動方法

Info

Publication number: JPWO2018220930A1
Application number: JP2018547496A
Authority: JP
Inventors: 圭久保
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2017-05-30
Filing date: 2018-03-06
Publication date: 2019-06-27
Also published as: WO2018220930A1

Abstract

画像処理装置は、所定の臓器における血管の分布状態を表す３次元血管モデルが格納されている格納部と、３次元血管モデルが構築される３次元空間における任意の平面上に含まれる血管の分布状態を表す複数の血管断層画像を生成する血管断層画像生成部と、所定の臓器における被写体に対して生体組織の深部に到達可能な光が照射された際に被写体を撮像して得られる画像が入力される画像入力部と、画像入力部に入力された画像に対する一致度が高い血管断層画像を特定するための処理を行う画像照合部と、３次元血管モデルと、画像照合部により特定された血管断層画像に含まれる血管を観察可能な内視鏡の位置と、の間の対応関係を３次元空間内において表すナビゲーション画像を生成するナビゲーション画像生成部と、を有する。

Description

本発明は、画像処理装置に関し、特に、内視鏡観察を行う際に用いられる画像処理装置に関するものである。

内視鏡観察下の外科手術においては、例えば、被検体内の手術対象の臓器の３次元情報を含む画像を確認しつつ、当該臓器における病変部の切除等の処置を行うような手法が従来用いられている。そして、例えば、日本国特開２００３−２６５４０８号公報には、前述の手法に適用可能と解される構成が開示されている。

具体的には、日本国特開２００３−２６５４０８号公報には、検査対象の３次元画像（ＭＲＩ画像またはＣＴ画像）に基づいて計算した仮想内視鏡画像をデータベースに蓄積し、当該データベースに蓄積された仮想内視鏡画像と、当該検査対象の実内視鏡画像と、を比較することにより現在の内視鏡先端部の観測点及び観測姿勢を決定し、当該決定した内視鏡先端部の観測点及び観測姿勢を当該検査対象の３次元画像に重畳して表示するような構成が開示されている。

ところで、内視鏡観察下で外科手術を行う際には、生体組織の粘膜深部等に存在する太径の血管の損傷により生じる多量の出血を回避することが望ましい。そのため、内視鏡観察下で外科手術を行う際には、例えば、手術対象の臓器における現在の観察位置と、当該臓器における血管の３次元的な分布状態と、の間の対応関係を表す情報が術者に提示されることが望ましい。

しかし、日本国特開２００３−２６５４０８号公報には、前述のような対応関係を表す情報の提示方法等について特に開示されていない。従って、日本国特開２００３−２６５４０８号公報に開示された構成によれば、例えば、手術対象の臓器の変位等に伴って太径の血管を偶発的に損傷してしまうおそれが生じることに起因し、内視鏡観察下で外科手術を行う術者に対して過度な負担を強いてしまう場合がある、という課題が生じている。

本発明は、前述した事情に鑑みてなされたものであり、内視鏡観察下で外科手術を行う術者の負担を軽減可能な画像処理装置を提供することを目的としている。

本発明の一態様の画像処理装置は、被検体内に存在する所定の臓器における血管の３次元的な分布状態を表すように構築された３次元血管モデルが格納されている格納部と、前記３次元血管モデルが構築される３次元空間における任意の平面上に含まれる血管の分布状態を表す複数の血管断層画像を生成するように構成された血管断層画像生成部と、前記所定の臓器における被写体に対して生体組織の深部に到達可能な光が照射された際に前記被写体を撮像して得られる画像が入力される画像入力部と、前記血管断層画像生成部により生成された全てのまたは一部の血管断層画像の中から、前記画像入力部に入力された画像に対する一致度が所定の閾値よりも高い血管断層画像を特定するための処理を行うように構成された画像照合部と、前記画像照合部により特定された血管断層画像に基づき、前記３次元血管モデルと、前記画像照合部により特定された血管断層画像に含まれる血管を観察可能な内視鏡の位置と、の間の対応関係を前記３次元空間内において表すナビゲーション画像を生成するように構成されたナビゲーション画像生成部と、を有する。

実施形態に係る内視鏡システムの要部の構成を示す図。第１の実施形態に係る内視鏡システムの具体的な構成の一例を説明するための図。第１の実施形態に係るプロセッサに設けられた表示用画像生成部の具体的な構成の一例を説明するための図。第１の実施形態に係るプロセッサに格納されている３次元血管モデルの一例を示す図。第１の実施形態に係る内視鏡システムにより取得される深部血管画像を模式的に示した図。第１の実施形態に係るプロセッサにより生成されるナビゲーション画像の一例を説明するための図。第１の実施形態に係るプロセッサにより生成される表示用画像の一例を説明するための図。第２の実施形態に係る内視鏡システムの具体的な構成の一例を説明するための図。第２の実施形態に係るプロセッサに設けられた表示用画像生成部の具体的な構成の一例を説明するための図。第２の実施形態に係る内視鏡システムにより取得される蛍光画像を模式的に示した図。

以下、本発明の実施形態について、図面を参照しつつ説明を行う。

（第１の実施形態）
図１から図７は、本発明の第１の実施形態に係るものである。

内視鏡システム１は、図１に示すように、被検体内に挿入されるとともに、当該被検体内における生体組織等の被写体を撮像して得られた画像を出力するように構成された内視鏡装置２と、当該被写体に照射される光を内視鏡装置２に供給するように構成された光源装置３と、内視鏡装置２から出力される画像に対して所定の画像処理を施すことにより表示用画像を生成して出力するように構成されたプロセッサ４と、プロセッサ４から出力される表示用画像等を画面上に表示するように構成された表示装置５と、を有している。図１は、実施形態に係る内視鏡システムの要部の構成を示す図である。

内視鏡装置２は、細長の挿入部６を備えた光学視管２１と、光学視管２１の接眼部７に対して着脱可能なカメラユニット２２と、を有して構成されている。

光学視管２１は、被検体内に挿入可能な細長の挿入部６と、挿入部６の基端部に設けられた把持部８と、把持部８の基端部に設けられた接眼部７と、を有して構成されている。

挿入部６の内部には、図２に示すように、ケーブル１３ａを介して供給される光を伝送するためのライトガイド１１が挿通されている。図２は、第１の実施形態に係る内視鏡システムの具体的な構成の一例を説明するための図である。

ライトガイド１１の出射端部は、図２に示すように、挿入部６の先端部における照明レンズ１５の近傍に配置されている。また、ライトガイド１１の入射端部は、把持部８に設けられたライトガイド口金１２に配置されている。

ケーブル１３ａの内部には、図２に示すように、光源装置３から供給される光を伝送するためのライトガイド１３が挿通されている。また、ケーブル１３ａの一方の端部には、ライトガイド口金１２に対して着脱可能な接続部材（不図示）が設けられている。また、ケーブル１３ａの他方の端部には、光源装置３に対して着脱可能なライトガイドコネクタ１４が設けられている。

挿入部６の先端部には、ライトガイド１１により伝送された光を外部へ出射するための照明レンズ１５と、外部から入射される光に応じた光学像を得るための対物レンズ１７と、が設けられている。また、挿入部６の先端面には、照明レンズ１５が配置された照明窓（不図示）と、対物レンズ１７が配置された観察窓（不図示）と、が相互に隣接して設けられている。

挿入部６の内部には、図２に示すように、対物レンズ１７により得られた光学像を接眼部７へ伝送するための複数のレンズＬＥを具備するリレーレンズ１８が設けられている。すなわち、リレーレンズ１８は、対物レンズ１７から入射した光を伝送する伝送光学系としての機能を具備して構成されている。

接眼部７の内部には、図２に示すように、リレーレンズ１８により伝送された光学像を肉眼で観察可能とするための接眼レンズ１９が設けられている。

カメラユニット２２は、撮像素子２５と、信号処理回路２６と、を有して構成されている。また、カメラユニット２２は、信号ケーブル２８の端部に設けられたコネクタ２９を介してプロセッサ４に着脱可能に構成されている。

撮像素子２５は、例えば、可視域に感度を有するカラーＣＣＤまたはカラーＣＭＯＳのようなイメージセンサを具備して構成されている。また、撮像素子２５は、プロセッサ４から出力される撮像素子駆動信号に応じた撮像動作を行うように構成されている。また、撮像素子２５は、接眼レンズ１９を経て出射される光を撮像し、当該撮像した光に応じた画像を生成して信号処理回路２６へ出力するように構成されている。

信号処理回路２６は、撮像素子２５から出力される画像に対し、例えば、相関二重サンプリング処理、ゲイン調整処理、及び、Ａ／Ｄ変換処理等のような所定の信号処理を施すように構成されている。また、信号処理回路２６は、前述の所定の信号処理を施した画像を、信号ケーブル２８が接続されたプロセッサ４へ出力するように構成されている。

光源装置３は、発光部３１と、合波器３２と、集光レンズ３３と、光源制御部３４と、を有して構成されている。

発光部３１は、青色ＬＥＤ３１１と、緑色ＬＥＤ３１２と、赤色ＬＥＤ３１３と、琥珀色ＬＥＤ３１４と、を有して構成されている。

青色ＬＥＤ３１１は、青色域に強度を有する（狭帯域な）光であるＢ光を発するように構成されている。具体的には、青色ＬＥＤ３１１は、例えば、中心波長が４６０ｎｍ付近に設定され、かつ、帯域幅が２０ｎｍ程度に設定されたＢ光を発するように構成されている。また、青色ＬＥＤ３１１は、光源制御部３４の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、青色ＬＥＤ３１１は、点灯状態において、光源制御部３４の制御に応じた強度のＢ光を発生するように構成されている。なお、Ｂ光の中心波長は、青色域に設定される限りにおいては、４６０ｎｍとは異なる波長に設定されていてもよい。また、Ｂ光の帯域幅は、中心波長に応じた所定の帯域幅に設定されていればよい。

緑色ＬＥＤ３１２は、緑色域に強度を有する（狭帯域な）光であるＧ光を発するように構成されている。具体的には、緑色ＬＥＤ３１２は、例えば、中心波長が５４０ｎｍ付近に設定され、かつ、帯域幅が２０ｎｍ程度に設定されたＧ光を発するように構成されている。また、緑色ＬＥＤ３１２は、光源制御部３４の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、緑色ＬＥＤ３１２は、点灯状態において、光源制御部３４の制御に応じた強度のＧ光を発生するように構成されている。なお、Ｇ光の中心波長は、緑色域に設定される限りにおいては、５４０ｎｍとは異なる波長に設定されていてもよい。また、Ｇ光の帯域幅は、中心波長に応じた所定の帯域幅に設定されていればよい。

赤色ＬＥＤ３１３は、赤色域に強度を有する（狭帯域な）光であるＲ光を発するように構成されている。具体的には、赤色ＬＥＤ３１３は、例えば、中心波長が６３０ｎｍ付近に設定され、かつ、帯域幅が２０ｎｍ程度に設定されたＲ光を発するように構成されている。また、赤色ＬＥＤ３１３は、光源制御部３４の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、赤色ＬＥＤ３１３は、点灯状態において、光源制御部３４の制御に応じた強度のＲ光を発生するように構成されている。なお、Ｒ光の中心波長は、赤色域に設定される限りにおいては、例えば、６３０ｎｍとは異なる波長に設定されていてもよい。また、Ｒ光の帯域幅は、中心波長に応じた所定の帯域幅に設定されていればよい。

琥珀色ＬＥＤ３１４は、例えば、中心波長が６００ｎｍ付近に設定された（狭帯域な）琥珀色光であるＡ光を発するように構成されている。すなわち、琥珀色ＬＥＤ３１４は、生体組織の深部及び当該生体組織の深部に存在する太径の血管である深部血管に到達可能な光（特殊光）であるＡ光を発するように構成されている。また、琥珀色ＬＥＤ３１４は、光源制御部３４の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、琥珀色ＬＥＤ３１４は、点灯状態において、光源制御部３４の制御に応じた強度のＡ光を発生するように構成されている。

合波器３２は、発光部３１から発せられた各光を合波して集光レンズ３３に入射させることができるように構成されている。

集光レンズ３３は、合波器３２を経て入射した光を集光してライトガイド１３へ出射するように構成されている。

光源制御部３４は、プロセッサ４から出力されるシステム制御信号に基づき、発光部３１の各光源に対する制御を行うように構成されている。

プロセッサ４は、画像処理装置としての機能を具備して構成されている。また、プロセッサ４は、撮像素子駆動部４１と、画像入力部４２と、表示用画像生成部４３と、入力Ｉ／Ｆ（インターフェース）４４と、制御部４５と、を有して構成されている。なお、本実施形態においては、例えば、プロセッサ４の撮像素子駆動部４１、画像入力部４２、表示用画像生成部４３及び制御部４５の各部が、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、プロセッサ４が１つ以上のＣＰＵを具備して構成されていてもよい。

撮像素子駆動部４１は、制御部４５から出力されるシステム制御信号に応じ、撮像素子２５を駆動させるための撮像素子駆動信号を生成して出力するように構成されている。

画像入力部４２は、内視鏡装置２により得られた画像が入力されるとともに、当該入力された画像の出力先を制御部４５から出力されるシステム制御信号に応じて切り替えるための動作を行うように構成されている。

表示用画像生成部４３は、画像入力部４２から出力される画像に基づいて表示用画像を生成し、当該生成した表示用画像を表示装置５へ出力するように構成されている。また、表示用画像生成部４３は、例えば、図３に示すように、内視鏡画像記憶部４３１と、３次元血管モデル格納部４３２と、血管断層画像生成部４３３と、画像照合部４３４と、ナビゲーション画像生成部４３５と、画像合成部４３６と、を有して構成されている。図３は、第１の実施形態に係るプロセッサに設けられた表示用画像生成部の具体的な構成の一例を説明するための図である。

内視鏡画像記憶部４３１は、画像入力部４２を経て出力される画像を時系列に格納するように構成されている。

３次元血管モデル格納部４３２には、被検体内の所定の臓器における血管の３次元的な分布状態を表すように構築された３次元血管モデルが格納されている。具体的には、前述の３次元血管モデルは、例えば、内視鏡装置２により観察される被検体内に存在する所定の臓器をＸ線で３次元的に走査して得られる複数の断層画像（ＣＴ画像）と、当該所定の臓器における一般的な血管の分布状態を２次元的に表した解剖図と、に基づいて構築されている。

なお、以降においては、例えば、図４に示すような、肺における動脈の３次元的な分布状態と、当該肺における静脈の３次元的な分布状態と、を別々に表すように構築された３次元血管モデル５０１が３次元血管モデル格納部４３２に格納されている場合について説明する。図４は、第１の実施形態に係るプロセッサに格納されている３次元血管モデルの一例を示す図である。

血管断層画像生成部４３３は、３次元血管モデル格納部４３２に格納されている３次元血管モデル５０１を読み込むとともに、当該読み込んだ３次元血管モデル５０１が構築された３次元空間ＴＤＳにおける任意の平面上に含まれる血管の分布状態を表す複数の血管断層画像を生成するための処理を行うように構成されている。また、血管断層画像生成部４３３は、前述のように生成した血管断層画像と、当該血管断層画像に含まれる血管を観察可能な内視鏡の位置を特定可能な情報である仮想内視鏡位置情報と、を関連付けてデータベース４３３Ｄに格納するように構成されている。

具体的には、前述の仮想内視鏡位置情報には、例えば、血管断層画像の生成時に設定された当該血管断層画像に含まれる血管を観察可能な仮想内視鏡の視点を特定可能な情報として、３次元血管モデル５０１の中心を３次元空間ＴＤＳの原点（０，０，０）に一致させるように配置した場合における当該仮想内視鏡の先端の中心の座標（Ｘｖ，Ｙｖ，Ｚｖ）が含まれている。また、前述の仮想内視鏡位置情報には、例えば、血管断層画像の生成時における仮想内視鏡の姿勢を特定可能な情報として、３次元空間ＴＤＳの原点（０，０，０）と、座標（Ｘｖ，Ｙｖ，Ｚｖ）と、を通過する直線を基準軸とした場合における仮想内視鏡の先端部の傾き方向に応じた１つ以上の角度が含まれている。

なお、本実施形態においては、例えば、３次元空間ＴＤＳ内に設定された仮想内視鏡の視点を特定するための情報である座標（Ｘｖ，Ｙｖ，Ｚｖ）のみが仮想内視鏡位置情報に含まれているとともに、当該座標（Ｘｖ，Ｙｖ，Ｚｖ）に基づいて当該仮想内視鏡の姿勢が別途算出されるようにしてもよい。

画像照合部４３４は、内視鏡画像記憶部４３１に格納されている最新の画像を読み込むとともに、データベース４３３Ｄに格納されている全てのまたは一部の血管断層画像の中から、当該最新の画像に対する一致度が所定の閾値を超えている血管断層画像を特定するための画像処理を行うように構成されている。具体的には、画像照合部４３４は、例えば、全てのまたは一部の血管断層画像のうち一致度が２番目に高い血管断層画像の一致度を閾値として、当該閾値よりも高い血管断層画像、すなわち、一致度が最も高い一の血管断層画像を特定するための画像照合処理を行うように構成されている。また、画像照合部４３４は、前述の画像照合処理の処理結果として得られた一の血管断層画像に関連付けられている仮想内視鏡位置情報を取得するとともに、当該取得した仮想内視鏡位置情報をナビゲーション画像生成部４３５へ出力するように構成されている。

ナビゲーション画像生成部４３５は、３次元血管モデル格納部４３２から読み込んだ３次元血管モデル５０１と、画像照合部４３４から出力される仮想内視鏡位置情報に基づいて特定した仮想内視鏡の位置と、の間の対応関係を所定の３次元空間ＴＤＳ内において表すようなナビゲーション画像（後述）を生成するとともに、当該生成したナビゲーション画像を画像合成部４３６へ出力するように構成されている。また、ナビゲーション画像生成部４３５は、画像照合部４３４から出力される仮想内視鏡位置情報が更新される毎に、ナビゲーション画像の表示状態を変化させるように構成されている。

画像合成部４３６は、画像入力部４２から出力される画像と、ナビゲーション画像生成部４３５から出力されるナビゲーション画像と、を合成した表示用画像を生成するとともに、当該生成した表示用画像を表示装置５へ出力するように構成されている。

入力Ｉ／Ｆ４４は、術者等のユーザの操作に応じた指示等を行うことが可能な１つ以上のスイッチ及び／またはボタンを具備して構成されている。

制御部４５は、入力Ｉ／Ｆ４４においてなされた指示に応じた動作を行わせるためのシステム制御信号を生成して出力するように構成されている。また、制御部４５は、発光部３１から発せられる光を時分割に被写体に照射させるためのシステム制御信号を生成して光源制御部３４へ出力するように構成されている。また、制御部４５は、撮像素子２５の撮像動作を制御するためのシステム制御信号を生成して撮像素子駆動部４１へ出力するように構成されている。また、制御部４５は、発光部３１から発せられる光を時分割に被写体に照射する際の照射パターンに応じ、内視鏡装置２により得られた画像の出力先の切り替えに係る動作を行わせるためのシステム制御信号を生成して画像入力部４２へ出力するように構成されている。

表示装置５は、例えば、ＬＣＤ（液晶ディスプレイ）等を具備し、プロセッサ４から出力される表示用画像等を表示することができるように構成されている。

次に、本実施形態の内視鏡システム１の動作等について説明する。

ユーザは、内視鏡システム１の各部を接続して電源を投入した後、被検体内に挿入部６を挿入するとともに、当該被検体内の肺における所望の被写体を撮像可能な位置に挿入部６の先端部を配置する。

制御部４５は、プロセッサ４の電源が投入され、かつ、光源装置３がプロセッサ４に接続された際に、Ｒ光、Ｇ光及びＢ光を混合した白色光であるＷＬ光と、Ａ光と、を交互に被写体に照射させるためのシステム制御信号を生成して光源制御部３４へ出力する。

光源制御部３４は、プロセッサ４から出力されるシステム制御信号に基づき、青色ＬＥＤ３１１、緑色ＬＥＤ３１２及び赤色ＬＥＤ３１３の３色のＬＥＤを点灯させつつ琥珀色ＬＥＤ３１４を消灯させる制御と、琥珀色ＬＥＤ３１４を点灯させつつ当該３色のＬＥＤを消灯させる制御と、を発光部３１に対して交互に行う。そして、このような光源制御部３４の動作に応じ、ＷＬ光及びＡ光が交互に被写体に照射されるとともに、当該ＷＬ光が照射された当該被写体を撮像して得られる白色光画像ＷＬＩと、当該Ａ光が照射された当該被写体を撮像して得られる深部血管画像ＡＬＩ（図５参照）と、が内視鏡装置２からそれぞれ出力される。すなわち、深部血管画像ＡＬＩは、例えば、被検体内における深部血管の存在箇所が相対的に暗くなり、かつ、当該被検体内における深部血管の存在箇所以外の箇所が相対的に明るくなるような画像として取得される。図５は、第１の実施形態に係る内視鏡システムにより取得される深部血管画像を模式的に示した図である。

制御部４５は、プロセッサ４の電源が投入された際に、ＷＬ光の照射に応じて内視鏡装置２から出力される白色光画像ＷＬＩを画像合成部４３６へ出力させるとともに、Ａ光の照射に応じて内視鏡装置２から出力される深部血管画像ＡＬＩを内視鏡画像記憶部４３１へ出力させるためのシステム制御信号を生成して画像入力部４２へ出力する。そして、このような制御部４５の動作に応じ、内視鏡装置２から出力される白色光画像ＷＬＩが画像入力部４２を経て画像合成部４３６に入力されるとともに、内視鏡装置２から出力される深部血管画像ＡＬＩが画像入力部４２を経て内視鏡画像記憶部４３１に時系列に格納される。

画像照合部４３４は、内視鏡画像記憶部４３１に格納されている最新の深部血管画像ＡＬＩを読み込むとともに、データベース４３３Ｄに格納されている全てのまたは一部の血管断層画像の中から、当該最新の深部血管画像ＡＬＩに対する一致度が最も高い一の血管断層画像ＢＴＩを特定するための画像照合処理を行う。また、画像照合部４３４は、前述の画像照合処理の処理結果として得られた一の血管断層画像ＢＴＩに関連付けられている仮想内視鏡位置情報ＶＰＩを取得するとともに、当該取得した仮想内視鏡位置情報ＶＰＩをナビゲーション画像生成部４３５へ出力する。

ナビゲーション画像生成部４３５は、３次元血管モデル格納部４３２から読み込んだ３次元血管モデル５０１と、画像照合部４３４から出力される仮想内視鏡位置情報ＶＰＩに基づいて特定した仮想内視鏡の位置と、の間の対応関係を所定の３次元空間ＴＤＳ内において表すようなナビゲーション画像ＮＧＩを生成する。また、ナビゲーション画像生成部４３５は、画像照合部４３４から出力される仮想内視鏡位置情報ＶＰＩが更新される毎に、ナビゲーション画像ＮＧＩの表示状態を変化させる。

具体的には、ナビゲーション画像生成部４３５は、例えば、所定の３次元空間ＴＤＳ内に３次元血管モデル５０１を配置し、画像照合部４３４から出力される仮想内視鏡位置情報ＶＰＩに基づいて特定した仮想内視鏡の視点及び姿勢を用いて当該仮想内視鏡の先端部を模式化した図形６０１を生成し、さらに、３次元血管モデル５０１の周囲に図形６０１を配置することにより、図６に示すようなナビゲーション画像ＮＧＩを生成する。すなわち、ナビゲーション画像生成部４３５は、所定の３次元空間ＴＤＳ内に配置した３次元血管モデル５０１と、当該所定の３次元空間ＴＤＳ内における仮想内視鏡の位置を表す図形６０１と、を含む画像をナビゲーション画像ＮＧＩとして生成する。また、ナビゲーション画像生成部４３５は、例えば、図６内の破線として示すように、画像照合部４３４から出力される仮想内視鏡位置情報ＶＰＩが更新される毎に、ナビゲーション画像ＮＧＩに含まれる図形６０１の位置を移動させる。図６は、第１の実施形態に係るプロセッサにより生成されるナビゲーション画像の一例を説明するための図である。

画像合成部４３６は、画像入力部４２から出力される白色光画像ＷＬＩと、ナビゲーション画像生成部４３５から出力されるナビゲーション画像ＮＧＩと、を合成した表示用画像ＤＳＩを生成するとともに、当該生成した表示用画像ＤＳＩを表示装置５へ出力する。そして、このような画像合成部４３６の動作によれば、例えば、図７に示すような、白色光画像ＷＬＩ及びナビゲーション画像ＮＧＩを横並びに配置した表示用画像ＤＳＩが表示装置５に表示される。なお、図７の白色光画像ＷＬＩには、例えば、毛細血管等のような、生体組織の粘膜表層またはその付近に存在する深部血管以外の構造物が含まれている。また、図７の白色光画像ＷＬＩには、画像照合部４３４の画像照合処理に用いられた深部血管画像ＡＬＩに比べて視認性が低い状態で撮像された深部血管が含まれている。図７は、第１の実施形態に係るプロセッサにより生成される表示用画像の一例を説明するための図である。

以上に述べたような各部の動作によれば、例えば、肺における（白色光画像ＷＬＩ及び）深部血管画像ＡＬＩを取得した位置を表す図形６０１と、当該肺における血管の３次元的な分布状態を表す３次元血管モデル５０１と、を具備するナビゲーション画像ＮＧＩを表示装置５に表示させることができる。また、以上に述べたような各部の動作によれば、例えば、３次元血管モデル５０１に対する図形６０１の位置を肺の変位に追従して変化させることができる。

以上に述べたように、本実施形態によれば、手術対象の臓器における現在の観察位置と、当該臓器における血管の３次元的な分布状態と、の間の対応関係を表す情報を提示することができる。従って、本実施形態によれば、深部血管の偶発的な損傷を防ぎつつ病変部の切除等の処置を行うことができるため、内視鏡観察下で外科手術を行う術者の負担を軽減することができる。

なお、本実施形態によれば、画像照合部４３４から出力される仮想内視鏡位置情報ＶＰＩが更新される毎に、ナビゲーション画像ＮＧＩに含まれる３次元血管モデル５０１の位置を固定した状態で図形６０１の位置を移動させるものに限らず、例えば、当該ナビゲーション画像ＮＧＩに含まれる図形６０１の位置を固定した状態で３次元血管モデル５０１を回転させるようにしてもよい。

また、本実施形態によれば、例えば、白色光画像ＷＬＩの代わりに深部血管画像ＡＬＩを含むような表示用画像ＤＳＩが表示装置５に表示されるようにしてもよい。

また、本実施形態によれば、３次元血管モデル５０１に対する図形６０１の位置に応じ、ナビゲーション画像ＮＧＩに含まれる３次元血管モデル５０１の拡大率ＲＭを変化させるようにしてもよい。具体的には、例えば、図形６０１が３次元血管モデル５０１に近づくにつれて拡大率ＲＭを大きくするとともに、図形６０１が３次元血管モデル５０１から遠ざかるにつれて拡大率ＲＭを小さくするようにしてもよい。

また、本実施形態によれば、例えば、画像照合部４３４が、データベース４３３Ｄに格納されている全てのまたは一部の血管断層画像の中から内視鏡画像記憶部４３１に格納されている最新の画像に対する一致度が所定の閾値を超える１以上の血管断層画像を特定し、当該特定した１以上の血管断層画像の中から生体組織に照射される光が生体組織の深部において到達可能な深さまでの血管を含む血管断層画像を抽出し、当該抽出した血管断層画像から仮想内視鏡位置情報を取得するようにしてもよい。

（第２の実施形態）
図８から図１０は、本発明の第２の実施形態に係るものである。

なお、本実施形態においては、第１の実施形態と同様の構成等を有する部分に関する詳細な説明を省略するとともに、第１の実施形態と異なる構成等を有する部分に関して主に説明を行う。

内視鏡システム１Ａは、図８に示すように、内視鏡装置２Ａと、光源装置３Ａと、プロセッサ４Ａと、表示装置５と、を有して構成されている。図８は、第２の実施形態に係る内視鏡システムの具体的な構成の一例を説明するための図である。

内視鏡装置２Ａは、図８に示すように、内視鏡装置２におけるカメラユニット２２の代わりにカメラユニット２２Ａを設けて構成されている。

カメラユニット２２Ａは、励起光カットフィルタ２３と、ダイクロイックミラー２４と、撮像素子２５Ａ及び２５Ｂと、信号処理回路２６と、を有して構成されている。また、カメラユニット２２Ａは、信号ケーブル２８の端部に設けられたコネクタ２９を介してプロセッサ４Ａに着脱可能に構成されている。

励起光カットフィルタ２３は、接眼レンズ１９を経て出射される光から励起光の反射光を除去する光学フィルタとして構成されている。すなわち、励起光カットフィルタ２３は、光源装置３Ａから出射されるＩＲ光（後述）と同じ波長帯域の光を遮断しつつ、当該ＩＲ光以外の波長帯域の光を透過させるような光学特性を具備して構成されている。

ダイクロイックミラー２４は、励起光カットフィルタ２３を経て出射される出射光に含まれる可視域の光を撮像素子２５Ａ側へ透過させるとともに、当該出射光に含まれる近赤外域の光を撮像素子２５Ｂ側へ反射するような光学特性を具備して構成されている。

撮像素子２５Ａは、例えば、可視域に感度を有するカラーＣＣＤまたはカラーＣＭＯＳのようなイメージセンサを具備して構成されている。また、撮像素子２５Ａは、プロセッサ４Ａから出力される撮像素子駆動信号に応じた撮像動作を行うように構成されている。また、撮像素子２５Ａは、ダイクロイックミラー２４を透過した可視域の光を撮像し、当該撮像した可視域の光に応じた画像を生成して信号処理回路２６へ出力するように構成されている。

撮像素子２５Ｂは、例えば、近赤外域に感度を有するモノクロＣＣＤまたはモノクロＣＭＯＳのようなイメージセンサを具備して構成されている。また、撮像素子２５Ｂは、プロセッサ４Ａから出力される撮像素子駆動信号に応じた撮像動作を行うように構成されている。また、撮像素子２５Ｂは、ダイクロイックミラー２４により反射された赤外域の光を撮像し、当該撮像した赤外域の光に応じた画像を生成して信号処理回路２６へ出力するように構成されている。

光源装置３Ａは、光源装置３における発光部３１の代わりに発光部３１Ａを設けて構成されている。

発光部３１Ａは、青色ＬＥＤ３１１と、緑色ＬＥＤ３１２と、赤色ＬＥＤ３１３と、琥珀色ＬＥＤ３１４と、近赤外ＬＤ（レーザダイオード）３１５と、を有して構成されている。

近赤外ＬＤ３１５は、例えば、中心波長が８００ｎｍに設定された（狭帯域な）近赤外光であるＩＲ光を発するように構成されている。すなわち、近赤外ＬＤ３１５は、ＩＣＧ（インドシアニングリーン）等のような、被検体に投与された所定の蛍光薬剤を励起して蛍光を発生させることが可能な励起光であるＩＲ光を発するように構成されている。さらに換言すると、近赤外ＬＤ３１５は、生体組織の深部及び当該生体組織の深部に存在する太径の血管である深部血管に到達可能な光（特殊光）であるＩＲ光を発するように構成されている。また、近赤外ＬＤ３１５は、光源制御部３４の制御に応じて点灯状態または消灯状態に切り替わるように構成されている。また、近赤外ＬＤ３１５は、点灯状態において、光源制御部３４の制御に応じた強度のＩＲ光を発生するように構成されている。

プロセッサ４Ａは、画像処理装置としての機能を具備して構成されている。また、プロセッサ４Ａは、撮像素子駆動部４１Ａと、画像入力部４２と、表示用画像生成部４３Ａと、入力Ｉ／Ｆ（インターフェース）４４Ａと、制御部４５Ａと、を有して構成されている。なお、本実施形態においては、例えば、プロセッサ４Ａの撮像素子駆動部４１Ａ、画像入力部４２、表示用画像生成部４３Ａ及び制御部４５Ａの各部が、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、プロセッサ４Ａが１つ以上のＣＰＵを具備して構成されていてもよい。

撮像素子駆動部４１Ａは、制御部４５Ａから出力されるシステム制御信号に応じ、撮像素子２５Ａ及び２５Ｂを駆動させるための撮像素子駆動信号を生成して出力するように構成されている。

表示用画像生成部４３Ａは、例えば、図９に示すように、内視鏡画像記憶部４３１と、３次元血管モデル格納部４３２と、血管断層画像生成部４３３と、画像照合部４３４Ａと、ナビゲーション画像生成部４３５と、画像合成部４３６と、を有して構成されている。図９は、第２の実施形態に係るプロセッサに設けられた表示用画像生成部の具体的な構成の一例を説明するための図である。

画像照合部４３４Ａは、制御部４５Ａから出力されるシステム制御信号に基づき、被写体に照射される光が生体組織の深部において到達可能な深さに相当する深度限界を特定し、さらに、データベース４３３Ｄに格納されている全てのまたは一部の血管断層画像の中から、当該深度限界までの血管を含む１つ以上の血管断層画像を抽出するための画像抽出処理を行うように構成されている。また、画像照合部４３４Ａは、内視鏡画像記憶部４３１に格納されている最新の画像を読み込むとともに、前述の画像抽出処理により抽出された１つ以上の血管断層画像の中から、当該最新の画像に対する一致度が最も高い一の血管断層画像を特定するための画像照合処理を行うように構成されている。また、画像照合部４３４Ａは、前述の画像照合処理の処理結果として得られた一の血管断層画像に関連付けられている仮想内視鏡位置情報を取得するとともに、当該取得した仮想内視鏡位置情報をナビゲーション画像生成部４３５へ出力するように構成されている。

入力Ｉ／Ｆ４４Ａは、術者等のユーザの操作に応じた指示等を行うことが可能な１つ以上のスイッチ及び／またはボタンを具備して構成されている。また、入力Ｉ／Ｆ４４Ａは、ユーザの操作に応じ、Ａ光またはＩＲ光のいずれか一方を光源装置３Ａから出射させるための指示を行うことができるように構成されている。

制御部４５Ａは、入力Ｉ／Ｆ４４Ａにおいてなされた指示に応じた動作を行わせるためのシステム制御信号を生成して出力するように構成されている。また、制御部４５Ａは、発光部３１Ａから発せられる光を時分割に被写体に照射させるためのシステム制御信号を生成して光源制御部３４へ出力するように構成されている。また、制御部４５Ａは、撮像素子２５Ａ及び２５Ｂの撮像動作を制御するためのシステム制御信号を生成して撮像素子駆動部４１Ａへ出力するように構成されている。また、制御部４５Ａは、発光部３１Ａから発せられる光を時分割に被写体に照射する際の照射パターンに応じ、内視鏡装置２Ａにより得られた画像の出力先の切り替えに係る動作を行わせるためのシステム制御信号を生成して画像入力部４２へ出力するように構成されている。

次に、本実施形態の内視鏡システム１Ａの動作等について説明する。

ユーザは、例えば、内視鏡システム１Ａの各部を接続して電源を投入した後、入力Ｉ／Ｆ４４Ａを操作することにより、光源装置３からＡ光を出射させるための指示を行う。また、ユーザは、例えば、光源装置３からＡ光を出射させるための指示を行った後、被検体内の肺における所望の被写体を撮像可能な位置に挿入部６の先端部を配置する。

制御部４５Ａは、プロセッサ４Ａの電源が投入され、かつ、光源装置３Ａがプロセッサ４Ａに接続された際に、入力Ｉ／Ｆ４４Ａにおいてなされた指示に応じ、ＷＬ光と、Ａ光と、を交互に被写体に照射させるためのシステム制御信号を生成して光源制御部３４へ出力する。

光源制御部３４は、プロセッサ４Ａから出力されるシステム制御信号に基づき、青色ＬＥＤ３１１、緑色ＬＥＤ３１２及び赤色ＬＥＤ３１３の３色のＬＥＤを点灯させつつ琥珀色ＬＥＤ３１４及び近赤外ＬＤ３１５を消灯させる制御と、琥珀色ＬＥＤ３１４を点灯させつつ当該３色のＬＥＤ及び近赤外ＬＤ３１５を消灯させる制御と、を発光部３１Ａに対して交互に行う。そして、このような光源制御部３４の動作に応じ、ＷＬ光及びＡ光が交互に被写体に照射されるとともに、白色光画像ＷＬＩ及び深部血管画像ＡＬＩが内視鏡装置２Ａからそれぞれ出力される。

制御部４５Ａは、プロセッサ４Ａの電源が投入され、かつ、Ａ光を被写体に照射させるための指示が入力Ｉ／Ｆ４４Ａにおいて行われた際に、内視鏡装置２Ａから出力される白色光画像ＷＬＩを画像合成部４３６へ出力させるとともに、内視鏡装置２Ａから出力される深部血管画像ＡＬＩを内視鏡画像記憶部４３１へ出力させるためのシステム制御信号を生成して画像入力部４２へ出力する。そして、このような制御部４５Ａの動作に応じ、内視鏡装置２Ａから出力される白色光画像ＷＬＩが画像入力部４２を経て画像合成部４３６に入力されるとともに、内視鏡装置２Ａから出力される深部血管画像ＡＬＩが画像入力部４２を経て内視鏡画像記憶部４３１に時系列に格納される。

画像照合部４３４Ａは、制御部４５Ａから出力されるシステム制御信号に基づいてＡ光が被写体に照射されていることを検出した場合に、当該Ａ光の照射により深部血管を観察可能な深さに相当する深度限界ＤＭＡ（例えば１ｍｍ）を特定し、当該特定した深度限界ＤＭＡまでの血管を含む１つ以上の血管断層画像をデータベース４３３Ｄに格納されている全てのまたは一部の血管断層画像の中から抽出するための画像抽出処理を行う。また、画像照合部４３４Ａは、内視鏡画像記憶部４３１に格納されている最新の深部血管画像ＡＬＩを読み込むとともに、前述の画像抽出処理により抽出された１つ以上の血管断層画像の中から、当該最新の深部血管画像ＡＬＩに対する一致度が最も高い一の血管断層画像ＢＴＩを特定するための画像照合処理を行う。

すなわち、画像照合部４３４Ａは、Ａ光が被写体に照射されている場合に、血管断層画像生成部４３３により生成された（データベース４３３Ｄに格納されている）全てのまたは一部の血管断層画像の中から、当該Ａ光が生体組織の深部において到達可能な深さまでの血管を含む１つ以上の血管断層画像を抽出し、当該抽出した１つ以上の血管断層画像の中から、最新の深部血管画像ＡＬＩに対する一致度が最も高い一の血管断層画像ＢＴＩを特定するための処理を行う。

画像照合部４３４Ａは、前述の画像照合処理の処理結果として得られた一の血管断層画像ＢＴＩに関連付けられている仮想内視鏡位置情報ＶＰＩを取得するとともに、当該取得した仮想内視鏡位置情報ＶＰＩをナビゲーション画像生成部４３５へ出力する。そして、このような画像照合部４３４Ａの動作によれば、第１の実施形態と略同様のナビゲーション画像がナビゲーション画像生成部４３５により生成されるとともに、第１の実施形態と略同様の表示用画像が画像合成部４３６により生成される。

ユーザは、例えば、ＩＲ光により励起されかつ当該ＩＲ光よりも長波長な近赤外の蛍光であるＦＬ光を発生する蛍光薬剤ＦＬＰを被検体に投与した状態において、入力Ｉ／Ｆ４４Ａを操作することにより、ＩＲ光を被写体に照射させるための指示を行う。また、ユーザは、例えば、光源装置３からＩＲ光を出射させるための指示を行った後、被検体内の肺における所望の被写体を撮像可能な位置に挿入部６の先端部を配置する。

制御部４５Ａは、プロセッサ４Ａの電源が投入され、かつ、光源装置３Ａがプロセッサ４Ａに接続された際に、入力Ｉ／Ｆ４４Ａにおいてなされた指示に応じ、ＷＬ光と、ＩＲ光と、を交互に被写体に照射させるためのシステム制御信号を生成して光源制御部３４へ出力する。

光源制御部３４は、プロセッサ４Ａから出力されるシステム制御信号に基づき、青色ＬＥＤ３１１、緑色ＬＥＤ３１２及び赤色ＬＥＤ３１３の３色のＬＥＤを点灯させつつ琥珀色ＬＥＤ３１４及び近赤外ＬＤ３１５を消灯させる制御と、近赤外ＬＤ３１５を点灯させつつ当該３色のＬＥＤ及び琥珀色ＬＥＤ３１４を消灯させる制御と、を発光部３１Ａに対して交互に行う。そして、このような光源制御部３４の動作に応じ、ＷＬ光及びＩＲ光が交互に被写体に照射されるとともに、当該ＷＬ光が照射された当該被写体を撮像素子２５Ａで撮像して得られる白色光画像ＷＬＩと、当該ＩＲ光が照射された当該被写体から発せられるＦＬ光を撮像素子２５Ｂで撮像して得られる蛍光画像ＦＬＩ（図１０参照）と、が内視鏡装置２Ａからそれぞれ出力される。すなわち、蛍光画像ＦＬＩは、例えば、被検体内における深部血管の存在箇所が相対的に明るくなり、かつ、当該被検体内における深部血管の存在箇所以外の箇所が相対的に暗くなるような画像として取得される。図１０は、第２の実施形態に係る内視鏡システムにより取得される蛍光画像を模式的に示した図である。

制御部４５Ａは、プロセッサ４Ａの電源が投入され、かつ、ＩＲ光を被写体に照射させるための指示が入力Ｉ／Ｆ４４Ａにおいて行われた際に、内視鏡装置２Ａから出力される白色光画像ＷＬＩを画像合成部４３６へ出力させるとともに、内視鏡装置２Ａから出力される蛍光画像ＦＬＩを内視鏡画像記憶部４３１へ出力させるためのシステム制御信号を生成して画像入力部４２へ出力する。そして、このような制御部４５Ａの動作に応じ、内視鏡装置２Ａから出力される白色光画像ＷＬＩが画像入力部４２を経て画像合成部４３６に入力されるとともに、内視鏡装置２Ａから出力される蛍光画像ＦＬＩが画像入力部４２を経て内視鏡画像記憶部４３１に時系列に格納される。

画像照合部４３４Ａは、制御部４５Ａから出力されるシステム制御信号に基づいてＩＲ光が被写体に照射されていることを検出した場合に、当該ＩＲ光の照射により深部血管を観察可能な深さに相当する深度限界ＤＭＢ（例えば２ｍｍ）を特定し、当該特定した深度限界ＤＭＢまでの血管を含む１つ以上の血管断層画像をデータベース４３３Ｄに格納されている全てのまたは一部の血管断層画像の中から抽出するための画像抽出処理を行う。画像照合部４３４Ａは、内視鏡画像記憶部４３１に格納されている最新の蛍光画像ＦＬＩを読み込むとともに、前述の画像抽出処理により抽出された１つ以上の血管断層画像の中から、当該最新の蛍光画像ＦＬＩに対する一致度が最も高い一の血管断層画像ＢＴＪを特定するための画像照合処理を行う。

すなわち、画像照合部４３４Ａは、ＩＲ光が被写体に照射されている場合に、血管断層画像生成部４３３により生成された（データベース４３３Ｄに格納されている）全ての血管断層画像の中から、当該ＩＲ光が生体組織の深部において到達可能な深さまでの血管を含む１つ以上の血管断層画像を抽出し、当該抽出した１つ以上の血管断層画像の中から、最新の蛍光画像ＦＬＩに対する一致度が最も高い一の血管断層画像ＢＴＪを特定するための処理を行う。

画像照合部４３４Ａは、前述の画像照合処理の処理結果として得られた一の血管断層画像ＢＴＪに関連付けられている仮想内視鏡位置情報ＶＰＪを取得するとともに、当該取得した仮想内視鏡位置情報ＶＰＪをナビゲーション画像生成部４３５へ出力する。そして、このような画像照合部４３４Ａの動作によれば、ＩＲ光の照射時において、Ａ光の照射時よりも多くの血管断層画像が抽出される。また、前述のような画像照合部４３４Ａの動作によれば、第１の実施形態と略同様のナビゲーション画像がナビゲーション画像生成部４３５により生成されるとともに、第１の実施形態と同様の表示用画像が画像合成部４３６により生成される。

また、本実施形態によれば、画像照合部４３４Ａの画像照合処理に用いられる血管断層画像の個数を、深度限界ＤＭＡ及びＤＭＢに応じてデータベース４３３Ｄから抽出した個数に制限することができる。従って、本実施形態によれば、例えば、画像照合部４３４Ａにおける画像照合処理に費やされる時間を短縮することができるとともに、ナビゲーション画像生成部４３５におけるナビゲーション画像の表示状態の変化を高速化することができる。

なお、本発明は、上述した各実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

本出願は、２０１７年５月３０日に日本国に出願された特願２０１７−１０６９７５号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

本発明は、画像処理装置、画像処理システム及び画像処理装置の作動方法に関し、特に、内視鏡観察を行う際に用いられる画像処理装置、画像処理システム及び画像処理装置の作動方法に関するものである。

本発明は、前述した事情に鑑みてなされたものであり、内視鏡観察下で外科手術を行う術者の負担を軽減可能な画像処理装置、画像処理システム及び画像処理装置の作動方法を提供することを目的としている。

本発明の一態様の画像処理装置は、被検体内に存在する所定の臓器における血管の３次元的な分布状態を表すように構築された３次元血管モデルが格納されている格納部と、前記３次元血管モデルが構築される３次元空間における任意の平面上に含まれる血管の分布状態を表す複数の血管断層画像を生成するように構成された血管断層画像生成部と、前記所定の臓器における被写体に対して生体組織の深部血管に到達可能な光が照射された際に前記被写体を撮像して得られる深部血管画像が入力される画像入力部と、前記血管断層画像生成部により生成された全てのまたは一部の血管断層画像の中から、前記画像入力部に入力された深部血管画像に対する一致度が所定の閾値よりも高い血管断層画像を特定するための処理を行うように構成された画像照合部と、前記画像照合部により特定された血管断層画像に基づき、前記３次元血管モデルと、前記画像照合部により特定された血管断層画像に含まれる血管を観察可能な内視鏡の位置と、の間の対応関係を前記３次元空間内において表すナビゲーション画像を生成するように構成されたナビゲーション画像生成部と、を有する。
本発明の一態様の画像処理システムは、被検体内に存在する所定の臓器における血管の３次元的な分布状態を表すように構築された３次元血管モデルが格納されている格納部と、前記３次元血管モデルが構築される３次元空間における任意の平面上に含まれる血管の分布状態を表す複数の血管断層画像を生成するように構成された血管断層画像生成部と、前記所定の臓器における被写体に対して生体組織の深部血管に到達可能な光が照射された際に前記被写体を撮像して得られる深部血管画像が入力される画像入力部と、前記血管断層画像生成部により生成された全てのまたは一部の血管断層画像の中から、前記画像入力部に入力された深部血管画像に対する一致度が所定の閾値よりも高い血管断層画像を特定するための処理を行うように構成された画像照合部と、前記画像照合部により特定された血管断層画像に基づき、前記３次元血管モデルと、前記画像照合部により特定された血管断層画像に含まれる血管を観察可能な内視鏡の位置と、の間の対応関係を前記３次元空間内において表すナビゲーション画像を生成するように構成されたナビゲーション画像生成部と、を有する画像処理装置と、前記被写体に対して生体組織の深部血管に到達可能な光を照射した際に前記被写体を撮像して画像を生成する内視鏡と、を備え、前記画像入力部に入力される前記深部血管画像は、前記内視鏡によって生成された画像である。
本発明の一態様の画像処理装置の作動方法は、血管断層画像生成部が、被検体内に存在する所定の臓器における血管の３次元的な分布状態を表すように構築された３次元血管モデルが構築される３次元空間における任意の平面上に含まれる血管の分布状態を表す複数の血管断層画像を生成し、画像照合部が、前記複数の血管断層画像の中から、前記所定の臓器における被写体に対して生体組織の深部血管に到達可能な光が照射された際に前記被写体を撮像して得られる深部血管画像に対する一致度が所定の閾値よりも高い血管断層画像を特定し、ナビゲーション画像生成部が、前記画像照合部により特定された血管断層画像に基づき、前記３次元血管モデルと、前記画像照合部により特定された血管断層画像に含まれる血管を観察可能な内視鏡の位置と、の間の対応関係を前記３次元空間内において表すナビゲーション画像を生成する。

Claims

被検体内に存在する所定の臓器における血管の３次元的な分布状態を表すように構築された３次元血管モデルが格納されている格納部と、
前記３次元血管モデルが構築される３次元空間における任意の平面上に含まれる血管の分布状態を表す複数の血管断層画像を生成するように構成された血管断層画像生成部と、
前記所定の臓器における被写体に対して生体組織の深部に到達可能な光が照射された際に前記被写体を撮像して得られる画像が入力される画像入力部と、
前記血管断層画像生成部により生成された全てのまたは一部の血管断層画像の中から、前記画像入力部に入力された画像に対する一致度が所定の閾値よりも高い血管断層画像を特定するための処理を行うように構成された画像照合部と、
前記画像照合部により特定された血管断層画像に基づき、前記３次元血管モデルと、前記画像照合部により特定された血管断層画像に含まれる血管を観察可能な内視鏡の位置と、の間の対応関係を前記３次元空間内において表すナビゲーション画像を生成するように構成されたナビゲーション画像生成部と、
を有することを特徴とする画像処理装置。
前記画像照合部は、前記血管断層画像生成部により生成された全てのまたは一部の血管断層画像の中から、前記被写体に照射される光が生体組織の深部において到達可能な深さまでの血管を含む１つ以上の血管断層画像を抽出し、さらに、当該抽出した１つ以上の血管断層画像の中から前記一致度が前記所定の閾値よりも高い血管断層画像を特定するための処理を行う
ことを特徴とする請求項１に記載の画像処理装置。
前記ナビゲーション画像生成部は、前記３次元空間内に配置した前記３次元血管モデルと、前記３次元空間内における前記内視鏡の位置を表す図形と、を含む画像を前記ナビゲーション画像として生成する
ことを特徴とする請求項１に記載の画像処理装置。
前記ナビゲーション画像生成部は、前記画像照合部により特定された前記血管断層画像に対応する前記仮想内視鏡の位置が更新される毎に、前記ナビゲーション画像に含まれる前記図形の位置を移動させる
ことを特徴とする請求項３に記載の画像処理装置。
前記ナビゲーション画像生成部は、前記画像照合部により特定された前記血管断層画像に対応する前記仮想内視鏡の位置が更新される毎に、前記ナビゲーション画像に含まれる前記３次元血管モデルを回転させる
ことを特徴とする請求項３に記載の画像処理装置。
前記ナビゲーション画像生成部は、前記３次元血管モデルに対する前記図形の位置に応じ、前記ナビゲーション画像に含まれる前記３次元血管モデルの拡大率を変化させる
ことを特徴とする請求項３に記載の画像処理装置。