JP6432770B2 - 画像処理装置、画像処理方法、並びにプログラム - Google Patents

Description

本技術は、画像処理装置、画像処理方法、並びにプログラムに関する。詳しくは、内視鏡などの被写体の体腔内を撮影し、体腔内の情報を得る装置に適用して好適な画像処理装置、画像処理方法、並びにプログラムに関する。

体腔内の組織に対して回転フィルタを用いてＲ１，Ｇ１，Ｂ１の３色の光を順次照射し、それらの反射光画像から作成した画像（通常光画像）を用いて診断を行う面順次式の内視鏡システムが広く使用されている。さらに、体腔内の組織に対して前述の３色の光とは特性が異なる２種類の狭帯域光Ｇ２とＢ２を順次照射し、それらの反射光画像から作成した狭帯域光画像を用いて診断を行う内視鏡システムが提案されている（例えば特許文献１）。

狭帯域光画像を取得する内視鏡システムを用いて診断を行うことで、例えば通常光画像による視認が困難な扁平上皮癌等の病変部が、正常部とは異なる褐色の領域として描出される。そのため、病変部の発見が容易になることが知られている。

また、体腔内の組織に対して狭帯域の励起光を照射し、励起光により組織から発生する自家蛍光もしくは薬剤蛍光を取得して作成した蛍光画像を用いて診断を行う内視鏡システムが提案されている（例えば特許文献２）。

蛍光画像を取得する内視鏡システムを用いて診断を行う場合は、腫瘍等の病変部に特異的に集積する性質を持つ蛍光薬剤を使用することで、腫瘍等の病変部だけが蛍光を発生することになり、発見が容易になる。

しかしながら、これらの狭帯域光画像や蛍光画像（これらを合わせて特殊光画像と呼ぶ）は、一般的に通常光画像と比較してかなり異なる色みを有している。さらに照明光が不足するため非常に暗い画像となるため、特殊光画像のみを用いて診断を行うことは難しい。このような理由から、ユーザの診断精度を向上するために、例えば通常光画像と特殊光画像を同時に取得して表示することが考えられる。しかし、これらの画像を並べて同時に表示すると、ユーザが常時複数の画像に注目しながら診断を行うこととなりユーザの負荷が高くなる。また、一時的に１つの画像のみに注目してしまうことで病変部を見逃すことも考えられる。

そこで、特許文献３では、白色光の波長領域に対応する第１の画像と特定の波長領域に対応する第２の画像を取得して、第２の画像内の被写体像の種類を判別し、種類に基づいて第１の画像に強調処理を施すことで、ユーザの負荷を低減しながら病変部の見逃しを防止することについての提案がなされている。

特開２００６−６８１１３号公報 特開２００７−２２９０５３号公報 特開２０１１−１３５９８３号公報

特許文献１乃至３を含む従来の手法では、２Ｄ画像による平面的な画像より得られる特徴量に基づいた特徴検出が行われている。よって、被写体物の立体的な構造や、物体間、例えば血管間の立体的な位置関係の情報は得られづらく、被写体像の種類判別や特徴検出を行うことが困難である場合があった。

本技術は、このような状況に鑑みてなされたものであり、奥行き情報を用いることで、立体的な構造や物体間の位置関係の情報を得られやすくすることができるようにするものである。

本技術の一側面の画像処理装置は、特定の波長帯域における情報を有する特殊光画像を取得する特殊光画像取得部と、白色光の波長帯域における情報を有する通常光画像を取得する通常光画像取得部と、前記特殊光画像に基づいて生成された第１の３次元情報と前記通常光画像に基づいて生成された第２の３次元情報との深さ方向の差分に基づいて、生体内の所定の部位の前記深さ方向の位置情報を検出する検出部とを備える。

内視鏡システムまたは顕微鏡システムの一部を構成するようにすることができる。

前記特定の波長帯域は、赤外光であり、前記検出部は、前記所定の部位として、出血点を検出することができる。

前記特殊光画像または前記通常光画像に、前記出血点を表す所定のマーク、またはテキストを重畳した画像を生成する画像生成部をさらに備えるようにすることができる。
前記検出部は、前記第１の３次元情報と前記第２の３次元情報の深さ方向の差分が所定の閾値より大きい場合に、前記所定の部位として前記出血点があると検出するようにすることができる。

前記特定の波長帯域は、偏光であり、前記検出部は、前記所定の部位として、透明膜の膜厚を検出することができる。

前記特殊光画像または前記通常光画像に、前記透明膜の膜厚を表す数値、または膜厚に応じたグラデーション画像を重畳した画像を生成する画像生成部をさらに備えるようにすることができる。

前記特定の波長帯域は、赤外光であり、前記検出部は、前記所定の部位として、ミストを検出することができる。

前記特殊光画像または前記通常光画像に、前記ミストがあることを知らせる警告表示、または前記ミストを表す色を重畳した画像を生成する画像生成部をさらに備えるようにすることができる。

前記画像生成部は、画像全体に占める前記ミストが検出された領域の割合が大きい場合、前記特殊光画像を表示する、または、前記ミストを除去する画像処理が施された画像を生成するようにすることができる。
前記検出部は、前記第１の３次元情報と前記第２の３次元情報の深さ方向の差分が所定の閾値より大きい場合に、前記所定の部位として前記ミストがあると検出するようにすることができる。

前記特定の波長帯域は、第１の波長と、前記第１の波長とは異なる第２の波長であり、前記検出部は、前記第１の波長における情報を有する特殊光画像と、前記第２の波長における情報を有する特殊光画像との深さ方向の差分に基づいて、血管の深さ方向における位置情報を検出することができる。

前記血管の深さ方向における位置情報を用いて、深い位置にある動脈の反射率を補正した画像を生成する画像生成部をさらに備えるようにすることができる。

前記特定の波長帯域は、インドシアニングリーン（ICG）注射後の励起光観察に用いられる励起光の波長帯域であり、前記検出部は、前記特殊光画像に基づいて生成された第１の３次元情報に基づいて、重なりがある血管同士の位置関係、癌組織とつながりのある血管、または癌の可能性のある領域を検出するようにすることができる。

重なり合う血管ごとに輝度または色を変えた画像、または癌の可能性のある領域を強調した画像を生成する画像生成部をさらに備えることができる。

前記特定の波長帯域は、青色光であり、前記検出部は、前記青色光による３次元画像から、所定の位置の奥行き情報を生成し、前記青色光による２次元画像から、腫瘍の平面方向の大きさを推定し、その推定値と、前記奥行き情報を乗算することで得られる前記腫瘍の体積を検出することができる。

前記体積が大きい前記腫瘍を強調表示した画像を生成する画像生成部をさらに備えるようにすることができる。

前記特殊光画像取得部は、前記通常光画像から、前記特定の波長帯域における情報を有する特殊光画像を生成することができる。
前記特殊光画像及び前記通常光画像は、それぞれステレオ画像であり、前記第１の３次元情報及び前記第２の３次元情報は、それぞれの前記ステレオ画像から生成されるようにすることができる。

本技術の一側面の画像処理方法は、画像処理装置の画像処理方法において、前記画像処理装置が、特定の波長帯域における情報を有する特殊光画像を取得し、白色光の波長帯域における情報を有する通常光画像を取得し、前記特殊光画像に基づいて生成された第１の３次元情報と前記通常光画像に基づいて生成された第２の３次元情報との深さ方向の差分に基づいて、生体内の所定の部位の前記深さ方向の位置情報を検出する。

本技術の一側面のプログラムは、特定の波長帯域における情報を有する特殊光画像を取得し、白色光の波長帯域における情報を有する通常光画像を取得し、前記特殊光画像に基づいて生成された第１の３次元情報と前記通常光画像に基づいて生成された第２の３次元情報との深さ方向の差分に基づいて、生体内の所定の部位の前記深さ方向の位置情報を検出する処理をコンピュータに実行させる。

本技術の一側面の画像処理装置、画像処理方法、およびプログラムにおいては、特定の波長帯域における情報を有する特殊光画像が取得され、白色光の波長帯域における情報を有する通常光画像が取得され、、特殊光画像に基づいて生成された第１の３次元情報と通常光画像に基づいて生成された第２の３次元情報との深さ方向の差分に基づいて、生体内の所定の部位の深さ方向の位置情報が検出される。

本技術の一側面によれば、奥行き情報を用いることで、立体的な構造や物体間の位置関係の情報を得られやすくすることができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した画像処理装置の一実施の形態の構成を示す図である。 本技術を適用した画像処理装置の一実施の形態の他の構成を示す図である。 本技術を適用した画像処理装置の一実施の形態のさらに他の構成を示す図である。 画像処理装置の処理について説明するためフローチャートである。 出血位置を検出する原理について説明するための図である。 出血位置を検出するときの画像処理装置の処理について説明するためのフローチャートである。 透明膜を検出する原理について説明するための図である。 透明膜を検出するときの画像処理装置の処理について説明するためのフローチャートである。 ミストを検出する原理について説明するための図である。 ミストを検出するときの画像処理装置の処理について説明するためのフローチャートである。 ２次元画像における動脈と静脈の位置関係について説明するための図である。 ヘモグロビンの反射率について説明するための図である。 動脈、静脈を検出する原理について説明するための図である。 動脈、静脈を検出するときの画像処理装置の処理について説明するためのフローチャートである。 血管の重なりの判断について説明するための図である。 血管の位置関係を考慮した画像例である。 血管の重なりを検出するときの画像処理装置の処理について説明するためのフローチャートである。 腫瘍の体積を検出する原理について説明するための図である。 腫瘍の体積を検出するときの画像処理装置の処理について説明するためのフローチャートである。 記録媒体について説明するための図である。

以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は、以下の順序で行う。
１．画像処理装置の構成
２．画像処理装置の動作
３．出血位置の検出への適用
４．透明膜厚の検出への適用
５．ミストの検出への適用
６．動脈、静脈の検出への適用
７．血管の重なり具合の検出への適用
８．腫瘍の検出への適用
９．記録媒体について

＜画像処理装置の構成＞
図１は、本技術を適用した画像処理装置を含む画像処理システムの一実施の形態の構成を示す図である。本技術を適用した画像処理装置１０１は、内視鏡システムや顕微鏡システムなどの一部を構成する装置に適用でき、被写体の体腔内などを撮像した画像を処理する装置に適用できる。

画像処理装置１０１は、撮像部１０２で撮像された画像を処理し、処理した画像を表示部１０３に出力する。表示部１０３は、ディスプレイを含む構成とされ、画像処理装置１０１で処理された画像を表示する。

図１には、画像処理装置１０１、撮像部１０２、表示部１０３をそれぞれ別体で示したが、画像処理装置１０１に、撮像部１０２の一部または全てが含まれていたり、表示部１０３の一部または全てが含まれていたりする構成とすることも可能である。

画像処理装置１０１は、通常光画像取得部１２１、特殊光画像取得部１２２、３Ｄ画像取得部１２３、奥行き情報生成部１２４、注目部位検出部１２５、および画像生成部１２６を含む構成とされている。

撮像部１０２は、通常光画像撮像部１４１、特殊光画像撮像部１４２、３Ｄ画像撮像部１４３を含む構成とされている。

図１に示した画像処理システムは、上記したように、内視鏡システムに適用できる。図１に示した画像処理システムを内視鏡システムに適用した場合、撮像部１０２は、被写体の体腔への挿入が可能な形状とされている。

例えば、撮像部１０２は、体腔への挿入を可能にするため、細長くかつ湾曲可能に形成されている。また撮像部１０２は、着脱可能な構造とされており、観察する部位によって異なる撮像部が用いられるように構成されている。一般に内視鏡分野において、撮像部１０２はスコープと呼ばれており、具体的に用いられるスコープとしては、上部消化器用スコープや下部消化器用スコープ等が挙げられる。

また撮像部１０２は、暗い部分を撮像することを想定し、図示はしていないが、光源部を有する。光源として、通常光を用い、その通常光の照射を受けた部分を、通常光画像撮像部１４１は撮影する。光源として、特殊光を用い、その特殊光の照射を受けた部分を、特殊光画像撮像部１４２は撮影する。または、特殊光画像撮像部１４２は、通常光を照射し、その通常光の照射を受けた部分からの光のうち、特定色の色フィルタを透過してきた画像を撮像する。

３Ｄ画像撮像部１４３は、通常光および特殊光の少なくとも一方の光が照射された部分を撮像するとともに、その撮像された画像は、立体画像（３Ｄ画像）であることを特徴とする。

なお図１に示した特殊光画像撮像部１４２を設けずに、図２に示し、後述するように、通常光画像撮像部１４１で撮像された画像から特殊光画像を生成することも可能である。また、特殊光として用いられるのは、赤外光（ＩＲ）や、狭帯域波長光である。

図１に示した３Ｄ画像撮像部１４３は、通常光画像撮像部１４１と特殊光画像撮像部１４２と別に設けられている例を示したが、図３を参照して後述するように、通常光画像撮像部１４１と特殊光画像撮像部１４２のそれぞれが、３Ｄ画像を撮像する構成とすることも可能である。

画像処理装置１０１の通常光画像取得部１２１は、通常光画像撮像部１４１で撮像された画像の画像データを取得する。なお、通常光画像取得部１２１には、図示していないＡＤ変換部（アナログデジタル変換部）が備えられ、アナログの画像信号をデジタルの画像信号に変換することで、画像データを取得する構成とすることも可能であるし、通常光画像撮像部１４１からデジタルの画像データを取得する構成とすることも可能である。

同様に、画像処理装置１０１の特殊光画像取得部１２２は、特殊光画像撮像部１４２で撮像された画像の画像データを取得する。以下の説明において、特殊光画像取得部１２２で取得される画像は、特定光画像と記述する。また通常光画像取得部１２１で取得される画像は、通常光画像と記述し、３Ｄ画像取得部１２３で取得される画像は、３Ｄ画像と記述する。

画像処理装置１０１の奥行き情報生成部１２４は、３Ｄ画像取得部１２３で取得された３Ｄ画像から、奥行き情報を生成する。注目部位検出部１２５は、奥行き情報生成部１２４から供給される奥行き情報と、特殊光画像取得部１２２から供給される特殊光画像を用いて、所定の部位の検出を行う。

例えば、注目部位検出部１２５は、所定の膜の膜厚、血管の位置関係、例えば、手前にある血管と奥にある血管といった情報を生成する。なお、奥行き情報の用い方、生成される情報等については、具体例を挙げ、後述する。

画像生成部１２６は、通常光画像取得部１２１から供給される通常光画像、特殊光画像取得部１２２から供給される特殊光画像、３Ｄ画像取得部１２３から供給される３Ｄ画像、および注目部位検出部１２５で検出された注目部位に関する情報を用いて、ユーザに提供する画像を生成する。

例えば、通常光画像上に、注目部位に関する情報、例えば、膜厚の数値が重畳された画像が生成される。このように、膜厚の数値といった、視覚的に認識できる情報を、通常光画像、特殊光画像、３Ｄ画像といった画像上に表示することで、ユーザは、通常光画像、特殊光画像、３Ｄ画像を見ただけでは得られない情報を得られるようになり、使い勝手が向上することは明らかである。

図２は、本技術を適用した画像処理装置を含む画像処理システムの一実施の形態の他の構成を示す図である。図２に示した画像処理システムのうち、図１に示した画像処理システムと同様な構成を有する部分には、同様の符号を付し、その部分の説明は適宜省略し、異なる部分について説明を加える。

図２に示した画像処理システムも、画像処理装置２０１、撮像部２０２、および表示部１０３から構成されている。画像処理装置２０１は、図１に示した画像処理装置１０１と同じ構成とされているが、特殊光画像取得部２２２が、撮像部２０２の通常光画像撮像部１４１からの通常光画像を取得する構成とされている点が異なる。

撮像部２０２は、通常光画像撮像部１４１と３Ｄ画像撮像部１４３を含む構成とされている。図２に示した撮像部２０２は、図１に示した撮像部１０２と異なり、特殊光画像撮像部１４２を有さない構成とされている。

画像処理装置２０１の特殊光画像取得部２２２は、通常光画像撮像部１４１から通常光画像の供給を受ける。なおここでは、通常光画像撮像部１４１から通常光画像の供給を受けるとして説明を続けるが、通常光画像取得部１２１で通常光画像撮像部１４１から取得された通常光画像の供給を受ける構成とすることも可能である。

特殊光画像取得部２２２は、通常光画像から特殊光画像を生成する機能を有する。特殊光画像は、所定の帯域の光により撮像された画像、例えば、青色の光が照射されたときに、青色の光に反応した部分を撮像した画像である。特殊光画像取得部２２２は、通常光画像から青色の成分の画像を抽出し、特殊光画像を生成する。

図２に示した画像処理システムは、このように、通常光画像から特殊光画像を取得する構成とされている。

図３は、本技術を適用した画像処理装置を含む画像処理システムの一実施の形態のさらに他の構成を示す図である。図３に示した画像処理システムのうち、図１に示した画像処理システムと同様な構成を有する部分には、同様の符号を付し、その部分の説明は適宜省略し、異なる部分について説明を加える。

図３に示した画像処理システムの撮像部３０２は、通常光３Ｄ画像撮像部３４１と特殊光３Ｄ画像撮像部３４２を含む構成とされている。通常光３Ｄ画像撮像部３４１は、通常光下で得られる通常光３Ｄ画像を撮像し、特殊光３Ｄ画像撮像部３４２は、特殊光下で得られる特殊光３Ｄ画像を撮像する。

画像処理装置３０１の通常光画像取得部３２１は、通常光３Ｄ画像撮像部３４１で撮像された通常光３Ｄ画像を取得する。通常光画像取得部３２１は、取得された通常光３Ｄ画像から２Ｄ画像を生成する構成とし、生成した２Ｄの通常光画像を、画像生成部１２６に供給する構成とすることも可能であるし、通常光３Ｄ画像を、そのままユーザに通常光３Ｄ画像として提示するために、画像生成部１２６に通常光３Ｄ画像を供給する構成とすることも可能である。

画像処理装置３０１の特殊光画像取得部３２２は、特殊光３Ｄ画像撮像部３４２で撮像された特殊光３Ｄ画像を取得する。特殊光画像取得部３２２は、取得された特殊光３Ｄ画像から２Ｄ画像を生成する構成とし、生成した２Ｄの特殊光画像を、画像生成部１２６に供給する構成とすることも可能であるし、特殊光３Ｄ画像を、そのままユーザに特殊光３Ｄ画像として提示するために、画像生成部１２６に特殊光３Ｄ画像を供給する構成とすることも可能である。

３Ｄ画像取得部３２３は、通常光３Ｄ画像撮像部３４１からの通常光３Ｄ画像と特殊光３Ｄ画像撮像部３４２からの特殊光３Ｄ画像を取得する。奥行き情報生成部１２４は、注目部位検出部１２５で何を検出するかにより、取得された通常光３Ｄ画像および特殊光３Ｄ画像から、奥行き情報を生成する。

なお、図１乃至図３に示した各画像処理装置において、通常光画像、特殊光画像、３Ｄ画像のうち、どの画像を、表示部１０３に表示するかは、ユーザにより選択されるようにしても良い。また、図示はしていないが、画像処理装置には、そのようなユーザからの指示を受け付ける操作部も備えられている。

ここで示した画像処理装置の構成は一例であり、限定を示すものではない。例えば、図３に示した画像処理装置３０１において、図２に示した画像処理装置２０１と同じく、通常光画像から特殊光画像を生成する構成とすることも可能である。そのような構成とした場合、撮像部３０２の通常光３Ｄ画像撮像部３４１から、画像処理装置３０１の特殊光画像取得部３２２に通常光３Ｄ画像が供給される構成とすることも可能である。

すなわち、上記したように、特定の波長帯域における情報を有する特殊光画像は、特定の波長帯域の光が用いられて撮像された特殊光画像が取得されるように構成しても良いし、通常光（白色光）の波長帯域の光が用いられて撮像された通常光画像から、特定の波長帯域における情報を抽出することで、特殊光画像が取得されるように構成することも可能である。

また、３次元画像も、ステレオ撮影が行われることで、３次元画像が取得されるようにしても良いし、２次元画像を取得し、その２次元画像を３次元画像に変換することで、３次元画像が取得されるように構成することも可能である。

次に、図１乃至図３に示した画像処理装置において実行される処理について説明する。まず図４のフローチャートを参照し、図１乃至図３に示した画像処理装置の処理の概略について説明し、その後、検出する部位の具体例を挙げた説明を行う。

＜画像処理装置の動作＞
図４のフローチャートを参照し、画像処理装置の処理の概略について説明する。ここでは、図３に示した画像処理装置３０１を例にあげて説明を行うが、図１に示した画像処理装置１０１、図２に示した画像処理装置２０１においても、基本的に同様に処理が行われる。

ステップＳ１０１において、３Ｄ画像取得部３２３は、通常光３Ｄ画像撮像部３４１から通常光３Ｄ画像を取得し、特殊光３Ｄ画像撮像部３４２から特殊光３Ｄ画像を取得する。ステップＳ１０２において、奥行き情報生成部１２４は、３Ｄ画像取得部３２３により取得された３Ｄ画像から奥行き情報を生成する。３Ｄ画像の所定の位置における座標、特に深さ方向の座標を用いて、奥行き情報が生成される。

ステップＳ１０３において、注目部位検出部１２５は、奥行き情報や、特殊光画像取得部３２２で取得された特殊光画像を用いて、所定の部位、例えば、血管や腫瘍などを検出する。ステップＳ１０４において、画像生成部１２６は、検出された部位をユーザに明示するような画像を生成し、表示部１０３に出力する。

このように、本技術を適用した画像処理装置は、検出したい部位を検出するときに、３Ｄ画像から得られる奥行き情報も用いることで、より詳細な部位の検出を行うことができる。また、奥行き情報をユーザに提示することも可能となるため、例えば血管の位置情報などをより詳細に提示することが可能となる。

＜出血位置の検出への適用＞
次に、検出する部位として出血している部位を検出する場合を具体例として上げ、画像処理装置３０１の処理について説明を加える。まず図５を参照して、出血位置を検出するときの原理について説明する。

図５中、下側に、肉表面５０１を示す。出血のために、肉表面５０１上に血溜まりができている。この血溜まりの表面を血液表面５０２とする。血溜まりのうち、出血している箇所は、他の血溜まりよりも盛り上がっていると考えられる。仮に、肉表面５０１が平面であるとすると、図５に示すように、出血点Ｐ１は、他の部分よりも盛り上がっていると考えられる。

実施には、肉表面５０１は、平面ではなく、凹凸がある可能性が高いが、肉表面５０１と血液表面５０２との差分、換言すれば、血溜まりの厚さは、出血点Ｐ１で厚くなっている。そこで、肉表面５０１の３次元画像と、血液表面５０２の３次元画像を取得し、各位置における血溜まりの厚さを、肉表面５０１の３次元画像と血液表面５０２の３次元画像との差分を算出することで測定し、その厚さが一定の厚さ以上であれば、その位置は出血点であると検出できる。

肉表面５０１と血液表面５０２を撮像するとき、ＩＲ（infrared：赤外光）を撮影時の光として用いた場合、赤外光は、血液表面５０２を通過し、肉表面５０１まで達する。このような特性を利用し、赤外光を用いてステレオ撮影することで、肉表面５０１の３次元画像が取得される。

一方で、白色光（white light）を撮影時の光として用いた場合、白色光は、血液表面５０２を通過せず、血液表面５０２で反射されて戻ってくる。このような特性を利用し、白色線を用いてステレオ撮影することで、血液表面５０２の３次元画像が取得される。

撮像部３０２（図３）の通常光３Ｄ画像撮像部３４１で、白色光を用いた撮影を行うことで、血液表面５０２の３次元画像が取得され、特殊光３Ｄ画像撮像部３４２で、赤外光を用いた撮影を行うことで、肉表面５０１の３次元画像が取得される。この２枚の画像の差分を取ることで、各点における血溜まりの厚み情報が得られる。

図５を参照するに、点Ｐ２において、赤外光（ＩＲ）を用いて撮像された肉表面５０１までの深さを深さIR_depthとし、白色光（ＷＬ）を用いて撮像された血液表面５０２までの深さを深さWL_depthとする。このとき、点Ｐ２における血溜まりの厚さs_depthは、以下の式（１）で表すことができる。
厚さs_depth＝深さIR_depth−深さWL_depth ・・・（１）

このような演算で求められる深さWL_depthが所定の閾値以上のとき血液の厚みが大きいことになるため、出血位置であるとして検出することができる。このように、閾値以上のときに出血位置であるとして判断することで、複数の出血位置があったようなときにも対応することができる。

例えば、測定値が最も大きな位置を出血位置であるとした場合、１箇所しか検出できないが、閾値以上としておけば、複数の出血位置があるような場合でも、それぞれ出血位置であると判断することが可能となる。

このような処理を行う画像処理装置３０１（図３）の動作について、図６のフローチャートを参照して説明する。

ステップＳ２０１において、通常光画像の３Ｄ画像が取得される。この場合、撮像部３０２の通常光３Ｄ画像撮像部３４１により、白色光による撮像が行われることで、通常光画像の３Ｄ画像が取得され、３Ｄ画像取得部３２３に供給される。

ステップＳ２０２において、特殊光画像の３Ｄ画像が取得される。この場合、撮像部３０２の特殊光３Ｄ画像撮像部３４２により、赤外光による撮像が行われることで、特殊光画像の３Ｄ画像が取得され、３Ｄ画像取得部３２３に供給される。

ステップＳ２０３において、奥行き情報生成部１２４により、奥行き差分が算出される。この奥行き差分の算出は、上式（１）による演算が行われることにより行われ、３Ｄ画像の深さ方向の座標を用いることで行われる。この演算は、取得された画像内や、血溜まりがあると判断される領域内の全ての点（画素）毎に、演算が実行され、血液の厚み情報が生成されるようにしても良いし、取得された画像を所定の大きさの領域に分割し、領域毎に、演算が実行され、血液の厚み情報が生成されるようにしても良い。

ステップＳ２０４において、ステップＳ２０３で算出された差分値は、閾値以上であるか否かが判断される。この判断は、奥行き情報生成部１２４が判断し、その判断結果を、注目部位検出部１２５に供給するようにしても良いし、注目部位検出部１２５が、奥行き情報生成部１２４で生成された奥行き情報（差分値）の供給をうけ、判断するようにしても良い。

ステップＳ２０４において、差分値が閾値以上であると判断された場合、ステップＳ２０５に処理が進められる。ステップＳ２０５において、その時点で処理対象とされている点は、出血点であるとして設定される。出血点として設定された点は、ユーザに提供される画像内で、一意に他の血溜まりの部分とは区別がつくような表示、例えば出血点を所定のマークで表示したり、出血点であることを示すテキスト表示がされたりする。また、そのような表示は、通常光画像や特殊光画像上に重畳されて表示されるようにしても良い。さらに、重畳される画像は、３Ｄ画像であっても良い。

一方、ステップＳ２０４において、差分値が閾値以上ではないと判断された場合、ステップＳ２０６に処理が進められる。ステップＳ２０６において、その時点で処理対象とされている点は、出血点以外の血溜まりであるとして設定される。

このようにして、２枚の３次元画像の差分値を求め、その差分値から、出血点を検出することができる。検出された出血点に関する情報は、ユーザに提示されるため、ユーザは、撮像された画像を見ただけではわかりづらい出血点を、情報を閲覧することで認識することができる。

＜透明膜厚の検出への適用＞
次に、検出する部位として透明膜を検出する場合を具体例として上げ、画像処理装置３０１の処理について説明を加える。まず図７を参照して、透明膜を検出するときの原理について説明する。

図７中、下側に、肉表面６０１を示す。肉表面６０１上に、所定の厚さを有する透明膜６０３が位置している。この透明膜６０３の表面を透明膜表面６０２とする。透明膜は、通常光（白色光）では撮影しづらく、ユーザは、白色光で撮影された画像を見ても、そこに透明膜があるか否かを判断しづらい。

しかしながら、透明膜を切って、肉表面６０１に達する必要がある場合もある。そのようなとき、ユーザに透明膜の厚さを提示できれば、どの程度切れば良いかわかりやすくなり、内視鏡や顕微鏡などの画像処理装置３０１を適用した装置の使い勝手を向上させることができる。

透明膜表面６０２は、偏光撮影により撮影することができる。図７に示すように、偏光Ｐは、透明膜表面６０２で反射されるため、その反射光を撮像することで、透明膜表面６０２を撮像することができる。肉表面６０１は、白色光（ＷＬ）を用いて撮像することで、撮像することができる。

撮像部３０２（図３）の通常光３Ｄ画像撮像部３４１で、白色光を用いたステレオ撮影を行うことで、肉表面６０１の３次元画像が取得され、特殊光３Ｄ画像撮像部３４２で、偏光を用いたステレオ撮影を行うことで、透明膜表面６０２の３次元画像が取得される。この２枚の画像の差分を取ることで、各点における透明膜６０３の厚み情報が得られる。

図７を参照するに、点Ｐ１において、白色光（ＷＬ）を用いて撮像された肉表面６０１までの深さを深さWL_depthとし、偏光（Ｐ）を用いて撮像された透明膜表面６０２までの深さを深さP_depthとする。このとき、点Ｐ１における透明膜６０３の膜厚f_depthは、以下の式（２）で表すことができる。
膜厚f_depth＝深さWL_depth−深さP_depth ・・・（２）

このような演算で求められる膜厚f_depthが透明膜の厚みとされる。このような処理を行う画像処理装置３０１（図３）の動作について、図８のフローチャートを参照して説明する。

ステップＳ３０１において、通常光画像の３Ｄ画像が取得される。この場合、撮像部３０２の通常光３Ｄ画像撮像部３４１により、白色光によるステレオ撮像が行われることで、通常光画像の３Ｄ画像が取得され、３Ｄ画像取得部３２３に供給される。

ステップＳ３０２において、特殊光画像の３Ｄ画像が取得される。この場合、撮像部３０２の特殊光３Ｄ画像撮像部３４２により、偏光ステレオ撮像が行われることで、特殊光画像の３Ｄ画像が取得され、３Ｄ画像取得部３２３に供給される。

ステップＳ３０３において、奥行き情報生成部１２４により、奥行き差分が算出される。この奥行き差分は、上式（２）による演算が行われることで算出され、３Ｄ画像の深さ方向の座標が用いられて算出される。ステップＳ３０３で算出された差分値は、透明膜６０３の膜厚として設定される。

このようにして透明膜の膜厚が検出される。式（２）を演算した結果、差分値が０である場合、または所定の閾値より小さい場合、透明膜はないと判断できる。すなわち、差分値が所定の閾値以上であるか否かの判断を行うようにすれば、透明膜６０３の有無を検出することもできる。

このようにして検出された透明膜の膜厚は、ユーザに提供される画像内で、数値やグラデーションなどの色情報として表示され、ユーザが一見して透明膜の有無、透明膜の膜厚を認識できる表示とされる。そのような表示は、通常光画像や特殊光画像上に重畳されて表示されるようにしても良い。さらに、重畳される画像は、３Ｄ画像であっても良い。

例えば、予め設定されている位置、例えば、画面の中央部分、一定間隔の格子点位置などに、膜厚の数値が表示されるようにしても良い。また、膜厚により色を変化させ、通常光画像に重畳するような表示がなされるようにしても良い。また、ユーザがポインタやマウスなどの操作部を操作して指示した位置に、膜厚の数値が表示されるようにしても良い。

このようにして、２枚の３次元画像からの差分値が求められ、その差分値から、透明膜、および透明膜の膜厚を検出することができる。検出された透明膜に関する情報は、ユーザに提示されるため、ユーザは、撮像された通常光画像を見ただけではわかりづらい透明膜を、情報を閲覧することで認識することができる。透明膜の膜厚が認識できると、メスを入れる感覚をつかみやすくなり、肉組織を誤って傷つけてしまうようなことを防ぐことが可能となる。

＜ミストの検出への適用＞
次に、検出する部位としてミストを検出する場合を具体例として上げ、画像処理装置３０１の処理について説明を加える。まず図９を参照して、ミストを検出するときの原理について説明する。

図９中、下側に、肉表面７０１を示す。肉表面７０１上に、所定の厚さを有するミスト７０３が位置している。このミスト７０３の表面をミスト表面７０２とする。通常光（白色光）で撮像すると、ミスト成分は、反射され、白い点となって撮像される。また、肉表面７０１の構造から引き起こされるテカリやギラツキも、白い点となって見えることがある。これらミストやテカリなどは、通常光で撮像された画像からでは判別しづらい。

肉表面７０１は、赤外光撮影により撮影することができる。図９に示すように、赤外光ＩＲは、ミスト表面７０２を通過し、肉表面７０１で反射されるため、その反射光を撮像することで、肉表面７０１を撮像することができる。ミスト表面７０２は、白色光（ＷＬ）を用いて撮像することで、撮像することができる。

撮像部３０２（図３）の通常光３Ｄ画像撮像部３４１で、白色光を用いたステレオ撮影を行うことで、ミスト表面７０２の３次元画像が取得され、特殊光３Ｄ画像撮像部３４２で、赤外光を用いたステレオ撮影を行うことで、肉表面７０１の３次元画像が取得される。この２枚の画像の差分を取ることで、各点におけるミスト７０３の厚み情報が得られる。

図９を参照するに、点Ｐ１において、白色光（ＷＬ）を用いて撮像されたミスト表面７０２までの深さを深さWL_depthとし、赤外光（ＩＲ）を用いて撮像された肉表面７０１までの深さを深さIR_depthとする。このとき、点Ｐ１におけるミスト７０３の厚さm_depthは、以下の式（３）で表すことができる。
厚さm_depth＝深さIR_depth−深さWL_depth ・・・（３）

このような演算で求められる厚さｍ_depthが、所定の閾値ｔｈ以上の場合、ミストがあると判断される。このような処理を行う画像処理装置３０１（図３）の動作について、図１０のフローチャートを参照して説明する。

ステップＳ４０１において、通常光画像の３Ｄ画像が取得される。この場合、撮像部３０２の通常光３Ｄ画像撮像部３４１により、白色光による撮像が行われることで、通常光画像の３Ｄ画像が取得され、３Ｄ画像取得部３２３に供給される。

ステップＳ４０２において、特殊光画像の３Ｄ画像が取得される。この場合、撮像部３０２の特殊光３Ｄ画像撮像部３４２により、赤外光による撮像が行われることで、特殊光画像の３Ｄ画像が取得され、３Ｄ画像取得部３２３に供給される。

ステップＳ４０３において、奥行き情報生成部１２４により、奥行き差分が算出される。この奥行き差分の算出は、上式（３）による演算が行われることにより行われ、３Ｄ画像の深さ方向の座標が用いられて行われる。

ステップＳ４０４において、ステップＳ４０３で算出された差分値は、閾値以上であるか否かが判断される。この判断は、奥行き情報生成部１２４が判断し、その判断結果を、注目部位検出部１２５に供給するようにしても良いし、注目部位検出部１２５が、奥行き情報生成部１２４で生成せれた奥行き情報（差分値）の供給をうけ、判断するようにしても良い。

ステップＳ４０４において、差分値が閾値以上であると判断された場合、ステップＳ４０５に処理が進められる。ステップＳ４０５において、その時点で処理対象とされている点は、ミストであるとして設定される。なお、閾値は、肉表面７０１の凹凸を考慮した値に、所定の値を加算した値とされる。

一方、ステップＳ４０４において、差分値が閾値以上ではないと判断された場合、ステップＳ４０６に処理が進められる。ステップＳ４０６において、その時点で処理対象とされている点は、ミストではないとして設定される。

ミストが検出されたときには、ミストがあることをユーザに知らせるための警告表示が行われたり、ミストが検出された部分にミストを表す色を重畳した表示が行われたりする。そのような表示は、通常光画像や特殊光画像上に重畳されて表示されるようにしても良い。さらに、重畳される画像は、３Ｄ画像であっても良い。

また、画像全体に占めるミストが検出された領域の割合が大きい場合、ＩＲ光源（赤外光）による白黒表示にすることで、ミストがない状態の肉表面７０１の画像がユーザに提供されるようにしても良い。また、ミストを除去する画像処理が施されるようにし、ミストが除去された画像がユーザに提供されるようにしても良い。このようにすることで、術野を保証し、手術ミスを予防することが可能となる。

このようにして、２枚の３次元画像からの差分値を求め、その差分値から、ミストやテカリを検出することができる。検出されたミストに関する情報は、ユーザに提示されるため、ユーザは、撮像された画像を見ただけではわかりづらいミストの存在を、情報を閲覧することで認識することができる。

＜動脈、静脈の検出への適用＞
次に、検出する部位として動脈や静脈を検出する場合を具体例として上げ、画像処理装置３０１の処理について説明を加える。まず図１１を参照して、動脈や静脈を２次元の通常光で撮像した画像について説明する。なおここでは、動脈と静脈を例にあげて説明を行うが、動脈や静脈の組み合わせに限定されるわけではなく、血管に対して本実施の形態は適用できる。

図１１Ａは、表面８０１の下側に、静脈８０２と動脈８０３が深さ方向で同一の深さに位置している状態を示している。図１１中、静脈は、斜線を入れた円で示し、動脈は、斜線を入れない円で示すとする。図１１Ｂは、表面８０１の下側に、静脈８０２と動脈８０３が深さ方向で異なる深さに位置している状態を示している。

図１１Ａおよび図１１Ｂに示した状況を通常光で２次元画像として表面８０１側から撮影した場合、図１１Ｃに示すような画像８１１が撮像される。画像８１１には、静脈８２２と動脈８２３が撮像されている。画像８１１は、２次元画像であるため、また、静脈８２２と動脈８２３との位置関係を表す情報などの表示はされていないため、静脈８２２と動脈８２３のどちらが深い位置にあるのかを読み取るのは困難である。

図１２は、酸素と結びついたヘモグロビン(HbO₂)と、酸素を離したヘモグロビン(Hb)における反射率を表すグラフである。図１２に示したグラフにおいて、横軸は、照射する光の波長を表し、縦軸は、反射率を表す。

図１２に示したグラフから、酸素と結びついたヘモグロビン(HbO₂)と、酸素を離したヘモグロビン(Hb)とでは、波長による反射率の特性が異なることがわかる。動脈は、酸素と結びついたヘモグロビン(HbO₂)が流れ、静脈は、酸素を離したヘモグロビン(Hb)が流れる。

動脈、静脈は、同じ深さにあって同じ程度の太さならば、反射率の違いで動脈は静脈より６４０[nm]付近以降の反射率が高くなり、より鮮明な赤になり、見分けがつく。しかしながら、図１１Ｂに示したように、静脈が表面近くにいて、動脈が若干深い位置にあり、２つの血管の太さが同じ程度である場合、表面から通常光で観察すると、動脈に届く前に肉組織によって反射される光が多くなるため、静脈と同程度の明るさになってしまいがちで、深さが異なる２つの血管の静脈、動脈判別は困難である。

静脈８２２であるか動脈８２３であるかは、深さ方向の位置関係からわかることもあるため、血管の深さ方向での位置関係は重要な情報となる。そこで、図１３に示すように、異なる波長で撮影を行うことで、異なる深さの血管をそれぞれ撮影する。

波長の異なる２つの光で、それぞれ３Ｄ画像の撮像が行われる。ここでは、第１の波長λ１と第２の波長λ２で撮像が行われるとする。波長が異なることで、肉組織内で到達する深さが異なる。第１の波長λ１は、比較的浅い部分まで到達する波長であり、第２の波長λ２は、比較的深い部分まで到達する波長であるとする。

図１３に示すように、表面８０１に近い位置に、静脈８０２が位置し、深い位置に動脈８０３が位置しているときに、撮像が行われた場合、第１の波長λ１は、静脈８０２で反射され、第２の波長λ２は、動脈８０３で反射される。すなわち、第１の波長λ１でステレオ撮影されることで、静脈８０２に対する深さ情報である深さλ１_depthが取得され、第２の波長λ２でステレオ撮影されることで、動脈８０３に対する深さ情報である深さλ２_depthが取得される。

この２つの深さの差分を取ることにより、２つの血管間の距離を得ることができる。
距離dif_depth =深さλ２_depth―深さλ１_depth ・・・（４）

このようにして求められた血管間の距離情報を利用し、深い位置にある動脈の反射率を補正して表示することにより、動脈、静脈の判別ができる画像を得ることができる。

このような処理を行う画像処理装置３０１（図３）の動作について、図１４のフローチャートを参照して説明する。

ステップＳ５０１において、第１の波長λ１で撮像された３Ｄ画像が取得される。この場合、撮像部３０２の特殊光３Ｄ画像撮像部３４２により、第１の波長λ１による撮像が行われることで、特殊光画像の３Ｄ画像が取得され、３Ｄ画像取得部３２３に供給される。

ステップＳ５０２において、第２の波長λ２で撮像された３Ｄ画像が取得される。この場合、撮像部３０２の特殊光３Ｄ画像撮像部３４２により、第２の波長λ２による撮像が行われることで、特殊光画像の３Ｄ画像が取得され、３Ｄ画像取得部３２３に供給される。

ステップＳ５０３において、奥行き情報生成部１２４により、奥行き差分が算出される。この奥行き差分の算出は、上式（４）による演算が行われることにより行われ、３Ｄ画像の深さ方向の座標が用いられて行われる。この算出された差分値は、血管間の距離とされる。

このようにして算出された血管間の距離を用いて、深い位置にある動脈の反射率を補正して表示することにより、動脈、静脈の判別ができる画像を得ることができる。例えば、浅い位置にある血管を赤で表示し、その浅い位置にある血管よりも深い位置にあると、距離情報から判断できる血管は、少し黒い赤色で表示するなど、深さに応じた色付けがなされ、ユーザに深さに応じた血管の位置関係が一見してわかるような画像が提示される。

このような画像は、通常光画像または特殊光画像上に重畳されることでユーザに提示されるようにしても良い。また、３Ｄ画像上に重畳されるようにしても良い。

このようにして、２枚の３次元画像から差分値を求め、その差分値から、血管の位置関係（深さ情報）を検出することができる。検出された位置情報は、ユーザに提示されるため、ユーザは、撮像された画像を見ただけではわかりづらい血管の位置関係を、情報を閲覧することで認識することができる。

＜血管の重なり具合の検出への適用＞
次に、検出する部位として血管の重なり具合を検出する場合を具体例として上げ、画像処理装置３０１の処理について説明を加える。まず図１５を参照して、血管の重なり具合について説明する。

インドシアニングリーン（ICG）注射後の励起光観察により、粘膜深部や混濁した羊水中の胎盤血管等が観察できる。しかしながら、図１５の左図のように、血管が複数重なっている部分では、血管の重なり方が判別しづらく、癌組織９１１につながり転移可能性がある血管の出口を誤って別の血管の出口と判断してしまう可能性がある。

図１５の左図では、血管９０１、血管９０２、血管９０３があるが、図中中央部で重なりがあるため、図１５の右上図に示すように、血管がつながっているのか、または、図１５の右下図に示すように血管がつながっているのか判断しづらい。

図１５の右上図では、血管９０１と血管９０４がつながり、血管９０２と血管９０５がつながり、血管９０３と血管９０６がつながっていると判断されたときの状態を示している。このような判断に基づいた場合、癌組織９１１につながっている血管は、血管９０３と血管９０６になる。

図１５の右下図では、血管９０１と血管９０４がつながり、血管９０２と血管９０６がつながり、血管９０３と血管９０５がつながっていると判断されたときの状態を示している。このような判断に基づいた場合、癌組織９１１につながっている血管は、血管９０３と血管９０５になる。

このように、重なり具合が正確に判断されないと、血管のつながりが誤って判断されてしまう可能性があるため、血管同士の重なり具合をユーザに提示し、血管のつながりを判断できるようにすることは重要なことである。

そこで、ICG注射後に励起光照射下でステレオ撮影し、距離情報ICG_depthを検出し、その距離情報ICG_depthから、血管のつながり、血管の重なり（＝異なる血管の判別）が検出される。また、血管の重なり情報から、血流の方向を判別し、癌組織の転移可能性の高い領域を推定する。

例えば、図１６に示すような画像がユーザに提示される。図１６に示した画像例では、ICG注射後の励起光照射下でステレオ撮影された結果、距離情報ICG_depthが検出され、その距離情報ICG_depthから、血管のつながり、血管の重なりが検出された結果、血管９０１と血管９０４がつながり、血管９０２と血管９０５がつながり、血管９０３と血管９０６がつながっていると検出され、そのように表示されている。

また、血管９０１と血管９０４が一番上に位置し、血管９０２と血管９０５が一番下に位置し、その間に、血管９０３と血管９０６が位置しているという位置関係も距離情報ICG_depthから検出されるため、そのような位置関係が明確になるような表示がなされる。

例えば、重なり合う血管の表示において、異なる血管は、輝度や色を変えて表示し、ユーザに血管構成を判別しやすくするための表示がなされる。また癌組織９１１とつながる血管のつながり情報から、癌の転移可能性のある領域を推定し、その領域を強調表示するようにしても良い。

このような表示がなされる（画像が提示される）ことにより、ユーザが血管の重なり方を正しく判別することができ、浸潤した血管・組織の切除を正しく行うことができる。また癌の転移可能性領域を見落としてしまうようなことを減らすことが可能となる。

このような処理を行う画像処理装置３０１（図３）の動作について、図１７のフローチャートを参照して説明する。

ステップＳ６０１において、励起光撮影による３Ｄ画像が取得される。この場合、ICG注射後に、撮像部３０２の特殊光３Ｄ画像撮像部３４２により、励起光による撮像が行われることで、特殊光画像の３Ｄ画像が取得され、３Ｄ画像取得部３２３に供給される。

ステップＳ６０２において、奥行き情報生成部１２４により、奥行きが算出される。

ステップＳ６０３において、血管のつながりや重なりが検出される。励起光撮影による３Ｄ画像を解析することで、血管に重なりがある部分の各血管の奥行き情報から、血管の上下の位置関係が検出されたり、奥行き情報から、略同一の奥行きにある血管同士はつながっていると推定されたりすることで、血管のつながりや重なりが検出される。

上記したように、このように検出された結果を用いて、異なる血管は、輝度や色を変えて表示されたり、癌の転移可能性のある領域が強調表示されたりすることが可能となるため、ユーザが血管の重なり方を正しく判別することができるようになる。その結果、浸潤した血管・組織の切除を正しく行うことができ、癌の転移可能性領域を見落としてしまうようなことを減らすことが可能となる。

＜腫瘍の検出への適用＞
次に、検出する部位として腫瘍を検出する場合を具体例として上げ、画像処理装置３０１の処理について説明を加える。まず図１８を参照して、腫瘍の体積推定について説明する。

光力学診断（PDD）では、患者が、アミノレブリン酸（5-ALA）を内服後、青色光観察により腫瘍が赤色発光して見える。この光力学診断では、平面的な画像しか観ることができないため、ユーザは腫瘍の真の大きさを認識しづらい。

例えば、図１８に示すように、平面的に広がりがあるが、内面方向には深く浸潤していない腫瘍１００１である場合と、平面的に広がりはないが、内面方向に深く浸潤した腫瘍１００２である場合とがある。腫瘍１００２のような深く浸潤した腫瘍であるか否かの判断は、平面的な画像だけでは判断しづらい。

そこで、PDD下でステレオ撮影し、距離情報PDD_depthを検出し、２次元画像から得られる腫瘍の表面積と距離情報PDD_depthから腫瘍の体積推定を行うように構成する。このような体積推定を行った結果は、推定体積が大きい腫瘍を強調表示するなどして、ユーザに提示される。

また、２次元画像上での表面積が小さく、かつ推定体積が大きい腫瘍については、さらに区別して強調表示が行われるようにしても良い。このような表示が行われることで、表面積の小ささにより経過観察等にされてしまいがちな体積の大きな腫瘍を、ユーザが正しく判別し、適切な処置を下す判断を行うことが可能となる。

このような処理を行う画像処理装置３０１（図３）の動作について、図１９のフローチャートを参照して説明する。

ステップＳ７０１において、PDD下での撮像により２Ｄ画像が取得される。この場合、アミノレブリン酸を内服後に、撮像部３０２の特殊光３Ｄ画像撮像部３４２により、青色光の照射によるステレオ撮像が行われることで、患部が赤色に発色した特殊光画像の３Ｄ画像が取得される。この取得された３Ｄ画像を２Ｄ画像に変換することで、２Ｄ画像が取得される。

ステップＳ７０２において、PDD下での撮像により３Ｄ画像が取得される。ステップＳ７０１と同じく、アミノレブリン酸を内服後に、撮像部３０２の特殊光３Ｄ画像撮像部３４２により、青色光の照射によるステレオ撮像が行われることで、患部が赤色に発色した特殊光画像の３Ｄ画像が取得される。

ステップＳ７０３において、奥行き情報生成部１２４により、取得された特殊光画像の３Ｄ画像を用いて、腫瘍の奥行き（内面方向の深さ）が算出される。

ステップＳ７０４において、腫瘍の体積が推定される。取得された特殊光画像の２Ｄ画像から、表面積を算出し、３Ｄ画像から算出された奥行き情報を乗算することで、腫瘍の体積が推定される。

このようにして推定された体積に応じて、上記したように、推定体積が大きい腫瘍を強調表示するなどして、ユーザに提示される。そのような表示が行われることで、腫瘍の大きさを、ユーザが正しく判別し、適切な処置を下す判断を行うことが可能となる。

このように、本技術によれば、２Ｄ画像のみによる検出処理では検出困難な、注目部位やそれに関連する特徴量を検出することができ、提示画像に対して、それらに基づいた強調処理や画像重畳処理を行うことで、ユーザがより多くの情報を視覚的に把握しやすい形で得ることができる。

そのようなことが可能となることで、より術前・術中・術後の正確な診断、手術精度の向上、手術時間の短縮、手術の低侵襲化を図ることが可能となる。

なお上記した具体的な部位の検出は、単独で行われるように構成しても良いし、複数組み合わされて行われるように構成しても良い。例えば、動脈、静脈の検出と、血管の重なり具合の検出は、血管に関する検出であるため、組み合わせて行われるようにし、より適切に、動脈、静脈を検出し、それらの位置関係を明確に検出するようにすることも可能である。

また、部位の検出を切り換えて行うような構成とすることも可能である。例えば、透明膜、ミストを順次検出し、透明膜やミストが存在することをユーザに提示するとともに、腫瘍の検出が行われるように構成することも可能である。

＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）２００１、ＲＯＭ（Read Only Memory）２００２、ＲＡＭ（Random Access Memory）２００３は、バス２００４により相互に接続されている。バス２００４には、さらに、入出力インタフェース２００５が接続されている。入出力インタフェース２００５には、入力部２００６、出力部２００７、記憶部２００８、通信部２００９、及びドライブ２０１０が接続されている。

入力部２００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２００７は、ディスプレイ、スピーカなどよりなる。記憶部２００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２００９は、ネットワークインタフェースなどよりなる。ドライブ２０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２０１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ２００１が、例えば、記憶部２００８に記憶されているプログラムを、入出力インタフェース２００５及びバス２００４を介して、ＲＡＭ２００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ２００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア２０１１をドライブ２０１０に装着することにより、入出力インタフェース２００５を介して、記憶部２００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２００９で受信し、記憶部２００８にインストールすることができる。その他、プログラムは、ＲＯＭ２００２や記憶部２００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

１０１ 画像処理装置， １０２ 撮像部， １０３ 表示部， １２１ 通常光画像取得部， １２２ 特殊光画像取得部， １２３ ３Ｄ画像取得部， １２４ 奥行き情報生成部， １２５ 注目部位検出部， １２６ 画像生成部， １４１ 通常光画像撮像部， １４２ 特殊光画像撮像部， １４３ ３Ｄ画像撮像部， ２２２ 特殊光画像取得部， ３２１ 通常光画像取得部， ３２２ 特殊光画像取得部， ３２３ ３Ｄ画像取得部， ３４１ 通常光３Ｄ画像撮像部， ３４２ 特集光３Ｄ画像撮像部

Claims (21)

1. 特定の波長帯域における情報を有する特殊光画像を取得する特殊光画像取得部と、
   白色光の波長帯域における情報を有する通常光画像を取得する通常光画像取得部と、
   前記特殊光画像に基づいて生成された第１の３次元情報と前記通常光画像に基づいて生成された第２の３次元情報との深さ方向の差分に基づいて、生体内の所定の部位の前記深さ方向の位置情報を検出する検出部と
   を備える画像処理装置。
2. 内視鏡システムまたは顕微鏡システムの一部を構成する
   請求項１に記載の画像処理装置。
3. 前記特定の波長帯域は、赤外光であり、
   前記検出部は、前記所定の部位として、出血点を検出する
   請求項１または２に記載の画像処理装置。
4. 前記特殊光画像または前記通常光画像に、前記出血点を表す所定のマーク、またはテキストを重畳した画像を生成する画像生成部をさらに備える
   請求項３に記載の画像処理装置。
5. 前記検出部は、前記第１の３次元情報と前記第２の３次元情報の深さ方向の差分が所定の閾値より大きい場合に、前記所定の部位として前記出血点があると検出する
   請求項３または４に記載の画像処理装置。
6. 前記特定の波長帯域は、偏光であり、
   前記検出部は、前記所定の部位として、透明膜の膜厚を検出する
   請求項１または２に記載の画像処理装置。
7. 前記特殊光画像または前記通常光画像に、前記透明膜の膜厚を表す数値、または膜厚に応じたグラデーション画像を重畳した画像を生成する画像生成部をさらに備える
   請求項６に記載の画像処理装置。
8. 前記特定の波長帯域は、赤外光であり、
   前記検出部は、前記所定の部位として、ミストを検出する
   請求項１または２に記載の画像処理装置。
9. 前記特殊光画像または前記通常光画像に、前記ミストがあることを知らせる警告表示、または前記ミストを表す色を重畳した画像を生成する画像生成部をさらに備える
   請求項８に記載の画像処理装置。
10. 前記画像生成部は、
    画像全体に占める前記ミストが検出された領域の割合が大きい場合、前記特殊光画像を表示する、または、前記ミストを除去する画像処理が施された画像を生成する
    請求項９に記載の画像処理装置。
11. 前記検出部は、前記第１の３次元情報と前記第２の３次元情報の深さ方向の差分が所定の閾値より大きい場合に、前記所定の部位として前記ミストがあると検出する
    請求項８乃至１０のいずれかに記載の画像処理装置。
12. 前記特定の波長帯域は、第１の波長と、前記第１の波長とは異なる第２の波長であり、
    前記検出部は、前記第１の波長における情報を有する特殊光画像と、前記第２の波長における情報を有する特殊光画像との深さ方向の差分に基づいて、血管の深さ方向における位置情報を検出する
    請求項１または２に記載の画像処理装置。
13. 前記血管の深さ方向における位置情報を用いて、深い位置にある動脈の反射率を補正した画像を生成する画像生成部をさらに備える
    請求項１２に記載の画像処理装置。
14. 前記特定の波長帯域は、インドシアニングリーン（ICG）注射後の励起光観察に用いられる励起光の波長帯域であり、
    前記検出部は、前記特殊光画像に基づいて生成された第１の３次元情報に基づいて、重なりがある血管同士の位置関係、癌組織とつながりのある血管、または癌の可能性のある領域を検出する
    請求項１または２に記載の画像処理装置。
15. 重なり合う血管ごとに輝度または色を変えた画像、または癌の可能性のある領域を強調した画像を生成する画像生成部をさらに備える
    請求項１４に記載の画像処理装置。
16. 前記特定の波長帯域は、青色光であり、
    前記検出部は、前記青色光による３次元画像から、所定の位置の奥行き情報を生成し、前記青色光による２次元画像から、腫瘍の平面方向の大きさを推定し、その推定値と、前記奥行き情報を乗算することで得られる前記腫瘍の体積を検出する
    請求項１または２に記載の画像処理装置。
17. 前記体積が大きい前記腫瘍を強調表示した画像を生成する画像生成部をさらに備える
    請求項１６に記載の画像処理装置。
18. 前記特殊光画像取得部は、前記通常光画像から、前記特定の波長帯域における情報を有する特殊光画像を生成する
    請求項１または２に記載の画像処理装置。
19. 前記特殊光画像及び前記通常光画像は、それぞれステレオ画像であり、
    前記第１の３次元情報及び前記第２の３次元情報は、それぞれの前記ステレオ画像から生成される
    請求項１に記載の画像処理装置。
20. 画像処理装置の画像処理方法において、
    前記画像処理装置が、
    特定の波長帯域における情報を有する特殊光画像を取得し、
    白色光の波長帯域における情報を有する通常光画像を取得し、
    前記特殊光画像に基づいて生成された第１の３次元情報と前記通常光画像に基づいて生成された第２の３次元情報との深さ方向の差分に基づいて、生体内の所定の部位の前記深さ方向の位置情報を検出する
    画像処理方法。
21. 特定の波長帯域における情報を有する特殊光画像を取得し、
    白色光の波長帯域における情報を有する通常光画像を取得し、
    前記特殊光画像に基づいて生成された第１の３次元情報と前記通常光画像に基づいて生成された第２の３次元情報との深さ方向の差分に基づいて、生体内の所定の部位の前記深さ方向の位置情報を検出する
    処理をコンピュータに実行させるためのプログラム。

Images