WO2016121811A1

WO2016121811A1 - 画像処理装置及び画像処理方法、並びに内視鏡システム

Info

Publication number: WO2016121811A1
Application number: PCT/JP2016/052323
Authority: WO
Inventors: 加來　俊彦
Original assignee: 富士フイルム株式会社
Priority date: 2015-01-29
Filing date: 2016-01-27
Publication date: 2016-08-04

Abstract

　観察対象の血管の状態に基づいた診断支援パラメータを算出する画像処理装置及び画像処理方法、並びに内視鏡システムを提供する。　画像処理装置（６５）は、内視鏡画像を取得する画像取得部（８１）と、内視鏡画像を用いて血管を抽出する血管抽出部（８２）と、血管情報算出部（８３）と、血管パラメータ算出部（８４）と、を備える。血管情報算出部（８３）は、血管の本数、分岐数、分岐角度、分岐点間距離、交差数、太さ、太さの変化、太さの変化の複雑度、長さ、間隔、粘膜を基準とした深さ、高低差、傾き、面積、密度、コントラスト、色、色の変化、蛇行度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、及び血流量のうち少なくとも２以上を含む複数の血管情報を算出する。血管パラメータ算出部（８４）は、複数の血管情報を用いて演算をすることにより血管パラメータを算出する。

Description

画像処理装置及び画像処理方法、並びに内視鏡システム

　本発明は、内視鏡で撮影した内視鏡画像を用いて、内視鏡画像を用いた診断に供する数値等のデータを算出する画像処理装置及び画像処理方法、並びに内視鏡システムに関する。

　医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。内視鏡システムを用いた診断では、内視鏡の挿入部を被検体内に挿入し、その先端部から照明光を照射し、照明光が照射された観察対象（被検体内の粘膜等）を、内視鏡の先端部に搭載した撮像センサで撮像する。そして、撮像によって得られた画像信号を用いて観察対象の画像を生成し、モニタに表示する。

　内視鏡システムでは、通常は、白色の照明光（通常光とも言う）を照射して観察対象を撮像することにより、観察対象を自然な色合いで観察可能な画像（以下、通常観察画像という）を表示する。さらに、特定の波長帯域を有する光を照明光として用いることで、観察対象の血管やピットパターン等を強調した画像（以下、特殊観察画像という）を得る内視鏡システムも普及している。血管やピットパターン等に関する情報は重要な診断材料であるため、これらを強調した特殊観察画像は、診断に特に有用である。

　また、近年では、内視鏡で撮影した内視鏡画像（通常観察画像または特殊観察画像、あるいはこれらを生成するための画像信号）を用いて、血管の深さや太さ、密度、血管を表す画素の色バランスから求められる診断指標等を算出することで、医師の診断をアシストする内視鏡システムや診断支援装置も知られている（特許第４４９３６３７号及び特許第５３９５７２５号）。

　特許第４４９３６３７号及び特許第５３９５７２５号のように内視鏡画像を用いて算出することができる血管に関する情報（以下、血管情報という）は、上記のように診断に有用な情報である。しかし、医師は、血管の深さや太さ、密度、血管を表す画素の色バランスから求められる診断指標等の血管情報のうち、一つの血管情報に基づいて診断するわけではなく、上記の血管情報の他、従来の内視鏡システム等によって数値化しないような血管情報を含め、複数の血管情報を複合的に考慮して診断する。例えば、血管の太さと血管の密度はそれぞれ診断に有用な血管情報であるが、血管の太さが特定の太さであるから、あるいは血管の密度が特定の密度であるからというだけで、観察対象の状態を鑑別するわけではなく、血管の太さが特定の太さ以上で、かつ、血管の密度が特定値以上であるから観察対象の状態が特定病変である、というように複数の血管情報を勘案することで、多面的で複合的な視点で診断をする。

　上記のような多面的で複合的な診断の実態にあわせて、近年では、内視鏡システムや内視鏡画像を解析するための画像処理装置が、特許第４４９３６３７号及び特許第５３９５７２５号において算出する血管情報よりもさらに直接的で有用な情報等を算出して、医師の診断を支援することが求められている。

　本発明は、複数の血管情報を用い、内視鏡画像を用いた診断の実態にあわせ、観察対象の血管の状態に基づいた診断支援パラメータ（以下、血管パラメータという）を算出する画像処理装置及び画像処理方法、並びに内視鏡システムを提供することを目的とする。

　本発明の画像処理装置は、画像取得部と、血管抽出部と、血管情報算出部と、血管パラメータ算出部と、を備える。画像取得部は、内視鏡で撮影した内視鏡画像を取得する。血管抽出部は、内視鏡画像を用いて、内視鏡画像に写る観察対象から血管を抽出する。血管情報算出部は、血管の本数、分岐数、分岐角度、分岐点間距離、交差数、太さ、太さの変化、太さの変化の複雑度、長さ、間隔、粘膜を基準とした深さ、高低差、傾き、面積、密度、コントラスト、色、色の変化、蛇行度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、及び血流量のうち少なくとも２以上を含む複数の血管情報を算出する。血管パラメータ算出部は、複数の血管情報を用いて演算をすることにより血管パラメータを算出する。

　血管情報は、内視鏡画像の全部または一部の領域における統計量であることが好ましい。

　血管情報は、内視鏡画像の全部または一部の領域における最大値、最小値、平均値、または中央値であることが好ましい。

　血管パラメータ算出部は、複数の血管情報に重み付けをして演算をし、血管パラメータを算出することが好ましい。

　血管パラメータ算出部は、重み付けを、機械学習により予め定められた係数を用いて行うことが好ましい。

　血管パラメータを用いて、観察対象の粘膜の状態を判定する判定部を備えることが好ましい。

　判定部は、血管パラメータを用いて、観察対象の粘膜の状態を、正常、腺腫、及びがんを含む３種類以上の状態のいずれかに判定することが好ましい。

　判定部は、血管パラメータを用いて、観察対象の粘膜の状態を、正常、過形成ポリープ、ＳＳＡ／Ｐ、腺腫、側方発達型腫瘍、及びがんを含む状態のいずれかに判定することが好ましい。

　判定部は、観察対象の粘膜の状態ががんの場合に、血管パラメータを用いて、さらに、がんのステージを判定することが好ましい。

　本発明の内視鏡システムは、観察対象を撮影する内視鏡と、プロセッサ装置とを備える。プロセッサ装置は、画像取得部と、血管抽出部と、血管情報算出部と、血管パラメータ算出部と、を有する。画像取得部は、内視鏡で撮影した内視鏡画像を取得する。血管抽出部は、内視鏡画像を用いて、内視鏡画像に写る観察対象の血管を抽出する。血管情報算出部は、血管の本数、分岐数、分岐角度、分岐点間距離、交差数、太さ、太さの変化、太さの変化の複雑度、長さ、間隔、粘膜を基準とした深さ、高低差、傾き、面積、密度、コントラスト、色、色の変化、蛇行度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、及び血流量のうち少なくとも２以上を含む複数の血管情報を算出する。血管パラメータ算出部は、複数の血管情報を用いて演算をすることにより血管パラメータを算出する。

　本発明の画像処理方法は、画像取得部が、内視鏡で撮影した内視鏡画像を取得するステップと、血管抽出部が、内視鏡画像を用いて、内視鏡画像に写る観察対象から血管を抽出するステップと、血管情報算出部が、血管の本数、分岐数、分岐角度、分岐点間距離、交差数、太さ、太さの変化、太さの変化の複雑度、長さ、間隔、粘膜を基準とした深さ、高低差、傾き、面積、密度、コントラスト、色、色の変化、蛇行度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、及び血流量のうち少なくとも２以上を含む複数の血管情報を算出するステップと、血管パラメータ算出部が、複数の血管情報を用いて演算をすることにより血管パラメータを算出するステップと、を備える。

　本発明の画像処理装置及び画像処理方法、並びに内視鏡システムは、内視鏡画像を用いて複数の血管情報を算出し、内視鏡画像を用いた診断の実態にあわせ、算出した複数の血管情報を用いて血管パラメータを算出するので、従来よりもさらに直接的に医師の診断を支援することができる。

内視鏡システムの外観図である。内視鏡システムの機能を示すブロック図である。画像処理装置の機能を示すブロック図である。画像処理装置の動作を示すフローチャートである。特殊観察画像の説明図である。特殊観察画像から抽出する血管を示す説明図である。血管パラメータを表示するモニタを示す説明図である。判定部を有する画像処理装置のブロック図である。粘膜の状態の判定結果を表示するモニタを示す説明図である。プロセッサ装置で血管パラメータを算出する内視鏡システムのブロック図である。血管情報及び重み付け係数を表示するモニタを示す説明図である。カプセル内視鏡の概略図である。

　図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９とを有する。内視鏡１２は光源装置１４と光学的に接続し、かつ、プロセッサ装置１６と電気的に接続する。内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃは湾曲動作する。この湾曲動作によって、先端部１２ｄが所望の方向に向けられる。

　また、操作部１２ｂには、アングルノブ１２ｅの他、静止画像取得指示部１３ａ、ズーム操作部１３ｂが設けられている。静止画像取得指示部１３ａは、内視鏡システム１０に静止画像の取得指示を入力するために用いられる。静止画像の取得指示には、モニタ１８に観察対象の静止画像を表示させるためのフリーズ指示と、静止画像をストレージに保存させるためのレリーズ指示がある。ズーム操作部１３ｂは、撮像倍率を変更するための撮像倍率変更指示を入力するために用いられる。

　プロセッサ装置１６は、モニタ１８及びコンソール１９と電気的に接続する。モニタ１８は、観察対象の画像や、画像に付帯する情報等を出力表示する。コンソール１９は、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。

　図２に示すように、光源装置１４は、観察対象に照射する照明光を発する光源２０と、光源２０を制御する光源制御部２２とを備えている。光源２０は、例えば、複数色のＬＥＤ（Light Emitting Diode）等の半導体光源、レーザーダイオードと蛍光体の組み合わせ、またはキセノンランプ等のハロゲン光源で構成される。また、光源２０には、ＬＥＤ等が発光した光の波長帯域を調整するための光学フィルタ等が含まれる。光源制御部２２は、ＬＥＤ等のオン／オフや、ＬＥＤ等の駆動電流や駆動電圧の調整によって、照明光の光量を制御する。また、光源制御部２２は、光学フィルタの変更等によって、照明光の波長帯域を制御する。

　内視鏡システム１０は、観察対象を通常観察画像で観察するための通常観察モードと、観察対象を特殊観察画像で観察するための特殊観察モードの２種類の観察モードを有する。観察モードが通常観察モードの場合、光源制御部２２は、光源２０によってほぼ白色の照明光を発生させる。観察モードが特殊観察モードの場合、光源制御部２２は、光源２０によって、特定の狭い波長帯域を有する照明光（以下、狭帯域光という）を発生させる。観察モードは、操作部１２ｂに設けられたモード切り替えスイッチ（図示しない）によって切り替えられる。

　光源２０が発した照明光は、挿入部１２ａ内に挿通したライトガイド４１に入射する。ライトガイド４１は、内視鏡１２及びユニバーサルコードに内蔵しており、照明光を内視鏡１２の先端部１２ｄまで伝搬する。ユニバーサルコードは、内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコードである。なお、ライトガイド４１としては、マルチモードファイバを使用することができる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３～０．５ｍｍの細径なファイバケーブルを使用することができる。

　内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ４５を有しており、ライトガイド４１によって伝搬した照明光は照明レンズ４５を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ４６、ズームレンズ４７、撮像センサ４８を有している。観察対象からの反射光、散乱光、及び蛍光等の各種の光は、対物レンズ４６及びズームレンズ４７を介して撮像センサ４８に入射する。これにより、撮像センサ４８に観察対象の像が結像する。ズームレンズ４７は、ズーム操作部１３ｂを操作することでテレ端とワイド端の間で自在に移動し、撮像センサ４８に結像する観察対象を拡大または縮小する。

　撮像センサ４８は、画素毎にＲ（赤色）、Ｇ（緑色）、またはＢ（青色）のカラーフィルタのいずれかが設けられたカラー撮像センサであり、観察対象を撮像してＲＧＢ各色の画像信号を出力する。撮像センサ４８としては、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサを利用可能である。また、原色のカラーフィルタが設けられた撮像センサ４８の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、ＣＭＹＧの四色の画像信号が出力される。このため、補色－原色色変換によって、ＣＭＹＧの四色の画像信号をＲＧＢの三色の画像信号に変換することにより、撮像センサ４８と同様のＲＧＢ画像信号を得ることができる。また、撮像センサ４８の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。

　撮像センサ４８が出力する画像信号は、ＣＤＳ／ＡＧＣ回路５１に送信される。ＣＤＳ／ＡＧＣ回路５１は、アナログ信号である画像信号に相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）や自動利得制御（ＡＧＣ：Automatic Gain Control）を行う。ＣＤＳ／ＡＧＣ回路５１を経た画像信号は、Ａ／Ｄ（Analog to Digital）コンバータ５２により、デジタル画像信号に変換される。Ａ／Ｄ変換後のデジタル画像信号は、プロセッサ装置１６に入力される。

　プロセッサ装置１６は、画像信号取得部５３と、ＤＳＰ（Digital Signal Processor）５６と、ノイズ除去部５８と、メモリ６１と、信号処理部６２と、映像信号生成部６３と、を備えている。

　画像信号取得部５３は、内視鏡１２からデジタル画像信号を取得する。ＤＳＰ５６は、画像信号取得部５３が取得した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、及びデモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ４８の欠陥画素の信号を補正する。オフセット処理では、欠陥補正処理を施した画像信号から暗電流成分を除き、正確なゼロレベルを設定する。ゲイン補正処理では、オフセット処理後の画像信号に特定のゲインを乗じることにより信号レベルを整える。

　ゲイン補正処理後の画像信号には、色再現性を高めるためのリニアマトリクス処理を施す。その後、ガンマ変換処理によって明るさや彩度を整える。ガンマ変換処理後の画像信号には、デモザイク処理（等方化処理、または同時化処理とも言う）を施し、各画素で不足した色の信号を補間によって生成する。このデモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ノイズ除去部５８は、ＤＳＰ５６でデモザイク処理等を施した画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ除去処理を施し、ノイズを除去する。ノイズを除去した画像信号は、メモリ６１に記憶する。

　信号処理部６２は、メモリ６１からノイズ除去後の画像信号を取得する。そして、取得した画像信号に対して、必要に応じて、色変換処理、色彩強調処理、及び構造強調処理等の信号処理を施し、観察対象が写ったカラーの内視鏡画像を生成する。色変換処理は、画像信号に対して３×３のマトリックス処理、階調変換処理、及び３次元ＬＵＴ（ルックアップテーブル）処理などにより色の変換を行う処理である。色彩強調処理は、色変換処理済みの画像信号に対して行う。構造強調処理は、例えば血管やピットパターン等の観察対象に含まれる特定の組織や構造を強調する処理であり、色彩強調処理後の画像信号に対して行う。信号処理部６２が生成する内視鏡画像は、観察モードが通常観察モードの場合は通常観察画像であり、観察モードが特殊観察モードの場合は特殊観察画像であるため、色変換処理、色彩強調処理、及び構造強調処理の内容は、観察モードによって異なる。通常観察モードの場合、信号処理部６２は、観察対象が自然な色合いになる上記各種信号処理を施して通常観察画像を生成する。特殊観察モードの場合、信号処理部６２は、少なくとも観察対象の血管を強調する上記各種信号処理を施して特殊観察画像を生成する。信号処理部６２が生成する特殊観察画像では、粘膜の表面を基準として観察対象内の比較的浅い位置にある血管（いわゆる表層血管）は、マゼンタ系の色（例えばブラウン色）になり、粘膜の表面を基準とし観察対象内の比較的深い位置にある血管（いわゆる中深層血管）は、シアン系の色（例えば緑色）になる。このため、ピンク系の色で表される粘膜に対して、観察対象の血管が色の違いで強調される。

　信号処理部６２が生成した内視鏡画像は、映像信号生成部６３に入力される。映像信号生成部６３は、入力された内視鏡画像をモニタ１８に出力表示するための映像信号に変換する。また、静止画像取得指示部１３ａの操作により、レリーズ指示を入力すると、信号処理部６２は、生成した内視鏡画像をストレージ６４に保存する。ストレージ６４は、プロセッサ装置１６にＬＡＮ（Local Area Network）等接続した外部記憶装置であり、例えば、ＰＡＣＳ（Picture Archiving and Communication System）等の内視鏡画像をファイリングするシステムのファイルサーバや、ＮＡＳ（Network Attached Storage）等である。ストレージ６４に保存した内視鏡画像は、画像処理装置６５で使用する。

　画像処理装置６５は、内視鏡画像に画像処理を施し、診断支援のために、血管パラメータを算出する装置である。図３に示すように、画像処理装置６５は、画像取得部８１と、血管抽出部８２と、血管情報算出部８３と、血管パラメータ算出部８４とを備える。また、画像処理装置６５には、関心領域（ROI : Region Of Interest）の指定等に用いるポインティングデバイスやキーボードなどを含む入力デバイス８７や、内視鏡画像や血管パラメータ等を表示するためのモニタ８８が接続している。

　画像取得部８１は、ストレージ６４から内視鏡１２で撮影した内視鏡画像を取得する。ストレージ６４に保存されている内視鏡画像には、通常観察画像と特殊観察画像とがあるが、本実施形態では、画像取得部８１は、血管を強調した特殊観察画像をストレージ６４から取得する。

　血管抽出部８２は、画像取得部８１が取得した内視鏡画像を用いて、内視鏡画像に写る観察対象から、血管を抽出する。血管抽出部８２は、例えば周波数フィルタ等によって内視鏡画像から血管を抽出する。本実施形態では、血管抽出部８２は画像取得部８１が取得した内視鏡画像の全体から血管を抽出するが、関心領域を指定した場合は指定した関心領域内でだけ血管を抽出しても良い。

　血管情報算出部８３は、血管の本数、分岐数、分岐角度、分岐点間距離、交差数、太さ、太さの変化、太さの変化の複雑度、長さ、間隔、粘膜を基準とした深さ、高低差、傾き、面積、密度、コントラスト、色、色の変化、蛇行度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、及び血流量のうち、少なくとも２以上を含む複数の血管情報を算出する。本実施形態では、血管情報算出部８３は、可能な限り、上記の全ての血管情報を算出する。

　血管の本数とは、内視鏡画像全体または関心領域内で抽出した血管の数である。血管の本数は、例えば、抽出した血管の分岐点の個数（分岐数）や他の血管との交差点の個数（交差数）等を用いて算出する。血管の分岐角度は、２本の血管が分岐点においてなす角度である。分岐点間距離は、任意の分岐点とその隣の分岐点の直線距離、または、任意の分岐点とその隣の分岐点までの血管に沿った長さである。

　血管の交差数とは、粘膜下の深さが異なる血管が内視鏡画像上で交差する交差点の個数である。より具体的には、血管の交差数とは、相対的に粘膜下の浅い位置にある血管が、深い位置にある血管を横切る数である。

　血管の太さ（血管径）とは、血管と粘膜の境界線間の距離であり、例えば、抽出した血管のエッジから血管の中を通って血管の短手方向に沿って画素数を計数することにより計数する。したがって、血管の太さは画素数であるが、内視鏡画像を撮影した際の撮影距離やズーム倍率等が既知の場合には、必要に応じて「μｍ」等の長さの単位に換算可能である。

　血管の太さの変化とは、血管の太さのばらつきに関する血管情報であり、口径不同度ともいう。血管の太さの変化は、例えば、血管径の変化率（拡張度ともいう）である。血管径の変化率は、血管の最も細い部分の太さ（最小径）と血管の最も太い部分の太さ（最大径）を用いて、「血管経の変化率（％）＝最小径／最大径×１００」で求める。

　なお、過去の検査で観察対象を撮影して得た内視鏡画像と、その後の新たな検査で同じ観察対象を撮影して得た内視鏡画像と、を用いる場合、過去の検査で得た内視鏡画像から抽出した血管の太さに対して、その後の新たな検査で得た内視鏡画像から抽出した同じ血管の太さの時間的な変化を血管の太さの変化としてもよい。

　また、血管の太さの変化として、細径部の割合、または太径部の割合を算出しても良い。細径部とは太さが閾値以下の部分であり、太径部とは太さが閾値よりも太い部分である。細径部の割合は、「細径部の割合（％）＝細径部の長さ／血管の長さ×１００」で求める。同様に、太径部の割合は、「太径部の割合（％）＝太径部の長さ／血管の長さ×１００」で求める。

　血管の太さの変化の複雑度（以下、「太さ変化の複雑度」という）は、血管の太さ変化している場合に、その変化がどの程度複雑であるかを表す血管情報であり、血管の太さの変化を表す血管情報（すなわち血管径の変化率、細径部の割合、または太径部の割合）を複数組み合わせて算出する血管情報である。太さ変化の複雑度は、例えば、血管径の変化率と細径部の割合の積で求めることができる。

　血管の長さとは、抽出した血管の長手方向に沿って計数した画素数である。

　血管の間隔とは、抽出した血管のエッジ間にある粘膜を表す画素の画素数である。抽出した血管が１本の場合、血管の間隔は値を持たない。

　血管の深さは、粘膜（より具体的には粘膜の表面）を基準として測る。この粘膜を基準とした血管の深さは、例えば、血管の色に基づいて算出することができる。特殊観察画像の場合、粘膜の表面に近い位置にある血管はマゼンタ系の色で表され、粘膜の表面から遠く、粘膜下の深い位置にある血管はシアン系の色で表されるので、血管情報算出部８３は、血管として抽出した画素のＲ，Ｇ，Ｂ各色の信号のバランスに基づいて、粘膜を基準とした血管の深さを画素毎に算出する。

　血管の高低差とは、血管の深さの差の大きさである。例えば、注目する１本の血管の高低差は、この血管の最も深い箇所の深さ（最大深さ）と、最も浅い箇所の深さ（最小深さ）の差で求める。深さが一定の場合、高低差は零である。

　血管の傾きとは、血管の深さの変化率であり、血管の長さと血管の深さを用いて算出する。すなわち、血管の傾きは、「血管の傾き＝血管の深さ／血管の長さ」で求める。なお、血管を複数の区間に区切り、各区間で血管の傾きを算出してもよい。

　血管の面積は、血管として抽出した画素の画素数、または、血管として抽出した画素の画素数に比例する値である。血管の面積は、関心領域内、関心領域外、または、内視鏡画像全体について算出する。

　血管の密度は、単位面積中にある血管の割合である。血管の密度を算出する画素を概ね中心に含む特定の大きさの領域（例えば単位面積の領域）を切り出し、この領域内の全画素に占める血管の割合を算出する。これを関心領域または内視鏡画像全体の全画素に対して行うことで、各画素の血管の密度を算出することができる。

　血管のコントラストとは、観察対象の粘膜に対する相対的なコントラストである。血管のコントラストは、血管の輝度Ｙ_Vと、粘膜の輝度Ｙ_Mと、を用いて、例えば「Ｙ_V／Ｙ_M」または「（Ｙ_V－Ｙ_M）／（Ｙ_V＋Ｙ_M）」で算出する。

　血管の色とは、血管を表す画素のＲＧＢの各値である。そして、血管の色の変化とは、血管を表す画素のＲＧＢ各値の各々の最大値と最小値の差または比である。例えば、血管を表す画素のＢ値の最大値と最小値の比、Ｇ値の最大値と最小値の比、またはＲ値の最大値と最小値の比は、血管の色の変化を表す。もちろん、補色に変換して、シアン、マゼンタ、イエロー、グリーン等の各値について血管の色及び血管の色の変化を算出しても良い。

　血管の蛇行度とは、血管が蛇行して走行する範囲の広さを表す血管情報である。血管の蛇行度は、例えば、蛇行度を算出する血管を含む最小の長方形の面積（画素数）である。また、血管の始点と終点の直線距離に対する血管の長さの比を血管の蛇行度としても良い。

　血管の血液濃度とは、血管が含むヘモグロビンの量に比例する血管情報である。血管を表す画素のＲ値に対するＧ値の比（Ｇ／Ｒ）はヘモグロビンの量に比例するので、Ｇ／Ｒの値を算出することで、画素ごとに血液濃度を算出することができる。

　血管の酸素飽和度とは、ヘモグロビンの総量（酸化ヘモグロビン及び還元ヘモグロビンの総量）に対する酸化ヘモグロビンの量である。酸素飽和度は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に違いが大きい特定の波長帯域の光（例えば、波長４７０±１０ｎｍ程度の青色光）で観察対象を撮影した内視鏡画像を用いて算出することができる。波長４７０±１０ｎｍ程度の青色光を用いる場合、血管を表す画素のＢ値は酸素飽和度と相関があるので、Ｂ値を酸素飽和度に対応付けるテーブル等を用いることで、血管を表す各画素の酸素飽和度を算出することができる。

　動脈の割合とは、全血管の画素数に対する動脈の画素数の割合である。同様に、静脈の割合とは、全血管の画素数に対する静脈の画素数の割合である。動脈と静脈は、酸素飽和度によって区別することができる。例えば、酸素飽和度が７０％以上の血管を動脈とし、酸素飽和度が７０％未満の血管を静脈とすれば、抽出した血管を動脈と静脈に分けられるので、上記動脈の割合及び静脈の割合を算出するするこができる。

　投与した色素の濃度とは、観察対象に対して散布した色素、または静脈注射により血管に注入した色素の濃度である。投与した色素の濃度は、例えば、色素色以外の画素の画素値に対する色素色の画素値の割合で算出する。例えば、青色に着色する色素を投与した場合は、Ｂ／ＧやＢ／Ｒ等が、観察対象に定着（あるいは一時的に付着）した色素の濃度を表す。

　血管の走行パターンとは、血管の走行方向に関する血管情報である。血管の走行パターンは、例えば、任意に設定する基準線に対する血管の平均角度（走行方向）や、任意に設定する基準線に対して血管がなす角度の分散（走行方向のばらつき）等である。

　血管の血流量（血流速度ともいう）は、単位時間あたりに赤血球が通り抜ける数である。超音波プローブを内視鏡１２の鉗子チャネル等を介して併用する場合等に、内視鏡画像の血管を表す各画素のドップラーシフト周波数を、超音波プローブで得る信号を用いて算出する、血管の血流量を求めるができる。

　入力デバイス８７の操作によって内視鏡画像の一部を関心領域に指定した場合、血管情報算出部８３は、指定した関心領域内で血管情報を算出する。関心領域を指定していない場合や、内視鏡画像の全部を関心領域に指定している場合には、血管情報算出部８３は、内視鏡画像の全体で血管情報を算出する。また、血管の太さ、長さ、高低差、傾き、粘膜を基準とした深さ、及び間隔等の上記血管情報のうち一部の血管情報は、内視鏡画像内の位置によって異なる。このため、血管情報算出部８３は、内視鏡画像内の位置によって値が異なる血管情報を算出する場合、その最大値、最小値、平均値、または中央値等の統計量を血管情報の値とする。例えば、予め定めた範囲（例えば任意画素を中心とする９９×９９画素の範囲）の統計量を、任意画素における血管情報の値にすれば、画素毎には算出し難い血管情報も画素毎に求めることができる。

　血管パラメータ算出部８４は、血管情報算出部８３が算出した複数の血管情報を用いて演算をすることにより血管パラメータを算出する。本実施形態では、血管パラメータ算出部８４は、血管情報算出部８３が算出した複数の血管情報のそれぞれに重み付け係数をかけ、和をとることによって血管パラメータを算出する。各血管情報の重み付け係数は、重み付け係数テーブル９１に記憶する。重み付け係数テーブル９１に記憶した重み付け係数は、例えば機械学習によって予め定められる。

　なお、本実施形態では、上記のように複数の血管情報の重み付け和を血管パラメータとして算出するが、血管パラメータの算出方法は任意である。例えば、和を取るだけでなく、加減乗除が混在する演算をして血管パラメータを算出しても良いし、その他の関数を用いて血管パラメータを算出しても良い。

　血管パラメータは、互いに次元（単位）が異なる血管情報を加算等して算出するので、血管パラメータには物理的な意味は無いが、診断の指標として機能する。すなわち、血管パラメータは、物理的な意味がない値であることが血管情報との違いである。

　次に、画像処理装置６５の動作の流れを図４のフローチャートに沿って説明する。まず、画像処理装置６５は、入力デバイス８７の入力操作にしたがって画像取得部８１によってストレージ６４から内視鏡画像を取得し（Ｓ１１）、モニタ８８に取得した内視鏡画像を表示する（Ｓ１２）。本実施形態では、画像取得部８１は、血管を色によって強調した特殊観察画像をストレージ６４から取得するので、図５に示すように、特殊観察画像１０１をモニタ８８に表示する。特殊観察画像１０１は、血管を色によって強調した内視鏡画像であり、例えば、観察対象の粘膜表面の形状１０２が観察できる他、粘膜の表面に比較的近い位置にある細い表層血管１０３はマゼンタ系の色で表され、粘膜下の比較的深い位置になる太い中深層血管１０４がシアン系の色で表されることにより強調されている。

　上記のようにモニタ８８に特殊観察画像１０１を表示すると、必要に応じて関心領域１１１を指定する（Ｓ１３）。例えば、図５の特殊観察画像１０１の場合、中央付近に病変の可能性がある箇所があるので、この病変の可能性がある箇所を含む特殊観察画像１０１の中央付近を関心領域１１１に指定する。

　一方、血管抽出部８２は、画像取得部８１によって取得した特殊観察画像１０１から観察対象の血管を抽出する（Ｓ１４）。特殊観察画像１０１の場合、図６に示すように、表層血管１０３と中深層血管１０４を血管抽出部８２が抽出する。

　血管抽出部８２が血管を抽出すると、血管情報算出部８３は、血管抽出部８２による血管の抽出血管を用いて、複数の血管情報を算出する（Ｓ１５）。上記のように、特殊観察画像１０１からは表層血管１０３と中深層血管１０４が抽出されるので、血管情報算出部８３は、指定した関心領域１１１内において、表層血管１０３及び中深層血管１０４の本数、太さ、長さ、高低差、傾き、面積、密度、粘膜を基準とした深さ、及び間隔を算出する。

　その後、血管パラメータ算出部８４が、血管情報算出部８３によって算出した上記各血管情報と、重み付け係数テーブル９１に記憶した重み付け係数とを用いて演算をすることにより血管パラメータを算出する（Ｓ１６）。算出した血管パラメータは、モニタ８８に送信され、図７に示すように、特殊観察画像１０１ともに、モニタ８８上に設定した血管パラメータ表示部１１４に表示される。

　上記のように、画像処理装置６５は、ストレージ６４から内視鏡画像（特殊観察画像１０１）を選択し、モニタ８８に表示させ、関心領域１１１を指定すると、指定した関心領域１１１内の表層血管１０３及び中深層血管１０４に関する血管パラメータが特殊観察画像１０１とともに表示される。そして、血管パラメータは、医師の多面的で複合的な視点で診断するのを模して、複数の血管情報を用いて算出した数値であるため、血管パラメータの数値を見れば、医師は素早くかつ正確に観察対象の状態を判断することができる。すなわち、画像処理装置６５は、複数の血管情報を用いた演算によって算出した血管パラメータを算出することで、診断を支援することができる。例えば、医師に対して、血管パラメータの算出に使用する複数の血管情報をそれぞれ提示する場合と比較すると、画像処理装置６５は、血管パラメータという診断内容に対してより直接的な情報を提示して診断を支援することができる。

　上記実施形態では、血管パラメータをモニタ８８に表示しているが、図８に示すように、画像処理装置６５には、血管パラメータを用いて観察対象の粘膜の状態を判定する判定部１３０を設け、血管パラメータの代わりに判定部１３０による判定結果をモニタ８８に表示することが好ましい。

　判定部１３０は、血管パラメータ算出部８４から血管パラメータを取得し、血管パラメータの値に基づいて、あるいは血管パラメータを用いてさらに演算をして、観察対象の粘膜の状態を判定する。例えば、血管パラメータの算出に用いる重み付け係数を、粘膜の状態を、正常、腺腫、がんの３種類の状態に判定するため係数に調整している場合、判定部１３０は、血管パラメータ第１閾値以下の場合に観察対象の粘膜が正常であると判定し、血管パラメータが第１閾値よりも大きく第２閾値以下の場合に腺腫の疑いがあると判定する。そして、血管パラメータが第２閾値よりも大きい場合は、がんに進行している可能性があると判定する。判定部１３０は、粘膜の状態についての判定結果をモニタ８８に送信することで、図９に示すように、特殊観察画像１０１とともに、モニタ８８上に設定した判定結果表示部１３１に判定結果を表示させる。

　上記のように、画像処理装置６５に判定部１３０を設け、血管パラメータを用いて観察対象の粘膜の状態を判定し、その結果を表示すれば、血管パラメータを表示する場合よりもさらに直接的に診断を支援することができる。

　なお、判定部１３０は、粘膜の状態を、上記変形例のように、正常、腺腫、及びがんを含む３種類以上の状態に判定することが望ましい。特に、大腸の粘膜の状態を判定する場合には、正常、過形成ポリープ（ＨＰ：Hyperplastic Polyp）、ＳＳＡ／Ｐ（Sessile Serrated Adenoma / Polyp）、腺腫（ＴＳＡ：Traditional Serrated Adenoma）、側方発達型腫瘍（ＬＳＴ：Laterally Spreading Tumor）、及びがんを含むいずれかの状態に判定することが好ましい。このように、判定部１３０の判定結果を細分化する場合、判定部１３０は血管パラメータに加えて、血管情報を用いることが好ましい。従来、過形成ポリープはがん化のリスクが低く、処置の必要がないと考えられていたが、近年では、過形成ポリープに似たＳＳＡ／Ｐががん化した例も発見されているため、特に過形成ポリープとＳＳＡ／Ｐを鑑別することが重要になってきている。一方、過形成ポリープあるいはＳＳＡ／Ｐと思しき肥厚した粘膜下を中深層血管が横断していると、ＳＳＡ／Ｐが形成される可能性が高いことが分かっている。血管パラメータを用いれば判定部１３０によって過形成ポリープとＳＳＡ／Ｐを鑑別することができるが、血管パラメータと血管情報（血管の太さ及び長さ）を組み合わせて判定をすれば、より高い確率で過形成ポリープからＳＳＡ／Ｐを鑑別することができる。

　また、観察対象の粘膜の状態ががんである場合、判定部１３０は、血管パラメータを用いて、さらに、がんのステージを判定することが好ましい。そして、判定結果表示部１３１には、判定部１３０が判定したがんのステージを表示することが好ましい。このように、観察対象の粘膜の状態をがんと判定した場合にさらにステージを判定して、その結果をモニタ８８に表示すれば、さらに細やかに診断を支援することができる。

　上記実施形態では、内視鏡システム１０が内視鏡画像をストレージ６４に保存し、後に画像処理装置６５がストレージ６４から内視鏡画像を取得して血管パラメータを算出するが、観察対象を観察しながらほぼリアルタイムに血管パラメータを算出してもよい。この場合、図１０に示す内視鏡システム２１０のように、プロセッサ装置１６に、画像取得部８１、血管抽出部８２、血管情報算出部８３、血管パラメータ算出部８４を設ける。内視鏡１２や光源装置１４の構成は第１実施形態の内視鏡システム１０と同様である。

　このようにプロセッサ装置１６に、画像処理装置６５の各部を設ける場合、画像取得部８１は信号処理部６２が生成する内視鏡画像を、ストレージ６４を介さずに信号処理部６２から直接取得する。血管抽出部８２は、画像取得部８１が取得した内視鏡画像から血管を抽出し、血管情報算出部８３が抽出した血管に関する複数の血管情報を算出し、血管パラメータ算出部８４が、算出した複数の血管情報と、重み付け係数テーブル９１に記憶した重み付け係数とを用いて演算をし、血管パラメータを算出することは画像処理装置６５と同様である。関心領域１１１を指定する場合には、入力デバイス８７の代わりに、コンソール１９または内視鏡１２の操作部１２ｂに設けられたボタン等（図示しない）を用いる。血管パラメータ算出部８４は、算出した血管パラメータを映像信号生成部６３に送信することで、信号処理部６２が制し得した内視鏡画像とともに、モニタ１８に血管パラメータを表示させる。

　上記のように、プロセッサ装置１６に、画像処理装置６５を構成する画像取得部８１、血管抽出部８２、血管情報算出部８３、血管パラメータ算出部８４を設ければ、プロセッサ装置１６が画像処理装置６５として機能する。このため、内視鏡システム２１０では、観察対象を観察しながら血管パラメータを算出し、表示するので、リアルタイムに診断を支援することができる。

　なお、内視鏡システム２１０は、少なくとも静止画像取得指示部１３ａによって信号処理部６２が静止画像取得指示を受けた場合に、血管パラメータを算出及び表示することが好ましい。もちろん、静止画像取得指示の入力の有無に関係なく、内視鏡画像の動画をモニタ１８に表示する場合に、血管パラメータを算出及び表示しても良い。内視鏡画像の動画をモニタ１８に表示する場合、動画の全フレームの内視鏡画像について血管パラメータを算出及び表示しても良いが、数フレームおきに血管パラメータを算出及び表示してもほぼリアルタイムに血管パラメータを算出及び表示することができる。

　上記実施形態では、画像処理装置６５のモニタ８８に血管パラメータを表示しているが、さらに、血管パラメータを算出する際に用いる血管情報や重み付け係数を表示することが好ましい。例えば、図１１に示すように、画像処理装置６５の場合、血管パラメータ表示部１１４に加えて、情報表示部２５０を表示する。そして、情報表示部２５０に、血管情報算出部８４が算出した血管情報と、重み付け係数テーブル９１から読み出した重み付け係数とを対応付けて表示する。内視鏡システム２１０の場合も同様であり、判定血管１３０による判定結果に加えて、血管パラメータや、血管パラメータの算出に用いる血管情報や重み付け係数をモニタ１８に表示する。図１１では、血管情報と重み付け係数を両方表示しているが、血管情報だけ、あるいは重み付け係数だけを、血管パラメータや判定結果に加えて表示してもよい。このように、血管パラメータの算出に用いる血管情報や重み付け係数を表示することで、医師は血管パラメータの意味や判定の根拠を把握しやすくなる。

　また、例えば、血管情報や重み付け係数を追加表示する「確認モード」を設け、入力デバイス８７等（内視鏡システム２１０の場合には操作部１２ｂやコンソール１９、図示しないフットペダル等）を用いて確認モードにセットした場合に、血管パラメータや判定結果に加えて血管情報や重み付け係数を表示しても良い。

　また、上記のように、血管パラメータや判定結果に加えて、重み付け係数を表示する場合、重み付け係数は、入力デバイス８７やコンソール１９等を用いて変更可能にしておくことが好ましい。そして、重み付け係数を変更した場合には、血管パラメータ算出部８４は変更後の重み付け係数を用いて血管パラメータを再算出し、判定部１３０は変更後の重み付け係数を用いて算出した血管パラメータを用いて再度判定をする。このように、重み付け係数を表示し、かつ、重み付け係数を変更可能にしておくと、医師の経験に基づいて血管パラメータの算出方法や判定の方法を調整する方法を提供することができる。

　上記実施形態では、撮像センサ４８が設けられた内視鏡１２を被検体内に挿入して観察を行う内視鏡システム１０によって本発明を実施しているが、カプセル内視鏡システムでも本発明は好適である。例えば、図１２に示すように、カプセル内視鏡システムは、カプセル内視鏡３００と、プロセッサ装置（図示しない）とを少なくとも有する。カプセル内視鏡３００は、光源３０２と、光源制御部３０３と、撮像センサ３０４と、画像信号取得処理部３０６と、送受信アンテナ３０８とを備えている。光源３０２は、内視鏡システム１０の光源２０と同様に構成され、光源制御部３０３の制御によって、照明光を発光する。画像信号取得処理部３０６は、画像信号取得部５３、ＤＳＰ５６、ノイズ除去部５８、信号処理部６２として機能する。カプセル内視鏡システムのプロセッサ装置は、内視鏡システム２１０のプロセッサ装置１６と同様に構成され、画像処理装置６５としても機能する。画像信号取得処理部３０６が生成する内視鏡画像は、送受信アンテナ３０８を介してプロセッサ装置に送信される。カプセル内視鏡３００でリアルタイムに血管パラメータを算出する場合には、画像信号取得処理部３０６は、さらに画像取得部８１、血管抽出部８２、血管情報算出部８３、血管パラメータ算出部８４としても機能させれば良い。

Claims

　内視鏡で撮影した内視鏡画像を取得する画像取得部と、
　前記内視鏡画像を用いて、前記内視鏡画像に写る観察対象から血管を抽出する血管抽出部と、
　前記血管の本数、分岐数、分岐角度、分岐点間距離、交差数、太さ、太さの変化、太さの変化の複雑度、長さ、間隔、粘膜を基準とした深さ、高低差、傾き、面積、密度、コントラスト、色、色の変化、蛇行度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、及び血流量のうち少なくとも２以上を含む複数の血管情報を算出する血管情報算出部と、
　複数の前記血管情報を用いて演算をすることにより血管パラメータを算出する血管パラメータ算出部と、
　を備える画像処理装置。
　前記血管情報は、前記内視鏡画像の全部または一部の領域における統計量である請求項１に記載の画像処理装置。
　前記血管情報は、前記内視鏡画像の全部または一部の領域における最大値、最小値、平均値、または中央値である請求項２に記載の画像処理装置。
　前記血管パラメータ算出部は、複数の前記血管情報に重み付けをして演算をし、前記血管パラメータを算出する請求項１に記載の画像処理装置。
　前記血管パラメータ算出部は、前記重み付けを、機械学習により予め定められた係数を用いて行う請求項４に記載の画像処理装置。
　前記血管パラメータを用いて、前記観察対象の粘膜の状態を判定する判定部を備える請求項１に記載の画像処理装置。
　前記判定部は、前記血管パラメータを用いて、前記観察対象の粘膜の状態を、正常、腺腫、及びがんを含む３種類以上の状態のいずれかに判定する請求項６に記載の画像処理装置。
　前記判定部は、前記血管パラメータを用いて、前記観察対象の粘膜の状態を、正常、過形成ポリープ、ＳＳＡ／Ｐ、腺腫、側方発達型腫瘍、及びがんを含む状態のいずれかに判定する請求項７に記載の画像処理装置。
　前記判定部は、前記観察対象の粘膜の状態ががんの場合に、前記血管パラメータを用いて、さらに、がんのステージを判定する請求項６に記載の画像処理装置。
　観察対象を撮影する内視鏡と、
　前記内視鏡で撮影した内視鏡画像を取得する画像取得部と、前記内視鏡画像を用いて、前記内視鏡画像に写る前記観察対象の血管を抽出する血管抽出部と、前記血管の本数、分岐数、分岐角度、分岐点間距離、交差数、太さ、太さの変化、太さの変化の複雑度、長さ、間隔、粘膜を基準とした深さ、高低差、傾き、面積、密度、コントラスト、色、色の変化、蛇行度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、及び血流量のうち少なくとも２以上を含む複数の血管情報を算出する血管情報算出部と、複数の前記血管情報を用いて演算をすることにより血管パラメータを算出する血管パラメータ算出部と、を有するプロセッサ装置と、
　を備える内視鏡システム。
　画像取得部が、内視鏡で撮影した内視鏡画像を取得するステップと、
　血管抽出部が、前記内視鏡画像を用いて、前記内視鏡画像に写る観察対象から血管を抽出するステップと、
　血管情報算出部が、前記血管の本数、分岐数、分岐角度、分岐点間距離、交差数、太さ、太さの変化、太さの変化の複雑度、長さ、間隔、粘膜を基準とした深さ、高低差、傾き、面積、密度、コントラスト、色、色の変化、蛇行度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、及び血流量のうち少なくとも２以上を含む複数の血管情報を算出するステップと、
　血管パラメータ算出部が、複数の前記血管情報を用いて演算をすることにより血管パラメータを算出するステップと、
　を備える画像処理方法。