JP6633641B2 - 画像処理装置、内視鏡システム、及び画像処理方法 - Google Patents

Description

本発明は、内視鏡で撮影した内視鏡画像を用いて、診断に供するデータを算出して診断を支援する画像処理装置、内視鏡システム、及び画像処理方法に関する。

医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。内視鏡システムを用いた診断では、内視鏡の挿入部を被検体内に挿入して先端部から照明光を照射し、照明光が照射された観察対象（被検体内の粘膜等）を、内視鏡の先端部に搭載した撮像センサで撮像する。そして、撮像によって得られた画像信号を用いて観察対象の画像（以下、内視鏡画像という）を生成し、モニタに表示する。

内視鏡システムでは、通常は、白色の照明光（通常光とも言う）が照射された観察対象を撮像することにより、観察対象を自然な色合いで観察可能な内視鏡画像（以下、通常光画像という）を表示する。さらに、特定の波長帯域を有する光を照明光として用いることで、観察対象の血管やピットパターン等を強調した内視鏡画像（以下、特殊観察画像という）を得る内視鏡システムも普及している。内視鏡画像を用いて診断をする場合、血管やピットパターン等に関する情報は重要な診断材料であるため、これらを強調した特殊観察画像は診断に特に有用である。

さらに、近年では、単に血管を強調するだけでなく、内視鏡画像（あるいは内視鏡画像の生成に使用する画像信号）を用いて、血管の深さ、太さ、または密度等を算出することで、医師の診断をアシストする内視鏡システムや診断支援装置が知られている（特許文献１，２）。また、血管の密度等、内視鏡画像を用いて算出できる血管に関する情報（以下、血管情報という）の経時変化を表示して診断を支援するシステムも知られている（特許文献３，４）。例えば、特許文献３のシステムでは、血管情報の１つである酸素飽和度の時間変化をリアルタイムにモニタに表示する。特許文献４のシステムは、観察対象が発する蛍光の強度の時間変化をグラフにして表示する。

また、内視鏡画像の特徴量を求め、求めた特徴量を用いて病変を判定または分類することにより、診断を支援する内視鏡システム等が知られている（特許文献５，６）。さらに、病変と判定した画素の色を変更したり、病変にアラート画像を重畳したりすることで、病変を強調する内視鏡システム等が知られている（特許文献７，８）。

特開２００７−０６１６３８号公報 特開２０１１−２１７７９８号公報 特開２０１２−２３５９２６号公報 特開２０１５−０６６１２９号公報 特開２００２−１６５７５７号公報 特開平１０−０１４８６４号公報 特開２０１４−０１８３３３号公報 特開２０１１−２５５００６号公報

血管の密度や酸素飽和度等の血管情報は、内視鏡画像を用いる診断の決め手ともなり得る極めて重要度が高い情報であるため、特許文献１〜４の内視鏡システム等のように、血管情報を算出すれば、診断を支援することができる。なかでも特許文献３，４は、血管情報の時間変化を表示しており、血管情報の値だけでなく、血管情報の時間変化がわからなければ確定的な判断を下せないケースでも診断を支援することができるので、診断支援効果は特に高い。

しかし、内視鏡システム等が算出する血管情報をどのように捉えて病変の判定や分類をするかは、医師の知識や経験に委ねられており、診断時の負担はまだまだ大きい。このため、血管情報を算出する内視鏡システム等には、さらに直接的に診断に結びつく情報によって、より効果的に診断を支援することが求められる。

一方、特許文献５，６は、内視鏡画像の特徴量を求め、求めた特徴量を用いて病変を判定または分類し、その結果（想定される診断名等）を表示するので、直接的に診断に結びつきやすい情報を提示している。しかし、特許文献５，６が算出する特徴量は、粘膜表面の色調や模様の構造パターン（主に方向性）に関する特徴量であるため、血管情報が診断の指針となる病変については、判定や分類は難しい。また、１枚の内視鏡画像を用いて特徴量を算出しており、病変の判定または分類には、観察対象（特に血管情報）の時間的な変化は全く考慮していない。

本発明は、観察対象の血管の時間的な変化を考慮して観察対象の粘膜の状態を判定し、その結果を表示することにより、従来よりも直接的かつ効果的に診断を支援する画像処理装置、内視鏡システム、及び、画像処理方法を提供することを目的とする。

本発明の画像処理装置は、内視鏡によって観察対象を互いに異なる時刻に撮像して得る複数の内視鏡画像として、第１内視鏡画像、第２内視鏡画像、及び、第３内視鏡画像を取得する画像取得部と、第１内視鏡画像、第２内視鏡画像、及び、第３内視鏡画像から観察対象の血管をそれぞれ抽出する血管抽出部と、第１内視鏡画像から抽出した第１血管について第１血管指標値を算出し、第２内視鏡画像から抽出した第２血管について第２血管指標値を算出し、かつ、第３内視鏡画像から抽出した第３血管について第３血管指標値を算出する血管指標値算出部と、第１血管指標値に対する第２血管指標値の差と、第２血管指標値に対する第３血管指標値の差を、第１血管指標値、第２血管指標値、及び第３血管指標値の時間変化として算出する時間変化算出部と、第１血管指標値に対する第２血管指標値の差と、第２血管指標値に対する第３血管指標値の差を用いて、観察対象の粘膜の状態を判定する判定部と、判定部の判定結果を表示する表示部と、を備える。

血管指標値算出部は、血管抽出部が抽出した血管の本数、太さ、太さの変化、太さの変化の複雑度、長さ、長さの変化、分岐数、分岐角度、分岐点間距離、交差数、傾き、面積、密度、粘膜を基準とした深さ、高低差、間隔、コントラスト、色、色の変化、蛇行度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、及び血流量のうちいずれかの血管情報を血管指標値として算出する請求項１に記載の画像処理装置。

血管指標値算出部は、血管抽出部が抽出した血管の本数、太さ、太さの変化、太さの変化の複雑度、長さ、長さの変化、分岐数、分岐角度、分岐点間距離、交差数、傾き、面積、密度、粘膜を基準とした深さ、高低差、間隔、コントラスト、色、色の変化、蛇行度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、及び血流量のうちいずれかの血管情報を算出する血管情報算出部と、複数の血管情報を用いて演算をすることにより血管パラメータを算出する血管パラメータ算出部と、を備え、血管指標値算出部は、血管パラメータを血管指標値とすることが好ましい。

時間変化算出部は、複数の血管指標値の差、比、または、変化率を算出することが好ましい。

表示部に、判定部の判定結果をポップアップ表示することが好ましい。

血管指標値の時間変化を用いて、ポップアップ表示の表示設定をすることが好ましい。

表示部に、判定部の判定結果を用いて粘膜の状態を判定した部分を着色した内視鏡画像を表示することが好ましい。

表示部に、血管指標値の時間変化を用いて内視鏡画像を着色する部分の色を設定することが好ましい。

表示部に、判定部の判定結果のリストを表示することが好ましい。

血管指標値の時間変化を用いて、リストの表示設定をすることが好ましい。

表示部に、内視鏡画像の粘膜の状態を判定した部分を拡大して表示することが好ましい。

血管指標値の時間変化を用いて、内視鏡画像の粘膜の状態を判定した部分の拡大率を設定することが好ましい。

本発明の内視鏡システムは、観察対象を撮像する内視鏡と、内視鏡によって観察対象を互いに異なる時刻に撮像して得る複数の内視鏡画像として、第１内視鏡画像、第２内視鏡画像、及び、第３内視鏡画像を取得する画像取得部と、第１内視鏡画像、第２内視鏡画像、及び、第３内視鏡画像から観察対象の血管をそれぞれ抽出する血管抽出部と、第１内視鏡画像から抽出した第１血管について第１血管指標値を算出し、第２内視鏡画像から抽出した第２血管について第２血管指標値を算出し、かつ、第３内視鏡画像から抽出した第３血管について第３血管指標値を算出する血管指標値算出部と、第１血管指標値に対する第２血管指標値の差と、第２血管指標値に対する第３血管指標値の差を、第１血管指標値、第２血管指標値、及び第３血管指標値の時間変化として算出する時間変化算出部と、第１血管指標値に対する第２血管指標値の差と、第２血管指標値に対する第３血管指標値の差を用いて、血管指標値の時間変化を用いて観察対象の粘膜の状態を判定する判定部と、を有するプロセッサ装置と、判定部の判定結果を表示する表示部と、を備える。

本発明の画像処理方法は、画像取得部が、内視鏡によって観察対象を互いに異なる時刻に撮像して得る複数の内視鏡画像として、第１内視鏡画像、第２内視鏡画像、及び、第３内視鏡画像を取得するステップと、血管抽出部が、第１内視鏡画像、第２内視鏡画像、及び、第３内視鏡画像から観察対象の血管をそれぞれ抽出するステップと、血管指標値算出部が、第１内視鏡画像から抽出した第１血管について第１血管指標値を算出し、第２内視鏡画像から抽出した第２血管について第２血管指標値を算出し、かつ、第３内視鏡画像から抽出した第３血管について第３血管指標値を算出するステップと、時間変化算出部が、第１血管指標値に対する第２血管指標値の差と、第２血管指標値に対する第３血管指標値の差を、第１血管指標値、第２血管指標値、及び第３血管指標値の時間変化として算出するステップと、判定部が、第１血管指標値に対する第２血管指標値の差と、第２血管指標値に対する第３血管指標値の差を用いて、観察対象の粘膜の状態を判定するステップと、を備える。

本発明の画像処理装置、内視鏡システム、及び画像処理方法は、観察対象の血管の時間的な変化を考慮して観察対象の粘膜の状態を判定し、その結果を表示するので、従来よりも直接的かつ効果的に診断を支援することができる。

内視鏡システムの外観図である。 内視鏡システムのブロック図である。 画像処理装置のブロック図である。 ストレージに保存した内視鏡画像を示す説明図である。 モニタの表示画面である。 画像処理装置の動作を示すフローチャートである。 関心領域の設定方法を示す説明図である。 第２内視鏡画像の模式図である。 抽出した第２血管を表す第２血管画像である。 第２実施形態の血管指標値算出部のブロック図である。 第３実施形態の内視鏡システムのブロック図である。 第４実施形態で用いる第３内視鏡画像を示す説明図である。 第４実施形態におけるモニタの表示画面である。 第１〜第３血管指標値の時間変化を示すグラフである。 血管指標値が特定の条件を満たす期間Ｅｔを示すグラフである。 関心領域の内外の領域を示す説明図である。 判定結果をポップアップ表示する表示形態の説明図である。 粘膜の状態を判定した部分を着色して判定結果を表示する表示形態の説明図である。 粘膜の状態を判定した部分を着色する場合の画像処理装置のブロック図である。 閾値との差δとＲチャンネルの値の対応関係を示すグラフである。 粘膜の状態を判定した部分を拡大表示する表示形態の説明図である。 判定結果のリストを表示する表示形態の説明図である。 判定結果を表示するための操作メニューを示す説明図である。 カプセル内視鏡の概略図である。

［第１実施形態］
図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９とを有する。内視鏡１２は光源装置１４と光学的に接続し、かつ、プロセッサ装置１６と電気的に接続する。内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃは湾曲動作する。この湾曲動作によって、先端部１２ｄが所望の方向に向けられる。

また、操作部１２ｂには、アングルノブ１２ｅの他、静止画像取得指示部１３ａ、ズーム操作部１３ｂが設けられている。静止画像取得指示部１３ａは、内視鏡システム１０に静止画像の取得指示を入力する場合に操作する。静止画像の取得指示には、モニタ１８に観察対象の静止画像を表示するフリーズ指示と、静止画像をストレージに保存するレリーズ指示がある。ズーム操作部１３ｂは、撮像倍率を変更するための撮像倍率変更指示を入力するために用いられる。

プロセッサ装置１６は、モニタ１８及びコンソール１９と電気的に接続する。モニタ１８は、観察対象の画像や、画像に付帯する情報等を出力表示する。コンソール１９は、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。

図２に示すように、光源装置１４は、観察対象に照射する照明光を発する光源２０と、光源２０を制御する光源制御部２２とを備えている。光源２０は、例えば、複数色のＬＥＤ（Light Emitting Diode）等の半導体光源、レーザーダイオードと蛍光体の組み合わせ、またはキセノンランプ等のハロゲン光源で構成される。また、光源２０には、ＬＥＤ等が発光した光の波長帯域を調整するための光学フィルタ等が含まれる。光源制御部２２は、ＬＥＤ等のオン／オフや、ＬＥＤ等の駆動電流や駆動電圧の調整によって、照明光の光量を制御する。また、光源制御部２２は、光学フィルタの変更等によって、照明光の波長帯域を制御する。

内視鏡システム１０は、観察対象を通常観察画像で観察するための通常観察モードと、観察対象を特殊観察画像で観察するための特殊観察モードの２種類の観察モードを有する。観察モードが通常観察モードの場合、光源制御部２２は、光源２０によってほぼ白色の照明光を発生させる。観察モードが特殊観察モードの場合、光源制御部２２は、光源２０によって、特定の狭い波長帯域を有する照明光（以下、狭帯域光という）を発生させる。観察モードは、操作部１２ｂに設けられたモード切り替えスイッチ（図示しない）によって切り替えられる。

光源２０が発した照明光は、挿入部１２ａ内に挿通したライトガイド４１に入射する。ライトガイド４１は、内視鏡１２及びユニバーサルコードに内蔵しており、照明光を内視鏡１２の先端部１２ｄまで伝搬する。ユニバーサルコードは、内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコードである。なお、ライトガイド４１としては、マルチモードファイバを使用することができる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３〜０．５ｍｍの細径なファイバケーブルを使用することができる。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ４５を有しており、ライトガイド４１によって伝搬した照明光は照明レンズ４５を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ４６、ズームレンズ４７、及び撮像センサ４８を有している。観察対象からの反射光、散乱光、及び蛍光等の各種の光は、対物レンズ４６及びズームレンズ４７を介して撮像センサ４８に入射する。これにより、撮像センサ４８に観察対象の像が結像する。ズームレンズ４７は、ズーム操作部１３ｂを操作することでテレ端とワイド端の間で自在に移動し、撮像センサ４８に結像する観察対象を拡大または縮小する。

撮像センサ４８は、画素毎にＲ（赤色）、Ｇ（緑色）、またはＢ（青色）のカラーフィルタのいずれかが設けられたカラー撮像センサであり、観察対象を撮像してＲＧＢ各色の画像信号を出力する。撮像センサ４８としては、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサを利用可能である。また、原色のカラーフィルタが設けられた撮像センサ４８の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号が出力される。このため、補色−原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換することにより、撮像センサ４８と同様のＲＧＢ画像信号を得ることができる。また、撮像センサ４８の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。

撮像センサ４８が出力する画像信号は、ＣＤＳ／ＡＧＣ回路５１に送信される。ＣＤＳ／ＡＧＣ回路５１は、アナログ信号である画像信号に相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）や自動利得制御（ＡＧＣ：Automatic Gain Control）を行う。ＣＤＳ／ＡＧＣ回路５１を経た画像信号は、Ａ／Ｄ（Analog to Digital）コンバータ５２により、デジタル画像信号に変換される。Ａ／Ｄ変換後のデジタル画像信号は、プロセッサ装置１６に入力される。

プロセッサ装置１６は、画像信号取得部５３と、ＤＳＰ（Digital Signal Processor）５６と、ノイズ低減部５８と、メモリ６１と、信号処理部６２と、映像信号生成部６３と、を備えている。

画像信号取得部５３は、内視鏡１２からデジタル画像信号を取得する。ＤＳＰ５６は、画像信号取得部５３が取得した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、及びデモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ４８の欠陥画素の信号を補正する。オフセット処理では、欠陥補正処理を施した画像信号から暗電流成分を除き、正確なゼロレベルを設定する。ゲイン補正処理では、オフセット処理後の画像信号に特定のゲインを乗じることにより信号レベルを整える。

ゲイン補正処理後の画像信号には、色再現性を高めるためのリニアマトリクス処理を施す。その後、ガンマ変換処理によって明るさや彩度を整える。ガンマ変換処理後の画像信号には、デモザイク処理（等方化処理、または同時化処理とも言う）を施し、各画素で不足した色の信号を補間によって生成する。このデモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ノイズ低減部５８は、ＤＳＰ５６でデモザイク処理等を施した画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施し、ノイズを低減する。ノイズを低減した画像信号は、メモリ６１に記憶する。

信号処理部６２は、メモリ６１からノイズ低減後の画像信号を取得する。そして、取得した画像信号に対して、必要に応じて、色変換処理、色彩強調処理、及び構造強調処理等の信号処理を施し、観察対象が写ったカラーの内視鏡画像を生成する。色変換処理は、画像信号に対して３×３のマトリックス処理、階調変換処理、及び３次元ＬＵＴ（ルックアップテーブル）処理などにより色の変換を行う処理である。色彩強調処理は、色変換処理済みの画像信号に対して行う。構造強調処理は、例えば血管やピットパターン等の観察対象に含まれる特定の組織や構造を強調する処理であり、色彩強調処理後の画像信号に対して行う。信号処理部６２が生成する内視鏡画像は、観察モードが通常観察モードの場合は通常観察画像であり、観察モードが特殊観察モードの場合は特殊観察画像であるため、色変換処理、色彩強調処理、及び構造強調処理の内容は、観察モードによって異なる。通常観察モードの場合、信号処理部６２は、観察対象が自然な色合いになる上記各種信号処理を施して通常観察画像を生成する。特殊観察モードの場合、信号処理部６２は、少なくとも観察対象の血管を強調する上記各種信号処理を施して特殊観察画像を生成する。信号処理部６２が生成する特殊観察画像では、粘膜の表面を基準として観察対象内の比較的浅い位置にある血管（いわゆる表層血管）は、マゼンタ系の色（例えばブラウン色）になり、粘膜の表面を基準とし観察対象内の比較的深い位置にある血管（いわゆる中深層血管）は、シアン系の色（例えば緑色）になる。このため、ピンク系の色で表される粘膜に対して、観察対象の血管が色の違いで強調される。

信号処理部６２は、生成した内視鏡画像を映像信号生成部６３に入力する。映像信号生成部６３は、内視鏡画像をモニタ１８に出力表示するための映像信号に変換する。また、静止画像取得指示部１３ａの操作により、レリーズ指示を入力すると、信号処理部６２は、生成した内視鏡画像をストレージ６４に保存する。ストレージ６４は、プロセッサ装置１６にＬＡＮ（Local Area Network）等接続した外部記憶装置であり、例えば、ＰＡＣＳ（Picture Archiving and Communication System）等の内視鏡画像をファイリングするシステムのファイルサーバや、ＮＡＳ（Network Attached Storage）等である。ストレージ６４に保存した内視鏡画像は、画像処理装置６５で使用する。

画像処理装置６５は、内視鏡画像に画像処理を施して、診断支援のために、血管パラメータを算出し、かつ、血管パラメータを用いて血管変化指標を算出する装置である。図３に示すように、画像処理装置６５は、画像取得部８１と、血管抽出部８２と、血管指標値算出部８３と、時間変化算出部８４と、判定部８５と、を備える。また、画像処理装置６５には、関心領域（ROI : Region Of Interest）の指定等に用いるポインティングデバイスやキーボードなどを含む入力デバイス８７や、内視鏡画像や判定部８５による判定結果等を表示する表示部として機能するモニタ８８が接続している。

画像取得部８１は、内視鏡によって観察対象を互いに異なる時刻に撮像して得る複数の内視鏡画像を、ストレージ６４から取得する。ストレージ６４に保存されている内視鏡画像には、通常観察画像と特殊観察画像とがあるが、本実施形態では、画像取得部８１は、血管を強調した特殊観察画像をストレージ６４から取得する。

図４に示すように、ストレージ６４には、時間的に異なる時刻（年月日時）に観察対象を撮像して得た複数の内視鏡画像９９を保存している。画像取得部８１は、ユーザの設定入力等にしたがって、これら複数の内視鏡画像９９から、互いに異なる時刻に撮像して得た複数の内視鏡画像を取得する。本実施形態では、簡単のため、第１内視鏡画像１０１と第２内視鏡画像１０２を取得する。第１内視鏡画像１０１は、第２内視鏡画像１０２よりも先に観察対象を撮像して得た内視鏡画像である。逆に、第２内視鏡画像１０２は、第１内視鏡画像１０１よりも後に観察対象を撮像して得た内視鏡画像である。すなわち、「第１」及び「第２」は内視鏡画像の取得時刻の先後を表し、画像取得部８１が取得する２つの内視鏡画像のうち、相対的に先に観察対象を撮像して得た内視鏡画像が第１内視鏡画像１０１であり、相対的に後に観察対象を撮像して得た内視鏡画像が第２内視鏡画像１０２である。第１内視鏡画像１０１の撮影時刻Ｔ１と、第２内視鏡画像１０２の撮影時刻Ｔ２とを比較すると、Ｔ１＜Ｔ２である。

血管抽出部８２は、画像取得部８１が取得した複数の内視鏡画像から観察対象の血管をそれぞれ抽出する。血管の抽出方法は、例えば周波数フィルタ等である。本実施形態では、画像取得部８１は、第１内視鏡画像１０１と第２内視鏡画像１０２の２つの内視鏡画像を取得するので、血管抽出部８２は第１内視鏡画像１０１及び第２内視鏡画像１０２から観察対象の血管をそれぞれ抽出する。以下、第１内視鏡画像１０１から抽出した血管を第１血管といい、第２内視鏡画像１０２から抽出した血管を第２血管という。また、本実施形態では、血管抽出部８２は画像取得部８１が取得した内視鏡画像の全体から血管を抽出するが、関心領域を指定した場合は指定した関心領域内でだけ血管を抽出しても良い。

血管指標値算出部８３は、内視鏡画像から抽出した血管についてそれぞれ血管指標値Ｄｉを算出する。すなわち、本実施形態では、血管指標値算出部８３は、第１内視鏡画像１０１から抽出した第１血管を用いて第１内視鏡画像の血管指標値Ｄｉである第１血管指標値Ｄｉ１を算出し、かつ、第２内視鏡画像１０２から抽出した第２血管を用いて第２内視鏡画像１０２の血管指標値Ｄｉである第２血管指標値Ｄｉ２を算出する。

血管指標値Ｄｉとは、観察対象の血管に関する指標値であり、かつ、病変の判定または分類に利用可能な指標値である。例えば、血管情報Ｖｉは、血管指標値Ｄｉとして機能する。また、血管指標値Ｄｉは、血管情報Ｖｉを用いて算出することもできる。したがって、血管指標値算出部８３は、血管指標値Ｄｉとして、血管情報Ｖｉ、または、血管情報Ｖｉを用いて算出する指標値Ｐを算出する。本実施形態では、血管情報Ｖｉそのものを血管指標値Ｄｉとして利用するので、血管指標値算出部８３は血管情報Ｖｉを算出する血管情報算出部として機能する。

なお、具体的には、血管指標値算出部８３は、第１血管指標値Ｄｉ１と第２血管指標値Ｄｉ２を算出するが、これら第１血管指標値Ｄｉ１と第２血管指標値Ｄｉ２は同じ種類（病変を同じ基準で判定または分類する）の血管指標である。第１血管指標値Ｄｉ１と第２血管指標値Ｄｉ２は、偶然に一致する場合を除いて基本的には互いに異なる値になる。第１血管指標値Ｄｉ１の値と第２血管指標値Ｄｉ２の違いは、第１内視鏡画像１０１の撮影時刻Ｔ１と第２内視鏡画像１０２の撮影時刻Ｔ２との観察対象の経時的な変化を表す。

血管情報Ｖｉとは、例えば、血管の本数、分岐数、分岐角度、分岐点間距離、交差数、太さ、太さの変化、太さの変化の複雑度、長さ、間隔、粘膜を基準とした深さ、高低差、傾き、面積、密度、コントラスト、色、色の変化、蛇行度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、及び血流量のいずれかである。これらは血管情報の例であり、その他の血管に関する情報を血管情報として算出してもよい。

血管の本数とは、内視鏡画像全体または関心領域内で抽出した血管の数である。血管の本数は、例えば、抽出した血管の分岐点の個数（分岐数）や他の血管との交差点の個数（交差数）等を用いて算出する。血管の分岐角度は、２本の血管が分岐点においてなす角度である。分岐点間距離は、任意の分岐点とその隣の分岐点の直線距離、または、任意の分岐点とその隣の分岐点までの血管に沿った長さである。

血管の交差数とは、粘膜下の深さが異なる血管が内視鏡画像上で交差する交差点の個数である。より具体的には、血管の交差数とは、相対的に粘膜下の浅い位置にある血管が、深い位置にある血管を横切る数である。

血管の太さ（血管径）とは、血管と粘膜の境界線間の距離であり、例えば、抽出した血管のエッジから血管の中を通って血管の短手方向に沿って画素数を計数することにより計数する。したがって、血管の太さは画素数であるが、内視鏡画像を撮影した際の撮影距離やズーム倍率等が既知の場合には、必要に応じて「μｍ」等の長さの単位に換算可能である。

血管の太さの変化とは、血管の太さのばらつきに関する血管情報であり、口径不同度ともいう。血管の太さの変化は、例えば、血管径の変化率（拡張度ともいう）である。血管径の変化率は、血管の最も細い部分の太さ（最小径）と血管の最も太い部分の太さ（最大径）を用いて、「血管経の変化率（％）＝最小径／最大径×１００」で求める。

なお、過去の検査で観察対象を撮影して得た内視鏡画像と、その後の新たな検査で同じ観察対象を撮影して得た内視鏡画像と、を用いる場合、過去の検査で得た内視鏡画像から抽出した血管の太さに対して、その後の新たな検査で得た内視鏡画像から抽出した同じ血管の太さの時間的な変化を血管の太さの変化としてもよい。

また、血管の太さの変化として、細径部の割合、または太径部の割合を算出しても良い。細径部とは太さが閾値以下の部分であり、太径部とは太さが閾値よりも太い部分である。細径部の割合は、「細径部の割合（％）＝細径部の長さ／血管の長さ×１００」で求める。同様に、太径部の割合は、「太径部の割合（％）＝太径部の長さ／血管の長さ×１００」で求める。

血管の太さの変化の複雑度（以下、「太さ変化の複雑度」という）は、血管の太さ変化している場合に、その変化がどの程度複雑であるかを表す血管情報であり、血管の太さの変化を表す血管情報（すなわち血管径の変化率、細径部の割合、または太径部の割合）を複数組み合わせて算出する血管情報である。太さ変化の複雑度は、例えば、血管径の変化率と細径部の割合の積で求めることができる。

血管の長さとは、抽出した血管の長手方向に沿って計数した画素数である。

血管の間隔とは、抽出した血管のエッジ間にある粘膜を表す画素の画素数である。抽出した血管が１本の場合、血管の間隔は値を持たない。

血管の深さは、粘膜（より具体的には粘膜の表面）を基準として測る。この粘膜を基準とした血管の深さは、例えば、血管の色に基づいて算出することができる。特殊観察画像の場合、粘膜の表面に近い位置にある血管はマゼンタ系の色で表され、粘膜の表面から遠く、粘膜下の深い位置にある血管はシアン系の色で表されるので、血管指標値算出部８３は、血管として抽出した画素のＲ，Ｇ，Ｂ各色の信号のバランスに基づいて、粘膜を基準とした血管の深さを画素毎に算出する。

血管の高低差とは、血管の深さの差の大きさである。例えば、注目する１本の血管の高低差は、この血管の最も深い箇所の深さ（最大深さ）と、最も浅い箇所の深さ（最小深さ）の差で求める。深さが一定の場合、高低差は零である。

血管の傾きとは、血管の深さの変化率であり、血管の長さと血管の深さを用いて算出する。すなわち、血管の傾きは、「血管の傾き＝血管の深さ／血管の長さ」で求める。なお、血管を複数の区間に区切り、各区間で血管の傾きを算出してもよい。

血管の面積は、血管として抽出した画素の画素数、または、血管として抽出した画素の画素数に比例する値である。血管の面積は、関心領域内、関心領域外、または、内視鏡画像全体について算出する。

血管の密度は、単位面積中にある血管の割合である。血管の密度を算出する画素を概ね中心に含む特定の大きさの領域（例えば単位面積の領域）を切り出し、この領域内の全画素に占める血管の割合を算出する。これを関心領域または内視鏡画像全体の全画素に対して行うことで、各画素の血管の密度を算出することができる。

血管のコントラストとは、観察対象の粘膜に対する相対的なコントラストである。血管のコントラストは、血管の輝度Ｙ_Vと、粘膜の輝度Ｙ_Mと、を用いて、例えば「Ｙ_V／Ｙ_M」または「（Ｙ_V−Ｙ_M）／（Ｙ_V＋Ｙ_M）」で算出する。

血管の色とは、血管を表す画素のＲＧＢの各値である。そして、血管の色の変化とは、血管を表す画素のＲＧＢ各値の各々の最大値と最小値の差または比である。例えば、血管を表す画素のＢ値の最大値と最小値の比、Ｇ値の最大値と最小値の比、またはＲ値の最大値と最小値の比は、血管の色の変化を表す。もちろん、補色に変換して、シアン、マゼンタ、イエロー、グリーン等の各値について血管の色及び血管の色の変化を算出しても良い。

血管の蛇行度とは、血管が蛇行して走行する範囲の広さを表す血管情報である。血管の蛇行度は、例えば、蛇行度を算出する血管を含む最小の長方形の面積（画素数）である。また、血管の始点と終点の直線距離に対する血管の長さの比を血管の蛇行度としても良い。

血管の血液濃度とは、血管が含むヘモグロビンの量に比例する血管情報である。血管を表す画素のＲ値に対するＧ値の比（Ｇ／Ｒ）はヘモグロビンの量に比例するので、Ｇ／Ｒの値を算出することで、画素ごとに血液濃度を算出することができる。

血管の酸素飽和度とは、ヘモグロビンの総量（酸化ヘモグロビン及び還元ヘモグロビンの総量）に対する酸化ヘモグロビンの量である。酸素飽和度は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に違いが大きい特定の波長帯域の光（例えば、波長４７０±１０ｎｍ程度の青色光）で観察対象を撮影した内視鏡画像を用いて算出することができる。波長４７０±１０ｎｍ程度の青色光を用いる場合、血管を表す画素のＢ値は酸素飽和度と相関があるので、Ｂ値を酸素飽和度に対応付けるテーブル等を用いることで、血管を表す各画素の酸素飽和度を算出することができる。

動脈の割合とは、全血管の画素数に対する動脈の画素数の割合である。同様に、静脈の割合とは、全血管の画素数に対する静脈の画素数の割合である。動脈と静脈は、酸素飽和度によって区別することができる。例えば、酸素飽和度が７０％以上の血管を動脈とし、酸素飽和度が７０％未満の血管を静脈とすれば、抽出した血管を動脈と静脈に分けられるので、上記動脈の割合及び静脈の割合を算出するするこができる。

投与した色素の濃度とは、観察対象に対して散布した色素、または静脈注射により血管に注入した色素の濃度である。投与した色素の濃度は、例えば、色素色以外の画素の画素値に対する色素色の画素値の割合で算出する。例えば、青色に着色する色素を投与した場合は、Ｂ／ＧやＢ／Ｒ等が、観察対象に定着（あるいは一時的に付着）した色素の濃度を表す。

血管の走行パターンとは、血管の走行方向に関する血管情報である。血管の走行パターンは、例えば、任意に設定する基準線に対する血管の平均角度（走行方向）や、任意に設定する基準線に対して血管がなす角度の分散（走行方向のばらつき）等である。

血管の血流量（血流速度ともいう）は、単位時間あたりに赤血球が通り抜ける数である。血管の血流量は、例えば超音波プローブを内視鏡１２の鉗子チャネル等を介して併用する場合等に、内視鏡画像の血管を表す各画素のドップラーシフト周波数を用いて算出することができる。

本実施形態では、血管指標値算出部８３は複数種類の血管情報Ｖｉを算出する。すなわち血管指標値算出部８３は、複数種類の第１血管指標値Ｄｉ１を算出し、かつ、複数種類の第２血管指標値Ｄｉ２を算出する。但し、複数種類の第１血管指標値Ｄｉ１と複数種類の第２血管指標値Ｄｉ２は同じ要素から構成される。例えば、血管指標値算出部８３は、第１血管指標値Ｄｉ１として第１血管の「深さ」と「太さ」と「密度」を算出し、第２血管指標値Ｄｉ２として第２血管の「深さ」と「太さ」と「密度」を算出する。

なお、画像処理装置６５では、入力デバイス８７の操作によって内視鏡画像の全部または一部に関心領域を設定することができる。例えば、内視鏡画像の一部を関心領域に設定した場合、血管指標値算出部８３は関心領域内で血管指標値Ｄｉ（本実施形態では血管情報Ｖｉ）を算出する。関心領域を指定していない場合や、内視鏡画像の全部を関心領域に設定した場合には、血管指標値算出部８３は、内視鏡画像の全部を関心領域に設定して血管指標値Ｄｉを算出する。

また、血管指標値算出部８３は、内視鏡画像の画素毎に血管指標値Ｄｉを算出する。例えば、血管指標値Ｄｉを算出する画素を含む予め定めた範囲（例えば血管指標値Ｄｉを算出する画素を中心とする９９×９９画素の範囲）の画素のデータを用いて１つの画素の血管指標値Ｄｉを算出する。例えば、血管指標値Ｄｉとして、「血管の太さ」（血管情報Ｖｉ）を算出する場合、画素毎の「血管の太さ」は、上記予め定めた範囲に写る血管の太さの統計量である。統計量とは、いわゆる基本統計量であり、例えば、最大値、最小値、平均値、中央値、または最頻値である。もちろん、例示する値以外の統計量を使用することもできる。例えば、最大値、最小値、平均値、中央値、または最頻値等のいわゆる代表値を用いて演算した値（最大値と最小値の比等）や、分散や標準偏差、変動係数等のいわゆる散布度を使用することができる。

関心領域を設定する場合には、血管指標値算出部８３は、関心領域に含まれる各画素の血管指標値Ｄｉの統計量を算出し、その値を関心領域の血管指標値Ｄｉとする。例えば、血管指標値Ｄｉとして血管の太さ（血管情報Ｖｉ）を算出する場合、上記のように各画素の「血管の太さ」を算出し、関心領域を設定している場合には、さらに関心領域に含まれる各画素の「血管の太さ」の統計量を算出し、設定した１つの関心領域に対して１つの「血管の太さ」を算出する。内視鏡画像の全体を関心領域に設定する場合も同様である。

なお、画素毎の血管指標値を算出する場合の統計量と、関心領域の血管指標値を算出する場合の統計量は、同じ統計量であっても良いし、異なっていても良い。例えば、画素毎の血管の太さを算出する場合には「予め定めた範囲」に写る血管の太さの平均値を算出し、その後、関心領域の血管の太さを算出する場合にも、各画素の血管の太さの平均値を算出してもよいし、各画素の血管の太さの最頻値を算出しても良い。

また、本実施形態では、上記のように画素毎に血管指標値Ｄｉを算出し、その後、画素毎に算出した血管指標値Ｄｉの関心領域内の統計量を算出して、関心領域の血管情報を算出するが、算出する血管指標値Ｄｉの種類や、画素毎の血管指標値Ｄｉを算出する場合の統計量の計算の仕方と関心領域の血管情報を算出する場合の統計量の計算の仕方の関係等によっては、画素毎の血管指標値Ｄｉの算出を省略することができる。「血管の太さ」であれば、関心領域に写る血管の太さの平均値を、関心領域の血管の太さにすることができる。

時間変化算出部８４は、血管指標値Ｄｉの時間変化を算出する。本実施形態では、時間変化算出部８４は、第１血管指標値Ｄｉ１に対する第２血管指標値Ｄｉ２の時間変化を算出する。血管指標値Ｄｉの「時間変化」とは、第１血管指標値Ｄｉ１と第２血管指標値Ｄｉ２の差Δ（Δ＝Ｄｉ２−Ｄｉ１またはΔ＝Ｄｉ１−Ｄｉ２）、比Ｒ（Ｒ＝Ｄｉ２／Ｄｉ１またはＲ＝Ｄｉ１／Ｄｉ２）、または、第１血管指標値Ｄｉ１に対する第２血管指標値Ｄｉ２の変化率Ｃ（Ｃ＝（Ｄｉ２−Ｄｉ１）／Ｄｉ１、Ｃ＝（Ｄｉ１−Ｄｉ２）／Ｄｉ２、またはＣ＝（Ｄｉ２−Ｄｉ１）／（Ｔ２−Ｔ１））である。また、経過時間を考慮して、単位時間あたりの差Δ、比Ｒ、または変化率Ｃを血管指標値Ｄｉの時間変化としてもよい。単位時間とは、１年、１月、１日、１時間、１分、１秒、等である。

血管指標値Ｄｉの「時間変化を算出する」とは、上記差Δ、比Ｒ、または変化率Ｃを実際に算出することの他、上記差Δ、比Ｒ、または変化率Ｃを算出可能な状態で第１血管指標値Ｄｉ及び第２血管指標値Ｄｉのデータを保持することを含む。「差Δ、比Ｒ、または変化率Ｃを算出可能な状態で第１血管指標値Ｄｉ及び第２血管指標値Ｄｉのデータを保持する」とは、例えば、第１血管指標値Ｄｉ１と第１内視鏡画像１０１の撮影時刻Ｔ１を関連付け、かつ、第２血管指標値Ｄｉ２と第２内視鏡画像１０２の撮影時刻Ｔ２を関連付け、撮影時刻に対する血管指標値のグラフを作成または表示可能な状態にすることを言う。

なお、本実施形態では血管指標値Ｄｉとして複数種類の血管情報Ｖｉを算出するので、血管指標値算出部８３は、血管指標値Ｄｉの時間変化を血管情報Ｖｉごとに算出する。例えば、第１血管指標値Ｄｉ１及び第２血管指標値Ｄｉ２として、「深さ」、「太さ」、及び「密度」の３種の血管情報Ｖｉを算出する場合、時間変化算出部８４は、「深さ」の時間変化と、「太さ」の時間変化と、「密度」の時間変化と、を算出する。

判定部８５は、第１血管指標値Ｄｉ１に対する第２血管指標値Ｄｉ２の時間変化を用いて観察対象の粘膜の状態を判定（または分類）する。観察対象の「粘膜の状態」とは、血管を含む粘膜全体としての総合的なステータスであり、例えば、「正常」、「腺腫」（腺腫の疑いがある）、または、「がん」（がんの疑いがある）等である。

より具体的には、判定部８５は、第１血管指標値Ｄｉ１及び第２血管指標値Ｄｉ２の差Δ、比Ｒ、または変化率Ｃから観察対象の粘膜の状態を判定する。例えば、第１血管指標値Ｄｉ１及び第２血管指標値Ｄｉ２として「深さ」と「太さ」と「密度」を算出する場合、判定部８５は、「深さ」の時間変化、「太さ」の時間変化、及び「密度」の時間変化を用いて観察対象の粘膜の状態を判定する。また、判定部８５は、第１血管指標値Ｄｉ１に対する第２血管指標値Ｄｉ２の時間変化を閾値と比較することにより、観察対象の粘膜の状態を判定する。

なお、判定部８５は、第１血管指標値Ｄｉ１及び第２血管指標値Ｄｉ２の差Δ、比Ｒ、または変化率Ｃを用いてさらに演算をし、その演算結果にしたがって観察対象の粘膜の状態を判定することができる。本実施形態では、判定部８５は、第１血管指標値Ｄｉ１及び第２血管指標値Ｄｉ２の差Δによって観察対象の粘膜の状態を判定する。また、本実施形態で判定部８５が観察対象の粘膜の状態の判定に用いる閾値の値は予め定められているが、本実施形態のように予め値が定められた閾値を使用する代わりに、判定部８５は、第１内視鏡画像１０１の各画素の血管指標値Ｄｉや第２内視鏡画像１０２の各画素の血管指標値Ｄｉの平均値等の統計量を、観察対象の粘膜の状態の判定に用いる閾値に使用することができる。血管指標値Ｄｉの統計量を閾値に使用する場合、内視鏡画像の一部または全部の血管指標値Ｄｉを用いて、閾値（統計量）を算出する。関心領域を設定する場合には、関心領域内の血管指標値Ｄｉ、または、関心領域周辺の所定範囲の血管指標値Ｄｉを使用して、閾値（統計量）を算出することができる。また、閾値の算出には、第１内視鏡画像１０１と第２内視鏡画像１０２の間に撮影した他の内視鏡画像や、第１内視鏡画像１０１または第２内視鏡画像１０２の前後に撮影した他の内視鏡画像を用いても良い。

画像処理装置６５は、画像取得部８１で取得した第１内視鏡画像１０１及び第２内視鏡画像１０２と、判定部８５による判定結果をモニタ８８に表示する。図５に示すように、モニタ８８は、メインウィンドウ１１５及びサブウィンドウ１１６と、判定結果表示部１１７とを有する。メインウィンドウ１１５及びサブウィンドウ１１６は内視鏡画像を表示し、判定結果表示部１１７は判定部８５による判定結果を表示する。メインウィンドウ１１５は、相対的に後に観察対象を撮像して得た内視鏡画像を表示する領域であり、サブウィンドウ１１６は、相対的に先に観察対象を撮像して得た内視鏡画像を表示する領域である。このため、画像処理装置６５は、メインウィンドウ１１５に第２内視鏡画像１０２を表示し、サブウィンドウ１１６に第１内視鏡画像１０１を表示する。なお、本実施形態では、モニタ８８にメインウィンドウ１１５とサブウィンドウ１１６を設けているが、必ずしもサブウィンドウ１１６は必要ではない。例えば、メインウィンドウ１１５に、ユーザ操作等により第１内視鏡画像１０１及び第２内視鏡画像１０２を切り替えて表示するようにしても良い。

次に、画像処理装置６５の動作の流れを図６のフローチャートに沿って説明する。まず、画像処理装置６５は、入力デバイス８７の入力操作にしたがって、画像取得部８１によってストレージ６４から第１内視鏡画像１０１及び第２内視鏡画像１０２を取得し（Ｓ１１）、モニタ８８に表示する（Ｓ１２）。画像処理装置６５は、取得した第１内視鏡画像１０１と第２内視鏡画像１０２のうち、撮像時刻が相対的に先の第１内視鏡画像１０１をサブウィンドウ１１６に表示し、撮像時刻が相対的に後の第２内視鏡画像１０２をメインウィンドウ１１５に表示する。

選択した第１内視鏡画像１０１及び第２内視鏡画像１０２がモニタ８８に表示されると、医師は入力デバイス８７を操作して、第１内視鏡画像１０１及び第２内視鏡画像１０２に関心領域をそれぞれ設定する（Ｓ１３）。例えば、図７に示すように、メインウィンドウ１１５の第２内視鏡画像１０２の概ね中央付近に病変か否か（あるいは病変の進行度合い等）の診断を要する注目箇所がある。このため、医師は入力デバイス８７を操作して、第２内視鏡画像１０２に注目箇所を含む関心領域（以下、第２関心領域という）１１２を設定する。また、サブウィンドウ１１６の第１内視鏡画像１０１に対しては、第２内視鏡画像１０２の注目箇所と同じ（あるいは対応する）注目箇所を含む関心領域（以下、第１関心領域という）１１１を設定する。

一方、血管抽出部８２は、第１内視鏡画像１０１から第１血管を抽出し、かつ、第２内視鏡画像１０２から第２血管を抽出する（Ｓ１４）。図８に示すように、第２内視鏡画像１０２は、血管を色によって強調した特殊観察画像であり、例えば、観察対象の粘膜表面の形状１２２が観察できる他、粘膜の表面に比較的近い位置にある細い表層血管１２３がマゼンタ系の色で表され、粘膜下の比較的深い位置にある太い中深層血管１２４はシアン系の色で表され、強調されている。この第２内視鏡画像１０２の場合、血管抽出部８２は、図９に模式的に画像化して示す第２血管画像１３２のように、表層血管１２３と中深層血管１２４を第２血管として抽出する。血管抽出部８２は、上記第２内視鏡画像１０２からの第２血管の抽出と同様に、第１内視鏡画像１０１から第１血管を抽出する。

上記のように、血管抽出部８２が第１内視鏡画像１０１から第１血管を抽出すると、血管指標値算出部８３は、第１血管の「深さ」「太さ」及び「密度」等の複数種類の血管情報Ｖｉを画素毎に算出し、さらに第１関心領域１１１の統計量を算出することで、第１関心領域１１１のなかで複数種類の第１血管指標値Ｄｉ１を算出する（Ｓ１５）。同様に、血管抽出部８２が第２内視鏡画像１０２から第２血管を抽出すると、血管指標値算出部８３は、第２血管の「深さ」「太さ」及び「密度」等の複数種類の血管情報Ｖｉを画素毎に算出し、さらに第２関心領域１１２の統計量を算出することで、第２関心領域１１２のなかで複数種類の第２血管指標値Ｄｉ２を算出する（Ｓ１５）。

血管指標値算出部８３が第１血管指標値Ｄｉ１及び第２血管指標値Ｄｉ２を算出すると、時間変化算出部８４は、これら血管指標値の時間変化を算出する（Ｓ１６）。具体的には、血管指標値算出部８３は、第１血管の深さ、太さ、及び密度等（第１血管指標値Ｄｉ１）と第２血管の深さ、太さ、及び密度等（第２血管指標値Ｄｉ２）を用いて、第１血管の深さと第２血管の深さの差、第１血管の太さと第２血管の太さの差、及び、第１血管の密度と第２血管の密度の差等を算出する。

その後、判定部８５は、血管指標値算出部８３が算出した第１血管の深さと第２血管の深さの差、第１血管の太さと第２血管の太さの差、及び、第１血管の密度と第２血管の密度の差等を用いて、観察対象の粘膜の状態を、「正常」、「腺腫」、または「がん」等のいずれかに判定する（Ｓ１７）。画像処理装置６５は判定部８５の判定結果を、モニタ８８の判定結果表示部１１７に表示する（Ｓ１８，図５参照）。

上記のように、画像処理装置６５は、第１内視鏡画像１０１及び第２内視鏡画像１０２の選択と、第１関心領域１１１及び第２関心領域１１２の設定以外は、画像処理装置６５が自動的に行う。このため、画像処理装置６５を使用する医師からしてみれば、ストレージ６４から２枚の内視鏡画像を選択し、モニタ８８上で選択した内視鏡画像のそれぞれに関心領域を設定すると、自動的に観察対象の粘膜の状態に関する判定結果が判定結果表示部１１７に表示される。医師は、この判定結果を見れば、疑うべき病変の種類等を直ちに把握できるので、例えば血管指標値Ｄｉや血管情報Ｖｉを表示する場合よりも直接的かつ効率的に診断をすることができる。すなわち、画像処理装置６５は、従来の内視鏡システム等よりも直接的かつ効果的に診断を支援することができる。

特に、画像処理装置６５は、血管指標値Ｄｉの時間変化という従来にない観点で観察対象の粘膜の状態を判定する。このため、直接的かつ効果的な診断支援を、血管指標値Ｄｉの絶対値（血管指標値Ｄｉの一時的な値）だけでは確定的な診断をし難いような状況でも行うことができる。

なお、上記第１実施形態では、血管指標値算出部８３は血管指標値Ｄｉとして複数種類の血管情報Ｖｉを算出しているが、病変の種類等によっては、１種類の血管情報Ｖｉの時間変化で判定をすることができる場合がある。このため、血管指標値算出部８３は血管指標値Ｄｉとして１種類の血管情報Ｖｉを算出してもよい。

［第２実施形態］
上記第１実施形態では、血管指標値算出部８３は、血管指標値Ｄｉとして血管情報Ｖｉを算出しているが、前述のとおり、血管情報Ｖｉを用いて算出する指標値（以下、血管パラメータという）Ｐを血管指標値Ｄｉにすることができる。この場合、例えば図１０に示すように、血管指標値算出部８３には、血管情報算出部２５１と血管パラメータ算出部２５２を設ける。

血管情報算出部２５１は、上記第１実施形態の血管指標値算出部８３と同様に、血管抽出部８２が抽出した血管に関して複数種類の血管情報Ｖｉを算出する。より具体的には、第１内視鏡画像１０１から抽出した第１血管の「深さ」「太さ」及び「密度」等の血管情報Ｖｉを算出し、かつ、第２内視鏡画像１０２から抽出した第２血管の「深さ」「太さ」及び「密度」等の血管情報Ｖｉを算出する。すなわち、血管情報算出部２５１は、第１血管と第２血管のそれぞれについて、同じ種類（組み合わせ）の複数の血管情報Ｖｉを算出する。

血管パラメータ算出部２５２は、血管情報算出部２５１が算出した複数の血管情報Ｖｉを用いて演算をすることにより血管パラメータと称する評価値を算出する。具体的には、血管パラメータ算出部２５２は、第１血管に関する複数種類の血管情報Ｖｉを用いて演算をすることにより、第１血管に関する血管パラメータＰ１を算出する。また、血管パラメータ算出部２５２は、第２血管に関する複数種類の血管情報Ｖｉを用いて演算をすることにより、第２血管に関する血管パラメータＰ２を算出する。

血管パラメータ算出部２５２は、第１血管に関する複数種類の血管情報Ｖｉにそれぞれに重み付け係数をかけ、和をとることによって血管パラメータＰ１を算出する。重み付け係数は、重み付け係数テーブル２５３に記憶しており、例えば機械学習によって予め定める。第２血管に関する複数種類の血管情報Ｖｉを用いて血管パラメータＰ２を算出する演算は、上記血管パラメータＰ１を算出する演算と同じであり、使用する重み付け係数も血管パラメータＰ１の算出に用いる重み付け係数テーブル２５３である。

第１血管に関する血管パラメータＰ１と第２血管に関する血管パラメータＰ２は、観察対象の血管の状態を同じ手法で（同じ演算によって）評価する評価値である。もちろん、血管パラメータＰ１と血管パラメータＰ２の値は、偶然に一致する場合を除いて、基本的には異なる値になる。この血管パラメータＰ１と血管パラメータＰ２の値の違いは、第１内視鏡画像１０１の撮影時刻Ｔ１と第２内視鏡画像１０２の撮影時刻Ｔ２の違いを反映している。

本実施形態では、血管パラメータ算出部２５２は、上記のように複数の血管情報Ｖｉの重み付け和を血管パラメータＰ１及びＰ２として算出するが、血管パラメータＰ１及びＰ２の算出方法は任意である。例えば、重み付け和を取るだけでなく、加減乗除が混在する演算をして血管パラメータＰ１及びＰ２を算出しても良いし、その他の関数を用いて血管パラメータを算出しても良い。

血管パラメータＰ１及びＰ２は、互いに次元（単位）が異なる血管情報Ｖｉを加算等して算出するので、血管パラメータＰ１及びＰ２には物理的な意味は無いが、診断の指標として機能する。すなわち、血管パラメータＰ１及びＰ２は、物理的な意味がない値であることが血管情報Ｖｉとの違いである。

上記のように算出した血管パラメータＰ１及びＰ２は、それぞれ第１血管指標値Ｄｉ１及び第２血管指標値Ｄｉ２として好適である。血管パラメータＰ１及びＰ２を第１血管指標値Ｄｉ１及び第２血管指標値Ｄｉ２として利用する場合、時間変化算出部８４は、血管パラメータＰ１と血管パラメータＰ２の差Δ、比Ｒ、または、血管パラメータＰ１に対する血管パラメータＰ２の変化率Ｃを算出する。そして、判定部８５は、血管パラメータＰ１と血管パラメータＰ２の差Δ、比Ｒ、または、血管パラメータＰ１に対する血管パラメータＰ２の変化率Ｃによって、観察対象の粘膜の状態を判定する。

本実施形態のように、血管パラメータＰ１及びＰ２の時間変化によって粘膜の状態を判定すると、血管情報Ｖｉの時間変化によって粘膜の状態を判定する場合よりも、さらに正確に粘膜の状態を判定することができる。

［第３実施形態］
上記第１実施形態及び第２実施形態では、内視鏡システム１０が内視鏡画像をストレージ６４に保存し、後に画像処理装置６５がストレージ６４から内視鏡画像を取得して血管パラメータを算出するが、観察対象を観察しながらほぼリアルタイムに内視鏡システム１０が粘膜の状態を判定してもよい。この場合、図１１に示す内視鏡システム３１０のように、プロセッサ装置１６に画像取得部８１、血管抽出部８２、血管指標値算出部８３、時間変化算出部８４、及び、判定部８５を設ける。内視鏡１２や光源装置１４の構成は第１実施形態の内視鏡システム１０と同様である。

上記のようにプロセッサ装置１６に画像処理装置６５の各部を設ける場合、画像取得部８１は信号処理部６２が生成する内視鏡画像を、ストレージ６４を介さずに信号処理部６２から直接取得することができる。このため、画像取得部８１は、例えば静止画像の取得指示が入力された際に生成された内視鏡画像を少なくとも２以上一時的に保持し、第１実施形態の第１内視鏡画像１０１及び第２内視鏡画像１０２として血管抽出部８２に入力する。

画像取得部８１が一時的に保持する複数の内視鏡画像のうち、どの内視鏡画像を第１実施形態の第１内視鏡画像１０１及び第２内視鏡画像１０２として使用するかは、第１実施形態で入力デバイス８７を用いたのと同様に、内視鏡システム３１０のコンソール１９を用いて医師が選択することができる。また、コンソール１９を用いて、第１内視鏡画像１０１及び第２内視鏡画像１０２として使用する内視鏡画像を予め設定しておくこともできる。例えば、画像取得部８１が一時的に保持する複数の内視鏡画像のうち、最も古い内視鏡画像（最も撮影時刻が早い内視鏡画像）を第１内視鏡画像１０１として使用し、最も新しい内視鏡画像（最も撮影時刻が遅い内視鏡画像）を第２内視鏡画像１０２として使用することができる。最も新しい内視鏡画像を第２内視鏡画像１０２として使用し、この最も新しい内視鏡画像が撮影時刻Ｔ２を基準に、予め定めた時刻τ前に撮影した内視鏡画像を第１内視鏡画像１０１として使用することもできる。

画像取得部８１以外の血管抽出部８２、血管指標値算出部８３、時間変化算出部８４、及び、判定部８５の動作は、第１実施形態の内視鏡システム１０と同様である。判定部８５による評価結果は、映像信号生成部６３を介して内視鏡システム３１０のモニタ１８に表示する。判定結果の表示方法は、第１実施形態と同様である。

上記のように、プロセッサ装置１６に、画像処理装置６５の各部を設ければ、プロセッサ装置１６が画像処理装置６５としても機能する。このため、内視鏡システム３１０では、観察対象を観察しながら粘膜の状態を判定するので、ほぼリアルタイムに診断を支援することができる。内視鏡システム３１０は、観察対象に対して薬剤を投与等し、あるいは観察対象に施術した場合に、その作用を観察する場合に好適である。

なお、上記第３実施形態では、画像取得部８１は信号処理部６２が生成する内視鏡画像を直接取得するが、信号処理部６２から内視鏡画像を直接取得する代わりに、第１実施形態等と同様に、ストレージ６４から第１内視鏡画像１０１及び第２内視鏡画像１０２を取得してもよい。特に、第１内視鏡画像１０１については、ストレージ６４に保存してある過去の検査で得た内視鏡画像を用いるとよい。過去の検査で得た内視鏡画像を第１内視鏡画像１０１に使用すると、過去の観察対象の粘膜の状態に対する現在の観察対象の粘膜の状態の変化を、現在行っている検査の最中にリアルタイムに知ることができる。

また、上記第３実施形態では、画像取得部８１が信号処理部６２から取得する内視鏡画像は、静止画像の取得指示が入力された際に生成された内視鏡画像であるが、静止画像の取得指示に関係なく、粘膜の状態を判定してもよい。この場合、関心領域の設定、血管の抽出、血管指標値Ｄｉの算出、血管指標値Ｄｉの時間変化の算出、及び、粘膜の状態の判定を、予め設定する時間間隔毎に自動的に行うことが好ましい。粘膜の状態を判定する時間間隔は医師が任意に設定可能である。

［第４実施形態］
上記第１〜第３実施形態では、第１内視鏡画像１０１と第２内視鏡画像１０２の２つの内視鏡画像を使用して観察対象の粘膜の状態を判定しているが、３以上の内視鏡画像を使用して観察対象の粘膜の状態を判定してもよい。

例えば、図１２に示すように、画像取得部８１が、ストレージ６４に保存している複数の内視鏡画像９９のなかから、第１内視鏡画像１０１及び第２内視鏡画像１０２に加え、第２内視鏡画像１０２よりも後に観察対象を撮像して得る第３内視鏡画像４０３を取得する。すなわち、第１内視鏡画像１０１の撮影時刻Ｔ１、第２内視鏡画像１０２の撮影時刻Ｔ２、及び、第３内視鏡画像４０３の撮影時刻Ｔ３を比較すると、Ｔ１＜Ｔ２＜Ｔ３である。

この場合、図１３に示すように、モニタ８８には、メインウィンドウ４１４、第１サブウィンドウ４１５、及び、第２サブウィンドウ４１６の３つの内視鏡画像の表示領域を設ける。そして、画像取得部８１が第１内視鏡画像１０１、第２内視鏡画像１０２、及び第３内視鏡画像４０３を取得すると、画像処理装置６５は、メインウィンドウ４１４に、相対的に最も後に観察対象を撮像して得た第３内視鏡画像４０３を表示し、第１サブウィンドウ４１５に２番目に観察対象を撮像して得た第２内視鏡画像１０２を表示し、第２サブウィンドウ４１６には相対的に最も先に観察対象を撮像して得た第１内視鏡画像１０１を表示する。

画像処理装置６５が、モニタ８８に、第１内視鏡画像１０１、第２内視鏡画像１０２、及び第３内視鏡画像４０３を表示すると、医師がこれらの内視鏡画像に対してそれぞれに対応する関心領域を設定するのは第１実施形態等と同様である。すなわち、まず、第３内視鏡画像４０３には関心領域（以下、第３関心領域という）４１３を設定し、第２内視鏡画像１０２には、第３関心領域４１３が含む注目箇所と同じ（あるいは対応する）注目箇所を含む第２関心領域４１２を設定する。第１内視鏡画像１０１についても同様に第１関心領域４１１を設定する。

上記のように、第１内視鏡画像１０１、第２内視鏡画像１０２、及び第３内視鏡画像４０３に関心領域を設定すると、血管抽出部８２は、第１内視鏡画像１０１から第１血管を抽出し、第２内視鏡画像１０２から第２血管を抽出する。そして、第１内視鏡画像１０１から第１血管を抽出し、第２内視鏡画像１０２から第２血管を抽出するのと同様にして、第３内視鏡画像４０３から観察対象の血管を抽出する。以下、第３内視鏡画像４０３から抽出した血管を第３血管という。

その後、血管指標値算出部８３は、第１血管指標値Ｄｉ１として、第１血管に関する複数種類の血管情報Ｖｉを算出し、第２血管指標値Ｄｉ２として、第２血管に関する複数種類の血管情報Ｖｉを算出し、さらに、第３血管指標値Ｄｉ３として、第３血管に関する複数種類の血管情報Ｖｉを算出する。複数の第１血管情報、複数の第２血管情報、及び、本実施形態で新たに算出する複数の第３血管情報は、種類（種類の組み合わせ）が同じである。

時間変化算出部８４は、複数の時間的区間における血管指標値の時間変化を算出し、判定部８５は、複数の時間的区間における血管指標値の時間変化の組み合わせによって観察対象の粘膜の状態を判定する。本実施形態では、複数の時間的区間は、第１内視鏡画像１０１の撮影時刻Ｔ１から第２内視鏡画像１０２の撮影時刻Ｔ２の区間と、第２内視鏡画像１０２の撮影時刻Ｔ２から第３内視鏡画像１０３の撮影時刻Ｔ３の区間の２区間である。したがって、時間変化算出部８４は、第１血管指標値Ｄｉ１に対する第２血管指標値Ｄｉ２の時間変化と、第２血管指標値Ｄｉ２に対する第３血管指標値Ｄｉ３の時間変化と、を算出する。そして、判定部８５は、第１血管指標値Ｄｉ１に対する第２血管指標値Ｄｉ２の時間変化と、第２血管指標値Ｄｉ２に対する第３血管指標値Ｄｉ３の時間変化との組み合わせによって観察対象の粘膜の状態を判定する。

例えば、図１４に示すように、時間変化算出部８４は、第１血管指標値Ｄｉ１に対する第２血管指標値Ｄｉ２の差Δ₂₁と、第２血管指標値Ｄｉ２に対する第３血管指標値Ｄｉ３の差Δ₃₂を算出すると、判定部８５は、差Δ₂₁の正負や絶対値と、差Δ₃₂の正負や絶対値によって、観察対象の粘膜の状態を、「正常」、「腺腫」、「がん」等に判定する。より具体的には、差Δ₂₁が正で差Δ₃₂が負の場合に、観察対象の粘膜の状態が「腺腫」等と判定する。

上記のように、３以上の内視鏡画像を使用して観察対象の粘膜の状態を判定すると、第１内視鏡画像１０１と第２内視鏡画像１０２の２つの内視鏡画像だけを用いる場合よりも正確に観察対象の粘膜の状態を判定することができる。

上記第４実施形態では３枚の内視鏡画像を使用しているが、４以上の内視鏡画像を使用する場合も同様である。また、第２実施形態のように、血管パラメータを血管指標値Ｄｉに用いる場合も同様である。

また、上記第４実施形態では、判定部８５は、第１血管指標値Ｄｉ１に対する第２血管指標値Ｄｉ２の時間変化と、第２血管指標値Ｄｉ２に対する第３血管指標値Ｄｉ３の時間変化との組み合わせによって粘膜の状態を判定しているが、さらに、第１血管指標値Ｄｉ１、第２血管指標値Ｄｉ２、及び第３血管指標値Ｄｉ３の値を組み合わせて粘膜の状態を判定してもよい。

なお、上記第４実施形態では、時間変化算出部８４は、第１血管指標値Ｄｉ１に対する第２血管指標値Ｄｉ２の時間変化と、第２血管指標値Ｄｉ２に対する第３血管指標値Ｄｉ３の時間変化と、を算出するが、第１血管指標値Ｄｉ１に対する第２血管指標値Ｄｉ２の時間変化と、第１血管指標値Ｄｉ１に対する第３血管指標値Ｄｉ３の時間変化を算出してもよい。また、第２血管指標値Ｄｉ２に対する第１血管指標値Ｄｉ１の時間変化と、第２血管指標値Ｄｉ２に対する第３血管指標値Ｄｉ３の時間変化を算出してもよい。これらは全て実質的に同じ血管指標値Ｄｉの時間変化を表すので、判定部８５は上記第４実施形態と同様にして観察対象の粘膜の状態を判定することができる。

判定部８５は上記とは別の方法で粘膜の状態を判定することができる。例えば、図１５に示すように、血管指標値Ｄｉの第１血管指標値Ｄｉ１から第３血管指標値Ｄｉ３への時間変化を、第１閾値ＴＨ１と比較し、血管指標値Ｄｉが第１閾値ＴＨ１以上になる（あるいは、第１閾値ＴＨ１以下になる、第１閾値ＴＨ１より大きい、第１閾値ＴＨ１未満になる）期間Ｅｔの長さを算出する。そして、判定部８５は、算出した期間Ｅｔの長さによって観察対象の粘膜の状態を判定する。例えば、算出した期間Ｅｔが零の場合と、期間Ｅｔが第２閾値ＴＨ２以上の場合と、期間Ｅｔが第２閾値ＴＨ２未満の場合とに分けることで、観察対象の粘膜の状態を判定することができる。このように、血管指標値Ｄｉが定めた条件を満たす期間Ｅｔの長さによって観察対象の粘膜の状態を判定する方法は、上記第４実施形態のように３以上の内視鏡画像を使用する場合に特に好適であるが、第１〜第３実施形態のように２枚の内視鏡画像を使用する場合にも好適である。

また、上記第１〜第４実施形態では、関心領域１１１及び関心領域１１２を設定した場合、関心領域１１１及び関心領域１１２の中で血管指標値Ｄｉを算出し、その時間変化によって粘膜の状態を判定しているが、血管指標値算出部８３は、関心領域１１１及び関心領域１１２の血管指標値Ｄｉを算出することに加え、関心領域１１１及び関心領域１１２外の血管指標値ｄｉを算出し、関心領域１１１及び関心領域１１２以外の領域の血管指標値ｄｉも考慮して観察対象の粘膜の状態を判定することが好ましい。例えば、血管指標値算出部８３は、図１６に示す第１内視鏡画像１０１の関心領域１１１内の領域Ｒｉの第１血管指標値Ｄｉ１に加え、便宜的にハッチングを施した関心領域１１１外の領域Ｒｏについても第１血管指標値ｄｉ１を算出する。同様に、血管指標値算出部８３は、第２内視鏡画像１０２の関心領域１１２内の領域の第２血管指標値Ｄｉ２に加え、関心領域１１２外の領域についても第２血管指標値ｄｉ２を算出する。

時間変化算出部８４は、関心領域１１１及び関心領域１１２内外の血管指標値Ｄｉ及びｄｉを用いて「血管指標値の空間変化」を算出し、さらに、この「血管指標値の空間変化」の時間変化を算出する。

具体的には、時間変化算出部８４は、関心領域１１１の内外の第１血管指標値Ｄｉ１及びｄｉ１の差、比、または変化率を算出し、かつ、関心領域１１２の内外の第２血管指標値Ｄｉ２及びｄｉ２の差、比、または変化率を算出する。関心領域１１１の内外の第１血管指標値Ｄｉ１及びｄｉ１の差、比、または変化率が、第１内視鏡画像１０１に関する「血管指標値の空間変化」Ｓ１である。同様に、関心領域１１２の内外の第２血管指標値Ｄｉ２及びｄｉ２の差、比、または変化率が、第２内視鏡画像１０２に関する「血管指標値の空間変化」Ｓ２である。

上記のように、血管指標値の空間変化を算出すると、時間変化算出部８４は、「血管指標値の空間変化」の時間変化を算出する。すなわち、２つの空間変化Ｓ１，Ｓ２の差、比、または変化率を算出する。空間変化Ｓ１，Ｓ２の差、比、または変化率が、「血管指標値の空間変化」の時間変化γである。判定部８５は、この「血管指標値の空間変化」の時間変化γによって、観察対象の粘膜の状態を判定する。こうすると、判定結果への観察対象の個体差による影響を低減し、より正確な判定結果が得られる。

なお、上記第１〜第４実施形態では、モニタ８８は、判定結果表示部１１７を設け、判定結果表示部１１７に「腺腫」等の判定部８５による判定結果を表示しているが（図５参照）、別の方法で判定部８５による判定結果を表示してもよい。例えば、図１７に示すように、モニタ８８は、判定結果表示部１１７の代わりに、判定部８５による判定結果をポップアップ表示してもよい。図１７では、判定結果を示すメッセージをポップアップ表示しているが、代わりに、血管指標値Ｄｉの時間変化の値や、血管指標値Ｄｉの値等を、判定結果として、または判定結果とともに、ポップアップ表示してもよい。

上記ポップアップ表示の表示設定は、血管指標値の時間変化を用いて行うと良い。例えば、上記ポップアップ表示の輪郭の色、文字の色、及び背景の色等の表示色や、文字のフォントや太さ、輪郭線の線種や太さ等を、血管指標値Ｄｉの時間変化を用いて表示設定を変更し、血管指標値Ｄｉの時間変化が大きさによって、表示内容を目立たせると良い。

モニタ８８は、判定部８５の判定結果を用いて、粘膜の状態を判定した部分を着色した第１内視鏡画像１０１または第２内視鏡画像１０２を表示することで、判定部８５の判定結果を表示してもよい。例えば、図１８に示すように、粘膜の状態を判定した関心領域１１１または１１２を着色する。粘膜の状態を判定した着色する色は、判定結果が「正常」の場合には無着色とし、判定結果が「腺腫」の場合にはオレンジ色に着色し、判定結果が「がん」の場合には赤色にする等、判定部８５の判定結果によって変更する。こうすると、第１内視鏡画像１０１または第２内視鏡画像１０２とともに視認性良く判定結果を表示することができる。

粘膜の状態を判定した部分を着色した第１内視鏡画像１０１または第２内視鏡画像１０２を表示する場合、図１９に示すように、画像処理装置６５には、着色処理部５０１を設ける。着色処理部５０１は、粘膜の状態を判定した部分に関する情報（関心領域１１１及び関心領域１１２の位置や範囲）と、判定部８５による判定結果を用いて、第１内視鏡画像１０１または第２内視鏡画像１０２に上記着色処理をする。

粘膜の状態を判定した部分を着色する色は、時間変化算出部８４が算出する時間変化（第１実施形態では、第１血管指標値Ｄｉ１に対する第２血管指標値Ｄｉ２の時間変化）を用いて設定することが好ましい。この場合、着色処理部５０１は、時間変化算出部８４から、時間変化算出部８４が算出した時間変化の情報を得る。そして、時間変化算出部８４が算出した時間変化の値を閾値（以下、第３閾値ＴＨ３という）と比較し、時間変化算出部８４が算出した時間変化の値と第３閾値ＴＨ３との差δを求める。

その後、モニタ８８に表示する第１内視鏡画像１０１または第２内視鏡画像１０２の粘膜の状態を判定した部分の色は、例えば、図２０に実線で示すように、差δに比例してＲチャンネル（モニタ８８に表示する画像の赤色画素）の値を設定する。図２０では、差δとＲチャンネルの関係だけを示しているが、Ｂチャンネル（モニタ８８に表示する画像の青色画素）やＧチャンネル（モニタ８８に表示する画像の緑色画素）も同様である。但し、ＲＧＢ各チャンネルで差δと各チャンネルの値の関係は変えて良い。また、差δと各チャンネルの関係は、図２０に破線で示すように曲線で設定してもよく、一点鎖線で示すように段階的に設定してもよい。また、その他の関数等によって差δと各チャンネルの関係を定めても良い。

なお、上記のように粘膜の状態を判定した部分を着色する場合、図１８では関心領域１１１及び１１２内を網掛けにして着色しているが、関心領域１１１及び１１２の枠だけを着色してもよく、関心領域１１１及び１１２の全体ではなく、関心領域１１１及び１１２内の異常部分（判定結果が「正常」以外の部分）を選択的に着色してもよい。異常部分は、例えば、各画素の血管指標値Ｄｉの値によって選択することができる。

また、上記のように粘膜の状態を判定した部分を着色する場合、異常と判定するもとになった血管指標値Ｄｉによって粘膜の状態を判定した部分の色を変更してもよい。例えば、血管密度の時間変化が異常値の場合には赤色系の色で着色し、血管の太さの時間変化が異常値の場合には緑色系の色で着色する等である。この場合、血管指標値Ｄｉに優先順位を予め設定しておき、２以上の血管指標値Ｄｉが異常値である場合には、優先順位が高い方に設定した色を採用する。

上記第１〜第４実施形態では、モニタ８８は、判定結果表示部１１７に判定部８５による判定結果を表示しているが（図５参照）、図２１に示すように、粘膜の状態を判定した部分を拡大した拡大画像５０２を表示しても良い。特に、判定部８５による判定結果が「正常」以外の場合（なんらかの異常を示す判定結果の場合）に拡大画像５０２を表示すると、判定結果に基づいて、粘膜の状態を判定した部分を容易に精査することができる。図２１では、モニタ８８に第２内視鏡画像１０２の粘膜の状態を判定した部分を拡大した拡大画像５０２を表示しているが、第１内視鏡画像１０１の粘膜の状態を判定した部分を拡大した拡大画像を表示してもよい。

粘膜の状態を判定した部分の拡大率（拡大画像５０２の大きさ）は、血管指標値Ｄｉの時間変化を用いて設定すると良い。例えば、血管指標値Ｄｉの時間変化が大きいほど、粘膜の状態を判定した部分の拡大率を大きくして、粘膜の状態を判定した部分がより目立つようにすると良い。

なお、拡大画像５０２は、粘膜の状態を判定した関心領域１１２に完全に一致していなくても良い。例えば、粘膜の状態を判定した関心領域１１２の周囲にある正常な部分を含めた拡大画像を表示しても良い。また、図２１では、第１内視鏡画像１０１を表示するサブウィンドウ１１６の代わりに拡大画像５０２を表示しているが、拡大画像５０２はポップアップ表示しても良く、第１内視鏡画像１０１、第２内視鏡画像１０２、及び判定結果表示部１１７とは別の表示領域に表示してもよい。

上記第１〜第４実施形態では、判定部８５は観察対象の粘膜の状態を１つの状態に判定しているが、判定部８５は観察対象の粘膜の状態を複数の観点で判定することができる。具体的には、血管指標値算出部８３は複数種類の血管指標値Ｄｉ（複数種類の血管情報Ｖｉ）を算出し、時間変化算出部８４は複数種類の血管指標値Ｄｉの各々の時間変化を算出するので、判定部８５は複数種類の血管指標値Ｄｉの各々の時間変化の組み合わせ方によって、複数の観点で観察対象の粘膜を判定することができる。

例えば、血管指標値算出部８３が、血管指標値ＤｉＡ、血管指標値ＤｉＢ、血管指標値ＤｉＣの３種類の血管指標値Ｄｉを算出し、時間変化算出部８４は、血管指標値ＤｉＡの時間変化ΔＡ、血管指標値ＤｉＢの時間変化ΔＢ、血管指標値ＤｉＣの時間変化ΔＣをそれぞれ算出する。そして、時間変化ΔＡ及びΔＢを用いれば、観察対象の粘膜の状態が、病変Ｌ１か否かを判定でき、時間変化ΔＡ及びΔＣを用いれば、観察対象の粘膜の状態を病変Ｌ２（例えば病変Ｌ１との関連性が低い別の病変）か否かを判定できるとする。このような場合に、判定部８５は、病変Ｌ１か否かを判定する第１の観点で観察対象を粘膜の状態を判定し、かつ、病変Ｌ２か否かを判定する第２の観点で観察対象の粘膜の状態を判定することができる。

上記のように、判定部８５が複数の観点で観察対象の粘膜の状態を判定する場合、図２２に示すように、モニタ８８の判定結果表示部１１７には、各観点での判定結果を示す判定結果のリスト５０５を表示することが好ましい。図２２では、時間変化ΔＡ及びΔＢを用いる第１の観点（「観点１」）での判定結果（「腺腫」）と、時間変化ΔＡ及びΔＣを用いる第２の観点（「観点２」）での判定結果（「正常」）を、判定結果のリスト５０５に表示している。

判定結果のリスト５０５には、判定結果が正常のものも含めて全ての判定結果を表示しているが、異常を示す判定結果（「正常」以外の判定結果）だけをリスト５０５に表示しても良い。

なお、血管指標値Ｄｉの時間変化を用いて、上記判定結果のリスト５０５の表示設定をすると良い。すなわち、リスト５０５の輪郭の色、文字の色、及び背景の色等の表示色や、文字のフォントや太さ、輪郭線の線種や太さ等を、血管指標値Ｄｉの時間変化を用いて変更し、時間変化が大きさによって表示内容を目立たせると良い。

また、リスト５０５では各観点での判定結果だけを表示しているが、リスト５０５には判定結果以外の情報も併せて表示することが好ましい。例えば、判定対象にした粘膜の内視鏡画像内での座標、判定に用いる血管指標値Ｄｉ、血管指標値Ｄｉまたはその時間変化の値、等を判定結果とともに表示すると良い。第４実施形態のように、３以上の内視鏡画像を用いて粘膜の状態を判定する場合に、異常を示す判定結果（「正常」以外の判定結果）の場合には、最初に判定結果が異常になる内視鏡画像の撮影時刻（開始フレーム）や、最後に判定結果が異常を示した内視鏡画像の撮影時刻（終了フレーム）を表示することが好ましい。同様に、第４実施形態の変形例のように、血管指標値Ｄｉが特定の条件を満たす期間Ｅｔの長さで観察対象の粘膜の状態を判定する場合には、血管指標値Ｄｉが特定の条件を最初に満たした時刻（期間Ｅｔの開始時刻）や血管指標値Ｄｉが特定の条件を最後に満たした時刻（期間Ｅｔの終了時刻）を表示することが好ましい。判定結果とともにリスト５０５に表示することが好ましい各種情報は、リスト５０５に判定結果とともに最初から表示しておく代わりに、図２２のリスト５０５の判定結果を選択した場合にポップアップ表示するようにしてもよい。

上記各種変形例の判定結果の表示や粘膜の状態を判定した部分の拡大表示の代わりに、図２３に示すように、モニタ８８に操作メニュー５１０（図２３では「！！」のアイコン）を表示してもよい。そして、操作メニュー５１０を操作することで、上記各種変形例の判定結果の表示方法や粘膜の状態を判定した部分の拡大表示等から、医師が必要とする表示を選択できるようにすることが好ましい。図２３では第２内視鏡画像１０２内に操作メニュー５１０を表示しているが、操作メニュー５１０の表示位置は任意である。また、操作メニュー５１０のテキスト（図２３では「！！」）の表示内容や表示色は任意である。操作メニュー５１０には、判定部８５による判定結果を表示することができる。操作メニュー５１０の表示色（操作メニュー５１０に表示するテキストの色やアイコン全体の色）は、粘膜の状態を判定した部分に着色する場合（図１８参照）と同様に、判定部８５による判定結果によって変更することが好ましい。

なお、判定部８５は、粘膜の状態を、正常、腺腫、及びがんを含む３種類以上の状態に判定することが望ましい。特に、大腸の粘膜の状態を判定する場合には、正常、過形成ポリープ（ＨＰ：Hyperplastic Polyp）、ＳＳＡ／Ｐ（Sessile Serrated Adenoma / Polyp）、腺腫（ＴＳＡ：Traditional Serrated Adenoma）、側方発達型腫瘍（ＬＳＴ：Laterally Spreading Tumor）、及びがんを含むいずれかの状態に判定することが好ましい。このように、判定部８５の判定結果を細分化する場合、判定部８５は血管指標値Ｄｉの時間変化に加えて、血管指標値Ｄｉの値を用いることが好ましい。従来、過形成ポリープはがん化のリスクが低く、処置の必要がないと考えられていたが、近年では、過形成ポリープに似たＳＳＡ／Ｐががん化した例も発見されているため、特に過形成ポリープとＳＳＡ／Ｐを鑑別することが重要になってきている。一方、過形成ポリープあるいはＳＳＡ／Ｐと思しき肥厚した粘膜下を中深層血管１２４が横断していると、ＳＳＡ／Ｐが形成される可能性が高いことが分かっている。血管指標値Ｄｉの時間変化を用いれば、判定部８５によって過形成ポリープとＳＳＡ／Ｐを鑑別することができるが、血管指標値Ｄｉの時間変化に加え、血管指標値Ｄｉの値を組み合わせて判定をすれば、より高い確率で過形成ポリープからＳＳＡ／Ｐを鑑別することができる。

また、観察対象の粘膜の状態ががんである場合、判定部８５は、血管指標値Ｄｉの時間変化を用いて、または、血管指標値Ｄｉの時間変化と血管指標値Ｄｉの値を組み合わせて用いて、さらに、がんのステージを判定することが好ましい。そして、判定結果表示部１１７には、判定部８５が判定したがんのステージを表示することが好ましい。このように、観察対象の粘膜の状態をがんと判定した場合にさらにステージを判定して、その結果をモニタ８８に表示すれば、さらに細やかに診断を支援することができる。

上記第１〜第４実施形態では、モニタ８８に表示する第１内視鏡画像１０１等の各内視鏡画像に対して１つの関心領域を設定しているが、モニタ８８に表示する第１内視鏡画像１０１等の各内視鏡画像に対して複数の関心領域を設定してもよい。例えば、内視鏡画像の全体をメッシュに区切った各領域を関心領域に設定し、各関心領域で血管指標値Ｄｉ及びその時間変化を算出することができる。また、医師が任意箇所に任意個数の関心領域を設定できるようにしても良い。

上記第１〜第４実施形態及び各種変形例では、撮像センサ４８が設けられた内視鏡１２を被検体内に挿入して観察を行う内視鏡システム１０（または内視鏡システム３１０）によって本発明を実施しているが、カプセル内視鏡システムでも本発明は好適である。例えば、図２４に示すように、カプセル内視鏡システムは、カプセル内視鏡６００と、プロセッサ装置（図示しない）とを少なくとも有する。カプセル内視鏡６００は、光源６０２と、光源制御部６０３と、撮像センサ６０４と、画像信号取得処理部６０６と、送受信アンテナ６０８とを備えている。光源６０２は、内視鏡システム１０の光源２０と同様に構成され、光源制御部６０３の制御によって、照明光を発光する。画像信号取得処理部６０６は、画像信号取得部５３、ＤＳＰ５６、ノイズ低減部５８、信号処理部６２として機能する。カプセル内視鏡システムのプロセッサ装置は、内視鏡システム３１０のプロセッサ装置１６と同様に構成され、画像処理装置６５としても機能する。

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１３ａ 静止画像取得指示部
１３ｂ ズーム操作部
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ コンソール
２０ 光源
２２ 光源制御部
３０ａ 照明光学系
３０ｂ 撮像光学系
４１ ライトガイド
４５ 照明レンズ
４６ 対物レンズ
４７ ズームレンズ
４８ 撮像センサ
５１ ＣＤＳ／ＡＧＣ回路
５２ Ａ／Ｄコンバータ
５３ 画像信号取得部
５６ ＤＳＰ
５８ ノイズ低減部
６１ メモリ
６２ 信号処理部
６３ 映像信号生成部
６４ ストレージ
６５ 画像処理装置
８１ 画像取得部
８２ 血管抽出部
８３ 血管指標値算出部
８４ 時間変化算出部
８５ 判定部
８７ 入力デバイス
８８ モニタ
９９ 内視鏡画像
１０１ 第１内視鏡画像
１０２ 第２内視鏡画像
１０３ 第３内視鏡画像
１１１ 第１関心領域
１１２ 第２関心領域
１１５ メインウィンドウ
１１６ サブウィンドウ
１１７ 判定結果表示部
１２２ 粘膜表面の形状
１２３ 表層血管
１２４ 中深層血管
１３２ 第２血管画像
２５１ 血管情報算出部
２５２ 血管パラメータ算出部
２５３ 重み付け係数テーブル
３１０ 内視鏡システム
４０３ 第３内視鏡画像
４１１ 第１関心領域
４１２ 第２関心領域
４１３ 第３関心領域
４１４ メインウィンドウ
４１５ 第１サブウィンドウ
４１６ 第２サブウィンドウ
５０１ 着色処理部
５０２ 拡大画像
５０５ 判定結果のリスト
５１０ 操作メニュー
６００ カプセル内視鏡
６０２ 光源
６０３ 光源制御部
６０４ 撮像センサ
６０６ 画像信号取得処理部
６０８ 送受信アンテナ
ｄｉ 血管指標値
Ｄｉ 血管指標値
Ｄｉ 第１血管指標値
Ｄｉ 第２血管指標値
ｄｉ１ 第１血管指標値
Ｄｉ１ 第１血管指標値
ｄｉ２ 第２血管指標値
Ｄｉ２ 第２血管指標値
Ｄｉ３ 第３血管指標値
ＤｉＡ 血管指標値
ＤｉＢ 血管指標値
ＤｉＣ 血管指標値
Ｅｔ 期間
Ｌ１ 病変
Ｌ２ 病変
Ｐ 指標値
Ｐ１ 血管パラメータ
Ｐ２ 血管パラメータ
Ｒｉ 領域
Ｒｏ 領域
Ｔ１ 撮影時刻
Ｔ２ 撮影時刻
Ｔ３ 撮影時刻
ＴＨ１ 第１閾値
ＴＨ２ 第２閾値
ＴＨ３ 第３閾値
Ｖｉ 血管情報

Claims (14)

1. 内視鏡によって観察対象を互いに異なる時刻に撮像して得る複数の内視鏡画像として、第１内視鏡画像、第２内視鏡画像、及び、第３内視鏡画像を取得する画像取得部と、
   前記第１内視鏡画像、前記第２内視鏡画像、及び、前記第３内視鏡画像から前記観察対象の血管をそれぞれ抽出する血管抽出部と、
   前記第１内視鏡画像から抽出した第１血管について第１血管指標値を算出し、前記第２内視鏡画像から抽出した第２血管について第２血管指標値を算出し、かつ、前記第３内視鏡画像から抽出した第３血管について第３血管指標値を算出する血管指標値算出部と、
   前記第１血管指標値に対する前記第２血管指標値の差と、前記第２血管指標値に対する前記第３血管指標値の差を、前記第１血管指標値、前記第２血管指標値、及び前記第３血管指標値の時間変化として算出する時間変化算出部と、
   前記第１血管指標値に対する前記第２血管指標値の差と、前記第２血管指標値に対する前記第３血管指標値の差を用いて、前記観察対象の粘膜の状態を判定する判定部と、
   前記判定部の判定結果を表示する表示部と、
   を備える画像処理装置。
2. 血管指標値算出部は、前記血管抽出部が抽出した血管の本数、太さ、太さの変化、太さの変化の複雑度、長さ、長さの変化、分岐数、分岐角度、分岐点間距離、交差数、傾き、面積、密度、粘膜を基準とした深さ、高低差、間隔、コントラスト、色、色の変化、蛇行度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、及び血流量のうちいずれかの血管情報を前記血管指標値として算出する請求項１に記載の画像処理装置。
3. 血管指標値算出部は、
   前記血管抽出部が抽出した血管の本数、太さ、太さの変化、太さの変化の複雑度、長さ、長さの変化、分岐数、分岐角度、分岐点間距離、交差数、傾き、面積、密度、粘膜を基準とした深さ、高低差、間隔、コントラスト、色、色の変化、蛇行度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、及び血流量のうちいずれかの血管情報を算出する血管情報算出部と、
   複数の前記血管情報を用いて演算をすることにより血管パラメータを算出する血管パラメータ算出部と、
   を備え、
   前記血管指標値算出部は、前記血管パラメータを前記血管指標値とする請求項１に記載の画像処理装置。
4. 前記時間変化算出部は、複数の前記血管指標値の差、比、または、変化率を算出する請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記表示部に、前記判定部の判定結果をポップアップ表示する請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記血管指標値の時間変化を用いて、前記ポップアップ表示の表示設定をする請求項５に記載の画像処理装置。
7. 前記表示部に、前記判定部の判定結果を用いて粘膜の状態を判定した部分を着色した前記内視鏡画像を表示する請求項１〜４のいずれか１項に記載の画像処理装置。
8. 前記表示部に、前記血管指標値の時間変化を用いて前記内視鏡画像を着色する部分の色を設定する請求項７に記載の画像処理装置。
9. 前記表示部に、前記判定部の判定結果のリストを表示する請求項１〜４のいずれか１項に記載の画像処理装置。
10. 前記血管指標値の時間変化を用いて、前記リストの表示設定をする請求項９に記載の画像処理装置。
11. 前記表示部に、前記内視鏡画像の粘膜の状態を判定した部分を拡大して表示する請求項１〜４のいずれか１項に記載の画像処理装置。
12. 前記血管指標値の時間変化を用いて、前記内視鏡画像の粘膜の状態を判定した部分の拡大率を設定する請求項１１に記載の画像処理装置。
13. 観察対象を撮像する内視鏡と、
    前記内視鏡によって前記観察対象を互いに異なる時刻に撮像して得る複数の内視鏡画像として、第１内視鏡画像、第２内視鏡画像、及び、第３内視鏡画像を取得する画像取得部と、前記第１内視鏡画像、前記第２内視鏡画像、及び、前記第３内視鏡画像から前記観察対象の血管をそれぞれ抽出する血管抽出部と、前記第１内視鏡画像から抽出した第１血管について第１血管指標値を算出し、前記第２内視鏡画像から抽出した第２血管について第２血管指標値を算出し、かつ、前記第３内視鏡画像から抽出した第３血管について第３血管指標値を算出する血管指標値算出部と、前記第１血管指標値に対する前記第２血管指標値の差と、前記第２血管指標値に対する前記第３血管指標値の差を、前記第１血管指標値、前記第２血管指標値、及び前記第３血管指標値時間変化として算出する時間変化算出部と、前記第１血管指標値に対する前記第２血管指標値の差と、前記第２血管指標値に対する前記第３血管指標値の差を用いて、前記観察対象の粘膜の状態を判定する判定部と、を有するプロセッサ装置と、
    前記判定部の判定結果を表示する表示部と、
    を備える内視鏡システム。
14. 画像取得部が、内視鏡によって観察対象を互いに異なる時刻に撮像して得る複数の内視鏡画像として、第１内視鏡画像、第２内視鏡画像、及び、第３内視鏡画像を取得するステップと、
    血管抽出部が、前記第１内視鏡画像、前記第２内視鏡画像、及び、前記第３内視鏡画像から前記観察対象の血管をそれぞれ抽出するステップと、
    血管指標値算出部が、前記第１内視鏡画像から抽出した第１血管について第１血管指標値を算出し、前記第２内視鏡画像から抽出した第２血管について第２血管指標値を算出し、かつ、前記第３内視鏡画像から抽出した第３血管について第３血管指標値を算出するステップと、
    時間変化算出部が、前記第１血管指標値に対する前記第２血管指標値の差と、前記第２血管指標値に対する前記第３血管指標値の差を、前記第１血管指標値、前記第２血管指標値、及び前記第３血管指標値の時間変化として算出するステップと、
    判定部が、前記第１血管指標値に対する前記第２血管指標値の差と、前記第２血管指標値に対する前記第３血管指標値の差を用いて、前記観察対象の粘膜の状態を判定するステップと、
    を備える画像処理方法。

Images