JPWO2019159770A1 - 内視鏡システム - Google Patents

Abstract

内視鏡システムは、体腔内の生体組織を撮像して得られる前記生体組織の画像から、前記生体組織の病変の程度を数値化した病変の重症度を求める画像処理ユニットを含む。前記画像処理ユニットは、複数の外観の特徴のそれぞれを、前記病変部が示す色成分あるいは形状により前記生体組織の健常部の特徴と区別できる、前記複数の外観の特徴に対応した複数の画素評価値であって、前記病変部が示す色成分、あるいは色成分及び形状に関する、複数の特徴それぞれの程度を示す複数の画素評価値を、前記画像から画素毎に算出する特徴量算出部と、前記画素評価値のそれぞれを、前記複数の特徴毎に統合することにより撮像した生体組織の前記複数の特徴それぞれに対応した代表評価値を算出する代表値算出部と、算出した前記代表評価値のうち少なくとも２つの代表評価値を演算して統合した１つの数値を前記病変の重症度として算出する統合部と、を備える。

Description

本発明は、体腔内の生体組織の画像を画像処理する内視鏡システムに関する。

生体組織における病変部は、生体組織の粘膜層が薄くなって荒れて赤色を示す炎症から、粘膜層及びその下層まで部分的に欠落する潰瘍まで、種々のレベルの重症度が存在する。例えば、潰瘍性大腸炎（ＵＣ：Ulcerative Colitis）の病変の潰瘍部位では、白苔や膿様粘液を含み白色になり、また、炎症部位では、浮腫や易出血性を含む赤色を帯びる。このような病変部を、内視鏡システムで撮像して観察することができる。

しかし、術者が内視鏡の画像内に含まれる色の相違によって正常部位と病変部とを識別できるようになるためには、熟練者の指導下で長期間のトレーニングを受ける必要がある。また、熟練した術者であっても僅かな色の違いから病変部を識別することは容易ではなく、慎重な作業が要求される。したがって、内視鏡システムは、病変部における病変の程度を客観的に数値化した評価結果を提供することが好ましい。
これに対して、画像の明るさによる炎症部位の評価値の変動を抑えて安定した評価値の計算を行い、かつ、評価値の計算の処理負荷を抑えることが可能な内視鏡システムが知られている（特許文献１）。

国際公開第２０１７／０５７６８０号

上述の内視鏡システムでは、被写体に向けて照明光を照射する光源装置と、被写体からの反射光を撮像素子により受光して撮像し、少なくとも３つ以上の色成分を含むカラー画像を取得する画像取得部と、少なくとも３つ以上の色成分のうちの少なくとも２つの色成分によって定義される色平面内において、色平面内に設定された所定の基準点及び画像取得部で取得されるカラー画像を構成する各画素の色平面内における画素対応点を結ぶ線分と、対象疾患に相関を有する基準軸と、がなす角度に基づいて各画素の対象疾患に関する評価結果を求める評価部と、を備える。基準軸は、所定の基準点を通るように設定される。基準軸は、色平面内において炎症度が所定値以下の対象疾患と相関を有する軸及び炎症度が所定値以上である対象疾患と相関を有する軸の少なくとも一方である。
このような構成によれば、画像の明るさによる炎症評価値の変動を抑えて、安定した炎症評価値の計算を行い、かつ、炎症評価値の計算の処理負荷を抑えることができる。

しかし、上記内視鏡システムが評価できる病変部は、生体組織の粘膜層が薄くなって荒れて赤味を示す炎症部位であり、この炎症部位の炎症の程度を色成分で評価するので、医師による炎症〜潰瘍を含んだ主観評価結果あるいは組織学的な評価結果と十分に対応しない場合がある。すなわち、上記内視鏡システムは、粘膜層およびその下層まで部分的に欠落する潰瘍を含めて、病変部における病変の程度を示す重症度を評価することはできない。

そこで、本発明は、生体組織の病変部における病変の程度を精度よく評価することができる内視鏡システムを提供することを目的とする。

本発明の一実施形態は、内視鏡システムである。当該内視鏡システムは、
体腔内の生体組織を撮像するように構成された電子内視鏡と、
前記電子内視鏡で得られた前記生体組織の病変部の画像から、前記生体組織の病変の程度を前記画像の色成分の情報を少なくとも用いて１つの値で表した病変の重症度を求めるように構成された画像処理ユニットを含むプロセッサと、
前記重症度の情報を表示するように構成されたモニタと、を備える。
前記画像処理ユニットは、
前記病変部に現れる外観の第１特徴及び第２特徴を少なくとも含む複数の外観の特徴のそれぞれを、前記病変部が示す色成分、あるいは前記病変部の形状により前記生体組織の健常部の特徴と区別できる、前記複数の外観の特徴に対応した複数の画素評価値であって、前記病変部が示す色成分、あるいは前記色成分及び前記病変部の形状に関する、前記第１特徴及び前記第２特徴のそれぞれの程度を示す第１画素評価値及び第２画素評価値を含む前記複数の画素評価値を、前記画像から画素毎に算出するように構成された特徴量算出部と、
前記画像における各画素の前記複数の画素評価値それぞれを前記複数の外観の特徴毎に統合することにより撮像した生体組織の前記第１特徴の第１代表評価値及び前記第２特徴の第２代表評価値を含む複数の代表評価値を算出するように構成された代表値算出部と、
前記複数の代表評価値のうち少なくとも２つの代表評価値を演算して統合した１つの数値を前記病変の重症度として算出するように構成された統合部と、
を備える。

前記統合部は、前記１つの数値を算出するために、前記複数の代表評価値のうちの少なくとも１つの代表評価値の高低によって異なる演算を行うように構成される、ことが好ましい。

前記異なる演算では、前記演算に用いる少なくとも２つの代表評価値の組が異なる、ことが好ましい。

本発明の一実施形態は、内視鏡システムである。当該内視鏡システムは、
体腔内の生体組織を撮像するように構成された電子内視鏡と、
前記電子内視鏡で得られた前記生体組織の病変部の画像から、前記生体組織の病変の程度を前記画像の色成分の情報を用いて１つの値で表した病変の重症度を求めるように構成された画像処理ユニットを含むプロセッサと、
前記重症度の情報を表示するように構成されたモニタと、を備える。
前記画像処理ユニットは、
前記病変部に現れる外観の第１特徴及び第２特徴のそれぞれを、前記病変部が示す色成分、あるいは前記病変部の形状により前記生体組織の健常部と区別できる２つの画素評価値であって、前記病変部が示す色成分、あるいは前記色成分及び前記病変部の形状に関する、前記第１特徴及び前記第２特徴それぞれの程度を示す第１画素評価値及び第２画素評価値を、前記画像から画素毎に算出するように構成された特徴量算出部と、
前記画像における各画素の前記第１画素評価値を統合することにより撮像した生体組織の前記第１特徴の第１代表評価値を算出し、前記画像における各画素の前記第２画素評価値を統合することにより撮像した生体組織の前記第２特徴の第２代表評価値を算出するように構成された代表値算出部と、
前記第１代表評価値及び前記第２代表評価値を演算して統合した１つの数値を前記病変の重症度として算出するように構成された統合部と、
を備える。

前記第２特徴の程度は、前記画像中の所定の形状をなした部分に含まれる色成分の程度である、ことが好ましい。

前記第２特徴の程度は、前記画像中の所定の形状をなした部分における前記所定の形状の特徴の程度である、ことが好ましい。

前記第１特徴の程度は、前記画像の前記病変部が示す色成分の程度である、ことが好ましい。

前記第１画素評価値は、生体組織の炎症の程度を示す色成分に関する特徴の程度を示す値であり、
前記第２画素評価値は、前記画像中の、筋状に延びる血管を示す血管領域に含まれる色成分の程度を示す値である、ことが好ましい。

前記画像の色成分は、赤色成分、緑色成分、及び青色成分を含み、
前記特徴量算出部は、前記赤色成分と、前記青色成分あるいは前記緑色成分とによって定義される色空間内において、前記色空間内に設定される基準点と前記画像の各画素の色成分に対応する画素対応点とを結ぶ線分の向きが、前記基準点を通る、予め定めた基準軸に対してずれるずれ角度に基づいて前記第１画素評価値を算出するように構成される、ことが好ましい。

前記統合部は、前記第１代表評価値あるいは前記第２代表評価値が閾値を越える場合と越えない場合との間で、前記重症度を算出する演算を変えるように構成される、ことが好ましい。

前記統合部は、前記第２代表評価値が閾値以上の場合、前記第１代表評価値から前記第２代表評価値を減算し、前記第２代表評価値が閾値未満の場合、前記第１代表評価値に前記第２代表評価値を加算することにより、前記重症度を算出するように構成される、ことが好ましい。

前記第１特徴の程度は、前記画像の前記病変部が示す色成分の程度であり、
前記第２特徴の程度は、前記画像中の所定の形状をなした部分に含まれる色成分の程度である、ことが好ましい。

前記特徴量算出部は、前記第１特徴及び前記第２特徴と異なる、前記病変部が示す色成分に関する第３特徴の程度を示す第３画素評価値を画素毎に算出するように構成され、
前記代表値算出部は、前記画像における各画素の前記第３画素評価値を統合することにより撮像した生体組織の前記第３特徴の第３代表評価値を算出するように構成され、
前記統合部は、前記第２代表評価値が閾値以上の場合、前記第１代表評価値から前記第２代表評価値を減算し、前記第２代表評価値が閾値未満の場合、前記第１代表評価値に前記第３代表評価値を加算することにより、前記重症度を算出するように構成される、ことが好ましい。

前記第１画素評価値は、生体組織の炎症の程度を示す色成分に関する特徴の程度を示す値であり、
前記第２画素評価値は、前記画像中の、筋状に延びる血管を示す血管領域に含まれる色成分の程度を示す値であり、
前記第３画素評価値は、生体組織の潰瘍の程度を示す色成分に関する特徴の程度を示す値である、ことが好ましい。

上述の内視鏡システムによれば、生体組織の病変部における病変の程度を精度よく評価することができる。

一実施形態の内視鏡システムの構成を示すブロック図である。 病変部の重症度の数値化処理を行う一実施形態の画像処理ユニットの構成を説明する図である。 一実施形態で用いる色空間内における基準軸の例を説明する図である。 一実施形態で用いる炎症の程度を計算するためのずれ角度を計算する方法を説明する図である。 （ａ），（ｂ）は、生体組織の画像の一例と、従来の方法で得られるカラーマップ画像の一例を模式的に説明する図である。 一実施形態における血管領域を抽出する方法の一例を説明する図である。 図６に示すテンプレートＴＰ１を空間フィルタとして用いる場合のフィルタ係数の一例を示す図である。 病変部の画像についての医師の主観評価結果の分布範囲を、生体組織赤色度の代表値と血管赤色度の代表値の直交座標系上で概略的に示す図である。 一実施形態の電子内視鏡用プロセッサによる病変部の重症度の算出の処理のフローの一例を示す図である。 一実施形態で用いる、統合のための代表値の組み合わせのフローの一例を示す図である。 図１０に示すフローとは別の一実施形態で用いる、統合のための代表値の組み合わせのフローの一例を示す図である。 ３つの画素評価値を用いて重症度を計算する、一実施形態のフローの一例を示す図である。 図１２に示す画素評価値の代表値の組み合わせと異なる、一実施形態の組み合わせのフローの一例を示す図である。

以下、本発明の実施形態の内視鏡システムについて図面を参照しながら説明する前に、まず、内視鏡システムの概念を説明する。

生体組織における病変部は、炎症部位から潰瘍部位まで、病変部の病変の程度は種々存在する。従来の内視鏡システムは、炎症部位のみを評価対象とし、炎症部位の炎症の程度を、炎症部位の色成分の情報（例えば、赤色）に基づいて評価する。このような評価結果は、医師による炎症〜潰瘍を含んだ評価あるいは組織学的な評価結果と十分に対応しない場合があった。このため、一実施形態の内視鏡システムは、病変部に現れる複数の外観の特徴のそれぞれを、病変部が示す色成分、あるいは病変部の形状により生体組織の健常部の特徴と区別できる、複数の外観の特徴に対応した複数の画素評価値を、生体組織の画像から画素毎に算出する。さらに、内視鏡システムは、算出した各画素の画素評価値を複数の外観の特徴毎に統合することにより複数の代表評価値を算出し、さらに、複数の代表評価値のうち少なくとも２つの代表評価値を演算して統合した１つの数値を病変の重症度として算出する。
このように、複数の外観の特徴に関する各画素の画素評価値を用いて、病変部の病変の重症度を算出するので、従来のように、生体組織が示す赤色の程度のみを用いて評価する場合に比べて病変部の病変の重症度を精度よく評価することができる。

一実施形態として、外観の特徴が第１特徴と第２特徴である場合、第１特徴の程度は、病変部が示す特定の色成分の程度であり、例えば、生体組織に含まれる赤色の程度であり、第１特徴の程度を数値化した画素毎の第１画素評価値は、例えば、赤色の程度を数値化した生体組織赤色度である。第２特徴は、撮像した生体組織のうち、特定の形状をした部分に含まれる色成分の程度であり、第２特徴の程度を数値化した画素毎の第２画素評価値は、例えば、病変部及びその周囲において、筋状に延在する血管領域に含まれる赤色の程度を数値化し血管赤色度である。炎症部位において、血管赤色度が所定の閾値以上のとき、生体組織赤色度が高くなる程、血管赤色度が低くなり、血管赤色度が所定の閾値より低いとき、生体組織赤色度が高くなる程、血管赤色度が高くなる傾向がある。一実施形態によれば、血管赤色度が所定の閾値以上のときは、生体組織赤色度の代表値（第１代表評価値）から血管赤色度の代表値（第２代表評価値）を減算して重症度を算出し、血管赤色度が所定の閾値より低いときは、生体組織赤色度の代表値に血管赤色度の代表値を加算して重症度を算出する。すなわち、重症度は、第１代表評価値及び第２代表評価値同士を統合することにより得られる。こうして算出した重症度は、医師による主観評価結果（例えば、MAYO endoscopic subscore）、あるいは組織学的な評価結果と良好に対応する。
また、外観の特徴が第１特徴、第２特徴及び第３特徴は、一例として、第１特徴の程度は、病変部が示す特定の色成分、たとえば赤色の程度であり、第２特徴の程度は、撮像した生体組織のうち、特定の形状をした部分に含まれる色成分の程度であり、第３特徴の程度は、病変部が示す特定の色成分、たとえば白色の程度である。
外観の特徴の程度は、形状に関する程度を含み、例えば、病変部の表面凹凸の形状の程度や表面塑造等の所定の形状の程度であってもよい。
複数の代表評価値を統合した１つの数値は、求めた複数の代表評価値同士を演算した演算結果でもよく、すべての代表評価値のうちの一部の代表評価値同士を演算した演算結果でもよい。この場合、演算に用いなかった代表評価値は、この代表評価値の高低によって、異なる演算をするための指標として用いてもよい。

図１は、本発明の一実施形態の電子内視鏡システム１の構成を示すブロック図である。図１に示されるように、電子内視鏡システム１は、電子スコープ１００、電子内視鏡用プロセッサ２００、モニタ３００及びプリンタ４００を備えている。

電子内視鏡用プロセッサ２００は、システムコントローラ２０２やタイミングコントローラ２０６を備えている。システムコントローラ２０２は、メモリ２０４に記憶された各種プログラムを実行し、電子内視鏡システム１の全体を統括的に制御する。また、システムコントローラ２０２は、操作パネル２０８に入力されるユーザ（術者又は補助者）による指示に応じて電子内視鏡システム１の各種設定を変更する。タイミングコントローラ２０６は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に出力する。

電子内視鏡用プロセッサ２００は、電子スコープ１００に照明光を供給する光源部２３０を備えている。光源部２３０は、図示されないが、例えば、ランプ電源から駆動電力の供給を受けることにより白色の照明光を放射する高輝度ランプ、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプを備える。高輝度ランプから出射した照明光は、図示されない集光レンズにより集光された後、図示されない調光装置を介して電子スコープ１００の光ファイバの束であるＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源部２３０は構成される。
あるいは、光源部２３０は、所定の色の波長帯域の光を出射する複数の発光ダイオードを備える。発光ダイオードから出射した光はダイクロイックミラー等の光学素子を用いて合成され、合成した光は照明光として、図示されない集光レンズにより集光された後、電子スコープ１００のＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源部２３０は構成される。発光ダイオードに代えてレーザーダイオードを用いることもできる。発光ダイオード及びレーザーダイオードは、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。明るい画像が取得できることにより、後述する病変に関する評価値の精度を向上させることができる。
なお、図１に示す例では、光源部２３０は、電子内視鏡用プロセッサ２００に内蔵して設けられるが、電子内視鏡用プロセッサ２００とは別体の装置として電子内視鏡システム１に設けられてもよい。また、光源部２３０は、後述する電子スコープ１００の先端部に設けられてもよい。この場合、照明光を導光するＬＣＢ１０２は不要である。

入射端よりＬＣＢ１０２内に入射した照明光は、ＬＣＢ１０２内を伝播して電子スコープ１００の先端部内に配置されたＬＣＢ１０２の射出端より射出され、配光レンズ１０４を介して被写体に照射される。被写体からの反射光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。

固体撮像素子１０８は、例えば、ＩＲ（Infra Red）カットフィルタ１０８ａ、ベイヤ配列カラーフィルタ１０８ｂの各種フィルタが受光面に配置された単板式カラーＣＣＤ（Charge-Coupled Device）イメージセンサであり、受光面上で結像した光学像に応じたＲ（Red），Ｇ（Green），Ｂ（Blue）の各原色信号を生成する。単板式カラーＣＣＤイメージセンサの代わりに、単板式カラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いることもできる。ＣＭＯＳイメージセンサは、一般に、ＣＣＤイメージセンサと比較して画像が全体的に暗くなる傾向にある。従って、以下説明する病変の評価を行う数値化処理における、画像の明るさによる病変部の病変の重症度の変動を抑えることができるという有利な効果は、ＣＭＯＳイメージセンサを用いる場合においてより顕著である。このように、電子スコープ１００は、固体撮像素子１０８を用いて、体腔内の生体組織を撮像する。

電子スコープ１００の接続部内には、ドライバ信号処理回路１１２が備えられている。ドライバ信号処理回路１１２は、固体撮像素子１０８より入力される原色信号に対して色補間、マトリックス演算等の所定の信号処理を施して画像信号（輝度信号Ｙ、色差信号Ｃｂ，Ｃｒ）を生成し、生成された画像信号を電子内視鏡用プロセッサ２００の画像処理ユニット２２０に出力する。また、ドライバ信号処理回路１１２は、メモリ１１４にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１４に記録される電子スコープ１００の固有情報には、例えば固体撮像素子１０８の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１１２は、メモリ１１４より読み出された固有情報をシステムコントローラ２０２に出力する。

システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、電子内視鏡用プロセッサ２００に接続中の電子スコープ１００に適した処理がなされるように電子内視鏡用プロセッサ２００内の各回路の動作やタイミングを制御する。

タイミングコントローラ２０６は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２、画像処理ユニット２２０、及び光源部２３０にクロックパルスを供給する。ドライバ信号処理回路１１２は、タイミングコントローラ２０６から供給されるクロックパルスに従って、固体撮像素子１０８を電子内視鏡用プロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。

画像処理ユニット２２０は、システムコントローラ２０２による制御の下、ドライバ信号処理回路１１２より入力した画像信号に基づいて内視鏡画像等をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力する。さらに、画像処理ユニット２２０は、電子スコープ１００で得られた生体組織の病変部の画像から、生体組織の病変の程度を画像の色成分や形状の情報を用いて数値化した病変の重症度を求める。また、画像処理ユニット２２０は、重症度を求めるための数値化処理を行う際に得られる生体組織赤色度に基づいて色を置換したカラーマップ画像を生成する。画像処理ユニット２２０は、重症度の情報及びカラーマップ画像をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力する。これにより、術者は、モニタ３００の表示画面に表示された画像を通じて注目する生体組織の病変の重症度を受けることができる。画像処理ユニット２２０は、必要に応じてプリンタ４００にカラーマップ画像及び重症度の情報を出力する。

電子内視鏡用プロセッサ２００は、ＮＩＣ（Network Interface Card）２１０及びネットワーク５００を介してサーバ６００に接続されている。電子内視鏡用プロセッサ２００は、内視鏡検査に関する情報（例えば、患者の電子カルテ情報や術者の情報）をサーバ６００からダウンロードすることができる。ダウンロードされた情報は、例えばモニタ３００の表示画面や操作パネル２０８に表示される。また、電子内視鏡用プロセッサ２００は、内視鏡検査結果（内視鏡画像データ、検査条件、画像解析結果、術者所見等）をサーバ６００にアップロードすることにより、内視鏡検査結果をサーバ６００に保存させることができる。

図２は、生体組織の病変の重症度を計算するために、病変の特徴の程度を数値化する数値化処理を行う画像処理ユニット２２０の構成を説明する図である。画像処理ユニット２２０は、電子スコープ１００で得られた生体組織の画像から、生体組織の病変の程度を数値化することにより求める病変の重症度を求める部分である。画像処理ユニット２２０は、前処理部２２０ａ、特徴量算出部２２０ｂ、代表値算出部２２０ｃ、及び統合部２２０ｄを備える。
特徴量算出部２２０ｂは、一実施形態として、第１画素評価値として、生体組織の赤色の程度を画素毎に数値化した生体組織赤色度を計算し、第２画素評価値として、生体組織上の筋状に延在する血管領域の赤色を数値化した血管赤色度を計算する。以下、生体組織赤色度及び血管赤色度を計算する形態を説明する。

前処理部２２０ａは、生体組織が示す赤色の程度を評価するための画像に前処理を施す部分である。前処理部２２０ａは、一例として図示されるように、ＲＧＢ変換、色空間変換、基準軸の設定、及び色補正の各処理を行う。
前処理部２２０ａは、ドライバ信号処理回路１１２より入力した画像信号（輝度信号Ｙ、色差信号Ｃｂ，Ｃｒ）を所定のマトリックス係数を用いて画像色成分（Ｒ，Ｇ，Ｂ）に変換する。
前処理部２２０ａは、さらに、画像色成分に変換された画像データをＲＧ平面に正射影する色空間変換を行う。具体的には、ＲＧＢ３原色で定義されるＲＧＢ色空間の各画素の画像色成分がＲＧの画像色成分に変換される。概念的には、ＲＧＢ色空間の各画素の画像色成分が、Ｒ，Ｇ成分の画素値に応じてＲＧ平面内（例えば、Ｒ成分の画素値＝０〜２５５、Ｇ成分の画素値＝０〜２５５の値を取るＲＧ平面内の区画）にプロットされる。以下、説明の便宜上、ＲＧＢ色空間の各画素の画像色成分の点及びＲＧ色空間内にプロットされた画像色成分の点を「画素対応点」と記す。ＲＧＢ色空間のＲＧＢそれぞれの画像色成分は、順番に、例えば、波長６２０〜７５０ｎｍ、波長４９５〜５７０ｎｍ、及び波長４５０〜４９５ｎｍの色成分である。なお、色成分は、色空間（色平面も含む。）を構成するものである。色相及び彩度は、「色成分」から除かれる。
前処理部２２０ａは、生体組織赤色度及び血管赤色度を評価するために必要なＲＧ平面内の基準軸が設定される。

被写体となる患者の体腔内の生体組織では、ヘモグロビン色素等の影響により画像色成分のうちＲ成分が他の成分（Ｇ成分及びＢ成分）に対して支配的である。病変部の病変の程度が低く、病変部が炎症部位である場合、炎症が強いほど赤色（Ｒ成分）が他の色（Ｇ成分及びＢ成分）に対して強くなる。しかし、体腔内の撮像画像は、明るさに影響する撮影条件（例えば照明光の当たり具合）に応じて色が変化する。例示的には、照明光の届かない陰影部分は黒（無彩色であり、例えば、Ｒ，Ｇ，Ｂの画像色成分の値がゼロ又はゼロに近い値）となり、照明光が強く当たって正反射する部分は白（無彩色であり、例えば、Ｒ，Ｇ，Ｂの画像色成分の値が８ビット階調の場合、２５５又は２５５に近い値）となる。すなわち、炎症が起こっている同じ炎症部位を撮像した場合であっても、照明光が強く当たるほどその炎症部位の画素値が大きくなる。そのため、照明光の当たり具合によっては、画像の色成分の値が炎症の強さと相関の無い値を取ることがある。

一般に、炎症が起こっていない体腔内の健常部位は十分な粘膜で覆われている。これに対し、炎症が起こっている体腔内の炎症部位は十分な粘膜で覆われていない。具体的には、血管が拡張すると共に血管から血液・体液が漏出するため、相対的に粘膜が薄くなり血液の色が目に映り易くなる。粘膜は、基本的には白基調ではあるが、色としては若干黄味がかっており、その濃淡（粘膜の厚み）によって画像上に写る色（黄色）が変化する。従って、粘膜の濃淡も炎症の程度を評価する指標の一つになるものと考えられる。

そこで、図３に示されるように、ＲＧ色空間内において、（５０，０）及び（２５５，７６）を通る直線が基準軸の１つとして設定されると共に、（０，０）及び（２５５，１９２）を通る直線が基準軸の１つとして設定される。説明の便宜上、前者の基準軸を「ヘモグロビン変化軸ＡＸ１」と記し、後者の基準軸を「粘膜変化軸ＡＸ２」と記す。図３は、一実施形態で用いる色空間内における基準軸の例を説明する図である。

図３に示されるプロットは、体腔内の多数の参照画像を解析した結果得たものである。解析に用いられる参照画像には、炎症の程度の最も高い炎症画像例（最も重症なレベルの炎症画像例）や、炎症の程度の最も低い炎症画像例（実質的に健常部位であるとみなされる画像例）など、各段階の炎症画像例が含まれる。なお、図３に示す例では、図面を明瞭化する便宜上、解析の結果得られたプロットを一部だけ示している。解析の結果実際に得られたプロットは、図３に示されるプロットの数よりも遥かに多い。

上述したように、炎症が強い部分ほど画像の色成分のうちＲ成分が他の成分（Ｇ成分及びＢ成分）に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、Ｇ軸よりもＲ軸に近い方の境界線上の軸、図３に示す例では、（５０，０）及び（２５５，７６）を通る境界線上の軸が、炎症の程度が最も強い部分、すなわち炎症の程度の最も高い部位と相関の高い軸として設定される。この軸がヘモグロビン変化軸ＡＸ１である。ヘモグロビン変化軸ＡＸ１には、様々な撮影条件、例えば照明光の当たり具合で撮像された炎症の程度の最も高い炎症部位に対応するプロットが重畳される。したがって、ヘモグロビン変化軸ＡＸ１は、生体組織の炎症の程度が高くなるほどプロットされる画素対応点が収束する軸である。

一方、健常部位に近いほど画像の色成分のうちＧ成分（又はＢ成分）がＲ成分に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、Ｒ軸よりもＧ軸に近い方の境界線上の軸、図３に示す例では、（０，０）及び（２５５，１９２）を通る境界線上の軸が、炎症の程度の最も低い部分、すなわち、炎症の程度の最も低い部分であって、実質的に健常部位であるとみなされるものと相関の高い軸として設定される。この軸が粘膜変化軸ＡＸ２である。粘膜変化軸ＡＸ２には、様々な撮影条件、例えば照明光の当たり具合で撮像された炎症の程度の最も低い部分、すなわち実質的に正常部とみなされるものに対応するプロットが重畳される。したがって、粘膜変化軸ＡＸ２は、炎症の程度が低くなるほど（健常部位に近いほど）プロットされる画素対応点が収束する軸である。

補足すると、病変部の病変の程度の最も高い部分は、出血を伴う。一方、病変の程度の最も低い部分は、実質正常な健常部位であるから、十分な粘膜で覆われている。そのため、図３に示されるＲＧ色空間内のプロットは、血液（ヘモグロビン色素）の色と最も相関の高い軸と、粘膜の色と最も相関の高い軸に挟まれた領域内に分布すると捉えることができる。そのため、プロットが分布する領域と分布しない領域との境界線のうち、Ｒ軸に近い（Ｒ成分が強い）方の境界線が、炎症の程度の最も高い炎症部位を示す軸（ヘモグロビン変化軸ＡＸ１）に相当し、Ｇ軸に近い（Ｇ成分が強い）方の境界線が、炎症の程度の最も低い炎症部位を示す軸（粘膜変化軸ＡＸ２）に相当する。
このような基準軸の設定を行った後、正射影された画像の色成分に対して後述する赤色の程度を示す生体組織赤色度を算出する処理が行われる。この生体組織赤色度を算出する処理の前に、正射影された画素データに対して色補正が行われる。
図３に示す基準軸は、一例であり、疾患の種類に応じて基準軸は種々異なる。

前処理部２２０ａは、炎症評価値の算出の前に、ＲＧ色空間で表された画像の色成分に対して色補正を行う。図示されないメモリには、補正マトリックス係数が保存されている。同一の炎症部位にも拘らず、異なる電子内視鏡システムで撮像したときに後述する炎症評価値がばらつかないように（言い換えると、電子スコープの個体間誤差を抑えるために）、前処理部２２０ａは、各画素のＲＧ色空間内の画素対応点である画素データ（Ｒ，Ｇ）を、補正マトリックス係数を用いて下記式に示すように補正する。

Ｒ_new ：補正後の画素データ（Ｒ成分）
Ｇ_new ：補正後の画素データ（Ｇ成分）
Ｍ₀₀〜Ｍ₁₁：補正マトリックス係数
Ｒ ：補正前の画素データ（Ｒ成分）
Ｇ ：補正前の画素データ（Ｇ成分）

特徴量算出部２２０ｂは、画素の中から一つの注目画素を選択し、選択した注目画素について、生体組織赤色度を、注目画素の色成分の情報に基づいて炎症の程度を計算するためのずれ角度を算出する。すなわち、画素の色成分の情報に基づいて生体組織の赤色の程度を数値化する数値化処理を行う。図４は、一実施形態で用いる生体組織赤色度を計算するためのずれ角度を計算する方法を説明する図である。具体的には、特徴量算出部２２０ｂは、図４に示すように、ヘモグロビン変化軸ＡＸ１と粘膜変化軸ＡＸ２との交点を基準点Ｏ’とし、基準点Ｏ’と注目画素の画素対応点Ｐとを結ぶ線分Ｌの向きが、基準軸ＡＸ１に対してずれるずれ角度θを算出する。なお、基準点Ｏ’は座標（−１５０，−７５）に位置する。基準点Ｏ’を座標（−１５０，−７５）にする例に挙げたが、これに限定されるものではない。上記基準点Ｏ’は、適宜変更可能であり、例えば、ＲＧ色空間のＲ軸とＧ軸の交点であってもよい。

基準点Ｏ’として好適な座標位置は、例えば、明るさの変動による評価結果の誤差を少なくできる位置である。具体的には、基準点Ｏ’は、暗部（輝度が所定値未満）での評価結果と非暗部（輝度が所定値以上）での評価結果との誤差を最小にする点を予め求めることで設定することが好ましい。

また、例えば、基準点Ｏ’を座標（−１０，−１０）から（１０，１０）の間に設定すると、座標（−１５０，−７５）等を基準点Ｏ’と設定した場合と比較して、画素対応点が変化した場合の角度θの変化量が大きくなるため、分解能が向上する。これにより、精度の高い評価結果を得ることができる。
他方、基準点Ｏ’を座標（−５０，−５０）から（−２００，−２００）の間に設定することで、炎症の程度を示す評価結果はノイズの影響を受け難い。

体腔内の生体組織を撮影した画像の明るさが白色光の当たり具合によって変化すると、画像の色は、個人差、撮影箇所、炎症の状態等の影響があるものの、ＲＧ色空間内において、概ね、重症度の最も高い炎症部位ではヘモグロビン変化軸ＡＸ１上に沿って変化し、炎症の程度が最も低い炎症部位では粘膜変化軸ＡＸ２上に沿って変化する。また、炎症の程度が中間程度である炎症部位の画像の色も同じ傾向で変化するものと推定される。すなわち、炎症部位に対応する画素対応点は、照明光の当たり具合によって変化すると、基準点Ｏ’を起点とした方位角方向にシフトする。言い換えると、炎症部位に対応する画素対応点は、照明光の当たり具合によって変化すると、粘膜変化軸ＡＸ２に対するずれ角度θが一定のまま移動して基準点Ｏ’との距離が変わる。これは、ずれ角度θが画像の明るさの変化に実質的に影響を受けないパラメータであることを意味する。

ずれ角度θが小さいほどＲ成分がＧ成分に対して強くなり、病変部における赤色の程度が相対的に大きいことを示す。また、ずれ角度θが大きいほどＧ成分がＲ成分に対して強くなり、赤色の程度が相対的に小さいことを示す。そこで、特徴量算出部２２０ｂは、ずれ角度θがゼロであるときに値２５５となり、ずれ角度θがθ_ＭＡＸであるときに値ゼロとなるように、角度θを正規化する。なお、θ_ＭＡＸは、ヘモグロビン変化軸ＡＸ１と粘膜変化軸ＡＸ２とがなす角度と等しい。すなわち、評価値算出部２２０ｂは、各注目画素について、各注目画素の色成分の情報に基づいて赤色の程度を数値化する数値化処理を行うことにより、０〜２５５の範囲に収まる生体組織赤色度（第１画素評価値）を求める。
なお、注目画素は、画像の全画素について１つずつ選択される。
なお、図４に示す例では、色空間としてＲＧ色空間を用いるが、ＲＧ色空間に代えてＲＢ色空間を用いることもできる。

特徴量算出部２２０ｂは、ずれ角度θに基づいて生体組織赤色度を第１画素評価値として算出するが、場合によっては、生体組織の潰瘍の特徴の程度を示す後述する生体組織白色度（第３画素評価値）を算出する。例えば、生体組織の画像の各画素の各色成分の画素値に対して、線形なゲイン（利得）を与えるゲイン調整を行い、病変に特有の色域付近におけるダイナミックレンジを実質的に広げて、色表現の実効的な分解能を高める、トーン強調処理を行うことにより、例えば、潰瘍性大腸炎の白苔や膿様粘液を含む潰瘍部位は白色を示し、浮腫や易出血性を含む赤色を示す炎症部位や黄色あるいは緑色を示す正常部位と色成分によって区別することができる。生体組織白色度は、図４に示すような２つの色成分（Ｒ成分、Ｇ成分、Ｂ成分のうち２つ）あるいは３つの色成分（Ｒ成分、Ｇ成分、Ｂ成分）の座標軸とする色空間上に表した、ヘモグロビン変化軸ＡＸ１とは異なる基準軸に対するずれ角度を用いて計算することができる。なお、トーン強調処理は、前処理部２２０ａが行う。

特徴量算出部２２０ｂは、さらに、生体組織赤色度に応じて変化する表示色で生体組織の画像をモザイク化したカラーマップ画像を作成する。カラーマップ画像を表示可能とするため、画素評価値と所定の表示色とを対応付けたテーブルが図示されないメモリ等の記憶領域に記憶されている。このテーブルでは、例えば、値５刻みで異なる表示色が対応付けられている。例示的には、画素評価値が０〜５の範囲では青色が対応付けられており、該画素評価値が５増える毎に色相環での色の並び順に従って異なる表示色が対応付けられており、該画素評価値が２５０〜２５５の範囲では赤色が対応付けられている。表示色は、例えば、生体組織赤色度が大きいほど青色から黄色さらには赤色といったように、寒色から暖色に近づく色とする。特徴量算出部２２０ｂは、選択された注目画素の、カラーマップ画像上での表示色を、上記テーブルを参照して、注目画素の生体組織赤色度に応じて決定する。
こうして、特徴量算出部２２０ｂは、生体組織赤色度に応じて色を付与したカラーマップ画像を作成する。

特徴量算出部２２０ｂは、さらに、生体組織を撮像して得られる画像中の生体組織の血管領域の確からしさを、血管を特徴付ける形状に基づいて判定し、必要に応じて、求めた確からしさにより、血管領域を抽出する。
図５（ａ）に示すように、生体組織を撮像した画像には、病変部Ｘの近傍には、粘膜を通して透けて見える筋状の血管領域Ｙの像も含まれる。このような画像に対して上述の生体組織赤色度に応じて色分けした、図５（ｂ）に示すカラーマップ画像においても、血管領域Ｙは炎症部位と同じ色で表示される場合がある。図５（ａ），（ｂ）は、生体組織の画像の一例と、従来の方法で得られるカラーマップ画像の一例を模式的に説明する図である。
特徴量算出部２２０ｂは、血管領域Ｙの確からしさを求め、確からしさに基づいて血管領域Ｙを抽出する。

図６は、一実施形態における血管領域Ｙを抽出する方法の一例を説明する図である。
特徴量算出部２２０ｂは、生体組織の画像の一部の検査対象エリアＡＲの形状と複数のテンプレートＴＰ１〜ＴＰ４の直線形状それぞれとの相関の程度を表すマッチング度を求め、複数のテンプレートＴＰ１〜ＴＰ４それぞれに対応するマッチング度の中で、最も高い最高マッチング度を検査対象エリアＡＲにおける血管領域Ｙの確からしさとする。テンプレートＴＰ１〜ＴＰ４は、画素で構成され、テンプレートＴＰ１〜ＴＰ４は、直線の延在方向を互いに異ならせた複数の直線形状を備える。テンプレートＴＰ１〜ＴＰ４は、それぞれの直線形状に合わせて各画素は画素値を有する。図６に示すように、画像の端から矢印に沿って順番に検査対象エリアＡＲをオーバーラップさせながら移動させることにより、検査対象エリアＡＲ内の画像の画素評価値とテンプレートＴＰ１〜ＴＰ４それぞれの対応する画素の値との相関度を求める。一実施形態によれば、テンプレートＴＰ１〜ＴＰ４は、血管を特徴付ける形状として、直線を４つの異なる延在方向に延ばした４つの直線形状を備える。検査対象エリアＡＲが血管領域を含む場合、検査対象エリアＡＲ内の画素値は、血管が筋状に延びるといった特徴形状の情報を含んでいるので、ずれ角度θに応じて設定された画素評価値を画素値とする画像を用いて、血管領域Ｙを抽出することができる。テンプレートＴＰ１〜ＴＰ４は、図６に示す白領域及び黒領域に対応して画素毎に値を有する。このため、一実施形態によれば、マッチング度は、テンプレートＴＰ１〜ＴＰ４の画素の値と、検査対象領域ＡＲの対応する画素評価値との相関係数である。また一実施形態によれば、マッチング度は、テンプレートＴＰ１〜ＴＰ４の画素毎の値を空間フィルタのフィルタ係数として、このフィルタ係数のそれぞれと検査対象エリアＡＲの対応する画素の画像評価値を乗算して合計した値であってもよい。

テンプレートＴＰ１〜ＴＰ４のそれぞれについて算出したマッチング度のうち値が最も高い最高マッチング度が、血管領域の確からしさを示す値として、検査対象エリアＡＲの中心画素に与えられる。

図７は、テンプレートＴＰ１を空間フィルタとして用いる場合のフィルタ係数の一例を示す図である。テンプレートＴＰ１は、図６に示すように、図中の上下方向に直線が延びる形状を有する。図７では、一例として、テンプレートＴＰ１は、５×５画素の空間フィルタを構成している。この場合、直線に延びる部分の画素には、フィルタ係数として１／５が与えられ、それ以外の画素には、フィルタ係数として−１／２０が与えられている。フィルタ係数のそれぞれと検査対象エリアＡＲの対応する画素の同一の画像評価値を乗算して合計した値をマッチング度として計算するとき、検査対象エリアＡＲのいずれの画素評価値も同一の値である場合、マッチング度はゼロになる。一方、検査対象エリアＡＲに上下方向に筋状に延びる血管の像が含まれる場合、マッチング度は増大する。このマッチング度の値が大きいほど、テンプレートＴＰ１に近似する像を含んでいるといえる。したがって、テンプレートＴＰ１〜ＴＰ４のそれぞれについてマッチング度を計算し、計算したマッチング度の中で値が最も高い最高マッチング度を、血管領域Ｙの確からしさとして、検査対象領域ＡＲの中心画素に与える。すなわち、血管領域Ｙの確からしさの値は、検査対象エリアＡＲの中心画素に与えられる。

このようなマッチング度は、生体組織赤色度である画素評価値を、テンプレートＴＰ１〜ＴＰ４のそれぞれを用いて空間フィルタリングした結果であるので、空間フィルタリングにより処理された画素評価値を各画素が有する画像の各画素の値は、テンプレートＴＰ１〜ＴＰ４のいずれかにマッチングするときのマッチング度の情報を含んでおり、上記空間フィルタリングによって得られた画像は、血管領域Ｙを反映した画素値となっている。したがって、特徴量算出部２２０ｂは、各画素における血管の確からしさの値が予め定めた値より大きいか否かを判定し、画素における血管の確からしさの値が予め定めた値より大きい場合、その画素は血管領域Ｙにあると判定することにより、血管領域Ｙを抽出する。
特徴量算出部２２０ｂは、抽出した血管領域Ｙに対応する画素における生体組織赤色度を血管赤色度として定める。この場合、血管領域Ｙに対応しない領域の血管赤色度はゼロとする。また、特徴量算出部２２０ｂは、血管の確からしさを０〜１の範囲に正規化した値を求め、この値が高い程値が高くなり、低い程値が低くなるように生体組織赤色度を補正した結果を血管赤色度として求めてもよい。このように、全画素に対して血管赤色度が計算される。例えば、生体組織赤色度の値に、血管の確からしさの値を乗算した結果を血管赤色度として求めてもよい。
このように、一実施形態の特徴量算出部２２０ｂは、生体組織赤色度を第１画素評価値として算出し、血管赤色度を第２画素評価値として算出する。したがって、この実施形態における第１画素評価値は、画像の炎症部位が示す色成分の程度を示す評価値であり、第２画素評価値は、画像中の血管の形状をなした部分に含まれる色成分の程度を示す評価値である。

代表値算出部２２０ｃは、特徴量算出部２２０ｂが算出した各画素の生体組織赤色度（第１画素評価値）を統合することにより撮像した生体組織の生体組織赤色度の代表値（第１代表評価値）を算出し、さらに、特徴量算出部２２０ｂが算出した各画素の血管赤色度（第２画素評価値）を統合することにより撮像した血管赤色度の代表値（第２代表評価値）を算出する。
各画素における生体組織赤色度及び血管赤色度の統合の処理は、各画素の生体組織赤色度及び血管赤色度の平均値を算出する平均化処理であってもよいし、別の公知の処理、例えば、メディアン値を求める処理であってもよい。平均化処理は、単純平均値を求める処理、及び加重平均値を求める処理を含む。また、公知の処理として、生体組織赤色度及び血管赤色度のそれぞれを、順位のついた少なくとも２つ以上のレベルに分け、この各レベルに属する画素数に所定の重み付け係数を乗算した値の合計値Ｐを所定の式に代入して代表値を算出する処理であってもよい。この場合、所定の式は、例えば１／（１＋ｅ^−Ｐ）である。この場合、重み付け係数は、医師による主観評価結果と相関を有するように、多重ロジスティック回帰分析によって得られる係数であることが好ましい。

統合部２２０ｄは、生体組織赤色度の代表値（第１代表評価値）及び血管赤色度の代表値（第２代表評価値）同士を統合することにより、病変の重症度を算出する。生体組織赤色度の代表値（第１代表評価値）及び血管赤色度の代表値（第２代表評価値）の統合は、生体組織赤色度の代表値と血管赤色度の代表値を加算、減算等の演算により行われる。例えば、血管赤色度の代表値が所定の閾値以上のとき、重症度は、生体組織赤色度の代表値から血管赤色度の代表値を減算した結果を重症度とし、血管赤色度の代表値が所定の閾値より低いとき、重症度は、生体組織赤色度の代表値と血管赤色度の代表値を加算した結果を重症度とする。
統合部２２０ｄは、計算した重症度を、特徴量算出部２２０ｂで作成したカラーマップ画像とともに、画面表示のための信号を生成してモニタ３００に送る。

図８は、１００枚の潰瘍性大腸炎の病変部の画像についての医師の主観評価結果であるMAYO endoscopic subscoreの分布範囲を概略的に示す図である。図８では、MAYO endoscopic subscoreの分布範囲が、生体組織赤色度の代表値と血管赤色度の代表値の直交座標系上で示されている。図中のＭＡＹＯ０，１，２のそれぞれは、MAYO endoscopic subscoreが０，１，２であることを示す。ＭＡＹＯ０から２に進むほど、病変の重症度は高くなることを意味する。
図８からわかるように、ＭＡＹＯ０からＭＡＹＯ１に進む場合、概略、血管赤色度が低下しつつ生体組織赤色度が上昇することを示している。また、ＭＡＹＯ１からＭＡＹＯ２に進む場合、概略血管赤色度及び生体組織赤色度の双方が上昇することを示している。したがって、この事実より、血管赤色度の代表値が所定の閾値ＴＨ以上か、未満かによって重症度の算出の方法が異ならせることが、MAYO endoscopic subscoreに対応させる点で好ましいことがわかる。

このような画像処理ユニット２２０を備える電子内視鏡用プロセッサ２００は、図９に示すフローに沿って病変の重症度を計算して重症度をモニタ３００に表示する。図９は、一実施形態の電子内視鏡用プロセッサ２００による病変の重症度の算出の処理のフローの一例を示す図である。

まず、現フレームの画像を、画像処理ユニット２２０は取得する（ステップＳ１０）。
次に、前処理部２２０ａは、上述したＲＧＢ変換、色空間変換、基準軸の設定、及び色補正、必要に応じてトーン強調処理を含む前処理を行い、さらに、特徴量算出部２２０ｂは、前処理を行った画像に対して、病変部が示す色成分あるいは形状に関する複数の特徴それぞれの程度を示す複数の画素評価値（第１画素評価値、第２画素評価値、第３画素評価値）、例えば生体組織赤色度及び血管赤色度度、生体組織白色度等を、画素毎に計算する（ステップＳ１２）。
特徴量算出部２２０ｂは、画素評価値を現フレームの画像の全画素について計算したか否かを判定する（ステップＳ１４）。全画素について画素評価値の計算を完了した場合、代表値算出部２２０ｃは、画素評価値を統合した代表値（第１代表評価値、第２代表評価値、あるいはさらに、第３代表評価値）を計算する（ステップＳ１６）。代表値は、画素評価値の種類毎に算出される。
この後、統合部２２０ｄは、複数の代表値を組み合わせて１つの重症度を計算する（ステップＳ１８）。すなわち、複数の代表値を演算して統合した１つの数値を病変の重症度として算出する。なお、複数の代表値の組み合わせについては、医師による主観評価結果が得られている生体組織の画像における複数の代表値の中で、主観評価結果に最もよく対応する代表値の組み合わせ方（統合の仕方）を予め回帰分析等により確立しておく。

図１０は、一実施形態で用いる代表値の組み合わせのフローの一例を示す図である。図１０に示す例では、第１画素評価値及び第２画素評価値として、生体組織赤色度及び血管赤色度を用いる。統合部２２０ｄは、代表値算出部２２０ｃで計算した生体組織赤色度の代表値と血管赤色度の代表値を取得する（ステップＳ３０）。統合部２２０ｄは、生体組織赤色度の代表値から血管赤色度の代表値を減算して、減算結果を重症度とする（ステップＳ３２）。なお、減算については、生体組織赤色度の代表値に定数αを乗算したものから血管赤色度の代表値に定数βを乗算したものを減算してもよい。
このような重症度は、炎症部位（図８におけるＭＹＹＯ０〜ＭＡＹＯ１）において、医師による主観評価結果と精度よく対応する。図８に示すように、炎症部位の炎症の程度が大きいほど、生体組織赤色度の代表値は大きくなり、血管赤色度の代表値は小さくなる分布を示す。したがって、生体組織赤色度の代表値がたまたま同じであっても、血管赤色度の代表値の相違によって、重症度の高低を判定することができる。同様に、血管赤色度の代表値がたまたま同じであっても、生体組織赤色度の代表値の相違によって、重症度の高低を判定することができる。

図１１は、図１０に示すフローとは別の一実施形態で用いる代表値の組み合わせのフローの一例を示す図である。図１１に示す例では、第１画素評価値及び第２画素評価値として、生体組織赤色度及び血管赤色度としている。統合部２２０ｄは、代表値算出部２２０ｃで計算した生体組織赤色度の代表値と血管赤色度の代表値を取得する（ステップＳ４０）。統合部２２０ｄは、血管赤色度の代表値が予め定めた閾値ＴＨ１以上であるか否かを判定する（ステップＳ４２）。血管赤色度の代表値が予め定めた閾値ＴＨ１以上である場合、統合部２２０ｄは、生体組織赤色度の代表値から血管赤色度の代表値を減算し、この減算結果を重症度とする（ステップＳ４４）。なお、減算については、生体組織赤色度の代表値に定数αを乗算したものから血管赤色度の代表値に定数βを乗算したものを減算してもよい。
一方、血管赤色度の代表値が予め定めた閾値ＴＨ１未満である場合、統合部２２０ｄは、生体組織赤色度の代表値と血管赤色度の代表値とを加算し、この加算結果を重症度とする（ステップＳ４６）。なお、加算については、生体組織赤色度の代表値に定数αを乗算したものと血管赤色度の代表値に定数βを乗算したものを加算してもよい。

このように、血管赤色度の代表値が閾値ＴＨ１以上であるか、未満であるかによって重症度の演算を変えるのは、図８に示すように、血管赤色度の代表値が高い場合、重症度が高くなる（ＭＡＹＯ０→ＭＡＹＯ１）程、図８に示す矢印Ａのように動き、血管赤色度の代表値が低い場合、重症度が高くなる（ＭＡＹＯ１→ＭＡＹＯ２）程、図８に示す矢印Ｂのように動くからである。このため、閾値ＴＨ１を境にして、重症度の演算を変えている。したがって、炎症部位（ＭＡＹＯ０→ＭＡＹＯ１）及び潰瘍部位（ＭＡＹＯ１→ＭＡＹＯ２）を含んだ病変部の病変の重症度の高低を精度よく判定することができる。なお、血管赤色度の代表値を閾値ＴＨ１と比較する代わりに、生体組織赤色度の代表値を閾値ＴＨ２（図８参照）と比較して、その比較結果に応じてステップＳ４４及びステップＳ４６のように、重症度の演算を異ならせてもよい。

図９に戻って、統合部２２０ｄは、ステップＳ１２で計算した画素評価値から生成されるカラーマップ画像とステップＳ１８で計算した重症度を画面表示のための信号を生成してモニタ３００に送る。これにより、モニタ３００は、カラーマップ画像と重症度の情報を表示する（ステップＳ２０）。
こうして画像処理ユニット２２０は、電子スコープ１００から順次撮像画像が送られてくる間、上記処理を繰り返す（ステップＳ２２）。

このように、画像処理ユニット２２０は、生体組織が示す色成分に関して、病変における複数の特徴それぞれの程度を示す画素評価値（第１画素評価値、第２画素評価値）を、画像から画素毎に算出し、複数の画素評価値それぞれを統合することにより複数の特徴に対応した特徴量の代表評価値（第１代表評価値、第２代表評価値）を算出し、この複数の代表評価値同士を演算することにより統合した１つの数値を、生体組織にある病変部の病変の重症度として算出する。このため、複数の画素評価値を用いて、病変の重症度を算出するので、従来のように、生体組織の赤色の情報のみを用いて評価する場合に比べて病変部における病変の重症度を精度よく評価することができる。

図１０，１１に示す画素評価値の代表値の組み合わせの例は、いずれも、２つの画素評価値として生体組織赤色度と血管赤色度を用いて、重症度を算出するが、３つ以上の画素評価値を用いて重症度を算出することもできる。図１２は、３つの画素評価値を用いて重症度を計算する一実施形態のフローの一例を示す図である。

図１２に示す例では、３つの画素評価値として、生体組織赤色度と、血管赤色度と、生体組織白色度と、を用いる。生体組織白色度は、生体組織における潰瘍の特徴の程度を示す。例えば、生体組織の画像の各画素の各色成分の画素値に対して、非線形なゲイン（利得）を与えるゲイン調整を行い、病変に特有の色域付近におけるダイナミックレンジを実質的に広げて、色表現の実効的な分解能を高める、トーン強調処理を行うことにより、例えば潰瘍性大腸炎における潰瘍部位は、白苔や膿様粘液を含むため白色を示す。一方、炎症部位は、浮腫や易出血性を含む赤色を呈し、正常部位は、黄色あるいは緑色を示す。したがって、生体組織白色度は、図４に示すような２つの色成分（Ｒ成分、Ｇ成分、Ｂ成分のうち２つ）あるいは３つの色成分（Ｒ成分、Ｇ成分、Ｂ成分）の座標軸とする色空間上に表した、図４に示すヘモグロビン変化軸ＡＸ１のような基準軸とは異なる基準軸に対するずれ角度を用いて計算する。このような生体組織白色度が、特徴量算出部２２０ｂで、生体組織赤色度及び血管赤色度と共に計算され、生体組織白色度の代表値が、代表値算出部２２０ｃで、生体組織赤色部及び血管赤色部と共に計算される。こうして、統合部２２０ｄは、代表値算出部２２０ｃで計算した生体組織赤色部の代表値と、血管赤色度の代表値と、生体組織白色度の代表値と、を取得する（ステップＳ５０）。

統合部２２０ｄは、血管赤色度の代表値が予め定めた閾値ＴＨ１以上であるか否かを判定する（ステップＳ５２）。血管赤色度の代表値が予め定めた閾値ＴＨ１以上である場合、統合部２２０ｄは、生体組織赤色度の代表値から血管赤色度の代表値を減算し、この減算結果を重症度とする（ステップＳ５４）。なお、減算については、生体組織赤色度の代表値に定数αを乗算したものから血管赤色度の代表値に定数βを乗算したものを減算してもよい。
一方、血管赤色度の代表値が予め定めた閾値ＴＨ１未満である場合、統合部２２０ｄは、生体組織赤色度の代表値と生体組織白色度の代表値とを加算し、この加算結果を重症度とする（ステップＳ５６）。なお、加算については、生体組織赤色度の代表値に定数αを乗算したものと生体組織白色度の代表値に定数βを乗算したものを加算してもよい。
生体組織白色度の代表値は、潰瘍部位が含む白苔や膿様粘液が示す色成分と同じ、白色の程度を示すことから、病変の程度が強くなるほど、生体組織白色度の代表値は大きくなる。また、病変の程度が進むと血管は見え難くなる（血管の赤色は目立たなくなる）ため、病変の程度が強いとき、血管赤色度の代表値は小さい。このため、炎症部位のみの場合と炎症部位と潰瘍部位を含む場合の境として血管赤色度の閾値ＴＨ１を用いる。このように、生体組織における炎症の程度と潰瘍の程度を同時に評価することができるため、医師による主観評価結果と精度よく対応する。

図１２に示す例では、ステップＳ５２において、血管赤色度の代表値が予め定めた閾値ＴＨ１以上であるか否かを判定し、判定結果に応じて、ステップＳ５４あるいはステップＳ５６の計算を行なって重症度を算出するので、血管赤色度の代表値が閾値ＴＨ１の近傍で、重症度が不連続に変化する場合がある。この場合は、血管赤色度の代表値が予め定めた閾値ＴＨ１以上であるか否かの判定を行うステップＳ５２を行うことなく、重症度を、生体組織赤色度の代表値から血管赤色度の代表値を減算し、さらに、生体組織白色度の代表値を加算した結果として求めてもよい。すなわち、統合部２２０ｄは、取得した３つの代表評価値同士を演算して統合した１つの数値を病変の重症度として算出するように構成してもよい。この場合、生体組織赤色度の代表値から血管赤色度の代表値を減算するとき、血管赤色度の代表値に定数を乗算したものを生体組織赤色度の代表値から減算してもよく、生体組織白色度の代表値を加算するとき、生体組織白色度の代表値に定数を乗算したものを加算してもよい。

上述の実施形態では、生体組織赤色度、血管赤色度、及び生体組織白色度のように、病変部が示す色成分に関する特徴の程度を示す画素評価値を計算したが、病変部が示す形状に関する特徴の程度を示す画素評価値を計算してこの画素評価値の代表価を用いて病変の重症度を計算することもできる。図１３は、図１２に示す画素評価値の代表値の組み合わせと異なる、一実施形態の組み合わせのフローの一例を示す図である。

潰瘍性大腸炎とは異なるクローン病では、病変部は潰瘍部位を含み、かつ生体組織の表面が凹凸形状となる特徴を有するため、クローン病は、潰瘍性大腸炎と生体組織表面の特徴が異なる。このため、クローン病の病変部の病変の程度を評価するために、病変部が示す形状に関する特徴の程度を示す画素評価値を計算する。形状に関する特徴の程度は、例えば、生体組織の表面の凹凸の程度である。
形状に関する特徴の程度が、生体組織の表面の凹凸の程度である場合、この凹凸の程度は、画像の輝度成分（Ｙ信号）の画像に公知のエッジ検出フィルタを用いて求めることができるエッジ強度により評価することができる。したがって、特徴量算出部２２０ｂは、エッジ検出用フィルタを用いて得られるエッジ強度に基づいて、画素毎に生体組織表面凹凸度を計算する。生体組織表面凹凸度の値は、生体組織の表面の凹凸が激しくなる程、大きくなる。
上述したように、特徴量算出部２２０ｂは、生体組織の潰瘍の特徴の程度を示す生体組織白色度を計算する。
代表値算出部２２０ｃは、生体組織白色度及び生体組織表面凹凸度の代表値を求める。生体組織表面凹凸度の代表値は、生体組織赤色度や血管赤色度等の代表値と同様に、特に制限はされず、平均値やメディアン値であってもよく、公知の処理から計算される値であってもよい。

統合部２２０ｄは、図１３に示すように、生体組織白色部の代表値及び生体組織表面凹凸度の代表値を取得する（ステップＳ６０）。
統合部２２０ｄは、取得した生体組織白色部の代表値と生体組織表面凹凸度の代表値とを加算し、加算した結果を重症度とする（ステップＳ６２）。加算については、生体組織白色度の代表値に定数βを乗算したものと生体組織表面凹凸度の代表値に定数γを乗算したものを加算してもよい。
このように、生体組織白色度の代表値と生体組織表面凹凸度の代表値とを加算し、加算した結果を重症度とするので、病変が潰瘍を伴う場合が多いクローン病において、病変のが進行するほど、表面凹凸の大きくなることから、潰瘍の色成分がたまたま同じ場合でも、生体組織表面凹凸度の相違によって、重症度の高低を判定することができる。また、表面凹凸の程度がたまたま同じ場合でも、生体組織の潰瘍の色成分の程度を示す生体組織白色度の相違によって重症度の高低を判定することができる。

このように、画像処理ユニット２２０は、病変部が示す色成分に関する特徴の程度、あるいは色成分及び形状に関する特徴の程度、を示す画素評価値を、画像から画素毎に算出し、画素評価値の種類毎に統合することにより複数の特徴に対応した特徴量の代表評価値を算出し、この複数の代表評価値同士を演算して統合した１つの数値を、病変の重症度として算出する。このため、従来のように、生体組織の赤色の情報のみを用いて評価する場合に比べて病変部における病変の程度を精度よく評価することができる。
なお、上記形状に関する特徴の程度は、表面の凹凸形状の他に、テクスチャ形状を示す表面塑造の形状であってもよい。表面塑造の程度は、画像の輝度成分（Ｙ信号）の画像に公知のフィルタを用いて同時生起行列を作成して、各画素を評価することができる。

なお、病変部が示す色成分の特徴の１つ（第２特徴）の程度は、画像中の所定の形状をなした部分、例えば筋状の血管の部分に含まれる色成分の程度、例えば赤色の程度である。このため、生体組織の赤色の程度の他に、血管領域の赤色の程度を評価することにより、従来に比べて精度よく炎症性腸疾患における炎症部位の病変の程度を評価することができる。

病変部が示す特徴の１つ（第２特徴）の程度は、画像中の所定の形状、例えば生体組織の表面凹凸の程度あるいは表面塑造の程度である。このため潰瘍の程度と生体組織の表面の凹凸度等の所定の形状の程度に基づいて、精度よく、クローン病等の病変の程度を評価することができる。

画素評価値の１つは、生体組織の炎症の程度を示す色成分、例えば赤色に関する特徴の程度を示す値、例えば、生体組織赤色度であり、画素評価値の１つは、画像中の、筋状に延びる血管を示す血管領域の色成分、例えば血管領域に含まれる赤色の程度を示す値、例えば血管赤色度である。このため、炎症性腸疾患における炎症部位の病変の程度を従来に比べて精度よく評価することができる。

電子スコープ１００から送られる撮像した画像の色成分は、赤色成分、緑色成分、及び青色成分を含み、特徴量算出部２２０ｂは、赤色成分と、青色成分あるいは緑色成分とによって定義される色空間内において、図４に示すように、色空間内に設定される基準点Ｏ’と画像の各画素の色成分に対応する画素対応点Ｐとを結ぶ線分Ｌの向きが、ヘモグロビン変化軸ＡＸ１のような基準軸に対してずれるずれ角度θに基づいて画素評価値を算出するので、炎症性腸疾患において、画像の明暗によらず、客観的に炎症を評価することができる。

また、図８に示すように、生体組織赤色度の代表値（第１代表評価値）あるいは血管赤色度の代表値（第２代表評価値）が閾値を越える場合と越えない場合との間で、図１１に示すように、重症度を算出する演算を異ならせることにより、従来に比べてより精度よく病変部における病変の程度を評価することができる。したがって、統合部２２０ｄは、統合した１つの数値を算出するために、複数の代表評価値のうちの少なくとも１つの代表評価値の高低によって異なる演算を行うように構成されることが好ましい。

特徴量算出部２２０ｂは、一実施形態によれば、病変部が示す色成分に関する生体組織の赤色の程度（第１特徴量）及び血管の赤色の程度（第２特徴量）と異なる、生体組織の表面の凹凸の程度（第３特徴量）の程度を示す生体組織表面凹凸度（第３画素評価値）を画素毎に算出し、統合部２２０ｄは、血管赤色度の代表値（第２代表評価値）が閾値以上の場合、生体組織赤色度の代表値（第１代表評価値）から血管赤色度の代表値（第２代表評価値）を減算し、血管赤色度の代表値（第２代表評価値）が閾値未満の場合、生体組織赤色度の代表値（第１代表評価値）に生体組織白色度の代表値（第３代表評価値）を加算することにより、重症度を算出する。このため、クローン病における病変の程度を精度よく評価することができる。したがって、統合部２２０ｄは、統合した１つの数値を算出するために、複数の代表評価値のうちの少なくとも１つの代表評価値の高低によって異なる演算を行うように構成されることが好ましく、その際、異なる演算では、演算に用いる少なくとも２つの代表評価値の組が、生体組織赤色度の代表値（第１代表評価値）及び血管赤色度の代表値（第２代表評価値）の組と、生体組織赤色度の代表値（第１代表評価値）及び生体組織白色度の代表値（第３代表評価値）の組のように異なることが好ましい。

画素評価値の１つは、上述したように、生体組織の潰瘍の程度を示す色成分に関する特徴の程度を示す値、例えば生体組織白色度である、ことが好ましい。

以上、本発明の内視鏡システムについて詳細に説明したが、本発明の内視鏡システムは上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１ 電子内視鏡システム
１００ 電子スコープ
２００ 電子内視鏡用プロセッサ
２２０ 画像処理ユニット
２２０ａ 前処理部
２２０ｂ 特徴量算出部
２２０ｃ 代表値算出部
２２０ｄ 統合部
２２２ メモリ
２２４ 画像メモリ
２３０ 光源部
３００ モニタ
４００ プリンタ
６００ サーバ

Claims (14)

1. 体腔内の生体組織を撮像するように構成された電子内視鏡と、
   前記電子内視鏡で得られた前記生体組織の病変部の画像から、前記生体組織の病変の程度を前記画像の色成分の情報を少なくとも用いて１つの値で表した病変の重症度を求めるように構成された画像処理ユニットを含むプロセッサと、
   前記重症度の情報を表示するように構成されたモニタと、を備え、
   前記画像処理ユニットは、
   前記病変部に現れる外観の第１特徴及び第２特徴を少なくとも含む複数の外観の特徴のそれぞれを、前記病変部が示す色成分、あるいは前記病変部の形状により前記生体組織の健常部の特徴と区別できる、前記複数の外観の特徴に対応した複数の画素評価値であって、前記病変部が示す色成分、あるいは前記色成分及び前記病変部の形状に関する、前記第１特徴及び前記第２特徴のそれぞれの程度を示す第１画素評価値及び第２画素評価値を含む前記複数の画素評価値を、前記画像から画素毎に算出するように構成された特徴量算出部と、
   前記画像における各画素の前記複数の画素評価値それぞれを前記複数の外観の特徴毎に統合することにより撮像した生体組織の前記第１特徴の第１代表評価値及び前記第２特徴の第２代表評価値を含む複数の代表評価値を算出するように構成された代表値算出部と、
   前記複数の代表評価値のうち少なくとも２つの代表評価値を演算して統合した１つの数値を前記病変の重症度として算出するように構成された統合部と、
   を備えることを特徴とする内視鏡システム。
2. 前記統合部は、前記１つの数値を算出するために、前記複数の代表評価値のうちの少なくとも１つの代表評価値の高低によって異なる演算を行うように構成される、請求項１に記載の内視鏡システム。
3. 前記異なる演算では、前記演算に用いる少なくとも２つの代表評価値の組が異なる、請求項２に記載の内視鏡システム。
4. 体腔内の生体組織を撮像するように構成された電子内視鏡と、
   前記電子内視鏡で得られた前記生体組織の病変部の画像から、前記生体組織の病変の程度を前記画像の色成分の情報を用いて１つの値で表した病変の重症度を求めるように構成された画像処理ユニットを含むプロセッサと、
   前記重症度の情報を表示するように構成されたモニタと、を備え、
   前記画像処理ユニットは、
   前記病変部に現れる外観の第１特徴及び第２特徴のそれぞれを、前記病変部が示す色成分、あるいは前記病変部の形状により前記生体組織の健常部と区別できる２つの画素評価値であって、前記病変部が示す色成分、あるいは前記色成分及び前記病変部の形状に関する、前記第１特徴及び前記第２特徴それぞれの程度を示す第１画素評価値及び第２画素評価値を、前記画像から画素毎に算出するように構成された特徴量算出部と、
   前記画像における各画素の前記第１画素評価値を統合することにより撮像した生体組織の前記第１特徴の第１代表評価値を算出し、前記画像における各画素の前記第２画素評価値を統合することにより撮像した生体組織の前記第２特徴の第２代表評価値を算出するように構成された代表値算出部と、
   前記第１代表評価値及び前記第２代表評価値を演算して統合した１つの数値を前記病変の重症度として算出するように構成された統合部と、
   を備えることを特徴とする内視鏡システム。
5. 前記第２特徴の程度は、前記画像中の所定の形状をなした部分に含まれる色成分の程度である、請求項１〜４のいずれか１項に記載の内視鏡システム。
6. 前記第２特徴の程度は、前記画像中の所定の形状をなした部分における前記所定の形状の特徴の程度である、請求項１〜４のいずれか１項に記載の内視鏡システム。
7. 前記第１特徴の程度は、前記画像の前記病変部が示す色成分の程度である、請求項１〜６のいずれか１項に記載の内視鏡システム。
8. 前記第１画素評価値は、生体組織の炎症の程度を示す色成分に関する特徴の程度を示す値であり、
   前記第２画素評価値は、前記画像中の、筋状に延びる血管を示す血管領域に含まれる色成分の程度を示す値である、請求項１〜７のいずれか１項に記載の内視鏡システム。
9. 前記画像の色成分は、赤色成分、緑色成分、及び青色成分を含み、
   前記特徴量算出部は、前記赤色成分と、前記青色成分あるいは前記緑色成分とによって定義される色空間内において、前記色空間内に設定される基準点と前記画像の各画素の色成分に対応する画素対応点とを結ぶ線分の向きが、前記基準点を通る、予め定めた基準軸に対してずれるずれ角度に基づいて前記第１画素評価値を算出するように構成される、請求項１〜８のいずれか１項に記載の内視鏡システム。
10. 前記統合部は、前記第１代表評価値あるいは前記第２代表評価値が閾値を越える場合と越えない場合との間で、前記重症度を算出する演算を変えるように構成される、請求項１〜９のいずれか１項に記載の内視鏡システム。
11. 前記統合部は、前記第２代表評価値が閾値以上の場合、前記第１代表評価値から前記第２代表評価値を減算し、前記第２代表評価値が閾値未満の場合、前記第１代表評価値に前記第２代表評価値を加算することにより、前記重症度を算出するように構成される、請求項１〜８のいずれか１項に記載の内視鏡システム。
12. 前記第１特徴の程度は、前記画像の前記病変部が示す色成分の程度であり、
    前記第２特徴の程度は、前記画像中の所定の形状をなした部分に含まれる色成分の程度である、請求項１〜４のいずれか１項に記載の内視鏡システム。
13. 前記特徴量算出部は、前記第１特徴及び前記第２特徴と異なる、前記病変部が示す色成分に関する第３特徴の程度を示す第３画素評価値を画素毎に算出するように構成され、
    前記代表値算出部は、前記画像における各画素の前記第３画素評価値を統合することにより撮像した生体組織の前記第３特徴の第３代表評価値を算出するように構成され、
    前記統合部は、前記第２代表評価値が閾値以上の場合、前記第１代表評価値から前記第２代表評価値を減算し、前記第２代表評価値が閾値未満の場合、前記第１代表評価値に前記第３代表評価値を加算することにより、前記重症度を算出するように構成される、請求項１〜４、及び１２のいずれか１項に記載の内視鏡システム。
14. 前記第１画素評価値は、生体組織の炎症の程度を示す色成分に関する特徴の程度を示す値であり、
    前記第２画素評価値は、前記画像中の、筋状に延びる血管を示す血管領域に含まれる色成分の程度を示す値であり、
    前記第３画素評価値は、生体組織の潰瘍の程度を示す色成分に関する特徴の程度を示す値である、請求項１３に記載の内視鏡システム。