JP7068487B2 - 電子内視鏡システム - Google Patents

Description

本発明は、器官内における生体組織を撮像することにより、器官の病変の程度を評価する電子内視鏡システムに関する。

生体組織における病変部は、生体組織の粘膜層が薄くなって荒れて赤色を示す炎症から、粘膜層及びその下層まで部分的に欠落する潰瘍まで、種々のレベルの重症度が存在する。例えば、潰瘍性大腸炎（ＵＣ：Ulcerative Colitis）の病変の潰瘍部では、白苔や膿様粘液を含み白色になり、また、炎症部では、浮腫や易出血性を含む赤色を帯びる。このような病変部を、内視鏡システムで撮像して観察することができる。

しかし、術者が内視鏡の画像内に含まれる色の相違によって正常部（健常部ともいう）と病変部とを識別できるようになるためには、熟練者の指導下で長期間のトレーニングを受ける必要がある。また、熟練した術者であっても僅かな色の違いから病変部を識別することは容易ではなく、慎重な作業が要求される。したがって、内視鏡システムは、器官内における病変部の病変の程度を客観的に数値化した評価結果を提供することが好ましい。
これに対して、画像の明るさによる炎症部の評価値の変動を抑えて安定した評価値の計算を行い、かつ、評価値の計算の処理負荷を抑えることが可能な内視鏡システムが知られている（特許文献１）。

国際公開第２０１７／０５７６８０号

上述の内視鏡システムでは、被写体に向けて照明光を照射する光源装置と、被写体からの反射光を撮像素子により撮像し、少なくとも３つ以上の色成分を含むカラー画像を取得する画像取得部と、少なくとも３つ以上の色成分のうちの少なくとも２つの色成分によって定義される色平面内において、色平面内に設定された所定の基準点及び画像取得部で取得されるカラー画像を構成する各画素の色平面内における画素対応点を結ぶ線分と、対象疾患に相関を有する基準軸と、がなす角度に基づいて各画素の対象疾患に関する評価結果を求める評価部と、を備える。基準軸は、所定の基準点を通るように設定される。基準軸は、色平面内において炎症度が所定値以下の対象疾患と相関を有する軸及び炎症度が所定値以上である対象疾患と相関を有する軸の少なくとも一方である。
このような構成によれば、画像の明るさによる炎症評価値の変動を抑えて、安定した炎症評価値の計算を行い、かつ、炎症評価値の計算の処理負荷を抑えることができる。

しかし、上記内視鏡システムが器官内における生体組織の病変を評価する場合、評価は、画像を撮像した生体組織の部分に限定され、器官内部における奥行き方向に、どの程度の強さの病変部がどの程度広がっているのかの評価を適切に行うことはできない。
器官内における病変の程度（病変の重症度）は、病変部における病変の強さと、病変部の広がりとによって評価することが好ましいが、従来の内視鏡システムでは、病変部の広がりを含めて器官内における病変の程度を総合的に評価することが十分にできない。

そこで、本発明は、器官内における病変の程度（病変の重症度）を評価する際、病変部における病変の強さと、病変部の広がりとによって、器官の病変の程度を総合的に評価することができる電子内視鏡システムを提供することを目的とする。

本発明の一態様は、器官内部における生体組織の病変を評価する電子内視鏡システムである。当該電子内視鏡システムは、
器官内における生体組織を撮像するように構成された電子内視鏡と、
撮像された前記生体組織の複数の画像を処理して前記器官内における病変の程度を評価するように構成された評価ユニットを備えるプロセッサと、
前記病変の評価結果を画面表示するように構成されたモニタと、を備える。
前記評価ユニットは、
前記生体組織の複数の画像それぞれに対して、前記画像それぞれにおける前記生体組織の病変の強さを示す画像評価値を算出するように構成された画像評価値算出部と、
前記画像それぞれを撮像した前記器官内部における撮像位置の情報を前記画像それぞれと対応付けて取得するように構成された撮像位置情報取得部と、
前記画像それぞれにおける前記病変の有無を、前記画像評価値が予め定めた閾値を越えるか否かに基づいて判定することにより、前記病変が前記器官内部の奥行き方向で連続して広がっている病変部の領域の開始位置と終了位置を求める病変部位置算出部と、
前記開始位置と前記終了位置から算出される評価対象の前記病変部の長さを前記病変部の広がり情報として、前記広がり情報と、前記病変部を撮像した病変部撮像画像の画像評価値の代表値と、を用いて、前記器官における前記病変の程度を評価するように構成された器官病変評価部と、を備える。

前記病変部位置算出部は、前記病変が複数の箇所に存在する場合、前記病変が連続的に広がっている奥行き方向の長さが最大のものを、評価対象の前記病変部として用いる、ことが好ましい。

本発明の他の一態様は、器官内部における生体組織の病変を評価する電子内視鏡システムである。当該電子内視鏡システムは、
器官内における生体組織を撮像するように構成された電子内視鏡と、
撮像された前記生体組織の複数の画像を処理して前記器官内における病変の程度を評価するように構成された評価ユニットを備えるプロセッサと、
前記病変の評価結果を画面表示するように構成されたモニタと、を備える。
前記評価ユニットは、
前記生体組織の複数の画像の各画素に対して、各画素における前記生体組織の病変の強さを示す画素評価値を算出し、前記画素評価値から前記画像それぞれにおける前記生体組織の病変の強さを示す画像評価値を算出するように構成された画像評価値算出部と、
前記画像それぞれを撮像した前記器官内部における撮像位置の情報を前記画像それぞれと対応付けて取得するように構成された撮像位置情報取得部と、
前記画像それぞれにおける前記病変の有無を、前記画像評価値が予め定めた閾値を越えるか否かに基づいて判定し、前記病変が前記器官内部の奥行き方向で連続して広がっている病変部の開始位置と終了位置を求める病変部位置算出部と、
前記開始位置と前記終了位置との間の前記病変部を撮像した複数の病変部撮像画像内の、前記画素評価値が前記病変と判定される閾値以上の値を有する画素から定まる前記病変部の面積情報を前記病変部の広がり情報として、前記広がり情報と、前記病変部撮像画像における前記画像評価値の代表値と、を用いて、前記器官における評価対象の前記病変の程度を評価するように構成された器官病変評価部と、を備える。

前記器官病変評価部は、前記病変部撮像画像において前記画素評価値が前記病変と判定される閾値以上である画素をカウントして得られる画素の数に基づいて前記面積情報を求める、ことが好ましい。

前記器官病変評価部は、前記病変部撮像画像において前記画素評価値が前記病変と判定される閾値以上である画素の前記病変部撮像画像に占める占有比率の、前記病変部撮像画像における平均値と、前記開始位置と前記終了位置から算出される評価対象の前記病変部の長さとの積に基づいて、前記面積情報を求める、ことが好ましい。

前記代表値は、前記病変部撮像画像の前記画像評価値のうち最大値である、ことが好ましい。

前記器官病変評価部は、前記器官内を撮像した、病変の程度の評価レベルが定まっている複数の病変サンプルの画像を含む画像群を用いて得られる前記病変サンプルそれぞれに関する、前記代表値に対応した前記病変サンプルの病変サンプル代表値及び前記病変部の広がり情報に対応した前記病変サンプルの病変サンプル広がり情報と、前記評価レベルと、を対応付けた病変サンプル対応関係を備え、
前記器官病変評価部は、前記器官内の撮像によって得られる評価対象の前記病変部の広がり情報、及び評価対象の前記病変部の前記代表値から、前記病変サンプル対応関係を用いて、評価対象の前記病変の程度を前記レベルで評価する、ことが好ましい。
また、前記器官病変評価部は、評価対象の前記病変部の評価レベルを予測する予測モデルであって、病変の程度の評価レベルが定まっている複数の病変サンプルの画像を含む画像群を用いて得られる前記病変サンプルそれぞれに関する、前記代表値に対応した前記病変サンプルの病変サンプル代表値及び前記病変部の広がり情報に対応した前記病変サンプルの病変サンプル広がり情報と、前記評価レベルと、を学習データとして、前記病変サンプル代表値及び前記病変サンプル広がり情報と、前記評価レベルとの間の対応関係を機械学習した予測モデルを備え、
前記器官病変評価部は、評価対象の前記病変部の前記代表値及び前記病変部の広がり情報から、前記予測モデルに評価対象の前記病変部の評価レベルを予測させる、ことが好ましい。

前記モニタは、評価対象の前記病変部の前記代表値、及び評価対象の前記病変部の広がり情報を、前記病変サンプル代表値及び前記病変サンプル広がり情報とともにプロットした二次元散布図を画面表示する、ことが好ましい。

上述の電子内視鏡システムによれば、器官の病変の程度（病変の重症度）を評価する際、病変部における病変の強さと、病変部の広がりとによって、器官の病変の程度を総合的に評価することができる。

一実施形態の内視鏡システムの構成を示すブロック図である。 図１に示す画像処理ユニットの、器官の奥行き方向の病変の広がりの評価を行う部分の構成を説明する図である。 一実施形態で用いる色空間内における基準軸の例を説明する図である。 一実施形態で用いる生体組織赤色度を計算するためのずれ角度を計算する方法を説明する図である。 一実施形態の器官病変評価部が行う処理の一例を説明する図である。 一実施形態の器官病変評価部が、評価対象の病変部の広がり情報、及び評価対象の病変部の代表値からレベルを算出する一例を説明する図である。 一実施形態の画像処理ユニットが行う画像の取得から器官内における病変の程度を算出する処理のフローの一例を示す図である。 一実施形態の画像処理ユニットが行う画像の取得から器官内における病変の程度を算出する処理のフローの一例を示す図である。

以下、本発明の実施形態の電子内視鏡システムについて図面を参照しながら説明する前に、まず、器官における病変の程度の評価を概念的に説明する。

（病変の程度の評価の概要説明）
以下説明する実施形態は、電子内視鏡で撮像した器官内における生体組織の画像を処理して病変の程度を評価する。器官内における病変の程度は、病変の広がりと、各位置における病変の進行の程度を表わす病変の強さとを、用いて総合的に評価される。器官内において生体組織を撮像する場合、例えば、管状の器官の開口端から器官内部の奥行き方向（奥側に進む方向、及び奥側と反対側の開口側に進む方向を含む）の撮像対象とする最深部の位置まで電子スコープを挿入し、そこから、器官の開口端に向かって略連続的に移動しながら、器官内部の生体組織を撮像する。
生体組織の撮像される画像は、一定の時間間隔で連続して撮像した動画でもよく、また、器官内で電子内視鏡を移動しながら断続的に撮像した静止画であってもよい。動画の場合、電子内視鏡を略同じ移動速度で同じ方向に移動しながら撮像することが好ましい。
器官内における病変の程度の評価では、例えば白色光の照明光で照明した生体組織の複数の画像それぞれに対して、画像それぞれにおける生体組織の病変の強さを示す画像評価値を算出する。この画像評価値は、特に限定されないが、例えば、病変が炎症である場合、病変部（炎症部）の炎症の強さを、病変部の色成分の情報（例えば、赤色）に基づいて評価する炎症評価値を挙げることができる。
評価対象の器官は、特に限定されないが、例えば、咽頭～食道、胃、小腸、大腸等の消化管等を挙げることができる。

また、例えば、波長４０５ｎｍのレーザ光、波長４４５ｎｍのレーザ光、及び波長４４５ｎｍのレーザ光で蛍光体を発光させた４４５～７００ｎｍの蛍光、を含んだ特殊光を用いて生体組織を照明して撮像し、撮像によって得られるＲＧＢの３つの画像信号から２つの画像信号の比を作成し、この２つの画像信号を所定の強調処理を行った処理結果を利用して作られる画像毎の評価値、例えば萎縮性胃炎における粘膜等を評価する評価値を、上記画像評価値とすることもできる。

また、例えば、波長６００ｎｍの光、波長６３０ｎｍの光、波長５４０ｎｍの光をそれぞれ照明光として生体組織を照明して撮像し、撮像によって得られる画像に対して所定の強調処理を行った処理結果を利用して作られる画像毎の評価値、例えば粘膜深部の血管の状態を評価するための評価値を上記画像評価値とすることもできる。

また、光で照明された、染色等により前処理が施された消化管の粘膜の細胞を、拡大撮像して、細胞核の特徴量（長さ、直径、周長、真円度等の形状の情報）の平均値等を、非腫瘍、腺腫、癌等の病変の強さを評価するための評価値を画像評価値とすることもできる。

また、画像評価値は、画像毎に得られるＭａｙｏスコア等の評価レベルであってもよい。この場合、予め撮像した病変部の病変サンプルの画像から得られる病変部の画像評価値の代表値及び病変部の後述する広がり情報と、Ｍａｙｏスコア等の評価レベルを学習データとして用いて、上記代表値および病変部の広がり情報と評価レベルとの間の対応関係を予測モデルに機械学習させる。機械学習した予測モデルを用いて、新たに撮像した器官内の生体組織の画像から得られる病変部の画像評価値の代表値及び病変部の後述する広がり情報とから評価レベルを予測してもよい。また、画像評価値は、病理組織学的な評価を画像毎に数値化したものであってもよい。

さらに、画像それぞれを撮像した際、撮像した器官内における撮像位置の情報が画像それぞれと対応付けられて画像が取得される。撮像位置の情報は、例えば、器官内部に挿入する電子スコープの先端部にある撮像素子の近傍に位置情報を検出することができるセンサを設けることにより、撮像位置の情報を得ることができる。また、器官を、識別可能な特徴を有する複数のセグメントに分けて、電子スコープの先端部がどのセグメントに位置するかを位置情報とすることもできる。この場合、撮像された画像内のセグメントの特徴を画像処理によって抽出することにより撮像位置のセグメントを特定して、電子スコープの先端部がどのセグメントに位置するのかに関する位置情報を得ることができる。また、術者が、モニタに表示された画像を見ながら、予め設定されたボタンを押すことにより、電子スコープの先端部が所定のセグメントの通過を開始したことを示す信号を入力することで、電子スコープの先端部がどのセグメントに位置するのかに関する位置情報を得ることもできる。

さらに、以下説明する実施形態は、画像それぞれにおける病変の有無を、算出した画像評価値が予め定めた閾値を越えるか否かに基づいて判定し、病変が器官内の奥行き方向で連続して広がっている病変部の領域の開始位置と終了位置とを求める。
求めた開始位置と終了位置から算出される評価対象の病変部の長さを広がり情報として、この広がり情報と、評価対象の病変部を撮像した病変部撮像画像の画像評価値の代表値と、を用いて、器官内における病変の程度を評価する。
ここで、代表値は、例えば、最大値、中央値あるいは平均値であってもよいが、病変の強さを正確に評価することができる点で、最大値であることが好ましい。
器官内における病変の程度の評価では、例えば、病変の程度は複数のレベルに分けるように予め設定されており、この設定に応じて、器官内における病変の程度がレベルによって評価される。また、広がり情報と、画像評価値の代表値の情報をモニタに表示してもよいし、これらの情報を平面上でプロットした二次元散布図を、上記レベルとともにモニタに表示してもよい。

このように、評価対象の病変部の開始位置と終了位置から算出される評価対象の病変部の長さを広がり情報として、この広がり情報と、評価対象の病変部を撮像した病変部撮像画像の画像評価値の代表値と、を用いて、器官内における病変の程度を評価するので、器官内における病変の程度を総合的に評価することができる。
例えば、画像評価値の代表値が低く、病変部の広がりが大きい病変の形態と、画像評価値の代表値が大きく、病変部の広がりが小さい病変の形態とを、区別して評価をすることができる。

また、病変の広がりの情報に関して、病変部の開始位置と終了位置から算出される病変部の長さに代えて、開始位置と終了位置との間の病変部を撮像した病変部撮像画像それぞれにおいて、病変部撮像画像における病変の部分として判定した画素から定まる病変部の面積情報を用いることもできる。病変部撮像画像において病変の部分として判定した画素とは、後述するように、画像評価値を算出するときに用いる画素毎の画素評価値を用いて病変の部分か否かを判定することができる。例えば、後述する病変が炎症である場合に、画像評価値として炎症評価値を算出するために、画素毎に生体組織赤色度（画素評価値）を算出する。この場合、生体組織赤色度が、予め定めた病変と判定される閾値以上の値を有するか否かにより、病変の部分か否かを判定することができる。したがって、病変部の面積情報は、病変部撮像画像内の病変と判定された画素から定めることができる。この場合、同じ病変の部分が、異なる病変部撮像画像で重複して撮像されないように撮像のフレームレートあるいは電子スコープの移動速度を調整することが好ましい。

（電子内視鏡システムの説明）
図１は、本発明の一実施形態の電子内視鏡システム１の構成を示すブロック図である。図１に示されるように、電子内視鏡システム１は、電子スコープ１００、電子内視鏡用プロセッサ２００、モニタ３００及びプリンタ４００を備えている。

電子内視鏡用プロセッサ２００は、システムコントローラ２０２やタイミングコントローラ２０６を備えている。システムコントローラ２０２は、メモリ２０４に記憶された各種プログラムを実行し、電子内視鏡システム１の全体を統括的に制御する。また、システムコントローラ２０２は、操作パネル２０８に入力されるユーザ（術者又は補助者）による指示に応じて電子内視鏡システム１の各種設定を変更する。タイミングコントローラ２０６は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に出力する。

電子内視鏡用プロセッサ２００は、電子スコープ１００に照明光を供給する光源部２３０を備えている。光源部２３０は、図示されないが、例えば、ランプ電源から駆動電力の供給を受けることにより白色の照明光を放射する高輝度ランプ、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプを備える。高輝度ランプから出射した照明光は、図示されない集光レンズにより集光された後、図示されない調光装置を介して電子スコープ１００のＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源部２３０は構成される。
あるいは、光源部２３０は、所定の色の波長帯域の光を出射する複数の発光ダイオードを備える。発光ダイオードから出射した光はダイクロイックミラー等の光学素子を用いて合成され、合成した光は照明光として、図示されない集光レンズにより集光された後、電子スコープ１００のＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源部２３０は構成される。発光ダイオードに代えてレーザーダイオードを用いることもできる。発光ダイオード及びレーザーダイオードは、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。明るい画像が取得できることにより、後述する炎症に関する評価値の精度を向上させることができる。
なお、図１に示す例では、光源部２３０は、電子内視鏡用プロセッサ２００に内蔵して設けられるが、電子内視鏡用プロセッサ２００とは別体の装置として電子内視鏡システム１に設けられてもよい。また、光源部２３０は、後述する電子スコープ１００の先端部に設けられてもよい。この場合、照明光を導光するＬＣＢ１０２は不要である。

入射端よりＬＣＢ１０２内に入射した照明光は、ＬＣＢ１０２内を伝播して電子スコープ１００の先端部内に配置されたＬＣＢ１０２の端より射出され、配光レンズ１０４を介して被写体である器官内部の生体組織に照射される。生体組織からの反射光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。

固体撮像素子１０８は、例えば、ＩＲ（Infrared）カットフィルタ１０８ａ、ベイヤ配列カラーフィルタ１０８ｂの各種フィルタが受光面に配置された単板式カラーＣＣＤ（Charge-Coupled Device）イメージセンサであり、受光面上で結像した光学像に応じたＲ（Red）、Ｇ（Green）、Ｂ（Blue）の各原色信号を生成する。単板式カラーＣＣＤイメージセンサの代わりに、単板式カラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いることもできる。ＣＭＯＳイメージセンサは、一般に、ＣＣＤイメージセンサと比較して画像が全体的に暗くなる傾向にある。従って、以下説明する病変の程度の評価を行う数値化処理における、画像の明るさによる病変部の病変の重症度の変動を抑えることができるという有利な効果は、ＣＭＯＳイメージセンサを用いる場合においてより顕著である。このように、電子スコープ１００は、固体撮像素子１０８を用いて、器官内部の生体組織を撮像し、動画を生成する。

電子スコープ１００の、プロセッサ２００との接続部の内部には、ドライバ信号処理回路１１２が備えられている。ドライバ信号処理回路１１２は、固体撮像素子１０８より入力される原色信号に対して色補間、マトリックス演算等の所定の信号処理を施して画像信号（輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ）を生成し、生成された画像信号を電子内視鏡用プロセッサ２００の画像処理ユニット２２０に出力する。また、ドライバ信号処理回路１１２は、メモリ１１４にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１４に記録される電子スコープ１００の固有情報には、例えば固体撮像素子１０８の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１１２は、メモリ１１４より読み出された固有情報をシステムコントローラ２０２に出力する。

システムコントローラ２０２は、メモリ２０４に記憶された情報及び電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、電子内視鏡用プロセッサ２００に接続中の電子スコープ１００に適した処理がなされるように電子内視鏡用プロセッサ２００内の各回路の動作やタイミングを制御する。

タイミングコントローラ２０６は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２、画像処理ユニット２２０、及び光源部２３０にクロックパルスを供給する。ドライバ信号処理回路１１２は、タイミングコントローラ２０６から供給されるクロックパルスに従って、固体撮像素子１０８を電子内視鏡用プロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。

画像処理ユニット２２０は、術者の指示に従って、あるいは予め設定された処理内容に従って画像処理することができる部分である。画像処理ユニット２２０は、システムコントローラ２０２による制御の下、ドライバ信号処理回路１１２より入力した撮像した画像の画像信号に基づいて内視鏡画像等をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力する。さらに、画像処理ユニット２２０は、画像処理の一部として、撮像された生体組織の複数の画像を処理して器官の病変の程度を評価し、その評価結果をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力する。画像処理ユニット２２０は、具体的には、電子スコープ１００で得られた生体組織の複数の画像から、画像それぞれにおける生体組織の病変の強さを示す、後述する画像評価値を算出する。なお、電子スコープ１００は、器官内部の奥行き方向に沿って略連続的に移動しながら（局部的に奥行き方向の撮像位置が逆方向に位置ずれする場合も含む）器官内部の生体組織を設定されたフレームレートで撮像する。このため、画像処理ユニット２２０は、略奥行き方向に沿って略連続的に撮像された動画の画像の画像評価値、及び複数の画像それぞれを撮像した器官内部における撮像位置の情報を利用して、病変部の位置を特定して病変部の器官の奥行き方向の広がり情報を算出し、さらに、病変部を撮像している複数の画像、すなわち複数の病変部撮像画像における画像評価値から画像評価値の代表値を算出し、この代表値と広がり情報を用いて、器官内における病変の程度を評価する。
さらに、画像処理ユニット２２０は、画像内の各画素の、後述する画素評価値に応じて各画素に色を付与したカラーマップ画像を生成する。画像処理ユニット２２０は、器官における病変の程度の評価結果の情報及び上記カラーマップ画像をモニタ表示するためのビデオ信号を生成し、モニタ３００に出力する。これにより、術者は、モニタ３００の表示画面に表示された画像を通じて注目する器官の奥行き方向に広がる病変の程度の評価を受けることができる。画像処理ユニット２２０は、必要に応じてプリンタ４００にカラーマップ画像及び器官における病変の程度の評価結果の情報を出力する。

電子内視鏡用プロセッサ２００は、ＮＩＣ（Network Interface Card）２１０及びネットワーク５００を介してサーバ６００に接続されている。電子内視鏡用プロセッサ２００は、内視鏡検査に関する情報（例えば、患者の電子カルテ情報、術者の情報、過去の同じ器官における病変の程度の評価結果）をサーバ６００からダウンロードすることができる。ダウンロードされた情報は、例えばモニタ３００の表示画面や操作パネル２０８に表示される。また、電子内視鏡用プロセッサ２００は、内視鏡検査結果（内視鏡画像データ、検査条件、器官の病変の程度の評価結果、術者所見等）をサーバ６００にアップロードすることにより、サーバ６００に保存することができる。

図２は、画像処理ユニット２２０の一部である、器官における病変の程度の評価を行う部分の構成を説明する図である。画像処理ユニット２２０は、電子スコープ１００で撮像された生体組織の複数の画像を処理して病変の程度を評価するように構成された部分である。画像処理ユニット２２０は、前処理部２２０ａ、画像評価値算出部２２０ｂ、撮像位置情報取得部２２０ｃ、病変部位置算出部２２０ｄ、及び器官病変評価部２２０ｅ、評価結果統合部２２０ｆを備える。前処理部２２０ａ、画像評価値算出部２２０ｂ、撮像位置情報取得部２２０ｃ、病変部位置算出部２２０ｄ、及び器官病変評価部２２０ｅは、撮像された生体組織の複数の画像を処理して器官における病変の程度を評価するように構成された評価ユニット２２５を形成する。
前処理部２２０ａ、画像評価値算出部２２０ｂ、撮像位置情報取得部２２０ｃ、病変部位置算出部２２０ｄ、器官病変評価部２２０ｅ、及び評価結果統合部２２０ｆは、メモリ２０４に記憶されているソフトウェアを起動することにより形成されるソフトウェアモジュールであってもよいし、ハードウェアで構成されたものであってもよい。

画像評価値算出部２２０ｂは、一実施形態によれば、病変の強さの一例である炎症の強さを画像毎に評価する。以下、病変の一例として、潰瘍性大腸炎等で発生する炎症を挙げて説明する。
画像評価値算出部２２０ｂは、生体組織の赤色の程度を画素毎に数値化した生体組織赤色度を画素評価値とし、画像全体における画素評価値に対して、例えば積算処理あるいは平均処理をすることにより１つの数値に纏めた値（炎症評価値）を、画像評価値として算出する。すなわち、生体組織の炎症の程度を、生体組織の赤色の程度を利用して評価する。以下、炎症の強さを示す生体組織赤色度を計算する形態を一例として説明する。

前処理部２２０ａは、生体組織が示す赤色の程度を評価するための画像に前処理を施す部分である。前処理部２２０ａは、一例として図示されるように、ＲＧＢ変換、色空間変換、基準軸の設定、及び色補正の各処理を行う。
前処理部２２０ａは、ドライバ信号処理回路１１２より入力した画像信号（輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ）を所定のマトリックス係数を用いて画像色成分（Ｒ、Ｇ、Ｂ）に変換する。
前処理部２２０ａは、さらに、画像色成分に変換された画像データをＲＧ平面に正射影する色変換を行う。具体的には、ＲＧＢ３原色で定義されるＲＧＢ色空間の各画素の画像色成分がＲＧの画像色成分に変換される。概念的には、ＲＧＢ色空間の各画素の画像色成分が、Ｒ、Ｇ成分の画素値に応じてＲＧ平面内（例えば、Ｒ成分の画素値＝０～２５５、Ｇ成分の画素値＝０～２５５の値を取るＲＧ平面内の区画）にプロットされる。以下、説明の便宜上、ＲＧＢ色空間の各画素の画像色成分の点及びＲＧ色空間内にプロットされた画像色成分の点を「画素対応点」と記す。ＲＧＢ色空間のＲＧＢそれぞれの画像色成分は、順番に、例えば、波長６２０～７５０ｎｍ、波長４９５～５７０ｎｍ、及び波長４５０～４９５ｎｍの色成分である。なお、色成分は、色空間（色平面も含む。）を構成するものである。色相及び彩度は、「色成分」から除かれる。
さらに、前処理部２２０ａは、生体組織赤色度を評価するために必要なＲＧ平面内の基準軸を設定する。

被写体となる患者の器官内部の生体組織では、ヘモグロビン色素等の影響により画像色成分のうちＲ成分が他の成分（Ｇ成分及びＢ成分）に対して支配的である。病変部の病変の程度が低く、病変部が炎症部である場合、炎症が強いほど赤色（Ｒ成分）が他の色（Ｇ成分及びＢ成分）に対して強くなる。しかし、器官内の撮像画像は、明るさに影響する撮影条件（例えば照明光の当たり具合）に応じて色が変化する。例示的には、照明光の届かない陰影部分は黒（無彩色であり、例えば、Ｒ、Ｇ、Ｂの画像色成分の値がゼロ又はゼロに近い値）となり、照明光が強く当たって正反射する部分は白（無彩色であり、例えば、Ｒ、Ｇ、Ｂの画像色成分の値が８ビット階調の場合、２５５又は２５５に近い値）となる。すなわち、炎症が起こっている同じ炎症部を撮像した場合であっても、照明光が強く当たるほどその炎症部の画素値が大きくなる。そのため、照明光の当たり具合によっては、画像の色成分の値が炎症の強さと相関の無い値を取ることがある。

一般に、炎症が起こっていない器官内部の健常部は十分な粘膜で覆われている。粘膜は、基本的には白基調ではあるが、色としては若干黄味がかっており、その濃淡（粘膜の厚み）によって画像上に写る色（黄色）が変化する。従って、粘膜の濃淡も炎症の強さを評価する指標の一つになるものと考えられる。これに対し、炎症が起こっている器官内部の炎症部は十分な粘膜で覆われていない。具体的には、血管が拡張すると共に血管から血液・体液が漏出するため、相対的に粘膜が薄くなり血液の色が目に映り易くなる。粘膜は、基本的には白基調ではあるが、色としては若干黄味がかっており、その濃淡（粘膜の厚み）によって画像上に写る色（黄色）が変化する。従って、粘膜の濃淡も炎症の程度を評価する指標の一つになるものと考えられる。

そこで、図３に示されるように、ＲＧ色空間内において、（５０，０）及び（２５５，７６）を通る直線が基準軸の１つとして設定されると共に、（０，０）及び（２５５，１９２）を通る直線が基準軸の１つとして設定される。説明の便宜上、前者の基準軸を「ヘモグロビン変化軸ＡＸ１」と記し、後者の基準軸を「粘膜変化軸ＡＸ２」と記す。図３は、一実施形態で用いる色空間内における基準軸の例を説明する図である。

図３に示されるプロットは、器官内部の多数の参照画像を解析した結果得たものである。解析に用いられる参照画像には、炎症の程度の最も高い炎症画像例（最も重症なレベルの炎症画像例）や、炎症の程度の最も低い炎症画像例（実質的に健常部であるとみなされる画像例）など、各段階の炎症画像例が含まれる。なお、図３に示す例では、図面を明瞭化する便宜上、解析の結果得られたプロットを一部だけ示している。解析の結果実際に得られたプロットは、図３に示されるプロットの数よりも遥かに多い。

上述したように、炎症が強い部分ほど画像の色成分のうちＲ成分が他の成分（Ｇ成分及びＢ成分）に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、Ｇ軸よりもＲ軸に近い方の境界線上の軸、図３に示す例では、（５０，０）及び（２５５，７６）を通る境界線上の軸が、炎症の程度が最も強い部分、すなわち炎症の程度の最も高い部位と相関の高い軸として設定される。この軸がヘモグロビン変化軸ＡＸ１である。ヘモグロビン変化軸ＡＸ１には、様々な撮影条件、例えば照明光の当たり具合で撮像された炎症の程度の最も高い炎症部に対応するプロットが重畳される。したがって、ヘモグロビン変化軸ＡＸ１は、生体組織の炎症の程度が高くなるほどプロットされる画素対応点が収束する軸である。

一方、健常部に近いほど画像の色成分のうちＧ成分（又はＢ成分）がＲ成分に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、Ｒ軸よりもＧ軸に近い方の境界線上の軸、図３に示す例では、（０，０）及び（２５５，１９２）を通る境界線上の軸が、炎症の程度の最も低い部分、すなわち、炎症の程度の最も低い部分であって、実質的に健常部であるとみなされるものと相関の高い軸として設定される。この軸が粘膜変化軸ＡＸ２である。粘膜変化軸ＡＸ２には、様々な撮影条件、例えば照明光の当たり具合で撮像された炎症の程度の最も低い部分、すなわち実質的に正常部とみなされるものに対応するプロットが重畳される。したがって、粘膜変化軸ＡＸ２は、炎症の程度が低くなるほど（健常部に近いほど）プロットされる画素対応点が収束する軸である。

補足すると、病変部の病変の程度の最も高い部分は、出血を伴う。一方、病変の程度の最も低い部分は、実質正常な健常部であるから、十分な粘膜で覆われている。そのため、図３に示されるＲＧ色空間内のプロットは、血液（ヘモグロビン色素）と最も相関の高い軸と、粘膜の色と最も相関の高い軸に挟まれた領域内に分布すると捉えることができる。そのため、プロットが分布する領域と分布しない領域との境界線のうち、Ｒ軸に近い（Ｒ成分が強い）方の境界線が、炎症の程度の最も高い炎症部を示す軸（ヘモグロビン変化軸ＡＸ１）に相当し、Ｇ軸に近い（Ｇ成分が強い）方の境界線が、炎症の程度の最も低い炎症部を示す軸（粘膜変化軸ＡＸ２）に相当する。
このような基準軸の設定を行った後、正射影された画像の色成分に対して後述する赤色の強さを示す生体組織赤色度を算出する処理が行われる。この生体組織赤色度を算出する処理の前に、正射影された画素データに対して色補正が行われる。
図３に示す基準軸は、一例であり、疾患の種類に応じて基準軸は種々異なる。

前処理部２２０ａは、炎症評価値の算出の前に、ＲＧ色空間で表された画像の色成分に対して色補正を行う。メモリ２０４には、補正マトリックス係数が保存されている。同一の炎症部にも拘らず、異なる電子内視鏡システムで撮像したときに後述する炎症評価値がばらつかないように（言い換えると、電子スコープの個体間誤差を抑えるために）、前処理部２２０ａは、各画素のＲＧ色空間内の画素対応点である画素データ（Ｒ，Ｇ）を、補正マトリックス係数を用いて下記式に示すように補正する。

Ｒ_new ：補正後の画素データ（Ｒ成分）
Ｇ_new ：補正後の画素
データ（Ｇ成分）
Ｍ₀₀～Ｍ₁₁：補正マトリックス係数
Ｒ ：補正前の画素データ（Ｒ成分）
Ｇ ：補正前の画素データ（Ｇ成分）

画像評価値算出部２２０ｂは、画素の中から一つの注目画素を選択し、選択した注目画素について、注目画素の色成分の情報に基づいて炎症の程度を計算するためのずれ角度を算出する。すなわち、画素の色成分の情報に基づいて生体組織の赤色の程度を数値化する数値化処理を行う。図４は、一実施形態で用いる生体組織赤色度を計算するためのずれ角度を計算する方法を説明する図である。具体的には、画像評価値算出部２２０ｂは、図４に示すように、ヘモグロビン変化軸ＡＸ１と粘膜変化軸ＡＸ２との交点を基準点Ｏ’とし、基準点Ｏ’と注目画素の画素対応点Ｐとを結ぶ線分Ｌの向きが、ヘモグロビン変化軸ＡＸ１に対してずれるずれ角度θを算出する。なお、基準点Ｏ’は座標（－１５０，－７５）に位置する。基準点Ｏ’を座標（－１５０，－７５）にする例に挙げたが、これに限定されるものではない。上記基準点Ｏ’は、適宜変更可能であり、例えば、ＲＧ色空間のＲ軸とＧ軸の交点であってもよい。

基準点Ｏ’として好適な座標位置は、例えば、明るさの変動による評価結果の誤差を少なくできる位置である。具体的には、基準点Ｏ’は、暗部（輝度が所定値未満）での評価結果と非暗部（輝度が所定値以上）での評価結果との誤差を最小にする点を予め求めることで設定することが好ましい。

また、例えば、基準点Ｏ’を座標（－１０，－１０）から（１０，１０）の間に設定すると、座標（－１５０，－７５）等を基準点Ｏ’と設定した場合と比較して、画素対応点が変化した場合の角度θの変化量が大きくなるため、分解能が向上する。これにより、精度の高い評価結果を得ることができる。
他方、基準点Ｏ’を座標（－５０，－５０）から（－２００，－２００）の間に設定することで、炎症の強さを示す評価結果はノイズの影響を受け難い。

器官内部の生体組織を撮影した画像の明るさが白色光の当たり具合によって変化すると、画像の色は、個人差、撮影箇所、炎症の状態等の影響があるものの、ＲＧ色空間内において、概ね、炎症が最も進行した炎症部ではヘモグロビン変化軸ＡＸ１上に沿って変化し、炎症の程度が最も低い炎症部では粘膜変化軸ＡＸ２上に沿って変化する。また、炎症の程度が中間程度である炎症部の画像の色も同じ傾向で変化するものと推定される。すなわち、炎症部に対応する画素対応点は、照明光の当たり具合によって画素の明るさが変化すると、基準点Ｏ’を起点とした方位角方向にシフトする。言い換えると、炎症部に対応する画素対応点は、照明光の当たり具合によって画素の明るさが変化すると、ヘモグロビン変化軸ＡＸ１に対するずれ角度θが一定のまま移動して基準点Ｏ’との距離が変わる。これは、ずれ角度θが画像の明るさの変化に実質的に影響を受けないパラメータであることを意味する。

ずれ角度θが小さいほどＲ成分がＧ成分に対して強くなり、病変部における赤色の程度が相対的に大きいことを示す。また、ずれ角度θが大きいほどＧ成分がＲ成分に対して強くなり、赤色の程度が相対的に小さいことを示す。そこで、画像評価値算出部２２０ｂは、ずれ角度θがゼロであるときに値２５５となり、ずれ角度θがθ_ＭＡＸであるときに値ゼロとなるように、角度θを正規化する。なお、θ_ＭＡＸは、ヘモグロビン変化軸ＡＸ１と粘膜変化軸ＡＸ２とがなす角度と等しい。すなわち、評価値算出部２２０ｂは、各注目画素について、各注目画素の色成分の情報に基づいて算出したずれ角度θを正規化した０～２５５の範囲の値を、生体組織赤色度（画素評価値）として算出する。
なお、注目画素は、画像の全画素について１つずつ選択される。なお、図４に示す例では、色空間としてＲＧ色空間を用いるが、ＲＧ色空間に代えてＲＢ色空間を用いることもできる。

画像評価値算出部２２０ｂは、ずれ角度θを正規化した値である生体組織赤色度を画素評価値として算出するが、場合によっては、生体組織の潰瘍の特徴の強さを示す生体組織白色度を画素評価値として算出することもできる。例えば、生体組織の画像の各画素の各色成分の画素値に対して、線形なゲイン（利得）を与えるゲイン調整を行い、病変に特有の色域付近におけるダイナミックレンジを実質的に広げて、色表現の実効的な分解能を高める、トーン強調処理を行うことにより、例えば、潰瘍性大腸炎の白苔や膿様粘液を含む潰瘍部を、色成分によって、炎症部や健常部と区別することができる。潰瘍部は白色を示すのに対して、浮腫や易出血性を含む炎症部は赤色を示し、健常部は、黄色あるいは緑色を示す。生体組織白色度は、図４に示すような２つの色成分（Ｒ成分、Ｇ成分、Ｂ成分のうち２つ）あるいは３つの色成分（Ｒ成分、Ｇ成分、Ｂ成分）の座標軸とする色空間上に表した、ヘモグロビン変化軸ＡＸ１とは異なる基準軸に対するずれ角度を用いて計算することができる。なお、トーン強調処理は、前処理部２２０ａが行う。

画像評価値算出部２２０ｂは、各画素の画素評価値、例えば上述した生体組織赤色度用いて、１つの画像評価値を算出する。画像評価値算出部２２０ｂは、例えば、撮像画像の中の全画素の画素評価値の積算値あるいは平均値を１つの画像評価値として算出してもよく、また、撮像画像の中で、評価対象とする生体組織の像を表す画素を、取捨選択し、選択した画素の画素評価値の積算値あるいは平均値を、１つの画像評価値として算出してもよい。あるいは、例えば、画素毎のＲＧＢの色成分あるいは画素の輝度成分のうち、所定の範囲にある色成分あるいは輝度成分に基づいて評価対象の画素を抽出し、抽出した画素の画素評価値の平均値を求めることにより、あるいは所定の重み付け係数を用いた重み付け平均値を求めることにより、あるいは積算処理をすることにより、画像評価値算出部２２０ｂは、１つの画像評価値を算出してもよい。画像中の評価対象とする画素の部分は、器官内における炎症の程度を精度高く評価するために、生体組織における想定される所定の範囲内の色成分の値を有する部分であって、照明光で照明された、所定値以上の輝度成分を有する画素の部分であることが好ましい。
画像評価値算出部２２０ｂが算出した画像評価値は、器官病変評価部２２０ｅに送られる。

画像評価値算出部２２０ｂは、さらに、生体組織赤色度に応じて変化する表示色で生体組織の画像をモザイク化したカラーマップ画像を作成する。カラーマップ画像の作成のために、画素評価値と所定の表示色とを対応付けたテーブルがメモリ２０４の記憶領域に記憶されている。上記テーブルは、例えば、値５刻みで異なる表示色が対応付けられている。例示的には、画素評価値が０～５の範囲では青色が対応付けられており、該画素評価値が５増える毎に色相環での色の並び順に従って異なる表示色が対応付けられており、該画素評価値が２５０～２５５の範囲では赤色が対応付けられている。表示色は、例えば、生体組織赤色度が大きいほど青色から黄色さらには赤色といったように、寒色から暖色に近づく色とする。画像評価値算出部２２０ｂは、選択された注目画素の、カラーマップ画像上での表示色を、上記テーブルに基づき、注目画素の生体組織赤色度に応じて決定する。
こうして、画像評価値算出部２２０ｂは、画素評価値（生体組織赤色度）に応じて色を付与したカラーマップ画像を作成する。

撮像位置情報取得部２２０ｃは、電子内視鏡システム１に設けられた位置測定システム２５０から送られる撮像位置の情報を、撮像した画像と対応付けて取得する。位置測定システム２５０は、例えば、器官内に挿入された電子スコープ１００の先端部に位置する固体撮像素子１０８の位置、さらには、後続する可撓管の各位置を、センサを利用して取得するシステム、器官の開口から挿入された電子スコープ１００の挿入長さを取得するシステム、あるいは、撮像された画像が、モニタ３００に表示され、この画像を見た術者がマニュアルで入力指示することにより、挿入された器官内の特徴となる部分を電子スコープ１００の先端部が通過したことを示す特定部分通過信号を取得するシステムが例示される。

固体撮像素子１０８の位置を、センサを利用して取得するシステムでは、例えば、電子スコープ１００の先端部の固体撮像素子１０８の近傍の位置及び先端部からプロセッサ２００の側に後続する可撓管に所定の間隔をあけて、磁気センサを複数設け、電子スコープ１００が器官内に挿入された人体の外部から、位置によって強さが異なる磁界を付与し、上記磁気センサが磁界の強さを計測することにより、先端部に設けられた磁気センサの位置を知ることができ、さらに、複数の磁気センサの位置から可撓管の器官内における湾曲形状を知ることができる。これにより、固体撮像素子１０８の先端部の位置を知ることができ、電子スコープ１００の器官内における形状、さらには、電子スコープ１００の器官の開口端からの挿入長さを知ることができる。

器官の開口端から挿入された電子スコープ１００の挿入長さを取得するシステムの場合、例えば、撮像した動画における撮像時間が隣り合うフレーム画像間で、生体組織がどの程度移動したかに関する移動距離情報を、オプティカルフローの処理を利用して取得し、フレーム画像が変化する度に上記移動距離情報を積算して移動距離を算出することにより、現在の電子スコープ１００の挿入長さの情報を取得することができる。また、例えば、挿入される電子スコープ１００の先端部から後続する可撓管が器官内に向かって繰り出されている長さを計測することにより、現在の電子スコープ１００の挿入長さの情報を取得することができる。

器官の特定部分通過信号を取得するシステムでは、モニタ３００に表示された画像を術者が見ながら、器官内部の識別可能な特定部分が画像に現れ通過した時点で、術者が手元にあるボタンを押すことにより特定部分通過信号を生成し、撮像位置情報取得部２２０ｃはこの特定部分通過信号を取得することができる。器官内部の特定部分の位置とは、例えば、器官が大腸の場合、上行結腸が始まる位置、上行結腸が終了し大腸が曲がって横行結腸が始まる位置、横行結腸が終了し大腸が曲がって下行結腸が始まる位置、下行結腸が終了し大腸が曲がってＳ字結腸が始まる位置、Ｓ字結腸が終了し直腸が始まる位置、及び、直腸が終了し肛門に到達する位置、を含む。
撮像位置情報取得部２２０ｃが取得した撮像位置の情報は、器官病変評価部２２０ｅに送られる。

病変部位置算出部２２０ｄは、撮像された画像それぞれにおける病変の有無を、画像評価値算出部２２０ｂが算出した画像評価値が予め定めた閾値を越えるか否かに基づいて判定し、病変が器官内部の奥行き方向で連続して広がっている病変部の領域の開始位置と終了位置を求める。病変の有無を判定するための閾値は、予め病変有りと医師に評価された過去に撮像された画像を用いて設定される。
一実施形態によれば、病変部位置算出部２２０ｄは、病変が複数の箇所に存在する場合、病変が連続的に広がっている奥行き方向の長さが最大のものを、評価対象の病変部として用いることが好ましい。複数の病変部のうち、病変部の長さが最大に広がっている病変部は、器官内における病変の程度を最も支配するものであり、器官内における病変の程度（重症度）を精度よく評価することができる点から、器官内部の奥行き方向の長さが最大の病変部を、評価対象の病変部とすることが好ましい。

器官病変評価部２２０ｅは、病変部の開始位置と終了位置から算出される評価対象の病変部の長さを広がり情報として、この広がり情報と、評価対象の病変部を撮像した病変部撮像画像の画像評価値の代表値と、を用いて、器官内における病変の程度を評価する。ここで、代表値は、複数の病変部撮像画像の画像評価値に関する統計量であり、例えば最大値、中央値、あるいは平均値である。特に、代表値は、病変部の病変の強さを扱う指標とするので最大値であることが好ましい。

図５は、器官病変評価部２２０ｅが行う処理の一例を説明する図である。図５には、撮像された大腸内部の画像ＩＭそれぞれの画像評価値（図５では、“評価値”と記載されている）と撮像位置情報が例示されている。図５に示す例では、撮像位置情報“２３２”の位置が病変部の開始位置であり、撮像位置情報“３８”の位置が病変部の終了位置であることを示している。すなわち、病変部の範囲は、撮像位置情報“２３２”の位置から撮像位置情報“３８”の位置までの範囲である。したがって、病変部の長さは“１９４”（＝２３２－３８）となる。
また、図５に示す例は、代表値は、病変部撮像画像における画像評価値の最大値を用いる例であり、図５に示す例では、代表値が撮像位置情報“３８”の位置の病変部撮像画像における画像評価値が最大値となっている。このため、代表値は“１２７”となる。

病変の広がりの情報は、一実施形態によれば、病変部の広がりを表す面積情報とすることも好ましい。病変の開始位置から終了位置の各場所において、器官内部の内周全てにわたって病変が存在しているわけではなく、器官内部の内周の一部に病変が偏在する場合もあることから、病変部の長さを病変部の広がり情報とするよりも、面積情報を病変部の広がり情報とする方が病変の広がりをより正確に表す場合がある。病変部の広がりを面積情報で表す場合、開始位置と終了位置との間の病変部を撮像した病変部撮像画像それぞれにおいて、病変部撮像画像における病変の部分として判定した画素から定まる病変部の面積情報を用いる。病変部撮像画像において病変の部分として判定した画素とは、画像評価値を算出するときに用いる画素毎の画素評価値を用いて、上述の炎症評価値を画像評価値として算出する例では生体組織赤色度を用いて、病変の部分を判定することができる。具体的には、生体組織赤色度が予め設定された閾値以上である画素を病変（炎症）の部分とする。

一実施形態によれば、器官病変評価部２２０ｅは、複数の病変部撮像画像それぞれにおいて画素評価値（例えば生体組織赤色度）が、病変と判定される閾値以上である画素の数をカウントし、病変部撮像画像全体における画素のカウント数に基づいて病変部の面積情報を求めることが好ましい。面積情報として、上記画素のカウント数に所定の係数を乗算したものを用いてもよいし、上記画素数そのものを用いてもよい。この場合、同じ病変の部分が、異なる病変部撮像画像で重複して撮像されないように撮像のフレームレートあるいは電子スコープの移動速度を調整することが好ましい。

一実施形態によれば、器官病変評価部２２０ｅは、病変部撮像画像において画素評価値（例えば生体組織赤色度）が、病変と判定される閾値以上である画素の画像に占める占有比率を、病変部撮像画像毎に求め、病変部撮像画像全体における占有比率の平均値と、開始位置と終了位置から算出される病変部の長さとの積に基づいて、面積情報を求めることも好ましい。面積情報として、上記積に所定の係数を乗算したものを用いてもよいし、上記積そのものを用いてもよい。占有比率の平均値は、病変部が占める、器官内部の内周に対する比率と見なすことができることから、占有率の平均値と病変部の長さの積は、病変部の面積情報の指標とすることができる。

こうして、器官病変評価部２２０ｅは、求めた広がり情報と、画像評価値の代表値と、を用いて、器官内における病変の程度を評価する。器官内における病変の程度の評価は、一実施形態によれば、以下のように行うことが好ましい。
具体的には、器官病変評価部２２０ｅは、病変の程度に関する評価レベルが定まっている複数の病変サンプルの画像群を用いて得られる病変サンプルそれぞれに関する、病変サンプル代表値及び病変サンプルの病変部の広がりを示す病変サンプル広がり情報と、病変サンプルの画像群に対応する既知の評価レベルと、を対応付けた病変サンプル対応関係をメモリ２０４から呼び出して保持する。病変サンプル代表値及び病変サンプルの病変部の広がり情報は、上述した評価対象の病変部に関する代表値及び広がり情報を算出する方法と同様の方法で算出することが好ましい。病変サンプルの画像群は、器官内部を撮像した複数の病変サンプルの画像を含み、この病変サンプルにおける病変の程度がレベルで評価されて、既に評価レベルが定まっているものをいう。病変サンプルの画像群は、例えばＭａｙｏスコアのような評価レベルで医師により評価されたものが好ましい。器官病変評価部２２０ｅは、器官内部の撮像によって得られる評価対象の病変部の広がり情報、及び評価対象の病変部の代表値から、上記病変サンプル対応関係を用いて、評価対象の病変の程度を評価レベルで評価する。

病変サンプル対応関係については、病変サンプルを複数セット準備して、病変サンプルの画像群における代表値及び病変サンプル広がり情報に対する病変サンプルの評価レベルについて例えば回帰分析を行って回帰式を得ることにより、病変サンプル対応関係を構築することができる。また、病変サンプルの画像群の複数セットをクラスタ分析することで、病変サンプルの画像群の病変サンプル代表値及び病変サンプル広がり情報に基づく複数のクラスタを作り、クラスタそれぞれに評価レベルを与えることで、病変サンプル対応関係を作成することができる。また、評価レベルの定まっている病変サンプルの画像群を複数セット準備して、病変サンプル代表値及び病変サンプル広がり情報と、これに対応する病変サンプルの評価レベルと、を学習データとして、病変サンプルの画像群における代表値及び病変サンプル広がり情報と、病変サンプルの評価レベルとの間の病変サンプル対応関係を予測モデルに機械学習させ、機械学習した予測モデルを器官病変評価部２２０ｅに設けてもよい。この予測モデルに、評価対象の病変部の広がり情報、及び評価対象の病変部の代表値から、評価対象の病変部の評価レベルを予測させることができる。すなわち、病変サンプル対応関係は、機械学習により構築された人工知能に基づく対応関係も含む。予測モデルの機械学習には、例えば、ニューラルネットワークによる深層学習（ディープラーニング）が用いられる。また、木構造を利用したランダムフォレストを用いることができる。予測モデルは、畳み込むニューラルネットワーク等、公知のモデルを用いることができる。

図６は、器官病変評価部２２０ｅが、評価対象の病変部の広がり情報、及び評価対象の病変部の代表値から、病変サンプル対応関係を用いて評価レベルを算出する一例を説明する図である。複数のセットの病変サンプルの画像群は、患者１・・・患者ｎの病変サンプルの画像群とそれに付随した病変サンプルの評価されたレベルを含む。図６では、評価レベルを「レベル」と記載している。この画像群から、病変サンプル代表値及び病変サンプルにおける病変部の長さ（病変サンプル広がり情報）が算出されて設定されている。このような病変サンプルの画像群を複数セット準備して、病変サンプル代表値及び病変サンプル広がり情報と評価レベルとの間を対応付ける病変サンプル対応関係を構築してメモリ２０４に記憶しておく。評価対象の病変の程度の評価を行う場合、器官病変評価部２２０ｅは、病変サンプル対応関係を呼び出して保持し、この対応関係を用いて、評価対象の病変部の長さ（広がり情報）、及び評価対象の病変部の代表値から評価レベルを予測し評価する。

このように、器官病変評価部２２０ｅは、評価対象の病変部の開始位置と終了位置から算出される評価対象の病変部の広がり情報と、病変部撮像画像の画像評価値の代表値と、を用いて、器官内における病変の程度を評価するので、器官の病変の程度を総合的に評価することができる。

評価結果統合部２２０ｆは、器官病変評価部２２０ｅで評価した評価レベル、必要に応じて二次元散布図、あるいは、画像評価値が最大値となる病変部撮像画像、この画像を処理したカラーマップ画像、をモニタ３００に表示するための画面を作成する。二次元散布図は、横軸および縦軸の一方に、病変部の代表値の軸をとり、横軸および縦軸の他方に、病変部の広がり情報の軸をとって、評価対象の病変部の代表値、及び評価対象の病変部の広がり情報を、病変サンプル代表値及び病変サンプル広がり情報とともにプロットした図である。
このような画面において、あるいは、この画面とは別に、器官内部を撮像した画像を動画として再生してもよい。
モニタ３００は、評価対象の病変部の代表値、及び評価対象の病変部の広がり情報をプロットした上記二次元散布図を画面表示することにより、評価対象の病変部の重症度を術者は容易に把握することができる。

図７Ａ，７Ｂは、評価ユニット２２５で行う画像の取得から器官内における病変の程度を算出する処理のフローの一例を示す図である。図示するフローは、代表値を、画像評価値の最大値とする例であり、評価対象とする病変部は、器官内に複数ある病変部のうち最大長さのものを評価対称とする例である。

まず、評価ユニット２２５では、内部変数である病変部の長さ及び病変フラグがセットされる。具体的に病変部の長さがゼロにセットされ、病変部の有無を表す病変フラグが“False”(Falseは病変部が存在しないことを表す)にセットされる（ステップＳ１０）。病変フラグは、“False”か“True”のいずれかである。

次に、前処理部２２０ａは、画像を取得し（ステップＳ１２）、上述したＲＧＢ変換、色空間変換、基準軸の設定、及び、色補正の処理を行う。
さらに、撮像位置情報取得部２２０ｃは、位置測定システム２５０から、前処理部２２０ａが取得した画像と対応付けられた撮像位置の情報を取得する（ステップＳ１４）。一方、画像評価値算出部２２０ｂは、前処理部２２０ａで処理の施された画像を用いて、画像評価値を算出する（ステップＳ１６）。器官病変評価部２２０ｅは、算出した画像評価値が、病変の有無を定める閾値を越えるか否かを判定する（ステップＳ１８）。この判定結果が肯定である場合、器官病変評価部２２０ｅは、病変フラグが“True”か否かを判定する（ステップＳ２０）。この判定結果が否定である場合、すなわち、病変フラグが“False”である場合、病変部位置算出部２２０ｄは、病変部が検出されたため、病変フラグを“True”にセットし（ステップＳ２２）、さらに、ステップＳ１４で取得した現在の撮像位置の情報をメモリ２０４に記憶させる。これにより、病変部の開始位置の情報が、メモリ２０４に記憶される。さらに、後述するステップＳ２６に進む。

一方、ステップＳ２０の判定結果が肯定の場合、すなわち、病変フラグが“True”である場合、病変部が継続して発生していることを示しているので、器官病変評価部２２０ｅは、ステップＳ１６で算出した画像評価値をメモリ２０４に記憶させる（ステップＳ２６）。すなわち、病変部における画像評価値は、逐次メモリ２０４に記憶される。この後、前処理部２２０ａは、画像の取得が終了したか否かを判定する（ステップＳ４０）。画像の取得が継続する場合（判定結果が否定の場合）、ステップＳ１２に移行して、前処理部２２０ａは、新たな画像を取得して処理を継続して行う。画像の取得が終了する場合、図７Ｂに示す病変フラグが“True”か否かの判定（ステップＳ４２）に進む。

一方、ステップＳ１８における判定結果が否定である場合、器官病変評価部２２０ｅは、病変フラグが“True”か否かを判定する（ステップＳ２８）。この判定結果が肯定である場合、現在の撮像位置が病変部の終了位置にあるとして終了位置を定める。このため、病変部位置算出部２２０ｄは、メモリ２０４に記憶した撮像位置の情報、すなわち、病変部の開始点の位置の情報から、現在の撮像位置の情報を差し引いた値を一時長さとして定める（ステップＳ３０）。さらに、器官病変評価部２２０ｅは、定めた一時長さが、内部変数である病変部の長さより大きいか否かを判定する（ステップＳ３２）。この判定結果が肯定である場合、病変部位置算出部２２０ｄは、定めた一時長さを病変部の長さとする（ステップＳ３４）。さらに、器官病変評価部２２０ｅは、メモリ２０４に記憶された画像評価値の中で最大値を代表値として設定する（ステップＳ３６）。この後、器官病変評価部２２０ｅは、病変フラグを“False”にセットし（ステップＳ３８）、ステップＳ４０に進む。

一方、ステップＳ２８における判定結果が否定である場合、上述のステップＳ４０に進む。すなわち、ステップＳ２８における判定結果が否定である場合は、病変部を依然として見いだされない状態が継続しているので、次に取得する画像の評価に進む。
また、ステップＳ３２における判定結果が否定である場合、すなわち、一時長さが、すでに設定されている病変部の長さより短い場合、この病変部は、器官の病変の程度に与える影響は小さいので、評価対象としない。このとき、現在の撮像位置では病変部は終了しているので、病変フラグを“False”とするステップＳ３８に進む。この後、ステップＳ４０に進む。

画像の取得は終了したが、最後に取得した画像において病変部が継続している場合を考慮して、ステップＳ４２～Ｓ５０の処理が行われる。すなわち、器官病変評価部２２０ｅは、病変フラッグが“True”であるか否かを判定する。判定結果が肯定である場合、すなわち、病変フラッグが“True”である場合、最後に取得した画像においても病変部が継続していることを意味しているので、ステップＳ３０～Ｓ３８と同様の処理が行われる（ステップＳ４４～Ｓ５２）。ステップＳ４４～５２の処理は、ステップＳ３０～３８と同じであるので説明は省略する。

こうして、器官病変評価部２２０ｅは、器官内で、最大の長さを有する病変部の長さ及びその代表値から、予め設定された上述した対応関係を用いて器官内における病変の程度を評価レベルで求める（ステップＳ５４）。

このように、電子内視鏡システム１は、取得した画像を処理することにより、病変部における病変の強さと、病変部の広がりの情報を得ることができるので、器官内における病変の程度を総合的に評価することができる。

以上、本発明の内視鏡システムについて詳細に説明したが、本発明の内視鏡システムは上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１ 電子内視鏡システム
１００ 電子スコープ
２００ プロセッサ
２２０ 画像処理ユニット
２２５ 評価ユニット
２２０ａ 前処理部
２２０ｂ 画像評価値算出部
２２０ｃ 撮像位置情報取得部
２２０ｄ 病変部位置算出部
２２０ｅ 器官病変評価部
２２０ｆ 評価結果統合部
２２５ 評価ユニット
２３０ 光源部
２５０ 位置測定システム
３００ モニタ
４００ プリンタ
６００ サーバ

Claims (5)

1. 器官内における生体組織の病変を評価する電子内視鏡システムであって、
   器官内における生体組織を撮像するように構成された電子内視鏡と、
   撮像された前記生体組織の複数の画像を処理して前記器官内における病変の程度を評価するように構成された評価ユニットを備えるプロセッサと、
   前記病変の評価結果を画面表示するように構成されたモニタと、を備え、
   前記評価ユニットは、
   前記生体組織の複数の画像の各画素に対して、各画素における前記生体組織の病変の強さを示す画素評価値を算出し、前記画素評価値から前記画像それぞれにおける前記生体組織の病変の強さを示す画像評価値を算出するように構成された画像評価値算出部と、
   前記画像それぞれを撮像した前記器官内における撮像位置の情報を前記画像それぞれと対応付けて取得するように構成された撮像位置情報取得部と、
   前記画像それぞれにおける前記病変の有無を、前記画像評価値が予め定めた閾値を越えるか否かに基づいて判定し、前記病変が前記器官内部の奥行き方向で連続して広がっている病変部の開始位置と終了位置を求める病変部位置算出部と、
   前記開始位置と前記終了位置との間の前記病変部を撮像した複数の病変部撮像画像内の、前記画素評価値が前記病変と判定される閾値以上の値を有する画素から定まる前記病変部の面積情報を前記病変部の広がり情報として、前記広がり情報と、前記病変部撮像画像における前記画像評価値の代表値と、を用いて、前記器官における評価対象の前記病変の程度を評価するように構成された器官病変評価部と、を備え、
   前記器官病変評価部は、各病変部撮像画像において前記画素評価値が前記病変と判定される閾値以上である画素の各病変部撮像画像に占める占有比率の、前記複数の病変部撮像画像における平均値と、前記開始位置と前記終了位置から算出される評価対象の前記病変部の長さとの積に基づいて、前記面積情報を求めることを特徴とする電子内視鏡システム。
2. 前記代表値は、前記病変部撮像画像の前記画像評価値のうち最大値である、請求項１に記載の電子内視鏡システム。
3. 前記器官病変評価部は、前記器官内を撮像した、病変の程度の評価レベルが定まっている複数の病変サンプルの画像を含む画像群を用いて得られる前記病変サンプルそれぞれに関する、前記代表値に対応した前記病変サンプルの病変サンプル代表値及び前記病変部の広がり情報に対応した前記病変サンプルの病変サンプル広がり情報と、前記評価レベルと、を対応付けた病変サンプル対応関係を備え、
   前記器官病変評価部は、前記器官内の撮像によって得られる評価対象の前記病変部の広がり情報、及び評価対象の前記病変部の前記代表値から、前記病変サンプル対応関係を用いて、評価対象の前記病変の程度を前記評価レベルで評価する、請求項１又は２に記載の電子内視鏡システム。
4. 前記器官病変評価部は、評価対象の前記病変部の評価レベルを予測する予測モデルであって、病変の程度の評価レベルが定まっている複数の病変サンプルの画像を含む画像群を用いて得られる前記病変サンプルそれぞれに関する、前記代表値に対応した前記病変サンプルの病変サンプル代表値及び前記病変部の広がり情報に対応した前記病変サンプルの病変サンプル広がり情報と、前記評価レベルと、を学習データとして、前記病変サンプル代表値及び前記病変サンプル広がり情報と、前記評価レベルとの間の対応関係を機械学習した予測モデルを備え、
   前記器官病変評価部は、評価対象の前記病変部の前記代表値及び前記病変部の広がり情報から、前記予測モデルに評価対象の前記病変部の評価レベルを予測させる、請求項１又は２に記載の電子内視鏡システム。
5. 前記モニタは、評価対象の前記病変部の前記代表値、及び評価対象の前記病変部の広がり情報を、前記病変サンプル代表値及び前記病変サンプル広がり情報とともにプロットした二次元散布図を画面表示する、請求項３又は４に記載の電子内視鏡システム。

Images