WO2017199635A1 - 画像解析装置、画像解析システム、及び画像解析装置の作動方法 - Google Patents

Abstract

ビデオプロセッサ３は、被検体内に挿入した内視鏡により取得された被検体の内視鏡画像が入力される画像入力部３２と、被検体の内視鏡画像の明るさ分布が略均一になるように被検体の内視鏡画像を補正した明るさ補正画像を生成する画像処理部３４と、明るさ補正画像における赤色成分、緑色成分、及び青色成分の少なくとも１つを抽出して、抽出した色成分の分布特性値を求める分布特性値算出部３５と、複数の分布特性値を含む情報を記録する記録部３７と、記録部３７に記録された複数の分布特性値と分布特性値算出部３５により求めた分布特性値との比較を行い、比較の結果から被検体の状態に関する情報を出力する比較情報出力部３６と、を具備する。

Description

画像解析装置、画像解析システム、及び画像解析装置の作動方法

　本発明は画像解析装置、画像解析システム、及び画像解析装置の作動方法に関し、特に、内視鏡画像についての画像解析装置、画像解析システム、及び画像解析装置の作動方法に関する。

　従来、CT（Computer Tomography）、MRI（Magnetic Resonance Imaging）等の医用画像装置により取得された医用画像を用いた診断が行われている。

　さらに、例えば、特開２０１３－２００６４２号公報及び特開２０１６－６６３５号公報には、医者が患者の医用画像を用いて診断を行うときに参考となる、撮られた医用画像と類似した過去の症例の医用画像を検索する検索システムも提案されている。

　しかし、これらの提案に係る検索システムは、基本的には、CTやMRIで得られた医用画像に対して、類似する過去の症例の疾患画像を検索するものであり、粘膜などの画像における色の微妙な変化を有する医用画像については、考慮されていない。

　例えば、体内の画像である内視鏡画像の場合、内視鏡の先端部から出射される照明光の配光特性、観察光学系の光軸に対する被写体表面の傾き、内視鏡先端部から観察対象までの距離、あるいは被写体表面が平坦でないこと等によっても、内視鏡先端部の観察光学系により得られる画像に明るさの偏りによる輝度ムラが生じる。

　さらに、色の微妙な変化を有する粘膜等の医療画像と類似する、過去の各種症例の粘膜の画像を精度よく検索することができない。

　そこで、本発明は、内視鏡画像における輝度ムラの影響を抑制しつつ、得られた色の情報を含む医用画像と類似する画像を精度よく検索できる画像解析装置、画像解析システム、及び画像解析装置の作動方法を提供することを目的とする。

　本発明の一態様の画像解析装置は、被検体内に挿入した内視鏡により取得された前記被検体の内視鏡画像が入力される画像入力部と、前記被検体の前記内視鏡画像の明るさ分布が略均一になるように前記内視鏡画像を補正した明るさ補正画像を生成する画像処理部と、前記明るさ補正画像における赤色成分、緑色成分、及び青色成分の少なくとも１つを抽出して、抽出した色成分の分布特性値を求める分布特性値算出部と、複数の分布特性値を含む情報を記録する記録部と、前記記録部に記録された前記複数の分布特性値と前記分布特性値算出部により求めた前記分布特性値との比較を行い、前記比較の結果から前記被検体の状態に関する情報を出力する比較情報出力部と、を具備する。

　本発明の一態様の画像解析システムは、内視鏡と、本発明の画像解析装置とを備える。

　本発明の一態様の画像解析装置の作動方法は、画像入力部と、画像処理部と、分布特性値算出部と、比較情報出力部とを具備する画像解析装置の作動方法であって、前記画像入力部において、被検体内に挿入した内視鏡により取得された前記被検体の内視鏡画像を入力し、前記画像処理部において、前記被検体の前記内視鏡画像の明るさ分布が略均一になるように前記内視鏡画像を補正した明るさ補正画像を生成し、前記分布特性値算出部により、前記処理画像における赤色成分、緑色成分、及び青色成分の少なくとも１つを抽出して、抽出した色成分の分布特性値を求め、前記比較情報出力部において、複数の分布特性値を記録する記録部の前記複数の分布特性値と前記分布特性値算出部により求めた前記分布特性値との比較を行い、前記比較の結果から前記被検体の状態に関する情報を出力する。

本発明の実施の形態に係わる画像解析システムの概略構成を示すブロック図である。 本発明の実施の形態に係わる信号生成部３３の構成を示すブロック図である。 本発明の実施の形態に係わる画像処理部３４の構成を示すブロック図である。 本発明の実施の形態に係わる分布特性値算出部３５の構成を示すブロック図である。 本発明の実施の形態に係わる比較情報出力部３６の構成を示すブロック図である。 本発明の実施の形態に係わる信号生成部３３の構造化要素指定部５２の構成を示すブロック図である。 本発明の実施の形態に係わる、撮像して得られた内視鏡画像から、その内視鏡画像と類似する疾患情報を検索して出力するまでの処理の全体の流れを説明するための図である。 本発明の実施の形態に係わる、内視鏡画像の取得から疾患情報の提示までの処理を示すフローチャートである。 本発明の実施の形態に係わる、内視鏡画像の取得から疾患情報の提示までの処理を示すフローチャートである。 本発明の実施の形態に係わる、内視鏡画像中の解析対象領域AAを説明するための図である。 本発明の実施の形態に係わる、構造化要素の指定処理の流れの例を示すフローチャートである。 本発明の実施の形態に係わる、構造化要素の指定処理の流れの例を示すフローチャートである。 本発明の実施の形態に係わる、被検体の内視鏡画像および注目要素の１つを拡大して示す図である。 本発明の実施の形態に係わる、注目要素である腸管の繊毛の構造を示す図である。 本発明の実施の形態に係わる内視鏡画像の例を示す図である。 図１５に示す内視鏡画像の解析対象領域AA内の二点鎖線で示すラインL上の画素群の輝度値分布を示すグラフである。 本発明の実施の形態に係わる構造化要素を説明するための図である。 本発明の実施の形態に係わる、補正用画像CPを作成する処理の流れの例を示すフローチャートである。 本発明の実施の形態に係わる、生成された補正用画像CP内の画素群の輝度値分布を示すグラフである。 本発明の実施の形態に係わる、生成された補正後画像AP内の画素群の輝度値分布を示すグラフである。 本発明の実施の形態に係わる補正後画像APにおける輝度値のヒストグラムである。 本発明の実施の形態に係わる、表示装置５に表示される疾患候補情報の表示例を示す図である。 本発明の実施の形態に係わる、胃の正常粘膜の内視鏡画像のRGBの３つの色成分の輝度値の合算値を基準化した輝度値と、各輝度値に対応する画素数を示したヒストグラムである。 本発明の実施の形態に係わる、胃の正常粘膜の内視鏡画像のRの色成分の輝度値と、各輝度値に対応する画素数を示したヒストグラムである。 本発明の実施の形態に係わる、胃の正常粘膜の内視鏡画像のGの色成分の輝度値と、各輝度値に対応する画素数を示したヒストグラムである。 本発明の実施の形態に係わる、胃の疾患Aの粘膜の内視鏡画像のRGBの３つの色成分の輝度値の合算値を基準化した輝度値と、各輝度値に対応する画素数を示したヒストグラムである。 本発明の実施の形態に係わる、胃の疾患Aの粘膜の内視鏡画像のRの色成分の輝度値と、各輝度値に対応する画素数を示したヒストグラムである。 本発明の実施の形態に係わる、胃の疾患Aの粘膜の内視鏡画像のGの色成分の輝度値と、各輝度値に対応する画素数を示したヒストグラムである。 本発明の実施の形態に係わる、輝度値分布の標準偏差の小さい内視鏡画像の例を示す図である。 本発明の実施の形態に係わる、輝度値分布の標準偏差の大きい内視鏡画像の例を示す図である。 本発明の実施の形態に係わる、疾患毎の標準偏差の違いを示すグラフである。 本発明の実施の形態の変形例１に係わる記録部の構成を示すブロック図である。 本発明の実施の形態の変形例２に係わる、ある色成分の輝度値分布の波形データの例を示すグラフである。 本発明の実施の形態の変形例２に係わる、ある色成分の輝度値分布の波形データの例を示すグラフである。 本発明の実施の形態の変形例３に係わる内視鏡画像の取得から疾患情報の提示までの処理を示すフローチャートの一部である。 本発明の実施の形態の変形例５に係わる信号生成部３３Aのブロック図である。 本発明の実施の形態の変形例５に係わる、輝度ムラのない補正前画像BPPの生成処理を説明するための図である。 本発明の実施の形態の変形例６の信号生成部３３Bのブロック図である。 本発明の実施の形態の変形例６に係わる、補正前画像BPにおいて指定された３点を説明するための図である。 本発明の実施の形態の変形例７に係わる、ライブ画像表示部Ｇ１の解析対象領域AA内の画像がカラーマップ表示されている例を示す図である。

　以下、図面を参照して本発明の実施の形態を説明する。　
　なお、以下の説明において、同一要素には同一の符号を付している。さらに、図面は、模式的なものであり、各部の厚みと幅との関係、各部の比率等は、現実と異なることに留意する必要がある。また、図面の相互間においても、互いの寸法や比率が異なる部分が含まれている。

（システム構成）
　図１は、本発明の実施の形態に係る画像解析システムの概略構成を示すブロック図である。

　なお、以下に示す実施の形態においては、“画像解析システム”として内視鏡システムと、“画像解析装置”としてビデオプロセッサとを例に説明する。　
　図１に示すように、画像解析システムである内視鏡システム１は、内視鏡２と、画像解析装置であるビデオプロセッサ３と、光源装置４と、表示装置５を主に備えている。

　内視鏡システム１は、本実施の形態においては、システム全体として、白色光による通常光観察が可能なだけでなく、狭帯域光観察（NBI：Narrow Band Imaging。以下、NBIという）にも対応可能となっている。

　内視鏡２は、被検体２００内に挿入される細長の挿入部（図示せず）を備え、さらに、当該挿入部の先端部に配設された、被検体２００の画像を撮像して画像信号を取得するための撮像部１１と、光源装置４からの照明光を伝送するライトガイド１２と、被検体２００に照明光を照射する照明部１３と、を備える。内視鏡２の挿入部の先端部の先端の同じ面に、被検体の像を取得する被検体像取得部と被検体を照明する照明窓が配置されている。

　なお、ここでは、照明はライトガイドを利用して行われているが、複数の発光ダイオード（以下、ＬＥＤという）などの発光素子を挿入部の先端部に設け、複数のＬＥＤの照明光を照射するようにしてもよい。　
　また、当該内視鏡２は、ノイズ成分を少なくしてNBIによる拡大観察を行うために、その先端には、例えば先端フードまたは先端アタッチメント等が装着可能になっている。

　また、内視鏡２には、図示しない操作部が設けられており、検査者である内視鏡システム１のユーザは、操作部に設けられたフリーズボタン、レリーズボタン及び湾曲操作ノブなどの操作部材を操作することにより、被検体２００内の部位、例えば小腸絨毛、胃粘膜の画像取得、及び挿入部の先端部に設けられた湾曲部の湾曲操作、等を行うことができる。

　光源装置４は、内視鏡２とビデオプロセッサ３に接続されている。光源装置４は、光源４１と、光源ドライバ４２と、回転フィルタ４３と、駆動部４４と、駆動ドライバ４５と、光源制御部４６と、を備える。

　光源４１は、白色ＬＥＤまたはキセノンランプ等を用いて構成され、光源制御部４６の制御のもと、白色光を発生する。光源ドライバ４２は、光源制御部４６の制御下に光源４１に白色光を発生せしめる。光源４１が発生した光は、回転フィルタ４３および集光レンズ（図示せず）およびライトガイド１２を経由して内視鏡２の照明部１３から照射される。

　回転フィルタ４３は、狭帯域光観察（以下、NBIという）モード時に、光源４１が発した白色光の光路上に配置され、回転することにより、光源４１が発する白色光を受けてNBIに対応した光、すなわち、波長415nm付近（例えば、およそ400nm～440nm）の青色光と、波長540nm付近（例えば、およそ525nm～555nm）の緑色光との各波長領域を含む狭帯域化した光を透過させる。なお、図１では、通常光観察のためのフィルタは、省略されている。

　よって、NBIモード時には、照明部１３は、被検体を白色光より狭い帯域の狭帯域光で照明する。内視鏡２において得られる画像は、白色光より狭い所定の波長帯域の照明光で被検体を照明した際の反射光の画像である。

　ここで、本実施の形態において採用するNBIでは、通常、青色と緑色の狭帯域光を腸粘膜面に照射し、青色の反射光を青色と緑色に、緑色の反射光を赤色に変換した内視鏡画像を表示装置５上に表示するようになっている。

　なお、本実施の形態では、NBIのために、波長415nm付近の青色光と波長540nm付近の緑色光の２つの狭帯域光が用いられているが、波長415nm付近の青色光と波長540nm付近の緑色光の２つの狭帯域光のいずれかのみを用いてもよく、さらに１つ又は２つ以上の他の波長帯域の狭帯域光を用いるようにしてもよい。

　内視鏡システム１が通常光観察モードに設定されているときには、光源装置４は、白色光を照明光として出射し、NBIモードに設定されているときには、光源装置４は、狭帯域化した光を照明光として出射する。

　駆動ドライバ４５は、光源制御部４６の制御下に駆動部４４に所定の電流を供給し、駆動部４４は、光源制御部４６の制御下に、ビデオプロセッサ３から送信される同期信号を基準として回転フィルタ４３を回転動作させる。

　表示装置５は、ビデオプロセッサ３に接続され、所定の映像ケーブルを介してビデオプロセッサ３が生成した被検体画像等をビデオプロセッサ３から受信して表示する機能を有する。

（ビデオプロセッサの構成）
　内視鏡２及び光源装置４が接続されたビデオプロセッサ３は、内視鏡システム１全体を統括的に制御する制御部３１と、制御部３１により制御される画像入力部３２と、信号生成部３３と、画像処理部３４と、分布特性値算出部３５と、画像解析部を含む比較情報出力部３６と、記録部３７と、を含んでいる。

　なお、本実施の形態においてビデオプロセッサ３は、内視鏡２の撮像部１１からの撮像信号の信号処理装置としての機能を果たすと共に、「画像解析装置」としての役目を果たすようになっている。

　ビデオプロセッサ３は、中央処理装置（以下、CPUという）、ROM、RAM及びハードディスク装置などを有して構成されている。制御部３１は、CPUがROM等に記憶された各種プログラムを読み出して実行することによって、内視鏡システム１の全体の動作制御及び各機能の実現を行う。

　ビデオプロセッサ３は、操作パネル等の入力装置（図示せず）を有しており、ユーザが観察モードの設定、パラメータの入力、患者情報などの各種情報をビデオプロセッサ３に設定あるいは入力することができるようになっている。入力された情報は、記録部３７において記憶される。また、情報制御部３８は、患者情報などの情報を比較情報出力部３６へ出力することができる。

　疾患候補検索を行う場合、外部からユーザが入力した情報（基本的な患者情報）や分布特性値算出部から自動で取得された情報（分布特性値や撮影モードや各種患者情報）は、比較情報出力部３６から情報制御部３８を介して、記録部３７に保存される。疾患候補検索を行わない場合、情報は分布特性値算出部３５から情報制御部３８へ送られる。

　記録部３７は、メモリとしての機能を有するものであるため、情報制御部３８は、記録された情報を呼び出したり、画像等他の情報と紐付けて保存させたりといった、情報に各種操作を行う。

　画像入力部３２、信号生成部３３、画像処理部３４、分布特性値算出部３５、比較情報出力部３６及び記録部３７の動作制御も、CPUがROM等に記憶された各種プログラムを読み出して実行することによって行われる。

　画像入力部３２は、内視鏡２の撮像部１１からの内視鏡画像IMGの撮像信号を受信して、撮像信号からフレーム毎の画像データを生成する。すなわち、画像入力部３２には、撮像部１１によって取得された被検体の内視鏡画像IMGが入力され、画像入力部３２は、各フレームの画像データを生成する。また、後述するように、画像入力部３２は、内視鏡２からの撮像信号に基づいて画像データを所定フレーム数分だけ記憶するRAMなどのメモリ３２ａを有し、入力された画像データを、時系列順にソートして制御部３１からの制御信号により指定されたフレームの画像データを、信号生成部３３へ出力する機能も有する。

　信号生成部３３は、画像入力部３２からの内視鏡画像IMGの画像データから、補正用画像CPの画像データを作成する。　
　図２は、信号生成部３３の構成を示すブロック図である。信号生成部３３は、補正前画像取得部５１と、構造化要素指定部５２と、補正用画像作成部５３とを含む。

　補正前画像取得部５１は、画像入力部３２からの内視鏡画像IMGの解析対象領域AAの画像データを取得する処理部である。すなわち、内視鏡画像IMGについての、照明光の配光特性等による明るさ分布が補正される前の画像である補正前画像BPが、補正前画像取得部５１に入力される。

　構造化要素指定部５２は、解析対象に合わせた構造化要素パラメータを指定する処理部である。構造化要素指定部５２は、内視鏡画像IMGについて、解析対象に合わせた構造化要素パラメータを、解析対象である補正前画像BPの画像データから算出する。構造化要素パラメータは、解析対象の大きさに応じた値となるように算出される。構造化要素指定部５２の構成及び構造化要素パラメータの算出方法については、後述する。

　補正用画像作成部５３は、後述する画像処理によって、画像データを補正するために用いられる補正用画像CPを作成し出力する処理部である。補正用画像CPの作成方法については、後述する。

　図１に戻り、画像処理部３４は、内視鏡画像IMGについて、補正前画像BPと補正用画像CPの画像データを入力して、補正した画像データすなわち補正後画像APを生成する画像処理を行う処理部である。

　図３は、画像処理部３４の構成を示すブロック図である。画像処理部３４は、補正前画像入力部６１と、補正用画像入力部６２と、画像差分抽出部６３とを含む。　
　補正前画像入力部６１は、解析対象となる補正前画像BPを入力する処理部である。内視鏡画像IMGの補正前画像BPは、画像入力部３２から出力される。

　補正用画像入力部６２は、補正用画像作成部５３において作成された補正用画像CPを取得する処理部である。内視鏡画像IMGの補正用画像CPは、信号生成部３３から出力される。

　画像差分抽出部６３には、内視鏡画像IMGについての、補正前画像BPと補正用画像CPとが入力される。画像差分抽出部６３は、補正前画像BPと補正用画像CPとの差分をとって、差分画像を抽出し、差分画像を補正後画像APとして出力する。よって、画像差分抽出部６３は、内視鏡画像IMGの解析対象領域AAの補正後画像APを生成して、分布特性値算出部３５へ出力する。補正後画像APは、画像の明るさ分布が略均一になるように、内視鏡画像を補正した明るさ補正画像である。　
　すなわち、画像処理部３４は、被検体の内視鏡画像の明るさ分布が略均一になるように被検体の内視鏡画像を補正した明るさ補正画像を生成する画像生成部を構成する。

　画像処理部３４における補正後画像APの生成処理については、後述する。
　図１に戻り、分布特性値算出部３５は、内視鏡画像IMGについて、補正後画像APを入力して、分布特性値の算出を行う処理部である。

　図４は、分布特性値算出部３５の構成を示すブロック図である。分布特性値算出部３５は、色成分値抽出部７１と、合算輝度値算出部７２と、輝度値分布特性値算出部７３とを有する。

　色成分値抽出部７１は、画像差分抽出部６３から出力された内視鏡画像IMGの補正後画像APにおける各色成分値（赤色成分値（以下、Ｒ成分値ともいう），緑色成分値（以下、Ｇ成分値ともいう），青色成分値（以下、Ｂ成分値ともいう））を抽出する。　
　合算輝度値算出部７２は、色成分値抽出部７１において抽出した内視鏡画像IMGの補正後画像APに係る各色成分値の合算値に係る輝度値（合算輝度値）を算出する。

　輝度値分布特性値算出部７３は、補正後画像APにおける各色成分値（Ｒ成分値，Ｇ成分値，Ｂ成分値）に係る分布特性値と、合算輝度値算出部７２において算出した合算輝度値に係る分布特性値とを、分布特性値情報DCとして算出する。なお、本実施の形態において「分布特性値」は、解析対象領域AA内の複数の画素の画素値分布すなわち輝度値分布の標準偏差として求められる。

　よって、分布特性値算出部３５は、画像差分抽出部６３により生成された内視鏡画像IMGの補正後画像APの色成分値を抽出すると共に、抽出した色成分値の合算値に係る輝度値の分布特性値及び抽出した各色成分値に係る輝度値の分布特性値を、分布特性値情報DCとしてそれぞれ算出する（詳細については後述する）。

　すなわち、分布特性値算出部３５は、明るさ補正画像である補正後画像APにおける赤色成分、緑色成分、及び青色成分の少なくとも１つを抽出して、抽出した色成分の分布特性値を求める。なお、分布特性値算出部３５は、NBIモード下で被検体を狭帯域光で照明したとき、明るさ補正画像である補正後画像APにおける少なくとも緑色成分及び青色成分をそれぞれ抽出して、色成分毎の分布特性値を求める。

　比較情報出力部３６は、分布特性値算出部３５において得られた各分布特性値と一致するあるいは類似する分布特性値を有する疾患情報を検索して疾患候補情報CAとして出力する。　
　図５は、比較情報出力部３６の構成を示すブロック図である。比較情報出力部３６は、分布特性値入力部７４と、疾患情報照合部７５と、疾患候補決定部７６と、情報出力部７７とを有する。

　分布特性値入力部７４は、輝度値分布特性値算出部７３からの分布特性値情報DCを入力する処理部である。　
　疾患情報照合部７５は、分布特性値情報DCと、記録部３７に記録された疾患情報DIに含まれる各疾患の分布特性値とを比較し、一致度を算出する処理部である。

　分布特性値として、解析対象領域AA内の複数の画素の輝度値分布の標準偏差が用いられ、分布特性値情報DCに含まれる標準偏差と、後述する記録部３７に記録された疾患情報DI中の標準偏差とが比較される。

　さらに、疾患情報照合部７５では、比較結果から、所定の演算に基づく、一致度も、疾患情報に含まれる疾患毎に算出される。一致度とは、分布特性値情報DCに含まれる標準偏差と疾患情報の標準偏差とが類似する割合あるいは一致する割合である。

　疾患候補決定部７６は、疾患情報照合部７５からの一致度の情報に基づいて、一致度の高い疾患を、記録部３７に記録された疾患情報DIの中から疾患候補として決定する。　
　情報出力部７７は、疾患候補決定部７６で特定された疾患候補情報CAを生成して、表示装置５へ出力する。

　なお、表示装置５には、画像入力部３２からの内視鏡画像IMGも入力されており、ライブ画像及び静止画が表示可能となっている。　
　図１に戻り、記録部３７は、テンプレート情報としての疾患情報DIが記録されたハードディスク装置などの大容量メモリである。

　テンプレート情報は、被検体の部位毎に、複数の症例の内視鏡画像の画像データと、その各画像データと関連付けられた分布特性値データを含む。すなわち、記録部３７は、複数の疾患の情報を含む。

　記録部３７は、複数の疾患画像の複数の分布特性値データと共に、疾患画像における赤色成分、緑色成分、及び青色成分の輝度値分布の情報と、疾患画像の情報とを、テンプレート情報として含む。

　例えば検査部位が胃であれば、各症例は、萎縮性胃炎又は転移性胃癌などであり、記録部３７には、疾患情報DIとして、胃の症例毎に、典型的な複数の症例の内視鏡画像の画像データと、その各画像データについての上述した分布特性値データ、ここでは、標準偏差データとが関連付けられて、記憶されている。疾患情報DIは、記録部３７に事前に登録される。

　さらに、疾患情報DIは、観察モード毎に記録部３７に記録されている。ここでは、NBIモードと、白色光を用いた通常光観察モードのそれぞれの疾患情報DIが記録されており、後述する疾患の推定は、NBIモードで得られた内視鏡画像だけではなく、白色光による通常光観察モードで得られた内視鏡画像にも適用可能である。

　なお、各症例の内視鏡画像の分布特性値も、各症例の内視鏡画像の画像データに対して上述した信号生成部３３及び画像処理部３４の処理を行って得られた明るさ補正画像に基づいて算出される。

　すなわち、記録部３７には、複数の分布特性値を含む情報が記録され、記録部３７に記録された複数の分布特性値の各々は、疾患画像の解析対象領域AAにおける明るさ分布が略均一になるように疾患画像を補正した明るさ補正画像の分布特性値である。具体的には、記録部３７に記録された複数の分布特性値の各々は、疾患画像の明るさ分布が略均一になるように疾患画像を補正した明るさ補正画像における赤色成分、緑色成分、及び青色成分の少なくとも１つを抽出して、抽出した色成分の分布特性値である。

　さらになお、ここでは、解析対象領域AA内の分布特性値が記録部３７に登録されるが、内視鏡画像全体の分布特性値も記録部３７に登録するようにしてもよい。　
　また、ここでは、記録部３７は、ビデオプロセッサ３内に設けられたメモリであるが、図１において点線で示すように、外部のネットワーク３７Ｘａ、例えばインターネットに接続されたサーバ等の外部装置３７Ｘでもよい。すなわち、ビデオプロセッサ３は、ネットワークを介して外部装置を通信するための通信部を有して、記録部である外部装置からテンプレート情報を取得するようにしてもよい。

　さらにまた、ここでは、各疾患について１つの症例の情報をテンプレート情報として記録部３７に登録しているが、各疾患について複数の症例の情報をテンプレート情報として記録部３７に登録するようにしてもよい。その場合、疾患推定に用いられる分布特性値として、複数の分布特性値の平均値も記録部３７に登録され、その平均値が疾患推定に用いられる。　
　さらに、各疾患画像の部分画像の分布特性値も、記録部３７に登録するようにしてもよい。例えば、胃の粘膜画像中のポリープの部分の画像における分布特性値も、胃の症例についてのテンプレート情報として記録部３７に登録しておくと、後述する再検索において変更する条件として、部分画像の分布特性値からの疾患判定が可能となる。

　テンプレート情報として登録されているデータは、明るさ分布を略均一になるよう処理した画像のデータ、又はその分布特性値であってもよい。

　次に、構造化要素指定部５２の構成について説明する。　
　図６は、信号生成部３３の構造化要素指定部５２の構成を示すブロック図である。　
　信号生成部３３の構造化要素指定部５２は、図６に示すように、エッジ検出部８１、閉曲線エッジ検出部８２、大きさフィルタ処理部８３、二重閉曲線エッジ検出部８４、二重閉曲線エッジ特定部８５、解析対象特定部８６、内接円描画部８７、内接円平均サイズ算出部８８、及び構造化要素指定制御部８９を含んで構成されている。　
　構造化要素指定部５２は、内視鏡画像IMGについて、補正用画像作成部５３において補正用画像CPを作成するときに用いられる構造化要素パラメータを指定する処理部である。

　エッジ検出部８１は、画像に対して例えばエッジ検出フィルタをかけることにより、エッジ検出を行う。　
　閉曲線エッジ検出部８２は、エッジ検出部８１により検出されたエッジの中から、閉曲線をなすエッジをさらに検出する。

　大きさフィルタ処理部８３は、閉曲線エッジ検出部８２により検出された閉曲線エッジの中から、閉曲線エッジの大きさが注目要素として取り得る範囲内（例えば、腸管の絨毛として取り得る大きさの範囲内）であるもののみを選択する処理を行う。

　二重閉曲線エッジ検出部８４は、閉曲線エッジ検出部８２により検出され、さらに例えば大きさフィルタ処理部８３により選択された閉曲線エッジの中から、さらに、二重をなす（つまり、外側閉曲線エッジと、この外側閉曲線エッジ内に含まれる内側閉曲線エッジと、で構成される）二重閉曲線エッジを検出する。

　二重閉曲線エッジ特定部８５は、二重閉曲線エッジ検出部８４により検出された二重閉曲線エッジの内の、内側閉曲線エッジ内の領域の色と、内側閉曲線エッジと外側閉曲線エッジとの間の領域の色と、が異なる場合に、内側閉曲線エッジ内の領域を中心部として特定する。

　このとき、二重閉曲線エッジ特定部８５は、さらに、内側閉曲線エッジ内の領域の色が注目要素の中心部に該当する第１の色範囲（一例として注目要素が腸管の絨毛である場合には、第１の色範囲は例えば赤に近い色範囲）内であって、内側閉曲線エッジと外側閉曲線エッジとの間の領域の色が注目要素の周辺部に該当する第２の色範囲（第１の色範囲とは異なる第２の色範囲）（一例として注目要素が腸管の絨毛である場合には、第２の色範囲は例えば白に近い色範囲）内である場合に、内側閉曲線エッジ内の領域を中心部として特定するようになっている。

　なお、色の相違は、上述したように、色相と彩度と輝度との少なくとも１つの相違に基づき判定する。従って、色範囲は、色相、彩度、輝度の内の、何れか１つの範囲、または２つ以上の組み合わせにより決まる範囲となる。例えば、色範囲を色相および彩度の組み合わせにより決まる範囲としてもよいし、あるいは色範囲を輝度範囲としても構わない（すなわち、輝度のみに基づいて中心部と周辺部とを区別するようにしても構わない）。注目要素が腸管の絨毛であって色範囲を輝度範囲とした場合には、例えば、第１の色範囲はやや低輝度の範囲、第２の色範囲は第１の色範囲よりも高輝度の範囲とすればよい。

　さらに、二重閉曲線エッジ特定部８５は、大きさフィルタ処理部８３により内側閉曲線エッジおよび外側閉曲線エッジの大きさが注目要素として取り得る範囲内であると判定された場合にのみ、内側閉曲線エッジ内の領域を中心部として特定すると、より好ましい。

　解析対象特定部８６は、二重閉曲線エッジ特定部８５において特定された１又は２以上の二重閉曲線のエッジの内側閉曲線を、解析対象として特定する処理を行う。
　内接円描画部８７は、各解析対象に内接する円を描画する処理を行う。

　内接円平均サイズ算出部８８は、内接円描画部８７において描画された全ての内接円の平均サイズ、ここでは直径の平均値を算出する処理を行う。　
　構造化要素指定制御部８９は、構造化要素指定部５２内の各部、つまり、上述したエッジ検出部８１、閉曲線エッジ検出部８２、大きさフィルタ処理部８３、二重閉曲線エッジ検出部８４、二重閉曲線エッジ特定部８５、解析対象特定部８６、内接円描画部８７、および内接円平均サイズ算出部８８を制御して、後に詳述する図１１及び図１２を参照して説明するような動作を行わせる。

　以上のような構成を有する内視鏡システム１を利用して、医者は、内視鏡の挿入部を体内に挿入し、表示装置５に表示される被検体内の内視鏡画像を見ながら、患者の診断を行う。

　診断前に、医者は、患者についての各種情報、例えば患者ID、氏名、年齢、病歴などの情報を、ビデオプロセッサ３の操作パネル等の入力装置（図示せず）を用いて、ビデオプロセッサ３に入力する。入力された患者情報は、記録部３７に記憶される。

　医者は、内視鏡画像を見ながら、疾患の有無の判定などを行うが、以下に説明するように、ビデオプロセッサ３は、内視鏡画像に類似する疾患情報DIを、医者が診断する上で参考となる情報として、表示装置５に表示可能となっている。

（作用）
　次に、内視鏡システム１の動作について説明する。

　はじめに、ユーザが挿入部の先端部に先端フードを装着して内視鏡システム１をNBIモードに設定して小腸絨毛あるいは胃粘膜を拡大観察する場合における内視鏡システム１の全体の処理の流れについて説明する。

　＜全体の流れ＞
　はじめに、被検体の内視鏡画像と類似する疾患情報DIを抽出して出力するまでの全体の流れを説明する。　
　図７は、撮像して得られた内視鏡画像から、その内視鏡画像と類似する疾患情報を検索して出力するまでの処理の全体の流れを説明するための図である。内視鏡システム１のユーザである医者は、ビデオプロセッサ３に検査する部位の情報を入力する。例えば、医者は、小腸絨毛の検査であれば、「小腸」を、胃粘膜の検査であれば、「胃」を、検査部位の情報として、ビデオプロセッサ３に入力する。

　医者は、小腸絨毛あるいは胃粘膜をNBIモードで拡大観察しているときに、あるタイミングで内視鏡の操作部のレリーズボタンを押して、静止画を取得して記録することができる。

　図７において、あるタイミングt1でそのレリーズボタンが押されたとすると、制御部３１は、そのタイミングt1の前後、あるいはタイミングt1以降の、所定フレーム数の内視鏡画像を、画像入力部３２のメモリ３２ａに記憶させる。

　画像入力部３２のメモリ３２ａには、時系列順にソートされた複数のフレームFLsの画像データが記憶される。そして、複数のフレームFLsの中から、広いハレーション領域のない画像が、内視鏡画像IMGとして選択される。すなわち、画像入力部３２は、タイミングt1で取得された被検体の内視鏡画像IMGを、入力して取得する。

　そして、取得された内視鏡画像IMGから抽出された解析対象領域AAが、補正前画像BPとして抽出される。補正前画像BPから、補正用画像CPが作成される。補正用画像CPは、明るさに全体的な傾きがある明るさ分布を補正して補正前画像BPを構成する色成分への光学的な影響を抑制する明るさ分布補正用のデータである。

　上述した信号生成部３３が、内視鏡画像IMGの明るさに全体的な傾きがある明るさ分布を補正して内視鏡画像IMGを構成する色成分への光学的な影響を抑制するための明るさ分布補正データである補正用画像CPを、補正前画像である内視鏡画像IMGを用いて作成する。

　補正後画像APは、補正前画像BPと補正用画像CPとから作成される。作成された補正後画像APは、照明の配光特性、観察光学系の光軸に対する被写体表面の傾き、挿入部の先端部から観察対象までの距離、あるいは被写体表面が平坦でないこと等による画像の明るさ分布の影響のない画像となっている。

　画像処理部３４が、分布補正データとしての補正用画像CPを内視鏡画像IMGに作用させた処理画像である補正後画像APを生成する。上述したように、補正後画像APは、明るさ分布が略均一にされた明るさ補正画像である。

　補正後画像APについて、分布特性値が算出される。分布特性値算出部３５が、処理画像である補正後画像APにおける色成分を抽出して分布特性値を求める。

　比較情報出力部３６は、分布特性値算出部３５において算出された分布特性値と、記録部３７に記録されたテンプレート情報の分布特性値とを比較して、分布特性値が一致するあるいは類似する疾患の疾患情報DIを、疾患候補情報CAとして出力する。

　具体的には、比較情報出力部３６は、記録部３７に記録された複数の分布特性値の情報における赤色成分、緑色成分、及び青色成分と、補正後画像APにおける赤色成分、緑色成分、及び青色成分とをそれぞれ比較する。

　すなわち、比較情報出力部３６は、記録部３７の複数の分布特性値と分布特性値算出部３５により求めた分布特性値との比較を行い、その比較の結果から被検体の状態に関する情報を出力する。

　疾患候補情報CAに含まれる疾患情報DIは、表示装置５の画面上に表示され、医者は、内視鏡画像と、疾患情報を参考情報として用いながら、診断を行うことができる。　
　次に、ビデオプロセッサ３における内視鏡画像IMGの取得から疾患情報DIの提示までの処理について説明する。　
　図８及び図９は、内視鏡画像の取得から疾患情報の提示までの処理を示すフローチャートである。

　医者であるユーザは、内視鏡システム１を利用して、被検体内の内視鏡画像を表示装置５に表示させながら、被検体内の内視鏡画像観察を行う。　
　ここでは、ユーザは、内視鏡システム１をNBIの拡大観察モードに設定して、NBIの内視鏡画像を表示装置５に表示させながら、被検体内を観察する。観察中に得られた内視鏡画像は、図示しないハードディスク装置などの大容量記憶装置に記憶される。

　例えば、ユーザによるレリーズボタンの操作が行われると、内視鏡画像IMGの取得が行われる。具体的には、ユーザによるレリーズボタンの操作が行われると、制御部３１は、レリーズボタンの押下のタイミングに応じて、上述したように複数のフレームの内視鏡画像がメモリ３２ａに記憶されるように画像入力部３２を制御する。

　図８及び図９の処理の実行は、ユーザがレリーズボタンを押下することによって開始される。制御部３１の制御下で、画像入力部３２は、内視鏡２から経時的に取得してメモリ３２ａに記憶された被検体の画像データを、時系列順にソートする（ステップＳ１１）。

　画像入力部３２は、広いハレーション等の領域を有する不適格画像なフレームが、ソートされた複数のフレームの画像データ中にあるか否かを判定する（ステップＳ１２）。画素値が０から２５５の範囲内の値であるとき、閾値を例えば２３０として、画素値が２３０以上である画素領域が、フレーム中で所定の割合以上を占めるとき、そのフレームは、不適格画像と判定される。すなわち、画像入力部３２は、ステップＳ１１でソートされた複数の画像の各々が、色成分値を抽出するのに適さない不適格画像であるか否かを判定する。例えば、輝度値が所定値以上である画素数が、１フレームの画像データ中に所定数以上存在すると、そのフレームの画像は、ハレーション領域が広いので、不適格画像の画像と判定される。不適格領域の例としては、ハレーションが生じている領域以外にも、例えば気泡が生じている領域、ピントがぼけている領域、などが挙げられる。

　複数のフレームの画像データ中に、不適格画像が存在するとき（ステップＳ１２：ＹＥＳ）、画像入力部３２は、ステップＳ１１で得られた複数のフレームの画像データの中から、不適格画像と判定された１又は２以上のフレームの画像データを削除する（ステップＳ１３）。

　なお、ここでは、画像入力部３２が、各フレームの各画素の画素値と、所定の閾値としての所定値とを比較して、各フレーム中にハレーション等の領域の広さが所定値以上であると、不適格画像の画像と判定するが、不適格画像の画像と判定をユーザに行わせるようにしてもよい。例えば、ハレーション等の領域が所定値以上の広さを有するフレームの画像を表示装置５の画面上に表示して、ユーザに、不適格画像の画像であるか否かを判定させ、フレーム単位で不適格画像を削除させるようにしてもよい。

　画像入力部３２は、ステップＳ１２の後又はステップＳ１３の後、不適格画像のない複数のフレームの画像データの中から、画像解析の対象とする画像を選択して取得する画像選択を行い、信号生成部３３に出力する（ステップＳ１４）。すなわち、画像入力部３２は、内視鏡２より取得された被検体の画像の中から、色成分値を抽出するのに適さない不適格要素を所定値以上含む画像を除いて、１枚の内視鏡画像IMGを選択する。

　なお、Ｓ１４では、１枚の内視鏡画像IMGが選択されているが、複数の内視鏡画像IMGが選択されるようにしてもよい。　
　さらになお、ここでは、レリーズボタンの押下に応じて、複数のフレームFLsの画像を取得しているが、１枚の内視鏡画像のみが取得されるようにしてもよい。

　信号生成部３３は、その取得した画像についての解析対象領域AAの設定を行う（ステップＳ１５）。信号生成部３３の補正前画像取得部５１は、画像解析の対象とする内視鏡画像IMGを取得して、その内視鏡画像IMGについての解析対象領域AAの設定を行う。ステップＳ１５の処理が、内視鏡画像IMGに解析対象領域AAを設定する解析対象領域設定部を構成する。言い換えれば、ステップＳ１５の処理は、画像入力部３２から入力された内視鏡画像IMG中の所定の領域を解析対象領域AAとして定める領域抽出部を構成する。

　図１０は、内視鏡画像中の解析対象領域AAを説明するための図である。　
　解析対象領域AAは、色成分を正確に抽出する画素領域として、内視鏡画像IMG中に予め設定される。解析対象領域AAの設定は、ユーザによって設定されてもよいし、内視鏡システム１に予め設定されていてもよい。

　ここでは、解析対象領域AAは、内視鏡画像IMG中のピントの合っている中央付近の矩形領域であり、画像の歪みも少ない領域である。ユーザが画像中に設定する場合は、ピントの合っている領域でかつ画像の歪みの少ない領域という選択条件に加えて、明るさのなるべく均一で、ハレーションがない、あるいは少ない領域であるいう条件も加重される。

　なお、図１０では、内視鏡画像IMGについて１つの解析対象領域AAが設定されているが、解析対象領域AAは、内視鏡画像IMGの中に複数設定されるようにしてもよい。
　信号生成部３３は、補正前画像BPから補正用画像CPの作成を行う（ステップＳ１６）。

　補正前画像BPは、内視鏡画像IMGであり、補正前画像取得部５１において取得される。信号生成部３３において、内視鏡画像IMGについて補正用画像CPの作成が行われる。

　構造化要素指定部５２が解析対象である内視鏡画像IMGに合わせた構造化要素を指定し、補正用画像作成部５３は、指定された構造化要素パラメータを用いて、内視鏡画像IMGについて補正用画像CPを作成する。

　具体的には、信号生成部３３は、内視鏡画像IMGから抽出した閉曲線で囲まれた領域を複数抽出して、抽出された各領域の内接円の平均サイズに基づいて、明るさ分布補正データとしての補正用画像CPを作成する。

　なお、解析対象領域AAが、内視鏡画像IMG中に複数設定されたときは、信号生成部３３は、内視鏡画像IMGに設定された解析対象領域AA毎に、明るさ分布補正データである補正用画像CPを作成する。

（構造化要素の指定処理）
　まず、構造化要素指定部５２における構造化要素の指定処理について説明する。　
　図１１及び図１２は、構造化要素の指定処理の流れの例を示すフローチャートである。

　構造化要素指定部５２は、上述したように、図６に示す構成を有する。エッジ検出部８１が、解析対象領域AAに対して、エッジ検出フィルタをかけることにより、エッジ成分を抽出してエッジを検出する（ステップＳ３１）。

　次に、閉曲線エッジ検出部８２が、エッジ検出部８１により検出されたエッジの中から、閉曲線をなすエッジをさらに検出する（ステップＳ３２）。
　続いて、大きさフィルタ処理部８３が、閉曲線エッジ検出部８２により検出された閉曲線エッジの大きさ（例えば、閉曲線の最大径、平均径、あるいは閉曲線で囲まれる領域の面積など）を算出し、算出した大きさが、注目要素として取り得る範囲内（例えば、腸管の絨毛として取り得る大きさの範囲内）となる閉曲線エッジのみを選択する（ステップＳ３３）。

　そして、二重閉曲線エッジ検出部８４が、大きさフィルタ処理部８３を通過した閉曲線エッジの中から、二重閉曲線エッジを全て検出する（ステップＳ３４）。　
　なお、二重閉曲線エッジを構成する内側閉曲線エッジおよび外側閉曲線エッジは、何れも、ステップＳ３３における大きさフィルタ処理部８３の処理を通過しているために、注目要素として取り得る範囲内の大きさであると判定された閉曲線エッジである。

　さらに、二重閉曲線エッジ特定部８５は、二重閉曲線エッジ検出部８４により検出された複数の二重閉曲線エッジの中から、１つを選択して（ステップＳ３５）、内側閉曲線エッジの内側の色、例えば各画素の色成分値の平均値が、注目要素の中心部に該当する第１の色範囲内であるか否かを判定する（ステップＳ３６）。

　ここで、内側閉曲線エッジの内側の色が第１の色範囲外であると判定した場合には、ステップＳ３６で選択した二重閉曲線エッジを注目要素と同定することなく、処理は、ステップＳ３９に移行する。

　内側閉曲線エッジの内側の色が第１の色範囲内であると判定した場合には（ステップＳ３６：ＹＥＳ）、二重閉曲線エッジ特定部８５は、さらに、選択した二重閉曲線エッジの、外側閉曲線エッジと内側閉曲線エッジとの間の色、例えば各画素の色成分値の平均値が、注目要素の周辺部に該当する第２の色範囲内であるか否かを判定する（ステップＳ３７）。

　ここで、選択した二重閉曲線エッジの、外側閉曲線エッジと内側閉曲線エッジとの間の色が第２の色範囲内であると判定した場合には（ステップＳ３７：ＹＥＳ）、二重閉曲線エッジ特定部８５は、ステップＳ３５で選択した二重閉曲線エッジを注目要素として特定する。

　ここで、外側閉曲線エッジと内側閉曲線エッジとの間の色が第２の色範囲外であると判定した場合には、ステップＳ３５で選択した二重閉曲線エッジを注目要素と同定することなく、処理は、ステップＳ３９に移行する。

　ステップＳ３８の後、構造化要素指定制御部８９は、二重閉曲線エッジ検出部８４により検出された複数の二重閉曲線エッジの中に、ステップＳ３６～Ｓ３８の処理を未だ行っていない未処理の二重閉曲線エッジが存在するか否かを判定し（ステップＳ３９）、存在する場合には、処理は、ステップＳ３５に戻り、次の二重閉曲線エッジに対してステップＳ３５の処理を行う。

　こうして、ステップＳ３９において、全ての二重閉曲線エッジに対してステップＳ３５以降の処理が行われたと判定された場合には（ステップＳ３９：ＮＯ）、解析対象特定部８６は、ステップＳ３８で特定された一又は２以上の二重閉曲線のエッジの内側閉曲線を、解析対象として特定する（ステップＳ４０）。　
　内接円描画部８７は、各解析対象に内接する円を描画する（ステップＳ４１）。

　内接円平均サイズ算出部８８は、ステップＳ４１で描画された全ての内接円の平均サイズ、ここでは直径の平均値を算出する（ステップＳ４２）。　
　ステップＳ４２で算出された平均サイズに相当する値を、構造化要素パラメータとして設定する（ステップＳ４３）。

　図１３及び図１４を用いて、具体的な構造化要素パラメータの意義を説明する。　
　図１３は、被検体の内視鏡画像および注目要素の１つを拡大して示す図である。図１４は、注目要素である腸管の繊毛の構造を示す図である。

　例えば、図１３に示すような内視鏡画像IMGにおいて、ステップＳ３５では、二重閉曲線エッジが注目要素として特定されるが、１つの二重閉曲線は、腸管の１つの絨毛に対応する。

　図１４に示すように、腸管の絨毛は、中心部にある中心リンパ管CLの周りの部位に毛細血管BCが分布し、その外側に粘膜上皮ＭＥが形成されて絨毛の表面を構成する構造を有している。

　このような腸管の絨毛を、血液中のヘモグロビンに吸収され易い狭帯域化された波長の光を用いたNBIにより拡大観察すると、毛細血管BCの部分が粘膜上皮ＭＥとは異なる色として観察される。

　こうした絨毛を上から撮像した画像部分を観察すると、粘膜上皮ＭＥの画像部分が環状の周辺部ＯＢＪｐとして観察され、粘膜上皮ＭＥに囲まれる毛細血管BCの画像部分が粘膜上皮ＭＥと色が異なる中心部ＯＢＪｃとして観察される。よって、上述したように、中心部ＯＢＪｃと周辺部ＯＢＪｐとの色の違いを利用して、注目要素ＯＢＪが決定される。

　そして、上述したステップＳ４０では、各二重閉曲線のエッジの内側閉曲線が解析対象とされ、ステップＳ４１では、各内側閉曲線に内接する円が描画される。図１３において、二点鎖線で示す円が、ステップＳ４１で描画された内側閉曲線の内接円ICである。例えば、小腸絨毛の毛細血管BCに対応する中心部ＯＢＪｃの画像の形状が楕円形であれば、内接円ICの直径は、その楕円の短軸の長さとなる。

　さらに、ステップＳ４２では、全ての内接円ICの平均サイズが算出され、ステップＳ４３では、算出された平均サイズが構造化要素パラメータとして設定される。すなわち、構造化要素パラメータは、解析対象の大きさに応じた値である。

　なお、ここでは、構造化要素指定部５２が解析対象である内視鏡画像IMGに基づいて、構造化要素パラメータを決定しているが、図２において点線で示すように、予め設定された値PPを構造化要素パラメータとして設定するようにしてもよい。

　例えば、ユーザが、小腸絨毛の拡大観察において使用する値PPを予め指定することによって、構造化要素パラメータとして設定するようにしてもよい。また、被写体と、挿入部の先端部との距離に応じて、小腸絨毛の大きさが変化するので、距離に応じて複数の値PPを予め用意しておき、ユーザは、画像解析するときに距離に応じた値を選択するようにしてもよい。

　以上のようにして得られた構造化要素は、解析対象である小腸の絨毛の色成分を検出するために最適なパラメータ値である。ここでは、構造化要素は、解析対象となる内側閉曲線の内接円ICの直径の平均値を越えない値に設定される。

　さらに、ここでは、解析対象の画像から構造化要素パラメータを算出して求めるようにしているので、内視鏡２の挿入部の先端部と被写体間の距離が変化しても、色成分を検出する画像について構造化要素がリアルタイムで決定される。

　なお、ここでは、構造化要素は、注目画素を中心とする複数の画素を含む円形形状を有しているが、構造化要素を規定する範囲の形状は、円以外の形状でもよく、解析対象に応じて変更してもよい。

（補正用画像の作成処理）
　次に、補正用画像作成部５３における補正用画像の作成処理について説明する。

　図８のステップＳ１６では、構造化要素指定部５２において指定された構造化要素パラメータを用いて、補正用画像CPが作成される。　
　補正用画像作成部５３は、内視鏡画像IMGの補正前画像BPについて、以下に説明する画像処理を実行することによって補正用画像CPを作成する。

　図１５は、内視鏡画像の例を示す図である。図１６は、図１５に示す内視鏡画像の解析対象領域AA内の二点鎖線で示すラインL上の画素群の輝度分布を示すグラフである。図１６には、内視鏡画像のラインL上の画素x1からxnの範囲の画素群の輝度値分布が示されている。

　図１５に示す内視鏡画像は、左下部分から右上部分に向かって明るさが低下するような明るさ分布を有している。従って、図１６に示すように、ラインLの画素群の輝度値は、左側が高く右側が低くなっている。

　このような照明の配光特性、又は観察光学系の光軸に対する被写体表面の傾き等による画像の明るさ分布を有する内視鏡画像の色成分を検出すると、各画素の輝度値は、明るさ分布の影響を受けるため、各色成分の輝度値を正確に検出することが困難である。

　例えば、内視鏡画像の色成分の輝度値の標準偏差の値に基づいて疾患情報を検索する場合、内視鏡画像が照明の配光特性等の影響によって画像の明るさ分布が変化してしまうため、疾患情報を正確に検出することは困難である。

　そこで、本実施の形態では、補正前画像BPに対して所定の画像処理を行って補正し、補正後画像APを生成し、その補正後画像APの色成分から被検体の輝度値を抽出する。　
　図１７は、構造化要素を説明するための図である。図１７は、構造化要素パラメータとしての、補正前画像BPに対して行う画像処理に用いられる輝度情報取得範囲を示す。

　図１７において、点線で示す範囲内の画素が、注目画素PIについて、後述する収縮演算及び膨張演算を用いた画像処理が行われるときの構造要素となる。図１７において、１で示す画素が、構造化要素の画素である。

　ここでは、構造要素パラメータは、注目画素PIを中心とする、直径Rの円の領域内の画素群であり、注目画素について輝度情報を取得する範囲を規定する。直径Rは、上述した解析対象となる内側閉曲線の内接円ICの直径の平均値である。なお、図１７では、二点鎖線で示す円内の画素群が構造化要素である。１で示す画素群が、注目画素について輝度情報を取得する範囲の画素である。すなわち、構造化要素は、後述する所定の演算が行われるときの、注目画素PIについての輝度情報が取得される範囲を示す。

　構造化要素指定部５２は、その直径Rに対応する画素群の情報を、構造化要素パラメータとして、補正用画像作成部５３に出力する。　
　補正用画像作成部５３は、補正前画像BPの解析対象領域AA内の左端の画素から右端に向かってかつ最上辺のラインから最下辺のラインに向かって、左上の画素から右下について所定の演算処理を実行する。ここでは、所定の演算処理は、オープニング処理である。オープニング処理は、ある回数例えば３回の収縮処理を実行後、収縮処理と同じ回数の膨張演算を実行する処理を含む。

　図１８は、補正用画像CPを作成する処理の流れの例を示すフローチャートである。画像処理部３４は、補正前画像BPに対して収縮演算処理を所定回数実行し（ステップＳ５１）、その後、収縮演算処理が行われた画像に対して、膨張演算処理を所定回数実行する（ステップＳ５２）。

　収縮演算処理は、注目画素を含む構造化要素内の複数の画素の画素値の最小値を、注目画素の画素値とする演算処理である。膨張演算処理は、注目画素を含む構造化要素内の複数の画素の画素値の最大値を、注目画素の画素値とする演算処理である。

　なお、注目画素PIが補正前画像BPの周辺領域にあるとき、直径Rの円の領域内には、存在しない画素が含まれるが、そのような場合は、存在する画素のみで演算を行う、存在しない画素を直径Rの円の領域内の平均輝度値に置き換える、等の処理を行うことによって、収縮演算及び膨張演算が行われる。

　以上のように、補正用画像作成部５３は、例えば、補正前画像BPの左端の画素から右端に向かってかつ最上辺のラインから最下辺のラインに向かって、構造化要素指定部５２において算出された構造化要素を用いて、各画素について収縮演算を実行し、その後、同様の収縮演算を２回実行する。その後、同様の順番で、構造化要素指定部５２において算出された構造化要素を用いて、各画素について膨張演算を実行し、その後、同様の膨張演算を２回実行する。すなわち、補正用画像作成部５３は、３回の収縮演算の後、左上から右下の各画素について膨張演算を１回実行し、その後、さらに２回実行する。

　オープニング処理で用いられる構造化要素は、構造化要素指定部５２において算出された、観察対象である小腸絨毛に対応する二重閉曲線のエッジの内側閉曲線の平均サイズである。

　以上の処理を実行することにより、補正用画像CPが生成される。　
　なお、ここでは、補正用画像作成部５３は、所定の演算処理として、オープニング処理を用いて、補正用画像CPを作成しているが、クロージング処理を用いて、補正用画像CPを作成してもよい。

　クロージング処理は、１回以上の膨張演算の後に、膨張演算と同じ回数の収縮演算を行う処理である。　
　なお、上述したオープニング処理などにおいては、注目画素を含む構造化要素内の複数の画素内におけるハレーション要素である画素を除いて、膨張演算及び収縮演算を行うようにしてもよい。

　図１９は、生成された補正用画像CP内の画素群の輝度値分布を示すグラフである。図１９は、図１５に示した内視鏡画像IMGの解析対象領域AA内のラインL上の画素群の輝度値分布を示す。補正用画像CPは、左から右に向かって明るさが低下するような明るさ分布を有している。従って、図１９に示すように、ラインLの画素群の輝度値は、左側が高く右側が低くなっている。

　図８に戻り、画像処理部３４の補正前画像入力部６１は、補正前画像BPを入力し、補正用画像入力部６２は、信号生成部３３において作成された補正用画像CPを入力し、画像差分抽出部６３は、解析対象領域AAにおける補正前画像BPと補正用画像CPの差分画像を抽出する（ステップＳ１７）。

　ステップＳ１６では、補正用画像CPが作成される。ステップＳ１７では、補正前画像BP内の各画素と、補正用画像CP内の対応する画素との差分を取ることによって、差分画像を抽出して、補正後画像APが作成される。補正後画像APは、ステップＳ１５において定められた内視鏡画像IMG中の解析対象領域AAの明るさ補正画像である。

　図２０は、生成された補正後画像AP内の画素群の輝度値分布を示すグラフである。図２０は、図１５に示した内視鏡画像の解析対象領域AA内のラインL上の画素群の輝度値分布を示す。補正後画像APは、図１６の場合と比較して明るさ分布が略均一で、照明光の配光特性等による輝度ムラを抑制した画像となっている。

　分布特性値算出部３５における色成分値抽出部７１が、補正後画像APの各画素の色成分値、例えば、Ｒ成分値、Ｇ成分値、およびＢ成分値を抽出する（ステップＳ１８）。すなわち、色成分値抽出部７１は、補正後画像APを構成する各画素の各色成分値（Ｒ成分値，Ｇ成分値，Ｂ成分値）を抽出する。
　この後、分布特性値算出部３５の合算輝度値算出部７２において、色成分値抽出部７１において抽出した補正後画像APに係る各色成分値の合算輝度値が算出される。

　そして分布特性値算出部３５の輝度値分布特性値算出部７３が、合算輝度値算出部７２において算出した、補正後画像APの解析対象領域AA内の各画素の色成分値毎に係る分布特性値と、解析対象領域AA内の合算輝度値に係る分布特性値とを算出して抽出する（ステップＳ１９）。

　なお、ステップＳ１４において、複数の内視鏡画像を選択したときは、複数の内視鏡画像の解析対象領域の色成分を抽出し（ステップＳ１８）、選択された複数の内視鏡画像の各々について、分布特性値を算出して、算出された複数の分布特性値の平均値を、ステップＳ１９における分布特性値としてもよい。

　上述したように本実施の形態においては、「分布特性値」は、解析対象領域AA内の複数の複数の画素値分布の標準偏差として求められる。すなわち、分布特性値算出部３５は、処理画像である補正後画像APにおける解析対象領域AAの色成分を抽出して分布特性値を求める。

　図２１は、補正後画像APにおける輝度値のヒストグラムである。　
　図２１は、横軸に、補正後画像APの対象領域における輝度値を、縦軸に、当該輝度値に対応する画素数を示したヒストグラムである。図２１の示す輝度値分布は、輝度ムラの影響を除去した、３つの色成分のうちの１つの色成分の輝度値分布である。

　分布特性値算出部３５は、内視鏡画像IMGの補正後画像AP内に、ハレーション、気泡等の不適格要素（すなわち不適格画素）があるか否かを判定する（ステップＳ２０）。画素値が０から２５５の範囲内の値であるとき、差分画像である補正後画像APでは、閾値を例えば１００として、画素値が１００以上である画素は、不適格画素と判定される。

　分布特性値算出部３５は、内視鏡画像IMGの補正後画像APの中に、ハレーション等の不適格要素すなわち不適格画素があれば、補正後画像APから不適格画素を除外して（ステップＳ２０）、不適格要素を除外した画素群についてステップＳ１８及びＳ１９の処理を実行する。すなわち、分布特性値算出部３５は、補正後画像APにおいて色成分値を抽出するのに適さない不適格要素を除外して分布特性値を抽出する。

　なお、ステップＳ２０の処理においては不適格要素があると判定された場合、補正後画像AP中に不適格要素があることを告知するメッセージ等を表示装置５に表示し、ユーザに、ステップＳ２１の処理を実行するか否かをユーザに選択させるようにしてもよい。

　次に、情報制御部３８は、患者情報、検査部位の情報、判定パラメータ情報などの各種情報を取得する（ステップＳ２２）。患者情報、検査部位の情報等は、ユーザにより検査前に図示しない入力装置から入力される。判定パラメータ情報は、疾患の推定あるいは判定のための閾値などを含み、予め設定されたデフォルト情報をRAM等から読み込むことによって取得されてもよく、あるいはユーザに入力させるようにしてもよい。

　情報制御部３８は、取得した患者情報、判定パラメータ情報などの設定情報が、後述する疾患候補を抽出して、疾患候補を表示するために必要な情報として、十分であるかを判定する（ステップＳ２３）。言い換えれば、疾患候補を抽出して、疾患候補を表示するために必要な情報が揃っているか否かが判定される。

　患者情報、判定パラメータ情報などの設定情報が十分でないとき（ステップＳ２３：ＮＯ）、情報制御部３８は、情報の入力処理を行う（ステップＳ２４）。　
　入力処理は、例えば、不十分な情報、あるいは不足している情報の入力をユーザに促すためのメッセージと、情報を入力するための入力フィールドを、表示装置５の画面上に表示して、ユーザに情報の入力をさせることによって行われる。

　患者情報、判定パラメータ情報などの設定情報が十分であるとき（ステップＳ２３：ＹＥＳ）、情報制御部３８は、疾患候補を検索するか否かを判定する（ステップＳ２５）。検索しない場合（ステップＳ２５：ＮＯ）、被検体の情報（内視鏡画像、明るさ分布を略均一になるように処理した画像、分布特性値など）を分布特性値算出部３５から情報制御部３８に送り、記録部３７に疾患情報として記録する（ステップＳ２６）。疾患候補を検索する場合（ステップＳ２５：ＹＥＳ）、情報制御部３８は、比較情報出力部３６を機能させて、補正後画像APの分布特性値情報DCを、テンプレート情報と比較して、疾患候補を抽出する（ステップＳ２７）。

　比較情報出力部３６では、分布特性値入力部７４が、分布特性値算出部３５から分布特性値情報DCを受信する。疾患情報照合部７５は、分布特性値入力部７４からの分布特性値情報DCと、記録部３７に記録されたテンプレート情報に含まれる複数の疾患情報の分布特性値とを照合して、各テンプレート情報の疾患候補との一致度を算出する。

　なお、ステップＳ１９では、内視鏡画像IMGのRGBの３つ色成分についての輝度値分布の分布特性値及びそれらの合算値の分布特性値が算出され、ステップＳ２７では、算出されたこれらの４つの分布特性値と、各疾患情報DIのRGBの３つの色成分についての輝度値分布の分布特性値及びそれらの合算値の分布特性値とを比較しているが、ステップＳ２７で比較する色成分は、ユーザによって選択可能であってもよい。これは、疾患によっては、特定の色成分において分布特性値が大きく異なる場合もあるので、疾患候補を抽出するために用いられる分布特性値の色成分は、ユーザによって選択可能にしてもよい。

　疾患候補決定部７６は、疾患情報照合部７５において算出された各疾患候補の一致度の情報に基づいて、出力する疾患候補を決定する。　
　例えば、一致度が高い疾患候補が１つあるいは複数選択されて、出力する疾患候補が決定される。

　情報出力部７７は、疾患候補決定部７６において決定された疾患候補情報CAを生成して表示装置５へ出力する（ステップＳ２８）。　
　図２２は、表示装置５に表示される疾患候補情報の表示例を示す図である。

　ステップＳ２８の疾患候補情報の出力処理は、図２２に示すような画像を生成する処理である。図２２は、表示装置５に表示される拡大観察中における被検体情報と、疾患候補情報を示すユーザインターフェースの例を示す。

　ユーザは、内視鏡検査中は、ライブ画像が表示装置５の表示画面５ａ上に表示されている。内視鏡検査中において、レリーズボタンが押下されると、図８及び図９の処理が実行され、ステップＳ２８の処理により、表示装置５の表示画面５ａ上には、図２２に示すような疾患候補提示画面が表示される。表示画面５ａに表示される画面には、ライブ画像表示部Ｇ１と、標準偏差グラフ表示部Ｇ２と、ライブ画像における輝度値の分布を示す輝度値分布表示部Ｇ３と、疾患候補情報を表示する疾患候補表示部Ｇ４と、再検索ボタンＧ５とが表示される。

　ライブ画像表示部Ｇ１は、内視鏡２から得られる内視鏡画像のライブ画像が表示される領域である。すなわち、ライブ画像表示部Ｇ１には、リアルタイムの内視鏡画像が表示される。ライブ画像表示部Ｇ１には、解析対象領域AA（点線で示す）も示されている。　
　なお、Ｓ１１～Ｓ１９の処理は、バックグラウンドで、リアルタイムで入力される内視鏡画像に対しても行われている。

　標準偏差グラフ表示部Ｇ２は、内視鏡画像の時間経過ｔに沿った、解析対象領域AA内の複数の画素の輝度値分布の標準偏差の変化を示す領域である。標準偏差グラフ表示部Ｇ２における標準偏差は、バックグラウンドで実行されるステップＳ１９の処理タイミングを含む複数のタイミングで、例えば略１秒毎のタイミングで、サンプリングされた解析対象領域AA内の複数の画素の各色成分値の合算値に係る輝度値分布の標準偏差である。ここでは、現時点Tcから過去の所定の期間の標準偏差が表示されている。

　輝度値分布表示部Ｇ３は、ライブ画像表示部Ｇ１に表示されるライブ画像の輝度値分布、標準偏差が、リアルタイムで表示される。輝度値分布表示部Ｇ３における輝度値分布も、バックグラウンドで実行されるステップＳ１９の処理タイミングを含む複数のタイミングで、サンプリングされた補正後画像APに係る各色成分値の合算値の輝度値に基づいて決定される。輝度値分布表示部Ｇ３は、このような輝度値分布の様子をリアルタイムで表示する。

　なお、標準偏差グラフ表示部Ｇ２に表示する標準偏差及び輝度値分布表示部Ｇ３に表示する輝度値分布は、ユーザが指定した色成分、例えば、RGBのうちのいずれかについての標準偏差及び輝度値分布も表示可能となっている。

　疾患候補表示部Ｇ４には、１又は２以上の疾患候補の情報が表示される。ここでは、分布特性値の一致度が高い、上位２つの疾患候補の情報Ｇ４ａ、Ｇ４ｂが、表示画面５ａ上に表示されている。

　表示画面５ａ上に表示される疾患候補の情報Ｇ４ａ、Ｇ４ｂは、テンプレート情報の一部である疾患候補情報CAに含まれる情報であり、疾患候補名表示部ｇ１、疾患部位の内視鏡画像表示部ｇ２、疾患候補の分布を示すグラフ表示部ｇ３及び一致度情報表示部ｇ４を含む。

　疾患候補名表示部ｇ１には、候補の順位と、疾患候補名が表示される。ここでは、胃の疾患の第１候補及び第２候補の例として、それぞれ疾患Aと疾患Bが文字で示されている。

　疾患部位の内視鏡画像表示部ｇ２には、テンプレート情報に含まれる疾患画像が表示される。ここでは、第１候補の疾患画像と、第２候補の疾患画像が表示されている。　
　グラフ表示部ｇ３には、テンプレート情報に含まれる疾患画像の輝度値分布が表示される。ここでは、第１候補の疾患画像の輝度値分布と第２候補の疾患画像の輝度値分布が表示されている。

　一致度情報表示部ｇ４には、テンプレート情報に含まれる疾患画像の分布特性値と、内視鏡画像の分布特性値との一致率が表示される。ここでは、内視鏡画像の解析対象領域AAの分布特性値の、第１候補の疾患画像の分布特性値と第２候補の疾患画像の分布特性値のそれぞれに対する一致度が表示されている。

　以上のように、比較情報出力部３６は、記録部３７の複数の分布特性値と分布特性値算出部３５により求めた分布特性値との一致度の情報を出力する。さらに、比較情報出力部３６は、分布特性値算出部３５により求めた分布特性値に係わる色成分の分布を示すグラフと共に、一致度の情報を表示装置５に表示するように疾患候補情報CAを表示装置５に出力する。また、比較情報出力部３６は、一致度の情報に係わる疾患画像を表示装置５に表示する。

　ユーザは、疾患候補表示部Ｇ４にはレリーズボタンを押下したときに取得された内視鏡画像の分布特性値に基づいて、推定された疾患の候補の情報が表示画面５ａ上に表示されるので、診断における疾患判定の参考にすることができる。

　なお、記録部３７のテンプレート情報として用いられている疾患画像について、疾患画像の患者の識別子（ID）、年齢、検査日、既往症、家族歴などの情報も記録部３７に登録しておき、疾患候補表示部Ｇ４に併せて表示するようにしてもよい。

　さらになお、図２２のユーザインターフェースには、疾患候補について、その疾患が見やすい観察モードの表示、疾患の分類定義に関するガイドラインなどの情報の表示、外部の疾患情報サイトの情報の表示もできるようにしてもよい。

　また、ユーザは、各種閾値などの判定条件を変更して、再検索したい場合がある。例えば、表示された疾患候補がユーザの想定した疾患でない場合に、判定パラメータを変更したり、疾患候補を抽出するために使用する色成分をRGBの中の１つあるいは２つの色成分のみを使用して疾患候補を抽出したり、画像の輝度値が所定の値、例えば１００未満の画素だけを使用して疾患候補を抽出したい場合がある。例えば、Rの色成分の信号は、例えば深部の血管の情報をより多く含むので、ユーザは、そのようなより深部の画像情報に着目して疾患を推定したい場合、Rの色成分のみを使用して疾患候補を抽出したい場合もある。　
　ユーザは、そのような条件の変更をして再検索する場合は、処理は、ステップＳ２５へ移行する。

　また、ユーザは、解析対象領域内の部分を限定したりして、疾患候補を再度抽出したい場合もある。例えば解析対象領域内のポリープのある部分だけの分布特性値を得て再検索する場合は、解析対象領域内のその部分を解析対象領域として限定するために、処理は、点線で示すように、ステップＳ１８へ移行する。　
　再検索ボタンＧ５は、検索条件を変更して再度検索する場合に使用されるボタンである。

　よって、情報制御部３８は、ユーザにより、再検索の指示がされたか否かを判定し（ステップＳ２９）、再検索の指示がされたときは（ステップＳ２９：ＹＥＳ）、条件変更処理を実行する（ステップＳ３０）。

　条件変更は、例えば、表示装置５の画面上に条件変更用画面あるいはウインドウを表示して、ユーザに判定パラメータなどの設定変更ができるようにして行われる。
　条件変更処理後は、ステップＳ２５の処理が実行されて、変更された条件の下で、疾患候補の抽出が行われる。

　再検索の指示がされないときは（ステップＳ２９：ＮＯ）、上述した疾患候補の抽出処理は、終了する。　
　ここで、疾患間における輝度値分布の違いと、疾患間における輝度値分布の標準偏差の違いについて説明する。

　図２３～図２８は、内視鏡画像の解析対象領域AAにおける色成分の輝度値と、各輝度値に対応する画素数を示したヒストグラムである。　
　図２３は、胃の正常粘膜の内視鏡画像のRGBの３つの色成分の輝度値の合算値を基準化した輝度値と、各輝度値に対応する画素数を示したヒストグラムである。

　図２４は、胃の正常粘膜の内視鏡画像のRの色成分の輝度値と、各輝度値に対応する画素数を示したヒストグラムである。

　図２５は、胃の正常粘膜の内視鏡画像のGの色成分の輝度値と、各輝度値に対応する画素数を示したヒストグラムである。　
　図２６は、胃の疾患Aの粘膜の内視鏡画像のRGBの３つの色成分の輝度値の合算値を基準化した輝度値と、各輝度値に対応する画素数を示したヒストグラムである。

　図２７は、胃の疾患Aの粘膜の内視鏡画像のRの色成分の輝度値と、各輝度値に対応する画素数を示したヒストグラムである。　
　図２８は、胃の疾患Aの粘膜の内視鏡画像のGの色成分の輝度値と、各輝度値に対応する画素数を示したヒストグラムである。

　図２３から図２８によれば、正常粘膜における上述した合算値の標準偏差は、２０．９で、疾患Aの粘膜における上述した合算値の標準偏差は、２１．８であった。正常粘膜におけるRの色成分の標準偏差は、２０．３で、疾患Aの粘膜におけるRの色成分の標準偏差は、１７．７であった。正常粘膜におけるGの色成分の標準偏差は、１９．８で、疾患Aの粘膜におけるGの色成分の標準偏差は、２０．４であった。

　このように、正常粘膜と疾患Aの粘膜は、標準偏差の値が異なっている。特に、疾患Aの粘膜におけるRGBの色成分の合算値の標準偏差は、正常粘膜における合算値の標準偏差よりも、０．９だけ高く、疾患Aの粘膜におけるGの色成分の標準偏差は、正常粘膜におけるGの色成分の標準偏差よりも、０．６だけ高いが、疾患Aの粘膜におけるRの色成分の標準偏差は、正常粘膜におけるRの色成分の標準偏差よりも、２．６だけ低い。　
　同様に、疾患に応じてこの標準偏差は、合算値よりも、色成分毎に、異なっていることが判明した。

　図２９は、輝度値分布の標準偏差の小さい内視鏡画像の例を示す図である。図３０は、輝度値分布の標準偏差の大きい内視鏡画像の例を示す図である。　
　輝度値分布の標準偏差の小さい内視鏡画像は、図２９に示すように、全体に明暗の差が小さい画像である。

　輝度値分布の標準偏差の大きい内視鏡画像は、図３０に示すように、全体に明暗の差が大きい画像である。　
　図３１は、疾患毎の標準偏差の違いを示すグラフである。図３１は、RGBの３つの輝度値の合算値の標準偏差を示している。

　図３１に示すように、例えば、胃の正常粘膜の場合（NS）、標準偏差がσsであるが、疾患A（C1）、疾患B（C2）、疾患C（C3）、疾患D（C4）、疾患E（C5）の場合、標準偏差は、それぞれσ1、σ2、σ3、σ4、σ5であり、正常な胃粘膜の標準偏差σsと異なっている。　
　さらに、RGBの輝度値分布の標準偏差も、正常粘膜と各疾患間において、かつ、複数の疾患間においても異なっている。

　よって、内視鏡画像の各色成分の輝度値分布の分布特性値、ここでは標準偏差を、複数の疾患画像の各色成分の輝度値分布の分布特性値と比較して、一致度から疾患候補を抽出して、検査部位の疾患を、推定することができる。

　以上のように、上述した実施の形態によれば、内視鏡画像における輝度ムラの影響を抑制しつつ、得られた色の情報を含む医用画像と類似する画像を精度よく検索できる画像解析装置、画像解析システム、及び画像解析装置の作動方法を提供することができる。

　なお、ここでは、この推定は、分布特性値としての標準偏差を用いているが、輝度値分布の分散に基づいて、検査部位の疾患を、推定してもよい。　
　さらになお、上述した実施の形態では、本実施の形態の画像解析装置の適用対象として、小腸絨毛あるいは胃粘膜が例として説明されているが、本実施の形態の画像解析装置は、小腸絨毛及び胃粘膜以外にも、食道、大腸などの他の臓器の疾患候補の抽出にも適用可能である。

　例えば、小腸であれば、小腸腫瘍、クローン病、原因不明の消化管出血などの疾患候補の抽出に、大腸であれば、潰瘍性大腸炎、大腸癌、クローン病などの疾患候補の抽出に、食道であれば、慢性胃炎、胃潰瘍、急性胃炎などの疾患候補の抽出に、本実施の形態の画像解析装置は、適用可能である。

　さらに、疾患候補の抽出だけでなく、診断における状態の判定にも、本実施の形態の画像解析装置は、適用可能である。　
　例えば、小腸であれば、バイエル板の変化、大腸であれば、ピットパターンの診断、胃であれば、ヘリコバクターピロリ菌の有無、食道であれば、バレット食道の状態、等の診断にも利用することができる。

　また、被検体に所定の負荷（所定の作用）を与え、当該負荷（作用）を与える前後にまたがって内視鏡２において被検体の画像を経時的に取得するようにして、負荷（作用）を与えた後の内視鏡画像に基づいて、あるいは負荷（作用）を与えた前後の内視鏡画像に基づいて、疾患候補の抽出を行うようにしてもよい。

　ここで、上述した被検体に与える“所定の作用”とは、例えば、被検体に対する薬液の投与である。“薬液”とは、例えば、生理食塩水、ブドウ糖、液状の脂肪（脂肪乳剤等）を指し、具体的な負荷（作用）の一例としては、ブドウ糖の散布である。　
　また、前記“所定の作用”とは、上述した薬液の投与に限らず、静脈注射、体腔内への送気、または、物理的に処置具もしくは内視鏡自体を体内に接触させる等の作用であってもよい。

　上述した実施の形態によれば、照明の配光特性、あるいは挿入部の先端部から観察対象までの距離等による画像の明るさ分布の影響を有しない画像を用いて、被検体の色成分の輝度値分布を得ることができる。

　特に、被検体が固定されていないような場合、あるいは拡大観察モード時のように被検体と挿入部の先端部間の距離変化し易い場合であっても、照明の配光特性等による画像の明るさ分布の影響を有しない画像を用いて、被検体の色成分の輝度値分布を得ることができる。

　なお、上述した例では、構造化要素は画像に基づいてリアルタイムで決定しているが、ユーザが画像を見て、挿入部の先端部から被写体までの距離を入力あるいは選択することによって、距離に応じた構造化要素が用いられるようにしてもよい。

　さらになお、上述した実施の形態の画像解析装置は、NBIモードと通常光観察モードを有しているが、これらのモード以外のモード、例えば、蛍光観察、赤外光観察などの他の特殊光観察モードにおいて得られた被検体の内視鏡画像にも、上述した実施の形態は適用可能である。

　次に、上述した実施の形態の変形例について説明する。

（変形例１）
　上述した実施の形態では、テンプレート情報である疾患情報は、記録部３７に予め記録されているが、記録部３７に疾患情報を追加できるようにしてもよい。

　図３２は、変形例１に係わる記録部の構成を示すブロック図である。　
　変形例１に係わる記録部３７Aは、記録部３７に加えて、疾患情報入力部９１と選別部９２を含む。

　記録部３７には、各種疾患情報が、予め記録されているが、疾患情報を追加することによって、推定対象疾患の数を増やしたり、同じ疾患について複数の情報を利用したりして、疾患推定の精度を向上させたい場合もある。そこで、本変形例１では、記録部３７には、テンプレート情報が追加できるようになっている。

　疾患情報入力部９１は、疾患情報DIを入力する入力部である。疾患情報入力部９１への疾患情報DI の入力は、ネットワークからあるいは可搬型の記録媒体から、自動あるいは手動により行われる。

　選別部９２は、入力された疾患情報DIの中から、ユーザが、テンプレート情報として記録部３７に登録する疾患情報DIを選別する処理を行う。　
　テンプレート情報として記録部３７に登録する疾患情報DIを選別は、ユーザの指示ISにより行われ、テンプレート情報が記録部３７に追加登録される。登録対象として選別された疾患情報は、小腸、胃、大腸などの部位を特定する部位情報及び内視鏡画像を含み、内視鏡画像の各色成分の輝度値から算出された輝度値分布の分布特性値も併せて登録される。

　このような記録部３７Aを用いることによって、テンプレート情報を増やして、より疾患推定の精度向上を図ることができる。

（変形例２）
　上述した実施の形態では、記録部３７には、疾患毎に、分布特性値として、標準偏差あるいは分散のデータが記録され、その記録された分布特性値に基づいて、疾患候補が抽出されているが、分布特性値に加えて、疾患毎の輝度値分布の波形データも記録し、波形の一致度あるいは類似度の情報も考慮して、疾患候補を抽出するようにしてもよい。すなわち、輝度値分布の波形データに基づいて、波形の形状から疾患推定を行うようにしてもよい。

　図３３及び図３４は、変形例２に係わる、ある色成分の輝度値分布の波形データの例を示すグラフである。図３３及び図３４は、横軸に、補正後画像APの解析対象領域AAにおける輝度値を、縦軸に、当該輝度値に対応する画素数を示したヒストグラムである。

　輝度値分布の波形中のある範囲における波形の形状に基づいて、疾患推定を行いたい場合がある。そのような場合、ステップＳ２５及びＳ２８において、検索条件としての、波形中の範囲及び波形の形状パラメータの指定を、ユーザが行う。

　例えば、図３３の場合、ユーザは、波形中の範囲として、画素数がLL1からLL2の範囲RRを指定し、形状パラメータとして、指定された範囲RR内における波形の傾きθ１とθ２を指定する。傾きθ１とθ２は、それぞれ、範囲RR内における波形曲線の近似直線EL1とEL2の傾きである。

　テンプレート情報中には、疾患画像の波形データも記憶されている。ステップＳ２５では、ユーザにより指定された波形データにおける範囲RRと傾きθ１、θ２について、補正後画像APの波形データとテンプレート情報中の波形データとを比較して、波形の傾きθ１とθ２の一致度を算出し、分布特性値に、輝度値分布の波形の形状の一致度あるいは類似度も加味して、疾患候補を抽出する。　
　例えば、図３４の場合、ユーザは、波形の形状の一致度を判定する範囲として、所定の間隔DRを有する曲線DC1とDC2を指定する。

　ステップＳ２５では、ユーザにより指定された波形データにおける曲線DC1とDC2により規定される範囲について、補正後画像APの波形データとテンプレート情報中の波形データとを比較して、波形の一致度を算出し、分布特性値に、輝度値分布の波形の形状の一致度あるいは類似度も加味して、疾患候補を抽出する。波形の一致度は、例えばパターンマッチングなどを用いて算出される。

　図３３では、ユーザは、範囲RRの設定を変更可能であり、図３４では、間隔DR、及び曲線DC1,DC2の形状を変更可能である。

　よって、ユーザは、波形形状も加味した疾患候補の情報を得て、疾患の診断を行うことができる。

（変形例３）
　ユーザが疾患を予め想定できるとき、画像解析装置は、その想定した疾患に応じた観察モードを自動的に選択して内視鏡画像を取得し、その取得した内視鏡画像から上述した分布特性値を算出し、想定した疾患の画像における分布特性値との一致度を算出するようにしてもよい。

　図３５は、本変形例３に係わる内視鏡画像の取得から疾患情報の提示までの処理を示すフローチャートの一部である。図３５は、上述した図８と図９に示す処理を含む。　
　ユーザが、操作パネル等の入力装置（図示せず）を用いて、想定した疾患名をビデオプロセッサ３に入力すると、情報制御部３８は、ユーザにより想定された疾患名の情報を取得する（ステップＳ６１）。

　記録部３７などには、複数の疾患名の情報と、各疾患の診断に適した観察モードの情報が、予め登録されている。　
　制御部３１は、入力された想定される疾患名に基づいて、その疾患の観察に適した観察モードを選択し（ステップＳ６２）、内視鏡システム１を選択された観察モードで動作させる（ステップＳ６３）。その結果、内視鏡システムは、選択された観察モードで動作する。

　ステップＳ６３の後は、図８のステップＳ１１の処理に移行する。ステップＳ１１移行後の処理については、説明は省略するが、ステップＳ２５では、入力された疾患名に対応するテンプレート情報に基づいて疾患候補が抽出される。

　結果として、疾患候補の抽出の精度が向上する。

（変形例４）
　上述した実施の形態では、設定された観察モード、上記の例ではNBIのときの内視鏡画像を用いて、疾患候補が抽出されているが、複数の観察モードで得られた複数の疾患候補から、疾患候補を出力するようにしてもよい。

　例えば、ある部位の通常光観察モードにおける内視鏡画像から推定した１又は２以上の疾患と、その部位についてNBIモードにおける内視鏡画像から推定した１又は２以上の疾患との中から、一致度の高い順に疾患候補をユーザに提示したり、あるいはそれぞれのモードで得られた最も一致度の高い疾患候補をユーザに提示するようにしてもよい。

（変形例５）
　上述した実施の形態では、補正前画像取得部５１は、内視鏡２で得られた画像を補正前画像BPとして取得し、補正前画像BPは、構造化要素指定部５２と補正用画像作成部５３へそのまま供給されている。これに対して、本変形例５の信号生成部３３は、内視鏡２で得られた画像を補正前画像BPに対して、シミュレーションにより得られたあるいは実機で得られた配光特性による輝度ムラを補正し、補正された補正前画像BPPを、構造化要素指定部５２と補正用画像作成部５３へ供給するように構成されている。

　以下、変形例５に関わる構成のみについて説明する。　
　図３６は、本変形例５に係わる信号生成部３３Aのブロック図である。補正前画像取得部５１において取得された補正前画像BPは、配光特性による輝度ムラを補正する輝度ムラ補正部５１Aに入力される。輝度ムラ補正部５１Aには、輝度ムラデータBUと、補正前画像取得部５１からの補正前画像BPが入力され、補正前画像BPは、輝度ムラデータBUに基づいて、照明光の配光特性による輝度ムラを抑制するように補正され、輝度ムラのない補正前画像BPPが生成される。

　輝度ムラ補正部５１Aは、画像入力部３２に入力された内視鏡画像IMGに対して、シミュレーション又は実測により得られた照明光の配光特性による輝度ムラをなくすための補正を行う処理部である。

　図３７は、輝度ムラのない補正前画像BPPの生成処理を説明するための図である。図３７に示すように、補正前画像BPは、元々配光特性による輝度ムラを有している。図３７では、補正前画像BPは、右上が暗くなるような輝度ムラを有している。輝度ムラ補正部５１Aは、輝度ムラデータBUを用いて、輝度ムラが無くなるように補正前画像BPを補正して、輝度ムラのない補正前画像BPPを生成する。すなわち、信号生成部３３Aは、輝度ムラ補正部５１Aにより輝度ムラが補正された内視鏡画像IMGを用いて、明るさ分布補正データである補正用画像CPを作成する。

　輝度ムラデータBUは、内視鏡２の挿入部の先端部の照明光学系を通る光の配光シミュレーションにより得られるデータでもよいし、内視鏡２の照明光の配光分布を実際に測定して得られたデータでもよい。

　輝度ムラは、被写体と、挿入部の先端部との間の距離に応じて変化するので、その距離毎の輝度ムラデータBUが、シミュレーション演算あるいは実測により設定される。　
　輝度ムラデータBUは、シミュレーション演算においては、距離毎のシミュレーションにより生成することができる。

　輝度ムラデータBUは、実測の場合は、例えばホワイトバランスキャップを内視鏡２の挿入部の先端部あるいは先端部の近傍に配置して、距離毎に撮像して得られた内視鏡画像から生成することができる。

　ユーザは、内視鏡画像を見ながら、被写体（例えば小腸絨毛）の大きさに応じて、すなわち被写体の画像を見て推定した挿入部の先端部から被写体までの距離に応じて、使用する輝度ムラデータBUを選択あるいは指定する。　
　その結果、輝度ムラ補正部５１Aは、選択された輝度ムラデータBUにより、補正前画像BPが元々有する明るさ分布を除去して、輝度ムラのない補正前画像BPPを出力する。

　本変形例５によれば、輝度ムラのない補正前画像BPPが、構造化要素指定部及び補正用画像作成部５３に供給されるので、被検体の色成分の輝度値をより正確に検出することができる。

（変形例６）
　上述した実施の形態は、補正前画像BPから構造化要素を用いたオープニング処理などの画像処理を行うことによって、補正用画像CPを作成しているが、本実施の形態は、補正前画像BP上のサンプリング点における複数の画素値に基づいて、補正用画像CPを作成している。　
　本変形例６の内視鏡システムは、実施の形態の内視鏡システムと略同じ構成を有しているので、同じ構成要素については、同じ符号を用いて、異なる構成要素のみを説明する。

　本変形例６の内視鏡システムは、実施の形態の内視鏡システム１の信号生成部の構成のみが異なっている。　
　図３８は、変形例６の信号生成部３３Bのブロック図である。信号生成部３３Bは、補正前画像取得部５１と、輝度情報取得部５２Aと、補正用画像作成部５３Aを含んでいる。補正前画像取得部５１において取得された補正前画像BPは、輝度情報取得部５２Aに入力され、輝度情報取得部５２Aは、指定された複数の点SPの輝度情報を取得する。

　図３９は、補正前画像BPにおいて指定された３点を説明するための図である。図３９は、輝度情報を取得する複数の点SPとして、３点SP1,SP2,SP3が指定された場合を示す。複数の点SPは、ユーザが画面上で指定してもよいし、解析対象領域AA内で予め設定された点でもよい。

　信号生成部３３Bの補正用画像作成部５３Aは、指定された３点SP1,SP2,SP3の輝度値により決定される平面を算出し、算出された平面の傾きの方向と大きさに応じた補正用平面、すなわち補正用画像CPを生成する。すなわち、補正用画像作成部５３Aで作成される補正用画像CPは、３点SP1,SP2,SP3の輝度値により決定される平面の傾きによって輝度値分布を規定する画像である。

　信号生成部３３Bは、内視鏡画像IMG中の複数の点における明るさの差に基づいて明るさ分布補正データから補正用画像CPを作成する。　
　補正用画像作成部５３Aは、内視鏡画像IMGの明るさに全体的な傾きがある明るさ分布を補正して内視鏡画像IMGを構成する色成分への光学的な影響を抑制するための補正用画像CPを、内視鏡画像IMGの３点SP1,SP2,SP3の輝度値を用いて作成する。

　画像処理部３４は、補正用画像作成部５３Aで作成される補正用画像CPを用いて、内視鏡画像IMGの補正前画像BPから、補正後画像APを作成する。　
　よって、本変形例６によっても、照明の配光特性等による画像の明るさ分布の影響を有しない補正後画像APを作成することできる。　
（変形例７）
　上述した実施の形態及び各変形例において、撮像して得られた内視鏡画像は、図２２のライブ画像表示部Ｇ１に表示され、解析対象領域AAも併せて表示されるが、ユーザの指示に応じて、解析対象領域AA内の画像をカラーマップ表示に変更できるようにしてもよい。

　図４０は、変形例７に係わる、ライブ画像表示部Ｇ１の解析対象領域AA内の画像がカラーマップ表示されている例を示す図である。　
　解析対象領域AAの複数の画素は、各画素の輝度値に応じた色で表示されている。図４０では、各画素は、輝度値に応じて指定された色で表示されている。例えば、輝度値が０～１００の範囲で、その範囲を６つの範囲に分け、６つの色を、赤、橙、黄、緑、青、群青としたとき、輝度値の最も高い範囲L6の画素は、赤（図４０では黒で示している）で表示し、次に輝度値が高い範囲L5の画素は、橙（図４０では濃いグレーで示している）で表示される。同様にして、輝度値がL4,L3,L2,L1の画素は、それぞれ、黄、緑、青、群青で表示される。

　このようなカラーマップ表示を利用することで、ユーザは、輝度値の高い領域あるいは低い領域を視覚的に簡単に認識することができる。

（変形例８）
　上述した実施の形態及び各変形例では、内視鏡観察を行っているときに得られた内視鏡画像についての疾患候補が表示されているが、内視鏡観察を行ったときの画像を記憶装置に記録しておき、検査後に、その記録された画像から選択された内視鏡画像IMGに対して、疾患候補が表示されるようにしてもよい。言い換えれば、被検体の画像の色成分の検出を、いわゆるオンラインで被検体の検査中にリアルタイムで行ってもよいし、検査後にオフラインで行ってもよい。

　以上のように、上述した実施の形態及び各変形例によれば、内視鏡画像における輝度ムラの影響を抑制しつつ、得られた色の情報を含む医用画像と類似する画像を精度よく検索できる画像解析装置、画像解析システム、及び画像解析装置の作動方法を提供することができる。

　本明細書における各「部」は、実施の形態の各機能に対応する概念的なもので、必ずしも特定のハードウエアやソフトウエア・ルーチンに１対１には対応しない。従って、本明細書では、以下、実施の形態の各機能を有する仮想的回路ブロック（部）を想定して実施の形態を説明した。また、本実施の形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施の形態における各手順の各ステップの全てあるいは一部をハードウエアにより実現してもよい。

　なお、以上説明した動作を実行するプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ－ＲＯＭ等の可搬媒体や、ハードディスク等の記憶媒体に、その全体あるいは一部が記録され、あるいは記憶されている。そのプログラムがコンピュータにより読み取られて、動作の全部あるいは一部が実行される。あるいは、そのプログラムの全体あるいは一部を通信ネットワークを介して流通または提供することができる。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本発明の内視鏡システムを実現することができる。

　本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

　本出願は、２０１６年５月１８日に日本国に出願された特願２０１６－９９７５０号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (15)

1. 　被検体内に挿入した内視鏡により取得された前記被検体の内視鏡画像が入力される画像入力部と、
   　前記被検体の前記内視鏡画像の明るさ分布が略均一になるように前記内視鏡画像を補正した明るさ補正画像を生成する画像処理部と、
   　前記明るさ補正画像における赤色成分、緑色成分、及び青色成分の少なくとも１つを抽出して、抽出した色成分の分布特性値を求める分布特性値算出部と、
   　複数の分布特性値を含む情報を記録する記録部と、
   　前記記録部に記録された前記複数の分布特性値と前記分布特性値算出部により求めた前記分布特性値との比較を行い、前記比較の結果から前記被検体の状態に関する情報を出力する比較情報出力部と、
   を具備したことを特徴とする画像解析装置。
2. 　前記分布特性値に係わる前記色成分は選択可能であることを特徴とする請求項１に記載の画像解析装置。
3. 　前記記録部に記録された前記複数の分布特性値の各々は、疾患画像の明るさ分布が略均一になるように前記疾患画像を補正した前記明るさ補正画像における赤色成分、緑色成分、及び青色成分の少なくとも１つを抽出して、抽出した色成分の前記分布特性値であることを特徴とする請求項１に記載の画像解析装置。
4. 　前記比較情報出力部は、前記記録部に記録された前記複数の分布特性値の情報における赤色成分、緑色成分、及び青色成分と、前記明るさ補正画像における赤色成分、緑色成分、及び青色成分とをそれぞれ比較することを特徴とする請求項１に記載の画像解析装置。
5. 　前記記録部は、前記複数の疾患画像の前記複数の分布特性値と共に、前記疾患画像における赤色成分、緑色成分、及び青色成分の輝度値分布の情報を、テンプレート情報として含むことを特徴とする請求項１に記載の画像解析装置。
6. 　前記記録部は、複数の疾患の情報を含むことを特徴とする請求項１に記載の画像解析装置。
7. 　前記テンプレート情報は、前記疾患画像の情報もさらに含むことを特徴とする請求項６に記載の画像解析装置。
8. 　前記画像入力部から入力された前記内視鏡画像中の所定の領域を解析対象領域として定める領域抽出部を有し、
   　前記明るさ補正画像は、前記領域抽出部により定められた前記所定の領域の補正画像であることを特徴とする請求項１に記載の画像解析装置。
9. 　前記内視鏡は、前記被検体を白色光または白色光より狭い帯域の狭帯域光で照明する照明部を有し、
   　前記被検体を前記狭帯域光で照明したとき、前記分布特性値算出部は、前記明るさ補正画像における少なくとも緑色成分及び青色成分をそれぞれ抽出して、色成分毎の前記分布特性値を求めることを特徴とする請求項１に記載の画像解析装置。
10. 　前記比較情報出力部は、前記記録部の前記複数の分布特性値と前記分布特性値算出部により求めた前記分布特性値との一致度の情報を出力することを特徴とする請求項１に記載の画像解析装置。
11. 　前記比較情報出力部は、前記分布特性値算出部により求めた前記分布特性値に係わる色成分の分布を示すグラフと共に、前記一致度の情報を表示装置に表示するように出力することを特徴とする請求項１０に記載の画像解析装置。
12. 　前記比較情報出力部は、前記表示装置に、前記一致度の情報に係わる疾患画像を前記表示装置に表示するように出力することを特徴とする請求項１１に記載の画像解析装置。
13. 　前記分布特性値は、前記明るさ補正画像の色成分の輝度値分布の標準偏差または分散であることを特徴とする請求項１に記載の画像解析装置。
14. 　請求項１に記載の内視鏡と、
    　請求項１に記載の画像解析装置と、
    を備えたことを特徴とする画像解析システム。
15. 　画像入力部と、画像処理部と、分布特性値算出部と、比較情報出力部とを具備する画像解析装置の作動方法であって、
    　前記画像入力部において、被検体内に挿入した内視鏡により取得された前記被検体の内視鏡画像を入力し、
    　前記画像処理部において、前記被検体の前記内視鏡画像の明るさ分布が略均一になるように前記内視鏡画像を補正した明るさ補正画像を生成し、
    　前記分布特性値算出部により、前記処理画像における赤色成分、緑色成分、及び青色成分の少なくとも１つを抽出して、抽出した色成分の分布特性値を求め、
    　前記比較情報出力部において、複数の分布特性値を記録する記録部の前記複数の分布特性値と前記分布特性値算出部により求めた前記分布特性値との比較を行い、前記比較の結果から前記被検体の状態に関する情報を出力することを特徴とする画像解析装置の作動方法。

Images