JP6188992B1 - 画像解析装置、画像解析システム、画像解析装置の作動方法 - Google Patents

Abstract

内視鏡を継続的に被検体内に挿入した状態において画像入力部３２から入力された、被検体に所定の作用を行う前及び後のタイミングで取得した第１の画像及び第２の画像に対し、それぞれ所定の領域を解析対象領域として定める領域抽出部３３と、第１の画像における解析対象領域の色成分を抽出して第１の分布特性値を求めるとともに、第２の画像における解析対象領域の色成分を抽出して第２の分布特性値を求める分布特性値算出部３４と、第１の分布特性値に対する第２の分布特性値の変化の度合いを算出する画像解析部３５とを具備する。

Description

本発明は、経時的に取得された被検体の画像から被検体の変化を解析する画像解析装置、画像解析システム、画像解析装置の作動方法に関する。

経時的に取得された被検体の画像から被検体の変化を解析する技術は、従来より種々のものが提案されている。

例えば、日本特開２０１０−５０５６号公報（特許文献１）には、撮像素子により被観察体の通常像を撮像し、撮像素子から出力された画像信号に分光画像処理を施して所定波長の分光推定画像信号を生成する画像取得装置において、撮像素子から出力された画像信号に基づいて、分光画像生成部において被観察体に投与される薬剤に関する特定波長の分光推定画像信号を輝度情報取得用分光推定画像信号として生成し、輝度情報取得部において所定の時間間隔を空けて生成された輝度情報取得用分光推定画像信号の輝度情報をそれぞれ取得し、その輝度情報の変化率を取得し、表示装置においてその輝度情報の変化率に基づいて画像を表示する技術が記載されている。

また、国際公開ＷＯ２００４／１０４９２７号公報（特許文献２）には、歯の組織のデジタル画像を撮像し、デジタル画像内の複数の画素のそれぞれについて、画素の色の第１の成分値および画素の色の第２の成分値を決定し、第１の成分値および第２の成分値に基づき画素の第１の関数値（例えば、Ｒ／Ｇ）を計算する画像解析方法が記載されている。

しかし、内視鏡で画像を撮影する際には、調光の状態または観察距離等が変化することにより、撮影画像の色調が変化してしまう虞がある。したがって、特許文献２に記載の技術のように、色調の変化に着目して解析を行うと、撮影画像の色調の変化による影響を大きく受けるため十分な評価ができない虞があった。

本発明は上記事情に鑑みてなされたものであり、色調の変化の影響に拠らず、経時的に取得された被検体の画像に対して肉眼的所見と一致する画像の定量化を可能とする画像解析装置、画像解析システム、画像解析装置の作動方法を提供することを目的としている。

本発明の一態様に係る画像解析装置は、内視鏡を継続的に被検体内に挿入した状態において第１のタイミングで取得された前記被検体の第１の画像と、前記第１のタイミングより後の第２のタイミングで取得された前記被検体の第２の画像とが入力される画像入力部と、前記画像入力部から入力された、前記被検体に所定の作用を行う前及び後のタイミングで取得した前記第１の画像及び前記第２の画像に対し、それぞれ所定の領域を解析対象領域として定める領域抽出部と、
前記第１の画像における前記解析対象領域の色成分を抽出して第１の分布特性値を求めるとともに、前記第２の画像における前記解析対象領域の色成分を抽出して第２の分布特性値を求める分布特性算出部と、前記第１の分布特性値に対する前記第２の分布特性値の変化の度合いを算出する画像解析部と、を具備する。

本発明の一態様に係る画像解析システムは、被検体内に挿入され、前記被検体内の画像を撮像して取得する内視鏡と、前記画像解析装置と、を具備する。

本発明の一態様に係る画像解析装置の作動方法は、内視鏡を継続的に被検体内に挿入した状態において第１のタイミングで取得された前記被検体の第１の画像と、前記第１のタイミングより後の第２のタイミングで取得された前記被検体の第２の画像とが画像入力部に入力され、領域抽出部が、前記画像入力部から入力された、前記被検体に所定の作用を行う前及び後のタイミングで取得した前記第１の画像及び前記第２の画像に対し、それぞれ所定の領域を解析対象領域として定め、分布特性算出部が、前記第１の画像における解析対象領域の色成分を抽出して第１の分布特性値を求めるとともに、前記第２の画像における解析対象領域の色成分を抽出して第２の分布特性値を求め、画像解析部が、前記第１の分布特性値に対する前記第２の分布特性値の変化の度合いを算出する。

図１は、本発明の第１の実施形態に係る画像解析システムの概略構成を示すブロック図である。 図２は、第１の実施形態に係る画像解析システムにおける画像解析装置内の分布特性値算出部の構成を示したブロック図である。 図３は、第１の実施形態に係る画像解析システムにおける画像解析装置内の領域抽出部の構成を示したブロック図である。 図４は、第１の実施形態に係る画像解析システムにおける基本的な処理を示すフローチャートである。 図５は、第１の実施形態に係る画像解析システムにおける画像解析装置による画像解析処理を示すフローチャートである。 図６は、第１の実施形態に係る画像解析システムにおける画像解析装置において選択した領域において複数の注目要素の中心部を選択する処理を示すフローチャートである。 図７は、第１の実施形態に係る画像解析システムにおける画像解析装置において選択した領域において複数の注目要素の中心部を選択する処理の変形例を示すフローチャートである。 図８は、第１の実施形態に係る画像解析システムにおける画像解析装置において二重閉曲線エッジ特定処理を示すフローチャートである。 図９は、第１の実施形態に係る画像解析システムにおける画像解析装置において単一閉曲線エッジ特定処理を示すフローチャートである。 図１０は、第１の実施形態に係る画像解析システムにおいて、時系列順にソートした被検体の画像の表示例を示す図である。 図１１は、第１の実施形態に係る画像解析システムにおいて、被検体の画像の明るさ分布、および注目要素の１つを拡大して示す図である。 図１２は、第１の実施形態に係る画像解析システムにおいて、注目要素である腸管の繊毛の構造を示す図である。 図１３は、第１の実施形態に係る画像解析システムにおいて、被検体の画像に設定された解析対象領域の例を示す図である。 図１４は、第１の実施形態に係る画像解析システムにおいて、内視鏡の明るさのシミュレーション結果の一例を示す図である。 図１５は、第１の実施形態に係る画像解析システムにおいて、内視鏡の明るさのシミュレーション結果から求められた色成分値を抽出するのに適した領域の一例を示す図である。 図１６は、第１の実施形態に係る画像解析システムにおいて、被検体に負荷を与える前後の画像輝度値における分布特性値の変化を示す図である。 図１７は、本発明の第２の実施形態に係る画像解析システムにおける分布特性値算出部の構成を示したブロック図である。 図１８は、第２の実施形態に係る画像解析システムにおける画像解析装置による画像解析処理を示すフローチャートである。 図１９Aは、第２の実施形態に係る画像解析システムにおける画像解析装置においてR成分の輝度値分布特性の一例を示した図である。 図１９Bは、第２の実施形態に係る画像解析システムにおける画像解析装置においてG成分の輝度値分布特性の一例を示した図である。 図１９Cは、第２の実施形態に係る画像解析システムにおける画像解析装置においてB成分の輝度値分布特性の一例を示した図である。 図２０は、本発明の第４の実施形態に係る画像解析システムにおける光源装置の概略構成を示すブロック図である。 図２１は、本発明の第５の実施形態に係る画像解析システムにおける画像解析装置による画像解析処理を示すフローチャートである。 図２２は、第５の実施形態に係る画像解析システムにおける画像解析装置において、基準値以下の輝度値に係る分布特性値を算出することを説明する図である。 図２３は、本発明の第１、第２および第４〜第７の実施形態に係る画像解析システムにおける光源装置の一変形例を示すブロック図である。 図２４は、本発明の第１、第２および第４〜第７の実施形態に係る画像解析システムにおける光源装置の他の変形例を示すブロック図である。

以下、図面を参照して本発明の実施の形態を説明する。
なお、この実施の形態により、この発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。さらに、図面は、模式的なものであり、各部の厚みと幅との関係、各部の比率等は、現実と異なることに留意する必要がある。また、図面の相互間においても、互いの寸法や比率が異なる部分が含まれている。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画像解析システムの概略構成を示すブロック図であり、図２は、第１の実施形態に係る画像解析システムにおける画像解析装置内の分特性算出部の構成を示したブロック図である。また、図３は、第１の実施形態に係る画像解析システムにおける画像解析装置内の領域抽出部の構成を示したブロック図である。

なお、以下に示す実施形態においては、“画像解析システム”として内視鏡システムを、“画像解析装置”としてビデオプロセッサを例に説明する。

図１に示すように、画像解析システムである内視鏡システム１は、内視鏡２と、画像解析装置であるビデオプロセッサ３と、光源装置４と、表示装置５を主に備えている。

内視鏡システム１は、本実施形態においては、システム全体として狭帯域光観察（ＮＢＩ：Narrow Band Imaging）に対応可能となっている。

内視鏡２は、被検体２００内に挿入される挿入部（図示せず）を備え、さらに、当該挿入部の先端部に配設された、被検体２００の画像を撮像して画像信号を取得する撮像部１１と、光源装置４からの照明光を伝送するライトガイド１２と、被検体２００に照明光を照射する照明部１３と、を備える。

なお、当該内視鏡２は、ノイズ成分を少なくしてＮＢＩ拡大観察を行うために、その先端には、例えば先端フードまたは先端アタッチメント等が装着されるようになっている。

さらに、本実施形態においては、被検体に所定の負荷（所定の作用）を与え、当該負荷（作用）を与える前後にまたがって経時的に被検体の変化を観察するために、内視鏡２において被検体の画像が経時的に取得されるようになっている。

ここで、上述した被検体に与える“所定の作用”とは、例えば、被検体に対する薬液の投与である。なお、本実施形態において前記“薬液”とは、例えば、生理食塩水、ブドウ糖、液状の脂肪（脂肪乳剤等）を指し、後述する具体的な負荷（作用）の一例としては、ブドウ糖の散布を例に挙げて説明する。

また、前記“所定の作用”とは、上述した薬液の投与に限らず、静脈注射、体腔内への送気、または、物理的に処置具もしくは内視鏡自体を体内に接触させる等の作用であってもよい。

なお、被検体に所定の作用を与える前後における被検体の変化をより正確に捉えるためには、内視鏡２の明るさの設定が同じ状態であることが望ましい。そこで、被検体に所定の作用を与える前後で光源の調光は行わず、光源からの出射光量を一定にして被検体の画像を取得すると好ましい。

ビデオプロセッサ３は、内視鏡システム１全体を統括的に制御する制御部３１と、当該制御部３１に制御される画像入力部３２と、領域抽出部３３と、分布特性値算出部３４と、画像解析部３５と、を含んでいる。

なお、本実施形態においてビデオプロセッサ３は、内視鏡２の撮像部１１からの撮像信号の信号処理装置としての機能を果たすと共に、「画像解析装置」としての役目を果たすようになっている。

画像入力部３２は、内視鏡２における撮像部１１によって経時的に取得された被検体の画像が入力される。

領域抽出部３３は、画像入力部３２から入力された、第１のタイミングで取得された第１の画像と、第１のタイミングより後の第２のタイミングで取得された第２の画像とに対して、環状の周辺部と周辺部に囲まれ周辺部と色が異なる中心部とをもつ注目要素（本実施形態における注目要素は、後述するように、特徴領域である例えば腸管の絨毛の画像部分）を特定し、注目要素の中心部のみを解析対象領域として抽出する（詳細については後述する）。

分布特性値算出部３４は、領域抽出部３３により抽出された、第１の画像の解析対象領域と、第２の画像の解析対象領域と、の色成分値をそれぞれ抽出すると共に、抽出した色成分値の合算値に係る輝度値の分布特性値をそれぞれ算出する（詳細については後述する）。

画像解析部３５は、前記分布特性値算出部３４においてそれぞれ算出された、第１の画像の解析対象領域に係る分布特性値（第１の分布特性値）と第２の画像の解析対象領域に係る分布特性値（第２の分布特性値）との変化の度合いを算出する（詳細については後述する）。

光源装置４は、光源４１と、光源ドライバ４２と、回転フィルタ４３と、駆動部４４と、駆動ドライバ４５と、光源制御部４６と、を備える。

光源４１は、白色ＬＥＤまたはキセノンランプ等を用いて構成され、光源制御部４６の制御のもと、白色光を発生する。光源ドライバ４２は、光源制御部４６の制御下に光源４１に白色光を発生せしめる。光源４１が発生した光は、回転フィルタ４３および集光レンズ（図示せず）およびライトガイド１２を経由して内視鏡２の照明部１３から照射される。

回転フィルタ４３は、光源４１が発した白色光の光路上に配置され、回転することにより、光源４１が発する白色光を受けて狭帯域光観察（ＮＢＩ）に対応した光、すなわち、波長415nm付近（例えば、およそ400nm〜440nm）の青色光と、波長540nm付近（例えば、およそ525nm〜555nm）の緑色光との各波長領域を含む狭帯域化した光を透過させる。ここで、本実施形態において採用するＮＢＩ観察は、通常、青と緑の狭帯域光を腸粘膜面に照射し、青色の反射光を青色と緑色に、緑色の反射光を赤色に変換してモニタ上に出力するようになっている。

駆動ドライバ４５は、光源制御部４６の制御下に駆動部４４に所定の電流を供給し、駆動部４４は、光源制御部４６の制御下に、ビデオプロセッサ３から送信される同期信号を基準として回転フィルタ４３を回転動作させる。

表示装置５は、所定の映像ケーブルを介してビデオプロセッサ３が生成した被検体画像等をビデオプロセッサ３から受信して表示する機能を有する。なお、本実施形態においては、内視鏡２の撮像部１１が撮像した被検体画像の他、後述するような画像配列表示６１、画像取得時間表示６２および画像配列順序表示６３等の各種情報を表示可能になっている。

＜分布特性値算出部３４について＞
次に、前記分布特性値算出部３４の構成について図２を参照して説明する。

図２に示すように、分布特性値算出部３４は、色成分値抽出部３６と、合算輝度値算出部３７と、輝度値分布特性値算出部３８とを有する。

色成分値抽出部３６は、領域抽出部３３により抽出された第１の画像の解析対象領域における各色成分値（Ｒ成分値，Ｇ成分値，Ｂ成分値）と、第２の画像の解析対象領域における各色成分値（Ｒ成分値，Ｇ成分値，Ｂ成分値）とをそれぞれ抽出する。

合算輝度値算出部３７は、前記色成分値抽出部３６において抽出した第１の画像の解析対象領域に係る前記各色成分値の合算値に係る輝度値（第１の合算輝度値）を求めると共に、同第２の画像の解析対象領域に係る前記各色成分値の合算値に係る輝度値（第２の合算輝度値）とをそれぞれ算出する。

輝度値分布特性値算出部３８は、前記合算輝度値算出部３７において算出したそれぞれの合算輝度値（第１の合算輝度値および第２の合算輝度値）に係るそれぞれの分布特性値（第１の分布特性値および第２の分布特性値）を算出する。なお、本実施形態において「分布特性値」は、標準偏差または分散として求められる。

＜領域抽出部３３について＞
次に、前記領域抽出部３３の構成について図３を参照して説明する。

領域抽出部３３は、周辺部と中心部との色の相違を、色相と彩度と輝度との少なくとも１つの相違に基づき判定するようになっている。従って、色成分値が異なれば色が異なることに該当し、例えば、色相および彩度が同一で輝度のみが異なる場合でも、色が異なることに該当する。

この領域抽出部３３は、図３に示すように、エッジ検出部５１と、閉曲線エッジ検出部５２と、大きさフィルタ処理部５３と、二重閉曲線エッジ検出部５４と、二重閉曲線エッジ特定部５５と、単一閉曲線エッジ特定部５６と、領域抽出制御部５７と、を備えている。

エッジ検出部５１は、画像に対して例えばエッジ検出フィルタをかけることにより、エッジ検出を行う。

閉曲線エッジ検出部５２は、エッジ検出部５１により検出されたエッジの中から、閉曲線をなすエッジをさらに検出する。

大きさフィルタ処理部５３は、閉曲線エッジ検出部５２により検出された閉曲線エッジの中から、閉曲線エッジの大きさが注目要素として取り得る範囲内（例えば、腸管の絨毛として取り得る大きさの範囲内）であるもののみを選択する。

二重閉曲線エッジ検出部５４は、閉曲線エッジ検出部５２により検出され、さらに例えば大きさフィルタ処理部５３により選択された閉曲線エッジの中から、さらに、二重をなす（つまり、外側閉曲線エッジと、この外側閉曲線エッジ内に含まれる内側閉曲線エッジと、で構成される）二重閉曲線エッジを検出する。

二重閉曲線エッジ特定部５５は、二重閉曲線エッジ検出部５４により検出された二重閉曲線エッジの内の、内側閉曲線エッジ内の領域の色と、内側閉曲線エッジと外側閉曲線エッジとの間の領域の色と、が異なる場合に、内側閉曲線エッジ内の領域を中心部として特定する。

このとき、二重閉曲線エッジ特定部５５は、さらに、内側閉曲線エッジ内の領域の色が注目要素の中心部に該当する第１の色範囲（一例として注目要素が腸管の絨毛である場合には、第１の色範囲は例えば赤に近い色範囲）内であって、内側閉曲線エッジと外側閉曲線エッジとの間の領域の色が注目要素の周辺部に該当する第２の色範囲（第１の色範囲とは異なる第２の色範囲）（一例として注目要素が腸管の絨毛である場合には、第２の色範囲は例えば白に近い色範囲）内である場合に、内側閉曲線エッジ内の領域を中心部として特定するようになっている。

なお、色の相違は、上述したように、色相と彩度と輝度との少なくとも１つの相違に基づき判定する。従って、色範囲は、色相、彩度、輝度の内の、何れか１つの範囲、または２つ以上の組み合わせにより決まる範囲となる。例えば、色範囲を色相および彩度の組み合わせにより決まる範囲としてもよいし、あるいは色範囲を輝度範囲としても構わない（すなわち、輝度のみに基づいて中心部と周辺部とを区別するようにしても構わない）。注目要素が腸管の絨毛であって色範囲を輝度範囲とした場合には、例えば、第１の色範囲はやや低輝度の範囲、第２の色範囲は第１の色範囲よりも高輝度の範囲とすればよい。

さらに、二重閉曲線エッジ特定部５５は、大きさフィルタ処理部５３により内側閉曲線エッジおよび外側閉曲線エッジの大きさが注目要素として取り得る範囲内であると判定された場合にのみ、内側閉曲線エッジ内の領域を中心部として特定すると、より好ましい。

本実施形態においては、上述した二重閉曲線エッジ特定部５５により特定された注目要素の中心部の数が所定数（ここに、所定数は複数である）に満たない場合に、さらに、単一閉曲線エッジ特定部５６を用いて注目要素の中心部を特定するようになっている（ただし、二重閉曲線エッジ特定部５５を用いることなく、単一閉曲線エッジ特定部５６のみを用いて注目要素の中心部を特定するようにしても構わない）。

単一閉曲線エッジ特定部５６は、閉曲線エッジ検出部５２により検出された閉曲線エッジで囲まれた領域の内外で色が異なる場合に、閉曲線エッジで囲まれた領域の内部を中心部として特定する。

なお、本実施形態においては、二重閉曲線エッジ特定部５５による処理対象とならなかった閉曲線エッジに対して、この単一閉曲線エッジ特定部５６により処理を行うことになるが、二重よりも多い三重、四重、…の閉曲線エッジが存在したとしても、その閉曲線エッジは何れも二重閉曲線エッジに該当することになる。このために、単一閉曲線エッジ特定部５６が処理対象とするのは、単一閉曲線エッジとなる。

さらに、単一閉曲線エッジ特定部５６は、さらに、単一閉曲線エッジ内の領域の色が注目要素の中心部に該当する第１の色範囲内であって、単一閉曲線エッジの外側近傍の領域の色が注目要素の周辺部に該当する第２の色範囲内である場合に、単一閉曲線エッジ内の領域を中心部として特定するようになっている。

そして、単一閉曲線エッジ特定部５６は、大きさフィルタ処理部５３により単一閉曲線エッジの大きさが注目要素として取り得る範囲内であると判定された場合にのみ、単一閉曲線エッジで囲まれた領域の内部を中心部として特定すると、より好ましい。

領域抽出制御部５７は、領域抽出部３３内の各部、つまり、上述したエッジ検出部５１、閉曲線エッジ検出部５２、大きさフィルタ処理部５３、二重閉曲線エッジ検出部５４、二重閉曲線エッジ特定部５５、および単一閉曲線エッジ特定部５６等を制御して、後に詳述する図６〜図９を参照して説明するような動作を行わせる。

＜画像解析システムの処理について＞
図４は画像解析システムにおける基本的な処理を示すフローチャートである。

ビデオプロセッサ３における制御部３１の制御下に当該処理を開始する。制御部３１は、まず内視鏡２を制御して、被検体へ負荷（所定の作用）を与える前の画像（負荷前画像、第１の画像）を第１のタイミングで撮像部１１より取得する（ステップＳ１）。

ここで本実施形態における被検体は、例えば、腸管（さらに例えば、小腸）の絨毛であるものとする（ただし、被検体はこれに限定されるものではなく、他の幾つかの例としては、舌部、食道、胃粘膜、大腸等が挙げられる）。また、内視鏡２により被検体の画像を取得するのと同時に、画像取得時の出射光量の情報を、例えば画像解析装置（ビデオプロセッサ３）、あるいは内視鏡２に記録してもよい。

その後、被検体へ負荷（所定の作用）を付与する（ステップＳ２）。このステップＳ２における被検体へ負荷（所定の作用）は、ここではブドウ糖を散布するものとする。ブドウ糖を散布すると毛細血管を流れる血液量が増加して、血液中のヘモグロビンによって光がより多く吸収される。従って、絨毛内において毛細血管が集まっている部分が暗く観察されることになる。

なお、被検体へ負荷（所定の作用）はこれに限らず、上述したように、例えば、生理食塩水、ブドウ糖、液状の脂肪（脂肪乳剤等）等の、被検体に対する薬液の投与であってもよく、さらには、前記薬液の投与に限らず、静脈注射、体腔内への送気、または、物理的に処置具もしくは内視鏡自体を体内に接触させる等の作用であってもよい。

続いて制御部３１は、内視鏡２を引き続き被検体内に挿入したままの状態で、上述した第１のタイミングより後の第２のタイミングで、負荷を付与した後の画像（負荷後画像、第２の画像）を内視鏡２により撮像して取得する（ステップＳ３）。

なお、本実施形態においては、前記作用の一例として被検体に対してブドウ糖を投与する場合は、当該作用後３分（１８０秒）程度経時的に観察し続ける。

ここで、被検体に負荷を付与した後の画像を内視鏡２より取得する際に、ステップＳ１で出射光量の情報を記録した場合は、出射光量の情報を参照して、ステップＳ１と同じ条件で画像を取得する。なお、ステップＳ１で記録した出射光量の情報を後に消去する機能を有していても良く、出射光量の情報の取得、出射光量の情報を用いた画像の取得、および出射光量の情報の消去は、例えば内視鏡２の操作部、この画像解析システムを制御するための制御パネルに設けたスイッチ、または内視鏡２を操作するためのフットスイッチ等の操作により実現するようにしてもよい。

そして、制御部３１は、さらに次の画像を取得するか否かを判定し（ステップＳ４）、取得すると判定した場合には、ステップＳ３へ戻って次の負荷後画像を取得する。

また、制御部３１はステップＳ４において、画像の取得が終了したと判定された場合には、ビデオプロセッサ３における領域抽出部３３、分布特性値算出部３４、画像解析部３５等を制御して画像解析を行い（ステップＳ５）、画像解析が完了した後、当該処理を終了する。

＜第１の実施形態における画像解析＞
図５は、第１の実施形態に係る画像解析システムにおける画像解析装置（ビデオプロセッサ３）による画像解析処理を示すフローチャートである。

制御部３１の制御下に当該処理が開始されると、画像入力部３２が、内視鏡２から経時的に取得された被検体の画像を入力して、時系列順にソートする（ステップＳ１０）。

図１０は、第１の実施形態に係る画像解析システムにおいて、時系列順にソートした被検体の画像の表示例を示す図である。

なお、この図１０に示す表示例においては、画像配列表示６１と、画像取得時間表示６２と、画像配列順序表示６３とが表示装置５に表示されている様子を示している。

画像配列表示６１は、内視鏡２から取得した被検体画像Ｐ０〜Ｐ８を、取得された時間の順序に配列して表示したものである。

また、画像取得時間表示６２は、画像Ｐ１〜Ｐ８が、負荷の付与（本実施形態においててはブドウ糖の散布）後のどの時間時点で取得されたかを、例えば、時間軸に沿って取得時間と共に配置して示したものである。

なお、画像Ｐ０はブドウ糖散布前（例えば、ブドウ糖を散布する直前）に取得された画像であるが、この図１０に示す例では、便宜上、ブドウ糖散布の位置に表示している（ただし、時間軸をブドウ糖散布よりも前の時点まで延ばして、画像Ｐ０の取得時点を正確に示すようにしても勿論構わない）。

さらに、画像配列順序表示６３は、画像配列表示６１に表示されている各画像が、画像取得時間表示６２に表示されている画像Ｐ０〜Ｐ８の内の、どの時点で取得された画像であるかを対応付けて表示している。

図５に戻って、次に画像解析装置（ビデオプロセッサ３）は、後でステップＳ１２〜Ｓ１９を参照して説明する処理を未だ行っていない画像が存在するか否かを判定する（ステップＳ１１）。

ここで未処理の画像が存在すると判定された場合には、領域抽出部３３が、画像入力部３２から処理対象となる画像データを入力する（ステップＳ１２）。

そして、色成分値を抽出するのに適さないハレーション等の不適格要素の領域（不適格領域）ＩＲ（図１１、図１３等参照）を処理対象から除外する（ステップＳ１３）。ここに、不適格領域ＩＲの例としては、ハレーションが生じている領域以外にも、例えば気泡が生じている領域、ピントがぼけている領域、などが挙げられる。

さらに、画像中における、所定の大きさの部分領域毎に算出した平均輝度が、所定値以上の領域を適正輝度領域として選択する（ステップＳ１４）。

例えば、図１１（あるいは図１３）に示すような画像Ｐｉ（ここにｉは、図１０に示す例においては、０〜８の何れか（つまり、ＰｉはＰ０〜Ｐ８の何れか））においては、右上半分の領域の平均輝度が所定値よりも低い。ここに、図１１は被検体の画像の明るさ分布を示す図および注目要素の１つを拡大して示す図である。

なお、上述では、画像入力部１１から入力される画像を取得する撮像装置の性能を示す画像として、内視鏡２等で取得した被検体の画像を用いて解析対象領域を定めたが、この方法に限定されるものではなく、撮像装置の性能を示すその他の画像（例えば、試験用プレートもしくはホワイトバランスキャップ等の色が一様でフラットな対象物を撮影した画像、または、内視鏡２の設計値から求められる明るさのシミュレーション結果ＳＩ（図１４参照）などの、性能を示す指標となる画像）に基づき、所定の大きさの部分領域毎に算出した平均輝度から色成分値を抽出するのに適した領域ＡＲ（図１５参照）を解析対象領域に設定する方法を採用してもよい。

さらに、上記色成分値を抽出するのに適した領域ＡＲの中から、所定の大きさの部分領域毎に算出した平均輝度に基づいて、解析対象領域を定める方法を採用しても構わない。ここに、図１４は、第１の実施形態に係る画像解析システムにおいて、内視鏡の明るさのシミュレーション結果の一例を示す図であって、内視鏡２の明るさのシミュレーション結果ＳＩの一例を示す図、図１５は、第１の実施形態に係る画像解析システムにおいて、内視鏡の明るさのシミュレーション結果から求められた色成分値を抽出するのに適した領域の一例を示す図であって、内視鏡２の明るさのシミュレーション結果ＳＩから求められた色成分値を抽出するのに適した領域ＡＲの一例を示す図である。

本実施形態において領域抽出部３３は、平均輝度が所定値以上となる、画像Ｐｉの左下半分の領域を適正輝度領域として選択する。このような選択を行うことにより、解析対象領域の色成分値を抽出するのに適している明るい領域を選択し、色成分値を抽出するのに適していない暗い領域を除外している。

なお、ここでは、色成分値を抽出するのに適した適正輝度範囲を、平均輝度が所定値以上の範囲としたが、平均輝度が飽和画素値に近いような明るすぎる領域も除外するようにしても構わない。この場合には、色成分値を抽出するのに適した適正輝度範囲を、平均輝度が、所定の下限閾値以上で、かつ所定の上限閾値以下の範囲とすればよい。

再び図５に戻って、続いて領域抽出部３３は、選択した領域において、複数の注目要素（本実施形態においては、腸管の絨毛の画像部分）ＯＢＪの中心部ＯＢＪｃ（この中心部ＯＢＪｃも要素である）を選択する（ステップＳ１５）。

この注目要素ＯＢＪである腸管の絨毛の画像部分は、後述する図６〜図９を参照して説明するように、画像解析等を行って自動処理により複数が抽出され選択されるようになっている（ただし、ユーザが画像を見ながら手動で選択するオプションをさらに用意しても構わない）。

ここに、注目要素ＯＢＪである腸管の絨毛の画像部分は、環状（円環状に限らず、任意の形の閉曲線状を取り得る）の周辺部ＯＢＪｐと、この周辺部ＯＢＪｐに囲まれ周辺部ＯＢＪｐと色が異なる中心部ＯＢＪｃとをもつ要素である。

図１２は、第１の実施形態に係る画像解析システムにおいて、注目要素である腸管の繊毛の構造を示す図である。

腸管の絨毛は、中心部にある中心リンパ管ＣＬの周りの部位に毛細血管ＢＣが分布し、その外側に粘膜上皮ＭＥが形成されて絨毛の表面を構成する構造となっている。

このような腸管の絨毛を、血液中のヘモグロビンに吸収され易い狭帯域化された波長の光を用いたＮＢＩにより拡大観察すると、毛細血管ＢＣの部分が粘膜上皮ＭＥとは異なる色として観察される。

こうした絨毛を上から撮像した画像部分を観察すると、粘膜上皮ＭＥの画像部分が環状の周辺部ＯＢＪｐとして観察され、粘膜上皮ＭＥに囲まれる毛細血管ＢＣの画像部分が粘膜上皮ＭＥと色が異なる中心部ＯＢＪｃとして観察される。そこで、後で説明するように、中心部ＯＢＪｃと周辺部ＯＢＪｐとの色の違いを利用して、注目要素ＯＢＪを決定するようになっている。

図５に戻って、領域抽出部３３は、選択した複数の中心部ＯＢＪｃの中から、明るさが中央値に近い所定数（図１３に示す例では５つ）の中心部ＯＢＪｃをさらに選択して、選択した所定数の中心部ＯＢＪｃを解析対象領域ＯＲに設定する（ステップＳ１６）。ここに、図１３は被検体の画像Ｐｉに設定された解析対象領域ＯＲの例を示す図である。

ここで、中央値に近い明るさの中心部ＯＢＪｃを選択したのは、サンプルとして最も適切な明るさのものを解析対象とするためである。なお、明るさとしては、複数の色成分に基づいて算出される輝度値を用いてもよいし、あるいは、複数の色成分を単純加算した値を明るさの指標として代用するようにしてもよいし、その他の方法により複数の色成分に基づき明るさを取得しても構わない。こうして、ここで設定された図１３に示す解析対象領域ＯＲは、例えば５つの腸管の絨毛の画像部分の中心部ＯＢＪｃにより構成されている。

次に、分布特性値算出部３４における色成分値抽出部３６が、解析対象領域ＯＲを構成する各画素の色成分値、例えば、Ｒ成分値、Ｇ成分値、およびＢ成分値を抽出する（ステップＳ１７）。

すなわち、色成分値抽出部３６は、領域抽出部３３により抽出された第１の画像の解析対象領域ＯＲを構成する各画素の各色成分値（Ｒ成分値，Ｇ成分値，Ｂ成分値）と、第２の画像の解析対象領域ＯＲを構成する各画素の各色成分値（Ｒ成分値，Ｇ成分値，Ｂ成分値）とをそれぞれ抽出する。

この後、分布特性値算出部３４における合算輝度値算出部３７において、前記色成分値抽出部３６において抽出した第１の画像に係る前記各色成分値の合算輝度値（第１の合算輝度値）と、同第２の画像に係る前記各色成分値の合算輝度値（第２の合算輝度値）とがそれぞれ算出される。

そして、分布特性値算出部３４における輝度値分布特性値算出部３８が、前記合算輝度値算出部３７において算出したそれぞれの合算輝度値、すなわち第１の合算輝度値および第２の合算輝度値に係るそれぞれの分布特性値、すなわち第１の分布特性値および第２の分布特性値を算出する（ステップＳ１８）。

なお、上述したように本実施形態において「分布特性値」は、標準偏差または分散として求められる。

次に、画像解析部３５は、負荷前画像に対する負荷後画像の変化の度合いとして、前記輝度値分布特性値算出部３８において算出した分布特性値の変化量を、例えば次のように算出する（ステップＳ１９）。

すなわち、前記輝度値分布特性値算出部３８において算出した、第１の画像（負荷前画像）に係る前記第１の分布特性値を＜１＞、また、第２の画像（負荷後画像）に係る前記第２の分布特性値を＜２＞とすると、画像解析部３５は、前記変化量を、前記第１の分布特性値と第２の分布特性値との差分の絶対値として次の数式１に示すように算出する。

［数１］
変化量＝＜２＞−＜１＞
図１６は、第１の実施形態に係る画像解析システムにおいて、被検体に負荷を与える前後の画像における輝度値に係る分布特性値の変化を示す図である。

図１６において上段は、被検体へ負荷（所定の作用）を与える前、すなわち本実施形態においては、腸管へのブドウ糖散布前（例えば、ブドウ糖を散布する直前）の画像（負荷前画像）である第１の画像と、負荷を付与した後（例えば、散布後１８０秒後）の画像（負荷後画像）である第２の画像と、それぞれを示したものである。

なお、上述したように本実施形態においては、被検体へ負荷（所定の作用）の一例として被検体に対してブドウ糖を投与する場合は、当該負荷の付与後（所定の作用後）３分程度経時的に観察し続けるため、負荷後画像である前記第２の画像としては、例えば、散布後１８０秒後の画像を採用する。

また、これら第１の画像と第２の画像には、それぞれ解析対象領域として抽出する注目要素を太線にて囲って示している。

さらに、図１６において下段は、横軸に、前記第１の画像および第２の画像のぞれぞれの解析対象領域における輝度値を、縦軸に、当該輝度値に対応するピクセル数を示したヒストグラムである。

この図１６に示す例においては、それぞれの画像（第１の画像および第２の画像）の肉眼的所見では、ブドウ糖散布前の第１の画像は解析領域内の色の濃淡が小さいのに対して、散布後の第２の画像は薬液散布により絨毛内の血流量の増加が生じることから、解析領域内に含まれる絨毛内で色の濃淡が大きいことがわかる。」
そして、本実施形態における前記分布特性値算出部３４（色成分値抽出部３６、合算輝度値算出部３７、輝度値分布特性値算出部３８）および画像解析部３５において算出された分布特性値である標準偏差は、ブドウ糖散布前の第１の画像よりも、散布後の第２の画像の方が絨毛内の輝度値の標準偏差が大きい結果を示している。

このように、本実施形態の画像解析システムによると、内視鏡画像に対して、肉眼的所見と一致する画像の定量化が実現できるという効果を奏する。

すなわち、一般に絨毛内には毛細血管と他の組織があり、これらを平均値として評価すると絨毛内の血管網の色変化の度合いが目立たなくなってしまう虞があるが、本実施形態の画像解析システムによると、絨毛内の輝度分布に着目することで血管網の色変化を抽出することができる。さらに、他の組織とのコントラストを明確にできるため、血流量だけでなく脂肪吸収量の変化も観察できる。

次に、図５に示すステップＳ１５に係るサブルーチンについて説明する。

図６は、上述した画像解析装置（ビデオプロセッサ３）における、選択した領域において複数の注目要素の中心部を選択する処理を示すフローチャートである。

図５に示すステップＳ１５においてこの処理に入ると、選択した領域（例えば、図１１に示す画像Ｐｉの左下半分の領域）に対して、エッジ検出部５１がエッジ検出フィルタをかけることにより、エッジ成分を抽出する（ステップＳ２１）。

次に、閉曲線エッジ検出部５２が、エッジ検出部５１により検出されたエッジの中から、閉曲線をなすエッジをさらに検出する（ステップＳ２２）。

続いて、大きさフィルタ処理部５３が、閉曲線エッジ検出部５２により検出された閉曲線エッジの大きさ（例えば、閉曲線の最大径、平均径、あるいは閉曲線で囲まれる領域の面積など）を算出し、算出した大きさが、注目要素として取り得る範囲内（例えば、腸管の絨毛として取り得る大きさの範囲内）となる閉曲線エッジのみを選択する（ステップＳ２３）。

そして、二重閉曲線エッジ検出部５４が、大きさフィルタ処理部５３を通過した閉曲線エッジの中から、二重閉曲線エッジを全て検出する（ステップＳ２４）。

なお、二重閉曲線エッジを構成する内側閉曲線エッジおよび外側閉曲線エッジは、何れも、ステップＳ２３における大きさフィルタ処理部５３の処理を通過しているために、注目要素として取り得る範囲内の大きさであると判定された閉曲線エッジである。

さらに、二重閉曲線エッジ特定部５５が、二重閉曲線エッジ検出部５４により検出された二重閉曲線エッジが、注目要素に該当するか否かを特定する処理を行う（ステップＳ２５）。なお、ステップＳ２５に係るサブルーチンについては後述する（図８参照）。

その後、領域抽出制御部５７が、二重閉曲線エッジ検出部５４により検出された二重閉曲線エッジの中に、ステップＳ２５の処理を未だ行っていない二重閉曲線エッジが存在するか否かを判定し（ステップＳ２６）、存在する場合には、次の二重閉曲線エッジに対してステップＳ２５の処理を行う。

こうして、ステップＳ２６において、全ての二重閉曲線エッジに対してステップＳ２５の処理が行われたと判定された場合には、領域抽出制御部５７が、注目要素に該当すると判定された二重閉曲線エッジの数（ひいては、検出された注目要素の中心部の数）が所定数（図１３に示した例においては５つ）以上であるか否かを判定する（ステップＳ２７）。

ここで、注目要素に該当すると判定された二重閉曲線エッジの数が所定数未満であると判定された場合には、単一閉曲線エッジ特定部５６が、二重閉曲線エッジに該当しない単一閉曲線エッジ（この単一閉曲線エッジは、ステップＳ２３における大きさフィルタ処理部５３の処理を通過して、注目要素として取り得る範囲内の大きさであると判定された閉曲線エッジである）が、注目要素に該当するか否かを特定する処理を行う（ステップＳ２８）。なお、ステップＳ２８に係るサブルーチンについては後述する（図９参照）。

次に、領域抽出制御部５７が、単一閉曲線エッジの中に、ステップＳ２５の処理を未だ行っていない単一閉曲線エッジが存在するか否かを判定し（ステップＳ２９）、存在する場合には、次の単一閉曲線エッジに対してステップＳ２８の処理を行う。

こうして、ステップＳ２９において、全ての単一閉曲線エッジに対してステップＳ２８の処理が行われたと判定された場合、またはステップＳ２７において、注目要素に該当すると判定された二重閉曲線エッジの数が所定数以上であると判定された場合には、この処理から図５に示した処理にリターンする。

こうして、注目要素に該当する確実性がより高い二重閉曲線エッジの特定をまず行い、注目要素に該当すると判定された二重閉曲線エッジの数が所定数に満たない場合には、さらに、単一閉曲線エッジに対して注目要素に該当するか否かの特定を行うようにしている。

なお、図６の処理では、二重閉曲線エッジの数が所定数に達した場合には単一閉曲線エッジの特定を行わないが、二重閉曲線エッジの数が所定数に達したか否かに関わらず単一閉曲線エッジの特定を行うようにしてもよい。

図７は、画像解析装置（ビデオプロセッサ３）における、選択した領域において複数の注目要素の中心部を選択する処理の変形例を示すフローチャートである。

この図７に示す処理は、図６におけるステップＳ２７の処理を省略したものとなっている。これにより、二重閉曲線エッジだけでなく、さらに単一閉曲線エッジの特定も行われるために、より多くの注目要素の中心部を選択することが可能となる。

図８は、図６（または図７）におけるステップＳ２５のサブルーチンであって、画像解析装置における二重閉曲線エッジ特定処理を示すフローチャートである。

図６（または図７）におけるステップＳ２５の処理（二重閉曲線エッジ特定処理）に入ると、二重閉曲線エッジ特定部５５は、ステップＳ２４（図６参照）において二重閉曲線エッジ検出部５４により検出された二重閉曲線エッジの中から、未処理の二重閉曲線エッジを１つ選択する（ステップＳ３１）。

そして、二重閉曲線エッジ特定部５５は、選択した二重閉曲線エッジの、内側閉曲線エッジの内側の各画素の色成分値の例えば平均値が、注目要素の中心部に該当する第１の色範囲内であるか否かを判定する（ステップＳ３２）。

ここで、第１の色範囲外であると判定した場合には、ステップＳ３１で選択した二重閉曲線エッジを注目要素と同定することなく、図６（または図７、以下同様であるので省略する）に示した処理にリターンする。

また、ステップＳ３２において、第１の色範囲内であると判定した場合には、二重閉曲線エッジ特定部５５は、さらに、選択した二重閉曲線エッジの、外側閉曲線エッジと内側閉曲線エッジとの間の各画素の色成分値の例えば平均値が、注目要素の周辺部に該当する第２の色範囲内であるか否かを判定する（ステップＳ３３）。

ここで、第２の色範囲外であると判定した場合には、ステップＳ３１で選択した二重閉曲線エッジを注目要素と同定することなく、図６に示した処理にリターンする。

また、ステップＳ３３において、第２の色範囲内であると判定した場合（従って、内側閉曲線エッジ内の領域の色と、内側閉曲線エッジと外側閉曲線エッジとの間の領域の色と、が異なると判定した場合）には、ステップＳ３１で選択した二重閉曲線エッジが注目要素に該当すると決定して、内側閉曲線エッジの内側を注目要素の中心部に、外側閉曲線エッジと内側閉曲線エッジとの間を注目要素の周辺部に、それぞれ特定してから（ステップＳ３４）、図６に示した処理にリターンする。

図９は、図６（または図７）におけるステップＳ２８のサブルーチンであって、画像解析装置における単一閉曲線エッジ特定処理を示すフローチャートである。

図６（または図７）におけるステップＳ２８の処理（単一閉曲線エッジ特定処理）に入ると、単一閉曲線エッジ特定部５６は、大きさフィルタ処理部５３を通過した閉曲線エッジの中から、二重閉曲線エッジ以外の単一閉曲線エッジにおける、未処理の閉曲線エッジを１つ選択する（ステップＳ４１）。

そして、単一閉曲線エッジ特定部５６は、選択した単一閉曲線エッジの内側の各画素の色成分値の例えば平均値が、注目要素の中心部に該当する第１の色範囲内であるか否かを判定する（ステップＳ４２）。

ここで、第１の色範囲外であると判定した場合には、ステップＳ４１で選択した単一閉曲線エッジを注目要素と同定することなく、図６に示した処理にリターンする。

また、ステップＳ４２において、第１の色範囲内であると判定した場合には、単一閉曲線エッジ特定部５６は、さらに、選択した単一閉曲線エッジの外側近傍の各画素の色成分値の例えば平均値が、注目要素の周辺部に該当する第２の色範囲（第１の色範囲とは異なる第２の色範囲）内であるか否かを判定する（ステップＳ４３）。

ここで、第２の色範囲外であると判定した場合には、ステップＳ４１で選択した単一閉曲線エッジを注目要素と同定することなく、図６に示した処理にリターンする。

また、ステップＳ４３において、第２の色範囲内であると判定した場合（従って、単一閉曲線エッジの内側領域の色と外側近傍領域の色とが異なると判定した場合）には、ステップＳ４１で選択した単一閉曲線エッジ内を注目要素の中心部に特定してから（ステップＳ４４）、図６に示した処理にリターンする。

なお、上述した図６〜図９においては、エッジ検出（閉曲線エッジ検出、二重閉曲線エッジ検出）、大きさフィルタ処理、色範囲判定などの各処理を行って注目要素の検出精度を上げているが、何れかの処理を省略して処理負荷を軽減し検出速度を向上するようにしても構わない。

以上説明したように、本第１の実施形態によれば、領域抽出部３３が、環状の周辺部と周辺部に囲まれ周辺部と色が異なる中心部とをもつ注目要素を特定し、注目要素の中心部のみを解析対象領域として抽出し、さらに、分布特性値算出部３４および画像解析部３５により、当該解析対象領域における色成分値に係る輝度値の分布特性値（標準偏差または分散）の変化の度合いを算出するようにしたので、色調の変化の影響に拠らず、経時的に取得された被検体の画像から被検体の変化を的確に解析することができる。

また、解析対象領域を抽出する際に、色成分値を抽出するのに適さない不適格要素を除外するようにしたために、不適格要素に左右されることのない、より正確な画像解析結果を得ることができる。

そして、明るさが中央値に近い所定数の注目要素の中心部を解析対象領域として抽出するようにしたために、変化量をより適切に捉えることができる。

なお、上述した説明では主として画像解析装置（または画像解析システム、以下同様）について説明したが、画像解析装置を上述したように作動させる作動方法であってもよいし、コンピュータに画像解析装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

本第２の実施形態の内視鏡システム（画像解析システム）は、その構成は基本的には第１の実施形態と同様であるので、ここでは第１の実施形態との差異のみの説明にとどめ、その他の詳細の説明は省略する。

図１７は、本発明の第２の実施形態に係る画像解析システムにおける分布特性値算出部の構成を示したブロック図であり、図１８は、第２の実施形態に係る画像解析システムにおける画像解析装置による画像解析処理を示すフローチャート、また、図１９A、図１９B及び図１９Cは、第２の実施形態に係る画像解析システムにおける画像解析装置において各色成分毎の輝度値分布特性の一例を示した図である。

第１の実施形態の内視鏡システム（画像解析システム）は、分布特性値算出部３４における色成分値抽出部３６において取得した各色成分値（Ｒ成分値、Ｇ成分値、Ｂ成分値）に基づいて、合算輝度値算出部３７および輝度値分布特性値算出部３８において合算した輝度値の分布特性値を求めることを特徴とする。

これに対して第２の実施形態の内視鏡システム（画像解析システム）は、図１７に示すように、分布特性値算出部１３４は、色成分値抽出部１３６と、色成分値毎輝度値算出部１３７と、輝度値分布特性値算出部1３８とを有する。

色成分値抽出部１３６は、第１の実施形態と同様に、領域抽出部３３により抽出された第１の画像の解析対象領域における各色成分値（Ｒ成分値，Ｇ成分値，Ｂ成分値）と、第２の画像の解析対象領域における各色成分値（Ｒ成分値，Ｇ成分値，Ｂ成分値）とをそれぞれ抽出する。

色成分値毎輝度値算出部１３７は、第１の実施形態とは異なり、前記色成分値抽出部１３６において抽出した前記第１の画像および第２の画像における解析対象領域に係る各色成分値毎の輝度値をそれぞれ算出し、輝度値分布特性値算出部１３８は、前記色成分値毎輝度値算出部１３７において算出したそれぞれの色成分値毎の輝度値に係るそれぞれの分布特性値を算出することを特徴とする。

すなわち、本第２の実施形態の内視鏡システム１において採用するＮＢＩ観察は、通常、青と緑の狭帯域光を腸粘膜面に照射し、青色の反射光を青色と緑色に、緑色の反射光を赤色に変換してモニタ上に出力している。

そして、ここで、緑と青の反射光を比較すると、青の方が粘膜表層の毛細血管や微細模様が強調される。すなわち、モニタ上に出力される緑または青の成分を解析することで、毛細血管や微細模様をより正確に捉えた解析結果が得られると考えられる。一方、より深部の血管に着目する場合は、赤の成分を解析することが望ましい。

このように、本発明の特徴である、解析対象領域における色成分値に係る輝度値の分布特性値の変化の度合いを算出する技術を、ＮＢＩ観察システムに適用する場合、各色成分値毎の輝度値の分布特性に着目した方が望ましいことも考えられる。

本第２の実施形態の内視鏡システム（画像解析システム）は、上述した事情に鑑み、色成分値抽出部において取得した第１の画像（負荷前画像）および第２の画像（負荷後画像）における各色成分値（Ｒ成分値、Ｇ成分値、Ｂ成分値）に基づいて、合算ではなく、各色成分毎に第１、第２の画像のそれぞれの解析対象領域に係る輝度値の分布特性値を求めることを特徴とする。

＜第２の実施形態における画像解析＞
図１８は、第２の実施形態に係る画像解析システムにおける画像解析装置による画像解析処理を示すフローチャートである。

図１８に示すように、本第２の実施形態においては、ステップＳ１７において、分布特性値算出部１３４における色成分値抽出部１３６が、解析対象領域ＯＲを構成する各画素の色成分値、例えば、Ｒ成分値、Ｇ成分値、およびＢ成分値を抽出する（ステップＳ１７）。

すなわち、色成分値抽出部１３６は、領域抽出部３３により抽出された第１の画像の解析対象領域ＯＲを構成する各画素の各色成分値（Ｒ成分値，Ｇ成分値，Ｂ成分値）と、第２の画像の解析対象領域ＯＲを構成する各画素の各色成分値（Ｒ成分値，Ｇ成分値，Ｂ成分値）とをそれぞれ抽出する。

この後、分布特性値算出部１３４における色成分値毎輝度値算出部１３７において、前記色成分値抽出部１３６において抽出した第１の画像に係る前記各色成分値毎の輝度値（第１の輝度値）と、同第２の画像に係る前記各色成分値毎の輝度値（第２の輝度値）とがそれぞれ算出される。

ここで、図１９A、図１９B及び図１９Cは、第２の実施形態に係る画像解析システムにおける画像解析装置において解析対象領域に係る各色成分毎の輝度値分布特性の一例を示した図である。

具体的に図１９Aは、Ｒ成分の輝度値分布特性１０１Ｒを示し、図１９Bは、Ｇ成分の輝度値分布特性１０１Ｇを示し、図１９Cは、Ｂ成分の輝度値分布特性１０１Ｂを示し、それぞれ、横軸に解析対象領域における各色成分における輝度値を、縦軸に当該輝度値に対応するピクセル値をそれぞれ示したものである。

そして、分布特性値算出部１３４における輝度値分布特性値算出部１３８が、前記色成分値毎輝度値算出部１３７において算出したそれぞれの色成分値毎の輝度値に係るそれぞれの分布特性値を、第１の画像の解析対象領域および第２の画像の解析対象領域ごとに算出する（ステップＳ１８Ａ）。

次に、本第２の実施形態において画像解析部３５は、負荷前画像に対する負荷後画像の変化の度合いとして、前記輝度値分布特性値算出部１３８において算出した各色成分の分布特性値の変化量を、色成分値毎に算出する（ステップＳ１９）。

以上説明したように、本第２の実施形態によれば、第１の実施形態と同様の効果を奏すると共に、各色成分毎の分布特性値を算出するので、それぞれの特徴量に特化した解析結果を得ることができ、特にＮＢＩ観察において有効である。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。

本第３の実施形態の内視鏡システム（画像解析システム）は、その構成は基本的には第１、第２の実施形態と同様であるので、ここでは第１の実施形態との差異のみの説明にとどめ、その他の詳細の説明は省略する。

第１および第２の実施形態の内視鏡システム（画像解析システム）は、いわゆる狭帯域光観察（ＮＢＩ：Narrow Band Imaging）に対応可能なシステムであって、ＮＢＩ観察によって上述した第１の画像（負荷前画像）および第２の画像（負荷後画像）を取得することを特徴とする。

これに対して第３の実施形態の内視鏡システム（画像解析システム）は、白色光による観察によって上述した第１の画像（負荷前画像）および第２の画像（負荷後画像）を取得することを特徴とする。

具体的には、第１の実施形態に対して、光源装置４における回転フィルタ４３のフィルタ特性等が異なるが、その他の構成、作用効果については、第１の実施形態と同様である。

以上説明したように、本第３の実施形態によれば、第１および第２の実施形態と同様の色調の変化の影響に拠らず、経時的に取得された被検体の画像から被検体の変化を的確に解析することができるという効果を奏する。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。

本第４の実施形態の内視鏡システム（画像解析システム）は、光源装置以外の構成は基本的には第１〜第３の実施形態と同様であるので、ここでは第１の実施形態との差異のみの説明にとどめ、その他の詳細の説明は省略する。

図２０は、本発明の第４の実施形態に係る画像解析システムにおける光源装置の概略構成を示すブロック図である。

上述した第１〜第３の実施形態の内視鏡システム（画像解析システム）は、いずれも光源装置４において白色光光源などの通常光光源を採用し、特に、第１および第２の実施形態は、いわゆる狭帯域光観察（ＮＢＩ：Narrow Band Imaging）に対応可能なシステムであって、ＮＢＩ観察によって上述した第１の画像（負荷前画像）および第２の画像（負荷後画像）を取得することを特徴とする。

これに対して第４の実施形態の内視鏡システム（画像解析システム）は、第１の実施形態における光源装置４に代えて、光源装置１０４を備えるものであり、すなわち、白色光源１４１を備える一方で、レーザ光源１４２を備えることを特徴とする。

具体的に本第４の実施形態にける光源装置１０４は、白色光源１４１と、レーザ光源１４２と、光源制御部１４６と、拡散板１４１Ａおよび拡散板１４２Ａと、を備える。

白色光源１４１は、白色ＬＥＤまたはキセノンランプ等を用いて構成され、光源制御部１４６の制御のもと、白色光を発生する。

また、白色光源１４１からの光は、多数本の光ファイバからなるファイババンドルから出射し、拡散板１４１Ａを透過させて内視鏡２の照明部から照射されるようになっている。なお、本第４の実施形態は、同時式の観察方式を採用する。

レーザ光源１４４は、半導体レーザ光源により構成され、光源制御部１４６の制御下において駆動されるようになっている。また、レーザ光源１４４からの光は、一本の光ファイバにて導光され、拡散板１４２Ａを透過させて出射されるようになっている。

その他の内視鏡システムの構成、内視鏡２および画像解析装置としてのビデオプロセッサ３の構成については、同時式の観察方式に係る構成以外、第１の実施形態と同様であるので、ここでの詳しい説明は省略する。

以上説明したように本第４の実施形態によれば、光源の種別に拠らず第１の実施形態と同様の効果を奏することができる。

＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。

本第５の実施形態の内視鏡システム（画像解析システム）は、その構成は基本的には第１の実施形態と同様であるので、ここでは第１の実施形態との差異のみの説明にとどめ、その他の詳細の説明は省略する。

図２１は、本発明の第５の実施形態に係る画像解析システムにおける画像解析装置による画像解析処理を示すフローチャートであり、図２２は、第５の実施形態に係る画像解析システムにおける画像解析装置において、基準値以下の輝度値に係る分布特性値を抽出することを説明する図である。

第１の実施形態の内視鏡システム（画像解析システム）は、分布特性値算出部３４における色成分値抽出部３６において取得した各色成分値（Ｒ成分値、Ｇ成分値、Ｂ成分値）に基づいて、合算輝度値算出部３７および輝度値分布特性値算出部３８において合算した輝度値の分布特性値を求め、画像解析部３５において、求めた分布特性値の全データを対象として分布特性値の変化の度合いを算出することを特徴とする。

これに対して第５の実施形態の内視鏡システム（画像解析システム）は、求めた分布特性値において基準値以下の輝度値に係る分布特性値を抽出することを特徴とする。

ここで、被検体に付与する負荷（所定の作用）として、例えば、ブドウ糖散布を実施する場合、当該ブドウ糖散布の前よりも散布後の方が血流量増加の傾向があり、全体的に暗い画像となる虞がある。

一方、画像の輝度値が高くなる方向への変化は、画像撮影の際におけるハレーションの影響を受けやすいこと、または、人間の目が「明るさが明るい状態から暗くなる方向」への変化に対しては敏感だが「明るさが暗い状態から明るくなる方向」への変化に対しては鈍感である性質を利用し、本第５の実施形態は上述した事情に鑑み、分布特性のうち輝度値の低い方向の変化に着目し、下記に示す構成を採用した。

すなわち、本第５の実施形態の画像解析装置（ビデオプロセッサ３）は、領域抽出部３３において求めた解析対象領域に係る輝度値の分布特性値を算出する際に、輝度値に関して所定の基準値を定め、当該基準値以下の分布特性値を抽出する（図２４参照）。

この輝度値に関する所定の基準値は、本実施形態においては、例えば、輝度値の中心値、平均値の他、ピーク値等から求められる値である。

＜第５の実施形態における画像解析＞
図２１は、第５の実施形態に係る画像解析システムにおける画像解析装置による画像解析処理を示すフローチャートである。

図２１に示すように本第５の実施形態においては、第１の実施形態と同様に、ステップＳ１０〜ステップＳ１６の後、ステップＳ１７において分布特性値算出部３４における色成分値抽出部３６が、解析対象領域ＯＲを構成する各画素の色成分値、例えば、Ｒ成分値、Ｇ成分値、およびＢ成分値を抽出する（ステップＳ１７）。

すなわち、色成分値抽出部３６は、領域抽出部３３により抽出された第１の画像の解析対象領域ＯＲを構成する各画素の各色成分値（Ｒ成分値，Ｇ成分値，Ｂ成分値）と、第２の画像の解析対象領域ＯＲを構成する各画素の各色成分値（Ｒ成分値，Ｇ成分値，Ｂ成分値）とをそれぞれ抽出する。

この後、分布特性値算出部３４における合算輝度値算出部３７において、前記色成分値抽出部３６において抽出した第１の画像に係る前記各色成分値の合算輝度値（第１の合算輝度値）と、同第２の画像に係る前記各色成分値の合算輝度値（第２の合算輝度値）とをそれぞれ算出する際に、それぞれ図２２に示すように、予め定めた基準値以下の輝度値を抽出する。

そして、分布特性値算出部３４における輝度値分布特性値算出部３８が、前記合算輝度値算出部３７において抽出した「基準値以下の輝度値」に係る分布特性値を、第１の合算輝度値および第２の合算輝度値についてそれぞれ算出する（ステップＳ１８Ｂ）。

この後、第１の実施形態と同様に、第５の実施形態のおける画像解析部３５は、負荷前画像に対する負荷後画像の変化の度合いとして、前記輝度値分布特性値算出部３８において算出した、「基準値以下の輝度値」に係る分布特性値の変化量を算出する（ステップＳ１９）。

以上説明したように、本第５の実施形態によれば、第１の実施形態と同様の効果を奏すると共に、輝度値のレベルにおいて評価するのに適さないレベルの輝度値を除外することができるので、より的確な解析結果を得ることができる。

＜第６の実施形態＞
次に、本発明の第６の実施形態について説明する。

本第６の実施形態の内視鏡システム（画像解析システム）は、その構成は基本的には第１の実施形態と同様であるので、ここでは第１の実施形態との差異のみの説明にとどめ、その他の詳細の説明は省略する。

上述したように、第１の実施形態においては、負荷前画像に対する負荷後画像の変化の度合いとして輝度値の分布特性値の変化量を算出する際に（図５のステップＳ１９参照）、第１の画像（負荷前画像）に係る前記第１の分布特性値を＜１＞とし、また、第２の画像（負荷後画像）に係る前記第２の分布特性値を＜２＞とし、前記変化量を、
［数１］
変化量＝＜２＞−＜１＞
として求めた。

ここで、被検体に付与する負荷（所定の作用）として、ブドウ糖散布を適用するような場合、条件によっては、当該ブドウ糖の散布前の第１の画像よりも、散布後の第２の画像の方が分布特性値としての標準偏差が高くなる傾向がある。

本第６の実施形態は係る事情に鑑み、第１の画像の解析対象領域に係る輝度値の分布特性値と、第２の画像の解析対象領域に係る輝度値の分布特性値とに対して、それぞれ係数α、係数βを設け、上述の如き分布特性値の変化量を算出する際に、第１の画像に係る第１の分布特性値を＜１＞、また、第２の画像に係る第２の分布特性値を＜２＞とすると、画像解析部３５は、前記変化量を、
［数２］
変化量＝β×＜２＞ − α×＜１＞
として求めることを特徴とする。

このとき、上記係数αとβについては、上述したようにブドウ糖の散布前の第１の画像よりも、散布後の第２の画像の方が分布特性値としての標準偏差が高くなる傾向があることから、
β≧α
を満たすように設定するとよい。

以上説明したように本第６の実施形態の内視鏡システム（画像解析システム）によると、第１の画像に係る第１の分布特性値＜１＞と、第２の画像に係る第２の分布特性値＜２＞との差異が小さい場合でも、
β≧α
と定義された係数を乗算することで、より特徴的な結果を得ることができる。

＜第７の実施形態＞
次に、本発明の第７の実施形態について説明する。

本第７の実施形態の内視鏡システム（画像解析システム）は、その構成は基本的には第１の実施形態と同様であるので、ここでは第１の実施形態との差異のみの説明にとどめ、その他の詳細の説明は省略する。

上述したように、第１の実施形態においては、負荷前画像に対する負荷後画像の変化の度合いとして、輝度値の分布特性値の「変化量」を算出することを特徴とする。

これに対して本第７の実施形態は、負荷前画像に対する負荷後画像の変化の度合いとして、輝度値の分布特性値の「変化率」に着目したことを特徴とする。

具体的に、本第７の実施形態においては、第１の画像に係る第１の分布特性値を＜１＞、とし、第２の画像に係る第２の分布特性値を＜２＞としたとき、画像解析部３５は、
［数３］
変化率＝（＜２＞−＜１＞）／（＜１＞＋＜２＞）
として変化率を算出することを特徴とする。

以上説明したように本第７の実施形態の内視鏡システム（画像解析システム）によると、負荷前画像に対する負荷後画像の変化の度合いとして変化率を算出するので、負荷前画像の第１の画像に係る分布特性値のばらつきの影響をキャンセルすることができる。また、この結果、異なる症例間においても分布特性値の変化の度合いをより正確に比較することが可能となるという効果を奏する。

なお、上述では主として画像解析装置（または画像解析システム、以下同様）について説明したが、画像解析装置を上述したように作動させる作動方法であってもよいし、コンピュータに画像解析装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

また、上述した第１〜第３および第５〜第７の実施形態の内視鏡システムは、いわゆる面順次式の観察方式を採用するが、これに限らず、上記各実施形態の内視鏡システムは、いわゆる同時式の観察方式であっても適用することができる。

さらに、上述した第１，第２および第４〜第７の実施形態の内視鏡システムは、ＮＢＩ等の狭帯域光観察方式を採用するが、これに限らず、白色光観察、または図２３に示すように第１ＬＤ２４１、第２ＬＤ２４２からのレーザー光２５０Ａ、２５０Ｂを合波器であるコンバイナ２４７にて合波し、分波器であるカプラ２４８にて分波して、コネクタ２４９を介する等により接続された内視鏡２０２に配設された蛍光体２１１，２１２に当てた光を観察光とするようなもの、図２４に示すようにレーザー光源３４１および拡散板３４１Ａを組み合わせたものとＲＧＢの各発光ダイオード３１１を備えるものなど、光源に拠らず同様の効果を奏するものであっても適用することができる。

また、上述した第１〜第７の実施形態の内視鏡システムは、拡大観察を併用することで観察対象を詳細に観察することが可能であるが、これに限らず、通常倍率による観察であっても適用することができる。

また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本出願は、２０１５年９月２８日に日本国に出願された特願２０１５−１９０１３４号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (15)

1. 内視鏡を継続的に被検体内に挿入した状態において第１のタイミングで取得された前記被検体の第１の画像と、前記第１のタイミングより後の第２のタイミングで取得された前記被検体の第２の画像とが入力される画像入力部と、
   前記画像入力部から入力された、前記被検体に所定の作用を行う前及び後のタイミングで取得した前記第１の画像及び前記第２の画像に対し、それぞれ所定の領域を解析対象領域として定める領域抽出部と、
   前記第１の画像における前記解析対象領域の色成分を抽出して第１の分布特性値を求めるとともに、前記第２の画像における前記解析対象領域の色成分を抽出して第２の分布特性値を求める分布特性算出部と、
   前記第１の分布特性値に対する前記第２の分布特性値の変化の度合いを算出する画像解析部と、
   を具備したことを特徴とする画像解析装置。
2. 前記所定の作用は、前記被検体に対する薬液の投与であることを特徴とする請求項１に記載の画像解析装置。
3. 前記第１及び前記第２の分布特性値は、それぞれ前記解析対象領域の色成分の標準偏差または分散であることを特徴とする請求項１に記載の画像解析装置。
4. 前記分布特性算出部は、前記第１及び前記第２の画像における前記解析対象領域について、前記色成分の分布特性に基づき所定の基準値を設定するとともに、該基準値よりも低い値について前記第１及び前記第２の分布特性値を求めることを特徴とする請求項１に記載の画像解析装置。
5. 前記領域抽出部は、前記画像の内の、環状の周辺部と該周辺部に囲まれ該周辺部と色が異なる中心部とをもつ要素を所定数抽出して、抽出した所定数の前記要素の前記中心部を前記解析対象領域として定めることを特徴とする請求項１に記載の画像解析装置。
6. 前記領域抽出部は、前記画像に対して閉曲線をなすエッジを検出し、検出された前記閉曲線をなすエッジで囲まれた部分の大きさが前記解析対象領域として取り得る範囲内であるか否かを判定するとともに、
   前記閉曲線をなすエッジで囲まれた部分が前記解析対象領域として取り得る範囲内であるとき、前記閉曲線をなすエッジで囲まれた部分の内外で色が異なる場合に、前記閉曲線をなすエッジで囲まれた領域の内部を前記解析対象領域として特定することを特徴とする請求項５に記載の画像解析装置。
7. 前記要素は腸管の絨毛の画像部分に含まれており、
   前記領域抽出部は、前記第１及び前記第２の画像の内の、前記腸管の絨毛の表面に形成される粘膜上皮が前記環状の周辺部として表される画像部分と、前記粘膜上皮に囲まれる部位が前記粘膜上皮と前記色が異なる中心部として表される画像部分とをもつ注目要素を所定数抽出して、抽出した所定数の前記注目要素の前記中心部を前記解析対象領域として定めることを特徴とする請求項５に記載の画像解析装置。
8. 前記第１及び前記第２の画像は、それぞれ、前記内視鏡により所定の周波数帯域の照明光で前記被検体を照明した際の反射光を撮像した画像であることを特徴とする請求項１に記載の画像解析装置。
9. 前記分布特性算出部は、前記第１及び前記第２の画像を赤の成分、青成分、緑成分毎に前記第１及び前記第２の分布特性値を求めることを特徴とする請求項１に記載の画像解析装置。
10. 前記領域抽出部は、前記第１及び前記第２の画像全体の中の、所定の大きさの部分領域毎に算出した平均輝度が、色成分値を抽出するのに適した適正輝度範囲内にある適正輝度領域の中から、前記解析対象領域を１つ又は複数定めることを特徴とする請求項１に記載の画像解析装置。
11. 前記領域抽出部は、色成分値を抽出するのに適さない不適格領域を除外して前記解析対象領域を抽出することを特徴とする請求項１０に記載の画像解析装置。
12. 前記第１の分布特性値を＜１＞、前記第２の分布特性値を＜２＞、係数をそれぞれα、βとしたとき、
    変化量＝β×＜２＞−α×＜１＞ 但しβ≧α
    として変化量を算出することを特徴とする請求項１に記載の画像解析装置。
13. 前記第１の分布特性値を＜１＞、前記第２の分布特性値を＜２＞としたとき、
    変化率＝（＜２＞−＜１＞）／（＜１＞＋＜２＞）
    として変化率を算出することを特徴とする請求項１に記載の画像解析装置。
14. 被検体内に挿入され、前記被検体内の画像を撮像して取得する内視鏡と、
    請求項１に記載の画像解析装置と、
    を具備したことを特徴とする画像解析システム。
15. 内視鏡を継続的に被検体内に挿入した状態において第１のタイミングで取得された前記被検体の第１の画像と、前記第１のタイミングより後の第２のタイミングで取得された前記被検体の第２の画像とが画像入力部に入力され、
    領域抽出部が、前記画像入力部から入力された、前記被検体に所定の作用を行う前及び後のタイミングで取得した前記第１の画像及び前記第２の画像に対し、それぞれ所定の領域を解析対象領域として定め、
    分布特性算出部が、前記第１の画像における解析対象領域の色成分を抽出して第１の分布特性値を求めるとともに、前記第２の画像における解析対象領域の色成分を抽出して第２の分布特性値を求め、
    画像解析部が、前記第１の分布特性値に対する前記第２の分布特性値の変化の度合いを算出することを特徴とする画像解析装置の作動方法。

Images