JP6058241B1 - 画像解析装置、画像解析システム、画像解析装置の作動方法 - Google Patents

Abstract

画像入力部（１１）と、画像入力部（１１）から入力された第１の画像と第１の画像よりも後で取得された第２の画像とに対して解析対象領域を定める領域抽出部（１２）と、第２の画像における解析対象領域のうち、第１の画像における解析対象領域に対する明るさが低下した部分の明るさの低下の度合いを算出する画像解析部（１４）と、を含む画像解析装置。

Description

本発明は、経時的に取得された被検体の画像から被検体の変化を解析する画像解析装置、画像解析システム、画像解析装置の作動方法に関する。

経時的に取得された被検体の画像から被検体の変化を解析する技術は、従来より種々のものが提案されている。

例えば、日本国特開２０１０−５０５６号公報には、撮像素子により被観察体の通常像を撮像し、撮像素子から出力された画像信号に分光画像処理を施して所定波長の分光推定画像信号を生成する画像取得装置において、撮像素子から出力された画像信号に基づいて、分光画像生成部において被観察体に投与される薬剤に関する特定波長の分光推定画像信号を輝度情報取得用分光推定画像信号として生成し、輝度情報取得部において所定の時間間隔を空けて生成された輝度情報取得用分光推定画像信号の輝度情報をそれぞれ取得し、その輝度情報の変化率を取得し、表示装置においてその輝度情報の変化率に基づいて画像を表示する技術が記載されている。

また、日本国特表２００７−５０２１８５号公報には、歯の組織のデジタル画像を撮像し、デジタル画像内の複数の画素のそれぞれについて、画素の色の第１の成分値および画素の色の第２の成分値を決定し、第１の成分値および第２の成分値に基づき画素の第１の関数値（例えば、Ｒ／Ｇ）を計算する画像解析方法が記載されている。

ところで、例えば腸管等の生体組織に負荷を与える前後で血流量が増加する場合における画像の明るさ変化を解析するとき、画像は明るい状態から暗い状態に変化することが知られている。

ただし、画像中の解析対象領域内には、解析を行う血管だけではなくその他の組織も含まれる。血流量の増加により暗くなる方向に変化するのは主に血管の部分であり、血管が含まれない部分は明るくなる方向にも変動し得る。

画像が明るくなる方向の変動は、上述のような解析に際してはノイズとなるため、解析の精度を高めるには、このようなノイズを排除した解析をできるようにする必要があった。

本発明は上記事情に鑑みてなされたものであり、生体組織等の被検体の明るさが変化する状態を精度良く解析できる画像解析装置、画像解析システム、画像解析装置の作動方法を提供することを目的としている。

本発明のある態様による画像解析装置は、経時的に取得された被検体の画像が入力される画像入力部と、前記画像入力部から入力された、第１のタイミングで取得された第１の画像と、前記第１のタイミングより後の第２のタイミングで取得された第２の画像とに対して、解析対象領域を定める領域抽出部と、前記第２の画像における前記解析対象領域のうち、前記第１の画像における前記解析対象領域に対する明るさが低下した部分の明るさの低下の度合いを算出する画像解析部と、を含む。

本発明のある態様による画像解析システムは、被検体内に挿入され、前記被検体の画像を撮像して取得する内視鏡と、前記画像解析装置と、を備え、前記画像入力部には、前記内視鏡によって取得された前記画像が入力される。

本発明のある態様による画像解析装置の作動方法は、画像入力部に、経時的に取得された被検体の画像が入力され、領域抽出部が、前記画像入力部から入力された、第１のタイミングで取得された第１の画像と、前記第１のタイミングより後の第２のタイミングで取得された第２の画像とに対して、解析対象領域を定め、画像解析部が、前記第２の画像における前記解析対象領域のうち、前記第１の画像における前記解析対象領域に対する明るさが低下した部分の明るさの低下の度合いを算出する方法である。

本発明の実施形態１における画像解析システムの構成を示すブロック図。 上記実施形態１の画像解析システムを用いた処理を示すフローチャート。 上記実施形態１の画像解析装置による画像解析処理を示すフローチャート。 上記実施形態１において、時系列順にソートした被検体の画像の表示例を示す図。 上記実施形態１において、被検体の画像の明るさ分布を示す図および注目要素の１つを拡大して示す図。 上記実施形態１において、被検体の画像に設定された解析対象領域の例を示す図。 上記実施形態１において、内視鏡の明るさのシミュレーション結果の一例を示す図。 上記実施形態１において、内視鏡の明るさのシミュレーション結果から求められた、色成分値を抽出するのに適した領域の一例を示す図。 上記実施形態１において、時系列順にソートした被検体の画像と共に画像の変化量を表示する例を示す図。 本発明の実施形態２において、色成分によって信号値が異なると、変化割合が同じであっても変化量が異なることを説明するための線図。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図９は本発明の実施形態１を示したものであり、図１は画像解析システムの構成を示すブロック図である。

画像解析システムは、内視鏡２０と、画像解析装置１０と、を備えている。

内視鏡２０は、被検体内に挿入され、被検体の画像を撮像して取得するものであり、本実施形態においては、例えば、狭帯域光観察（ＮＢＩ：Narrow Band Imaging）が可能となっている。ここに、ノイズ成分を少なくしてＮＢＩ拡大観察を行うために、内視鏡２０の先端には、例えば先端フードや先端アタッチメントが装着される。そして、本実施形態においては、被検体に負荷を与えて負荷の前後における被検体の変化を観察するために、内視鏡２０により、被検体の画像が経時的に取得される。また、被検体に負荷を与える前後における被検体の変化をより正確に捉えるためには、内視鏡２０の明るさの設定が同じ状態であることが望ましい。そこで、被検体に負荷を与える前後で光源の調光は行わず、光源からの出射光量を一定にして被検体の画像を取得するとよい。

画像解析装置１０は、画像入力部１１と、領域抽出部１２と、色成分抽出部１３と、画像解析部１４と、を含んでいる。

画像入力部１１は、内視鏡２０によって経時的に取得された被検体の画像が入力される。

領域抽出部１２は、画像入力部１１から入力された、第１のタイミングで取得された第１の画像と、第１のタイミングより後の第２のタイミングで取得された第２の画像とに対して、１つまたは複数である所定数の部分である要素（本実施形態における要素は、後述するように、例えば腸管の絨毛の画像部分の中心部）を解析対象領域として定める。従って、解析対象領域は、１つまたは所定数の要素を含んだ１つの領域として定められる。

色成分抽出部１３は、定められた解析対象領域を構成する要素それぞれの色成分値を抽出する。

画像解析部１４は、解析対象領域から抽出された色成分値の内の、第１の画像より第２の画像の方が低い色成分値のみに基づいて変化の度合いを算出する。

次に、図２は画像解析システムを用いた処理を示すフローチャートである。

例えば腸管（さらに例えば、小腸）の絨毛などの正常な生体組織である被検体に負荷を与えると、血流量が増加し、結果としてこの生体組織を捉えた画像の明るさは暗く変化することが知られている。この特性を利用して、生体組織に刺激を与える前後の画像の明るさ変化を解析することにより、生体組織が正常であるか、異常（病変）であるかを鑑別する（ただし、被検体はこれに限定されるものではなく、他の幾つかの例としては、舌部、食道、胃粘膜、大腸等が挙げられる）。

この処理を開始すると、被検体へ負荷を与える前の画像（負荷前画像、第１の画像）を、第１のタイミングで、内視鏡２０により撮像して取得する（ステップＳ１）。

また、内視鏡２０により被検体の画像を取得するのと同時に、画像取得時の出射光量の情報を例えば画像解析装置１０、あるいは内視鏡２０に記録してもよい。

その後、被検体へ負荷を付与する（ステップＳ２）。ここでは、例えば、負荷として、ブドウ糖を散布するものとする（ただし、これに限定されるものではなく、静脈注射を行ってもよいし、その他の負荷を与えても構わない）。ブドウ糖を散布すると毛細血管を流れる血液量が増加して、血液中のヘモグロビンによって光がより多く吸収される。従って、絨毛内において毛細血管が集まっている部分が暗く観察されることになる。

続いて、上述した第１のタイミングより後の第２のタイミングで、負荷を付与した後の画像（負荷後画像、第２の画像）を内視鏡２０により撮像して取得する（ステップＳ３）。被検体に負荷を付与した後の画像を内視鏡２０により取得する際に、ステップＳ１で出射光量の情報を記録した場合は、出射光量の情報を参照して、ステップＳ１と同じ条件で画像を取得する。なお、ステップＳ１で記録した出射光量の情報を後に消去する機能を有していてもよく、出射光量の情報の取得、出射光量の情報を用いた画像の取得、および出射光量の情報の消去は、例えば内視鏡２０の操作部、この画像解析システムを制御するための制御パネルに設けたスイッチ、または内視鏡２０を操作するためのフットスイッチ等の操作により実現するようにしてもよい。

そして、さらに次の画像を取得するか否かを判定し（ステップＳ４）、取得すると判定した場合には、ステップＳ３へ戻って次の負荷後画像を取得する。

また、ステップＳ４において、画像の取得が終了したと判定された場合には、画像解析装置１０による画像解析を行い（ステップＳ５）、画像解析が完了したら、この処理を終了する。

図３は、画像解析装置１０による画像解析処理を示すフローチャートである。

この処理を開始すると、画像入力部１１が、内視鏡２０から経時的に取得された被検体の画像を入力して、時系列順にソートする（ステップＳ１０）。

図４は、時系列順にソートした被検体の画像の表示例を示す図である。

この図４に示す表示例においては、モニタ等の表示装置に、画像配列表示３１と、画像取得時間表示３２と、画像配列順序表示３３と、が行われている。

まず、画像配列表示３１は、取得された被検体の画像Ｐ０〜Ｐ８が、取得された時間の順序に配列して表示されている。

また、画像取得時間表示３２は、画像Ｐ１〜Ｐ８が、負荷の付与（ブドウ糖の散布）後のどの時間時点で取得されたかを、例えば、時間軸に沿って取得時間と共に配置して示している。なお、画像Ｐ０はブドウ糖散布前（例えば、ブドウ糖を散布する直前）に取得された画像であるが、この図４に示す例では、便宜上、ブドウ糖散布の位置に表示している（ただし、時間軸をブドウ糖散布よりも前の時点まで延ばして、画像Ｐ０の取得時点を正確に示すようにしても勿論構わない）。

さらに、画像配列順序表示３３は、画像配列表示３１に表示されている各画像が、画像取得時間表示３２に表示されている画像Ｐ０〜Ｐ８の内の、どの時点で取得された画像であるかを対応付けて表示している。

次に、画像解析装置１０は、後でステップＳ１２〜Ｓ１９を参照して説明する処理を未だ行っていない画像が存在するか否かを判定する（ステップＳ１１）。

ここで未処理の画像が存在すると判定された場合には、領域抽出部１２が、画像入力部１１から処理対象となる画像データを入力する（ステップＳ１２）。

そして、明るさの成分値（例えば色成分値）を抽出するのに適さないハレーション等の不適格要素（不適格部分）の領域（不適格領域）ＩＲ（図５、図６等参照）を処理対象から除外する（ステップＳ１３）。ここに、不適格領域ＩＲの例としては、ハレーションが生じている領域以外にも、例えば気泡が生じている領域、ピントがぼけている領域、などが挙げられる。

さらに、画像中における、所定の大きさの部分領域毎に算出した平均輝度が、所定値以上の領域を適正輝度領域として選択する（ステップＳ１４）。例えば、図５（あるいは図６）に示すような画像Ｐｉ（ここにｉは、図４に示す例においては、０〜８の何れか（つまり、ＰｉはＰ０〜Ｐ８の何れか））においては、右上半分の領域の平均輝度が所定値よりも低い。ここに、図５は被検体の画像の明るさ分布を示す図および注目要素（注目部分）の１つを拡大して示す図である。

なお、上述では、画像入力部１１から入力される画像を取得する撮像装置の性能を示す画像として、内視鏡２０等で取得した被検体の画像を用いて解析対象領域を定めたが、この方法に限定されるものではなく、撮像装置の性能を示すその他の画像（例えば、試験用プレートやホワイトバランスキャップ等の色が一様でフラットな対象物を撮影した画像、あるいは内視鏡２０の設計値から求められる明るさのシミュレーション結果ＳＩ（図７参照）などの、性能を示す指標となる画像）に基づき、所定の大きさの部分領域毎に算出した平均輝度から色成分値を抽出するのに適した領域ＡＲ（図８参照）を解析対象領域に設定する方法を採用してもよい。さらに、上記色成分値を抽出するのに適した領域ＡＲの中から、所定の大きさの部分領域毎に算出した平均輝度に基づいて、解析対象領域を定める方法を採用しても構わない。ここに、図７は内視鏡２０の明るさのシミュレーション結果ＳＩの一例を示す図、図８は内視鏡２０の明るさのシミュレーション結果ＳＩから求められた色成分値を抽出するのに適した領域ＡＲの一例を示す図である。

図５、図６に示す例の説明に戻って、領域抽出部１２は、平均輝度が所定値以上となる、画像Ｐｉの左下半分の領域を適正輝度領域として選択する。このような選択を行うことにより、色成分値を抽出するのに適している明るい領域を選択し、色成分値を抽出するのに適していない暗い領域を除外している。

なお、ここでは、色成分値を抽出するのに適した適正輝度範囲を、平均輝度が所定値以上の範囲としたが、平均輝度が飽和画素値に近いような明るすぎる領域も除外するようにしても構わない。この場合には、色成分値を抽出するのに適した適正輝度範囲を、平均輝度が、所定の下限閾値以上で、かつ所定の上限閾値以下の範囲とすればよい。

画像上の輝度の階調を例えば０〜２５５の２５６段階とすると、内視鏡画像の枠部分に該当する例えば１０を下限閾値、ハレーションに該当する例えば２３０を上限閾値として適正輝度範囲を設定することで、解析対象物のみの色成分を抽出することができ、解析精度が向上すると考えられる。

続いて、選択した領域において、複数の注目要素（注目部分）（本実施形態においては、腸管の絨毛の画像部分）ＯＢＪの中心部ＯＢＪｃ（この中心部ＯＢＪｃも要素である）を選択する（ステップＳ１５）。

まず、注目要素ＯＢＪである腸管の絨毛の画像部分は、画像を見たユーザが手動で複数選択してもよいし、あるいは画像解析等を行って自動処理により複数の注目要素ＯＢＪを抽出し選択するようにしても構わない。ここに、注目要素ＯＢＪである腸管の絨毛の画像部分は、環状（円環状に限らず、任意の形の閉曲線状を取り得る）の周辺部ＯＢＪｐと、この周辺部ＯＢＪｐに囲まれ周辺部ＯＢＪｐと色が異なる中心部ＯＢＪｃとをもつ要素である。周辺部ＯＢＪｐは、腸管の絨毛の表面に形成される粘膜上皮が環状の周辺部として表される画像部分である。また、中心部ＯＢＪｃは、粘膜上皮に囲まれる部位が粘膜上皮と色が異なる中心部として表される画像部分である。

そこで、複数の注目要素ＯＢＪが選択されたら、選択された注目要素ＯＢＪにおける中心部ＯＢＪｃを、色の違いに基づき、それぞれさらに選択する（この選択も、手動と自動との何れによっても行うことが可能である）。

さらに、選択した複数の中心部ＯＢＪｃの中から、明るさが中央値に近い所定数（図６に示す例では５つ）の中心部ＯＢＪｃをさらに選択して、選択した所定数の中心部ＯＢＪｃを解析対象領域ＯＲに設定する（ステップＳ１６）。ここに、図６は被検体の画像Ｐｉに設定された解析対象領域ＯＲの例を示す図である。

ここで、中央値に近い明るさの中心部ＯＢＪｃを選択したのは、サンプルとして最も適切な明るさのものを解析対象とするためである。なお、明るさとしては、複数の色成分に基づいて例えば後述する数式４に示すような演算を行うことにより得られる輝度値を用いてもよいし、あるいは、複数の色成分を単純加算した値を明るさの指標として代用するようにしてもよいし、その他の方法により複数の色成分に基づき明るさを取得しても構わない。こうして、ここで設定された図６に示す解析対象領域ＯＲは、例えば５つの腸管の絨毛の画像部分の中心部ＯＢＪｃにより構成されている。

次に、色成分抽出部１３が、解析対象領域ＯＲを構成する各画素の色成分値、例えば、Ｒ成分値、Ｇ成分値、およびＢ成分値を抽出し（ステップＳ１７）、さらに、解析対象領域ＯＲにおけるＲ成分値の平均値＜Ｒ＞、Ｇ成分値の平均値＜Ｇ＞、およびＢ成分値の平均値＜Ｂ＞を算出する（ステップＳ１８）。

そして、画像解析部１４が、負荷前画像に対する負荷後画像の変化の度合いとして、色成分平均値の低下変化量を算出する（ステップＳ１９）。

具体的に、負荷前画像における解析対象領域ＯＲのＲ（赤），Ｇ（緑），Ｂ（青）各成分値の平均値を＜Ｒ＞，＜Ｇ＞，＜Ｂ＞とし、負荷後画像における解析対象領域ＯＲのＲ，Ｇ，Ｂ各成分値の平均値を＜Ｒ’＞，＜Ｇ’＞，＜Ｂ’＞とする。さらに、ｘとｙとの内の、大きくない方（ｘ≠ｙのときには、小さい方）を出力する関数を、Ｍｉｎ（ｘ，ｙ）とする。

このとき、画像解析部１４は、例えば次の数式１に示すような絶対値化された変化量を算出する（ただし、絶対値化は必須でないために、絶対値化しなくても構わない）。

［数１］
変化量＝｜Ｍｉｎ（＜Ｒ’＞−＜Ｒ＞，０）
＋Ｍｉｎ（＜Ｇ’＞−＜Ｇ＞，０）
＋Ｍｉｎ（＜Ｂ’＞−＜Ｂ＞，０）｜
従って、ＲＧＢの任意の色成分について、負荷後画像の平均値から負荷前画像の平均値を減算した結果が負であるときには変化量に寄与するが、減算結果が正であるときには変化量に寄与しない（関数Ｍｉｎから０が出力されるため）。このような演算を行うことにより、色成分平均値の低下変化量が算出される。

こうして算出された変化量は、例えば図９に示すように、画像と共に表示される。図９は、時系列順にソートした被検体の画像と共に画像の変化量を表示する例を示す図である。

この図９に示す表示例においては、画像配列表示３１と共に、変化量表示３５が行われている。変化量表示３５は、負荷前画像に対する負荷後画像の変化量がどのように推移しているかを示すグラフとなっており、縦軸に変化量、横軸にブドウ糖散布後の経過時間が示されている。

このステップＳ１９を行ったら、上述したステップＳ１１に戻る。こうして、ステップＳ１１において全ての画像の処理を行ったと判定された場合には、この処理から図示しないメイン処理にリターンする。

解析対象領域内には血管だけではなくその他の組織も含まれる。血液量の増加により暗くなる方向に変化するのは血管の部分である。そのため、上述のような解析を行うとき、血管が含まれない部分は明るくなる方向にも変動し得る。

画像が明るくなる方向の変動は、上述のような解析に際してはノイズとなるため、解析の精度を高めるには、このようなノイズを排除した解析ができるようにする必要があった。

このような実施形態１によれば、第２の画像における解析対象領域のうち、第１の画像における解析対象領域に対する明るさが低下した部分の明るさの低下の度合いを算出する（例えば、解析対象領域から抽出された色成分値の内の、第１の画像より第２の画像の方が低い色成分値のみに基づいて変化の度合いを算出する）ようにしたために、生体組織等の被検体の画像の明るさが明るい方から暗い方へ変化する場合の画像解析結果として、精度の良い結果を得ることができる。

そして、環状の周辺部と周辺部に囲まれ周辺部と色が異なる中心部とをもつ要素（部分）を所定数抽出して、抽出した所定数の要素（部分）それぞれの中心部を解析対象領域として定めるようにしたために、例えば腸管の絨毛の画像部分を解析の対象とすることができる。

また、解析対象領域を定める際に、明るさの成分値（例えば色成分値）を抽出するのに適さない不適格要素（不適格部分）を除外するようにしたために、不適格要素（不適格部分）に左右されることのない、より正確な画像解析結果を得ることができる。

さらに、平均輝度が色成分値を抽出するのに適した適正輝度範囲内にある適正輝度領域の中から、解析対象領域を定めるようにしたために、被検体に変化が生じたとしてもその変化量が適切に画素値に反映されるとは限らない明るすぎる領域や暗すぎる領域が、解析対象領域となるのを防ぐことができる。

加えて、明るさが中央値に近い所定数の要素（部分）を解析対象領域として定めるようにしたために、変化量をより適切に捉えることができる。

そして、数式１に示したように変化量を算出しているために、加減算や比較、絶対値といった簡単な演算処理を行えばよく、処理の高速化を図ることが可能となる。

また、内視鏡２０によって取得された被検体の画像に対して、上述した効果を奏することができる。

さらに、例えば腸管の絨毛に対して、適切な画像解析を行うことができる。

なお、選択した領域において解析対象領域として定めるのは、複数の注目要素（注目部分）に限るものではなく、輝度を検出するのに適さないもの以外であれば１つの注目要素（注目部分）であっても構わない。

［実施形態２］
図１０は本発明の実施形態２を示したものであり、色成分によって信号値が異なると、変化割合が同じであっても変化量が異なることを説明するための線図である。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態１においては、数式１に示したように、算出する変化量に対して、負荷前画像よりも負荷後画像の方が平均値が減少した色成分が、減少した分だけ寄与していた。

しかし、このような処理を行うと、次のようなことが生じる。

例えば、図１０に示すように、負荷前画像におけるＲ成分平均値が１００、Ｇ成分平均値が１０であったものとする。そして、負荷後画像は、負荷前画像に対して信号値が半分に減少したものとする。

この場合には、Ｒ成分平均値およびＧ成分平均値の変化割合は何れも５０％で等しいにも関わらず、数式１に示す変化量に寄与するのは、Ｒ成分平均値が値５０であるのに対して、Ｇ成分平均値は値５となる。

このような、色成分平均値の大きさに応じて変化量への寄与分が相違するのを、コントロールすることができるようにするのが本実施形態である。

すなわち、本実施形態においては、色成分毎の重み係数α，β，γ（ここに、α＞０、β＞０、γ＞０）を用いて、次の数式２に示すように変化量を算出するようになっている。

［数２］
変化量＝｜α×Ｍｉｎ（＜Ｒ’＞−＜Ｒ＞，０）
＋β×Ｍｉｎ（＜Ｇ’＞−＜Ｇ＞，０）
＋γ×Ｍｉｎ（＜Ｂ’＞−＜Ｂ＞，０）｜
そして、この数式２における重み係数α，β，γを調整することにより、各色成分平均値が変化量に対してどれだけ寄与するかを制御することができるようになっている。

なお、この数式２において、α＝β＝γ＝１とおけば、上述した実施形態１と同様の変化量を得ることができる。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、変化量を数式２に基づいて算出するようにしたために、変化量を算出する際の、各色成分平均値の変化量への寄与分を所望に制御することが可能となる。

従って、例えば、Ｒ，Ｇ，Ｂ各成分の内の特定の色成分に着目して変化量を算出することも可能となる。また、被検体の色相、例えば、被検体が赤色成分の多い被検体である、等を考慮した変化量の算出も可能となる。

［実施形態３］
次に、本発明の実施形態３を説明する。

この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態１，２では変化量を算出した。ただし、この場合には、次に説明するように、算出した変化量同士を比較することが難しい場合がある。

まず、経時的に取得した一連の画像群（負荷前画像および負荷後画像）における各画像の撮像条件（露光時間や絞り値、被検体の照度など）が等しい場合には、画像群内における変化量の比較、例えば、負荷前の画像Ｐ０に対する負荷後の画像Ｐ１の第１の変化量と、負荷前の画像Ｐ０に対する負荷後の画像Ｐ２の第２の変化量と、を比較することが可能である。

しかし、異なる撮像条件で撮像された複数の画像群同士の場合には、一般に画像の明るさが異なるために、変化量同士をそのまま比較できないことがある。例えば、ある被検体に対して取得した画像群と、他の被検体に対して取得した画像群と、における変化量を比較しようとしても、一方の画像群の明るさが他方の画像群の明るさの２倍であれば、仮に病理学的な変化量が同一であっても、算出された変化量は一方が他方の２倍となってしまう。

そこで、本実施形態は、こうした場合における比較が可能となるように、変化量に代えて変化率を算出するようにしたものである。

すなわち、本実施形態においては、変化量を、負荷前画像の各色成分平均値の加算値の絶対値で割って、次の数式３に示すように変化率を算出するようになっている。

［数３］
変化率＝｜α×Ｍｉｎ（＜Ｒ’＞−＜Ｒ＞，０）
＋β×Ｍｉｎ（＜Ｇ’＞−＜Ｇ＞，０）
＋γ×Ｍｉｎ（＜Ｂ’＞−＜Ｂ＞，０）｜
／｜＜Ｒ＞＋＜Ｇ＞＋＜Ｂ＞｜
なお、この数式３は、重み係数α，β，γを用いた上述した実施形態２の変化量に対応する変化率であるが、α＝β＝γ＝１とおけば、上述した実施形態１の変化量に対応する変化率を得ることができる。

また、ここでは、変化量を各色成分平均値の加算値の絶対値｜＜Ｒ＞＋＜Ｇ＞＋＜Ｂ＞｜で割って変化率を算出しているが、各色成分平均値＜Ｒ＞，＜Ｇ＞，＜Ｂ＞から負荷前画像の輝度平均値＜Ｙ＞を例えば次の数式４に示すように算出して、
［数４］
＜Ｙ＞＝０．２９９×＜Ｒ＞＋０．５８７×＜Ｇ＞＋０．１１４×＜Ｂ＞
数式２に示した変化量を、数式４で算出した輝度平均値の絶対値｜＜Ｙ＞｜で割って、変化率を算出するようにしても構わない。なお、ここでは一般的な輝度算出用の係数（０．２９９，０．５８７，０．１１４）を用いたが、Ｒ，Ｇ，Ｂの各色成分の内の、着目したい色の要素がより適切に強調して表されるようにしたい場合は、Ｒ，Ｇ，Ｂの各色成分に乗算する係数の値を異なる値に変更してもよい。

さらに、内視鏡２０の光源からの出射光量の違いにより生じる画像への影響を軽減することができるように、光源からの出射光量を、例えば光源の絞りの開度から抽出して、その値をα，β，γの各係数値として設定してもよい。

このような実施形態３によれば、上述した実施形態１，２とほぼ同様の効果を奏するとともに、変化量に代えて変化率を算出するようにしたために、明るさが異なる画像群から算出された変化率同士を比較することが可能となる。

なお、上述した各部は、回路として構成されていてもよい。そして、任意の回路は、同一の機能を果たすことができれば、単一の回路として実装されていてもよいし、複数の回路を組み合わせたものとして実装されていても構わない。さらに、任意の回路は、目的とする機能を果たすための専用回路として構成されるに限るものではなく、汎用回路に処理プログラムを実行させることで目的とする機能を果たす構成であっても構わない。

また、上述では主として画像解析装置（または画像解析システム、以下同様）について説明したが、画像解析装置を上述したように作動させる作動方法であってもよいし、コンピュータに画像解析装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本出願は、２０１５年４月２７日に日本国に出願された特願２０１５−０９０６１９号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (15)

1. 経時的に取得された被検体の画像が入力される画像入力部と、
   前記画像入力部から入力された、第１のタイミングで取得された第１の画像と、前記第１のタイミングより後の第２のタイミングで取得された第２の画像とに対して、解析対象領域を定める領域抽出部と、
   前記第２の画像における前記解析対象領域のうち、前記第１の画像における前記解析対象領域に対する明るさが低下した部分の明るさの低下の度合いを算出する画像解析部と、
   を含む画像解析装置。
2. 前記第１のタイミングは前記被検体に負荷を与える前のタイミングであり、前記第２のタイミングは、前記第１のタイミングより後でかつ前記被検体に負荷を与えた後のタイミングであることを特徴とする請求項１に記載の画像解析装置。
3. 前記領域抽出部は、前記第１の画像と、前記第２の画像とに対して、それぞれ複数の部分を前記解析対象領域として定めることを特徴とする請求項１に記載の画像解析装置。
4. 前記領域抽出部は、前記画像の内の、環状の周辺部と該周辺部に囲まれ該周辺部と色が異なる中心部とをもつ部分を抽出して、抽出した前記部分それぞれの前記中心部を前記解析対象領域として定めることを特徴とする請求項１に記載の画像解析装置。
5. 前記領域抽出部は、明るさが中央値に近い所定数の前記部分を前記解析対象領域として定めることを特徴とする請求項３に記載の画像解析装置。
6. 前記領域抽出部は、明るさの成分値を抽出するのに適さない不適格部分を除外して前記解析対象領域を定めることを特徴とする請求項１に記載の画像解析装置。
7. 定められた前記解析対象領域の色成分値を抽出する色成分抽出部を有し、
   前記画像解析部は、前記解析対象領域から抽出された前記色成分値の内の、前記第１の画像より前記第２の画像の方が明るさの低い前記色成分値のみに基づいて明るさの変化の度合いを算出することを特徴とする請求項１に記載の画像解析装置。
8. 前記領域抽出部は、前記画像入力部から入力される画像を取得する撮像装置の性能を示す画像において、所定の大きさの部分領域毎に算出した平均輝度が、色成分値を抽出するのに適した適正輝度範囲内にある適正輝度領域の中から、前記解析対象領域を定めることを特徴とする請求項７に記載の画像解析装置。
9. 前記第１の画像の前記解析対象領域におけるＲ，Ｇ，Ｂ成分の各平均値を＜Ｒ＞，＜Ｇ＞，＜Ｂ＞、前記第２の画像の前記解析対象領域におけるＲ，Ｇ，Ｂ成分の各平均値を＜Ｒ’＞，＜Ｇ’＞，＜Ｂ’＞、Ｍｉｎ（ｘ，ｙ）をｘとｙとの内の大きくない方を得る関数とすると、前記画像解析部は、前記変化の度合いを、次の変化量
   変化量＝｜Ｍｉｎ（＜Ｒ’＞−＜Ｒ＞，０）
   ＋Ｍｉｎ（＜Ｇ’＞−＜Ｇ＞，０）
   ＋Ｍｉｎ（＜Ｂ’＞−＜Ｂ＞，０）｜
   として算出することを特徴とする請求項７に記載の画像解析装置。
10. 前記第１の画像の前記解析対象領域におけるＲ，Ｇ，Ｂ成分の各平均値を＜Ｒ＞，＜Ｇ＞，＜Ｂ＞、前記第２の画像の前記解析対象領域におけるＲ，Ｇ，Ｂ成分の各平均値を＜Ｒ’＞，＜Ｇ’＞，＜Ｂ’＞、Ｍｉｎ（ｘ，ｙ）をｘとｙとの内の大きくない方を得る関数、α，β，γ（ここに、α＞０、β＞０、γ＞０）を重み係数とすると、前記画像解析部は、前記変化の度合いを、次の変化量
    変化量＝｜α×Ｍｉｎ（＜Ｒ’＞−＜Ｒ＞，０）
    ＋β×Ｍｉｎ（＜Ｇ’＞−＜Ｇ＞，０）
    ＋γ×Ｍｉｎ（＜Ｂ’＞−＜Ｂ＞，０）｜
    として算出することを特徴とする請求項７に記載の画像解析装置。
11. 前記第１の画像の前記解析対象領域におけるＲ，Ｇ，Ｂ成分の各平均値を＜Ｒ＞，＜Ｇ＞，＜Ｂ＞、前記第２の画像の前記解析対象領域におけるＲ，Ｇ，Ｂ成分の各平均値を＜Ｒ’＞，＜Ｇ’＞，＜Ｂ’＞、Ｍｉｎ（ｘ，ｙ）をｘとｙとの内の大きくない方を得る関数、α，β，γ（ここに、α＞０、β＞０、γ＞０）を重み係数とすると、前記画像解析部は、前記変化の度合いを、次の変化率
    変化率＝｜α×Ｍｉｎ（＜Ｒ’＞−＜Ｒ＞，０）
    ＋β×Ｍｉｎ（＜Ｇ’＞−＜Ｇ＞，０）
    ＋γ×Ｍｉｎ（＜Ｂ’＞−＜Ｂ＞，０）｜
    ／｜＜Ｒ＞＋＜Ｇ＞＋＜Ｂ＞｜
    として算出することを特徴とする請求項７に記載の画像解析装置。
12. 前記画像入力部に入力される前記画像は、前記被検体内に挿入される内視鏡によって撮像し取得された画像であることを特徴とする請求項１に記載の画像解析装置。
13. 前記解析対象領域は腸管の絨毛の画像部分に含まれており、
    前記領域抽出部は、前記画像の内の、前記腸管の絨毛の表面に形成される粘膜上皮が環状の周辺部として表される画像部分と、前記粘膜上皮に囲まれる部位が前記粘膜上皮と色が異なる中心部として表される画像部分とをもつ注目部分を所定数抽出して、抽出した所定数の前記注目部分の前記中心部を前記解析対象領域として定めることを特徴とする請求項１２に記載の画像解析装置。
14. 被検体内に挿入され、前記被検体の画像を撮像して取得する内視鏡と、
    請求項１に記載の画像解析装置と、
    を備え、
    前記画像入力部には、前記内視鏡によって取得された前記画像が入力されることを特徴とする画像解析システム。
15. 画像入力部に、経時的に取得された被検体の画像が入力され、
    領域抽出部が、前記画像入力部から入力された、第１のタイミングで取得された第１の画像と、前記第１のタイミングより後の第２のタイミングで取得された第２の画像とに対して、解析対象領域を定め、
    画像解析部が、前記第２の画像における前記解析対象領域のうち、前記第１の画像における前記解析対象領域に対する明るさが低下した部分の明るさの低下の度合いを算出することを特徴とする画像解析装置の作動方法。

Images