JP6578058B2 - 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム - Google Patents

Description

本発明は、例えば生体の管腔内を撮像することにより取得された管腔内画像群から診断に適した管腔内画像を抽出する画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラムに関する。

内視鏡診断支援装置では、病変の診断において組織学的に重要な注目領域を適切に診断するため、管腔内画像の画質を色ズレや、ブレ、非合焦によるボケ等を用いて評価し、最も画質の良い管腔内画像を抽出する技術が知られている。例えば、特許文献１では、まず、画質評価値として、画像全体から得られるボケの度合い、並びに彩度の平均及び分散を示す特徴量と、画像の注目領域から得られる輝度分布や、エッジの複雑さを示す特徴量から総合スコアを算出する。続いて、最も良い画質評価値を持つ内視鏡画像を抽出している。

特開２０１０−２８７９４８号公報

しかしながら、特許文献１は、画質評価値の算出方法において、画像全体の画質の評価値に注目領域内の画質の評価値を加えて算出するものであり、注目領域内の組織学的に重要な部位に対する“視点”や、“写り”といった情報は考慮されない。そのため、診断の目的に対して適切な管腔内画像を抽出できない場合があった。例えば、管腔内画像の診断では、組織学的に重要な部位として、癌の浸潤状態を評価する腫瘍構造の頭頂部や立ち上がり部、辺縁隆起部等の表面性状に着目している。

本発明は、上記に鑑みてなされたものであって、管腔内画像群から診断に適した管腔内画像を抽出する画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラムの提供を目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、管腔内画像群から診断に適した管腔内画像を抽出する画像処理装置であって、前記管腔内画像から抽出された病変の頭頂部や立ち上がり部、辺縁隆起部等の腫瘍構造の情報を生成する病変情報生成部と、前記病変情報をもとに、予め設定された条件を満たす管腔内画像を抽出する診断対象画像抽出部と、を備えることを特徴とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置の作動方法は、管腔内画像群から診断に適した管腔内画像を抽出する画像処理装置の作動方法であって、病変情報生成部が、前記管腔内画像から抽出された病変の頭頂部や立ち上がり部、辺縁隆起部等の腫瘍構造の情報を生成する病変情報生成ステップと、診断対象画像抽出部が、前記病変情報をもとに、予め設定された条件を満たす管腔内画像を抽出する診断対象画像抽出ステップと、を含むことを特徴とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置の作動プログラムは、管腔内画像群から診断に適した管腔内画像を抽出する画像処理装置の作動プログラムであって、前記管腔内画像から抽出された病変の頭頂部や立ち上がり部、辺縁隆起部等の腫瘍構造の情報を生成する病変情報生成手順と、前記病変情報をもとに、予め設定された条件を満たす管腔内画像を抽出する診断対象画像抽出手順と、をコンピュータに実行させることを特徴とする。

本発明によれば、管腔内画像群から診断に適した管腔内画像を抽出することができる。

図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。 図２は、本発明の実施の形態１に係る画像処理装置が行う画像処理を説明するフローチャートである。 図３は、病変情報生成部が実行する病変領域の解析処理を示すフローチャートである。 図４は、組織塊の特徴的な形状を説明する図である。 図５は、診断対象画像抽出部が実行する診断対象画像抽出処理を示すフローチャートである。 図６は、明瞭度特徴量と評価値との対応関係を示すシグモイド関数を説明する図である。 図７は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。 図８は、本発明の実施の形態２に係る画像処理装置が行う画像処理を説明するフローチャートである。 図９は、病変情報生成部が実行する病変領域の解析処理を示すフローチャートである。 図１０は、診断対象画像抽出部が実行する診断対象画像抽出処理を示すフローチャートである。 図１１は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。 図１２は、本発明の実施の形態３に係る画像処理装置が行う画像処理を説明するフローチャートである。 図１３は、明瞭度特徴量算出部が実行する明瞭度特徴量算出処理を示すフローチャートである。 図１４は、診断対象画像抽出部が実行する診断対象画像抽出処理を示すフローチャートである。

本実施形態では、内視鏡により撮像された管腔内画像群から診断に最適な管腔内画像を抽出する画像処理装置を示す。管腔内画像は、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分に対する画素レベル（画素値）を持つカラー画像である。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。実施の形態１に係る画像処理装置１は、管腔内画像群と、腫瘍性病変と疑われる病変領域と、をもとに診断に最適な管腔内画像を抽出する。

画像処理装置１は、該画像処理装置１全体の動作を制御する制御部１０と、撮像装置が管腔内を撮像して生成した管腔内画像群を取得する画像取得部２０と、外部からの操作に応じた信号を制御部１０に入力する入力部３０と、各種情報や画像の表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００とを備える。

制御部１０は、ＣＰＵ（Central Processing Unit）等のハードウェアによって実現され、記録部５０に記録された各種プログラムを読み込むことにより、画像取得部２０から入力される管腔内画像群や入力部３０から入力される信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。

画像取得部２０は、医用の撮像装置を含むシステムの態様に応じて適宜構成される。例えば、撮像装置を画像処理装置１に接続する場合、画像取得部２０は、撮像装置において生成された管腔内画像群を取り込むインタフェースによって構成される。また、撮像装置によって生成された管腔内画像群を保存しておくサーバを設置する場合、画像取得部２０は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って管腔内画像群を取得する。或いは、撮像装置によって生成された管腔内画像群を、可搬型の記録媒体を用いて受け渡ししてもよく、この場合、画像取得部２０は、可搬型の記録媒体を着脱自在に装着し、記録された画像の管腔内画像群を読み出すリーダ装置によって構成される。

入力部３０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、これらの入力デバイスに対する外部からの操作に応じて発生させた入力信号を制御部１０に出力する。

表示部４０は、ＬＣＤ（Liquid Crystal Display）やＥＬ（ElectroLuminescence）ディスプレイ等の表示装置によって実現され、制御部１０の制御のもと、管腔内画像群を含む各種画面を表示する。

記録部５０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録装置及びその読取装置等によって実現される。記録部５０は、画像取得部２０によって取得された管腔内画像群の他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記録部５０は、管腔内画像群から病変領域情報を取得し、病変領域情報をもとに診断に最適な管腔内画像を抽出する画像処理プログラム５１や、該画像処理において用いられる閾値等を格納する。

演算部１００は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム５１を読み込むことにより、管腔内画像群から診断対象の管腔内画像を抽出する画像処理を実行する。

演算部１００は、病変情報生成部１１０と、明瞭度特徴量算出部１２０と、診断対象画像抽出部１３０とを備える。

病変情報生成部１１０は、管腔内画像内の病変領域を検出する病変領域検出部１１１と、病変領域の構造を解析する構造解析部１１２とを備える。また、構造解析部１１２は、病変領域の部分構造を示す指標として、病変領域に対する視点を推定するための視点情報を生成する視点推定部１１２ａを備える。

診断対象画像抽出部１３０は、抽出指標の評価値である抽出指標評価値を算出し、算出した抽出指標評価値と、予め設定されている閾値とを用いて判定を行うことで、複数の管腔内画像から診断対象となる管腔内画像（以下、診断対象画像ともいう）を抽出する。診断対象画像抽出部１３０は、視点情報と明瞭度特徴量とをもとに、抽出指標評価値を算出する抽出指標評価値算出部１３１を備える。また、抽出指標評価値算出部１３１は、特定の視点が優位な値となる評価値を抽出指標評価値として算出する視点評価値算出部１３１ａと、明瞭度特徴量から、明瞭度が高いほど優位な値となる評価値を抽出指標評価値として算出する明瞭度評価値算出部１３１ｂとを備える。

次に、画像処理装置１の動作を説明する。図２は、本発明の実施の形態１に係る画像処理装置が行う画像処理を説明するフローチャートである。まず、ステップＳ１において、画像処理装置１は、画像取得部２０を介して管腔内画像を取得する。本実施の形態１においては、内視鏡によりＲ、Ｇ、Ｂの各波長成分を含む照明光（白色光）を管腔内に照射して撮像を行うことにより生成され、各画素位置においてこれらの波長成分に対応する画素値（Ｒ値、Ｇ値、Ｂ値）を有する管腔内画像が取得される。なお、照明光は上記白色光に限定されず、Ｇ、Ｂの各狭帯域の波長成分を含む特殊光でもよく、さらにはＲ，Ｇ，Ｂのす少なくとも１つの狭帯域光を含む照射光でもよい。例えば、Ｇ、Ｂの狭帯域化された各波長成分を含む特殊光を管腔内に照射して撮像を行うことにより生成され、各画素位置においてこれらの波長成分に対応する画素値（Ｇ値、Ｂ値）を有する管腔内画像が取得されるものであってもよい。

続くステップＳ２において、演算部１００は管腔内画像を取り込み、該管腔内画像に基づいて病変領域を解析する。図３は、病変情報生成部１１０が実行する病変領域の解析処理を示すフローチャートである。

ステップＳ２１において、病変領域検出部１１１は、管腔内画像内の病変領域を検出する。病変領域検出部１１１は、形状的な特徴量（以下、形状特徴量ともいう）を用いて病変領域を検出する。

ここで、病変領域とは、ポリープ及び腫瘍の領域をさす。ポリープは、一般的に、径が２ｃｍ程度までの隆起した組織塊である。腫瘍は、一般的に、直径が数ｃｍ以上の隆起した組織塊である。図４は、組織塊の特徴的な形状を説明する図である。組織塊の形状的な特徴としては、隆起型（Ｉ型）と表面型（II型）とがある。また、隆起型（Ｉ型）には、茎のある有茎性（Ｉp）、立ち上がりにくびれのある亜有茎性（Ｉsp）、及び、立ち上がりにくびれの無い無茎性（Ｉs）がある。また、表面型（II型）には、表面が隆起している表面隆起型（IIa）、表面が周囲と同じ高さの表面平坦型（IIb）、及び、表面が陥没している表面陥凹型（IIc）がある。本実施の形態１における病変領域検出部１１１は、形状特徴量を用いて組織塊を含む領域を病変領域として検出することとする。形状特徴量以外の特徴量を用いない理由としては、形状特徴量以外の特徴量、例えばテクスチャ特徴量では、不明瞭な管腔内画像に対して、病変領域の検出に失敗し易いためである。なお、形状特徴量を用いた病変検出処理の具体例として、特開２００７−２４４５１８号公報に記載されているように、管腔内画像内のエッジを検出し、大腸による管状構造の中におけるエッジの弧の向きの正当性、曲率、複雑さ等の特徴量を解析して病変領域を検出する。この他、形状特徴量を利用するＤＰＭ（（Deformable Parts Model）、参考文献：「A Discriminatively Trained, Multiscale, Deformable Part Model」、Pedro Felzenszwalb、University of Chicago）や、特徴量の設計を行わずに領域を検出可能なDeep Learning（参考文献：「Learning deep architectures for AI」、Y.Bengio）による機械学習等を用いてもよい。

続くステップＳ２２において、視点推定部１１２ａが、病変領域の部分構造を示す指標として、病変領域に対する視点を推定するための視点情報を生成する。視点情報とは、病変の頭頂部付近の表層性状が広く写る上方視点、病変の立ち上がり部分の表層性状が広く写る側方視点、及び、病変の頭頂部付近の隆起状態を確認しやすい斜め上方視点のうちの少なくとも一つを判定するための視点判定値により構成される情報であり、管腔内画像の組織塊に関する病変情報である。この視点情報により、診断の目的に合った管腔内画像の選択が可能となる。

ここで、視点推定部１１２ａによる視点推定方法の例を以下に示す。なお、以下の方法は一例であり、記載した方法に限定するものではない。
方法１：
１−ａ：病変領域に対する外接矩形領域の縦横比（＝短軸長／長軸長）を算出する。
１−ｂ：円形構造を上方からみた場合に外接矩形領域が正方形に近くなるものとみなし、上述した縦横比の値を上方視点判定値とする。この上方視点判定値は０．０以上１．０以下であり、上方視点判定値が１に近いほど上方視点であると判定することができる。
方法２：
２−ａ：病変領域の輪郭エッジ強度を抽出する。
２−ｂ：まず、輪郭エッジ強度に対し、予め設定されている閾値に基づいて輪郭エッジ強度の高い区間と低い区間を判定する。続いて、輪郭エッジ強度の高い区間と、輪郭エッジ強度の低い区間とがそれぞれ、所定画素数以上連続している区間を判定する。続いて、この連続的な区間について、（１−［低い輪郭エッジ強度の区間の長さ］）／［高い輪郭エッジ強度の区間の長さ］を算出する。この算出された値は、側方視点判定値となる。
方法３：
３−ａ：病変領域の輪郭から外側へ予め設定されている距離だけ離れた領域を周辺領域として設定する。
３−ｂ：周辺領域内の輝度値の分散値を算出する。この分散値に対し、分散値が０である場合を１、分散値の最大値を０として正規化し、この正規化後の値を、側方視点を判定するための側方視点判定値とする。
方法４：
４−ａ：病変領域の輪郭から外側へ予め設定されている距離だけ離れた領域を周辺領域として設定する。
４−ｂ：周辺領域内の輝度の勾配ベクトル方向の方向分散値を算出し、この方向分散値に対し、方向分散値が０である場合を０、方向分散値の最大値を１として正規化する。この正規化後の値が、斜め上方視点を判定するための斜め上方視点判定値となる。勾配ベクトル方向が一定の場合は、斜め上方視点と判断することができる。このため、斜め上方視点判定値が０に近いほど、斜め上方視点であると判定することができる。
方法５：
５−ａ：上述した方法１〜４を含む複数の方法で各々視点判定値を算出し、全ての判定値を加重和して視点情報を生成する。

視点推定部１１２ａは、上述したような、上方視点、側方視点及び斜め上方視点を判定する判定値のうち、少なくとも一つの判定値を算出し、算出した判定値を視点情報とする。なお、判定値には、設定されている特定の視点を判定する判定値を含んでいる。その後、演算部１００の動作はメインルーチンに戻る。

ステップＳ２に続くステップＳ３において、明瞭度特徴量算出部１２０は、管腔内画像において設定される複数の領域の各々に対して、被写体の明瞭度を明瞭度特徴量として算出する。明瞭度特徴量算出部１２０は、色ズレ量、ボケ度合い、ノイズ量、輝度飽和面積率、コントラスト情報、周波数情報、及びエッジ情報のいずれか一つ以上の組み合わせ、又はこれらの各々の値を有する明瞭度特徴量を算出する。本実施の形態１に係る明瞭度特徴量は、数値が小さいほど画像の明瞭度が大きくなる。以下、明瞭度特徴量の取得方法の一例を示すが、算出方法はこれらに限定されない。

色ズレ量は、例えば、管腔内画像の彩度平均値を算出することにより求められる。ノイズ量は、メルリアンフィルタを通過する前の元画像と通過後の画像との差分について標準偏差を求め、この標準偏差に応じて設定される値から外れた外れ画素の数を算出することにより求められる。

また、輝度飽和面積率は、赤色成分が所定値以上の領域を注目領域の面積で割った除算値とする。また、ボケ度合いは、特定周波数成分、例えば血管が取りうる周波数成分の範囲の平均値を算出することにより求められる。

ステップＳ３に続くステップＳ４において、診断対象画像抽出部１３０は、抽出指標評価値と、予め設定されている閾値とを用いて判定を行うことで、複数の管腔内画像から診断対象画像を抽出する。図５は、診断対象画像抽出部１３０が実行する診断対象画像抽出処理を示すフローチャートである。

ステップＳ４１において、視点評価値算出部１３１ａは、ステップＳ２で得られた判定値について、特定の視点が優位な値となる評価値を算出し、この評価値を抽出指標評価値とする。ここで、特定の視点とは、例えば、ユーザにより入力部３０を介して設定される、上方視点、側方視点及び斜め上方視点のうちの病変に対して注視が必要な少なくとも一つの視点のことをいう。

視点評価値算出部１３１ａは、特定の視点に対応する判定値が高い管腔内画像を抽出し、この管腔内画像の判定値を、特定の視点が優位な値となる評価値とする。ここで、上方視点、側方視点、斜め上方視点を判定するための各判定値は、各々０．０以上１．０以下の範囲であり、１に近いほどその視点らしいと判定可能である。また、特定の視点とは、少なくとも上方視点、側方視点、斜め上方視点のいずれかのうち、診断の目的に合った視点である一つの視点、又は二つ以上の視点の組み合わせとする。視点評価値算出部１３１ａが算出する評価値は、複数の判定値を有する場合、一つ以上の診断目的に合った視点判定値のうち最大となる値を適用する。なお、特定の視点が複数設定されている場合、各視点の評価値を合算して一つの評価値を算出してもよいし、各評価値を視点評価値としてそれぞれ算出してもよい。

ステップＳ４２において、明瞭度評価値算出部１３１ｂは、ステップＳ３で得られた評価値について、明瞭度が高いほど優位な値となる評価値を算出し、この評価値を抽出指標評価値とする。明瞭度評価値算出部１３１ｂは、シグモイド関数を用いて評価値を算出する。

明瞭度特徴量の値は、明瞭度特徴量算出部１２０の算出方法により取りうる値が異なる。そのため、明瞭度評価値算出部１３１ｂが算出する評価値は、入力される明瞭度特徴量に対応して準備したシグモイド関数による非線形変換を行い、０．０以上１．０以下の値を取得する。図６は、明瞭度特徴量と評価値との対応関係を示すシグモイド関数を説明する図である。シグモイド関数は下式（１）に基づいて生成される、図６に示すようなグラフであり、互いに異なる明瞭度特徴量（例えば、図６に示す特徴量１，２，３）に応じて評価値曲線が生成される。評価値（Ｖ(x)）は、明瞭度特徴量（ｘ）を入力することによって算出される。図６に示す明瞭度特徴量は、数値が小さいほど画像の明瞭度が大きくなる。なお、明瞭度評価値算出部１３１ｂは、明瞭度特徴量が複数算出されている場合、各明瞭度特徴量に応じた評価値を算出する。

ステップＳ４３において、診断対象画像抽出部１３０は、ステップＳ４１，Ｓ４２で算出された評価値と、予め設定されている閾値とを用いて判定を行うことで診断対象画像を抽出する。診断対象画像抽出部１３０は、視点に関する評価値、及び明瞭度に関する評価値の各々が、各評価値に対してそれぞれ設定されている閾値を超えている管腔内画像を、診断対象画像として抽出する。

診断対象画像抽出部１３０は、例えば、視点に関する評価値と、明瞭度に関する評価値とからなる複数の評価値を有する場合、複数の評価値を、評価値ごとに設定された閾値を用いて段階的に判定することで診断対象画像を抽出する。また、複数の評価値により形成される多次元評価値空間の所定の点から近い評価値を抽出し、この特定の範囲に含まれる評価値を有する複数の管腔内画像に対し、所定の点からの距離に基づき順位を付け、上位所定数を抽出するようにしてもよいし、複数の評価値をもとにした多次元空間で構成される場合、任意の範囲の分布を判定することで診断対象画像を抽出するようにしてもよい。

その後、演算部１００は、ステップＳ４における抽出結果を出力する。これに応じて、制御部１０は、特定の視点について抽出された管腔内画像を表示部４０に表示させる。併せて、ステップＳ４における抽出結果を記録部５０に記録してもよい。その後、画像処理装置１の動作は終了する。

以上説明したように、本発明の実施の形態１によれば、管腔内画像内の病変に対する視点を示す視点情報と、管腔内画像から算出される明瞭度特徴量とに基づいて診断対象画像を抽出するようにしたので、診断に使用するうえで適切な診断対象画像を抽出することができる。これにより、後段の処理や、観察の目的に合う管腔内画像を抽出することができる。

（実施の形態２）
図７は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。以下、実施の形態１に係る画像処理装置１が有する構成要素と同じ構成要素については、同じ符号を付して説明する。同図に示す画像処理装置１Ａは、該画像処理装置１Ａ全体の動作を制御する制御部１０と、撮像装置が管腔内を撮像して生成した画像データを取得する画像取得部２０と、外部からの操作に応じた信号を制御部１０に入力する入力部３０と、各種情報や画像の表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００Ａとを備える。

演算部１００Ａは、病変情報生成部１１０Ａと、明瞭度特徴量算出部１２０と、診断対象画像抽出部１３０Ａとを備える。

病変情報生成部１１０Ａは、管腔内画像内の病変領域を検出する病変領域検出部１１１と、病変領域の構造を解析する構造解析部１１２Ａと、病変領域の構造をもとに、特定の部分構造の領域を設定する部分構造設定部１１３とを備える。また、構造解析部１１２Ａは、病変領域に対する視点を推定するための視点情報を生成する視点推定部１１２ａと、病変領域の視点情報、及び輝度の勾配情報とをもとに、病変領域を隆起、平坦、陥凹、及び辺縁隆起の少なくとも一つにより構成される分類項目へ分類する構造タイプ分類部１１２ｂとを備える。また、部分構造設定部１１３は、部分構造の領域内の値が大きい値となる重要度を設定する重要度設定部１１３ａを備える。

診断対象画像抽出部１３０Ａは、病変情報生成部１１０Ａが生成した情報と明瞭度特徴量とをもとに、抽出のための抽出指標評価値を算出する抽出指標評価値算出部１３１Ａを備える。

また、抽出指標評価値算出部１３１Ａは、明瞭度特徴量から、明瞭度が高いほど優位な値となる評価値を算出する明瞭度評価値算出部１３１ｂと、部分構造及び重要度から、特定の部分構造が優位な値となる評価値を算出する重要度評価値算出部１３１ｃとを備える。

次に、画像処理装置１Ａの動作を説明する。図８は、本発明の実施の形態２に係る画像処理装置が行う画像処理を説明するフローチャートである。まず、ステップＳ１において、画像処理装置１Ａは、上述した実施の形態１と同様にして、画像取得部２０を介して管腔内画像を取得する。

続くステップＳ２Ａにおいて、演算部１００Ａは管腔内画像を取り込み、該管腔内画像に基づいて病変領域を解析する。図９は、病変情報生成部１１０Ａが実行する病変領域の解析処理を示すフローチャートである。

ステップＳ２１において、病変領域検出部１１１は、管腔内画像内の病変領域を検出する。病変領域検出部１１１は、上述したように、形状的な特徴量を用いて病変領域を検出する。

続くステップＳ２２において、視点推定部１１２ａが、病変領域に対する視点を推定するための視点情報を生成する。視点推定部１１２ａは、上述したような、上方視点、側方視点及び斜め上方視点を判定する判定値のうち、特定の視点を含む少なくとも一つの判定値を算出し、算出した判定値を視点情報とする。

続くステップＳ２４において、構造タイプ分類部１１２ｂが、病変領域の視点情報、及び輝度の勾配情報をもとに、病変領域を隆起、平坦、陥凹、及び辺縁隆起からなる群のいずれか一つにより構成される分類項目へ分類する。

ここで、構造タイプ分類部１１２ｂは、構造タイプを分類する処理の一例として、視点情報をもとに得た視点ごとに、病変領域内部の勾配ベクトル方向を特徴量としたＣｏＨＯＧ(参考文献：「Co-occurrence Histograms of Oriented Gradients for Human Detection」、株式会社東芝、2010年)による形状の記述能力の高い特徴量を、パターン認識を行うＳＶＭ（Support Vector Machine）等の識別器で分類するといった、形状特徴量と機械学習による識別器とを組み合わせた構成による処理を適用する。なお、形状の記述能力の高い特徴量であれば、ＣｏＨＯＧ特徴量に限定するものではない。また、機械学習も同様に、ＳＶＭに限定するものではない。

続くステップＳ２５において、部分構造設定部１１３が、病変領域において、特定の部分構造の領域を設定する。部分構造設定部１１３は、構造タイプ分類部１１２ｂによる分類結果をもとに、特定の部分構造の領域を設定する。特定の部分構造とは、例えば、隆起頂部に相当する部分構造、面中央に相当する部分構造、陥凹中心に相当する部分構造、立ち上がり部に相当する部分構造、及び、辺縁隆起部に相当する部分構造のうちのいずれかである。隆起頂部は、全分類に適用され、病変の頭頂部に相当する。立ち上がり部は、隆起に対して適用される。辺縁隆起部は、辺縁隆起に対して適用される。各視点に対する病変のモデル形状と、モデル形状に対する隆起頂部、立ち上がり部、辺縁隆起部の領域情報を予め有しており、構造タイプ分類部１１２ｂは、視点情報と、病変領域の輝度の勾配情報とをもとに、視点に合ったモデル形状の位置合わせを行い、位置合わせを行ったモデル形状が持つ領域情報と重なる領域を部分構造の領域として設定する。なお、部分構造に関する評価値を算出するための付与値として、部分領域には１を付与し、部分領域外は０を付与する。特定の部分構造は、例えば、ユーザにより入力部３０を介して設定される。

続くステップＳ２６において、重要度設定部１１３ａが、特定の部分構造の領域内の値が大きくなる重要度を設定する。重要度設定部１１３ａは、部分構造の領域について、部分構造の領域内の重要度を１に設定し、部分構造の領域外の重要度を０、又は、距離情報に応じて線形、若しくは、非線形で与えられる０．０以上１．０以下の値に設定する。重要度設定部１１３ａは、部分構造の領域外の重要度を０．０以上１．０以下の値に設定する場合、部分構造の領域外について、部分構造の領域に近いほど１．０に近い値となるように重要度を設定する。重要度設定部１１３ａは、設定されている特定の部分構造にのみ重要度を設定するようにしてもよいし、すべての部分構造に対して重要度を設定するようにしてもよい。その後、演算部１００Ａの動作はメインルーチンに戻る。

ステップＳ２Ａに続くステップＳ３において、明瞭度特徴量算出部１２０は、上述した実施の形態１と同様にして、管腔内画像において設定される複数の領域の各々に対して、被写体の明瞭度を明瞭度特徴量として算出する。

ステップＳ３に続くステップＳ４Ａにおいて、診断対象画像抽出部１３０Ａは、抽出指標評価値を算出し、この算出した抽出指標評価値と、予め設定されている閾値とを用いて判定を行うことで診断対象画像を抽出する。図１０は、診断対象画像抽出部１３０Ａが実行する診断対象画像抽出処理を示すフローチャートである。

ステップＳ４４において、重要度評価値算出部１３１ｃが、部分構造と重要度とに基づいて、特定の部分構造が優位な値となる評価値を算出し、この評価値を抽出指標評価値とする。重要度評価値算出部１３１ｃは、病変領域における部分構造に対して付与される付与値と、重要度とを加算して評価値を算出し、特定の部分構造として設定されている部分構造を含む病変領域を有する管腔内画像に対し、特定の部分構造が優位な値となる評価値を付与する。このため、本実施の形態２では、設定されている特定の部分構造を有する管腔内画像にのみ、評価値が付与されるものとして説明する。重要度評価値算出部１３１ｃにより算出される評価値は、部分構造の重要度に関する抽出指標評価値であり、病変領域に占める特定の部分構造の領域が大きいほど、値が大きくなる。なお、設定されている特定の部分構造を有しない管腔内画像の評価値を０としてもよい。また、特定の部分構造が複数設定されている場合、部分構造ごとに重要度を付した評価値を算出する。

ここで、部分構造が複数設定されている場合は、部分構造ごとに算出された評価値を加算して算出する。この場合、取り得る評価値の最大値を１に正規化して、正規化後の値を評価値としてもよい。

ステップＳ４４に続くステップＳ４２において、明瞭度評価値算出部１３１ｂが、上述した実施の形態１と同様にして、ステップＳ３で得られた評価値について、明瞭度が高いほど優位な値となる評価値を算出し、この評価値を抽出指標評価値とする。

ステップＳ４２に続くステップＳ４５において、診断対象画像抽出部１３０Ａは、ステップＳ４４，Ｓ４２で取得された抽出指標評価値と、予め設定されている閾値とを用いて判定を行うことで診断対象画像を抽出する。診断対象画像抽出部１３０Ａは、部分構造に関する評価値、及び明瞭度に関する評価値の各々が、各評価値に対してそれぞれ設定されている閾値を超えている管腔内画像を、診断対象画像として抽出する。

その後、演算部１００Ａは、ステップＳ４Ａにおける抽出結果を出力する。これに応じて、制御部１０は、異常領域と判定された領域を表示部４０に表示させる。併せて、ステップＳ４Ａにおける抽出結果を記録部５０に記録してもよい。その後、画像処理装置１Ａの動作は終了する。

以上説明したように、本発明の実施の形態２によれば、管腔内画像内の病変に対する視点を示す視点情報と輝度の勾配情報とに基づき構造タイプを分類し、この構造タイプに応じて設定した部分領域に基づき算出される評価値と、明瞭度特徴量から算出される明瞭度の評価値とに基づいて、診断対象画像を抽出するようにしたので、診断に使用するうえで適切な診断対象画像を抽出することができる。これにより、後段の処理や、観察の目的に合う管腔内画像を抽出することができる。

なお、本実施の形態２では、重要度設定部１１３ａが、部分構造に関して重要度を設定するものとして説明したが、重要度の設定を行わないようにしてもよい。この場合、部分構造設定部１１３は、重要度設定部１１３ａを有しない構成となり、重要度評価値算出部１３１ｃは、部分構造に関して、重要度を付与していない評価値を算出することになる。

（実施の形態３）
図１１は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。以下、実施の形態１，２に係る画像処理装置１，１Ａが有する構成部位と同様の構成部位については、同じ符号を付して説明する。同図に示す画像処理装置１Ｂは、該画像処理装置１Ｂ全体の動作を制御する制御部１０と、撮像装置が管腔内を撮像して生成した画像データを取得する画像取得部２０と、外部からの操作に応じた信号を制御部１０に入力する入力部３０と、各種情報や画像の表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００Ｂとを備える。

演算部１００Ｂは、病変情報生成部１１０Ａと、明瞭度特徴量算出部１２０Ａと、診断対象画像抽出部１３０Ｂとを備える。

明瞭度特徴量算出部１２０Ａは、非粘膜領域や輝度飽和領域等の不要領域の座標情報を抽出する不要領域抽出部１２１を備える。

診断対象画像抽出部１３０Ｂは、抽出指標評価値と、予め設定されている閾値とを用いて判定を行うことで診断対象画像を抽出する。診断対象画像抽出部１３０Ｂは、部分領域と明瞭度特徴量とをもとに、抽出のための抽出指標評価値を算出する抽出指標評価値算出部１３１Ｂを備えている。

抽出指標評価値算出部１３１Ｂは、特定の視点が優位な値となる評価値を算出する視点評価値算出部１３１ａと、明瞭度特徴量から、明瞭度が高いほど優位な値となる評価値を算出する明瞭度評価値算出部１３１ｂと、重要度から、特定の部分構造が優位な値となる評価値を算出する重要度評価値算出部１３１ｃと、不要領域に応じて評価値を算出する不要領域対応評価値算出部１３１ｄと、を備える。

次に、画像処理装置１Ｂの動作を説明する。図１２は、本発明の実施の形態３に係る画像処理装置が行う画像処理を説明するフローチャートである。まず、ステップＳ１において、画像処理装置１Ｂは、上述した実施の形態１と同様にして、画像取得部２０を介して管腔内画像を取得する。

続くステップＳ２Ａにおいて、演算部１００Ｂは管腔内画像を取り込み、該管腔内画像に基づいて病変領域を解析する。ステップＳ２Ａは、上述した図９に示すフローチャートにしたがって処理が実行される。

ステップＳ２Ａに続くステップＳ３Ａにおいて、明瞭度特徴量算出部１２０Ａは、管腔内画像において設定される複数の領域の各々に対して、被写体の明瞭度を明瞭度特徴量として算出する。図１３は、明瞭度特徴量算出部１２０Ａが実行する明瞭度特徴量算出処理を示すフローチャートである。

ステップＳ３１において、明瞭度特徴量算出部１２０Ａは、管腔内画像において設定される複数の領域の各々に対して、被写体の明瞭度を明瞭度特徴量として算出する。

ステップＳ３２において、不要領域抽出部１２１は、非粘膜領域や輝度飽和領域等の不要領域の座標情報を抽出する。不要領域としては、粘膜色と相対的に色情報の異なる残渣、血液領域、また、高周波成分を示す泡領域、低彩度、高輝度情報を示す鏡面反射領域、高輝度情報を示す輝度飽和領域等が挙げられる。これらの領域は、色情報の差異を利用して、色特徴量空間上において、粘膜領域の色分布に対する相対的な位置関係に基づいて検出される。具体的には、管腔内画像内の各画素に対してＧ／Ｒ値を算出し、Ｇ／Ｒ値が粘膜領域を判別するための判別閾値以下である領域、即ち、赤みを帯びた領域を検出対象領域とする。また、泡領域は、凸方向の高周波成分を泡領域とする。不要領域抽出部１２１は、例えば、特開２００７−３１３１１９号公報に開示されているように、泡の輪郭部及び泡の内部に存在する照明反射による弧形状の凸エッジといった泡画像の特徴に基づいて設定される泡モデルと管腔内画像から抽出されたエッジとのマッチングを行うことにより泡領域を検出する。また、鏡面反射領域や輝度飽和領域は、赤色成分が所定の閾値以上、もしくは、輝度値が所定値以上で彩度が所定値以下の領域を予め決定された閾値と比較することで検出される。なお、不要領域抽出部１２１が生成する座標情報は、例えば、不要領域と判定された領域を２５５、不要領域と判定されなかった領域を０として、いずれかの値と画素に付された座標と対応付けたマスク画像を構成している。不要領域の座標情報を抽出後、演算部１００Ｂの動作はメインルーチンに戻る。

ステップＳ３Ａに続くステップＳ４Ｂにおいて、診断対象画像抽出部１３０Ｂは、抽出指標評価値と、予め設定されている閾値とを用いて判定を行うことで診断対象画像を抽出する。図１４は、診断対象画像抽出部１３０Ｂが実行する診断対象画像抽出処理を示すフローチャートである。

ステップＳ４１において、視点評価値算出部１３１ａは、ステップＳ２Ａで得られた評価値について、特定の視点が優位な値となる評価値を算出し、この評価値を抽出指標評価値とする。

ステップＳ４１に続くステップＳ４４において、重要度評価値算出部１３１ｃは、重要度から、特定の部分構造が優位な値となる評価値を算出し、この評価値を抽出指標評価値とする。

ステップＳ４４に続くステップＳ４２において、明瞭度評価値算出部１３１ｂは、上述した実施の形態１と同様にして、ステップＳ３Ａで得られた評価値について、明瞭度が高いほど優位な値となる評価値を算出し、この評価値を抽出指標評価値とする。

ステップＳ４２に続くステップＳ４６において、不要領域対応評価値算出部１３１ｄは、明瞭度評価値算出部１３１ｂが算出した評価値に対し、不要領域に応じて評価値を減算し、算出された評価値を抽出指標評価値とする。具体的に、不要領域対応評価値算出部１３１ｄは、不要領域の位置が、重要度が高い領域に近いほど評価値に対する減算値が高い値となる減算値を用いて、不要領域の配置に応じて、明瞭度特徴量算出部１２０Ａが算出した評価値の減算処理を行う。不要領域対応評価値算出部１３１ｄは、例えば、重要度が高い領域に近いほど０．２に近づき、重要度が高い領域に遠くなるほど０．０に近づく減算値を用いて、評価値の減算処理を行う。不要領域対応評価値算出部１３１ｄは、減算後の評価値を抽出指標評価値とする。

ステップＳ４６に続くステップＳ４７において、診断対象画像抽出部１３０Ｂは、ステップＳ４１，Ｓ４４，Ｓ４２，Ｓ４６で取得された抽出指標評価値と、予め設定されている閾値とを用いて判定を行うことで診断対象画像を抽出する。診断対象画像抽出部１３０Ｂは、視点情報に関する評価値、明瞭度に関する評価値、部分構造に関する評価値、及び不要領域に関する評価値の各々が閾値を超えている管腔内画像を診断対象画像として抽出する。なお、不要領域対応評価値算出部１３１ｄが算出した評価値は、検出された病変単位で評価値を有している。診断対象画像抽出部１３０Ｂは、不要領域対応評価値算出部１３１ｄが算出した評価値と、病変検出で検出された病変領域の面積に応じて予め設定されている閾値とを比較することにより判定を行う。

その後、演算部１００は、ステップＳ４Ｂにおける抽出結果を出力する。これに応じて、制御部１０は、異常領域と判定された領域を表示部４０に表示させる。併せて、ステップＳ４Ｂにおける抽出結果を記録部５０に記録してもよい。その後、画像処理装置１Ｂの動作は終了する。

以上説明したように、本発明の実施の形態３によれば、管腔内画像内の病変に対する視点を示す視点情報に基づき構造タイプを分類し、この構造タイプの部分構造に応じて設定した部分領域に基づき算出される評価値と、視点情報に関する評価値と、明瞭度特徴量から算出される明瞭度の評価値と、管腔内画像内の不要領域に関する評価値とに基づいて、診断対象画像を抽出するようにしたので、診断対象として適切な診断対象画像を抽出することができる。これにより、後段の処理や、観察の目的に合う管腔内画像を抽出することができる。

なお、本実施の形態３では、重要度設定部１１３ａが、部分構造に関して重要度を設定するものとして説明したが、実施の形態２と同様に、重要度の設定を行わないようにしてもよい。この場合、部分構造設定部１１３は、重要度設定部１１３ａを有しない構成となり、重要度評価値算出部１３１ｃは、部分構造に関して、重要度を付与していない評価値を算出することになる。

また、本実施の形態３では、不要領域対応評価値算出部１３１ｄは、明瞭度特徴量算出部１２０Ａが算出した評価値に対して、評価値の再演算を行うものとして説明したが、視点情報に関する評価値や、部分構造に関する評価値に適用してもよい。また、不要領域に応じて評価値が再演算された抽出指標評価値については、管腔内画像の抽出処理に用いないようにしてもよい。

（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１〜３によってのみ限定されるべきものではない。例えば、明瞭度特徴量に代えて、円形度を特徴量として算出して、該円形度及び視点情報から抽出評価値を算出してもよい。このように、本発明はここでは記載していない様々な実施の形態等を含み得るものである。

以上のように、本発明にかかる画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラムは、管腔内画像群から診断に適した管腔内画像を抽出するのに有用である。

１，１Ａ，１Ｂ 画像処理装置
１０ 制御部
２０ 画像取得部
３０ 入力部
４０ 表示部
５０ 記録部
５１ 画像処理プログラム
１００，１００Ａ，１００Ｂ 演算部
１１０，１１０Ａ 病変情報生成部
１１１ 病変領域検出部
１１２ 構造解析部
１１２ａ 視点推定部
１１２ｂ 構造タイプ分類部
１１３ 部分構造設定部
１１３ａ 重要度設定部
１２０，１２０Ａ 明瞭度特徴量算出部
１２１ 不要領域抽出部
１３０，１３０Ａ，１３０Ｂ 診断対象画像抽出部
１３１ 抽出指標評価値算出部
１３１ａ 視点評価値算出部
１３１ｂ 明瞭度評価値算出部
１３１ｃ 重要度評価値算出部
１３１ｄ 不要領域対応評価値算出部

Claims (25)

1. 管腔内画像群から診断に適した管腔内画像を抽出する画像処理装置であって、
   前記管腔内画像から抽出された病変に対する視点を推定して三次元的な構造を解析することによって頭頂部、立ち上がり部及び辺縁隆起部のいずれかを示す病変情報を生成する病変情報生成部と、
   前記病変情報をもとに、予め設定された条件を満たす管腔内画像を抽出する診断対象画像抽出部と、
   を備えることを特徴とする画像処理装置。
2. 前記病変情報生成部は、
   前記管腔内画像から検出した病変領域の輪郭エッジ強度の推移情報、前記病変領域の輝度情報、および前記病変領域の周囲の勾配情報のうちの少なくとも一つを用いて視点情報を生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記病変情報生成部は、
   前記病変領域に対し、特定の部分構造の領域を設定する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記病変情報生成部は、
   前記病変領域の視点情報及び輝度情報をもとに、前記病変領域を、隆起、平坦、陥凹、及び辺縁隆起からなる部分構造群から選択される分類項目に分類する
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記特定の部分構造は、隆起頂部、面中央、陥凹中心、隆起立ち上がり部、及び辺縁隆起部からなる群から選択される少なくとも一つである
   ことを特徴とする請求項３に記載の画像処理装置。
6. 前記病変情報生成部は、
   前記特定の部分構造の領域内の値が、前記領域外の値と比して大きい値をとる重要度を設定する
   ことを特徴とする請求項３に記載の画像処理装置。
7. 前記管腔内画像の明瞭度を示す明瞭度特徴量を算出する明瞭度特徴量算出部、
   をさらに備えることを特徴とする請求項１に記載の画像処理装置。
8. 前記明瞭度特徴量は、色ズレ量、ボケ度合い、ノイズ量、輝度飽和面積率、コントラスト情報、周波数情報、及びエッジ情報からなる群から選択される少なくとも一つである
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記明瞭度特徴量算出部は、
   前記管腔内画像における不要領域の座標情報を抽出する不要領域抽出部、
   を備えることを特徴とする請求項７に記載の画像処理装置。
10. 前記診断対象画像抽出部は、
    前記病変情報と前記明瞭度特徴量とをもとに、抽出のための評価値を算出する抽出指標評価値算出部、
    を備えることを特徴とする請求項７に記載の画像処理装置。
11. 前記抽出指標評価値算出部は、
    特定の視点が優位な値となる評価値を算出する視点評価値算出部、
    を備えることを特徴とする請求項１０に記載の画像処理装置。
12. 前記視点評価値算出部は、上方視点、側方視点及び斜め上方視点のうちの少なくとも一つの視点を評価可能な評価値を算出する
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 前記視点評価値算出部は、上方視点、側方視点及び斜め上方視点をそれぞれ評価する複数の評価値のうちの少なくとも一つの評価値を算出する
    ことを特徴とする請求項１１に記載の画像処理装置。
14. 前記病変情報生成部は、前記管腔内画像から検出した病変領域に対して部分構造を設定し、
    前記抽出指標評価値算出部は、
    前記部分構造に対する距離に応じて設定される重要度に基づいて、特定の部分構造が優位な値となる評価値を算出する重要度評価値算出部、
    を備えることを特徴とする請求項１０に記載の画像処理装置。
15. 前記特定の部分構造は、隆起頂部、面中央、陥凹中心、隆起立ち上がり部、及び辺縁隆起部からなる群から選択される少なくとも一つにより構成されており、
    前記重要度評価値算出部は、前記特定の部分構造を構成する構造に応じて前記評価値を算出する
    ことを特徴とする請求項１４に記載の画像処理装置。
16. 前記特定の部分構造は、隆起頂部、面中央、陥凹中心、隆起立ち上がり部、及び辺縁隆起部からなる群から選択される複数により構成されており、
    前記重要度評価値算出部は、前記特定の部分構造を構成する各構造について前記評価値をそれぞれ算出する
    ことを特徴とする請求項１４に記載の画像処理装置。
17. 前記抽出指標評価値算出部は、
    明瞭度特徴量をもとに高い明瞭度が優位な値となる評価値を算出する明瞭度評価値算出部、
    を備えることを特徴とする請求項１０に記載の画像処理装置。
18. 前記明瞭度特徴量は、色ズレ量、ボケ度合い、ノイズ量、輝度飽和面積率、コントラスト情報、周波数情報、及びエッジ情報からなる特徴量群から選択される少なくとも一つの特徴量により構成されており、
    前記明瞭度評価値算出部は、
    前記明瞭度特徴量を構成する前記特徴量に応じた明瞭度の評価値を算出する
    ことを特徴とする請求項１７に記載の画像処理装置。
19. 前記明瞭度特徴量は、色ズレ量、ボケ度合い、ノイズ量、輝度飽和面積率、コントラスト情報、周波数情報、及びエッジ情報からなる特徴量群から選択される複数の特徴量により構成されており、
    前記明瞭度評価値算出部は、
    前記明瞭度特徴量を構成する複数の前記特徴量について前記明瞭度の評価値をそれぞれ算出する
    ことを特徴とする請求項１７に記載の画像処理装置。
20. 前記抽出指標評価値算出部は、
    前記管腔内画像内の不要領域に応じた評価値を算出する不要領域対応評価値算出部、
    を備えることを特徴とする請求項１０に記載の画像処理装置。
21. 前記診断対象画像抽出部は、
    互いに異なる複数の評価値を、前記評価値に応じてそれぞれ設定された閾値を用いて段階的に判定することで前記管腔内画像を抽出する
    ことを特徴とする請求項１に記載の画像処理装置。
22. 前記診断対象画像抽出部は、
    多次元評価値空間で構成される評価値の、予め設定されている範囲における分布に基づいて前記管腔内画像を抽出する
    ことを特徴とする請求項１に記載の画像処理装置。
23. 前記診断対象画像抽出部は、
    予め設定されている範囲の評価値を有する複数の前記管腔内画像に対して順位付けを行い、上位側から順に予め設定されている数の前記管腔内画像を抽出する
    ことを特徴とする請求項１に記載の画像処理装置。
24. 管腔内画像群から診断に適した管腔内画像を抽出する画像処理装置の作動方法であって、
    病変情報生成部が、前記管腔内画像から抽出された病変に対する視点を推定して三次元的な構造を解析することによって頭頂部、立ち上がり部及び辺縁隆起部のいずれかを示す病変情報を生成する病変情報生成ステップと、
    診断対象画像抽出部が、前記病変情報をもとに、予め設定された条件を満たす管腔内画像を抽出する診断対象画像抽出ステップと、
    を含むことを特徴とする画像処理装置の作動方法。
25. 管腔内画像群から診断に適した管腔内画像を抽出する画像処理装置の作動プログラムであって、
    前記管腔内画像から抽出された病変に対する視点を推定して三次元的な構造を解析することによって頭頂部、立ち上がり部及び辺縁隆起部のいずれかを示す病変情報を生成する病変情報生成手順と、
    前記病変情報をもとに、予め設定された条件を満たす管腔内画像を抽出する診断対象画像抽出手順と、
    をコンピュータに実行させることを特徴とする画像処理装置の作動プログラム。

Images