JP5872980B2

JP5872980B2 - 画像処理装置

Info

Publication number: JP5872980B2
Application number: JP2012172238A
Authority: JP
Inventors: 悠介登本
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2012-08-02
Filing date: 2012-08-02
Publication date: 2016-03-01
Anticipated expiration: 2032-08-02
Also published as: JP2014030548A

Description

本発明は、画像処理装置に関し、特に、生体粘膜の診断等に用いられる画像処理装置に関する。

従来、被検体の体腔内に内視鏡を挿入することにより生体粘膜を撮像した医用画像から、例えば、血管の長さ等の特徴量を複数算出し、算出した複数の特徴量の平均値や分散と、データベース等に格納されている参照用特徴量とに基づき、病変の識別や他の画像との比較を行う画像処理装置が広く用いられている。

例えば、特開２００８−１４６５３９号公報には、入力された顔画像データの特徴量データと特徴量データ記憶部に記憶されている特徴量データとの特徴量間の類似度を複数算出し、これらの特徴量間の類似度の平均値や分散値を算出する顔認証装置が開示されている。

この顔認証装置は、複数の特徴量間の類似度が正規分布をなすと仮定して、複数の特徴量間の類似度から平均値や分散を算出し、顔画像データ登録部に登録されている顔画像データと入力される顔画像データとが同一人のものであるか否かを判定している。

特開２００８−１４６５３９号公報

ＹｏｓｓｉＲｕｂｎｅｒ，ＣａｒｌｏＴｏｍａｓｉ，ＬｅｏｎｉｄａｓＪ．Ｇｕｉｂａｓ，（１９９８）：「ＡＭｅｔｒｉｃｆｏｒＤｉｓｔｒｉｂｕｔｉｏｎｓｗｉｔｈＡｐｐｌｉｃａｔｉｏｎｓｔｏＩｍａｇｅＤａｔａｂａｓｅｓ」，ＰｒｏｃｅｅｄｉｎｇｓＩＣＣＶ１９９８：５９−６６．Ｋｕｌｌｂａｃｋ，Ｓ．，ａｎｄＬｅｉｂｌｅｒ，Ｒ．Ａ．，（１９５１）：「Ｏｎｉｎｆｏｒｍａｔｉｏｎａｎｄｓｕｆｆｉｃｉｅｎｃｙ」，ＡｎｎａｌｓｏｆＭａｔｈｅｍａｔｉｃａｌＳｔａｔｉｓｔｉｃｓ２２：７９−８６．

しかしながら、入力画像から算出した複数の特徴量の平均値や分散に基づいて、病変の識別や他の画像との比較を行う際に、特徴量の分布が正規分布に従っていない場合、平均値や分散は分布の正しい要約とならず、病変の識別や他の画像との比較結果の信頼性が低くなるという問題がある。

そこで、本発明は、特徴量の分布形状によらずに精度よく病変の識別や他の画像との比較を行うことができる画像処理装置を提供することを目的とする。

本発明の一態様の画像処理装置は、所定の生体粘膜状態にある複数の参照用画像における特徴量の分布から得られた第１の複数の参照用特徴量分布情報を保持する参照用特徴量分布情報群保持部と、生体粘膜を撮像して得られる入力画像を入力する画像入力部と、前記画像入力部に入力された前記入力画像の前記生体粘膜に関する少なくとも１つの特徴量の分布から得られた入力特徴量分布情報を導出する分布情報導出部と、前記参照用特徴量分布情報群保持部によって保持された前記第１の複数の参照用特徴量分布情報の各々と、前記分布情報導出部によって導出された前記入力特徴量分布情報との間で、類似性を表す尺度である複数の分布間距離を算出する分布間距離算出部と、前記分布間距離算出部により算出された前記複数の分布間距離から前記複数の分布間距離の代表値を算出する代表値算出部と、前記代表値に基づいて前記入力画像の生体粘膜の状態を判別する判別部と、を備える。

また、本発明の他の態様の画像処理装置は、所定の生体粘膜状態における複数の特徴量分布情報から算出される代表特徴量分布情報を保持する代表特徴量分布情報保持部と、生体粘膜を撮像して得られる入力画像の前記生体粘膜に関する少なくとも１つの特徴量の分布から得られた入力特徴量分布情報を導出する分布情報導出部と、前記代表特徴量分布情報保持部によって保持された前記代表特徴量分布情報と、前記分布情報導出部によって導出された前記入力特徴量分布情報との間で、分布間の類似性を表す尺度である分布間距離を算出する分布間距離算出部と、前記分布間距離算出部により算出された前記分布間距離に基づいて前記生体粘膜の生体粘膜の状態を判別する判別部と、を備える。

本発明の画像処理装置によれば、特徴量の分布形状によらずに精度よく病変の識別や他の画像との比較を行うことができる。

本発明の第１の実施の形態に係る画像処理装置を具備する医用システムの構成を示す図である。演算処理部が具備する主要な処理機能を示す図である。特徴量分布情報算出部での処理について説明するための図である。分布間距離算出部での処理について説明するための図である。第１の実施の形態の画像処理装置の処理の流れの例を示すフローチャートである。ステップＳ６の代表値算出処理の流れの例を説明するためのフローチャートである。変形例１の演算処理部が具備する主要な処理機能を示す図である。変形例１のステップＳ６の代表値算出処理の流れの例を説明するためのフローチャートである。変形例２の演算処理部が具備する主要な処理機能を示す図である。変形例２のステップＳ６の代表値算出処理の流れの例を説明するためのフローチャートである。変形例３の演算処理部が具備する主要な処理機能を示す図である。変形例３のステップＳ６の代表値算出処理の流れの例を説明するためのフローチャートである。変形例４の分布間距離算出部での処理について説明するための図である。変形例４の画像処理装置の処理の流れの例を示すフローチャートである。第２の実施の形態の演算処理部が具備する主要な処理機能を示す図である。第２の実施の形態の分布間距離算出部での処理について説明するための図である。第２の実施の形態の画像処理装置の処理の流れの例を示すフローチャートである。代表特徴量分布情報を導出する処理の例を説明するための図である。代表特徴量分布情報を導出する他の処理の例を説明するための図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。
（第１の実施の形態）

まず、図１に基づき、本発明の第１の形態に係る画像処理装置を具備する医用システムの構成について説明する。

図１は、本発明の第１の実施の形態に係る画像処理装置を具備する医用システムの構成を示す図である。

医用システム１は、図１に示すように、体腔内の生体粘膜表面等の被写体を撮像して映像信号を出力する医用観察装置２と、パーソナルコンピュータ等により構成され、医用観察装置２から出力される映像信号に対して画像処理を行うとともに、該画像処理を行った後の映像信号を画像信号として出力する画像処理装置３と、画像処理装置３から出力される画像信号に基づく画像を表示するモニタ４と、を有して構成されている。

また、医用観察装置２は、体腔内に挿入されるとともに、該体腔内の被写体を撮像して撮像信号として出力する内視鏡６と、内視鏡６により撮像される被写体を照明するための照明光（例えばＲＧＢ光）を供給する光源装置７と、内視鏡６に対する各種制御を行うとともに、内視鏡６から出力される撮像信号に対して信号処理を施すことにより映像信号を生成して出力するカメラコントロールユニット（以降、ＣＣＵと略記する）８と、ＣＣＵ８から出力される映像信号に基づき、内視鏡６により撮像された被写体の像を画像表示するモニタ９と、を有して構成されている。

医用撮像装置としての内視鏡６は、体腔内に挿入される挿入部１１と、挿入部１１の基端側に設けられた操作部１２と、を有して構成されている。また、挿入部１１の基端側から先端側の先端部１４にかけての内部には、光源装置７から供給される照明光を伝送するためのライトガイド１３が挿通されている。

ライトガイド１３は、先端側が内視鏡６の先端部１４に配置されるとともに、後端側が光源装置７に接続可能に構成されている。そして、このような構成によれば、光源装置７から供給される照明光は、ライトガイド１３により伝送された後、挿入部１１の先端部１４の先端面に設けられた照明窓（図示せず）から出射される。そして、前述の照明窓から出射される照明光により、被写体としての生体粘膜等が照明される。

内視鏡６の先端部１４には、前述の照明窓に隣接する位置に配置された観察窓（図示せず）に取り付けられた対物光学系１５と、対物光学系１５の結像位置に配置されたＣＣＤ等からなる撮像素子１６と、を有する撮像部１７が設けられている。

撮像素子１６は、信号線を介してＣＣＵ８に接続されている。そして、撮像素子１６は、ＣＣＵ８から出力される駆動信号に基づいて駆動するとともに、対物光学系１５により結像された被写体を撮像して得た撮像信号をＣＣＵ８へ出力する。

ＣＣＵ８に入力された撮像信号は、ＣＣＵ８の内部に設けられた信号処理回路（図示せず）において信号処理されることにより、映像信号に変換されて出力される。そして、ＣＣＵ８から出力された映像信号は、モニタ９及び画像処理装置３に入力される。これにより、モニタ９には、ＣＣＵ８から出力される映像信号に基づく被写体の画像が表示される。

画像処理装置３は、医用観察装置２から出力される映像信号にＡ／Ｄ変換等の処理を施して画像データを生成する画像入力部２１と、ＣＰＵ等を具備して構成され、画像入力部２１から出力される画像データ等に対して種々の処理を行う演算処理部２２と、演算処理部２２において実施される処理に関するプログラム（及びソフトウェア）等が格納されているプログラム記憶部２３と、画像入力部２１から出力される画像データ等を記憶可能な画像記憶部２４と、演算処理部２２の処理結果を格納可能な情報記憶部２５と、を有している。この画像入力部２１には、医用観察装置２において生体粘膜等を撮像して得られた医用画像が入力される。

また、画像処理装置３は、後述のデータバス３０に接続されている記憶装置Ｉ／Ｆ（インターフェース）２６と、記憶装置インターフェース２６を介して出力される演算処理部２２の処理結果を保存可能なハードディスク２７と、演算処理部２２の処理結果等をモニタ４に画像表示するための画像信号を生成して出力する表示処理部２８と、キーボード等の入力装置を具備して構成され、演算処理部２２の処理におけるパラメータ及び画像処理装置３に対する操作指示等を入力可能な入力操作部２９と、を有している。

なお、画像処理装置３の画像入力部２１、演算処理部２２、プログラム記憶部２３、画像記憶部２４、情報記憶部２５、記憶装置インターフェース２６、表示処理部２８、及び、入力操作部２９は、データバス３０を介して相互に接続されている。

図２は、演算処理部が具備する主要な処理機能を示す図であり、図３は、特徴量分布情報算出部での処理について説明するための図であり、図４は、分布間距離算出部での処理について説明するための図である。

演算処理部２２は、図２に示すように、特徴量分布情報算出部３１の処理機能と、分布間距離算出部３２の処理機能と、代表値算出部３３の処理機能と、判別部３４の処理機能と、を備えている。

特徴量分布情報算出部３１には、図３に示すように、内視鏡６の撮像素子１６で生体粘膜等を撮像して得られた医用画像４１が画像入力部２１から入力される。この医用画像４１からは、図示しない特徴領域抽出部により、例えば、血管あるいは生体粘膜表面の微細構造（粘膜表面微細構造）等の特徴領域が抽出される。

特徴量分布情報算出部３１は、例えば、医用画像４１から抽出された血管の長さや幅等の特徴量を算出し、算出した特徴量の分布情報（以下、特徴量分布情報という）を導出する。この特徴量分布情報は、ヒストグラム、あるいは、特徴量分布情報の所定の領域における特徴量を代表する代表特徴量ベクトルと、この代表特徴量ベクトルに対する重み係数によって表現されるシグネチャで表される。このように特徴量分布情報算出部３１で算出された特徴量分布情報は、分布間距離算出部３２に出力される。この特徴量分布情報算出部３１は、入力された医用画像４１から少なくとも１つの特徴量を算出する特徴量算出部と、特徴量算出部が算出した特徴量の分布情報を導出する分布情報導出部と、を構成する。

分布間距離算出部３２には、特徴量分布情報算出部３１によって算出された特徴量分布情報に加え、参照用特徴量分布情報群として所定の生体粘膜状態における特徴量分布情報の集合（図４では、３つの特徴量分布情報）である特徴量分布情報群が入力される。この所定の生体粘膜状態における特徴量分布情報の集合である特徴量分布情報群は、ハードディスク２７に記憶されている。例えば、所定の生体粘膜状態であるクラスＡには、図４に示すように、画像Ａ１〜Ａ３と、画像Ａ１〜Ａ３のそれぞれの特徴量と、特徴量分布情報（ヒストグラムまたはシグネチャ）とが対応付けられている。なお、ハードディスク２７には、特徴量分布情報のみを記憶していてもよいし、画像Ａ１〜Ａ３または特徴量だけを記憶して、演算処理部２２において、その画像Ａ１〜Ａ３または特徴量から特徴量分布情報を算出するようにしてもよい。

参照用特徴量分布情報群保持部としてのハードディスク２７は、記憶装置Ｉ／Ｆ２６及びデータバス３０を介して、記憶されている所定の生体粘膜状態における特徴量分布情報の集合である特徴量分布情報群を参照用特徴量分布情報群として保持し、演算処理部２２の分布間距離算出部３２に出力する。

分布間距離算出部３２は、ハードディスク２７から出力された特徴量分布情報群と、特徴量分布情報算出部３１によって算出された特徴量分布情報との分布の類似性を表す尺度である分布間距離（例えば、非特許文献１に記載のＥＭＤ：Earth Mover’s Distance）を複数算出する。なお、分布間距離は、ＥＭＤに限定されるものではなく、公知の手法である非特許文献２に記載のKullback-Leibler divergence等を用いてもよい。

代表値算出部３３は、分布間距離算出部３２によって算出された複数の分布間距離から、複数の分布間距離の代表値を算出する。本実施の形態では、代表値算出部３３は、複数の分布間距離の平均値を代表値として算出する。

判別部３４は、代表値算出部３３によって算出された代表値、即ち、複数の分布間距離の平均値を閾値判定することで、入力された医用画像４１がクラスＡに属するかを判別することで生体粘膜の生体粘膜状態を判別する。この判別結果は、例えば、表示処理部２８の表示処理によりモニタ４に表示される。

次に、このように構成された画像処理装置の動作について説明する。

図５は、第１の実施の形態の画像処理装置の処理の流れの例を示すフローチャートである。

まず、内視鏡６の撮像素子１６で撮像された医用画像４１が入力される（ステップＳ１）。次に、特徴量分布情報算出部３１により医用画像４１（入力画像）の特徴量が複数算出され（ステップＳ２）、算出された複数の特徴量から特徴量分布情報が算出される（ステップＳ３）。次に、記憶装置Ｉ／Ｆ２６によりハードディスク２７に格納された特徴量分布情報群が読み出される（ステップＳ４）。

次に、分布間距離算出部３２によって、特徴量分布情報算出部３１により算出された特徴量分布情報と読み出された特徴量分布情報群との分布間距離が複数算出される（ステップＳ５）。そして、代表値算出部３３によって、分布間距離算出部３２により算出された複数の分布間距離について代表値算出処理が行われる（ステップＳ６）。判別部３４によって、代表値算出処理により算出された代表値に基づき、医用画像４１がクラスＡに属するかが閾値判定され（ステップＳ７）、処理を終了する。

ここで、ステップＳ６の代表値算出処理を図６を用いて説明する。図６は、ステップＳ６の代表値算出処理の流れの例を説明するためのフローチャートである。

ステップＳ６の代表値算出処理では、算出された複数の分布間距離の平均値が代表値として算出され（ステップＳ８）、処理を終了する。

以上のように、画像処理装置３は、入力された医用画像４１の複数の特徴量から特徴量分布情報を算出し、この特徴量分布情報と、データベースとしてのハードディスク２７に参照用特徴量分布情報群として記憶されている特徴量分布情報群との分布間距離を複数算出する。そして、画像処理装置３は、算出された複数の分布間距離の平均値を算出し、その平均値に基づき、生体粘膜状態の判別を行うようにした。

また、参照用特徴量分布情報群保持部としてのハードディスク２７は、記憶されている所定の生体粘膜状態における特徴量分布情報の集合である特徴量分布情報群を保持するものに限らず、入力された医用画像４１とは異なる１つ以上の医用画像から算出された複数の参照用特徴量の分布情報を参照用特徴量分布情報として保持するものであってもよい。さらに、前記ハードディスク２７は、入力された医用画像４１とは異なる１つ以上の医用画像の各々の撮像条件や患者情報といった属性情報をさらに保持し、画像処理装置３は、入力された医用画像４１から導出した特徴量分布情報と、参照用特徴量分布情報との分布間距離に基づき、属性情報を判定するものであってもよい。

このような本実施の形態の画像処理装置３の構成によれば、特徴量の分布形状によらずに精度よく病変の識別や他の画像との比較を行うことができる。
（変形例１）

次に、第１の実施の形態の変形例１について説明する。

図７は、変形例１の演算処理部が具備する主要な処理機能を示す図である。なお、図７において、図２と同様の構成については、同一の符号を付して説明を省略する。

図７に示すように、演算処理部２２ａは、図２の演算処理部２２の構成に加え、外れ値判定部３５の処理機能を追加して構成されている。

外れ値判定部３５は、分布間距離算出部３２により算出された複数の分布間距離に外れ値があるか否かを判定し、その判定結果を代表値算出部３３に出力する。外れ値の検出方法は、公知の方法、例えば、計算した複数の分布間距離に対して、スミルノフ・グラブス検定やトンプソン検定等を適用する。

代表値算出部３３は、外れ値判定部３５により外れ値があると判定された場合、複数の分布間距離の中央値を算出し、外れ値がないと判定された場合、複数の分布間距離の平均値を算出する。判別部３４は、代表値算出部３３により算出された中央値または平均値を閾値判定することで、入力された医用画像４１がクラスＡに属するかを判別することで生体粘膜の生体粘膜状態を判別する。

次に、このように構成された変形例１の画像処理装置の動作について説明する。なお、変形例１の画像処理装置の処理の流れは、図５と同様であり、ステップＳ６の代表値算出処理の内容が第１の実施の形態と異なる。

図８は、変形例１のステップＳ６の代表値算出処理の流れの例を説明するためのフローチャートである。

ステップＳ５において分布間距離が複数算出されると、外れ値判定部３５により外れ値の有無が判定される（ステップＳ１１）。外れ値があると判定された場合、代表値算出部３３により複数の分布間距離の中央値が代表値として算出される（ステップＳ１２）。一方、外れ値がないと判定された場合、代表値算出部３３により複数の分布間距離の平均値が代表値として算出される（ステップＳ１３）。そして、図５のステップＳ７では、ステップＳ１２で算出された中央値、あるいは、ステップＳ１３で算出された平均値に基づき、入力画像がクラスＡに属するかが判定される。

外れ値が跳び抜けて大きい場合等は、第１の実施の形態のように、複数の分布間距離の平均値を求めると外れ値の影響が大きくなってしまう。これに対し、変形例１のように、外れ値がある場合、中央値を算出することで、外れ値が平均値に与える誤差の影響を減らすことができる。
（変形例２）

次に、第１の実施の形態の変形例２について説明する。

図９は、変形例２の演算処理部が具備する主要な処理機能を示す図である。なお、図９において、図２と同様の構成については、同一の符号を付して説明を省略する。

図９に示すように、演算処理部２２ｂは、図２の演算処理部２２の構成に加え、ばらつき判定部３６の処理機能を追加して構成されている。

ばらつき判定部３６は、分布間距離算出部３２により算出された複数の分布間距離に対してばらつきを表すパラメータを算出することで、複数の分布間距離のばらつきの大小を判定し、その判定結果を代表値算出部３３に出力する。ここで、ばらつきの定義は、例えば、複数の分布間距離の標準偏差または分散が所定の閾値以上の場合をばらつきが大きいとする。また、別の形態では、分布の形が凹になっている場合をばらつきが大きいとしてもよい。ここで凹とは、分布の平均値・中央値付近の度数が小さく、分布の外側の度数が大きい状態のことである。本変形例では、複数の分布間距離から正規化ヒストグラムを作成し、平均値・中央値を含む階級の度数と、分布の外側の階級の度数を比較し、その差が所定の閾値以上の場合、ばらつきが大きいとする。

代表値算出部３３は、ばらつき判定部３６によりばらつきが大きいと判定された場合、複数の分布間距離の最小値を算出し、ばらつきが小さいと判定された場合、複数の分布間距離の平均値を算出する。判別部３４は、代表値算出部３３により算出された最小値または平均値を閾値判定することで、入力された医用画像４１がクラスＡに属するかを判別することで生体粘膜の生体粘膜状態を判別する。

次に、このように構成された変形例２の画像処理装置の動作について説明する。なお、変形例２の画像処理装置の処理の流れは、図５と同様であり、ステップＳ６の代表値算出処理の内容が第１の実施の形態と異なる。

図１０は、変形例２のステップＳ６の代表値算出処理の流れの例を説明するためのフローチャートである。

ステップＳ５において分布間距離が複数算出されると、ばらつき判定部３６によりばらつきの大小が判定される（ステップＳ２１）。ばらつきが大きいと判定された場合、代表値算出部３３により複数の分布間距離の最小値が代表値として算出される（ステップＳ２２）。一方、ばらつきが小さいと判定された場合、代表値算出部３３により複数の分布間距離の平均値が代表値として算出される（ステップＳ２３）。そして、図４のステップＳ７では、ステップＳ２２で算出された最小値、あるいは、ステップＳ２３で算出された平均値に基づき、入力画像がクラスＡに属するかが判定される。

このような変形例２の構成によれば、同一クラス内で参照用特徴量分布情報群のばらつきが大きい場合であっても、その影響を受けにくくすることができる。
（変形例３）

次に、第１の実施の形態の変形例３について説明する。

図１１は、変形例３の演算処理部が具備する主要な処理機能を示す図である。なお、図９において、図２、図７及び図９と同様の構成については、同一の符号を付して説明を省略する。

図１１に示すように、演算処理部２２ｃは、図２の演算処理部２２の構成に加え、図７の外れ値判定部３５及び図９のばらつき判定部３６の処理機能を追加して構成されている。

代表値算出部３３は、外れ値判定部３５により外れ値があると判定され、かつ、ばらつき判定部３６によりばらつきが大きいと判定された場合、複数の分布間距離の最小値を算出する。一方、代表値算出部３３は、外れ値判定部３５により外れ値があると判定され、かつ、ばらつき判定部３６によりばらつきが小さいと判定された場合、複数の分布間距離の中央値を算出する。

また、代表値算出部３３は、外れ値判定部３５により外れ値がないと判定され、かつ、ばらつき判定部３６によりばらつきが大きいと判定された場合、複数の分布間距離の最小値を算出する。一方、代表値算出部３３は、外れ値判定部３５により外れ値がないと判定され、かつ、ばらつき判定部３６によりばらつきが小さいと判定された場合、複数の分布間距離の平均値を算出する。判別部３４は、代表値算出部３３により算出された最小値、中央値または平均値を閾値判定することで、入力された医用画像４１がクラスＡに属するかを判別することで生体粘膜の生体粘膜状態を判別する。

次に、このように構成された変形例３の画像処理装置の動作について説明する。なお、変形例３の画像処理装置の処理の流れは、図５と同様であり、ステップＳ６の代表値算出処理の内容が第１の実施の形態と異なる。

図１２は、変形例３のステップＳ６の代表値算出処理の流れの例を説明するためのフローチャートである。

ステップＳ５において分布間距離が複数算出されると、外れ値判定部３５により外れ値の有無が判定される（ステップＳ３１）。外れ値があると判定された場合、ステップＳ３２において、ばらつき判定部３６によりばらつきの大小が判定される。外れ値があり、かつ、ばらつきが大きいと判定された場合、代表値算出部３３により複数の分布間距離の最小値が代表値として算出される（ステップＳ３３）。一方、外れ値があり、かつ、ばらつきが小さいと判定された場合、代表値算出部３３により複数の分布間距離の中央値が代表値として算出される（ステップＳ３４）。

また、ステップＳ３１において、外れ値がないと判定された場合、ステップＳ３５において、ばらつき判定部３６によりばらつきの大小が判定される。外れ値がなく、かつ、ばらつきが大きいと判定された場合、代表値算出部３３により複数の分布間距離の最小値が代表値として算出される（ステップＳ３６）。一方、外れ値がなく、かつ、ばらつきが小さいと判定された場合、代表値算出部３３により複数の分布間距離の平均値が代表値として算出される（ステップＳ３７）。そして、図５のステップＳ７では、ステップＳ３３で算出された最小値、ステップＳ３４で算出された中央値、ステップＳ３６で算出された最小値、あるいは、ステップＳ３７で算出された平均値に基づき、入力画像がクラスＡに属するかが判定される。

このような、変形例３の構成によれば、外れ値が平均値に与える誤差の影響を低減することができ、かつ、同一クラス内で参照用特徴量分布情報群のばらつきが大きい場合であってもその影響を受けにくくすることができる。
（変形例４）

次に、変形例４について説明する。

変形例４では、ハードディスク２７に生体粘膜の状態（クラス）を複数有している場合について説明する。なお、演算処理部２２の構成は、図２と同様である。

図１３は、変形例４の分布間距離算出部での処理について説明するための図である。

ハードディスク２７には、それぞれが異なる生体粘膜の状態であるクラスＡ〜Ｎが記憶されている。各クラスＡ〜Ｎには、それぞれ３つの特徴量分布情報の集合である特徴量分布情報群が対応付けられている。ハードディスク２７は、複数の生体粘膜の状態の特徴量分布情報群を分布間距離算出部３２に出力する。

分布間距離算出部３２は、ハードディスク２７から出力された複数の特徴量分布情報群と、特徴量分布情報算出部３１によって算出された特徴量分布情報とに基づき、生体粘膜の状態毎（クラス毎）に複数の分布間距離を算出する。

代表値算出部３３は、分布間距離算出部３２によって算出された生体粘膜の状態毎の複数の分布間距離の平均値を算出する。なお、変形例１〜３の外れ値判定部３５及び／またはばらつき判定部３６を有する構成とし、外れ値判定部３５及び／またはばらつき判定部３６の判定結果に基づき、代表値算出部３３が生体粘膜の状態毎の複数の分布間距離の中央値、最小値、あるいは、平均値を算出するようにしてもよい。

判別部３４は、代表値算出部３３によって算出された、生体粘膜の状態毎の複数の分布間距離の平均値を比較判定し、入力された医用画像４１がクラスＡ〜Ｎのどのクラスに属するかを判別することで生体粘膜の生体粘膜状態を判別する。

次に、このように構成された変形例４の画像処理装置の動作について説明する。

図１４は、変形例４の画像処理装置の処理の流れの例を示すフローチャートである。なお、図１４において、図５と同様の処理については、同一の符号を付して説明を省略する。

ステップＳ３において、入力された医用画像４１の特徴量分布情報が算出されると、記憶装置Ｉ／Ｆ２６によりハードディスク２７に格納された複数の特徴量分布情報群が読み出される（ステップＳ４１）。次に、分布間距離算出部３２によって、特徴量分布情報算出部３１により算出された特徴量分布情報と、読み出された複数の特徴量分布情報群との生体粘膜の状態毎の分布間距離が複数算出される（ステップＳ４２）。そして、ステップＳ６において、生体粘膜の状態毎の分布間距離の代表値算出処理が行われ、算出された複数の代表値に基づき、入力された医用画像４１がどのクラスＡ〜Ｎに属するかが判定され（ステップＳ４３）、処理を終了する。

このような変形例４の構成によれば、入力された医用画像４１がそれぞれ異なる生体粘膜の状態のいずれに属するかを容易に判定することができる。
（第２の実施の形態）

次に、第２の実施の形態について説明する。

図１５は、第２の実施の形態の演算処理部が具備する主要な処理機能を示す図である。

図１５に示すように、演算処理部２２ｄは、図２の演算処理部２２の代表値算出部３３が削除されるとともに、分布間距離算出部３２に代わり分布間距離算出部３２ａを用いて構成されている。

図１６は、第２の実施の形態の分布間距離算出部での処理について説明するための図である。

代表特徴量分布情報保持部としてのハードディスク２７は、図１６に示すように、クラスＡにおける複数の特徴量分布情報を統合することで得られる代表参照用特徴量分布情報を保持する。より具体的には、図１８に示すように、クラスＡに属する複数の参照用画像Ａ１〜Ａ５から算出された全ての特徴量が１つの分布を形成するとみなし、クラスＡの代表特徴量分布情報を導出する。

また、クラスＡに属する複数の参照用画像Ａ１〜Ａ５から算出された全ての特徴量を用いてクラスＡの代表特徴量分布情報を導出する方法に限らず、図１９に示すように、クラスＡに属する複数の参照用画像から算出された特徴量のうち頻度の低い特徴量を外れ値として除外し、残りの特徴量を用いてクラスＡの代表特徴量分布情報を導出してもよい。図１９の例では、参照用画像Ａ１から算出された特徴量が外れ値として除外され、参照用画像Ａ２〜Ａ５の特徴量を用いてクラスＡの代表特徴量分布情報が導出されている。また、外れ値は頻度の低い特徴量に限らず、全ての特徴量の平均値を算出し、その平均値から最も離れた値から順に上位５％を外れ値としてもよい。

分布間距離算出部３２ａは、ハードディスク２７から出力された代表特徴量分布情報と、特徴量分布情報算出部３１によって算出された特徴量分布情報との分布間距離を算出する。そして、判別部３４は、この分布間距離を閾値判定し、入力された医用画像４１がクラスＡに属するかを判別する。

図１７は、第２の実施の形態の画像処理装置の処理の流れの例を示すフローチャートである。なお、図１７において、図５と同様の処理については、同一の符号を付して説明を省略する。

ステップＳ３において、入力された医用画像４１の特徴量分布情報が算出されると、記憶装置Ｉ／Ｆ２６によりハードディスク２７に格納された代表特徴量分布情報が読み出される（ステップＳ５１）。次に、分布間距離算出部３２ａによって、特徴量分布情報算出部３１により算出された特徴量分布情報と、読み出された代表特徴量分布情報との分布間距離が算出される（ステップＳ５２）。そして、算出された分布間距離に基づき、医用画像４１がクラスＡに属するかが閾値判定され（ステップＳ５３）、処理を終了する。

このような本実施の形態の画像処理装置３の構成によれば、第１の実施の形態と同様に、特徴量の分布形状によらずに精度よく病変の識別や他の画像との比較を行うことができる。

なお、本明細書における各フローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。

本発明は、上述した実施の形態及び変形例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

１…医用システム、２…医用観察装置、３…画像処理装置、４…モニタ、６…内視鏡、７…光源装置、８…ＣＣＵ、９…モニタ、１１…挿入部、１２…操作部、１３…ライトガイド、１４…先端部、１５…対物光学系、１６…撮像素子、１７…撮像部、２１…画像入力部、２２…演算処理部、２３…プログラム記憶部、２４…画像記憶部、２５…情報記憶部、２６…記憶装置Ｉ／Ｆ、２７…ハードディスク、２８…表示処理部、２９…入力操作部、３０…データバス、３１…特徴量分布情報算出部、３２…分布間距離算出部、３３…代表値算出部、３４…判別部、３５…外れ値判定部、３６…ばらつき判定部、４１…医用画像。

Claims

所定の生体粘膜状態にある複数の参照用画像における特徴量の分布から得られた第１の複数の参照用特徴量分布情報を保持する参照用特徴量分布情報群保持部と、
生体粘膜を撮像して得られる入力画像を入力する画像入力部と、
前記画像入力部に入力された前記入力画像の前記生体粘膜に関する少なくとも１つの特徴量の分布から得られた入力特徴量分布情報を導出する分布情報導出部と、
前記参照用特徴量分布情報群保持部によって保持された前記第１の複数の参照用特徴量分布情報の各々と、前記分布情報導出部によって導出された前記入力特徴量分布情報との間で、類似性を表す尺度である複数の分布間距離を算出する分布間距離算出部と、
前記分布間距離算出部により算出された前記複数の分布間距離から前記複数の分布間距離の代表値を算出する代表値算出部と、
前記代表値に基づいて前記入力画像の生体粘膜の状態を判別する判別部と、
を備えたことを特徴とする画像処理装置。
前記代表値は、前記分布間距離算出部により算出された前記複数の分布間距離の平均値、中央値または最小値のうちのいずれか一つであることを特徴とする請求項１に記載の画像処理装置。
前記分布間距離算出部により算出された前記複数の分布間距離に対して外れ値の有無を判定する外れ値判定部を有し、
前記代表値算出部は、前記外れ値判定部の判定結果に基づき、前記分布間距離算出部により算出された前記複数の分布間距離の中央値を算出することを特徴とする請求項２に記載の画像処理装置。
前記分布間距離算出部により算出された前記複数の分布間距離に対してばらつきを表すパラメータを算出することで、前記分布間距離算出部により算出された前記複数の分布間距離のばらつきの大小を判定するばらつき判定部を有し、
前記代表値算出部は、前記ばらつき判定部の判定結果に基づき、前記分布間距離算出部により算出された前記複数の分布間距離の最小値を算出することを特徴とする請求項２または請求項３に記載の画像処理装置。
前記パラメータは、前記分布間距離算出部により算出された前記複数の分布間距離の標準偏差または分散であることを特徴とする請求項４に記載の画像処理装置。
前記参照用特徴量分布情報群保持部は、さらに前記所定の生体粘膜の状態とは異なる生体粘膜の状態における特徴量の分布から得られた第２の複数の参照用特徴量分布情報を保持し、
前記分布間距離算出部は、前記参照用特徴量分布情報群保持部によって保持された前記第２の複数の参照用特徴量分布情報の各々と、前記分布情報導出部によって導出された前記入力特徴量分布情報との間で、生体粘膜の状態毎に前記複数の分布間距離を算出することを特徴とする請求項２から請求項５のいずれか１項に記載の画像処理装置。
前記入力画像から所定の特徴領域を抽出する特徴領域抽出部を更に有し、
前記分布情報導出部は、前記入力画像のうち前記所定の特徴領域における特徴量を算出することを特徴とする請求項６に記載の画像処理装置。
前記分布情報導出部によって導出された前記入力特徴量分布情報及び前記参照用特徴量分布情報保持部が保持する前記第２の複数の参照用特徴量分布情報を構成する各々の特徴量分布情報は、各々の特徴量の所定の領域における特徴量を代表する代表特徴量ベクトルと前記代表特徴量ベクトルに対する重み係数とによって表現されるシグネチャで表されることを特徴とする請求項７に記載の画像処理装置。
前記分布情報導出部によって導出された前記入力特徴量分布情報及び前記参照用特徴量分布情報保持部が保持する前記第２の複数の参照用特徴量分布情報を構成する各々の特徴量分布情報は、ヒストグラムで表されることを特徴とする請求項７に記載の画像処理装置。
前記所定の特徴領域は血管または前記生体粘膜表面の微細構造であることを特徴とする請求項７に記載の画像処理装置。
所定の生体粘膜状態における複数の特徴量分布情報から算出される代表特徴量分布情報を保持する代表特徴量分布情報保持部と、
生体粘膜を撮像して得られる入力画像の前記生体粘膜に関する少なくとも１つの特徴量の分布から得られた入力特徴量分布情報を導出する分布情報導出部と、
前記代表特徴量分布情報保持部によって保持された前記代表特徴量分布情報と、前記分布情報導出部によって導出された前記入力特徴量分布情報との間で、分布間の類似性を表す尺度である分布間距離を算出する分布間距離算出部と、
前記分布間距離算出部により算出された前記分布間距離に基づいて前記生体粘膜の生体粘膜の状態を判別する判別部と、
を備えたことを特徴とする画像処理装置。
前記代表特徴量分布情報保持部は、さらに前記所定の生体粘膜状態とは異なる生体粘膜状態の代表特徴量分布情報を少なくとも一つ保持し、
前記分布間距離算出部は、前記代表特徴量分布情報保持部により保持された複数の代表特徴量分布情報と、前記分布情報導出部によって導出された前記入力特徴量分布情報との間で、生体粘膜の状態毎に前記分布間距離を算出することを特徴とする請求項１１に記載の画像処理装置。
前記入力画像から所定の特徴領域を抽出する特徴領域抽出部を更に有し、
前記分布情報導出部は、前記入力画像のうち前記所定の特徴領域における特徴量を算出することを特徴とする請求項１２に記載の画像処理装置。
前記分布情報導出部によって導出された前記入力特徴量分布情報及び前記代表特徴量分布情報保持部が保持する前記代表特徴量分布情報を構成する各々の特徴量分布情報は、各々の特徴量の所定の領域における特徴量を代表する代表特徴量ベクトルと前記代表特徴量ベクトルに対する重み係数とによって表現されるシグネチャで表されることを特徴とする請求項１３に記載の画像処理装置。
前記分布情報導出部によって導出された前記入力特徴量分布情報及び前記代表特徴量分布情報保持部が保持する前記代表特徴量分布情報を構成する各々の特徴量分布情報は、ヒストグラムで表されることを特徴とする請求項１３に記載の画像処理装置。
前記所定の特徴領域は血管または前記生体粘膜表面の微細構造であることを特徴とする請求項１３に記載の画像処理装置。
前記代表特徴量分布情報保持部は、前記代表特徴量分布情報として前記複数の特徴量分布情報の平均である平均特徴量分布情報を保持することを特徴とする請求項１１に記載の画像処理装置。