JP5374078B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、カプセル型内視鏡等の撮像装置で撮像された一連の画像群から代表画像を選択して表示させるための画像処理装置、画像処理方法および画像処理プログラムに関するものである。

近年、生体内を撮像する手段として、カプセル型内視鏡が用いられている。カプセル型内視鏡は、患者である被検体の口から飲み込まれて自然排出されるまでの約８時間、消化管の蠕動運動に伴って胃・小腸・大腸などを移動しながら、２〜４ｆｐｓで各臓器部位を撮像する。このため、カプセル型内視鏡が１回の検査で撮像する体内画像は、約６万枚にのぼる。

カプセル型内視鏡が撮像した体内画像を観察する場合、体内画像を動画像再生のように時系列順に再生表示させて観察するのが一般的であるが（例えば、特許文献１参照）、一連の体内画像群から所定枚数の代表画像を選択して表示することによって、一連の体内画像群の全体的な傾向を示す画像処理装置も知られている。例えば、非特許文献１に記載の画像処理装置は、自己組織化マップ（ＳＯＭ：Ｓｅｌｆ Ｏｒｇａｎｉｚｅｄ Ｍａｐｓ）を用いて一連の体内画像群から代表画像を選択して表示する。

特開２００４−３２１６０３号公報 A Machine Learning Framework Using SOMs :Applications in the Intestinal Motility Assessment

ところで、一連の体内画像群から代表画像を選択して表示する従来の画像処理装置は、自己組織化マップを用いて代表画像を選択する処理を行っているだけであり、重要な画像であっても一連の体内画像群の全画像に対して枚数が少ない画像、例えば病変画像などは代表画像として選択されず、表示されない場合がある。この場合、観察者は、別途の表示操作を行って重要な画像を検索しなければならず、画像観察における負担が大きなものとなっている。したがって、非特許文献１によると、診断に適した症例の全体的な傾向が提示されず、大量の画像を観察する上で不便である。

本発明は、上記に鑑みてなされたものであって、一連の画像群からなる大量の画像を観察する上で、重要な画像の表示漏れなく全体的な傾向を表示させることができ、画像観察に際して観察者にかかる負担を軽減できる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明のある態様にかかる画像処理装置は、撮像装置で撮像された一連の画像群に含まれる各画像の特徴量を算出する特徴量算出部と、前記一連の画像群の全体的な傾向を示す分布マップを作成する分布マップ作成部と、前記分布マップを表示部に表示させる表示制御部と、を備え、前記分布マップ作成部は、各画像の特徴量および各画像の重要度をもとに、前記一連の画像群中に含まれる複数の画像を代表する所定数の代表ベクトルを算出する代表ベクトル算出部と、算出された代表ベクトルの前記分布マップ上での配置を決定する代表ベクトル配置決定部と、を備える。

また、本発明の別の態様にかかる画像処理方法は、撮像装置で撮像された一連の画像群に含まれる各画像の特徴量を算出する特徴量算出ステップと、前記一連の画像群の全体的な傾向を示す分布マップを作成する分布マップ作成ステップと、前記分布マップを表示部に表示させる表示制御ステップと、を含み、前記分布マップ作成ステップは、各画像の特徴量および各画像の重要度をもとに、前記一連の画像群中に含まれる複数の画像を代表する所定数の代表ベクトルを算出する代表ベクトル算出ステップと、算出された代表ベクトルの前記分布マップ上での配置を決定する代表ベクトル配置決定ステップと、を含む。

また、本発明のさらなる別の態様にかかる画像処理プログラムは、撮像装置で撮像された一連の画像群に含まれる各画像の特徴量を算出する特徴量算出手順と、前記一連の画像群の全体的な傾向を示す分布マップを作成する分布マップ作成手順と、前記分布マップを表示部に表示させる表示制御手順と、を含み、前記分布マップ作成手順は、各画像の特徴量および各画像の重要度をもとに、前記一連の画像群中に含まれる複数の画像を代表する所定数の代表ベクトルを算出する代表ベクトル算出手順と、算出された代表ベクトルの前記分布マップ上での配置を決定する代表ベクトル配置決定手順と、を含む。

これらの画像処理装置、画像処理方法および画像処理プログラムは、一連の画像群の全体的な傾向を示す分布マップを作成して表示部に表示させる上で、代表ベクトル算出部が、分布マップ上に配置させる代表ベクトルを一連の画像群に含まれる各画像の特徴量および各画像の重要度をもとに算出するので、一連の画像群中から重要な画像の表示漏れなく全体的な傾向を表示させることができる。

本発明によれば、画像観察に際して観察者にかかる負担を軽減できる。

以下、図面を参照しつつ本発明にかかる画像処理装置、画像処理方法および画像処理プログラムの好適な実施の形態について説明する。本実施の形態では、体内撮像装置であるカプセル型内視鏡によって時系列に撮像された約６万枚に及ぶ一連の体内画像群を処理し、症例の全体的な傾向を示す画像の分布マップを表示させる画像処理装置を例に説明する。ただし、本発明にかかる画像処理装置の処理対象とする画像群は、カプセル型内視鏡によって撮像された画像群に限定されるものではない。また、本実施の形態によって本発明が限定されるものではない。なお、図面の記載において同一部分または相当する部分には同一の符号を付して示す。

（実施の形態１）
実施の形態１にかかる画像処理装置について、図１を参照して説明する。図１は、本実施の形態１にかかる画像処理装置１の概略構成を示すブロック図である。画像処理装置１は、例えばワークステーション等のコンピュータによって構成されたものであり、各種情報の入力を受け付ける入力部１０、処理結果など各種情報を表示出力する出力部２０、一連の画像群の情報などの各種情報を記憶する記憶部３０および画像処理装置１の各部の処理および動作を制御する制御部４０を備える。さらに画像処理装置１は、カプセル型内視鏡で時系列に撮像された一連の画像群を処理する画像処理部５０および一連の画像群から所定の画像を検索する画像検索部６０を備える。

入力部１０は、キーボード、マウスおよびデータ通信インターフェイスなどによって実現され、観察者から直接に各種情報の入力を受け付けるとともに、例えば、各種メモリカード、ＣＤ、ＤＶＤなどの携帯型記録媒体や通信ネットワークを介して体内画像の画像情報の入力を受け付ける。この入力部１０は操作受付部１１を備える。操作受付部１１は、出力部２０に表示された画像などを選択する操作を受け付ける。

出力部２０は、液晶ディスプレイなどの表示部を構成する表示デバイスによって実現され、画像処理部５０で行われた画像処理結果および画像検索部６０で行われた画像検索結果などを表示する。また、出力部２０は、観察者に対して各種処理情報の入力を依頼するＧＵＩ（Graphical User Interface）画面を表示する。なお、出力部２０は、表示画面の一例として、分布マップ表示部２１を備える。分布マップ表示部２１は、一連の画像群の全体的な傾向を示す分布マップを表示する。

記憶部３０は、ハードディスク、ＲＯＭおよびＲＡＭなどによって実現され、制御部４０に実行させる各種処理プログラム、処理結果などの各種情報を記憶する。また、記憶部３０は、教師データ記憶部３１を備え、一連の画像群の各画像を所定の種類に分類する処理および各画像の重要度を設定する処理で用いる教師データを予め記憶する。

制御部４０は、ＣＰＵによって実現され、記憶部３０に記憶された各種処理プログラムを実行することで、画像処理装置１が備える各部の処理および動作を制御する。特に、制御部４０は、画像処理プログラムを実行することで、画像処理部５０に本実施の形態１にかかる画像処理手順を行わせる。また、制御部４０は、表示制御部４１を備え、表示制御部４１は、分布マップ上に所定の画像を配置して分布マップ表示部２１に表示させるための制御などを行う。

画像処理部５０は、特徴量算出部５１、分類部５３および分布マップ作成部５４を備え、分布マップを作成する処理を行う。

特徴量算出部５１は、一連の画像群に含まれる各画像の特徴量を算出する。特徴量算出部５１は、特に領域分割部５２を備え、領域分割部５２は、体内特有の撮像対象の状態に応じて各画像の画像領域を分割する。例えば、領域分割部５２は、粘膜領域、病変領域、絨毛領域、泡領域、食物残渣領域などの領域に各画像を分割する。特徴量算出部５１は、各分割領域の状態を示す数値の集合を各画像の特徴量として算出する。

分類部５３は、各画像の特徴量および教師データをもとに、各画像を所定の種類、例えば粘膜画像、病変画像、粘膜・病変画像、泡・食物残渣画像などに分類する処理を行う。例えば、分類部５３は、各画像の特徴量と教師データの特徴量とを特徴空間にプロットしてユークリッド距離を求め、各画像に最も近い教師データが属する種類を各画像の種類と定義する。なお、分類部５３は、各画像と各種類の教師データとのユークリッド距離、すなわち各画像が各種類の教師データにどの程度類似しているかを示す情報も各画像の種類と合わせて記憶部３０に記憶させておく。

分布マップ作成部５４は、一連の画像群の全体的な傾向を示す分布マップを作成する処理を行う。ここで、一連の画像群の全体的な傾向としては、少なくとも画像群全体に対して種類の異なる画像が各々どの程度占めているかの割合の傾向を示し得るものであればよい。また、分布マップ作成部５４が作成する分布マップは、一連の画像群の全体的な傾向を視覚的に把握可能に提示し得る態様であればよく、本実施の形態では、例えば、２次元分布マップが用いられる。分布マップ作成部５４は、重要度決定部５５、代表ベクトル算出部５６および代表ベクトル配置決定部５７を備える。重要度決定部５５は、各画像の特徴量および教師データの特徴量のユークリッド距離によって各画像の重要度を決定し、重要画像の教師データとのユークリッド距離が近いほど重要度を高く決定する。具体的には、重要度決定部５５は、分類部５３によって分類された各画像の種類に応じて各画像の重要度を決定する。例えば、重要度決定部５５は、診断に必須な画像、例えば病変画像の重要度を高く決定し、粘膜が見えにくいもの、例えば泡・食物残渣画像の重要度を低く決定する。なお、各種類の画像の重要度の具体的数値は、予め記憶部３０に記憶させておく。

代表ベクトル算出部５６は、各画像の特徴量および重要度をもとに予め設定された所定数の代表ベクトルを算出する。ここで、代表ベクトルとは、複数の画像の特徴量を代表する特徴量を有するもので、各画像の特徴量と同次元の特徴量を有するベクトルである。代表ベクトル算出部５６が行う処理の原理を図２および図３を参照しつつ説明する。図２および図３は、一連の画像群の画像数が１０枚、各画像の特徴量が３次元の場合を示している。図２は、例えばＲＧＢ３次元特徴空間に画像Ｆｉｇ．１〜１０の特徴量をプロットして各画像の特徴量をベクトルで表示した図である。図２に示すように、画像Ｆｉｇ．１〜３、画像Ｆｉｇ．４〜７、画像Ｆｉｇ．８〜１０の特徴量を示すベクトルが各々近傍に位置しており、各々類似した画像であることがわかる。代表ベクトル算出部５６は、１０枚の画像の重要度がすべて等しく、また１０枚の画像に対して算出する代表ベクトルの個数が３つである場合、図３に示すように、画像Ｆｉｇ．１〜３を代表する代表ベクトル１、画像Ｆｉｇ．４〜７を代表する代表ベクトル２、画像Ｆｉｇ．８〜１０を代表する代表ベクトル３を算出する。

なお、代表ベクトル算出部５６は、重要度が高い画像群を代表する代表ベクトル、換言すれば重要度が高い画像が有する特徴量に類似する代表ベクトルが算出されていない場合、重要度が高い画像群を構成する画像枚数が少なくても、重要度が高い画像群を代表する代表ベクトルを算出して少なくとも１つ、重要度が高い画像を代表する代表ベクトルを加える。

代表ベクトル配置決定部５７は、各代表ベクトルの分布マップ上での配置を決定する。本実施の形態１では、分布マップと称される２次元座標上に代表ベクトルを配置することで、入力された一連の画像群の全体的な傾向を示すものである。図４は、算出する代表ベクトル数を２５とした場合の代表ベクトルの配置例である。図４に示す場合、２次元座標上に５×５のマトリクス状に代表ベクトルを配置して分布マップを形成する。図５は、分布マップ上に配置された各代表ベクトルの概念図である。図５に示すように、各代表ベクトルは、高次元の特徴量を有しており、特徴量に応じて所定の位置に配置される。よって、各代表ベクトルがどの画像に対応しているかは、代表ベクトルが有する高次元特徴量と画像の特徴量とを比較すればよい。そして、表示制御部４１が、各代表ベクトルの位置に各代表ベクトルが有する特徴量に最も類似する画像を画像群より検索して代表画像として配置して分布マップ表示部２１に表示させることで、目的とする全体的な傾向を示す分布マップが得られる。

画像検索部６０は、類似画像検索部６１および時系列画像検索部６２を備え、一連の画像群から所定の画像群を検索する。特に、類似画像検索部６１は、操作受付部１１を介して選択された代表画像に類似する画像を検索する。また、時系列画像検索部６２は、選択された代表画像を基準として時系列的に前後所定範囲内で撮像された画像を検索する。なお、表示制御部４１は、代表画像とともに画像検索部６０によって検索された画像を出力部２０に表示させる。

次に、画像処理装置１の画像処理手順を説明する。図６は、制御部４０が行う画像処理手順を示す概略フローチャートである。図６に示すように、まず制御部４０は、カプセル型内視鏡で撮像されて携帯型記録媒体に記録された一連の画像群の画像データを取得し（ステップＳ１０１）、各画像の特徴量を算出する処理を行う（ステップＳ１０２）。その後、制御部４０は、特徴量をもとに各画像を、例えば粘膜画像、病変画像または泡・食物残渣画像などに分類する（ステップＳ１０３）。さらに、制御部４０は、一連の画像群の全画像の特徴量をもとに、分布マップを作成する処理を行う（ステップＳ１０４）。その後、表示制御部４１は、各代表ベクトルの位置に代表画像を配置した分布マップを分布マップ表示部２１に表示する処理を行う（ステップＳ１０５）。

その後、制御部４０は、操作受付部１１を制御して代表画像の選択操作を受け付ける（ステップＳ１０６）。選択操作が入力されると、制御部４０は、選択操作に応じた画像群を検索する処理を行う（ステップＳ１０７）。その後、表示制御部４１は、検索された画像群を表示させる処理を行う（ステップＳ１０８）。ステップＳ１０１〜Ｓ１０８の処理によって、制御部４０は、一連の画像群の分布マップを作成して代表画像を表示させるとともに、画像の選択操作を受け付けて観察者が所望する画像群を表示させる処理を行う。

まず、ステップＳ１０２の特徴量算出処理について説明する。図７は、制御部４０の制御のもと特徴量算出部５１が行う特徴量算出処理手順を示す概略フローチャートである。まず、特徴量算出部５１は、入力された画像から輝度成分と色成分を分離するため、各画像の色空間をＲＧＢ空間からＹｕｖ空間に変換する（ステップＳ２０１）。その後、領域分割部５２は、画素値をもとに各画像の画像領域を分割する処理を行う（ステップＳ２０２）。その後、特徴量算出部５１は、画像毎に各領域の平均色、面積および周波数特性などの数値を算出し、算出した数値の集合を各画像の特徴量とする（ステップＳ２０３）。各領域の面積は、後述する各領域内のプロット数が全プロット数に占める割合で算出する。これらの値を各画像の特徴量とすることで、粘膜、病変、絨毛、泡、食物残渣などの体内環境に由来した特徴量が算出されることとなる。特徴量算出部５１は、ステップＳ１０２においてステップＳ２０１〜Ｓ２０３の処理を行って各画像の特徴量を算出する。

なお、ステップＳ２０１は、入力された各画像の輝度成分と色成分を分離するために各画像の色空間をＹｕｖ空間に変換するものであり、画像の輝度成分と色成分を取得できれば、変換後の色空間はＹｕｖ空間に限らず、例えばＬ＊ａ＊ｂ＊、ＨＳＶなどの等色色空間に変換してもよい。さらには、画素毎の変換でなく、ＪＰＥＧ符号化に用いられるＤＣＴ係数のＤＣ成分を用いるようにしてもよい。

また、ステップＳ２０２において、領域分割部５２は、画素値をもとに各画素に撮像されている撮像対象が粘膜か、病変かまたは泡・食物残渣かによって各画素をクラスタリングして、同クラスタに属して隣接する複数の画素の塊を１つの領域として画像領域を分割する。

図８は、領域分割処理の手順を示す概略フローチャートである。図８に示すように、領域分割部５２は、画像毎に各画素のｕ値およびｖ値を２次元ベクトルとした場合の原点からの角度θおよび距離Ｄを２次元特徴平面にプロットする（ステップＳ３０１）。領域分割部５２は、２次元特徴平面を所定の面積ずつマス目状に分割して各マス目のプロットの密度を算出する（ステップＳ３０２）。

その後、領域分割部５２は、各マス目を開始マスとして、各開始マスとそのマス目に隣接するマス目とのプロット密度を比較し最もプロット密度が高いマス目を開始マスの注目マスとする（ステップＳ３０３）。さらに、領域分割部５２は、注目マスと注目マスが隣接するマス目とのプロット密度を比較してプロット密度が高いマス目を開始マスの新たな注目マスとする（ステップＳ３０４）。その後、領域分割部５２は、注目マスのプロット密度と注目マスに隣接するマス目のプロット密度とを比較する（ステップＳ３０５）。注目マスと比較してプロット密度が高いマス目がある場合（ステップＳ３０５：Ｎｏ）、領域分割部５２は、ステップＳ３０４に戻り処理を繰り返す。一方、注目マスのプロット密度が隣接するマス目の中で最も高い場合（ステップＳ３０５：Ｙｅｓ）、領域分割部５２は、この注目マスを開始マスの頂上マスとする（ステップＳ３０６）。その後、領域分割部５２は、全マス目の頂上マスを特定したかを確認する（ステップＳ３０７）。領域分割部５２は、全マス目の頂上マスを特定するまでステップＳ３０３〜Ｓ３０７の処理を繰り返す（ステップＳ３０７：Ｎｏ）。

全マス目の頂上マスが特定された後（ステップＳ３０７：Ｙｅｓ）、領域分割部５２は、頂上マスが同じマス目を同一のクラスタに属すると定義する（ステップＳ３０８）。その後、領域分割部５２は、教師データを用いて各クラスタの種類、すなわち各クラスタに属するマス目にプロットされた画素の種類を判別して各画素に撮像されている撮像対象の状態を判別して、各画像の画像領域を粘膜領域、病変領域または泡・食物残渣領域などに分割し（ステップＳ３０９）、領域分割処理を終了する。領域分割部５２は、ステップＳ３０１〜Ｓ３０９の処理によって各画像の画像領域を分割する。なお、本実施の形態１では、領域分割部５２は、周知の山登り法を用いて各画素をクラスタリングしたが、山登り法以外のクラスタリング手法を適用してもよい。

なお、ステップＳ３０１では、各画素の特徴量としてｕ値およびｖ値を用いるのではなく、角度θおよび距離Ｄを用いている。図９は、ｕ値およびｖ値と、角度θおよび距離Ｄとの関係を示す図である。カプセル型内視鏡で撮像した画像では、各画素の特徴量としてｕ値およびｖ値をそのまま使用して２次元特徴平面にプロットした場合、プロットは原点を中心として放射状に広がる傾向にあるので、本実施の形態１では、ｕ値およびｖ値を角度θおよび距離Ｄに変換することによって原点に近いプロットもクラスタリングが的確に行える。

図１０は、２次元特徴平面上に各画素の角度θおよび距離Ｄをプロットした図である。図１０において、各マス目から出た矢印の先に位置するマス目が頂上マスである。図１０に示すように、ステップＳ３０９では、頂上マスが同じマス目は同一の領域に属するものとする。なお、カプセル型内視鏡によって撮像された画像では、粘膜領域が高角度側にプロットされ、泡・食物残渣領域が低角度側にプロットされる傾向がある。そして、病変に関しては、粘膜領域において通常粘膜（正常粘膜）の色範囲から大きく外れているプロットを画像内の病変領域と推定する。画像内の病変推定部分に対して、周辺画素値との変化量が大きければ、確かに病変であると判断される。

次に、画像処理手順のステップＳ１０４について説明する。ステップＳ１０４では、制御部４０は、分布マップ作成部５４を制御して分布マップを作成する処理を行う。図１１は、ステップＳ１０４の分布マップ作成処理の手順を示す概略フローチャートである。

まず、重要度決定部５５は、各画像の種類をもとに各画像の重要度を決定する（ステップＳ４０１）。その後、代表ベクトル算出部５６および代表ベクトル配置決定部５７は、自己組織化マップ（ＳＯＭ：Ｓｅｌｆ Ｏｒｇａｎｉｚｅｄ Ｍａｐｓ）を用いて所定数の代表ベクトルを算出して分布マップ上に配置する処理を行う（ステップＳ４０２）。

その後、代表ベクトル算出部５６は、重要度が高い画像群を代表する代表ベクトルが算出されているかを確認する（ステップＳ４０３）。重要度が高い画像群を代表する代表ベクトルが算出されていない場合（ステップＳ４０３：Ｎｏ）、代表ベクトル算出部５６は、算出された代表ベクトルの中の所定の代表ベクトルに代えて重要度が高い画像群を代表するベクトルを代表ベクトルとする（ステップＳ４０４）。その後、または重要度が高い画像群を代表する代表ベクトルが算出されている場合（ステップＳ４０３：Ｙｅｓ）、代表ベクトル配置決定部５７は、各代表ベクトルが特徴量に応じた所望の位置に配置されているかを確認して代表ベクトルの配置を調整し（ステップＳ４０５）、分布マップ作成処理を終了する。ステップＳ４０１〜Ｓ４０５の処理によって、分布マップ作成部５４は、分布マップを作成する。

ここで、ステップＳ４０２の処理について説明する。まず、自己組織化マップ（ＳＯＭ）について説明する。ＳＯＭは、ニューラルネットワークの一種であり、教師データなしの競合学習によって高次元のデータを、例えば２次元マップ上に写像してクラスタリングを行う手法であり、高次元特徴空間から任意の数の代表ベクトルを求めることができる。また、求められる代表ベクトルは、位置関係を有しており、近い特徴量を有するもの同士が近傍に位置するように出力される。ここで、自己組織化マップは、入力層および出力層を備え、入力層に画像から得られた高次元特徴量のデータが入力され、出力層には位置関係を持つ所定数のニューロンが配置され２次元マップが作成される。各ニューロンは、各特徴量への結合係数を代表ベクトルとして保持している。本実施の形態１では、入力層に一連の画像群の画像の特徴量を入力し、出力層の各ニューロンの結合係数を代表ベクトルとして算出して２次元分布マップを作成し、作成した２次元マップを調整して一連の画像群の分布マップを作成する。各ニューロンには入力データと同じ次元の要素（特徴量）を有する結合係数が与えられている。すなわち、各画像の特徴量Ｘを式（１）のように示した場合、ニューロンの結合係数Ｍ_ｉは式（２）のように示される。なお、式（２）おいて、Ｎとは、ニューロンの数であり、操作者が予め任意に設定可能な数値である。

ＳＯＭの一般的な学習処理では、まず、予め定められた所定数のニューロンの結合係数をランダムに決定し、高次元特徴量を持つ複数のデータを入力層に入力する。そして、ランダムなデータを１つ選び、そのデータの有する特徴ベクトルに最も近い代表ベクトルを持つ勝者ニューロンを決定し、勝者ニューロンおよび特徴空間内で勝者ニューロンの近傍に位置する近傍ニューロンの結合係数を更新する。その後、終了条件を満たすまで、入力層へのデータ入力処理、勝者ニューロンの決定処理および各ニューロンの特徴量の更新処理を繰り返す。

勝者ニューロンは、特徴空間内での入力データＸと各ニューロンとのユークリッド距離をもとに決定する。具体的には、式（３）に示すように、入力データＸ(ｔ)と各ニューロンＭ_i(ｔ)とのユークリッド距離が最小のニューロンを入力データＸ(ｔ)に対する勝者ニューロンとする。なお、式（３）において、ｔは各入力データの学習回数を示す。

勝者ニューロンおよび近傍ニューロンの特徴量の更新は、式（４）に示すように、入力データと各ニューロンとのユークリッド距離、学習係数α(ｔ)および近傍関数ｈ_ci(ｔ)に応じて行う。

学習係数α(ｔ)は、学習回数の増加に伴って減衰する関数で、下式（５）のように示される。

近傍関数ｈ_ci(ｔ)は、近傍ニューロンを決定する関数であり、式（６）に示すように、勝者ニューロンと他のニューロンとの距離‖ｒ_i−ｒ_c‖および学習回数ｔを変数とする関数である。近傍関数ｈ_ci(ｔ)は、勝者ニューロンに近いほど大きな値をとり重みが増し、学習回数が多いほど小さな値をとり重みが減る。近傍関数ｈ_ci(ｔ)は、例えば式（７）のような正規分布関数で定義されるが、実装法はさまざまである。式（７）により処理を繰り返すことで、各ニューロンの代表ベクトルが入力データによって引っ張られ、自己組織化マップが形成される。

ステップＳ４０２では、代表ベクトル算出部５６および代表ベクトル配置決定部５７が共同してＳＯＭを用いた代表ベクトル算出配置処理を行う。図１２は、代表ベクトル算出配置処理の手順を示す概略フローチャートである。まず、代表ベクトル配置決定部５７は、教師データ記憶部３１に予め記憶されている教師データをもとに、各ニューロンの初期結合係数を決定する（ステップＳ５０１）。また、代表ベクトル算出部５６は、重要度が高い画像の特徴量を学習する場合には近傍関数ｈ_ci(ｔ)が大きな値になるように、近傍関数ｈ_ci(ｔ)を設定する（ステップＳ５０２）。その後、代表ベクトル算出部５６および代表ベクトル配置決定部５７は、ＳＯＭの学習処理を行い（ステップＳ５０３）、各ニューロンの結合係数を代表ベクトルとして処理を終了する（ステップＳ５０４）。

一般的なＳＯＭでは、初期の結合係数はランダムに与えられるが、本実施の形態１では、ステップＳ５０１において、初期の結合係数として教師データを与える。カプセル型内視鏡で撮像された一連の画像群による診断に当っては、分布マップ上に診断すべき画像（粘膜画像や病変画像など）とノイズ的画像（泡・食物残渣画像や穴画像など）が最終的に分かれるように分布していることが望ましいためである。例えば、図１３に示すように、２次元分布マップの左上方向には粘膜画像が、左下方向には粘膜と病変画像が、右下方向には病変画像が、右上方向には泡・食物残渣画像が最終的に分布するような分布マップを作成する。

このため、本実施の形態１では、初期の結合係数を教師データから設定することで、出力位置傾向の固定と重要画像の取りこぼし対策を行う。例えば、代表ベクトル配置決定部５７は、図４において、左上のニューロン（１，５）の初期の結合係数として教師データから粘膜画像の特徴量を代表する特徴ベクトルを与える。同様に、右下のニューロン（５，１）の初期の結合係数として教師データから病変画像の特徴量を代表する特徴ベクトルを与える。さらに、右上のニューロン（５，５）の初期の結合係数として教師データから泡・食物残渣画像の特徴量を代表する特徴ベクトルを与える。

次に、ＳＯＭの学習を行う。入力データからランダムにデータを選択しニューロンの結合係数を更新していくが、ニューロンに教師データから初期の結合係数値を与えてあるため、各ニューロンの結合係数は、自然と目的に沿った方向へ引っ張られていく。また、入力データが重要画像、この場合は病変画像であった場合は、式（６）の重み付け関数において重要画像の枚数が少ないほど通常より重みを強くする。これによって、入力データ全体に対する重要画像の絶対数が少ない場合でも、重要画像を表す代表ベクトルが残ることになる。学習終了後、各ニューロンの結合係数を代表ベクトル、出力層での各ニューロンの座標を各代表ベクトルの分布マップ上での座標とする。

次に、分布マップ作成処理中のステップＳ４０４の処理について説明する。ステップＳ４０４の処理は、重要度が高い画像群を代表する代表ベクトルを確実に算出するための処理である。ＳＯＭによる代表ベクトル算出配置処理では、全画像数に対して画像数が少ない画像群、例えば病変画像の画像群を代表する代表ベクトルが算出されない場合がある。本実施の形態１では、病変画像の重要度を高く設定してＳＯＭによる処理の際に病変画像の特徴量の重みを付けるが、病変画像数が少ない場合、病変画像を代表する代表ベクトルが算出されない場合がある。そこで、ステップＳ４０４では、ＳＯＭによって算出された代表ベクトルに替えて、重要度が高い画像を代表する代表ベクトルを加える。

例えば代表ベクトル算出部５６は、算出された各代表ベクトルの持つ特徴量を調べ、重要画像の特徴量と近い代表ベクトルが存在しない場合には、代表ベクトルを新たに作成する処理を行う。新たな代表ベクトルとして病変画像の画像群の特徴量の平均値を算出し、ＳＯＭによって算出された代表ベクトルのうち病変画像に最も近い画像群を代表する代表ベクトル、または所定の位置に配置された代表ベクトルと新たに算出した代表ベクトルを交換する。なお、この場合、交換にかかる代表ベクトルの近傍の代表ベクトルの特徴量も更新する。例えば、交換によって消去された代表ベクトルと近傍の各代表ベクトルとの特徴量の平均値を近傍の各代表ベクトルの特徴量とし、特徴量を更新した各代表ベクトルの近傍の代表ベクトルの特徴量も同様に更新する。このため、消去された代表ベクトルが代表する画像群の特徴量も代表ベクトルの特徴量算出に反映される。

また、分布マップ作成処理中のステップＳ４０５の処理では、代表ベクトルの配置を調整して所定の種類の画像を代表する代表ベクトルを所定の位置に確実に配置する。ＳＯＭによる代表ベクトル算出配置処理によって多くの場合、代表ベクトルは分布マップ上にほぼ目的通りに配置される。しかし、学習処理の過程で間違った分布が形成されている可能性もあり、意図しない位置に代表ベクトルが配置される場合も考えられる。このため、代表ベクトル配置決定部５７は、ＳＯＭによる処理の後、代表ベクトルの配置を確認し、代表ベクトルの配置を調整して最終決定する。例えば、粘膜領域に泡・食物残渣画像を代表する代表ベクトルが入り込んでいた場合は、その代表ベクトルと泡・食物残渣領域内で粘膜に近い特徴量を有する代表ベクトルの特徴量を交換するなどの処理を行う。すなわち、各代表ベクトルにおいて粘膜、病変、絨毛、泡、食物残渣などの体内環境を示す特徴量がどの程度か調べ、目的の分布に沿うように代表ベクトルをソートする。

次に、画像処理手順のステップＳ１０５について説明する。ステップＳ１０５では、表示制御部４１は、分布マップを観察者が視認できる形態にするために各代表ベクトルの位置に代表画像を配置して分布マップとして分布マップ表示部２１に表示させる。すなわち、各代表ベクトルの有する特徴量と入力された一連の画像群の画像とを比較し、最も近い特徴量を有する画像をその代表ベクトルの代表画像として分布マップ上に配置させて表示させる。図１４は、代表ベクトルと代表画像の関係を示す概念図である。図１４に示すように、各代表画像は、各代表ベクトルに類似する画像によって構成される類似画像群の中から決定される。

次に、画像処理手順のステップＳ１０６について説明する。ステップＳ１０６では、操作受付部１１が、分布マップ表示部２１に表示されたＧＵＩを介して、代表画像などの選択操作を受け付ける。なお、操作受付部１１は、代表画像を選択する操作に加えて、検索処理を行い表示する画像および表示形態を選択する操作を受け付ける。

図１５は、分布マップ表示部２１の表示画面の一例を示す図である。分布マップ表示部２１の画像表示ウインドウ１００には、分布マップ１０１、分布マップ表示形態選択部１０２、類似画像分布マップ選択部１０３および検索画像マップ１０４が表示される。

分布マップ１０１は、図１４で示したように代表ベクトルに対応させて選択された代表画像および代表画像の種類（粘膜、粘膜＋病変、病変、泡・食物残渣等）を２次元マップ上に表示することで一連の画像群の全体的な傾向を示す。このような分布マップ１０１の表示により、症例の全体的な傾向が観察者に提示される。この際、本実施の形態１では、分布マップ表示形態選択部１０２において、「分類を表示する」の選択により、分布マップ１０１として表示される画像に重畳させて、分類部５３による代表ベクトルの分類結果が、例えば破線で示す枠線１０１ａの態様で表示される。これにより、どの代表ベクトル（代表画像）がどの分類に入っているかが明確となる。

なお、分類部５３による分類結果を分布マップ１０１に重畳表示させる場合、枠線１０１ａの態様に代えて、分布マップ表示形態選択部１０２において、「分類を色で表示する」の選択により、例えばＲＧＢグラデーションによる色表示を利用するようにしてもよい。例えば、分布マップ１０１上で粘膜に最も近い一番左上の座標を（Ｒ，Ｇ，Ｂ）＝（０，２５５，０）とし、泡・食物残渣の集まる一番右上の座標を（Ｒ，Ｇ，Ｂ）＝（０，０，２５５）とし、病変の集まる一番右下の座標を（Ｒ，Ｇ，Ｂ）＝（２５５，０，０）と設定する。そして、分布マップ１０１上の各座標の色は、以下のように設定する。各座標に配置されている代表ベクトルの特徴量と、左上、右上、右下に配置されている代表ベクトルの持つ特徴量とのユークリッド距離を求める。そして、ユークリッド距離が０であれば、対応する色の画素値を２５５とし、距離が遠いほど、対応する色の画素値を低く設定する。すなわち、左上に近いほど、Ｇ＝２５５に近づき、右上に近いほど、Ｂ＝２５５に近づき、右下に近いほど、Ｒ＝２５５に近づく。これによって、全体的な傾向を色のグラデーションによって視覚的に表すことができるとともに、分類の境界など曖昧な特徴量を持つ代表ベクトルを中間色として表現することができる。

また、図１５に示すような画像表示ウインドウ１００においては、類似画像分布マップ選択部１０３によって、類似画像分布マップの表示や、類似画像の表示や、時系列画像の表示が選択設定自在とされており、観察者の操作に応じた処理結果が検索画像マップ１０４部分に表示される。

例えば、医師等の観察者による画像診断時に、分布マップ１０１上に表示されているある病変をより詳細に観察したい、といった場合、「類似画像の表示」を選択し、その病変画像を表示している代表画像部分を選択する操作を行うと（図１５中に矢印で示すポインタ参照）、操作受付部１１がその代表画像の選択操作を受け付ける。そして、選択操作された代表画像部分の座標（または範囲）の情報が、類似画像検索部６１に送られる。類似画像検索部６１は、このような情報の入力を受け、分布マップ１０１上で選択された座標（または範囲）に配置された代表ベクトルが有する特徴量に類似する特徴量を有する類似画像を記憶部３０に格納されている一連の画像群中から検索し、検索された複数枚の類似画像を検索画像マップ１０４中の類似画像欄１０４ａに表示させる。

この場合、「類似画像分布マップの表示」が選択されていれば、分布マップ作成部５４は、類似画像検索部６１によって検索された複数枚の類似画像からなる類似画像群の分布マップを前述の処理手順に従い作成し、表示制御部４１による制御の下に、作成された類似画像群の分布マップを検索画像マップ１０４中の類似画像分布マップ欄１０４ｂに表示させる。これにより、当初の全ての画像群を対象とする場合と異なり、類似画像群に限定した範囲内でその画像群の傾向を把握することが可能となる。

一方、「時系列画像の表示」が選択されている場合において、注目の病変画像を表示している代表画像部分を選択する操作を行うと、操作受付部１１がその代表画像の選択操作を受け付ける。そして、選択操作された代表画像部分の座標（または範囲）の情報が、時系列画像検索部６２に送られる。時系列画像検索部６２は、このような情報の入力を受け、分布マップ１０１上で選択された座標（または範囲）に配置された代表ベクトルが有する特徴量に最も類似する画像である代表画像とこの代表画像に対して時系列で近傍に位置する所定枚数の画像を記憶部３０に格納されている一連の画像群中から検索する。そして、検索された代表画像やその近傍の時系列画像を、タイムバー１０４ｃの表示を伴う検索画像マップ１０４中の類似画像欄１０４ｄに時系列的に１枚ずつ順次再生表示させる。これにより、注目の代表画像前後に限定された画像の観察を適切に行うことができる。

このようにして、本実施の形態１によれば、カプセル型内視鏡によって撮像された一連の画像群に基づき、症例全体の特徴を視覚的に表す画像の分布を分布マップ１０１として表示させるので、画像群全体に占める粘膜、病変、泡・食物残渣などの画像の割合を視覚的に一目で把握することができ、画像観察に際して医師等の観察者にかかる負担を軽減させることができる。

（実施の形態２）
実施の形態２にかかる画像処理装置について、図１６〜図２１を参照して説明する。実施の形態１では、分布マップ作成部５４による分布マップ作成処理に自己組織化マップ（ＳＯＭ）を用いることで、代表ベクトル算出機能と代表ベクトル配置決定機能とを並行的に処理させるようにしたが、本実施の形態２では、分布マップ作成部５４による分布マップ作成処理に主成分分析法を用いるようにしたものである。分布マップ作成部５４以外の処理は、実施の形態１の場合と同様である。この主成分分析法は、高次元特徴空間から任意の低次元特徴空間を求める手法の一つであり、入力の分布において広がりが最も大きい方向の直線を第１主成分とし、第１主成分に直交しかつ２番目に広がりの大きい方向の直線を第２主成分とし、以下、同様に任意の低次元まで算出する方法である（例えば、「ディジタル画像処理（ＧＣ−ＡＲＴＳ協会）」参照）。

図１６は、本実施の形態２におけるステップＳ１０４の分布マップ作成処理の手順を示す概略フローチャートである。まず、代表ベクトル算出部５６によって、入力された一連の画像群の画像に対して主成分分析法を用いて代表ベクトルを算出する（ステップＳ６０１）。そして、代表ベクトル算出部５６は、重要度が高い画像群を代表する代表ベクトルが存在するかを確認する（ステップＳ６０２）。重要度が高い画像群を代表する代表ベクトルが存在しない場合（ステップＳ６０２：Ｎｏ）、代表ベクトル算出部５６は、重要度が高い画像の特徴量に近い代表ベクトルに代えて、重要度が高い画像に対応するベクトルを代表ベクトルとする（ステップＳ６０３）。その後、または重要度が高い画像群を代表する代表ベクトルが存在する場合（ステップＳ６０２：Ｙｅｓ）、代表ベクトル配置決定部５７は、算出された各代表ベクトルの分布マップ上での配置を決定する処理を行い（ステップＳ６０４）、分布マップ作成処理を終了する。ステップＳ６０１〜Ｓ６０４の処理によって、分布マップ作成部５４は、分布マップを作成する。

ここで、ステップＳ６０１の代表ベクトル算出処理について説明する。図１７は、ステップＳ６０１の代表ベクトル算出処理例を示す概略フローチャートである。まず、主成分分析を行う。本実施の形態２では、２次元の分布マップを作成するため、各画像の特徴量の主成分分析を行い、各画像のＸ座標およびＹ座標を、第１主成分、第２主成分から決定する（ステップＳ７０１）。そして、ＸＹ２次元平面上に各画像の座標をプロットする（ステップＳ７０２）。

例えば、１０枚分の画像の特徴量から主成分分析を行い、ＸＹ２次元平面上に各画像の座標をプロットした例を図１８に示す。主成分分析によって特徴量が近い画像同士は、ＸＹ２次元平面上で近傍の座標位置にプロットされる。

次いで、ＸＹ２次元平面上のプロットを、予め設定された代表ベクトル数と同数のクラスタにＫ平均法を用いてクラスタリングする（ステップＳ７０３）。代表ベクトル数は、数が多いほど、詳細な分布が得られるので、最終的に分布マップを表示する分布マップ表示部２１のサイズやユーザの好みによって代表ベクトル数を決定するようにしてもよい。

Ｋ平均法を用いたクラスタリング処理においては、まず、ＸＹ２次元平面上の単位面積当りのプロット密度を求め、求められた密度に比例する数のクラスタを単位面積内でランダムに座標決定することで、各クラスタの初期重心座標を決定する（ステップＳ７０４）。この際、プロット密度を考慮しないで全ての座標をランダムに決定してしまうと、クラスタ分類が適正に行われない可能性がある。

次に、全プロットに対して、各クラスタの重心座標までの距離を求めて、最も近い重心座標のクラスタをそのプロットのクラスタとする（ステップＳ７０５）。そして、各クラスタに対して、そのクラスタに属する全プロットの重心座標を改めて算出する（ステップＳ７０６）。この場合、各プロットの重心座標の平均座標として算出する。そして、改めて算出された重心座標によって各クラスタの重心座標を更新する。その後、各クラスタの重心座標が収束するまで（ステップＳ７０７：Ｙｅｓ）、ステップＳ７０５〜Ｓ７０６の処理を繰り返す。このような処理の繰り返しにより、各クラスタの重心座標と各クラスタに含まれるプロットが決定される。図１９は、このように決定される様子を示す概念図である。

このようにしてＫ平均法から算出されたＸＹ２次元平面上での各クラスタの重心座標を、分布マップ上における代表ベクトルと定義する（ステップＳ７０８）。図２０は、この様子を示す概念図である。

次いで、ステップＳ６０４の代表ベクトル配置決定処理について説明する。図２１は、ステップＳ６０４の分布マップにおける代表ベクトルの配置を決定する代表ベクトル配置決定処理例を示す概略フローチャートである。なお、この処理の前に、分類部５３において、各代表ベクトルの特徴量と教師データから、各代表ベクトルの種類の分類を行っておく。そして、この分類に従い、例えば図４に示した場合と同様に、左上に粘膜、右下に病変、右上に泡・食物残渣画像を示す各々の代表ベクトルをＸＹ２次元平面からなる分布マップ上に配置させる。このＸＹ２次元平面上での各代表ベクトルと教師データの特徴量からユークリッド距離を算出する（ステップＳ８０１）。そして、算出されたユークリッド距離をもとに各代表ベクトルの種類を判別し（ステップＳ８０２）、算出されたユークリッド距離の大きさをもとに各代表ベクトルの分布マップ上での配置座標を決定する（ステップＳ８０３）。例えば、粘膜領域の代表ベクトルでは、粘膜画像の教師データとのユークリッド距離が近いほど、分布マップ上の左上座標に近づくことになる。

なお、代表ベクトルは、ＸＹ２次元平面において画像のプロットが密な領域に集中しているので、特徴量によって代表ベクトルの配置をソートさせた後に、分布マップに代表ベクトルが均等に配置されるように座標を補正する処理を行う。このようにして、実施の形態１の場合と同様、目的とする全体的な傾向を表す分布マップが出力される。

本発明の実施の形態１にかかる画像処理装置の概略構成を示すブロック図である。 特徴空間に各画像の特徴量をプロットし、ベクトルで表示した図である。 図２に示す画像群の代表ベクトルを示す図である。 代表ベクトルの配置の一例を示す図である。 分布マップ上の各代表ベクトルの概念図である。 画像処理の手順を示す概略フローチャートである。 特徴量算出処理の手順を示す概略フローチャートである。 領域分割処理の手順を示す概略フローチャートである。 ｕ値およびｖ値と、角度θおよび距離Ｄとの関係を示す図である。 ２次元特徴平面上に各画素の角度θおよび距離Ｄをプロットした図である。 分布マップ作成処理の手順を示す概略フローチャートである。 代表ベクトル算出配置処理の手順を示す概略フローチャートである。 分布マップの表示例を示す図である。 代表ベクトルと代表画像の関係を示す概念図である。 分布マップ表示画面の一例を示す説明図である。 本発明の実施の形態２における分布マップ作成処理の手順を示す概略フローチャートである。 代表ベクトル算出処理例を示す概略フローチャートである。 主成分分析結果に伴いＸＹ２次元平面上に各画像の座標をプロットした例を示す概念図である。 各クラスタの重心座標と各クラスタに含まれるプロットが決定される様子を示す概念図である。 Ｋ平均法から算出されたＸＹ２次元平面上での各クラスタの重心座標が、代表ベクトルと定義される様子を示す概念図である。 代表ベクトル配置決定処理例を示す概略フローチャートである。

符号の説明

１ 画像処理装置
１１ 操作受付部
２０ 出力部
２１ 分布マップ表示部
４１ 表示制御部
５１ 特徴量算出部
５２ 領域分割部
５３ 分類部
５４ 分布マップ作成部
５５ 重要度決定部
５６ 代表ベクトル算出部
５７ 代表ベクトル位置決定部
６０ 画像検索部
６１ 類似画像検索部
６２ 時系列画像検索部
１０１ 分布マップ

Claims (17)

1. 撮像装置で撮像された一連の画像群に含まれる各画像の特徴量を算出する特徴量算出部と、
   前記一連の画像群の全体的な傾向を示す分布マップを作成する分布マップ作成部と、
   前記分布マップを表示部に表示させる表示制御部と、
   を備え、
   前記分布マップ作成部は、
   特徴量および教師データを用いて各画像の重要度を決定する重要度決定部と、
   各画像の特徴量および各画像の重要度をもとに、前記一連の画像群中に含まれる複数の画像を代表する所定数の代表ベクトルを算出する代表ベクトル算出部であって、重要度が所定値以上の画像の特徴量に類似する画像群に対して１つ以上の代表ベクトルを算出する代表ベクトル算出部と、
   算出された代表ベクトルの前記分布マップ上での配置を決定する代表ベクトル配置決定部と、を有し、
   各画像の特徴量および教師データをもとに、各代表ベクトルを所定の種類に分類する分類部をさらに備え、
   前記代表ベクトル配置決定部は、前記分類部により分類された各代表ベクトルの種類に応じて各代表ベクトルの配置を決定する、
   ことを特徴とする画像処理装置。
2. 前記代表ベクトル算出部は、特徴量が類似する複数の画像群の各画像群の代表ベクトル数を、各画像群の画像枚数の多少に応じて増減することを特徴とする請求項１に記載の画像処理装置。
3. 前記代表ベクトル配置決定部は、互いに類似する特徴量を有する代表ベクトルが前記分布マップ上で近傍になるように各代表ベクトルの配置を決定することを特徴とする請求項１に記載の画像処理装置。
4. 前記分布マップにおいて、前記分類部により分類される代表ベクトルの種類に応じて代表ベクトルが配置され得る領域は、予め特定されていることを特徴とする請求項１に記載の画像処理装置。
5. 前記表示制御部は、各代表ベクトルの位置に各代表ベクトルが有する特徴量に最も類似する画像を代表画像として前記表示部に表示させることを特徴とする請求項１に記載の画像処理装置。
6. 前記表示制御部は、各代表ベクトルの位置に各代表ベクトルが有する特徴量に応じた色を前記表示部に表示させることを特徴とする請求項１に記載の画像処理装置。
7. 前記表示制御部は、前記分類部による各代表ベクトルの分類結果を前記表示部に表示させることを特徴とする請求項１に記載の画像処理装置。
8. 前記表示部に表示された前記分布マップ上の任意の座標および範囲を選択する操作を受け付ける操作受付部と、
   表示された前記分布マップ上で選択された座標または範囲の情報をもとに前記一連の画像群から所定の画像を検索する画像検索部と、
   をさらに備え、
   前記表示制御部は、前記画像検索部によって検索された画像を前記表示部に表示させることを特徴とする請求項１に記載の画像処理装置。
9. 前記画像検索部は、前記分布マップ上の選択された座標または範囲に配置された代表ベクトルが有する特徴量に類似する特徴量を有する類似画像を検索する類似画像検索部を備えることを特徴とする請求項８に記載の画像処理装置。
10. 前記画像検索部は、前記分布マップ上の選択された座標または範囲に配置された代表ベクトルが有する特徴量に最も類似する画像である代表画像および該代表画像に対して時系列で近傍に位置する画像を検索する時系列画像検索部を備えることを特徴とする請求項８に記載の画像処理装置。
11. 前記分布マップ作成部は、前記類似画像検索部によって検索された類似画像からなる類似画像群の前記分布マップを作成し、
    前記表示制御部は、前記類似画像群の前記分布マップを前記表示部に表示させることを特徴とする請求項９に記載の画像処理装置。
12. 前記特徴量算出部は、各画像を所定の領域毎に分割する領域分割部を備え、分割された各領域の状態を示す数値の集合を各画像の特徴量として算出することを特徴とする請求項１に記載の画像処理装置。
13. 前記一連の画像群は、被検体内に導入された体内撮像装置によって撮像された時系列の画像群であり、
    前記特徴量算出部は、体内特有の撮像対象である粘膜、病変、絨毛、泡、食物残渣の特性を示す数値を特徴量として算出することを特徴とする請求項１に記載の画像処理装置。
14. 前記一連の画像群は、被検体内に導入された体内撮像装置によって撮像された時系列の画像群であり、
    前記重要度決定部は、病変画像の重要度を高く決定し、泡または食物残渣が撮像された泡・食物残渣画像の重要度を低く決定することを特徴とする請求項１に記載の画像処理装置。
15. 前記一連の画像群は、被検体内に導入された体内撮像装置によって撮像された時系列の画像群であり、
    前記分類部は、特徴量をもとに各画像または各代表ベクトルを分類する種類に、粘膜画像、病変画像、正常粘膜ともに病変が撮像された粘膜・病変画像、泡または食物残渣が撮像された泡・食物残渣画像の少なくとも一つを含むことを特徴とする請求項１に記載の画像処理装置。
16. 撮像装置で撮像された一連の画像群に含まれる各画像の特徴量を算出する特徴量算出ステップと、
    前記一連の画像群の全体的な傾向を示す分布マップを作成する分布マップ作成ステップと、
    前記分布マップを表示部に表示させる表示制御ステップと、
    を含み、
    前記分布マップ作成ステップは、
    特徴量および教師データを用いて各画像の重要度を決定する重要度決定ステップと、
    各画像の特徴量および各画像の重要度をもとに、前記一連の画像群中に含まれる複数の画像を代表する所定数の代表ベクトルを算出する代表ベクトル算出ステップであって、重要度が所定値以上の画像の特徴量に類似する画像群に対して１つ以上の代表ベクトルを算出する代表ベクトル算出ステップと、
    算出された代表ベクトルの前記分布マップ上での配置を決定する代表ベクトル配置決定ステップと、を含み、
    各画像の特徴量および教師データをもとに、各代表ベクトルを所定の種類に分類する分類ステップをさらに含み、
    前記代表ベクトル配置決定ステップは、前記分類ステップにおいて分類された各代表ベクトルの種類に応じて各代表ベクトルの配置を決定する、
    ことを特徴とする画像処理方法。
17. 撮像装置で撮像された一連の画像群に含まれる各画像の特徴量を算出する特徴量算出手順と、
    前記一連の画像群の全体的な傾向を示す分布マップを作成する分布マップ作成手順と、
    前記分布マップを表示部に表示させる表示制御手順と、
    をコンピュータに実行させ、
    前記分布マップ作成手順は、
    特徴量および教師データを用いて各画像の重要度を決定する重要度決定手順と、
    各画像の特徴量および各画像の重要度をもとに、前記一連の画像群中に含まれる複数の画像を代表する所定数の代表ベクトルを算出する代表ベクトル算出手順であって、重要度が所定値以上の画像の特徴量に類似する画像群に対して１つ以上の代表ベクトルを算出する代表ベクトル算出手順と、
    算出された代表ベクトルの前記分布マップ上での配置を決定する代表ベクトル配置決定手順と、を含み、
    各画像の特徴量および教師データをもとに、各代表ベクトルを所定の種類に分類する分類手順を前記コンピュータにさらに実行させ、
    前記代表ベクトル配置決定手順は、前記分類手順において分類された各代表ベクトルの種類に応じて各代表ベクトルの配置を決定する、
    ことを特徴とする画像処理プログラム。

Images