WO2007077672A1

WO2007077672A1 - 画像処理装置および当該画像処理装置における画像処理方法

Info

Publication number: WO2007077672A1
Application number: PCT/JP2006/322387
Authority: WO
Inventors: Hirokazu Nishimura; Tetsuo Nonami
Original assignee: Olympus Medical Systems Corp.
Priority date: 2005-12-28
Filing date: 2006-11-09
Publication date: 2007-07-12
Also published as: EP2412300B1; US8363962B2; CN101947113B; US8369626B2; CN101947113A; EP1969992B1; EP2412301A3; EP2412301B1; CN101947114B; US20110255757A1; EP2412300A2; EP2412301A2; US20110255759A1; EP1969992A1; US20110255758A1; EP1969992A4; EP2412300A3; US8300955B2; CN101947114A; WO2007077672A8

Abstract

　ユーザによる観察の効率化をはかることができる画像処理装置および当該画像処理装置における画像処理方法を提供する。本発明の画像処理装置は、撮像機能を有する医療機器により撮像された複数の画像に基づく画像信号を入力する画像信号入力手段と、前記複数の画像を各々複数の領域に分割する画像分割手段と、前記複数の領域各々における特徴量を算出する特徴量算出手段と、前記特徴量及び前記特徴量の発生頻度に基づき、特徴空間において生成した複数のクラスタを複数のクラスのいずれかに各々分類するクラスタ分類手段と、前記複数の画像を用い、複数のサブセットを生成するサブセット生成手段と、一のサブセットに含まれる画像各々の、前記特徴空間における前記特徴量の分布状態に基づき、前記一のサブセットに含まれる画像を分類する際の分類基準を算出する分類基準算出手段とを具備する。

Description

明細書

画像処理装置および当該画像処理装置における画像処理方法技術分野

[0001] 本発明は、画像処理装置および当該画像処理装置における画像処理方法に関し

、特に、生体粘膜表面の像が良好に撮像されていない画像を除外することができる画像処理装置および当該画像処理装置における画像処理方法に関するものである

背景技術

[0002] 従来、医療分野にお!、て、 X線、 CT、 MRI、超音波観測装置及び内視鏡装置等の画像撮像機器を用いた観察が広く行われてヽる。このような画像撮像機器のうち、内視鏡装置は、例えば、生体としての体腔内に挿入される細長の挿入部を有し、該挿入部の先端部に配置された対物光学系により結像した体腔内の像を固体撮像素子等の撮像手段により撮像して撮像信号として出力し、該撮像信号に基づいてモ- タ等の表示手段に体腔内の像の画像を表示するという作用及び構成を有する。そして、ユーザは、モニタ等の表示手段に表示された体腔内の像の画像に基づき、例えば、体腔内における臓器等の観察を行う。また、内視鏡装置は、消化管粘膜の像を直接的に撮像することが可能である。そのため、ユーザは、例えば、粘膜の色調、病変の形状及び粘膜表面の微細な構造等の様々な所見を総合的に観察することができる。

[0003] そして、近年、前述したような内視鏡装置と略同様の有用性が期待できる画像撮像機器として、例えば、カプセル型内視鏡装置が提案されている。一般的に、カプセル型内視鏡装置は、被検者が口から飲み込むことにより体腔内に配置され、撮像した該体腔内の像を撮像信号として外部に送信するカプセル型内視鏡と、送信された該撮像信号を体腔外で受信した後、受信した該撮像信号を蓄積するレシーバと、レシーバに蓄積された撮像信号に基づく体腔内の像の画像を観察するための観察装置とから構成される。

[0004] カプセル型内視鏡装置を構成するカプセル型内視鏡は、消化管の蠕動運動により進むため、例えば、口から体腔内に入れられた後、肛門から排出されるまで数時間程度の時間が力かることが一般的である。そして、カプセル型内視鏡は、体腔内に入れられた後、排出されるまでの間、レシーバに対して撮像信号を略常時出力し続けるため、例えば、数時間分の動画像における、レシーバに蓄積されたフレーム画像としての静止画像の枚数は膨大なものとなる。そのため、ユーザによる観察の効率化という点において、例えば、蓄積された画像のうち、出血部位等の病変部位が含まれる所定の画像を検出するような画像処理方法が行われた上にお!ヽて、該所定の画像以外の画像を表示または記憶しないという処理が行われることにより、画像のデータ量が削減されるような提案が望まれている。

[0005] 前述したような画像処理方法としては、例えば、 PCT国際公開番号 WO02Z0735 07号公報に記載されて、るようなものがある。 PCT国際公開番号 WO02Z073507 号公報に記載されている、生体内での比色分析の異常を検出するための方法は、正常粘膜と出血部位との色調の違いに着目し、色調を特徴量と設定した特徴空間における各平均値力もの距離に基づき、画像の分割領域毎に出血部位の検出を行う方法、すなわち、病変部位としての出血部位が含まれる所定の画像を検出するための方法を有する画像処理方法である。

[0006] しかし、 PCT国際公開番号 WO02Z073507号公報に記載されている画像処理方法においては、以下に記すような課題がある。

[0007] 一般に、消化管においては、常に生体粘膜表面の像のみの撮像が行われている訳ではなぐ例えば、便、泡、粘液または食物残渣等の異物の像と、生体粘膜表面の像とが混在した状態において撮像が行われている。そのため、前述したような異物の存在を考慮して、な、PCT国際公開番号 WO02Z073507号公報に記載されてヽる画像処理方法においては、例えば、該異物により正常粘膜を出血部位と誤検出してしまう可能性、及び該異物の像が大部分を占めるような画像を検出する可能性が考えられる。その結果、ユーザによる観察の効率ィ匕をは力ることができないという課題が生じている。

[0008] 本発明は、前述した点に鑑みてなされたものであり、例えば、生体粘膜表面の像としての胃粘膜及び絨毛の像と、異物の像としての便及び泡の像とを画像の小領域毎に識別して分類することにより、画像の小領域の多くを異物の像が占めるような、生体粘膜表面の像が良好に撮像されてヽなヽ画像を、観察不要の画像として容易に除外することができ、さらに、前記分類結果に基づいて撮像された臓器を特定することができ、その結果、ユーザによる観察の効率ィ匕をは力ることのできる画像処理装置および当該画像処理装置における画像処理方法を提供することを目的としている。

[0009] また、本発明は、生体粘膜表面の像として分類された各々の領域に対し、さらに、例えば、前記各々の領域が有する特徴量に基づき、正常な粘膜の像と病変部位の像と分類するような画像処理方法を用いることにより、病変部位の検出精度を高めることができる画像処理装置および当該画像処理装置における画像処理方法を提供することを目的としている。

発明の開示

課題を解決するための手段

[0010] 本発明の第 1の画像処理装置は、撮像機能を有する医療機器により撮像された複数の画像に基づく画像信号を入力する画像信号入力手段と、前記画像信号入力手段にお 1、て入力した画像信号に基づき、前記複数の画像を各々複数の領域に分割する画像分割手段と、前記画像分割手段により分割された前記複数の領域各々における特徴量を算出する特徴量算出手段と、前記特徴量及び前記特徴量の発生頻度に基づき、特徴空間において複数のクラスタを生成するとともに、該複数のクラスタを複数のクラスの、ずれかに各々分類するクラスタ分類手段と、前記複数の画像を用い、前記複数の画像が各々撮像されたタイミングに基づく複数のサブセットを生成するサブセット生成手段と、前記サブセット生成手段により生成された一のサブセットに含まれる画像各々の、前記特徴空間における前記特徴量の分布状態に基づき、前記一のサブセットに含まれる画像を、前記複数のクラスのいずれかに各々分類する際の分類基準を算出する分類基準算出手段と、を具備することを特徴とする。

[0011] 本発明の第 2の画像処理装置は、前記第 1の画像処理装置において、さらに、前記分類基準算出手段は、前記複数のクラスのうち、一のサブセットにおいて前記特徴量が発生しな、クラスにっ、ては、前記分類基準を算出しな、ことを特徴とする。

[0012] 本発明の第 3の画像処理装置は、前記第 1の画像処理装置において、前記複数のクラスは、生体粘膜に関するクラスと、非生体粘膜に関するクラスとを少なくとも有することを特徴とする。

[0013] 本発明の第 4の画像処理装置は、前記第 2の画像処理装置において、前記複数のクラスは、生体粘膜に関するクラスと、非生体粘膜に関するクラスとを少なくとも有することを特徴とする。

[0014] 本発明の第 5の画像処理装置は、前記第 3の画像処理装置において、さらに、前記分類基準に基づき、前記一のサブセットに含まれる一の画像における各領域の分類を行う分類手段と、前記一の画像の分類結果に基づき、前記一の画像が前記生体粘膜に関するクラスとして分類された領域を有している場合、該領域各々に対し、病変箇所を検出するための処理を行う病変検出手段と、を有することを特徴とする。

[0015] 本発明の第 6の画像処理装置は、前記第 4の画像処理装置において、さらに、前記分類基準に基づき、前記一のサブセットに含まれる一の画像における各領域の分類を行う分類手段と、前記一の画像の分類結果に基づき、前記一の画像が前記生体粘膜に関するクラスとして分類された領域を有している場合、該領域各々に対し、病変箇所を検出するための処理を行う病変検出手段と、を有することを特徴とする。

[0016] 本発明の第 7の画像処理装置は、撮像機能を有する医療機器により時系列的に撮像された複数の画像に基づく画像信号を入力する画像信号入力手段と、前記画像信号入力手段において入力した画像信号に基づき、前記複数の画像を各々複数の領域に分割する画像分割手段と、前記画像分割手段により分割された前記複数の領域各々における特徴量を算出する特徴量算出手段と、前記特徴量に基づき、前記複数の領域各々を複数のクラスの!/ヽずれかに各々分類する画像領域分類手段と、前記複数の画像各々において、少なくとも一のクラスの特徴量の代表値を算出する代表値算出手段と、前記代表値の変動が極大となる画像または時間のいずれかを検出する変動検出手段と、を具備することを特徴とする。

[0017] 本発明の第 8の画像処理装置は、前記第 7の画像処理装置において、さらに、前記代表値各々に対して時系列方向の平滑化を適用する平滑化手段を有し、前記変動検出手段は、前記平滑化手段により平滑化された後の前記代表値に基づき、前記代表値の変動が極大となる画像または時間のいずれかを検出することを特徴とする。

[0018] 本発明の第 9の画像処理装置は、前記第 7の画像処理装置において、前記代表値の変動は、生体内における観察部位の変化に基づいて生じるものであることを特徴とする。

[0019] 本発明の第 10の画像処理装置は、前記第 8の画像処理装置において、前記代表値の変動は、生体内における観察部位の変化に基づいて生じるものであることを特徴とする。

[0020] 本発明の第 11の画像処理装置は、前記第 7の画像処理装置において、前記代表値の変動は、生体内における便の存在に基づいて生じるものであることを特徴とする

[0021] 本発明の第 12の画像処理装置は、前記第 8の画像処理装置において、前記代表値の変動は、生体内における便の存在に基づいて生じるものであることを特徴とする

[0022] 本発明の第 13の画像処理装置は、前記第 7の画像処理装置において、前記代表値の変動は、生体内における胆汁の存在に基づいて生じるものであることを特徴とする。

[0023] 本発明の第 14の画像処理装置は、前記第 8の画像処理装置において、前記代表値の変動は、生体内における胆汁の存在に基づいて生じるものであることを特徴とする。

[0024] 本発明の第 15の画像処理装置は、前記第 7の画像処理装置において、前記代表値の変動は、生体内における病変部位の存在に基づいて生じるものであることを特徴とする。

[0025] 本発明の第 16の画像処理装置は、前記第 8の画像処理装置において、前記代表値の変動は、生体内における病変部位の存在に基づいて生じるものであることを特徴とする。

[0026] 本発明の第 17の画像処理装置は、前記第 7の画像処理装置において、前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする。

[0027] 本発明の第 18の画像処理装置は、前記第 8の画像処理装置において、前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする。

[0028] 本発明の第 19の画像処理装置は、前記第 9の画像処理装置において、前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする。

[0029] 本発明の第 20の画像処理装置は、前記第 10の画像処理装置において、前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする。

[0030] 本発明の第 21の画像処理装置は、前記第 11の画像処理装置において、前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする。

[0031] 本発明の第 22の画像処理装置は、前記第 12の画像処理装置において、前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする。

[0032] 本発明の第 23の画像処理装置は、前記第 13の画像処理装置において、前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする。

[0033] 本発明の第 24の画像処理装置は、前記第 14の画像処理装置において、前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする。

[0034] 本発明の第 25の画像処理装置は、前記第 15の画像処理装置において、前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする。

[0035] 本発明の第 26の画像処理装置は、前記第 16の画像処理装置において、前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする。

[0036] 本発明の第 27の画像処理装置は、撮像機能を有する医療機器により撮像された画像に基づく画像信号を入力する画像信号入力手段と、前記画像信号入力手段にお！ヽて入力した画像信号に基づき、前記画像を各々複数の領域に分割する画像分割手段と、前記画像分割手段により分割された前記複数の領域各々における特徴量を算出する特徴量算出手段と、前記特徴量及び前記特徴量の発生頻度に基づき、特徴空間において複数のクラスタを生成するとともに、該複数のクラスタを複数のクラスの、ずれかに各々分類するクラスタ分類手段と、前記クラスタ分類手段の分類結果に基づき、前記複数の領域を前記複数のクラスのいずれかに各々分類する画像領域分類手段と、を具備することを特徴とする。

[0037] 本発明の第 28の画像処理装置は、撮像機能を有する医療機器により撮像された画像に基づく画像信号を入力する画像信号入力手段と、前記画像信号入力手段にお！ヽて入力した画像信号に基づき、前記画像を各々複数の領域に分割する画像分割手段と、前記画像分割手段により分割された前記複数の領域各々における特徴量を算出する特徴量算出手段と、前記特徴量及び前記特徴量の発生頻度に基づき、特徴空間において複数のクラスタを生成するとともに、該複数のクラスタを複数のクラスのいずれかに各々分類するクラスタ分類手段と、前記特徴空間における前記特徴量の分布状態に関する情報である、特徴量分布情報を得る特徴量分布情報取得手段と、前記特徴量分布情報取得手段が取得した前記特徴量分布情報に基づき、前記複数の領域を前記複数のクラスの!/、ずれかに各々分類する画像領域分類手段と、を具備することを特徴とする。

[0038] 本発明の第 29の画像処理装置は、前記第 27の画像処理装置において、前記画像は、時系列的に連続して撮像された複数の画像であることを特徴とする。

[0039] 本発明の第 30の画像処理装置は、前記第 28の画像処理装置において、前記画像は、時系列的に連続して撮像された複数の画像であることを特徴とする。

[0040] 本発明の第 31の画像処理装置は、撮像機能を有する医療機器により撮像された画像に基づく画像信号を入力する画像信号入力手段と、前記画像信号入力手段にお！ヽて入力した画像信号に基づき、前記画像を各々複数の領域に分割する画像分割手段と、前記画像分割手段により分割された前記複数の領域各々における複数の種類の特徴量を算出する特徴量算出手段と、前記複数の種類の特徴量のうち、一の種類の特徴量及び該一の種類の特徴量の発生頻度に基づき、一の特徴空間において複数のクラスタを生成するとともに、該複数のクラスタを複数のクラスのいずれかに各々分類する第 1のクラスタ分類手段と、前記複数の種類の特徴量のうち、他の種類の特徴量及び該他の種類の特徴量の発生頻度に基づき、他の特徴空間において複数のクラスタを生成するとともに、該複数のクラスタを複数のクラスの、ずれかに各々分類する第 2のクラスタ分類手段と、前記一の特徴空間及び前記他の特徴空間における特徴量の分布状態に基づき、前記一の特徴空間において生成された複数のクラスタに対する分割処理を行うクラスタ分割手段と、を具備することを特徴とする。

[0041] 本発明の第 32の画像処理装置は、前記第 5の画像処理装置において、前記病変検出手段は、前記医療機器に設けられていることを特徴とする。 [0042] 本発明の第 33の画像処理装置は、前記第 6の画像処理装置において、前記病変検出手段は、前記医療機器に設けられていることを特徴とする。

[0043] 本発明の第 34の画像処理装置は、前記第 7の画像処理装置において、前記変動検出手段は、前記時系列的に検出された代表値の変動が極大となる画像または時間のいずれかを検出する処理を行うことを特徴とする。

[0044] 本発明の第 35の画像処理装置は、前記第 27の画像処理装置において、さらに、前記画像領域分類手段によって分類された領域のうち、特定の領域が前記画像上において所定の割合以上を占める場合、当該画像を特定の臓器が撮像された画像であると判定する撮像部位判定手段を有することを特徴とする。

[0045] 本発明の第 36の画像処理装置は、前記第 28の画像処理装置において、さらに、前記画像領域分類手段によって分類された領域のうち、特定の領域が前記画像上において所定の割合以上を占める場合、当該画像を特定の臓器が撮像された画像であると判定する撮像部位判定手段を有することを特徴とする。

[0046] 本発明の第 1の画像処理装置における画像処理方法は、撮像機能を有する医療機器により撮像された画像に基づいて入力される画像信号に基づき、前記画像を各々複数の領域に分割する画像分割ステップと、前記画像分割ステップにより分割された前記複数の領域各々における特徴量を算出する特徴量算出ステップと、前記特徴量及び前記特徴量の発生頻度に基づき、特徴空間において複数のクラスタを生成するとともに、該複数のクラスタを複数のクラスのいずれか〖こ各々分類するクラスタ分類ステップと、前記複数の画像を用い、前記複数の画像が各々撮像されたタイミングに基づく複数のサブセットを生成するサブセット生成ステップと、前記サブセット生成ステップにより生成された一のサブセットに含まれる画像各々の、前記特徴空間における前記特徴量の分布状態に基づき、前記一のサブセットに含まれる画像を各々分類する際の分類基準を算出する分類基準算出ステップと、を具備することを特徴とする。

[0047] 本発明の第 2の画像処理装置における画像処理方法は、前記第 1の画像処理装置における画像処理方法において、さらに、前記分類基準算出ステップは、前記複数のクラスのうち、一のサブセットにおいて前記特徴量が発生しないクラスについては、前記分類基準を算出しないことを特徴とする。

[0048] 本発明の第 3の画像処理装置における画像処理方法は、前記第 1の画像処理装置における画像処理方法において、前記複数のクラスは、生体粘膜に関するクラスと、非生体粘膜に関するクラスとを少なくとも有することを特徴とする。

[0049] 本発明の第 4の画像処理装置における画像処理方法は、前記第 2の画像処理装置における画像処理方法において、前記複数のクラスは、生体粘膜に関するクラスと、非生体粘膜に関するクラスとを少なくとも有することを特徴とする。

[0050] 本発明の第 5の画像処理装置における画像処理方法は、前記第 3の画像処理装置における画像処理方法において、さらに、前記分類基準に基づき、前記一のサブセットに含まれる一の画像における各領域の分類を行う分類ステップと、前記一の画像の分類結果に基づき、前記一の画像が前記生体粘膜に関するクラスとして分類された領域を有している場合、該領域各々に対し、病変箇所を検出するための処理を行う病変検出ステップと、を有することを特徴とする。

[0051] 本発明の第 6の画像処理装置における画像処理方法は、前記第 4の画像処理装置における画像処理方法において、さらに、前記分類基準に基づき、前記一のサブセットに含まれる一の画像における各領域の分類を行う分類ステップと、前記一の画像の分類結果に基づき、前記一の画像が前記生体粘膜に関するクラスとして分類された領域を有している場合、該領域各々に対し、病変箇所を検出するための処理を行う病変検出ステップと、を有することを特徴とする。

[0052] 本発明の第 7の画像処理装置における画像処理方法は、撮像機能を有する医療機器により撮像された画像に基づいて入力される画像信号に基づき、前記画像を各々複数の領域に分割する画像分割ステップと、前記画像分割ステップにより分割された前記複数の領域各々における特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記複数の領域各々を複数のクラスの!/、ずれかに各々分類する画像領域分類ステップと、前記複数の画像各々において、少なくとも一のクラスの特徴量の代表値を算出する代表値算出ステップと、前記代表値の変動が極大となる画像または時間のいずれかを検出する変動検出ステップと、を具備することを特徴とする [0053] 本発明の第 8の画像処理装置における画像処理方法は、前記第 7の画像処理装置における画像処理方法において、さらに、前記代表値各々に対して時系列方向の平滑ィ匕を適用する平滑化ステップを有し、前記平滑化ステップにより平滑ィ匕された後の前記代表値に基づき、前記代表値の変動が極大となる画像または時間の、ずれかを検出する処理を前記変動検出ステップにおいて行うことを特徴とする。

[0054] 本発明の第 9の画像処理装置における画像処理方法は、前記第 7の画像処理装置における画像処理方法において、前記代表値の変動は、生体内における観察部位の変化に基づいて生じるものであることを特徴とする。

[0055] 本発明の第 10の画像処理装置における画像処理方法は、前記第 8の画像処理装置における画像処理方法において、前記代表値の変動は、生体内における観察部位の変化に基づいて生じるものであることを特徴とする。

[0056] 本発明の第 11の画像処理装置における画像処理方法は、前記第 7の画像処理装置における画像処理方法において、前記代表値の変動は、生体内における便の存在に基づ、て生じるものであることを特徴とする。

[0057] 本発明の第 12の画像処理装置における画像処理方法は、前記第 8の画像処理装置における画像処理方法において、前記代表値の変動は、生体内における便の存在に基づ、て生じるものであることを特徴とする。

[0058] 本発明の第 13の画像処理装置における画像処理方法は、前記第 7の画像処理装置における画像処理方法において、前記代表値の変動は、生体内における胆汁の存在に基づ!/、て生じるものであることを特徴とする。

[0059] 本発明の第 14の画像処理装置における画像処理方法は、前記第 8の画像処理装置における画像処理方法において、前記代表値の変動は、生体内における胆汁の存在に基づ!/、て生じるものであることを特徴とする。

[0060] 本発明の第 15の画像処理装置における画像処理方法は、前記第 7の画像処理装置における画像処理方法において、前記代表値の変動は、生体内における病変部位の存在に基づいて生じるものであることを特徴とする。

[0061] 本発明の第 16の画像処理装置における画像処理方法は、前記第 8の画像処理装置における画像処理方法において、前記代表値の変動は、生体内における病変部位の存在に基づいて生じるものであることを特徴とする。

[0062] 本発明の第 17の画像処理装置における画像処理方法は、前記第 7の画像処理装置における画像処理方法において、前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする。

[0063] 本発明の第 18の画像処理装置における画像処理方法は、前記第 8の画像処理装置における画像処理方法において、前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする。

[0064] 本発明の第 19の画像処理装置における画像処理方法は、前記第 9の画像処理装置における画像処理方法において、前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする。

[0065] 本発明の第 20の画像処理装置における画像処理方法は、前記第 10の画像処理装置における画像処理方法において、前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする。

[0066] 本発明の第 21の画像処理装置における画像処理方法は、前記第 11の画像処理装置における画像処理方法において、前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする。

[0067] 本発明の第 22の画像処理装置における画像処理方法は、前記第 12の画像処理装置における画像処理方法において、前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする。

[0068] 本発明の第 23の画像処理装置における画像処理方法は、前記第 13の画像処理装置における画像処理方法において、前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする。

[0069] 本発明の第 24の画像処理装置における画像処理方法は、前記第 14の画像処理装置における画像処理方法において、前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする。

[0070] 本発明の第 25の画像処理装置における画像処理方法は、前記第 15の画像処理装置における画像処理方法において、前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする。 [0071] 本発明の第 26の画像処理装置における画像処理方法は、前記第 16の画像処理装置における画像処理方法において、前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする。

[0072] 本発明の第 27の画像処理装置における画像処理方法は、撮像機能を有する医療機器により撮像された画像に基づいて入力される画像信号に基づき、前記画像を各々複数の領域に分割する画像分割ステップと、前記画像分割ステップにより分割された前記複数の領域各々における特徴量を算出する特徴量算出ステップと、前記特徴量及び前記特徴量の発生頻度に基づき、特徴空間において複数のクラスタを生成するとともに、該複数のクラスタを複数のクラスのいずれか〖こ各々分類するクラスタ分類ステップと、前記クラスタ分類ステップの分類結果に基づき、前記複数の領域を前記複数のクラスのヽずれかに各々分類する画像領域分類ステップと、を具備することを特徴とする。

[0073] 本発明の第 28の画像処理装置における画像処理方法は、撮像機能を有する医療機器により撮像された画像に基づいて入力される画像信号に基づき、前記画像を各々複数の領域に分割する画像分割ステップと、前記画像分割ステップにより分割された前記複数の領域各々における特徴量を算出する特徴量算出ステップと、前記特徴量及び前記特徴量の発生頻度に基づき、特徴空間において複数のクラスタを生成するとともに、該複数のクラスタを複数のクラスのいずれか〖こ各々分類するクラスタ分類ステップと、前記特徴空間における前記特徴量の分布状態に関する情報である、特徴量分布情報を得る特徴量分布情報取得ステップと、前記特徴量分布情報取得ステップが取得した前記特徴量分布情報に基づき、前記複数の領域を前記複数のクラスの、ずれかに各々分類する画像領域分類ステップと、を具備することを特徴とする。

[0074] 本発明の第 29の画像処理装置における画像処理方法は、前記第 27の画像処理装置における画像処理方法において、前記画像は、時系列的に連続して撮像された複数の画像であることを特徴とする。

[0075] 本発明の第 30の画像処理装置における画像処理方法は、前記第 28の画像処理装置における画像処理方法において、前記画像は、時系列的に連続して撮像された複数の画像であることを特徴とする。

[0076] 本発明の第 31の画像処理装置における画像処理方法は、撮像機能を有する医療機器により撮像された画像に基づいて入力される画像信号に基づき、前記画像を各々複数の領域に分割する画像分割ステップと、前記画像分割ステップにより分割された前記複数の領域各々における複数の種類の特徴量を算出する特徴量算出ステップと、前記複数の種類の特徴量のうち、一の種類の特徴量及び該一の種類の特徴量の発生頻度に基づき、一の特徴空間において複数のクラスタを生成するとともに、該複数のクラスタを複数のクラスのいずれかに各々分類する第 1のクラスタ分類ステツプと、前記複数の種類の特徴量のうち、他の種類の特徴量及び該他の種類の特徴量の発生頻度に基づき、他の特徴空間において複数のクラスタを生成するとともに、該複数のクラスタを複数のクラスの、ずれかに各々分類する第 2のクラスタ分類ステツプと、前記一の特徴空間及び前記他の特徴空間における特徴量の分布状態に基づき、前記一の特徴空間において生成された複数のクラスタに対する分割処理を行うクラスタ分割ステップと、を具備することを特徴とする。

[0077] 本発明の第 32の画像処理装置における画像処理方法は、前記第 5の画像処理装置における画像処理方法において、前記病変検出ステップは、前記医療機器内にお!、て行われることを特徴とする

本発明の第 33の画像処理装置における画像処理方法は、前記第 6の画像処理装置における画像処理方法において、前記病変検出ステップは、前記医療機器内にお!、て行われることを特徴とする。

[0078] 本発明の第 34の画像処理装置における画像処理方法は、前記第 7の画像処理装置における画像処理方法において、前記変動検出ステップは、前記時系列的に検出された代表値の変動が極大となる画像または時間のいずれかを検出する処理を行うことを特徴とする。

[0079] 本発明の第 35の画像処理装置における画像処理方法は、前記第 27の画像処理装置における画像処理方法において、さらに、前記画像領域分類ステップによって分類された領域のうち、特定の領域が前記画像上において所定の割合以上を占める場合、当該画像を特定の臓器が撮像された画像であると判定する撮像部位判定ステツプを有することを特徴とする。

[0080] 本発明の第 36の画像処理装置における画像処理方法は、前記第 28の画像処理装置における画像処理方法において、さらに、前記画像領域分類ステップによって分類された領域のうち、特定の領域が前記画像上において所定の割合以上を占める場合、当該画像を特定の臓器が撮像された画像であると判定する撮像部位判定ステツプを有することを特徴とする。

図面の簡単な説明

[0081] [図 1]本発明の第 1の実施形態である画像処理動作が行われる画像処理装置および周辺機器の外観を示した外観正面図。

[図 2]第 1の実施形態の画像処理装置において処理する所定の画像情報を生成するカプセル型内視鏡の一部を切り取って示した要部拡大断面図。

[図 3]第 1の実施形態の画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の概略内部構成を示すブロック図。

[図 4]第 1の実施形態の画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の一使用例を示した図。

[図 5]図 2に示すカプセル型内視鏡から出力される信号の一例を示したタイミングチヤート。

[図 6]図 2に示すカプセル型内視鏡の位置検出を説明する説明図。

[図 7]図 3に示すカプセル型内視鏡装置を使用した際におけるアンテナユニットを示した要部拡大断面図。

[図 8]図 3に示すカプセル型内視鏡装置を使用した際におけるシールドジャケットを説明する説明図。

[図 9]図 3に示すカプセル型内視鏡装置の外部装置の被検体への装着状態を説明する説明図。

[図 10]図 2に示すカプセル型内視鏡の電気的な構成を示すブロック図。

[図 11]第 1の実施形態に係る画像処理動作を示すフローチャート。

[図 12]制御部が行う処理により作成される、特徴空間におけるヒストグラムの一例を示す図。 [図 13]制御部が行う処理により作成される、特徴空間におけるクラスタの一例を示す図。

[図 14]図 13に示すクラスタのうち、特徴空間における面積または体積が所定の閾値未満であるクラスタが削除される様子を示す図。

[図 15]制御部が行う処理である、境界が接している 2つ以上のクラスタの統合または分離判定の処理の一例を示すフローチャート。

圆 16]胃粘膜クラス及び絨毛クラスに分類された領域が有する特徴量; z gpの、サブセット毎の時間方向における変化を示すグラフ。

[図 17]図 16のグラフに示される特徴量/ z gpにおいて、時間方向への平滑化処理を行った場合のグラフ。

[図 18]制御部が行う処理である、病変検出処理の一例を示すフローチャート。

圆 19]第 2の実施形態に係る画像処理動作を示すフローチャート。

圆 20]第 2の実施形態において制御部が行う処理により作成される、特徴空間におけるヒストグラムの一例を示す図。

圆 21]第 2の実施形態において制御部が行う処理により作成される、特徴空間におけるクラスタの一例を示す図。

[図 22]図 21に示すクラスタのうち、特徴空間における面積または体積が所定の閾値未満であるクラスタが削除される様子を示す図。

[図 23]制御部が行う処理である、境界が接している 2つ以上のクラスタの統合または分離判定の処理の一例を示すフローチャート。

[図 24]図 19に示す画像処理動作の変形例を示すフローチャート。

圆 25]第 3の実施形態に係る画像処理動作を示すフローチャート。

[図 26]図 25に示す処理に弓 Iき続ヽて行われる画像処理動作を示すフローチャート。圆 27]第 3の実施形態において制御部が行う処理により作成される、特徴空間におけるヒストグラムの一例を示す図。

[図 28]第 3の実施形態において制御部が行う第 2の教師なしクラスタリング処理により作成される、特徴空間におけるクラスタの一例を示す図。

[図 29]第 3の実施形態において制御部が行う第 1の教師なしクラスタリング処理により作成される、特徴空間におけるクラスタの一例を示す図。

[図 30]第 3の実施形態において制御部が行うクラスタの分割処理により、図 29に示すクラスタ Cがクラスタ C1及びクラスタ C2に分割された状態を示す図。

発明を実施するための最良の形態

[0082] 以下、図面を参照して本発明の実施の形態を説明する。

[0083] (第 1の実施形態）

図 1から図 18は、本発明の第 1の実施形態に係るものである。

[0084] 図 1は、本発明の第 1の実施形態である画像処理動作が行われる画像処理装置および周辺機器の外観を示した外観正面図である。図 2は、第 1の実施形態の画像処理装置において処理する所定の画像情報を生成するカプセル型内視鏡の一部を切り取って示した要部拡大断面図である。図 3は、第 1の実施形態の画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の概略内部構成を示すブロック図である。図 4は、第 1の実施形態の画像処理装置に所定の画像情報を供給する力プセル型内視鏡装置の一使用例を示した図である。図 5は、図 2に示すカプセル型内視鏡から出力される信号の一例を示したタイミングチャートである。図 6は、図 2に示すカプセル型内視鏡の位置検出を説明する説明図である。図 7は、図 3に示す力プセル型内視鏡装置を使用した際におけるアンテナユニットを示した要部拡大断面図である。図 8は、図 3に示すカプセル型内視鏡装置を使用した際におけるシールドジャケットを説明する説明図である。図 9は、図 3に示すカプセル型内視鏡装置の外部装置の被検体への装着状態を説明する説明図である。図 10は、図 2に示すカブセル型内視鏡の電気的な構成を示すブロック図である。図 11は、第 1の実施形態に係る画像処理動作を示すフローチャートである。図 12は、制御部が行う処理により作成される、特徴空間におけるヒストグラムの一例を示す図である。図 13は、制御部が行う処理により作成される、特徴空間におけるクラスタの一例を示す図である。図 14 は、図 13に示すクラスタのうち、特徴空間における面積または体積が所定の閾値未満であるクラスタが削除される様子を示す図である。図 15は、制御部が行う処理である、境界が接している 2つ以上のクラスタの統合または分離判定の処理の一例を示すフローチャートである。図 ₁₆は、胃粘膜クラス及び絨毛クラスに分類された領域が有する特徴量 gpの、サブセット毎の時間方向における変化を示すグラフである。図 1 7は、図 16のグラフに示される特徴量/ z gpにおいて、時間方向への平滑化処理を行つた場合のグラフである。図 18は、制御部が行う処理である、病変検出処理の一例を示すフローチャートである。

[0085] 本発明の第 1の実施形態である画像処理装置に所定の画像情報を供給するカブセル型内視鏡装置 1は、図 3に示すように、カプセル型内視鏡 3、アンテナユニット 4 及び外部装置 5とを有して要部が構成されて、る。

[0086] 医療機器としてのカプセル型内視鏡 3は、詳細は後述するが、被検体である患者 2 のロカ体腔内に飲み込まれることにより体腔内に配置された後、蠕動運動により消化管内を進行する形状に形成され、かつ、内部に体腔内を撮像し、その撮像画像情報を生成する撮像機能と、その撮像画像情報を体外に送信する送信機能とを有している。アンテナユニット 4は、詳細は後述するが、患者 2の身体表面上に設置され、前記カプセル型内視鏡 3から送信される撮像画像情報を受信する複数の受信アンテナ 11を有している。外部装置 5は、外形が箱形形状に形成されており、詳細は後述するが、前記アンテナユニット 4が受信した撮像画像情報の各種処理、撮像画像情報の記録、及び撮像画像情報による撮像画像表示等の機能を有している。この外部装置 5の外装の表面に前記撮像画像を表示させる液晶モニタ 12と、各種機能の操作指示を行う操作部 13とが設けられている。

[0087] また、この外部装置 5は、駆動電源用の電池の残量に関する警告表示用の LEDと、電源スィッチ等のスィッチ力もなる操作部 13とが外装の表面に設けられている。又、カプセル型内視鏡 3の内部には、 CPU及びメモリを用いた演算実行部が設けられており、例えば、該演算実行部において、受信及び記録した撮像画像情報に対して後述する画像処理が実行されるような構成であっても良い。

[0088] この外部装置 5は、患者 2の身体に着脱自在に装着されると共に、図 1に示すように、クレードル 6に装着されることにより、本発明の第 1の実施形態である画像処理装置 (以下、端末装置と記す) 7に着脱自在に接続されるようになっている。この端末装置 7は、たとえば、パーソナルコンピュータが用いられ、各種データの処理機能や記憶機能を有する端末本体 9と、各種操作処理入力用のキーボード 8a及びマウス 8bと、及び各種処理結果を表示するディスプレイ 8cとを有している。この端末装置 7は、基本的機能として、例えば、前記外部装置 5に記録されている撮像画像情報をクレードル 6を介して取り込み、端末本体 9に内蔵されている書換可能なメモリ、或いは端末本体 9に着脱自在な書換可能な半導体メモリ等の可搬型メモリに書込記録させ、つ、その記録した撮像画像情報をディスプレイ 8cに表示する画像処理を行うような機能を有している。なお、前記外部装置 5に記憶されている撮像画像情報は、前記タレ一ドル 6に代えて、 USBケーブル等によって端末装置 7に取り込まれるようにしても良い。

[0089] なお、端末装置 7が行う画像処理は、例えば、前記外部装置 5から取り込み記録した撮像画像情報から経過時間に応じて表示させる画像を選択する処理、及び後述する画像処理として、端末本体 9が有する制御部 9aにおいて行われる。制御部 9aは、 CPU (中央処理装置)等を有し、例えば、前述したような処理を行う場合に、処理結果を一時的に図示しないレジスタ等に保持することができる。

[0090] 次に、前記カプセル型内視鏡 3の外形と内部構造について、図 2を用いて説明する。カプセル型内視鏡 3は、断面が U字状の外装部材 14と、この外装部材 14の先端側の開放端に接着剤により水密装着された透明部材により形成された略半球形状の力バー部材 14aと有する。そのため、カプセル型内視鏡 3の外装は、外装部材 14と、力バー部材 14aとが接続された状態においては、水密構造かつカプセル形状を有するように形成されている。

[0091] この外装部材 14とカバー部材 14aを有するカプセル形状の内部中空部であって、前記カバー部材 14aの半球の円弧の略中央にあたる部分には、カバー部材 14aを介して入射された観察部位像を取り込む対物レンズ 15がレンズ枠 16に収納されて配置されている。この対物レンズ 15の結像位置には、撮像素子である電荷結合素子 (以降、 CCDと記す） 17が配置されている。また、前記対物レンズ 15を収納するレンズ枠 16の周囲には、照明光を発光放射させる 4つの白色系の LED18が同一平面上に配置されて、る（図中には 2つの LEDのみを表記して!/、る）。前記 CCD17の後端側の前記外装部材 14の内部中空部には、前記 CCD17を駆動制御して光電変換された撮像信号の生成、その撮像信号に所定の信号処理を施して撮像画像信号を生成する撮像処理、及び前記 LED 18の点灯 Z非点灯の動作を制御する LED駆動の処理を行う処理回路 19と、この処理回路 19の撮像処理により生成された撮像画像信号を無線信号に変換して送信する通信処理回路 20と、この通信処理回路 20からの無線信号を外部に送信する送信アンテナ 23と、前記処理回路 19と通信処理回路 20の駆動用電源を供給する複数のボタン型の電池 21とが配置されている。

[0092] なお、 CCD17、 LED18、処理回路 19、通信処理回路 20及び送信アンテナ 23は、図示しない基板上に配置され、それらの基板の間は、図示しないフレキシブル基板にて接続されている。また、前記処理回路 19には、後述する画像処理を行うための図示しない演算回路を備えている。つまり、前記カプセル型内視鏡 3は、図 3に示すように、前記 CCD17、 LED18及び処理回路 19とを有する撮像装置 43と、前記通信処理回路 20を有する送信器 37と、送信アンテナ 23とを有する。

[0093] 次に、前記カプセル型内視鏡 3の撮像装置 43の詳細構成について、図 10を用いて説明する。撮像装置 43は、 LED18の点灯 Z非点灯の動作を制御する LEDドライバ 18Aと、 CCD 17の駆動を制御して光電変換された電荷の転送を行う為の CCDドライバ 17Aと、前記 CCD 17から転送された電荷を用いて撮像信号を生成し、かつ、その撮像信号に所定の信号処理を施して撮像画像信号を生成する処理回路 19Aと、前記 LEDドライバ 18A、 CCDドライバ 17A、処理回路 19A、及び送信器 37に電池 21からの駆動電源を供給するスィッチ部と、前記スィッチ部及び CCDドライバ 17 Aにタイミング信号を供給するタイミングジェネレータ 19Bとからなっている。なお、前記スィッチ部は、電池 21から前記 LEDドライバ 18Aへの電源供給をオン Zオフをするスィッチ 19Cと、前記 CCD17、 CCDドライバ 17A及び処理回路 19Aへの電源供給をオン ·オフするスィッチ 19Dと、前記送信器 37への電源供給をオン Zオフするスイッチ 19Eとからなっている。また、前記タイミングジェネレータ 19Bには、電池 21から常時駆動電源が供給されるようになって！/ヽる。

[0094] このような構成を有するカプセル型内視鏡 3の撮像装置 43においては、スィッチ 19 Cと、スィッチ 19Dと、スィッチ 19Eとがオフ状態である場合、タイミングジェネレータ 1 9B以外の各部は非動作状態である。そして、タイミングジェネレータ 19B力もタイミング信号が出力されると、前記スィッチ 19Dがオンされ、これにより、電池 21から電源が供給された CCD17、 CCDドライバ 17A及び処理回路 19Aは動作状態となる。

[0095] 前記 CCD17の駆動初期時に、 CCD17の電子シャッターを動作させて、不要な暗電流を除去した後、タイミングジェネレータ 19Bは、スィッチ 19Cをオンさせて LEDドライバ 18 Aを駆動させて LED 18を点灯させ CCD 17を露光する。 LED18は、 CCD 17の露光に必要な所定の時間だけ点灯された後、消費電力低減の為に、スィッチ 1 9Cがオフしたタイミングにお!/、て消灯される。

[0096] 前記 CCD17の露光が行われた前記所定の時間内に蓄えられた電荷は、 CCDドラィバ 17Aの制御により処理回路 19Aへ転送される。処理回路 19Aは、 CCD17から転送された電荷を基に撮像信号を生成し、その撮像信号に所定の信号処理を施して内視鏡画像信号を生成する。処理回路 19Aは、例えば、送信器 37から送信される信号がアナログ無線方式である場合、 CDS出力信号に対して複合同期信号を重畳させたアナログ撮像信号を生成した後、該アナログ撮像信号を内視鏡画像信号として送信器 37へ出力する。また、処理回路 19Aは、例えば、送信器 37から送信される信号がデジタル無線方式である場合、アナログ Zデジタルコンバータにより生成したシリアルなデジタル信号に対し、さらにスクランブル等の符号ィ匕処理を施したデジタル撮像画像信号を生成し、該デジタル撮像信号を内視鏡画像信号として送信器 37 へ出力する。

[0097] この送信器 37は、前記処理回路 19Aから供給された内視鏡画像信号である、アナログ撮像画像信号またはデジタル撮像画像信号に対して変調処理を施して送信アンテナ 23から外部へ無線送信する。この時、スィッチ 19Eは、前記処理回路 19Aから撮像画像信号が出力されたタイミングにおいてのみ送信器 37に駆動電力が供給されるように、タイミングジェネレータ 19Bによりオン/オフされる。

[0098] なお、スィッチ 19Eは、処理回路 19Aから撮像画像信号が出力されて力も所定の時間が経過した後に、送信器 37に駆動電力が供給されるように制御されても良い。また、スィッチ 19Eは、カプセル型内視鏡 3に設けられた、図示しない pHセンサーによる所定値の pH値の検出、図示しない湿度センサーによる所定値以上の湿度の検出、図示しない圧力センサーまたは図示しない加速度センサーによる所定値以上の圧力または加速度の検出等の検出結果に基づいてタイミングジェネレータ 19Bから出力される信号により、被検体である患者 2の体腔内に挿入された際に、送信器 37 に電源を供給するように制御されるような構成を有して、ても良、。

[0099] なお、前記カプセル型内視鏡 3の撮像装置 43は、通常毎秒 2枚の画像 (毎秒 2フレーム = 2fps)を撮像するものである力例えば、食道の検査の場合は、毎秒 15〜30 枚の画像（15fps〜30fps)を撮像できるようにする。具体的には、カプセル型内視鏡 3に、図示しないタイマー回路を設け、このタイマー回路により、例えば、タイマーカウントが所定時間以内においては毎秒当たりの撮像枚数の多い高速撮像とし、所定時間が経過した後は、毎秒当たりの撮像枚数の少なヽ低速撮像となるように撮像装置 4 3の駆動を制御させる。或いは、カプセル型内視鏡 3の電源の投入と共にタイマー回路を作動させて、このタイマー回路により、例えば、患者 2が飲み込んだ直後の食道を通過するまでの時間は高速撮像となるように、撮像装置 43の駆動を制御させることも可能である。さらに、低速撮像用カプセル型内視鏡と高速撮像用カプセル型内視鏡とを個別に設けて、観察対象部位に応じて使、分けるようにしても良、。

[0100] 次に、前記患者 2の身体表面上に設置されるアンテナユニット 4について説明する。図 4に示すように、カプセル型内視鏡 3を飲み込んで内視鏡検査を行う場合、患者 2は、複数の受信アンテナ 11からなるアンテナユニット 4が設置されたジャケット 10を装着する。このアンテナユニット 4は、図 7に示すように、たとえば、 GPSに使用されて V、るパッチアンテナのような単方向の指向性を有する複数の受信アンテナ 11を患者 2の身体内方向にその指向性を向けて配置する。つまり、カプセル型内視鏡 3のカプセル本体 3Dは、身体内に留置されるため、その身体内のカプセル本体 3Dを取り囲むように前記複数のアンテナ 11が配置される。この指向性の高、アンテナ 11を使用することにより、身体内のカプセル本体 3D以外力の電波による干渉妨害の影響を受けにくくしている。

[0101] 前記ジャケット 10は、図 8に示すように、患者 2の身体表面に設置する前記アンテナユニット 4と、ベルトにより患者 2の腰に設置された外部装置 5の本体部 5Dを覆うように電磁シールド繊維で形成されたシールドジャケット 72とからなる。このシールドジャケット 72を形成する電磁シールド繊維は、金属繊維、金属化学繊維、硫化銅含有繊維等が用いられている。なお、このシールドジャケット 72は、ジャケット形状に限るものではなぐ例えば、ベスト、ワンピース形状等であっても良い。

[0102] 又、前記シールドジャケット 72に前記外部装置 5を装着する例として、図 9に示すように、前記外部装置 5の外部本体 5Dに鍵穴 74を設け、前記シールドジャケット 72に設けた鍵 75を前記鍵穴 74に差し込むことにより、ベルト 73に着脱自在に装着できるようにする。或いは、単にシールドジャケット 72に図示しないポケットを設け、そのポケットに外部本体 5Dを収納したり、又は、外部装置 5の外部本体 5Dとシールドジャケット 72にマジックテープ (登録商標）を設置し、そのマジックテープ (登録商標）により取付固定しても良い。

[0103] つまり、アンテナユニット 4が配置された身体にシールドジャケット 72を装着することにより、アンテナユニット 4に対する外部力もの電波がシールド遮蔽されて、外部電波による干渉妨害の影響を一層受けに《している。

[0104] 次に、前記アンテナユニット 4と外部装置 5の構成について、図 3を用いて説明する。前記アンテナユニット 4は、前記カプセル型内視鏡 3の送信アンテナ 23から送信された無線信号を受信する複数の受信アンテナ 1 la〜 1 Idと、このアンテナ 1 la〜 11 dを切り替えるアンテナ切換スィッチ 45とからなる。前記外部装置 5は、アンテナ切換スィッチ 45からの無線信号を撮像画像信号に変換及び増幅等の受信処理を行う受信回路 33と、この受信回路 33から供給された撮像画像信号に所定の信号処理を施して、撮像画像の表示用信号及び撮像画像データを生成する信号処理回路 35と、この信号処理回路 35により生成された撮像画像表示用信号に基づいて撮像画像を表示する液晶モニタ 12と、前記信号処理回路 35により生成された撮像画像データを記憶するメモリ 47と、前記受信回路 33により受信処理された無線信号の大きさにより前記アンテナ切換スィッチ 45を制御するアンテナ選択回路 46とからなる。

[0105] 前記アンテナユニット 4の図中受信アンテナ 1 la〜l Idとして示した複数の受信ァンテナ 11は、前記カプセル型内視鏡 3の送信アンテナ 23から一定の電波強度により送信された無線信号を受信する。この複数の受信アンテナ 11a〜： L idは、前記外部装置 5のアンテナ選択回路 46からのアンテナ選択信号によりアンテナ切替スィッチ 4 5が制御されて、前記無線信号を受信する受信アンテナを順次切り替える。つまり、前記アンテナ切替スィッチ 45により順次切り替えられた各受信アンテナ l la〜d毎に受信した無線信号が前記受信器 33に出力される。この受信器 33において、各受信アンテナ 11a〜： L id毎の無線信号の受信強度を検出して、各受信アンテナ l la〜l l dとカプセル型内視鏡 3の位置関係を算出すると共に、その無線信号を復調処理して撮像画像信号を信号処理回路 35へと出力する。前記アンテナ選択回路 46は、前記受信器 33からの出力によって制御される。

[0106] 前記アンテナ選択回路 46によるアンテナ切替スィッチ 45の動作について説明する。前記カプセル型内視鏡 3から送信される無線信号は、図 5に示すように、撮像画像信号の 1フレームの送信期間に、無線信号の受信強度を示す受信強度信号の送信期間である強度受信期間と、撮像画像信号の送信期間である映像信号期間とが順次繰り返されて送信されるとする。

[0107] 前記アンテナ選択回路 46は、前記受信回路 33を介して、各受信アンテナ l la〜l Idが受信した受信強度信号の受信強度が供給される。前記アンテナ選択回路 46は、前記受信器 33からの供給された各アンテナ 1 la〜l Idの受信強度信号の強度を比較して、映像信号期間の撮像画像信号を受信する最適な受信アンテナ、つまり、受信強度信号の強度が最も高、アンテナ 1 li (i=a〜d)を決定して、アンテナ切替回路 45をそのアンテナ l liに切り替えるための制御信号を生成出力する。これにより、現在画像信号を受信しているアンテナよりも、他のアンテナの受信強度信号の受信強度が高い場合には、映像信号期間の受信アンテナを次フレーム分力ゝら切り替えるようにする。

[0108] このように、カプセル型内視鏡 3からの無線信号を受信するたびに、撮像画像信号、又は受信強度信号の受信強度を比較し、この比較結果を受けたアンテナ選択回路 46によって受信強度が最大となるアンテナ 1 liを画像信号受信用のアンテナとを指定するようにしている。これにより、カプセル型内視鏡 3が患者 2の体内で移動しても、その移動位置において最も受信強度の高い信号を検出できるアンテナ 11により取得した画像信号を受信することができる。また、体内でのカプセル型内視鏡 3の移動速度は非常に遅い部分と早い部分に分かれるので、撮像動作 1回につき常にアンテナ切替動作を 1回行うとは限らず、高速撮像モードなどでは複数回の撮像動作に対してアンテナ切替動作を 1回行うようにしてもよ!、。 [0109] なお、カプセル型内視鏡 3は、患者 2の体内を移動して!/、るので、適宜の時間間隔で外部装置 5から電波強度を検出した結果である検出結果信号を送り、その信号に基づいてカプセル型内視鏡 3が送信する際のその出力を更新するようにしてもよい。このようにすれば、カプセル型内視鏡 3が患者 2の体内を移動した場合にも、適切な送信出力に設定でき、電池 21のエネルギを無駄に消費すること等を防止でき、信号の送受信状態を適切な状態に維持できるようになる。

[0110] 次に、前記複数の受信アンテナ 11とカプセル型内視鏡 3の位置関係を示す情報の取得方法について、図 6を用いて説明する。なお、図 6において、カプセル型内視鏡 3を 3次元座標 X、 Y、 Ζの原点に設定した場合を例に説明する。又、前記複数の受信アンテナ l la〜l ldのうち、説明を簡単ィ匕するために、 3つの受信アンテナ l la、 1 lb、 11cを用い、受信アンテナ 11aと受信アンテナ l ibとの間の距離を Dab、受信ァンテナ 1 lbと受信アンテナ 1 lcとの間の距離を Dbc、受信アンテナ 1 laと受信アンテナ 11cとの間の距離 Dacとしている。さらに、この受信アンテナ l la〜l lcとカプセル型内視鏡 3の間は、所定の距離関係としている。

[0111] カプセル型内視鏡 3の送信された一定の送信強度の無線信号は、各受信アンテナ l lj (j = a、 b、 c)で受信した場合の受信強度は、カプセル型内視鏡 3 (カプセル型内視鏡 3の送信アンテナ 23)からの距離 Li (i = a, b, c)の関数となる。具体的には電波減衰量が伴う距離 Liに依存する。従って、カプセル型内視鏡 3から送信された無線信号の受信アンテナ l ljにより受信した受信強度力カプセル型内視鏡 3と各受信ァンテナ l ljとの間の距離 Liを算出する。この距離 Liの算出には、前記カプセル型内視鏡 3と受信アンテナ l ljの間の距離による電波の減衰量などの関係データを事前に前記アンテナ選択回路 46に設定する。又、その算出されたカプセル型内視鏡 3と各受信アンテナ l ljの位置関係を示す距離データは、前記メモリ 47にカプセル型内視鏡 3の位置情報として記憶させる。このメモリ 47に記憶された撮像画像情報及び力プセル型内視鏡 3の位置情報を基に、前記端末装置 7による後述する画像情報処理方法において、内視鏡観察所見の位置設定に有用となる。

[0112] 次に、第 1の実施形態の画像処理装置における画像処理動作について説明を行う [0113] なお、第 1の実施形態においては、カプセル型内視鏡 3により撮像された体腔内の像の画像は、 X軸方向のドット数 ISXXy軸方向のドット数 ISY(1≤ISX、 1≤ISYを満たす値であり、例えば、 ISX= 300、 ISY= 300)、 R (赤） G (緑） B (青）の 3プレーンからなり、各プレーンにおける各画素は、濃度値である RGB値として各々 8bit、すなわち、 0から 255の値をとるものとする。また、本発明の第 1の実施形態においては、時系列的に連続して撮像された N枚の画像（ 1≤ N)における i番目の画像を Ii ( 1≤ i≤N)と示すものとする。さらに、第 1の実施形態においては、画像 Iiの各プレーンにおける V番目の画素（1≤v≤ISXX ISY)をそれぞれ riv、 giv及び bivと示すものとする。

[0114] また、第 1の実施形態の画像処理装置における画像処理動作は、前述した端末装置 7の端末本体 9が有する制御部 9aにおける処理として行われるようになつている。

[0115] まず、制御部 9aは、端末装置 7において予め設定されたサンプリング値 k (k= l, 2 , · ··)に基づき、カプセル型内視鏡 3により時系列的に連続して撮像された N枚の画像において、 k番目毎の画像 Ik、 I2k、 · ··、 Ink (nkは l≤nk≤Nを満たす整数であるとする）のサンプリングを行う（図 11のステップ Sl)。例えば、カプセル型内視鏡 3が毎秒 2枚の画像を撮像し、かつ、サンプリング値 kが 20として設定されている場合、制御部 9aは、カプセル型内視鏡 3により撮像された N枚の画像において、撮像開始時間力も 10秒経過毎の画像を 1枚ずつサンプリングする。

[0116] そして、制御部 9aは、サンプリングした (NZk)枚 (NZkは、端数を切り捨てた整数であるとする）の画像 Inkをサンプル画像群とした後、該サンプル画像群の画像 Ink 各々に対し、以下に記す処理を行う。なお、前記サンプル画像群は、（NZk)枚の画像 Inkにカロえ、 1番目の画像 IIを含む（n+ 1)枚の画像力もなるものであっても良い。

[0117] 制御部 9aは、入力された画像 Inkを構成する Rnk、 Gnk及び Bnkの各プレーンに対し、前処理として、例えば、メディアンフィルタリングによるノイズ除去及び逆 γ補正を行うと共に、ハレーション画素及び暗部画素を以降の処理対象から除外するため、閾値に基づく処理により検出しておく（図 11のステップ S2)。そして、前記閾値に基づく処理は、例えば、 rnkv、 gnkv及び bnkvの濃度値の全てが 10以下の値であれば暗部画素、また、 rnkv、 gnkv及び bnkvの濃度値の全てが 230以上の値であればハレーション画素とするような処理として行われる。

[0118] 制御部 9aは、入力された画像 Inkを、例えば、 8 X 8からなる複数の矩形領域に分割する（図 11のステップ S3)。なお、以降の説明においては、制御部 9aにおいて分割された矩形領域のうち、一の領域を Hp (pは 1以上の整数)と示すものとする。

[0119] その後、制御部 9aは、画像 Inkの一の領域 Hp各々における各画素の RGB値の比に基づく値である、 gnkvZrnkvの平均値（以降、 gpと示す)及び bnkvZgnkvの平均値 (以降、 /z bpと示す)からなる、画像の色度を示す 2つの特徴量を算出する（図 11のステップ S4)。

[0120] さらに、制御部 9aは、領域 Hp各々において得られた特徴量/ z gp及び/ z bpを各々離散化するとともに、離散化した特徴量 gp及び bpの発生頻度に基づぐ特徴空間におけるヒストグラムを作成する（図 11のステップ S5)。具体的には、制御部 9aは、特徴量 gp及び bpの値を、例えば、 1以上の値を全て 1としつつ、各々 0から 1までの値をとるものとして扱うとともに、さらに、 0から 1までの値としての特徴量/ z gp及び bpを 80倍した値を整数値に丸めることにより、離散化及びヒストグラムの作成を行う。

[0121] 制御部 9aは、離散化した特徴量/ z gp及び/ z bp各々に対し、例えば、所定のサイズの平均値フィルタを適用することにより、ヒストグラムを平滑ィ匕する（図 11のステップ S 6)。なお、制御部 9aが以上までの処理を行うことにより作成されるヒストグラムは、例えば、図 12に示されるようなものとなる。

[0122] 次に、制御部 9aは、サンプル画像群としての（NZk)枚の画像全てに対して前述した処理を行うことにより作成したヒストグラムにおいて、発生頻度が極大となる（ μ gp, bp)の要素、すなわち、ピーク点を検出する（図 11のステップ S7)。具体的には、制御部 9aは、作成したヒストグラムにおいて、一の要素及び該一の要素の 8近傍の要素からなる 9個の要素を抽出した後、抽出した該 9個の要素のうち、発生頻度が最大となる要素をピーク点として検出する。

[0123] 制御部 9aは、作成したヒストグラムにおいて、（ gp, μ bp) = (0, 0)以外の各要素力検出した各ピーク点のうち、いずれのピーク点に向力うものであるかを、 gradie ntベクトルに基づく解析手法としての、例えば、 Valley— Seeking法を用いることにより特定する（図 11のステップ S8)。そして、制御部 9aは、同一のピーク点に向かう gr adientベクトルを有する要素を同一クラスタに属する要素とする処理である、ヒストグラム内の各要素に対する教師なしクラスタリング処理を行う（図 11のステップ S9)。なお、制御部 9aが教師なしクラスタリング処理を行うことにより作成される各クラスタは、例えば、図 13に示されるようなものとなる。

[0124] なお、制御部 9aは、前述した教師なしクラスタリング処理において、 2つ以上のクラスタの境界が接していることを検出した場合、以降に記すような、該 2つ以上のクラスタの統合または分離判定の処理をさらに行うものであってもよい。

[0125] その場合、制御部 9aは、作成した各クラスタのうち、 8近傍の要素を含む 9個の要素において、 2以上のクラスタを含む要素を抽出することにより、すなわち、 2以上のクラスタの境界に属している要素を抽出することにより、該 2以上のクラスタが接していると判定する（図 15のステップ S21)。さらに、制御部 9aは、処理対象となる前記 2以上のクラスタの境界に属して、る前記各要素のうち、発生頻度が最小となる一の要素を抽出し、該一の要素における発生頻度を/ z miniとする（図 15のステップ S22)。また、制御部 9aは、処理対象となる前記 2以上のクラスタにおける各ピーク点のうち、発生頻度が最大となる一のピーク点を抽出し、該一のピーク点における発生頻度を ma xlとする（図 15のステップ S23)。

[0126] 制御部 9aは、 μ mini及び/ z maxlを抽出した後、 μ mini/ μ maxlの値と、閾値 μ thrとの比較を行う。そして、制御部 9aは、 μ mini/ μ maxlの値が閾値 μ thr よりも大きいことを検出した場合（図 15のステップ S24)、処理対象となる前記 2以上のクラスタを各々別クラスタと判定し、該 2以上のクラスタを分離したままとする（図 15 のステップ S25)。また、制御部 9aは、 μ mini/ μ maxlの値が閾値/ z thr以下であることを検出した場合（図 15のステップ S24)、処理対象となる前記 2以上のクラスタが同一クラスタに属すると判定するとともに、該 2以上のクラスタを統合し、発生頻度 μ maxlのピーク点を新たなピーク点とする、統合後のクラスタを作成する（図 15のステツプ S26)。なお、前述した閾値/ z thrは、第 1の実施形態においては、例えば、 0. 1であるとする。

[0127] 制御部 9aは、前述した教師なしクラスタリングの処理（図 11のステップ S9に示す処理)を行った後、生成した各クラスタについて、該各クラスタのクラスタ情報を取得する

(図 11のステップ S 10)。なお、制御部 9aが取得するクラスタ情報は、例えば、クラスタ番号、該各クラスタのピーク点となる要素、該各クラスタ各々の特徴空間における面積及び体積、及び該各クラスタにおける特徴量 gp及び bpの平均値ベクトルといつた情報である。

[0128] その後、制御部 9aは、取得したクラスタ情報に基づき、例えば、図 14に示すように、特徴空間における面積または体積が所定の閾値未満であるクラスタを削除する（図 1 1のステップ S 1 1)。

[0129] さらに、制御部 9aは、特徴空間に残った各クラスタにおける特徴量/ z gp及び/ z bp の平均値ベクトル及び教師データセットから作成された、例えば、線形判別関数またはベイズの定理に基づく関数等の識別器を用いることにより、特徴空間に残った各クラスタがいずれのクラスに属するかを判定する（図 11のステップ S 12)。なお、第 1の実施形態においては、前記クラスは、胃粘膜、絨毛、便及び泡力もなる 4つのクラスであるとする。また、第 1の実施形態においては、前記教師データセットは、前記 4つのクラスの教師データを構成する複数の画像であるとする。

[0130] そして、制御部 9aは、特徴空間に残った各クラスタを胃粘膜、絨毛、便及び泡の 4 つのクラスに分類するとともに、該 4つのクラスに分類不可能なクラスタを不明クラスとして分類する（図 11のステップ S 13)。

[0131] ここで、図 11のステップ S 12及びステップ S 13に示す処理の具体例を以下に詳述する。なお、制御部 9aは、特徴空間に残ったクラスタ全てに対し、以下に述べる処理を各々行うものであるとする。

[0132] 前述した 4つのクラスの識別及び分類において、一のクラス co a (a = l、 2、 · · ·、 C、 C はクラス数を示す）が発生する事前確率を P ( ω a)とし、特徴空間に残った各クラスタにおける特徴量 gp及び bpから決定された特徴ベクトルを Xとし、全クラスからの特徴ベクトルの発生確率に基づく確率密度関数を p (x)とし、一のクラス ω aからの特徴ベクトルの発生確率に基づく状態依存確率密度 (多変量正規確率密度）関数を p ( I ω a)とすると、発生した特徴ベクトルが一のクラス ω aに属する事後確率 P ( ω α I )を算出するための計算式は、下記数式（1)として示される。 Ρ{ωα I x) = p(x \ ωα)Ρ{ωα)Ι p(x) · · · ( 1 ) なお、状態依存確率密度関数 p I ω a)及び確率密度関数 ρ(2 )は、下記数式 (2

)及び数式（3)として示される。

[0134]

p(x I ωα) =

\ Σα \^{ι 12} )) exp[(-l / 2)(χ μα)] · · · (2)

C

Ρ{^) =∑ ^(^ I ωα)Ρ(ωα) · · · ( 3) なお、上記数式（2)及び数式（3)において、 dはの特徴量の個数と同数である次元数を示し、 u a及び∑ aはクラス ω aにおける特徴ベクトルの平均ベクトル及び一のクラス ω aにおける分散共分散行列を示すものとする。また、 (X— a)tは (X— μ&) の転置行列を示し、 I ∑a Iは∑ aの行列式を示し、∑a^_1は∑aの逆行列を示すものとする。さらに、説明の簡単のため、事前確率 P(coa)は、全クラスにおいて等しい値をとると仮定し、また、確率密度関数 p ( )は、上記数式（3)により全クラス共通の関数として表されるものとする。

[0135] 前述したようなベイズの定理に基づく統計的識別器と共に、分類基準として用いられる平均ベクトル及び分散共分散行列∑ aは、一のクラス ω aにおける母数を構成する要素であり、 1番目の画像 IIが端末装置 7に入力される以前の段階において、胃粘膜、絨毛、便及び泡力なる 4つのクラスの教師データを構成する複数の画像に基づき、該画像の一の領域各々において都度決定される特徴ベクトル 2から、クラス毎に予め算出された後、初期値として端末装置 7に各々記録される。なお、このとき、制御部 9aは、各クラスの教師データにおける特徴ベクトルに、画像 Iiにおける各クラスの特徴ベクトルをカロえるようにして母数を推定しても良、。

[0136] なお、平均ベクトル aは、特徴ベクトルが有する 2つの特徴量各々の平均値からなり、かつ、特徴ベクトル 2と同一の次元数を有するベクトルである。すなわち、特徴ベクトル力 ½= gp, μ bp)として表される場合、平均ベクトル a aは、特徴ベクトルが有する 2つの特徴量各々の平均値である、 μ gp)及び bp)を用いて、1 α= (μ (^gp), μ (μbp))として表されるものとする。また、分散共分散行列∑ aは、一のクラス ω aに属する特徴ベクトルの分布のバラツキ及び広がり具合を示す行列であり、特徴ベクトルの特徴量の個数と同数である次元数 dに対し、 dXd行列として表されるものとする。

[0137] 制御部 9aは、発生した特徴ベクトルがクラス ω 1に属する事後確率 Ρ ( ω 1 | )と、発生した特徴ベクトルがクラス ω 2に属する事後確率 Ρ(ω 2 | )と、発生した特徴ベクトル力 Sクラス ω 3に属する事後確率 Ρ(ω 3 | ）と、発生した特徴ベクトル力 ^sクラス ω4に属する事後確率 Ρ(ω4 | )とを、ベイズの定理に基づいた上記数式（1)から数式（3)を用いて各々算出する。そして、制御部 9aは、これら 4つの事後確率のうち、最大の事後確率 Pl(coa I )を与えるクラス ω aに特徴ベクトルが属するものとして識別を行ヽ、該識別結果に基づヽて特徴ベクトル 2が発生した領域である一のクラスタをクラス coaに分類すると共に、最大の事後確率 Pl(coa | を与える確率密度関数 pl l coa)の値を算出する。

[0138] そして、制御部 9aは、以上までの処理において、クラス coaに分類された一のクラスタの分類結果が正確なものである力否かを判定するため、平均値からの距離に基づく処理、すなわち、最大の事後確率 Pl( coa I を与える確率密度関数 P 1(2 I coa) の値に対する閾値に基づく処理をさらに行う。

[0139] 具体的には、まず、制御部 9aは、平均ベクトルが有する 2つの特徴量各々の平均値のうち、例えば、特徴量 gpの平均値 ( μ gp)に対し、特徴量 gpの標準偏差 σ ( gp)と、所定の定数としての乗算係数 exとの積を加えた値を含む、閾値べタトルを決定する。なお、このような閾値ベクトル^ klは、例えば、下記数式 (4)として示されるものであり、また、第 1の実施形態においては、乗算係数 αの値は 1. 5であるとする。

[0140] xbl = ( ,u ( ,u gp) + α X σ ( ,u gp) , ,u bp) · · · (4)

上記数式 (4)により閾値ベクトルが決定されると、制御部 9aは、閾値ベクトル 1を上記数式（1)、数式 (2)及び数式 (3)のとして代入し、一のクラスタが分類されたクラス coaの閾値としての、確率密度関数 p(^kl I coa)の値を算出する。

[0141] そして、制御部 9aは、 pi ( I coa)の値が p(^kl | coa)の値より大きいことを検出すると、前述した処理において、一のクラスタをクラス coaに分類した分類結果が正確であると判定する。

[0142] また、制御部 9aは、 pi ( I ω a)の値が p (xbl | ω a)の値以下であることを検出すると、前述した処理において、一のクラスタをクラス ω aに分類した分類結果が不正確であると判定し、一のクラスタを不明クラスに分類する。

[0143] さらに、制御部 9aは、前述したクラス分類を行った後、サンプル画像群としての (N Zk)枚の画像 Inkから、撮像されたタイミングに基づく所定の間隔 t毎のサブセットを生成する（図 11のステップ S 14)。例えば、撮像開始時間から 10秒経過毎の画像が 1枚ずつサンプリングされ (k= 20と設定され）、かつ、間隔 tが 180として設定されている場合、制御部 9aは、サンプル画像群としての（NZk)枚の画像 Inkにおいて、撮像開始時間から 1800秒経過毎までに含まれる画像を 1組のサブセットとする。

[0144] その後、制御部 9aは、各サブセットに含まれる画像 Ink各々において、特徴空間にお、て発生したクラスの種別の分布を示すクラス分布情報と、該特徴空間にお、て発生したクラスタに含まれる特徴量/ z gp及び/ z bpの、クラス毎の分布状態を示す特徴量分布情報とを取得する（図 11のステップ S 15)。そして、制御部 9aは、前記特徴量分布情報に基づき、画像を分類する際の分類基準としての平均値ベクトル及び分散共分散行列を算出した後、該平均値ベクトル及び該分散共分散行列を用いた、サブセット毎の識別器を構成する（図 11のステップ S16)。さらに、制御部 9aは、前述した処理により、サブセット毎に構成した識別器を用いつつ、 N枚の画像各々に対する分類を行う（図 11のステップ S 17)。このような処理を行うことにより、制御部 9aは、前述した統計的識別器において、各クラスの分布を規定するための多変量正規確率密度関数の母数を、サブセット毎に最適に設定することができる。

[0145] 制御部 9aは、以上に述べた、図 11のステップ S1から図 11のステップ S 17までに示す処理を行うことにより、カプセル型内視鏡 3により撮像された画像の分類を高精度かつ高速に行うことができる。

[0146] なお、制御部 9aは、取得した特徴量分布情報に基づき、一のサブセットにお、て発生しな力つたクラスにっ、ては、平均値ベクトル及び分散共分散行列を算出しなヽものであっても良い。

[0147] また、以上に述べた、制御部 9aが行う処理は、 N枚の画像が撮像された後に行われるものに限るものではなぐ例えば、間隔 tに基づぐ一のサブセットの画像が撮像された直後毎に随時行われるものであっても良い。

[0148] さらに、制御部 9aは、さらに高精度な処理結果を得るために、図 11のステップ S15 に示す処理において取得した特徴量分布情報に対し、例えば、 1次元において均等な重み付けがなされた所定のサイズの平滑ィ匕フィルタを用いた処理である、平滑ィ匕処理を行うものであっても良い。そして、制御部 9aは、このような平滑化処理を行うことにより、特徴量分布情報のうち、特徴量 gpまたは bpの変動が顕著である部分、または、特徴量/ z gpまたは/ z bpの変動が極大となる部分から、撮像部位及び病変部位を特定することができる。

[0149] 前述した、平滑化処理の処理結果に基づき、制御部 9aが撮像部位及び病変部位を特定するための方法の一例を以降に記す。

[0150] 例えば、制御部 9aが図 11のステップ S15に示す処理において取得した特徴量分布情報に基づき、胃粘膜クラス及び絨毛クラスに分類された領域が有する特徴量 g pのサブセット毎の時間方向における変化を表した場合、該変化は図 16のようなダラフとして示される。

[0151] 本来、生体粘膜等の色調は、同一の撮像部位を撮像し続けた場合、時間方向における頻繁な変動を伴うものではない。そのため、時間的に近接した画像から得られる特徴量 μ gp (または特徴量 μ bp)の値は、類似した値をとると考えられる。

[0152] そして、前述したような観点に基づいて予め設定された所定のサイズのフィルタとして、例えば、サイズ 20の 1次元均等重み付けフィルタを用いた、図 16のようなグラフとして示される特徴量/ z gpに対する時間方向への平滑ィ匕処理を制御部 9aが行うことにより、特徴量 gpのサブセット毎の時間方向における変化は、図 17のようなグラフとして示されるものになる。なお、図 16及び図 17に示すグラフは、特徴量/ z gpのサブセット毎の時間方向における変化を表したものである力特徴量; z bpにおいても、サブセット毎の時間方向における変化を示す、略同様のグラフを描くことが可能である。

[0153] また、制御部 9aは、平滑化処理を行った後にお、てもなお特徴量 μ gpまたは特徴量; z bpの値が顕著に変動する時間帯が存在することを検知した場合、該時間帯において、例えば、撮像部位の変化が確認されたと判定する。あるいは、制御部 9aは、平滑化処理を行った後にお、てもなお特徴量 μ gpまたは特徴量 μ bpの値が顕著に変動する時間帯が存在することを検知した場合、該時間帯において、例えば、便、胆汁の泡または病変部位等の存在が確認されたと判定する。

[0154] 例えば、カプセル型内視鏡 3が胃力小腸 (十二指腸)へ移動する際には、胆汁等の消化液が分泌されることにより、黄色が力つた被写体の像が撮像される。そのため、制御部 9aは、胃粘膜クラス及び絨毛クラスにおける特徴量; z bpの値が顕著な減少を示す時間帯の存在を検知した場合、該時間帯において、カプセル型内視鏡 3の撮像部位が胃から小腸へ変化したということを特定することができる。

[0155] また、例えば、カプセル型内視鏡 3が、病変部位の 1つとしての出血部位を通過する際には、該出血部位における血液の存在により、赤色が力つた被写体の像が撮像される。そのため、制御部 9aは、同一クラスにおいて特徴量 gpの値が顕著な減少を示す時間帯の存在を検知した場合、該時間帯において、カプセル型内視鏡 3が病変部位を撮像したと、うことを特定することができる。

[0156] そして、制御部 9aは、以上に述べた、図 11のステップ S1から図 11のステップ S17 までに示す一連の処理に加え、さらに、以降に記す処理を行うものであっても良い。なお、以降に記す処理において、制御部 9aが取得するクラス分布情報には、胃粘膜、絨毛、便、泡及び不明の、 5つのクラスの情報が含まれているものであるとする。また、前述したクラス分布情報は、前述した 5つのクラスの情報を含むものに限るものではなぐ例えば、胃粘膜及び絨毛クラスが生体粘膜クラスとして同一のクラスとして扱われるとともに、便、泡及び不明クラスが非生体粘膜クラスとして同一のクラスとして扱われるような情報を含むものであっても良いし、白色調の生体粘膜と黄色調の生体粘膜とが同一のクラスとして扱われている情報を含むものであっても良い。

[0157] 制御部 9aは、前述した、図 11のステップ S17の処理を行った後、入力された i番目の画像 Iiを、例えば、 8 X 8の複数の矩形領域に分割する（図 18のステップ S31)。

[0158] ここで、前述した、図 11のステップ S 17までの処理において生成した s番目（sは整数であるとする）のサブセットが有する最初の画像及び最後の画像を、それぞれ Isl 及び Is2 (sl及び s2は、 l≤sl < s2≤Nを満たす整数であるとする）とした場合、制御部 9aは、前述した処理において生成した各サブセットのうち、 sl≤i< s2または i = s2 を満たす所定のサブセットにおけるクラス分布情報及び特徴量分布情報を取得する (図 18のステップ S32)。

[0159] その後、制御部 9aは、 sl≤i< s2または i=s2を満たす所定のサブセットにおけるクラス分布情報及び特徴量分布情報に基づき、画像 Iiが有する各矩形領域が、胃粘膜、絨毛、便、泡及び不明力もなる 5つのクラスのうち、どのクラスに属するかを識別し、該識別結果に基づく分類を行う（図 18のステップ S33)。なお、制御部 9aは、前述した、図 11のステップ S17までの処理において発生していないクラスについて、教師データにより予め推定された特徴量分布情報を用いた識別及び分類を行うものであつても良い。

[0160] さらに、制御部 9aは、図 18のステップ S33における分類結果に基づき、画像 Iiの各矩形領域のうち、胃粘膜または絨毛として分類された領域、すなわち、生体粘膜が撮像された領域が存在するか否かを判定する。そして、制御部 9aは、画像 Iiの各矩形領域のうち、生体粘膜が撮像された領域が存在する場合（図 18のステップ S34)、画像 Iiにおヽて生体粘膜が撮像されてヽると判定された全領域における全特徴量に基づく値と、画像 Iiにお!/、て生体粘膜が撮像されて！、ると判定された一の領域が有する特徴量 gp及び bpの値との比較により病変箇所を検出するための処理、すなわち、病変検出処理として、例えば、出血または発赤を検出する処理を行う（図 18のステツプ S35)。

[0161] 具体的には、制御部 9aは、例えば、画像 Iiにおいて生体粘膜が撮像されていると判定された一の領域が有する特徴量 gp及び bpの値と、画像 Iiにおいて生体粘膜が撮像されていると判定された全領域に含まれる各画素の RGB値の比に基づく値としての、 givZrivの平均値（以降、 /z giと記す）及び bivZgivの平均値（以降、 bi と記す）とに基づき、 μ gpと μ giとの it較及び/ z bpと μ biとの it較を行うことにより、画像 Iiにお!/ヽて生体粘膜が撮像された領域のうち、出血または発赤が撮像された領域を検出する。このような処理を行うことにより、制御部 9aは、クラス分類を伴う領域分割結果にぉヽて、生体粘膜が撮像されてヽると判定された全領域の平均色度に対し、出血または発赤調の変化を呈するとされる色度を有する一の領域を、出血領域または発赤領域として正確に検出することができる。なお、制御部 9aは、画像 Iiにおいて不明クラスに分類された一の領域が有する特徴量と gi及び biとの比較結果に基づく処理をさらに行うことにより、画像 Iiにおいて生体粘膜が撮像された領域に加え、画像 Iiにおいて不明クラスに分類された領域に対しても出血または発赤が撮像された領域を検出可能とするものであっても良い。

[0162] 制御部 9aは、入力された N枚の画像全てに対し、前述した処理が完了していない場合（図 18のステップ S36)、画像番号 iに 1をカ卩ぇ（図 18のステップ S37)、次の画像について、図 18のステップ S31からステップ S36までに示す処理を引き続き行う。

[0163] なお、制御部 9aは、胃粘膜または絨毛として分類された領域に加え、胆汁等により黄色調になった絨毛もまた生体粘膜が撮像された領域であるとして判定するものであっても良い。

[0164] また、以上に述べた画像処理方法は、カプセル型内視鏡により撮像された画像に対してのみ適用されるものに限らず、例えば、生体内に挿入可能であるとともに、撮像機能を有する挿入部を具備して構成される内視鏡により撮像された画像に対して適用されるものであっても良、。

[0165] 以上に述べたように、第 1の実施形態における画像処理方法によれば、画像を撮像対象毎に高精度かつ高速に分類することができ、さらに、前記分類結果に基づいて撮像された臓器を特定することができ、その結果、ユーザによる観察の効率ィ匕をは力ることがでさる。

[0166] また、第 1の実施形態によれば、生体粘膜が撮像された領域として分類された各々の領域に対し、さらに、前述した病変検出処理を用いることにより、病変部位の検出精度を高めることができる。

[0167] また、第 1の実施形態において、制御部 9aは、一の画像 Iiを大きさ 8 X 8からなる複数の矩形領域に分割して一連の処理を行うとして説明を行っているが、これに限るものではなぐ例えば、 1 X 1、すなわち画素毎に分割して処理を行うものであってもよいし、また、他の大きさの矩形領域に分割して処理を行うものであってもよい。

[0168] さらに、第 1の実施形態において、制御部 9aは、一の画像 Iiを大きさ 8 X 8からなる複数の矩形領域に分割して一連の処理を行うとして説明を行っているが、これに限るものではなぐ例えば、エッジ情報等に応じた、一の画像 Iiにおける分類結果に基づく領域に分割して処理を行うものであってもよいし、また、他の形状を有する領域に分割して処理を行うものであってもよ!/、。

[0169] (第 2の実施形態）

図 19から図 24は、本発明の第 2の実施形態に係るものである。なお、第 1の実施形態と同様の構成を持つ部分については、詳細説明は省略する。また、第 1の実施形態と同様の構成要素については、同一の符号を用いて説明は省略する。さらに、第 2 の実施形態に用いるカプセル型内視鏡装置 1の構成は、第 1の実施形態と同様である。また、第 2の実施形態における画像処理動作は、端末本体 9が有する制御部 9a における処理として行われるものとする。

[0170] 図 19は、第 2の実施形態に係る画像処理動作を示すフローチャートである。図 20 は、第 2の実施形態において制御部が行う処理により作成される、特徴空間におけるヒストグラムの一例を示す図である。図 21は、第 2の実施形態において制御部が行う処理により作成される、特徴空間におけるクラスタの一例を示す図である。図 22は、図 21に示すクラスタのうち、特徴空間における面積または体積が所定の閾値未満であるクラスタが削除される様子を示す図である。図 23は、制御部が行う処理である、境界が接している 2つ以上のクラスタの統合または分離判定の処理の一例を示すフローチャートである。図 24は、図 19に示す画像処理動作の変形例を示すフローチヤートである。

[0171] 第 2の実施形態の画像処理装置における画像処理動作について説明を行う。

[0172] なお、第 2の実施形態においては、第 1の実施形態と同様に、カプセル型内視鏡 3 により撮像された体腔内の像の画像は、 X軸方向のドット数 ISXXy軸方向のドット数 I SY(1≤ISX、 1≤ISYを満たす値であり、例えば、 ISX= 300、 ISY= 300)、 R (赤） G (緑) B (青）の 3プレーン力もなり、各プレーンにおける各画素は、濃度値である RG B値として各々 8bit、すなわち、 0カゝら 255の値をとるものとする。また、第 2の発明の実施形態においては、第 1の実施形態と同様に、時系列的に連続して撮像された N 枚の画像（1≤N)における i番目の画像を Ii (l≤i≤N)と示すものとする。さらに、第 2 の実施形態においては、画像 Iiの各プレーンにおける w番目の画素（l≤w≤ISXX ISY)をそれぞれ riw、 giw及び biwと示すものとする。

[0173] また、本実施形態の画像処理装置における画像処理動作は、第 1の実施形態と同様に、前述した端末装置 7の端末本体 9が有する制御部 9aにおける処理として行われるようになっている。

[0174] まず、制御部 9aは、入力された i番目の画像 Iiを構成する Ri、 Gi及び Biの各プレーンに対し、前処理として、例えば、メディアンフィルタリングによるノイズ除去及び逆 γ 補正を行うと共に、ハレーション画素及び暗部画素を以降の処理対象から除外するため、閾値に基づく処理により検出しておく（図 19のステップ S101)。そして、前記閾値に基づく処理は、例えば、 riw、 giw及び biwの濃度値の全てが 10以下の値であれば暗部画素、また、 riw、 giw及び biwの濃度値の全てが 230以上の値であればハレーシヨン画素とするような処理として行われる。

[0175] その後、制御部 9aは、入力された画像 Iiを、例えば、 8 X 8からなる複数の矩形領域に分割する（図 19のステップ S 102)。なお、以降の説明においては、制御部 9aにおいて分割された矩形領域のうち、一の領域を Ho (oは 1以上の整数)と示すものとする

[0176] その後、制御部 9aは、画像 Iiの一の領域 Ho各々における各画素の RGB値の比に基づく値である、 giwZriwの平均値（以降、 ₈0と示す)及び^ 781 の平均値（以降、 boと示す)からなる、画像の色度を示す 2つの特徴量を算出する（図 19のステツプ S 103)。

[0177] さらに、制御部 9aは、領域 Ho各々において得られた特徴量/ z go及び/ z boを各々離散化するとともに、離散化した特徴量 go及び; z boの発生頻度に基づぐ特徴空間におけるヒストグラムを作成する（図 19のステップ S 104)。具体的には、制御部 9a は、特徴量 go及び boの値を、例えば、 1以上の値を全て 1としつつ、各々 0から 1までの値をとるものとして扱うとともに、さらに、 0から 1までの値としての特徴量/ z go 及び/ z boを 80倍した値を整数値に丸めることにより、離散化及びヒストグラムの作成を行う。なお、制御部 9aは、画像 Ii内に含まれる一の領域 Hoにおいて、所定の数以上のハレーション画素及び暗部画素を検出した場合、該一の領域 Hoを以降の処理の適用から除外するものであっても良、。 [0178] 制御部 9aは、離散化した特徴量 μ go及び μ bo各々に対し、例えば、所定のサイズの平均値フィルタを適用することにより、ヒストグラムを平滑ィ匕する（図 19のステップ S 105)。なお、制御部 9aが以上までの処理を行うことにより作成されるヒストグラムは、例えば、図 20に示されるようなものとなる。

[0179] 次に、制御部 9aは、入力された画像 Iiに対して前述した処理を行うことにより作成したヒストグラムにおいて、発生頻度が極大となる（ go, μ bo)の要素、すなわち、ピ一ク点を検出する（図 19のステップ S106)。具体的には、制御部 9aは、作成したヒストグラムにおいて、一の要素及び該一の要素の 8近傍の要素からなる 9個の要素を抽出した後、抽出した該 9個の要素のうち、発生頻度が最大となる要素をピーク点として検出する。

[0180] 制御部 9aは、作成したヒストグラムにおいて、（ go, μ bo) = (0, 0)以外の各要素力検出した各ピーク点のうち、いずれのピーク点に向力うものであるかを、 gradie ntベクトルに基づく解析手法としての、例えば、 Valley— Seeking法を用いることにより特定する（図 19のステップ S107)。そして、制御部 9aは、同一のピーク点に向かう gradientベクトルを有する要素を同一クラスタに属する要素とする処理である、ヒストグラム内の各要素に対する教師なしクラスタリング処理を行う（図 19のステップ S 10 8)。なお、制御部 9aが教師なしクラスタリング処理を行うことにより作成される各クラスタは、例えば、図 21に示されるようなものとなる。

[0181] なお、制御部 9aは、前述した教師なしクラスタリング処理において、 2つ以上のクラスタの境界が接していることを検出した場合、以降に記すような、該 2つ以上のクラスタの統合または分離判定の処理をさらに行うものであってもよい。

[0182] その場合、制御部 9aは、作成した各クラスタのうち、 8近傍の要素を含む 9個の要素において、 2以上のクラスタを含む要素を抽出することにより、すなわち、 2以上のクラスタの境界に属している要素を抽出することにより、該 2以上のクラスタが接していると判定する（図 23のステップ S121)。さらに、制御部 9aは、処理対象となる前記 2以上のクラスタの境界に属して、る前記各要素のうち、発生頻度が最小となる一の要素を抽出し、該一の要素における発生頻度を/ z min2とする（図 23のステップ S 122)。また、制御部 9aは、処理対象となる前記 2以上のクラスタにおける各ピーク点のうち、発生頻度が最大となる一のピーク点を抽出し、該一のピーク点における発生頻度を max2とする（図 23のステップ S123)。

[0183] 制御部 9aは、 μ min2及び/ z max2を抽出した後、 μ min2/ μ max2の値と、閾値 μ thqとの比較を行う。そして、制御部 9aは、 μ min2/ μ max2の値が閾値 μ thq よりも大きいことを検出した場合（図 23のステップ S124)、処理対象となる前記 2以上のクラスタを各々別クラスタと判定し、該 2以上のクラスタを分離したままとする（図 15 のステップ S25)。また、制御部 9aは、 μ min2/ μ max2の値が閾値/ z thq以下であることを検出した場合（図 15のステップ S24)、処理対象となる前記 2以上のクラスタが同一クラスタに属すると判定するとともに、該 2以上のクラスタを統合し、発生頻度 μ max2のピーク点を新たなピーク点とする、統合後のクラスタを作成する（図 15のステツプ S26)。なお、前述した閾値/ z thqは、第 2の実施形態においては、例えば、 0 . 1であるとする。

[0184] 制御部 9aは、前述した教師なしクラスタリングの処理（図 19のステップ S108に示す処理)を行った後、生成した各クラスタについて、該各クラスタのクラスタ情報を取得する（図 19のステップ S109)。なお、制御部 9aが取得するクラスタ情報は、例えば、クラスタ番号、該各クラスタのピーク点となる要素、該各クラスタ各々の特徴空間における面積及び体積、及び該各クラスタにおける特徴量 go及び/ z boの平均値べタトルといった情報である。

[0185] その後、制御部 9aは、取得したクラスタ情報に基づき、例えば、図 22に示すように、特徴空間における面積または体積が所定の閾値未満であるクラスタを削除する（図 1 9のステップ S 110)。

[0186] さらに、制御部 9aは、特徴空間に残った各クラスタにおける特徴量/ z go及び/ z bo の平均値ベクトル及び教師データセットから作成された、例えば、線形判別関数またはベイズの定理に基づく関数等の識別器等の識別器を用いることにより、特徴空間に残った各クラスタカ^、ずれのクラスに属するかを判定する（図 19のステップ S 111) 。なお、第 2の実施形態においては、前記クラスは、胃粘膜、絨毛、便及び泡力もなる 4つのクラスであるとする。また、本実施形態においては、前記教師データセットは、前記 4つのクラスの教師データを構成する複数の画像であるとする。 [0187] そして、制御部 9aは、特徴空間に残った各クラスタを胃粘膜、絨毛、便及び泡の 4 つのクラスに分類するとともに、該 4つのクラスに分類不可能なクラスタを不明クラスとして分類する（図 19のステップ S 112)。

[0188] ここで、図 19のステップ S111及びステップ S112に示す処理の具体例を以下に詳述する。なお、制御部 9aは、特徴空間に残ったクラスタ全てに対し、以下に述べる処理を各々行うものであるとする。

[0189] 前述した 4つのクラスの識別及び分類において、一のクラス coa(a=l、 2、 ···、 C、 C はクラス数を示す）が発生する事前確率を P ( ω a)とし、特徴空間に残った各クラスタにおける特徴量 go及び/ z boから決定された特徴ベクトルを Xとし、全クラスからの特徴ベクトルの発生確率に基づく確率密度関数を P (x)とし、一のクラス ω aからの特徴ベクトルの発生確率に基づく状態依存確率密度 (多変量正規確率密度）関数を p (2 I ω a)とすると、発生した特徴ベクトルがーのクラス ω aに属する事後確率 P ( ωα I を算出するための計算式は、下記数式（5)として示される。

[0190]

Ρ ωα I χ) = ρ(χ | ω )Ρ(ω )/ ρ(χ) · · · (5) なお、状態依存確率密度関数 p(s I coa)及び確率密度関数 p(s)は、下記数式 (6 )及び数式（7)として示される。 0^191]

Μ)'∑α~^](χ- μι) ' . ' (6) c

Ρ(χ) = ^∑ Ρ(χ \ θ)α)Ρ(ωα) · · · (7) なお、上記数式 (6)及び数式（7)において、 dはの特徴量の個数と同数である次元数を示し、 ua及び∑ aはクラス ω aにおける特徴ベクトルの平均ベクトル及び一のクラス ω aにおける分散共分散行列を示すものとする。また、 (X— a)tは (X— μ&) の転置行列を示し、 I ∑a Iは∑ aの行列式を示し、∑a^_1は∑aの逆行列を示すものとする。さらに、説明の簡単のため、事前確率 P(coa)は、全クラスにおいて等しい値をとると仮定し、また、確率密度関数は、上記数式（7)により全クラス共通の関数として表されるものとする。 [0192] 前述したようなベイズの定理に基づく統計的識別器と共に、分類基準として用いられる平均ベクトル及び分散共分散行列∑ aは、一のクラス ω aにおける母数を構成する要素であり、 1番目の画像 IIが端末装置 7に入力される以前の段階において、胃粘膜、絨毛、便及び泡力なる 4つのクラスの教師データを構成する複数の画像に基づき、該画像の一の領域各々において都度決定される特徴ベクトルから、クラス毎に予め算出された後、初期値として端末装置 7に各々記録される。なお、このとき、制御部 9aは、各クラスの教師データにおける特徴ベクトルに、画像 Iiにおける各クラスの特徴ベクトルをカロえるようにして母数を推定しても良、。

[0193] なお、平均ベクトル u aは、特徴ベクトルが有する 2つの特徴量各々の平均値からなり、かつ、特徴ベクトル 2と同一の次元数を有するベクトルである。すなわち、特徴ベクトル力 ½= go, μ bo)として表される場合、平均ベクトル a aは、特徴ベクトルが有する 2つの特徴量各々の平均値である、 μ ( go)及び bo)を用いて、1 α= (μ (μ&ο), μ (^ubo))として表されるものとする。また、分散共分散行列∑ aは、一のクラス ω aに属する特徴ベクトルの分布のバラツキ及び広がり具合を示す行列であり、特徴ベクトル 2の特徴量の個数と同数である次元数 dに対し、 dXd行列として表されるものとする。

[0194] 制御部 9aは、発生した特徴ベクトルがクラス ω 1に属する事後確率 Ρ ( ω 1 | と、発生した特徴ベクトルがクラス ω 2に属する事後確率 Ρ(ω 2 | と、発生した特徴ベクトル S力 Sクラス ω 3に属する事後確率 Ρ(ω 3 | と、発生した特徴ベクトル 2カクラス ω4に属する事後確率 Ρ(ω4 | )とを、ベイズの定理に基づいた上記数式（5)から数式（7)を用いて各々算出する。そして、制御部 9aは、これら 4つの事後確率のうち、最大の事後確率 Pl(coa I )を与えるクラス ω aに特徴ベクトルが属するものとして識別を行ヽ、該識別結果に基づヽて特徴ベクトルが発生した領域である一のクラスタをクラス coaに分類すると共に、最大の事後確率 Pl(coa | )を与える確率密度関数 pi ( I coa)の値を算出する。

[0195] そして、制御部 9aは、以上までの処理において、クラス coaに分類された一のクラスタの分類結果が正確なものである力否かを判定するため、平均値からの距離に基づく処理、すなわち、最大の事後確率 Pl( coa I )を与える確率密度関数 Pi ( I ωα) の値に対する閾値に基づく処理をさらに行う。

[0196] 具体的には、まず、制御部 9aは、平均ベクトルが有する 2つの特徴量各々の平均値のうち、例えば、特徴量 goの平均値 ( μ go)に対し、特徴量/ z goの標準偏差 σ go)と、所定の定数としての乗算係数 exとの積を加えた値を含む、閾値べタトルを決定する。なお、このような閾値ベクトル^ klは、例えば、下記数式（8)として示されるものであり、また、本実施形態においては、乗算係数 αの値は 1. 5であるとする。

[0197] xb l = ( ^ ( ^ go) + α X σ ( ,u go) , ^ bo) · · · (8)

上記数式 (8)により閾値ベクトルが決定されると、制御部 9aは、閾値ベクトル 1を上記数式（5)、数式 (6)及び数式（7)のとして代入し、一のクラスタが分類されたクラス ω aの閾値としての、確率密度関数 p (^kl I ω a)の値を算出する。

[0198] そして、制御部 9aは、 p i I co a)の値が p (^hl | ω a)の値より大きいことを検出すると、前述した処理において、一のクラスタをクラス ω aに分類した分類結果が正確であると判断する。

[0199] また、制御部 9aは、 p i I ω a)の値が p (xbl | ω a)の値以下であることを検出すると、前述した処理において、一のクラスタをクラス ω aに分類した分類結果が不正確であると判断し、一のクラスタを不明クラスに分類する。

[0200] 制御部 9aは、以上までの処理を行うことにより得た、特徴空間における各クラスタが有する要素及び各クラスタのクラス分類結果と、画像 Πが有する各領域において算出された特徴量 go及び boとに基づき、該各領域を前述した 4つのクラス及び不明クラスのいずれかに分類する（図 19のステップ S 1 13)。具体的には、例えば、制御部 9aは、各領域 Hoにおいて算出され、かつ、離散化された特徴量 go及び boの値が属するクラスタが分類されたクラスと同一のクラスに、該各領域 Hoを分類する。

[0201] なお、制御部 9aは、特徴空間においてどのクラスタにも属さない要素が存在する場合には、画像 Iiが有する各領域のうち、該要素に対応する特徴量が算出された領域を不明クラスとして分類するものであるとする。

[0202] そして、制御部 9aは、入力された N枚の画像全てに対し、図 19のステップ S 101からステップ S 1 13までに示す処理が完了して!/、な!/、場合（図 19のステップ S 1 14)、画像番号 iに 1を加え（図 19のステップ S115)、次の画像について、図 19のステップ S1 01からステップ S114までに示す処理を引き続き行う。また、制御部 9aは、入力された N枚の画像全てに対し、図 19のステップ S101からステップ S113までに示す処理が完了した場合（図 19のステップ S114)、一連の処理を終了する。

[0203] 制御部 9aは、以上に述べた、図 19のステップ S101からステップ S115までに示す処理を行うことにより、カプセル型内視鏡 3により撮像された画像の分類を高精度かつ高速に行うことができる。

[0204] なお、以上に述べた処理のうち、図 19のステップ S104に示す処理、すなわち、特徴空間におけるヒストグラム作成の処理は、 1枚の画像毎に行われるものに限るものではなぐ例えば、 N枚の画像に対して行われるものであっても良い。

[0205] その場合、まず、制御部 9aは、前述した、図 19のステップ S101、ステップ S102及びステップ S103に示す処理と同様の処理を行う（図 24のステップ S 131、図 24のステツプ S132及び図 24のステップ S133)。すなわち、制御部 9aは、入力された画像 Ii に対する前処理及び領域分割を行うとともに、画像 Iiを分割した各領域 Hoにおける特徴量 go及び boを算出する。

[0206] その後、制御部 9aは、図 19のステップ S104に示す処理と略同様の処理として、領域 Ho各々において得られた特徴量 go及び boを各々離散化するとともに、離散化した特徴量/ z go及び/ z boの発生頻度に基づぐ特徴空間におけるヒストグラムを作成する（図 24のステップ S 134)。

[0207] 制御部 9aは、入力された N枚の画像全てに対し、図 24のステップ S131からステツプ S134までに示す処理が完了していない場合（図 24のステップ S135)、画像番号 i に 1をカ卩ぇ（図 24のステップ S136)、次の画像について、図 24のステップ S131からステップ S 135までに示す処理を引き続き行う。

[0208] そして、制御部 9aは、入力された N枚の画像全てに対し、図 24のステップ S131からステップ S134までに示す処理が完了した場合（図 24のステップ S135)、前述した、図 19のステップ S105からステップ S112までに示す処理と同様の処理を行う（図 2 4のステップ S 137カゝらステップ S 144)。すなわち、制御部 9aは、作成したヒストグラムに基づいて教師なしクラスタリングの処理を行うとともに、得られた各クラスタを胃粘膜、絨毛、便及び泡の 4つのクラスに分類するとともに、該 4つのクラスに分類不可能なクラスタを不明クラスとして分類する。なお、制御部 9aは、図 24のステップ S144に示す処理、すなわち、特徴空間上に残った各クラスタを胃粘膜、絨毛、便及び泡の 4つのクラスに分類するとともに、該 4つのクラスに分類不可能なクラスタを不明クラスとして分類する処理において、該特徴空間において発生したクラスタに含まれる特徴量 μ go及び boの、クラス毎の分布状態を示す特徴量分布情報を得るものであるとする。

[0209] その後、制御部 9aは、 1枚目の画像 IIに対し、画像 IIが有する各領域を、胃粘膜、絨毛、便及び泡の 4つのクラス及び不明クラスのいずれかに分類する処理を行う（図 24のステップ S 145及びステップ S 146)。

[0210] さらに、制御部 9aは、入力された N枚の画像全てに対する、前述した図 24のステツプ S 146に示す処理が完了して!/ヽな、場合（図 24のステップ S 147)、画像番号 iに 1 をカロえ（図 24のステップ S148)、次の画像について、図 24のステップ S 146及びステップ S147に示す処理を引き続き行う。また、制御部 9aは、入力された N枚の画像全てに対する、前述した図 24のステップ S 146に示す処理が完了した場合（図 24のステツプ S147)、図 24のステップ S131からステップ S148までに示す一連の処理を終了する。

[0211] なお、制御部 9aは、図 24のステップ S144に示す処理を行うことにより得られる特徴量分布情報に加え、例えば、画像 IIから INまでのうち、所定のクラスに分類された領域 Hoが画像 Ii内の所定の割合以上を占める画像を、所定の臓器が撮像された画像として判定するといつた判定基準を併せて用いることにより、画像毎の撮像部位の判定を行うものであっても良い。具体的には、例えば、制御部 9aは、画像 IIから INまでのうち、便クラスに分類された領域 Hoが画像 Ii内の 10%以上を占める画像を、大腸が撮像されている画像であるとして判定するものであっても良い。なお、制御部 9aにより行われる、以上に述べたような撮像部位判定の処理は、前述した、図 19のステツプ S112における処理に併せて行われるものであっても良い。

[0212] 制御部 9aは、以上に述べた、図 24のステップ S131からステップ S148までに示す処理を行うことにより、図 19のステップ S 101からステップ S 115までに示す処理を行う場合に比べ、カプセル型内視鏡 3により撮像された画像の分類をより高精度に行うことがでさる。

[0213] また、制御部 9aは、画像 Iiが有する各領域をより高精度に分類するための処理として、例えば、図 24のステップ S144に示す処理を行うことにおいて得られる特徴量分布情報に基づいて構成した統計的識別器等を用いる、以降に記すような処理を行うものであっても良い。

[0214] その場合、制御部 9aは、図 24のステップ S 144に示す処理を行った後、画像を分類する際の分類基準としての平均値べ外ル及び分散共分散行列を、図 24のステツプ S144に示す処理にお、て得た特徴量分布情報に基づ!/、て算出し、該平均値べタトル及び該分散共分散行列を用いた統計的識別器を構成する。

[0215] さらに、制御部 9aは、前述した処理により構成された統計的識別器と、画像 Iiが有する各領域において算出された特徴量 go及び； z boとに基づき、該各領域を前述した 4つのクラス及び不明クラスのいずれかに分類する。

[0216] 以上に述べた画像処理方法は、カプセル型内視鏡により撮像された画像に対してのみ適用されるものに限らず、例えば、生体内に挿入可能であるとともに、撮像機能を有する挿入部を具備して構成される内視鏡により撮像された画像に対して適用されるものであっても良い。

[0217] 以上に述べたように、本実施形態によれば、画像を撮像対象毎に高精度かつ高速に分類することができ、さらに、前記分類結果に基づいて撮像された臓器を特定することができ、その結果、ユーザによる観察の効率ィ匕をは力ることができる。

[0218] (第 3の実施形態）

図 25から図 30は、本発明の第 3の実施形態に係るものである。なお、第 1の実施形態及び第 2の実施形態と同様の構成を持つ部分については、詳細説明は省略する。また、第 1の実施形態及び第 2の実施形態と同様の構成要素については、同一の符号を用いて説明は省略する。さらに、第 3の実施形態に用いるカプセル型内視鏡装置 1の構成は、第 1の実施形態及び第 2の実施形態と同様である。また、第 3の実施形態における画像処理動作は、端末本体 9が有する制御部 9aにおける処理として行われるものとする。 [0219] 図 25は、第 3の実施形態に係る画像処理動作を示すフローチャートである。図 26 は、図 25に示す処理に引き続いて行われる画像処理動作を示すフローチャートである。図 27は、第 3の実施形態において制御部が行う処理により作成される、特徴空間におけるヒストグラムの一例を示す図である。図 28は、第 3の実施形態において制御部が行う第 2の教師なしクラスタリング処理により作成される、特徴空間におけるクラスタの一例を示す図である。図 29は、第 3の実施形態において制御部が行う第 1の教師なしクラスタリング処理により作成される、特徴空間におけるクラスタの一例を示す図である。図 30は、第 3の実施形態において制御部が行うクラスタの分割処理により、図 29に示すクラスタ Cがクラスタ C1及びクラスタ C2に分割された状態を示す図である。

[0220] 第 3の実施形態の画像処理装置における画像処理動作について説明を行う。

[0221] まず、制御部 9aは、入力された i番目の画像 Iiを構成する Ri、 Gi及び Biの各プレーンに対し、前処理として、例えば、メディアンフィルタリングによるノイズ除去及び逆 γ 補正を行うと共に、ハレーション画素及び暗部画素を以降の処理対象から除外するため、閾値に基づく処理により検出しておく（図 25のステップ S151)。そして、前記閾値に基づく処理は、例えば、 riw、 giw及び biwの濃度値の全てが 10以下の値であれば暗部画素、また、 riw、 giw及び biwの濃度値の全てが 230以上の値であればハレーシヨン画素とするような処理として行われる。

[0222] その後、制御部 9aは、入力された画像 Iiを、例えば、 8 X 8からなる複数の矩形領域に分割する（図 25のステップ S152)。

[0223] その後、制御部 9aは、画像 Iiの一の領域 Ho各々における各画素の RGB値の比に基づく値である、 μ go及び/ z boからなる、画像の色度を示す 2つの特徴量と、 giw/ riwの分散（以降、 σ ²goと示す)及び biwZgiwの分散（以降、 σ οと示す)からなる、画像の色度のばらつきを示す 2つの特徴量を算出する（図 25のステップ S153)。なお、制御部 9aは、画像の色度のばらつきを示す特徴量として、 σ ²go及び σ οを算出するものに限らず、例えば、 giwZriwの標準偏差 σ go及び biwZgiwの標準偏差 σ boを算出するものであっても良い。

[0224] 制御部 9aは、領域 Ho各々にお、て得られた特徴量 μ go及び μ boを各々離散化するとともに、離散化した特徴量 go及び boの発生頻度に基づぐ特徴空間におけるヒストグラムを作成する（図 25のステップ S 154)。

[0225] 制御部 9aは、離散化した特徴量 μ go及び μ bo各々に対し、例えば、所定のサイズの平均値フィルタを適用することにより、ヒストグラムを平滑ィ匕する（図 25のステップ S 155)。なお、制御部 9aが以上までの処理を行うことにより作成されるヒストグラムは、例えば、前述した図 20に示されるものと略同様のものになる。

[0226] 次に、制御部 9aは、入力された画像 Iiに対して前述した処理を行うことにより作成したヒストグラムにおいて、発生頻度が極大となる（ go, μ bo)の要素、すなわち、ピ一ク点を検出する（図 25のステップ S156)。具体的には、制御部 9aは、作成したヒストグラムにおいて、一の要素及び該一の要素の 8近傍の要素からなる 9個の要素を抽出した後、抽出した該 9個の要素のうち、発生頻度が最大となる要素をピーク点として検出する。

[0227] 制御部 9aは、作成したヒストグラムにおいて、（ go, μ bo) = (0, 0)以外の各要素力検出した各ピーク点のうち、いずれのピーク点に向力うものであるかを、 gradie ntベクトルに基づく解析手法としての、例えば、 Valley— Seeking法を用いることにより特定する（図 25のステップ S157)。そして、制御部 9aは、同一のピーク点に向かう gradientベクトルを有する要素を同一クラスタに属する要素とする処理である、ヒストグラム内の各要素 go, μ bo)に対する、第 1の教師なしクラスタリング処理を行う (図 25のステップ S 158)。なお、制御部 9aが第 1の教師なしクラスタリング処理を行うことにより作成される各クラスタは、例えば、前述した図 21に示されるものと略同様のものになる。

[0228] 制御部 9aは、第 1の教師なしクラスタリングの処理を行った後、生成した各クラスタについて、該各クラスタのクラスタ情報を取得する（図 25のステップ S 159)。なお、図 25のステップ S 159に示す処理において制御部 9aが取得するクラスタ情報は、例えば、クラスタ番号、該各クラスタのピーク点となる要素、該各クラスタ各々の特徴空間における面積及び体積、及び該各クラスタにおける特徴量/ z go及び/ z boの平均値ベクトルとヽつた情報である。

[0229] その後、制御部 9aは、取得したクラスタ情報に基づき、特徴空間における面積または体積が所定の閾値未満であるクラスタを削除する（図 25のステップ SI 60)。

[0230] さらに、制御部 9aは、特徴空間に残った各クラスタにおける特徴量/ z go及び/ z bo の平均値ベクトル及び教師データセットから作成された、例えば、線形判別関数またはベイズの定理に基づく関数等の識別器等の識別器を用いることにより、特徴空間に残った各クラスタがいずれのクラスに属するかを判定する（図 25のステップ S161) 。なお、本実施形態においては、前記クラスは、胃粘膜、絨毛、便及び泡からなる 4 つのクラスであるとする。また、本実施形態においては、前記教師データセットは、前記 4つのクラスの教師データを構成する複数の画像であるとする。

[0231] そして、制御部 9aは、特徴空間に残った各クラスタを胃粘膜、絨毛、便及び泡の 4 つのクラスに分類するとともに、該 4つのクラスに分類不可能なクラスタを不明クラスとして分類する（図 25のステップ S 162)。

[0232] なお、本実施形態における、図 25のステップ S161及びステップ S 162における処理は、第 2の実施形態において説明した、図 19のステップ S111及びステップ S112 に示す処理と略同様の処理を適用するものであるとする。

[0233] また、制御部 9aは、領域 Ho各々にお、て得られた特徴量 σ ²go及び σ οを各々離散化するとともに、離散化した特徴量 σ ²go及び σ ²boの発生頻度に基づぐ特徴空間におけるヒストグラムを作成する（図 26のステップ S 163)。

[0234] 制御部 9aは、離散化した特徴量 σ ²go及び σ ο各々に対し、例えば、所定のサイズの平均値フィルタを適用することにより、ヒストグラムを平滑ィ匕する（図 26のステップ S 164)。なお、制御部 9aが以上までの処理を行うことにより作成されるヒストグラムは、例えば、図 27に示されるようなものとなる。

[0235] 次に、制御部 9aは、入力された画像 Iiに対して前述した処理を行うことにより作成したヒストグラムにおいて、発生頻度が極大となる（ σ ²go, σ ¾ο)の要素、すなわち、ピ一ク点を検出する（図 26のステップ S165)。具体的には、制御部 9aは、作成したヒストグラムにおいて、一の要素及び該一の要素の 8近傍の要素からなる 9個の要素を抽出した後、抽出した該 9個の要素のうち、発生頻度が最大となる要素をピーク点として検出する。

[0236] 制御部 9aは、作成したヒストグラムにおいて、（ σ ²go, σ ¾ο) = (0, 0)以外の各要素力検出した各ピーク点のうち、いずれのピーク点に向力うものであるかを、 gradie ntベクトルに基づく解析手法としての、例えば、 Valley— Seeking法を用いることにより特定する（図 26のステップ S 166)。そして、制御部 9aは、同一のピーク点に向かう gradientベクトルを有する要素を同一クラスタに属する要素とする処理である、ヒストグラム内の各要素（ σ ²go, σ ¾ο)に対する、第 2の教師なしクラスタリング処理を行う（図 26のステップ S 167)。なお、制御部 9aが第 2の教師なしクラスタリング処理を行うことにより作成される各クラスタは、例えば、図 28に示されるようなものとなる。

[0237] そして、制御部 9aは、第 1の教師なしクラスタリング処理を行うことにより作成された各クラスタにおける各要素 go, μ bo)の分布状態と、第 2の教師なしクラスタリング処理を行うことにより作成された各クラスタにおける各要素（ σ ²go, σ ¾ο)の分布状態とに基づき、以降に記すような、第 1の教師なしクラスタリング処理を行うことにより作成された各クラスタの分割処理を行う（図 26のステップ S 168)。

[0238] なお、以降においては、例えば、第 2の教師なしクラスタリング処理が行われることにより、画像の色度のばらつきを示す特徴空間に図 28に示すようなクラスタ A及びクラスタ Bが作成され、かつ、第 1の教師なしクラスタリング処理が行われることにより、画像の色度を示す特徴空間に図 29に示すようなクラスタ Cが作成された場合を考える。

[0239] 制御部 9aは、一の領域 Ho iの特徴量として算出された σ ²gol及び σ ²bo lがクラスタ Aに属し、該一の領域 Ho iの特徴量として算出された/ z go l及び/ z bo lがクラスタ Cに属し、他の領域 Ho2の特徴量として算出された σ ²go2及び σ ο2がクラスタ Β に属し、該他の領域 Ηο2の特徴量として算出された/ z go2及び/ z bo2がクラスタ Cに属していることを検出すると、クラスタ Cを、 2つのクラスの要素が混在したクラスタであると判断する。そして、制御部 9aは、前記検出結果に基づき、元のクラスタ Cを、例えば、図 30に示すように、 /z go l及び/ z bo lが属する一のクラスタ C1と、 μ 。2及ぴ μ bo2が属する他のクラスタ C2とに分割する処理を行う。

[0240] その後、制御部 9aは、特徴量/ z gol及び/ z bo lの平均値ベクトル及び教師データセットから作成された識別器を用い、元のクラスタ力も分割された一のクラスタである、クラスタ C1のクラス分類を行うとともに、特徴量/ z go2及び/ z bo2の平均値ベクトル及び教師データセットから作成された識別器を用い、元のクラスタ力分割された他のクラスタである、クラスタ C2のクラス分類を行う（図 26のステップ S169)。

[0241] なお、前述した、図 26のステップ S163からステップ S169までの処理は、図 25のステツプ S161の処理において、例えば、胃粘膜クラス及び絨毛クラスといった、特定のクラスに分類されたクラスタに対してのみ行うものであっても良い。

[0242] また、前述した処理において、制御部 9aは、図 25のステップ S161及びステップ S1 62の処理を省略しつつ、図 26のステップ S163からステップ S169までの処理を行うものであっても良い。具体的には、制御部 9aは、第 2の教師なしクラスタリング処理を行うことにより作成された各クラスタのクラス分類結果に基づき、第 1の教師なしクラスタリング処理を行うことにより作成された各クラスタのクラス分類を行うものであっても良い。

[0243] 以上に述べた画像処理方法は、カプセル型内視鏡により撮像された画像に対してのみ適用されるものに限らず、例えば、生体内に挿入可能であるとともに、撮像機能を有する挿入部を具備して構成される内視鏡により撮像された画像に対して適用されるものであっても良い。

[0244] 以上に述べたように、第 3の実施形態によれば、画像を撮像対象毎に高精度かつ高速に分類することができ、その結果、ユーザによる観察の効率ィ匕をは力ることができる。

[0245] また、第 3の実施形態によれば、色調に基づくクラスタ生成及びクラス分類に加え、色調のばらつきに基づくクラスタ生成及びクラス分類が併せて行われることにより、構造的に明確な特徴を有する、泡及び絨毛が撮像された画像の分類を高精度に行うことがでさる。

[0246] また、本発明の第 2の実施形態及び第 3の実施形態において、制御部 9aは、一の画像 Iiを大きさ 8 X 8からなる複数の矩形領域に分割して一連の処理を行うとして説明を行っているが、これに限るものではなぐ例えば、 1 X 1、すなわち画素毎に分割して処理を行うものであってもよいし、また、他の大きさの矩形領域に分割して処理を行うものであってもよい。

[0247] さらに、本発明の第 2の実施形態及び第 3の実施形態において、制御部 9aは、一の画像 Iiを大きさ 8 X 8からなる複数の矩形領域に分割して一連の処理を行うとして説明を行っている力これに限るものではなぐ例えば、エッジ情報等に応じた、一の画像 Iiにおける分類結果に基づく領域に分割して処理を行うものであってもよいし、また、他の形状を有する領域に分割して処理を行うものであってもよ、。

[0248] なお、本発明は、上述した各実施形態に限定されるものではなぐ発明の趣旨を逸脱しな、範囲内にお、て種々の変更や応用が可能であることは勿論である。

[0249] 本出願は、 2005年 12月 28曰に曰本国に出願された特願 2005— 380210号、及び、 2005年 12月 28日に日本国に出願された特願 2005— 380212号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims

請求の範囲

[1] 撮像機能を有する医療機器により撮像された複数の画像に基づく画像信号を入力する画像信号入力手段と、

前記画像信号入力手段にお!ヽて入力した画像信号に基づき、前記複数の画像を各々複数の領域に分割する画像分割手段と、

前記画像分割手段により分割された前記複数の領域各々における特徴量を算出する特徴量算出手段と、

前記特徴量及び前記特徴量の発生頻度に基づき、特徴空間において複数のクラスタを生成するとともに、該複数のクラスタを複数のクラスのいずれかに各々分類するクラスタ分類手段と、

前記複数の画像を用い、前記複数の画像が各々撮像されたタイミングに基づく複数のサブセットを生成するサブセット生成手段と、

前記サブセット生成手段により生成された一のサブセットに含まれる画像各々の、前記特徴空間における前記特徴量の分布状態に基づき、前記一のサブセットに含まれる画像を、前記複数のクラスのいずれかに各々分類する際の分類基準を算出する分類基準算出手段と、

を具備することを特徴とする画像処理装置。

[2] さらに、前記分類基準算出手段は、前記複数のクラスのうち、一のサブセットにおいて前記特徴量が発生しないクラスについては、前記分類基準を算出しないことを特徴とする請求項 1に記載の画像処理装置。

[3] 前記複数のクラスは、生体粘膜に関するクラスと、非生体粘膜に関するクラスとを少なくとも有することを特徴とする請求項 1に記載の画像処理装置。

[4] 前記複数のクラスは、生体粘膜に関するクラスと、非生体粘膜に関するクラスとを少なくとも有することを特徴とする請求項 2に記載の画像処理装置。

[5] さらに、前記分類基準に基づき、前記一のサブセットに含まれる一の画像における各領域の分類を行う分類手段と、

前記一の画像の分類結果に基づき、前記一の画像が前記生体粘膜に関するクラスとして分類された領域を有している場合、該領域各々に対し、病変箇所を検出するための処理を行う病変検出手段と、

を有することを特徴とする請求項 3に記載の画像処理装置。

[6] さらに、前記分類基準に基づき、前記一のサブセットに含まれる一の画像における各領域の分類を行う分類手段と、

を有することを特徴とする請求項 4に記載の画像処理装置。

[7] 撮像機能を有する医療機器により時系列的に撮像された複数の画像に基づく画像信号を入力する画像信号入力手段と、

前記特徴量に基づき、前記複数の領域各々を複数のクラスの!/、ずれかに各々分類する画像領域分類手段と、

前記複数の画像各々において、少なくとも一のクラスの特徴量の代表値を算出する代表値算出手段と、

前記代表値の変動を時系列的に検出する変動検出手段と、

を具備することを特徴とする画像処理装置。

[8] さらに、前記代表値各々に対して時系列方向の平滑化を適用する平滑化手段を有し、

前記変動検出手段は、前記平滑化手段により平滑化された後の前記代表値に基づき、前記代表値の変動が極大となる画像または時間の、ずれかを検出することを特徴とする請求項 7に記載の画像処理装置。

[9] 前記代表値の変動は、生体内における観察部位の変化に基づいて生じるものであることを特徴とする請求項 7に記載の画像処理装置。

[10] 前記代表値の変動は、生体内における観察部位の変化に基づいて生じるものであることを特徴とする請求項 8に記載の画像処理装置。

前記代表値の変動は、生体内における便の存在に基づいて生じるものであることを特徴とする請求項 7に記載の画像処理装置。

前記代表値の変動は、生体内における便の存在に基づいて生じるものであることを特徴とする請求項 8に記載の画像処理装置。

前記代表値の変動は、生体内における胆汁の存在に基づいて生じるものであることを特徴とする請求項 7に記載の画像処理装置。

前記代表値の変動は、生体内における胆汁の存在に基づいて生じるものであることを特徴とする請求項 8に記載の画像処理装置。

前記代表値の変動は、生体内における病変部位の存在に基づいて生じるものであることを特徴とする請求項 7に記載の画像処理装置。

前記代表値の変動は、生体内における病変部位の存在に基づいて生じるものであることを特徴とする請求項 8に記載の画像処理装置。

前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする請求項 7に記載の画像処理装置。

前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする請求項 8に記載の画像処理装置。

前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする請求項 9に記載の画像処理装置。

前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする請求項 10に記載の画像処理装置。

前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする請求項 11に記載の画像処理装置。

前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする請求項 12に記載の画像処理装置。

前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする請求項 13に記載の画像処理装置。する請求項 14に記載の画像処理装置。

[25] 前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする請求項 15に記載の画像処理装置。

[26] 前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする請求項 16に記載の画像処理装置。

[27] 撮像機能を有する医療機器により撮像された画像に基づく画像信号を入力する画像信号入力手段と、

前記画像信号入力手段にお!ヽて入力した画像信号に基づき、前記画像を各々複数の領域に分割する画像分割手段と、

前記クラスタ分類手段の分類結果に基づき、前記複数の領域を前記複数のクラスのヽずれかに各々分類する画像領域分類手段と、

を具備することを特徴とする画像処理装置。

[28] 撮像機能を有する医療機器により撮像された画像に基づく画像信号を入力する画像信号入力手段と、

前記特徴空間における前記特徴量の分布状態に関する情報である、特徴量分布情報を得る特徴量分布情報取得手段と、前記特徴量分布情報取得手段が取得した前記特徴量分布情報に基づき、前記複数の領域を前記複数のクラスの!/ヽずれかに各々分類する画像領域分類手段と、を具備することを特徴とする画像処理装置。

[29] 前記画像は、時系列的に連続して撮像された複数の画像であることを特徴とする請求項 27に記載の画像処理装置。

[30] 前記画像は、時系列的に連続して撮像された複数の画像であることを特徴とする請求項 28に記載の画像処理装置。

[31] 撮像機能を有する医療機器により撮像された画像に基づく画像信号を入力する画像信号入力手段と、

前記画像分割手段により分割された前記複数の領域各々における複数の種類の特徴量を算出する特徴量算出手段と、

前記複数の種類の特徴量のうち、一の種類の特徴量及び該一の種類の特徴量の発生頻度に基づき、一の特徴空間において複数のクラスタを生成するとともに、該複数のクラスタを複数のクラスのいずれかに各々分類する第 1のクラスタ分類手段と、前記複数の種類の特徴量のうち、他の種類の特徴量及び該他の種類の特徴量の発生頻度に基づき、他の特徴空間において複数のクラスタを生成するとともに、該複数のクラスタを複数のクラスの、ずれかに各々分類する第 2のクラスタ分類手段と、前記一の特徴空間及び前記他の特徴空間における特徴量の分布状態に基づき、前記一の特徴空間において生成された複数のクラスタに対する分割処理を行うクラスタ分割手段と、

を具備することを特徴とする画像処理装置。

[32] 前記病変検出手段は、前記医療機器に設けられていることを特徴とする請求項 5に記載の画像処理装置。

[33] 前記病変検出手段は、前記医療機器に設けられていることを特徴とする請求項 6に記載の画像処理装置。

[34] 前記変動検出手段は、前記時系列的に検出された代表値の変動が極大となる画像または時間のいずれかを検出する処理を行うことを特徴とする請求項 7に記載の画像処理装置。

[35] さらに、前記画像領域分類手段によって分類された領域のうち、特定の領域が前記画像上において所定の割合以上を占める場合、当該画像を特定の臓器が撮像された画像であると判定する撮像部位判定手段を有することを特徴とする請求項 27に記載の画像処理装置。

[36] さらに、前記画像領域分類手段によって分類された領域のうち、特定の領域が前記画像上において所定の割合以上を占める場合、当該画像を特定の臓器が撮像された画像であると判定する撮像部位判定手段を有することを特徴とする請求項 28に記載の画像処理装置。

[37] 撮像機能を有する医療機器により撮像された画像に基づいて入力される画像信号に基づき、前記画像を各々複数の領域に分割する画像分割ステップと、

前記画像分割ステップにより分割された前記複数の領域各々における特徴量を算出する特徴量算出ステップと、

前記特徴量及び前記特徴量の発生頻度に基づき、特徴空間において複数のクラスタを生成するとともに、該複数のクラスタを複数のクラスのいずれかに各々分類するクラスタ分類ステップと、

前記複数の画像を用い、前記複数の画像が各々撮像されたタイミングに基づく複数のサブセットを生成するサブセット生成ステップと、

前記サブセット生成ステップにより生成された一のサブセットに含まれる画像各々の、前記特徴空間における前記特徴量の分布状態に基づき、前記一のサブセットに含まれる画像を各々分類する際の分類基準を算出する分類基準算出ステップと、を具備することを特徴とする画像処理装置における画像処理方法。

[38] さらに、前記分類基準算出ステップは、前記複数のクラスのうち、一のサブセットにぉ、て前記特徴量が発生しな、クラスにっ、ては、前記分類基準を算出しな、ことを特徴とする請求項 37に記載の画像処理装置における画像処理方法。

[39] 前記複数のクラスは、生体粘膜に関するクラスと、非生体粘膜に関するクラスとを少なくとも有することを特徴とする請求項 37に記載の画像処理装置における画像処理方法。

[40] 前記複数のクラスは、生体粘膜に関するクラスと、非生体粘膜に関するクラスとを少なくとも有することを特徴とする請求項 38に記載の画像処理装置における画像処理方法。

[41] さらに、前記分類基準に基づき、前記一のサブセットに含まれる一の画像における各領域の分類を行う分類ステップと、

前記一の画像の分類結果に基づき、前記一の画像が前記生体粘膜に関するクラスとして分類された領域を有している場合、該領域各々に対し、病変箇所を検出するための処理を行う病変検出ステップと、

を有することを特徴とする請求項 39に記載の画像処理装置における画像処理方法

[42] さらに、前記分類基準に基づき、前記一のサブセットに含まれる一の画像における各領域の分類を行う分類ステップと、

を有することを特徴とする請求項 40に記載の画像処理装置における画像処理方法

[43] 撮像機能を有する医療機器により撮像された画像に基づいて入力される画像信号に基づき、前記画像を各々複数の領域に分割する画像分割ステップと、

前記特徴量に基づき、前記複数の領域各々を複数のクラスの!/、ずれかに各々分類する画像領域分類ステップと、

前記複数の画像各々において、少なくとも一のクラスの特徴量の代表値を算出する代表値算出ステップと、

前記代表値の変動を時系列的に検出する変動検出ステップと、

を具備することを特徴とする画像処理装置における画像処理方法。 [44] さらに、前記代表値各々に対して時系列方向の平滑ィ匕を適用する平滑化ステップを有し、

前記平滑化ステップにより平滑化された後の前記代表値に基づき、前記代表値の変動が極大となる画像または時間のいずれかを検出する処理を前記変動検出ステツプにおいて行うことを特徴とする請求項 43に記載の画像処理装置における画像処理方法。

[45] 前記代表値の変動は、生体内における観察部位の変化に基づいて生じるものであることを特徴とする請求項 43に記載の画像処理装置における画像処理方法。

[46] 前記代表値の変動は、生体内における観察部位の変化に基づいて生じるものであることを特徴とする請求項 44に記載の画像処理装置における画像処理方法。

[47] 前記代表値の変動は、生体内における便の存在に基づいて生じるものであることを特徴とする請求項 43に記載の画像処理装置における画像処理方法。

[48] 前記代表値の変動は、生体内における便の存在に基づいて生じるものであることを特徴とする請求項 44に記載の画像処理装置における画像処理方法。

[49] 前記代表値の変動は、生体内における胆汁の存在に基づいて生じるものであることを特徴とする請求項 43に記載の画像処理装置における画像処理方法。

[50] 前記代表値の変動は、生体内における胆汁の存在に基づいて生じるものであることを特徴とする請求項 44に記載の画像処理装置における画像処理方法。

[51] 前記代表値の変動は、生体内における病変部位の存在に基づいて生じるものであることを特徴とする請求項 43に記載の画像処理装置における画像処理方法。

[52] 前記代表値の変動は、生体内における病変部位の存在に基づいて生じるものであることを特徴とする請求項 44に記載の画像処理装置における画像処理方法。

[53] 前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする請求項 43に記載の画像処理装置における画像処理方法。

[54] 前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする請求項 44に記載の画像処理装置における画像処理方法。

[55] 前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする請求項 45に記載の画像処理装置における画像処理方法。 [56] 前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする請求項 46に記載の画像処理装置における画像処理方法。

[57] 前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする請求項 47に記載の画像処理装置における画像処理方法。

[58] 前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする請求項 48に記載の画像処理装置における画像処理方法。

[59] 前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする請求項 49に記載の画像処理装置における画像処理方法。

[60] 前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする請求項 50に記載の画像処理装置における画像処理方法。

[61] 前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする請求項 51に記載の画像処理装置における画像処理方法。

[62] 前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする請求項 52に記載の画像処理装置における画像処理方法。

[63] 撮像機能を有する医療機器により撮像された画像に基づいて入力される画像信号に基づき、前記画像を各々複数の領域に分割する画像分割ステップと、

前記クラスタ分類ステップの分類結果に基づき、前記複数の領域を前記複数のクラスの、ずれかに各々分類する画像領域分類ステップと、

を具備することを特徴とする画像処理装置における画像処理方法。

[64] 撮像機能を有する医療機器により撮像された画像に基づいて入力される画像信号に基づき、前記画像を各々複数の領域に分割する画像分割ステップと、

前記画像分割ステップにより分割された前記複数の領域各々における特徴量を算出する特徴量算出ステップと、前記特徴量及び前記特徴量の発生頻度に基づき、特徴空間において複数のクラスタを生成するとともに、該複数のクラスタを複数のクラスのいずれかに各々分類するクラスタ分類ステップと、

前記特徴空間における前記特徴量の分布状態に関する情報である、特徴量分布情報を得る特徴量分布情報取得ステップと、

前記特徴量分布情報取得ステップが取得した前記特徴量分布情報に基づき、前記複数の領域を前記複数のクラスの!/、ずれかに各々分類する画像領域分類ステツプと、

[65] 前記画像は、時系列的に連続して撮像された複数の画像であることを特徴とする請求項 63に記載の画像処理装置における画像処理方法。

[66] 前記画像は、時系列的に連続して撮像された複数の画像であることを特徴とする請求項 64に記載の画像処理装置における画像処理方法。

[67] 撮像機能を有する医療機器により撮像された画像に基づいて入力される画像信号に基づき、前記画像を各々複数の領域に分割する画像分割ステップと、

前記画像分割ステップにより分割された前記複数の領域各々における複数の種類の特徴量を算出する特徴量算出ステップと、

前記複数の種類の特徴量のうち、一の種類の特徴量及び該一の種類の特徴量の発生頻度に基づき、一の特徴空間において複数のクラスタを生成するとともに、該複数のクラスタを複数のクラスの、ずれか〖こ各々分類する第 1のクラスタ分類ステップと前記複数の種類の特徴量のうち、他の種類の特徴量及び該他の種類の特徴量の発生頻度に基づき、他の特徴空間において複数のクラスタを生成するとともに、該複数のクラスタを複数のクラスの、ずれか〖こ各々分類する第 2のクラスタ分類ステップと前記一の特徴空間及び前記他の特徴空間における特徴量の分布状態に基づき、前記一の特徴空間において生成された複数のクラスタに対する分割処理を行うクラスタ分割ステップと、を具備することを特徴とする画像処理装置における画像処理方法。

[68] 前記病変検出ステップは、前記医療機器内において行われることを特徴とする請求項 41に記載の画像処理方法。

[69] 前記病変検出ステップは、前記医療機器内において行われることを特徴とする請求項 42に記載の画像処理方法。

[70] 前記変動検出ステップは、前記時系列的に検出された代表値の変動が極大となる画像または時間のいずれかを検出する処理を行うことを特徴とする請求項 43に記載の画像処理方法。

[71] さらに、前記画像領域分類ステップによって分類された領域のうち、特定の領域が前記画像上において所定の割合以上を占める場合、当該画像を特定の臓器が撮像された画像であると判定する撮像部位判定ステップを有することを特徴とする請求項 63に記載の画像処理方法。

[72] さらに、前記画像領域分類ステップによって分類された領域のうち、特定の領域が前記画像上において所定の割合以上を占める場合、当該画像を特定の臓器が撮像された画像であると判定する撮像部位判定ステップを有することを特徴とする請求項 64に記載の画像処理方法。