WO2006112227A1

WO2006112227A1 - 画像処理装置及び画像処理方法

Info

Publication number: WO2006112227A1
Application number: PCT/JP2006/305022
Authority: WO
Inventors: Hirokazu Nishimura; Tetsuo Nonami
Original assignee: Olympus Medical Systems Corp.
Priority date: 2005-04-13
Filing date: 2006-03-14
Publication date: 2006-10-26
Also published as: CN101966071B; KR100970295B1; CN101966071A; EP1870020A4; EP2415389A2; EP2415389A3; EP2415389B1; EP1870020A1; EP1870020B1; US20070292011A1; US7953261B2; KR20070116634A

Abstract

　ユーザによる観察効率を向上させることのできる画像処理装置及び画像処理方法を提供する。本発明の画像処理装置は、複数の色信号からなる医用画像を入力する画像入力部と、　前記入力された医用画像が生体粘膜を十分に撮像したか否かを判定する判定部と、前記判定部における判定結果に基づき前記医用画像の表示または記憶の少なくとも１つを制御する制御部と、を備える。

Description

明細書

画像処理装置及び画像処理方法

技術分野

[0001] 本発明は、画像処理装置及び画像処理方法に関し、特に、生体粘膜表面の像が良好に撮像されていない画像を除外することができる画像処理装置及び画像処理方法に関するものである。

背景技術

[0002] 従来、医療分野にぉレ、て、 X線、 CT、 MRI、超音波観測装置及び内視鏡装置等の画像撮像機器を用いた観察が広く行われている。このような画像撮像機器のうち、内視鏡装置は、例えば、生体としての体腔内に挿入される細長の挿入部を有し、該挿入部の先端部に配置された対物光学系により結像した体腔内の像を固体撮像素子等により撮像して撮像信号として出力し、該撮像信号に基づいてモニタ等に体腔内の像の画像を表示するという作用及び構成を有する。そして、ユーザは、前記モニタ等に表示された体腔内の像の画像に基づき、例えば、体腔内における臓器等の観察を行う。また、内視鏡装置は、消化管粘膜の像を直接的に撮像することが可能である。そのため、ユーザは、例えば、粘膜の色調、病変の形状及び粘膜表面の微細な構造等の様々な所見を総合的に観察することができる。

[0003] そして、近年、前述したような内視鏡装置と略同様の有用性が期待できる画像撮像機器として、例えば、カプセル型内視鏡装置が提案されている。一般的に、カプセノレ型内視鏡装置は、被検者が口から飲み込むことにより体腔内に配置され、撮像した該体腔内の像を撮像信号として外部に送信するカプセル型内視鏡と、送信された該撮像信号を体腔外で受信した後、受信した該撮像信号を蓄積するレシーバと、レシーバに蓄積された撮像信号に基づく体腔内の像の画像を観察するための観察装置とから構成される。

[0004] カプセル型内視鏡装置を構成するカプセル型内視鏡は、消化管の蠕動運動により進むため、例えば、口から体腔内に入れられた後、肛門力排出されるまで数時間程度の時間力 Sかかることが一般的である。そして、カプセル型内視鏡は、体腔内に入れられた後、排出されるまでの間、レシーバに対して撮像信号を略常時出力し続けるため、例えば、数時間分の動画像における、レシーバに蓄積されたフレーム画像としての静止画像の枚数は膨大なものとなる。そのため、ユーザによる観察の効率化という点において、例えば、蓄積された画像のうち、出血部位等の病変部位が含まれる所定の画像を検出するような画像処理方法が行われた上において、該所定の画像以外の画像を表示または保存しないという処理が行われることにより、画像のデータ量が削減されるような提案が望まれている。

[0005] 前述したような画像処理方法としては、例えば、 PCT WO 02/073507 A2号公報に記載されているようなものがある。特許文献 1に記載されている、生体内での比色分析の異常を検出するための方法は、正常粘膜と出血部位との色調の違いに着目し、色調を特徴量と設定した特徴空間における各平均値からの距離に基づき、画像の分割領域毎に出血部位の検出を行う方法、すなわち、病変部位としての出血部位が含まれる所定の画像を検出するための方法を有する画像処理方法である。

[0006] しかし、 PCT WO 02/073507 A2号公報に記載されている画像処理方法においては、以下に記すような課題がある。

[0007] 一般に、消化管においては、常に生体粘膜表面の像のみの撮像が行われている訳ではなぐ例えば、便、泡、粘液または食物残渣等の異物の像と、生体粘膜表面の像とが混在した状態において撮像が行われている。そのため、前述したような異物の存在を考慮していない PCT WO 02/073507 A2号公報に記載されている画像処理方法においては、例えば、該異物により正常粘膜を出血部位と誤検出してしまう可能性、及び該異物の像が大部分を占めるような画像を検出する可能性が考えられる。その結果、 PCT WO 02/073507 A2号公報の画像処理方法を用いた観察が行われる場合、病変部位の検出精度が低下してしまうことに起因する、観察効率の低下が発生してしまうという課題が生じている。

[0008] 本発明は、前述した点に鑑みてなされたものであり、ユーザによる観察効率を向上させることのできる画像処理装置及び画像処理方法を提供することを目的としている発明の開示課題を解決するための手段

[0009] 本発明の第 1の画像処理装置は、複数の色信号からなる医用画像を入力する画像入力部と、前記入力された医用画像が生体粘膜を十分に撮像したか否力 ^判定する判定部と、前記判定部における判定結果に基づき前記医用画像の表示または記憶の少なくとも 1つを制御する制御部と、を備えたことを特徴とする。

[0010] 本発明の第 2の画像処理装置は、前記第 1の画像処理装置において、さらに、前記医用画像を複数の領域に分割する画像分割部と、前記医用画像の前記複数の領域各々における特徴量を算出する特徴量算出部と、前記特徴量に基づき、前記複数の領域各々が複数のクラスのいずれに属するかを識別するとともに、該識別結果により前記複数の領域各々を分類する領域分類部と、前記領域分類部による分類結果に基づいて、前記複数のクラスの内、所定のクラスに分類された領域群が前記複数の領域に占める割合を算出する分類判定値算出部と、前記分類判定値算出部により算出された前記割合と、前記割合に関する所定の閾値とに基づき、前記所定のクラスに分類された前記領域群を有する前記画像を分類する画像分類部と、を具備し、前記判定部は、前記画像分類部の分類結果に基づき、前記割合が所定の閾値以下である場合に、前記医用画像を、生体粘膜を十分に撮像していない画像であると判定し、前記割合が所定の閾値より大きい場合に、前記医用画像を、生体粘膜を十分に撮像した画像であると判定することを特徴とする。

[0011] 本発明の第 3の画像処理装置は、前記第 2の画像処理装置において、前記制御部は、前記判定部により生体粘膜を十分に撮像していないと判定された前記医用画像を表示しなレ、ように制御することを特徴とする。

[0012] 本発明の第 4の画像処理装置は、前記第 2の画像処理装置において、前記制御部は、前記判定部により生体粘膜を十分に撮像していないと判定された前記医用画像を記憶しなレ、ように制御することを特徴とする。

[0013] 本発明の第 5の画像処理装置は、前記第 3の画像処理装置において、前記制御部は、前記判定部により生体粘膜を十分に撮像していないと判定された前記医用画像を記憶しなレ、ように制御することを特徴とする。

[0014] 本発明の第 6の画像処理装置は、前記第 2の画像処理装置において、さらに、前記判定部により生体粘膜を十分に撮像していないと判定された前記医用画像を削除する画像削除部を具備することを特徴とする。

[0015] 本発明の第 7の画像処理装置は、前記第 3の画像処理装置において、さらに、前記判定部により生体粘膜を十分に撮像していないと判定された前記医用画像を削除する画像削除部を具備することを特徴とする。

[0016] 本発明の第 8の画像処理装置は、前記第 4の画像処理装置において、さらに、前記判定部により生体粘膜を十分に撮像していないと判定された前記医用画像を削除する画像削除部を具備することを特徴とする。

[0017] 本発明の第 9の画像処理装置は、前記第 5の画像処理装置において、さらに、前記判定部により生体粘膜を十分に撮像していないと判定された前記医用画像を削除する画像削除部を具備することを特徴とする。

[0018] 本発明の第 10の画像処理装置は、前記第 2の画像処理装置において、前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする。

[0019] 本発明の第 11の画像処理装置は、複数の色信号力なる複数の医用画像を入力する画像入力部と、前記入力された医用画像に対し、複数の領域を設定する領域設定部と、前記複数の領域の中から病変の存在が疑われる領域を検出する検出部と、前記領域設定部により設定された前記複数の複数の領域が生体粘膜を撮像した領域であるか否力を判定する領域判定部と、前記領域判定部における判定結果に基づき、前記検出部による検出結果が正しいか否力を判定する検出結果判定部と、を備えたことを特徴とする。

[0020] 本発明の第 12の画像処理装置は、前記第 11の画像処理装置において、さらに、前記医用画像の前記複数の領域各々における特徴量を算出する特徴量算出部と、前記特徴量に基づき、前記複数の領域を、生体粘膜に関するクラスと非生体粘膜に関するクラスを含む複数のクラスのいずれかに各々分類する領域分類部と、前記医用画像の緑成分の濃度値に基づき、前記複数の領域においてエッジを有する領域を検出するエッジ検出部と、前記画像の赤成分の濃度値に基づき、前記エッジを有する領域が出血部位を含む領域であるか否かを判定する出血部位判定部と、前記出血部位判定部の判定結果に基づき、前記領域分類部の分類結果が正しいか否かを判定する分類結果判定部と、を具備し、前記検出部は、前記出血部位を含む領域を病変の存在が疑われる領域として検出することを特徴とする。

[0021] 本発明の第 13の画像処理装置は、前記第 12の画像処理装置において、前記領域判定部は、前記領域分類部の分類結果に基づき、一の領域が生体粘膜に関するクラスに分類された場合に、該一の領域を、生体粘膜を撮像した領域であると判定することを特徴とする。

[0022] 本発明の第 14の画像処理装置は、前記第 13の画像処理装置において、前記検出結果判定部は、前記検出部の検出結果と、前記領域判定部の判定結果に基づき、前記病変の存在が疑われる領域が、前記生体粘膜を撮像した領域である場合に、前記検出部の検出結果を正しいと判定することを特徴とする。

[0023] 本発明の第 15の画像処理装置は、前記第 12の画像処理装置において、前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする。

[0024] 本発明の第 16の画像処理装置は、時間的に連続して撮像された複数の医用画像を入力する画像入力部と、前記医用画像に複数の領域を設定する領域設定部と、前記領域設定部により設定された前記複数の領域における撮像対象を判定する判定部と、前記判定部の判定結果に基づき、前記医用画像に撮像されている臓器を特定する特定部と、前記特定部における特定結果を表示する特定結果表示部と、を備えたことを特徴とする。

[0025] 本発明の第 17の画像処理装置は、前記第 16の画像処理装置において、さらに、前記医用画像を複数の領域に分割する画像分割部と、前記医用画像の前記複数の領域各々における特徴量を算出する特徴量算出部と、前記特徴量に基づき、前記複数の領域各々が複数のクラスのいずれに属するかを識別するとともに、該識別結果により前記複数の領域各々を分類する領域分類部と、前記領域分類部による分類結果に基づいて、前記複数のクラスの内、所定のクラスに分類された領域群が前記複数の領域に占める割合を算出する分類判定値算出部と、前記分類判定値算出部により算出された前記割合と、前記割合に関する所定の閾値とに基づき、前記所定のクラスに分類された前記領域群を有する前記画像を分類する画像分類部と、を具備し、前記特定部は、前記画像分類部の分類結果に基づき、前記医用画像に撮像されてレ、る臓器を特定することを特徴とする。

[0026] 本発明の第 18の画像処理装置は、前記第 17の画像処理装置において、前記複数のクラスは、胃粘膜クラスと、絨毛クラスと、便クラスとを少なくとも有することを特徴とする。

[0027] 本発明の第 19の画像処理装置は、前記第 18の画像処理装置において、前記所定のクラスが胃粘膜クラスである場合、前記特定部は、前記医用画像に撮像されてレ、る臓器が胃であると判定することを特徴とする。

[0028] 本発明の第 20の画像処理装置は、前記第 18の画像処理装置において、前記所定のクラスが絨毛クラスである場合、前記特定部は、前記医用画像に撮像されている臓器が小腸であると判定することを特徴とする。

[0029] 本発明の第 21の画像処理装置は、前記第 18の画像処理装置において、前記所定のクラスが便クラスである場合、前記特定部は、前記医用画像に撮像されている臓器が大腸であると判定することを特徴とする。

[0030] 本発明の第 22の画像処理装置は、前記第 17の画像処理装置において、前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする。

[0031] 本発明の第 23の画像処理装置は、撮像機能を有する医療機器により撮像された画像に基づく画像信号を入力する画像信号入力部と、前記画像信号入力部において入力した画像信号に基づいて当該医療機器により撮像された画像を複数の領域に分割する画像分割部と、前記画像分割部により分割された複数の領域各々における特徴量を算出する特徴量算出部と、前記特徴量算出部において算出された特徴量と、所定の第 1の分類基準とに基づき、前記複数の領域を複数のクラスのいずれかに各々分類する第 1の領域分類部と、前記特徴量と、前記第 1の領域分類部による分類結果とに基づいて第 2の分類基準を設定する分類基準設定部と、前記特徴量と、前記第 2の分類基準とに基づき、前記複数の領域を前記複数のクラスのいずれかに各々分類する第 2の領域分類部と、を具備したことを特徴とする。 [0032] 本発明の第 24の画像処理装置は、前記第 23の画像処理装置において、前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする。

[0033] 本発明の第 25の画像処理装置は、前記第 23の画像処理装置において、前記第 1 の領域分類部は、前記第 1の分類基準を定める母数を用いた統計的識別器を用いて前記複数の領域を前記複数のクラスのいずれかに各々分類し、前記第 2の領域分類部は、前記第 2の分類基準を定める母数を用いた統計的識別器を用いて前記複数の領域を前記複数のクラスのレ、ずれかに各々分類することを特徴とする。

[0034] 本発明の第 26の画像処理装置は、撮像機能を有する医療機器により撮像された画像に基づく画像信号を入力する画像信号入力部と、前記画像信号入力部において入力した画像信号に基づいて当該医療機器により撮像された画像を複数の領域に分割する画像分割部と、前記画像分割部により分割された複数の領域各々における特徴量を算出する特徴量算出部と、前記特徴量算出部において算出された特徴量と、所定の第 1の分類基準とに基づき、前記複数の領域を複数のクラスのいずれかに各々分類する第 1の領域分類部と、前記複数の領域のうち、一の領域の前記第 1 の領域分類部による分類結果を、前記一の領域の近傍に位置する領域の前記第 1 の領域分類部による分類結果に基づいた評価値を算出することにより評価する評価値算出部と、前記評価値算出部における評価値に基づき、前記一の領域を前記複数のクラスのいずれかに分類する第 2の領域分類部と、を具備したことを特徴とする。

[0035] 本発明の第 27の画像処理装置は、前記第 26の画像処理装置において、前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする。

[0036] 本発明の第 28の画像処理装置は、撮像機能を有する医療機器により撮像された画像に基づく画像信号を入力する画像信号入力部と、前記画像信号入力部において入力した画像信号に基づいて当該医療機器により撮像された画像を複数の領域に分割する画像分割部と、前記画像分割部により分割された複数の領域各々における特徴量を算出する特徴量算出部と、前記複数の領域のうち、一の領域を注目領域として設定する注目領域設定部と、前記注目領域から所定の距離だけ離れた領域である近傍外周領域を検出する近傍外周領域検出部と、前記近傍外周領域において、前記特徴量に基づき、略円形形状の輪郭部の少なくとも一部が存在することを検出する略円形形状検出部と、前記略円形形状検出部により、前記略円形形状が検出された場合、前記注目領域を抽出する領域抽出部と、を具備したことを特徴とする

[0037] 本発明の第 29の画像処理装置は、前記第 28の画像処理装置において、前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする。

[0038] 本発明の第 30の画像処理装置は、前記第 28の画像処理装置において、前記略円形形状検出部は、前記近傍外周領域のうち、前記略円形形状の輪郭部の少なくとも一部が存在する領域の割合が所定の閾値以上であると判断した場合に略円形形状を検出し、前記領域抽出部は、前記注目領域を前記略円形形状の中央部が存在する領域として抽出することを特徴とする。

[0039] 本発明の第 31の画像処理装置は、前記第 29の画像処理装置において、前記略円形形状は、泡であることを特徴とする。

[0040] 本発明の第 32の画像処理装置は、前記第 30の画像処理装置において、前記略円形形状は、泡であることを特徴とする。

[0041] 本発明の第 33の画像処理装置は、撮像機能を有する医療機器により撮像された画像に基づく画像信号を入力する画像信号入力部と、前記画像信号入力部において入力した画像信号に基づいて当該医療機器により撮像された画像を複数の領域に分割する画像分割部と、前記画像分割部により分割された複数の領域各々における特徴量を算出する特徴量算出部と、前記特徴量算出部において算出された特徴量と、所定の分類基準とに基づき、前記複数の領域を複数のクラスのいずれかに各々分類する領域分類部と、前記複数のクラスのうち、構造的に明確な特徴を有するクラスとして予め設定された所定のクラスに分類される領域を、前記複数の領域から検出する領域検出部と、前記領域検出部において検出された前記領域が有する前記特徴量に基づき、前記領域分類部における前記所定の分類基準を設定する分類基準設定部と、を具備したことを特徴とする。 [0042] 本発明の第 34の画像処理装置は、前記第 33の画像処理装置において、前記所定のクラスは、泡クラスまたは絨毛クラスのうち、少なくとも 1つのクラスであることを特徴とする。

[0043] 本発明の第 35の画像処理装置は、前記第 33の画像処理装置において、前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする。

[0044] 本発明の第 1の画像処理方法は、撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、前記画像を複数の領域に分割する領域分割ステップと、前記複数の領域各々から特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記複数の領域各々を、生体粘膜表面を撮像した領域または非生体粘膜を撮像した領域のいずれかに分類する領域分類ステップと、を有することを特徴とする。

[0045] 本発明の第 2の画像処理方法は、撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、前記画像を複数の領域に分割する領域分割ステップと、前記複数の領域各々から特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記複数の領域各々を、複数の異なるクラスのうち、いずれか一のクラスに分類する領域分類ステップと、を有する画像処理方法であって、前記領域分類ステップは、生体粘膜表面を撮像した領域と、非生体粘膜を撮像した領域と、前記生体粘膜表面及び前記非生体粘膜のどちらにも該当しない領域とのいずれかに前記複数の領域各々を分類することを特徴とする。

[0046] 本発明の第 3の画像処理方法は、撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、前記画像を複数の領域に分割する領域分割ステップと、前記複数の領域各々から特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記複数の領域各々を、複数の異なるクラスのうち、いずれか一のクラスに分類する領域分類ステップと、前記複数の異なるクラスにおいて、前記画像上に混在することを許可しない排他クラスの組み合わせを設定する排他クラス設定ステップと、前記排他クラスの組み合わせのうち、いずれのクラスを優先するかを設定する優先クラス設定ステップと、を有する画像処理方法であって、前記領域分類ステップは、前記排他クラス設定ステップで設定された排他クラスの組み合わせのレ、ずれかのクラスに分類された領域が存在する場合、前記領域を前記優先クラス設定ステップにおレ、て設定されたクラスに分類することを特徴とする。

[0047] 本発明の第 4の画像処理方法は、前記第 3の画像処理方法において、さらに、前記領域分類ステップによる分類結果に基づレ、て、前記排他クラスの組み合わせに含まれるクラスのうち、一のクラスに分類された領域群が前記複数の領域に占める割合を算出する分類判定値算出ステップを具備し、前記優先クラス設定ステップは、前記分類判定値算出ステップにより算出された前記割合と、前記割合に関する所定の閾値とに基づく比較を行うことにより、前記排他クラスの組み合わせのうち、いずれのクラスを優先するかを設定することを特徴とする。

[0048] 本発明の第 5の画像処理方法は、前記第 1の画像処理方法において、前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする。

[0049] 本発明の第 6の画像処理方法は、前記第 2の画像処理方法において、前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする。

[0050] 本発明の第 7の画像処理方法は、前記第 3の画像処理方法において、前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする。

[0051] 本発明の第 8の画像処理方法は、前記第 1の画像処理方法において、さらに、前記領域分類ステップにおける前記複数の領域各々の分類結果に基づき、前記画像が生体粘膜表面を撮像したか否かを判定する判定ステップを有することを特徴とする

[0052] 本発明の第 9の画像処理方法は、前記第 2の画像処理方法において、さらに、前記領域分類ステップにおける前記複数の領域各々の分類結果に基づき、前記画像が生体粘膜表面を撮像したか否かを判定する判定ステップを有することを特徴とする

[0053] 本発明の第 10の画像処理方法は、前記第 4の画像処理方法において、さらに、前記領域分類ステップにおける前記複数の領域各々の分類結果に基づき、前記画像が生体粘膜表面を撮像したか否かを判定する判定ステップを有することを特徴とする

[0054] 本発明の第 11の画像処理方法は、前記第 8の画像処理方法において、さらに、前記領域分類ステップによる分類結果に基づいて、前記複数の異なるクラスの内、所定のクラスに分類された領域群が前記複数の領域に占める割合を算出する分類判定値算出ステップと、前記分類判定値算出ステップにより算出された前記割合と、前記割合に関する所定の閾値とに基づき、前記所定のクラスに分類された前記領域群を有する前記画像を分類する画像分類ステップと、を具備し、前記判定ステップは、前記画像分類ステップの分類結果に基づき、前記割合が所定の閾値以下である場合に、前記画像を、生体粘膜を十分に撮像していない画像であると判定し、前記割合が所定の閾値より大きい場合に、前記画像を、生体粘膜を十分に撮像した画像であると判定することを特徴とする。

[0055] 本発明の第 12の画像処理方法は、前記第 9の画像処理方法において、さらに、前記領域分類ステップによる分類結果に基づいて、前記複数の異なるクラスの内、所定のクラスに分類された領域群が前記複数の領域に占める割合を算出する分類判定値算出ステップと、前記分類判定値算出ステップにより算出された前記割合と、前記割合に関する所定の閾値とに基づき、前記所定のクラスに分類された前記領域群を有する前記画像を分類する画像分類ステップと、を具備し、前記判定ステップは、前記画像分類ステップの分類結果に基づき、前記割合が所定の閾値以下である場合に、前記画像を、生体粘膜を十分に撮像していない画像であると判定し、前記割合が所定の閾値より大きい場合に、前記画像を、生体粘膜を十分に撮像した画像であると判定することを特徴とする。

[0056] 本発明の第 13の画像処理方法は、前記第 10の画像処理方法において、さらに、前記領域分類ステップによる分類結果に基づいて、前記複数の異なるクラスの内、所定のクラスに分類された領域群が前記複数の領域に占める割合を算出する分類判定値算出ステップと、前記分類判定値算出ステップにより算出された前記割合と、前記割合に関する所定の閾値とに基づき、前記所定のクラスに分類された前記領域群を有する前記画像を分類する画像分類ステップと、を具備し、前記判定ステップは、前記画像分類ステップの分類結果に基づき、前記割合が所定の閾値以下である場合に、前記画像を、生体粘膜を十分に撮像していない画像であると判定し、前記割合が所定の閾値より大きい場合に、前記画像を、生体粘膜を十分に撮像した画像であると判定することを特徴とする。

[0057] 本発明の第 14の画像処理方法は、撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、前記画像を複数の領域に分割する領域分割ステツプと、前記複数の領域各々における特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記複数の領域各々が複数のクラスのいずれに属するかを識別するとともに、該識別結果により前記複数の領域各々を分類する領域分類ステップと、前記領域分類ステップにおける分類結果に基づき、前記医療機器が撮像した臓器を推定する撮像臓器推定ステップと、を有することを特徴とする。

[0058] 本発明の第 15の画像処理方法は、前記第 14の画像処理方法において、さらに、前記領域分類ステップによる分類結果に基づいて、前記複数のクラスの内、所定のクラスに分類された領域群が前記複数の領域に占める割合を算出する分類判定値算出ステップと、前記分類判定値算出ステップにより算出された前記割合と、前記割合に関する所定の閾値とに基づき、前記所定のクラスに分類された前記領域群を有する前記画像を分類する画像分類ステップと、を具備し、前記撮像臓器推定ステップは、前記画像分類ステップの分類結果に基づき、前記画像が撮像した臓器を特定することを特 ί数とする。

[0059] 本発明の第 16の画像処理方法は、前記第 15の画像処理方法において、前記複数のクラスは、胃粘膜クラスと、絨毛クラスと、便クラスとを少なくとも有することを特徴とする。

[0060] 本発明の第 17の画像処理方法は、前記第 16の画像処理方法において、前記所定のクラスが胃粘膜クラスである場合、前記特定部は、前記画像に撮像されている臓器が胃であると判定することを特徴とする。

[0061] 本発明の第 18の画像処理方法は、前記第 16の画像処理方法において、前記所定のクラスが絨毛クラスである場合、前記特定部は、前記画像に撮像されている臓器が小腸であると判定することを特徴とする。

[0062] 本発明の第 19の画像処理方法は、前記第 16の画像処理方法において、前記所定のクラスが便クラスである場合、前記特定部は、前記画像に撮像されている臓器が大腸であると判定することを特徴とする。

[0063] 本発明の第 20の画像処理方法は、前記第 14の画像処理方法において、前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする。

[0064] 本発明の第 21の画像処理方法は、撮像機能を有する医療機器により撮像された画像に応じた画像信号を入力する画像信号入力部において入力した画像信号に基づき、該医療機器により撮像された前記画像を複数の領域に分割する画像分割ステップと、前記画像分割ステップにより分割された複数の領域各々における特徴量を算出する特徴量算出ステップと、前記特徴量算出ステップにおいて算出された特徴量と、所定の第 1の分類基準とに基づき、前記複数の領域を複数のクラスのいずれかに各々分類する第 1の領域分類ステップと、前記特徴量と、前記第 1の領域分類ステツプによる分類結果とに基づいて第 2の分類基準を設定する分類基準設定ステップと、前記特徴量と、前記第 2の分類基準とに基づき、前記複数の領域を前記複数のクラスのいずれかに各々分類する第 2の領域分類ステップと、を具備したことを特徴とする。

[0065] 本発明の第 22の画像処理方法は、前記第 21の画像処理方法において、前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする。

[0066] 本発明の第 23の画像処理方法は、前記第 21の画像処理方法において、前記第 1 の領域分類ステップは、前記第 1の分類基準を定める母数を用いた統計的識別器を用いて前記複数の領域を前記複数のクラスのいずれかに各々分類し、前記第 2の領域分類ステップは、前記第 2の分類基準を定める母数を用いた統計的識別器を用いて前記複数の領域を前記複数のクラスのレ、ずれかに各々分類することを特徴とする

[0067] 本発明の第 24の画像処理方法は、撮像機能を有する医療機器により撮像された画像に応じた画像信号を入力する画像信号入力部において入力した画像信号に基づき、該医療機器により撮像された前記画像を複数の領域に分割する画像分割ステップと、前記画像分割ステップにより分割された複数の領域各々における特徴量を算出する特徴量算出ステップと、前記特徴量算出ステップにおいて算出された特徴量と、所定の第 1の分類基準とに基づき、前記複数の領域を複数のクラスのいずれかに各々分類する第 1の領域分類ステップと、前記複数の領域のうち、一の領域の前記第 1の領域分類ステップによる分類結果を、前記一の領域の近傍に位置する領域の前記第 1の領域分類ステップによる分類結果に基づいた評価値を算出することにより評価する評価値算出ステップと、前記評価値算出ステップにおける評価値に基づき

、前記一の領域を前記複数のクラスのレ、ずれかに分類する第 2の領域分類ステップと、を具備したことを特徴とする。

[0068] 本発明の第 25の画像処理方法は、前記第 24の画像処理方法において、前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする。

[0069] 本発明の第 26の画像処理方法は、撮像機能を有する医療機器により撮像された画像に応じた画像信号を入力する画像信号入力部において入力した画像信号に基づき、該医療機器により撮像された前記画像を複数の領域に分割する画像分割ステップと、前記画像分割ステップにより分割された複数の領域各々における特徴量を算出する特徴量算出ステップと、前記複数の領域のうち、一の領域を注目領域として設定する注目領域設定ステップと、前記注目領域から所定の距離だけ離れた領域である近傍外周領域を検出する近傍外周領域検出ステップと、前記近傍外周領域において、前記特徴量に基づき、略円形形状の輪郭部の少なくとも一部が存在することを検出する略円形形状検出ステップと、前記略円形形状検出ステップにより、前記略円形形状が検出された場合、前記注目領域を抽出する領域抽出ステップと、を具備したことを特徴とする。

[0070] 本発明の第 27の画像処理方法は、前記第 26の画像処理方法において、前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする。 [0071] 本発明の第 28の画像処理方法は、前記第 26の画像処理方法において、前記略円形形状検出ステップは、前記近傍外周領域のうち、前記略円形形状の輪郭部の少なくとも一部が存在する領域の割合が所定の閾値以上であると判断した場合に略円形形状を検出し、前記領域抽出ステップは、前記注目領域を前記略円形形状の中央部が存在する領域として抽出することを特徴とする。

[0072] 本発明の第 29の画像処理方法は、前記第 26の画像処理方法において、前記略円形形状は、泡であることを特徴とする。

[0073] 本発明の第 30の画像処理方法は、前記第 28の画像処理方法において、前記略円形形状は、泡であることを特徴とする。

[0074] 本発明の第 31の画像処理方法は、撮像機能を有する医療機器により撮像された画像に応じた画像信号を入力する画像信号入力部において入力した画像信号に基づき、該医療機器により撮像された前記画像を複数の領域に分割する画像分割ステップと、前記画像分割ステップにより分割された複数の領域各々における特徴量を算出する特徴量算出ステップと、前記特徴量算出ステップにおいて算出された特徴量と、所定の分類基準とに基づき、前記複数の領域を複数のクラスのいずれかに各々分類する領域分類ステップと、前記複数のクラスのうち、構造的に明確な特徴を有するクラスとして予め設定された所定のクラスに分類される領域を、前記複数の領域から検出する領域検出ステップと、前記領域検出ステップにおレ、て検出された前記領域が有する前記特徴量に基づき、前記領域分類ステップにおける前記所定の分類基準を設定する分類基準設定ステップと、を具備したことを特徴とする。

[0075] 本発明の第 32の画像処理方法は、前記第 31の画像処理方法において、前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする。

[0076] 本発明の第 33の画像処理方法は、前記第 31の画像処理方法において、前記所定のクラスは、泡クラスまたは絨毛クラスのうち、少なくとも 1つのクラスであることを特徴とする。

図面の簡単な説明

[0077] [図 1]第 1の実施形態である画像処理動作が行われる画像処理装置および周辺機器の外観を示した外観正面図。

[図 2]第 1の実施形態の画像処理装置において処理する所定の画像情報を生成するカプセル型内視鏡の一部を切り取って示した要部拡大断面図。

園 3]第 1の実施形態の画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の概略内部構成を示すブロック図。

園 4]第 1の実施形態の画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の一使用例を示した図。

園 5]図 2に示すカプセル型内視鏡から出力される信号の一例を示したタイミングチヤート。

園 6]図 2に示すカプセル型内視鏡の位置検出を説明する説明図。

園 7]図 3に示すカプセル型内視鏡装置を使用した際におけるアンテナユニットを示した要部拡大断面図。

園 8]図 3に示すカプセル型内視鏡装置を使用した際におけるシールドジャケットを説明する説明図。

園 9]図 3に示すカプセル型内視鏡装置の外部装置の被検体への装着状態を説明する説明図。

園 10]図 2に示すカプセル型内視鏡の電気的な構成を示すブロック図。

[図 11]第 1の実施形態に係る画像処理動作を示すフローチャート。

[図 12]第 1の実施形態に係る画像処理動作にぉレ、て、入力された画像が（m X n)個の領域に分割される際の一例を示す図。

園 13]教師データを構成する複数の画像のうち、胃粘膜の画像の一例を示す図。園 14]教師データを構成する複数の画像のうち、絨毛の画像の一例を示す図。園 15]教師データを構成する複数の画像のうち、便の画像の一例を示す図。

園 16]教師データを構成する複数の画像のうち、泡の画像の一例を示す図。

園 17]カプセル型内視鏡により撮像された体腔内の像の画像の一例を示す模式図。園 18]図 17に示す画像の分類結果の一例を示す図。

[図 19]第 1の実施形態に係る画像処理動作において、図 11とは異なる画像処理動作を示すフローチャート。 [図 20]ディスプレイに表示されるビュヮ一の画像のうち、メインメニュー画面の一例を示す図。

[図 21]第 2の実施形態に係る画像処理動作を示すフローチャート。

[図 22]第 3の本実施形態に係る画像処理動作を示すフローチャート。

[図 23]第 4の実施形態に係る画像処理動作を示すフローチャート。

[図 24]第 5の実施形態に係る画像処理動作の一部を示すフローチャート。

[図 25]第 5の実施形態に係る画像処理動作の一部として、図 24のフローチャートに示す処理が行われた後に行われる、画像の表示制御動作を示すフローチャート。

[図 26]第 6の実施形態に係る画像処理動作の一部を示すフローチャート。

園 27]図 26の処理に引き続いて行われる、第 6の実施形態に係る画像処理動作の一部を示すフローチャート。

園 28]図 27の処理に引き続いて行われる、第 6の実施形態に係る画像処理動作の一部を示すフローチャート。

[図 29A]第 6の実施形態に係る画像処理動作において、エッジ特徴量（エッジ特徴べタトル)を決定する際に指標となる 8つの方向のうち、一の方向を示す図。

[図 29B]第 6の実施形態に係る画像処理動作において、エッジ特徴量を決定する際に指標となる 8つの方向のうち、図 29Aとは異なる一の方向を示す図。

[図 29C]第 6の実施形態に係る画像処理動作において、エッジ特徴量を決定する際に指標となる 8つの方向のうち、図 29A及び図 29Bとは異なる一の方向を示す図。

[図 29D]第 6の実施形態に係る画像処理動作において、エッジ特徴量を決定する際に指標となる 8つの方向のうち、図 29Aから図 29Cまでとは異なる一の方向を示す図

[図 29E]第 6の実施形態に係る画像処理動作において、エッジ特徴量を決定する際に指標となる 8つの方向のうち、図 29Aから図 29Dまでとは異なる一の方向を示す図

[図 29F]第 6の実施形態に係る画像処理動作において、エッジ特徴量を決定する際に指標となる 8つの方向のうち、図 29Aから図 29Eまでとは異なる一の方向を示す図 [図 29G]第 6の実施形態に係る画像処理動作において、エッジ特徴量を決定する際に指標となる 8つの方向のうち、図 29Aから図 29Fまでとは異なる一の方向を示す図

[図 29H]第 6の実施形態に係る画像処理動作において、エッジ特徴量を決定する際に指標となる 8つの方向のうち、図 29Aから図 29Gまでとは異なる一の方向を示す図園 30]第 6の実施形態に係る画像処理動作において設定される、中心領域と最外周領域との位置関係を示す図。

園 31]第 6の実施形態に係る画像処理動作において設定される、エッジ特徴ベクトルの方向と、ベクトル VIの方向とがなす角度を示す図。

[図 32]第 7の実施形態に係る画像処理動作の一部を示すフローチャート。

園 33]図 32の処理に引き続いて行われる、第 7の実施形態に係る画像処理動作の一部を示すフローチャート。

園 34]第 7の実施形態に係る画像処理動作において、入力された画像が（m X n)個の領域に分割される際の一例を示す図。

[図 35]第 8の実施形態の画像処理装置における画像処理動作を示すフローチャート

[図 36]第 8の実施形態の画像処理装置における画像処理動作を示すフローチャート園 37]第 8の実施形態の画像処理動作において、一の領域における近傍領域を決定する際の一例を示す図。

園 38]第 8の実施形態の画像処理動作において用いられる、カプセル型内視鏡により撮像された体腔内の像の画像の一例を示す模式図。

[図 39]図 38に示す画像の分類結果の一例を示す図。

園 40]図 39に示す分類結果に基づき、第 8の実施形態の画像処理動作を行った後の再分類結果を示す図。

[図 41]第 9の実施形態における画像処理動作を示すフローチャート。

[図 42]第 9の実施形態における画像処理動作を示すフローチャート。 [図 43]第 9の実施形態における画像処理動作において、 4 X 4の画素数を有する小矩形領域各々に対して仮想的に付与する番号の配列の一例を示す図。

[図 44]第 9の実施形態における画像処理動作において、一の矩形領域 ROに対する近傍外周領域 Htの位置関係を示す図。

[図 45]第 9の実施形態における画像処理動作において、近似 gradientベクトル Ygi 及び方向ベクトル: mがなす角度 Θ tの一例を示す図。

[図 46]第 9の実施形態において用いられるカプセル型内視鏡により撮像された体腔内の像の画像の一例を示す模式図。

[図 47]図 46に示す画像の分類結果の一例を示す図。

発明を実施するための最良の形態

[0078] 以下、図面を参照して本発明の実施の形態を説明する。

[0079] (第 1の実施形態）

図 1から図 20は、本発明の第 1の実施形態に係るものである。図 1は、本発明の第 1 の実施形態である画像処理動作が行われる画像処理装置および周辺機器の外観を示した外観正面図である。図 2は、本実施形態の画像処理装置において処理する所定の画像情報を生成するカプセル型内視鏡の一部を切り取って示した要部拡大断面図である。図 3は、本実施形態の画像処理装置に所定の画像情報を供給するカブセル型内視鏡装置の概略内部構成を示すブロック図である。図 4は、本実施形態の画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の一使用例を示した図である。図 5は、図 2に示すカプセル型内視鏡から出力される信号の一例を示したタイミングチャートである。図 6は、図 2に示すカプセル型内視鏡の位置検出を説明する説明図である。図 7は、図 3に示すカプセル型内視鏡装置を使用した際におけるアンテナユニットを示した要部拡大断面図である。図 8は、図 3に示すカプセル型内視鏡装置を使用した際におけるシールドジャケットを説明する説明図である。図 9は、図 3に示すカプセル型内視鏡装置の外部装置の被検体への装着状態を説明する説明図である。図 10は、図 2に示すカプセル型内視鏡の電気的な構成を示すブロック図である。図 11は、本実施形態に係る画像処理動作を示すフローチャートである。図 12は、本実施形態に係る画像処理動作において、入力された画像が（m X n) 個の領域に分割される際の一例を示す図である。図 13は、教師データを構成する複数の画像のうち、胃粘膜の画像の一例を示す図である。図 14は、教師データを構成する複数の画像のうち、絨毛の画像の一例を示す図である。図 15は、教師データを構成する複数の画像のうち、便の画像の一例を示す図である。図 16は、教師データを構成する複数の画像のうち、泡の画像の一例を示す図である。図 17は、カプセル型内視鏡により撮像された体腔内の像の画像の一例を示す模式図である。図 18は、図 17に示す画像の分類結果の一例を示す図である。図 19は、本実施形態に係る画像処理動作において、図 11とは異なる画像処理動作を示すフローチャートである。図 20は、ディスプレイに表示されるビュヮ一の画像のうち、メインメニュー画面の一例を示す図である。

[0080] 本発明の第 1の実施形態である画像処理装置に所定の画像情報を供給するカブセル型内視鏡装置 1は、図 3に示すように、カプセル型内視鏡 3、アンテナユニット 4 及び外部装置 5とにより主要部が構成されている。

[0081] 医療機器としてのカプセル型内視鏡 3は、詳細は後述するが、被検体である患者 2 のロカ体腔内に飲み込まれることにより体腔内に配置された後、蠕動運動により消化管内を進行する形状に形成され、かつ、内部に体腔内を撮像し、その撮像画像情報を生成する撮像機能と、その撮像画像情報を体外に送信する送信機能とを有している。アンテナユニット 4は、詳細は後述するが、患者 2の身体表面上に設置され、前記カプセル型内視鏡 3から送信される撮像画像情報を受信する複数の受信アンテナ

11を有している。外部装置 5は、外形が箱形形状に形成されており、詳細は後述するが、前記アンテナユニット 4が受信した撮像画像情報の各種処理、撮像画像情報の記憶、及び撮像画像情報による撮像画像表示等の機能を有している。この外部装置 ₅の外装の表面に前記撮像画像を表示させる液晶モニタ _{1 2}と、各種機能の操作指示を行う操作部 13とが設けられている。

[0082] また、この外部装置 5は、駆動電源用の電池の残量に関する警告表示用の LEDと、電源スィッチ等のスィッチからなる操作部 13とが外装の表面に設けられている。又、カプセル型内視鏡 3の内部には、 CPU及びメモリを用いた演算実行部が設けられており、例えば、該演算実行部において、受信及び記憶した撮像画像情報に対して後述する本発明に係る画像処理方法が実行されるような構成であっても良い。

[0083] この外部装置 5は、患者 2の身体に着脱自在に装着されると共に、図 1に示すように、クレードル 6に装着されることにより、本発明の第 1の実施形態である画像処理装置 (以下、端末装置と記す） 7に着脱自在に接続されるようになっている。この端末装置 7は、たとえば、パーソナルコンピュータが用いられ、各種データの処理機能や記憶機能を有する端末本体 9と、各種操作処理入力用のキーボード 8a及びマウス 8bと、及び各種処理結果を表示する、表示部としての機能を有するディスプレイ 8cとを有している。この端末装置 7は、基本的機能として、例えば、前記外部装置 5に記憶されている撮像画像情報をクレードル 6を介して取り込み、端末本体 9に内蔵されている書換可能なメモリ、或いは端末本体 9に着脱自在な書換可能な半導体メモリ等の可搬型メモリに書込記憶させ、かつ、その記憶した撮像画像情報をディスプレイ 8cに表示する画像処理を行うような機能を有している。なお、前記外部装置 5に記憶されている撮像画像情報は、前記クレードル 6に代えて、 USBケーブル等によって端末装置 7に取り込まれるようにしても良い。

[0084] なお、端末装置 7が行う画像処理は、例えば、前記外部装置 5から取り込み、図示しない記憶部としての機能を有するメモリ等に記憶された撮像画像情報から経過時間に応じて表示させる画像を選択する処理、及び後述する本発明に係る画像処理方法に基づく処理として、端末本体 9が有する制御部 9aにおいて行われるものであるとする。制御部 9aは、 CPU等からなり、例えば、前述したような処理を行う場合に、処理結果を一時的に図示しないレジスタ等に保持することができる。

[0085] 次に、前記カプセル型内視鏡 3の外形と内部構造について、図 2を用いて説明する。カプセル型内視鏡 3は、断面が U字状の外装部材 14と、この外装部材 14の先端側の開放端に接着剤により水密装着された透明部材により形成された略半球形状の力バー部材 14aとからなる。そのため、カプセル型内視鏡 3の外装は、外装部材 14と、カバー部材 14aとが接続された状態においては、水密構造かつカプセル形状を有するように形成されている。

[0086] この外装部材 14とカバー部材 14aからなるカプセル形状の内部中空部であって、前記カバー部材 14aの半球の円弧の略中央にあたる部分には、カバー部材 14aを介して入射された観察部位像を取り込む対物レンズ 15がレンズ枠 16に収納されて配置されている。この対物レンズ 15の結像位置には、撮像素子である電荷結合素子 (以降、 CCDと記す） 17が配置されている。また、前記対物レンズ 15を収納するレンズ枠 16の周囲には、照明光を発光放射させる 4つの白色系の LED18が同一平面上に配置されてレ、る（図中には 2つの LEDのみを表記してレ、る)。前記 CCD17の後端側の前記外装部材 14の内部中空部には、前記 CCD17を駆動制御して光電変換された撮像信号の生成、その撮像信号に所定の信号処理を施して撮像画像信号を生成する撮像処理、及び前記 LED18の点灯 Z非点灯の動作を制御する LED駆動の処理を行う処理回路 19と、この処理回路 19の撮像処理により生成された撮像画像信号を無線信号に変換して送信する通信処理回路 20と、この通信処理回路 20からの無線信号を外部に送信する送信アンテナ 23と、前記処理回路 19と通信処理回路 20の駆動用電源を供給する複数のボタン型の電池 21とが配置されている。

[0087] なお、 CCD17、 LED18、処理回路 19、通信処理回路 20及び送信アンテナ 23は、図示しない基板上に配置され、それらの基板の間は、図示しないフレキシブル基板にて接続されている。また、前記処理回路 19には、後述する画像処理を行うための図示しない演算回路を備えている。つまり、前記カプセル型内視鏡 3は、図 3に示すように、前記 CCD17、 LED18及び処理回路 19を有する撮像装置 43と、前記通信処理回路 20を有する送信器 37と、送信アンテナ 23とを有する。

[0088] 次に、前記カプセル型内視鏡 3の撮像装置 43の詳細構成について、図 10を用いて説明する。撮像装置 43は、 LED18の点灯/非点灯の動作を制御する LEDドライバ 18Aと、 CCD17の駆動を制御して光電変換された電荷の転送を行う為の CCDドライバ 17Aと、前記 CCD17から転送された電荷を用いて撮像信号を生成し、かつ、その撮像信号に所定の信号処理を施して撮像画像信号を生成する処理回路 19Aと、前記 LEDドライバ 18A、 CCDドライバ 17A、処理回路 19A、及び送信器 37に電池 21からの駆動電源を供給するスィッチ部と、前記スィッチ部及び CCDドライバ 17 Aにタイミング信号を供給するタイミングジェネレータ 19Bとを有する。なお、前記スィツチ部は、電池 21から前記 LEDドライバ 18Aへの電源供給をオン/オフをするスィツチ 19Cと、前記 CCD17、 CCDドライバ 17A及び処理回路 19Aへの電源供給をォン 'オフするスィッチ 19Dと、前記送信器 37への電源供給をオン/オフするスィッチ 19Eとを有する。また、前記タイミングジェネレータ 19Bには、電池 21から常時駆動電源が供給されるようになっている。

[0089] このような構成を有するカプセル型内視鏡 3の撮像装置 43においては、スィッチ 19 Cと、スィッチ 19Dと、スィッチ 19Eとがオフ状態である場合、タイミングジェネレータ 1 9B以外の各部は非動作状態である。そして、タイミングジェネレータ 19Bからタイミング信号が出力されると、前記スィッチ 19Dがオンされ、これにより、電池 21から電源が供給された CCD17、 CCDドライバ 17A及び処理回路 19Aは動作状態となる。

[0090] 前記 CCD17の駆動初期時に、 CCD17の電子シャッターを動作させて、不要な喑電流を除去した後、タイミングジェネレータ 19Bは、スィッチ 19Cをオンさせて LEDドライバ 18Aを駆動させて LED18を点灯させ CCD17を露光する。 LED18は、 CCD 17の露光に必要な所定の時間だけ点灯された後、消費電力低減の為に、スィッチ 1 9Cがオフしたタイミングにおいて消灯される。

[0091] 前記 CCD17の露光が行われた前記所定の時間内に蓄えられた電荷は、 CCDドラィバ 17Aの制御により処理回路 19Aへ転送される。処理回路 19Aは、 CCD17力転送された電荷を基に撮像信号を生成し、その撮像信号に所定の信号処理を施して内視鏡画像信号を生成する。処理回路 19Aは、例えば、送信器 37から送信される信号がアナログ無線方式である場合、 CDS出力信号に対して複合同期信号を重畳させたアナログ撮像信号を生成した後、該アナログ撮像信号を内視鏡画像信号として送信器 37へ出力する。また、処理回路 19Aは、例えば、送信器 37から送信される信号がデジタル無線方式である場合、アナログ/デジタルコンバータにより生成したシリアルなデジタル信号に対し、さらにスクランブル等の符号ィ匕処理を施したデジタル撮像画像信号を生成し、該デジタル撮像信号を内視鏡画像信号として送信器 37 へ出力する。

[0092] この送信器 37は、前記処理回路 19Aから供給された内視鏡画像信号である、アナログ撮像画像信号またはデジタル撮像画像信号に対して変調処理を施して送信アンテナ 23から外部へ無線送信する。この時、スィッチ 19Eは、前記処理回路 19Aから撮像画像信号が出力されたタイミングにおいてのみ送信器 37に駆動電力が供給されるように、タイミングジェネレータ 19Bによりオン/オフされる。

[0093] なお、スィッチ 19Eは、処理回路 19Aから撮像画像信号が出力されてから所定の時間が経過した後に、送信器 37に駆動電力が供給されるように制御されても良い。また、スィッチ 19Eは、カプセル型内視鏡 3に設けられた、図示しない pHセンサーによる所定値の pH値の検出、図示しない湿度センサーによる所定値以上の湿度の検出、図示しない圧力センサーまたは図示しない加速度センサーによる所定値以上の圧力または加速度の検出等の検出結果に基づいてタイミングジェネレータ 19Bから出力される信号により、被検体である患者 2の体腔内に挿入された際に、送信器 37 に電源を供給するように制御されるような構成を有していても良い。

[0094] なお、前記カプセル型内視鏡 2の撮像装置 43は、通常毎秒 2枚の画像（毎秒 2フレーム = 2fps)を撮像するものである力例えば、食道の検査の場合は、毎秒 15〜30 枚の画像（15fps〜30fps)を撮像できるようにする。具体的には、カプセル型内視鏡 3に、図示しないタイマー回路を設け、このタイマー回路により、例えば、タイマーカウントが所定時間以内においては毎秒当たりの撮像枚数の多い高速撮像とし、所定時間が経過した後は、毎秒当たりの撮像枚数の少ない低速撮像となるように撮像装置 4 3の駆動を制御させる。或いは、カプセル型内視鏡 3の電源の投入と共にタイマー回路を作動させて、このタイマー回路により、例えば、患者 2が飲み込んだ直後の食道を通過するまでの時間は高速撮像となるように、撮像装置 43の駆動を制御させることも可能である。さらに、低速撮像用カプセル型内視鏡と高速撮像用カプセル型内視鏡とを個別に設けて、観察対象部位に応じて使い分けるようにしても良い。

[0095] 次に、前記患者 2の身体表面上に設置されるアンテナユニット 4について説明する。図 4に示すように、カプセル型内視鏡 3を飲み込んで内視鏡検查を行う場合、患者 2は、複数の受信アンテナ 11からなるアンテナユニット 4が設置されたジャケット 10を装着する。このアンテナユニット 4は、図 7に示すように、たとえば、 GPSに使用されてレ、るパッチアンテナのような単方向の指向性を有する複数の受信アンテナ 11を患者 2の身体内方向にその指向性を向けて配置する。つまり、カプセル型内視鏡 3のカプセル本体 3Dは、身体内に留置されるため、その身体内のカプセル本体 3Dを取り囲むように前記複数のアンテナ 11が配置される。この指向性の高いアンテナ 11を使用することにより、身体内のカプセル本体 3D以外からの電波による干渉妨害の影響を受けにくくしている。

[0096] 前記ジャケット 10は、図 8に示すように、患者 2の身体表面に設置する前記アンテナユニット 4と、ベルトにより患者 2の腰に設置された外部装置 5の本体部 5Dを覆うように電磁シールド繊維で形成されたシールドジャケット 72とからなる。このシールドジャケット 72を形成する電磁シールド繊維は、金属繊維、金属化学繊維または硫化銅含有繊維等が用いられている。なお、このシールドジャケット 72は、ジャケット形状に限るものではなぐ例えば、ベストまたはワンピース形状等であっても良い。

[0097] 又、前記シールドジャケット 72に前記外部装置 5を装着する例として、図 9に示すように、前記外部装置 5の外部本体 5Dに鍵穴 74を設け、前記シールドジャケット 72に設けた鍵 75を前記鍵穴 74に差し込むことにより、ベルト 73に着脱自在に装着できるようにする。或いは、単にシールドジャケット 72に図示しないポケットを設け、そのポケットに外部本体 5Dを収納しても良ぐ又は、外部装置 5の外部本体 5Dとシールドジャケット 72にマジックテープ (登録商標）を設置し、そのマジックテープ (登録商標）により取付固定しても良い。

[0098] つまり、アンテナユニット 4が配置された身体にシールドジャケット 72を装着することにより、アンテナユニット 4に対する外部からの電波がシールド遮蔽されて、外部電波による干渉妨害の影響を一層受けに《している。

[0099] 次に、前記アンテナユニット 4と外部装置 5の構成について、図 3を用いて説明する。前記アンテナユニット 4は、前記カプセル型内視鏡 3の送信アンテナ 23から送信された無線信号を受信する複数の受信アンテナ l la〜l Idと、このアンテナ l la〜l l dを切り替えるアンテナ切換スィッチ 45とからなる。前記外部装置 5は、アンテナ切換スィッチ 45からの無線信号を撮像画像信号に変換及び増幅等の受信処理を行う受信回路 33と、この受信回路 33から供給された撮像画像信号に所定の信号処理を施して、撮像画像の表示用信号及び撮像画像データを生成する信号処理回路 35と、この信号処理回路 35により生成された撮像画像表示用信号に基づいて撮像画像を表示する液晶モニタ 12と、前記信号処理回路 35により生成された撮像画像データを記憶するメモリ 47と、前記受信回路 33により受信処理された無線信号の大きさにより前記アンテナ切換スィッチ 45を制御するアンテナ選択回路 46とからなる。

[0100] 前記アンテナユニット 4の図中受信アンテナ l la〜l Idとして示した複数の受信ァンテナ 11は、前記カプセル型内視鏡 3の送信アンテナ 23から一定の電波強度により送信された無線信号を受信する。この複数の受信アンテナ 11 a〜： l idは、前記外部装置 5のアンテナ選択回路 46からのアンテナ選択信号によりアンテナ切替スィッチ 4 5が制御されて、前記無線信号を受信する受信アンテナを順次切り替える。つまり、前記アンテナ切替スィッチ 45により順次切り替えられた受信アンテナ l la〜d毎に受信した無線信号が前記受信器 33に出力される。この受信器 33において、受信アンテナ l la〜l Id毎の無線信号の受信強度を検出して、各受信アンテナ 11a〜： l idとカプセル型内視鏡 3の位置関係を算出すると共に、その無線信号を復調処理して撮像画像信号を信号処理回路 35へと出力する。前記アンテナ選択回路 46は、前記受信器 33からの出力によって制御される。

[0101] 前記アンテナ選択回路 46によるアンテナ切替スィッチ 45の動作について説明する。前記カプセル型内視鏡 3から送信される無線信号は、図 5に示すように、撮像画像信号の 1フレームの送信期間に、無線信号の受信強度を示す受信強度信号の送信期間である強度受信期間と、撮像画像信号の送信期間である映像信号期間とが順次繰り返されて送信されるとする。

[0102] 前記アンテナ選択回路 46は、前記受信回路 33を介して、各受信アンテナ l la〜l Idが受信した受信強度信号の受信強度が供給される。前記アンテナ選択回路 46は、前記受信器 33からの供給された各アンテナ l la〜l Idの受信強度信号の強度を比較して、映像信号期間の撮像画像信号を受信する最適な受信アンテナ、つまり、受信強度信号の強度が最も高レ、アンテナ 1 li (i = a〜d)を決定して、アンテナ切替回路 45をそのアンテナ l liに切り替えるための制御信号を生成出力する。これにより、現在画像信号を受信しているアンテナよりも、他のアンテナの受信強度信号の受信強度が高い場合には、映像信号期間の受信アンテナを次フレーム分力切り替えるようにする。

[0103] このように、カプセル型内視鏡 3からの無線信号を受信するたびに、撮像画像信号、又は受信強度信号の受信強度を比較し、この比較結果を受けたアンテナ選択回路 46によって受信強度が最大となるアンテナ l liを画像信号受信用のアンテナとを指定するようにしてレ、る。これにより、カプセル型内視鏡 3が患者 2の体内で移動しても、その移動位置において最も受信強度の高い信号を検出できるアンテナ 11により取得した画像信号を受信することができる。また、体内でのカプセル型内視鏡 3の移動速度は非常に遅い部分と早い部分に分かれるので、撮像動作 1回につき常にアンテナ切替動作を 1回行うとは限らず、高速撮像モードなどでは複数回の撮像動作に対してアンテナ切替動作を 1回行うようにしてもょレ、。

[0104] なお、カプセル型内視鏡 3は、患者 2の体内を移動しているので、適宜の時間間隔で外部装置 5から電波強度を検出した結果である検出結果信号を送り、その信号に基づいてカプセル型内視鏡 3が送信する際のその出力を更新するようにしてもよい。このようにすれば、カプセル型内視鏡 3が患者 2の体内を移動した場合にも、適切な送信出力に設定でき、電池 21のエネルギを無駄に消費すること等を防止でき、信号の送受信状態を適切な状態に維持できるようになる。

[0105] 次に、前記複数の受信アンテナ 11とカプセル型内視鏡 3の位置関係を示す情報の取得方法について、図 6を用いて説明する。なお、図 6において、カプセル型内視鏡 3を 3次元座標 X、 Y、 Ζの原点に設定した場合を例に説明する。又、前記複数の受信アンテナ l la〜l ldのうち、説明を簡単化するために、 3つの受信アンテナ l la、 1 lb、 11cを用い、受信アンテナ 11aと受信アンテナ l ibとの間の距離を Dab、受信ァンテナ l ibと受信アンテナ 11cとの間の距離を Dbc、受信アンテナ 11aと受信アンテナ 11cとの間の距離 Dacとしている。さらに、この受信アンテナ l la〜l lcとカプセル型内視鏡 3の間は、所定の距離関係としている。

[0106] カプセル型内視鏡 3の送信された一定の送信強度の無線信号は、各受信アンテナ l lj (j = a、 b、 c)で受信した場合の受信強度は、カプセル型内視鏡 3 (カプセル型内視鏡 3の送信アンテナ 23)からの距離 Li (i = a, b, c)の関数となる。具体的には電波減衰量が伴う距離 Liに依存する。従って、カプセル型内視鏡 3から送信された無線信号の受信アンテナ l ljにより受信した受信強度からカプセル型内視鏡 3と各受信ァンテナ l ljとの間の距離 Liを算出する。この距離 Liの算出には、前記カプセル型内視鏡 3と受信アンテナ l ljの間の距離による電波の減衰量などの関係データを事前に前記アンテナ選択回路 46に設定する。又、その算出されたカプセル型内視鏡 3と各受信アンテナ 1 ljの位置関係を示す距離データは、前記メモリ 47にカプセル型内視鏡 3の位置情報として記憶させる。このメモリ 47に記憶された撮像画像情報及び力プセル型内視鏡 3の位置情報を基に、前記端末装置 7による後述する画像情報処理方法において、内視鏡観察所見の位置設定に有用となる。

[0107] 次に、本実施形態の画像処理装置における画像処理動作について説明を行う。

[0108] なお、本実施形態においては、カプセル型内視鏡 3により撮像された体腔内の像の画像は、大きさ ISX X ISY(1≤ISX、 1≤ IS Yを満たす値であり、例えば、 ISX= 300 、 ISY= 300)、 RGBの 3プレーンからなり、各プレーンにおける各画素は各々 8bit、すなわち、 0力 255の値をとるものとする。また、本実施形態においては、時間的に連続して撮像された N枚の画像（1≤N)における i番目の画像を Ii (l≤i≤N)、その RGB各プレーンをそれぞれ Ri、 Gi及び Biと示すものとする。さらに、本実施形態においては、各プレーンにぉける番目の画素（1≤ ≤13 13丫）をそれぞれ rik、 gi k及び bikと示すものとする。

[0109] なお、本実施形態における画像処理装置における画像処理動作は、上述した端末装置 7の端末本体 9が有する制御部 9aにおける処理として行われるものとする。

[0110] まず、画像信号入力部及び画像入力部としての機能を有する制御部 9aは、カプセル型内視鏡 3により撮像された体腔内の像の画像に基づく画像信号を入力し、入力された i番目の画像 Iiを構成する Ri、 Gi及び Biの各プレーンに対し、前処理として、例えば、メディアンフィルタリングによるノイズ除去及び逆 γ補正を行うと共に、ハレーシヨン画素及び暗部画素を以降の処理対象から除外するため、閾値に基づく処理により検出しておく（図 11のステップ Sl)。そして、前記閾値に基づく処理は、例えば、 r ik、 gik及び bikの濃度値の全てが 10以下の値であれば喑部画素、また、 rik、 gik及び bikの濃度値の全てが 230以上の値であればハレーション画素とするような処理として行われる。

[0111] その後、画像分割部及び領域設定部としての機能を有する制御部 9aは、 Ri、 Gi及び Biの各プレーンを小領域に分割する（図 11のステップ S2)。なお、本実施形態において、制御部 9aは、図 12に示すように、 Ri、 Gi及び Biの各プレーンを、 x軸方向の画素数 lx X y軸方向の画素数 ly (l≤lx、 1≤ly)からなる矩形領域に分割するものとし、その領域数は（m X n)個（m=ISX/lx、 n=ISY/ly)であるものとする。また、制御部 9aは、 mまたは nが整数とならなレ、場合にぉレ、ては、大きさが端数となる最端部の領域を、端数の画素数を有する領域として処理するか、または以降の処理対象力除外するものとする。

[0112] 特徴量算出部としての機能を有する制御部 9aは、分割した各領域において、撮像対象の像の画像上における色の違いを反映する色調情報、及び撮像対象の像の画像上における構造の違いを反映するテクスチャ情報を特徴量として算出する（図 11 のステップ S3)。なお、以降の説明においては、制御部 9aにおいて分割された領域のうち、一の領域を Hst (l≤s≤m、 l≤t≤n)と示すものとする。

[0113] 本実施形態において、制御部 9aが算出する色調情報は、一の領域 Hstに含まれる各画素の RGB値の比に基づく値としての、 gik/rikの平均値（以降、 x gstと記す）及び bik/rikの平均値（以降、 /i bstと記す）からなる、 2つの特徴量として示される値である。なお、 /i gst及びの各値は、 0力 1の値をとるものとする。また、 /i gs t及び/ i bstの各値は、例えば、胃粘膜のような比較的赤色調を示す領域においては、略同様に小さな値をとる。一方、 /i gst及び Ai bstの各値は、例えば、小腸のような比較的白色調を示す領域においては、略同様に大きな値をとる。また、 / gst及び/ bstの各値は、例えば、便のような比較的黄色調を示す領域においては、 μ gst > μ bstとなるような値をとる。

[0114] 本実施形態において、制御部 9aが算出するテクスチャ情報は、前述したように、撮像対象の像の画像上における構造の違いを反映するものである。そして、撮像対象の像の画像上における構造は、例えば、粘膜表面における絨毛等の微細構造、及び便が有する不定形な模様等として示されるものである。具体的には、制御部 9aが算出するテクスチャ情報は、一の領域 Hstに含まれる各画素の RGB値の標準偏差 a rst、 a gst及び a bstを、一の領域 Hstに含まれる各画素の RGB値の平均値 mrst 、 mgst及び mbstで除したものである、 3つの特徴量として示される RGB値の変動係数 CVrst、 CVgst及び CVbstである。なお、変動係数 CVrst、 CVgst及び CVbstを算出するための計算式は、下記数式（1)、数式 (2)及び数式 (3)として示される。 [0115] CVrst = σ rst/mrst · · · (1)

CVgst= σ gst/mgst · · · (2)

CVbst = σ bst/mbst · · · (3) 上記数式（1)、数式（2)及び数式（3)により算出される変動係数 CVrst、 CVgst及び CVbstにより、撮像対象に対して供給される照明光量の違い等による影響によらず、テクスチャ構造による画素変動の程度を数値化することができる。 CVrst, CVgs t及び CVbstの各値は、例えば、拡大観察を行っていない状態である、通常観察において撮像された胃粘膜のような、画像上における構造が比較的平坦な領域においては、明瞭なテクスチャ構造がないため、略同様に小さな値をとる。一方、 CVrst、 C Vgst及び CVbstの各値は、例えば、小腸の絨毛のような、画像上における構造にェッジを比較的多く含む領域においては、略同様に大きな値をとる。

[0116] なお、本実施形態の制御部 9aが行う以降の処理においては、色調情報及びテクスチヤ情報を有する 5つの特徴量を使用するが、この特徴量を構成する値は、ユーザの用途等に応じ、適宜変更または追加することが可能である。例えば、制御部 9aは、色調情報としての μ gstの値及び/ i bstの値に代わり、色度として示される値である、各領域の各画素における rik、 gik及び bikの比率、すなわち、 rik/ (rik + gik + bik) 、 gik/ (rik + gik + bik)及び bik/ (rik + gik + bik)の値を使用して以降の処理を行うものであっても良い。

[0117] そして、制御部 9aは、色調情報及びテクスチャ情報からなる 5つの特徴量、すなわち、 /i gst、 t bst, CVrst, CVgst及び CVbstの各値を、ハレーション画素及び暗部画素を除いた各画素の RGB値に基づき、（m X n)個の領域 Hst各々において算出する。なお、本実施形態においては、一の領域 Hstが有する、（lx X ly)個の画素において、例えば、ハレーション画素の個数と、喑部画素の個数との和が占める割合が 50%を超えた場合、一の領域 Hstを以降の処理から除外するような制御が行われるものであっても良い。

[0118] その後、領域分類部としての機能を有する制御部 9aは、分割した領域 Hstにおいて各々算出された 5個の特徴量に基づく識別分類を実行することにより、領域毎の撮像対象が何であるかを識別した後、該識別結果に基づいて領域 Hstを各々分類する

[0119] 具体的には、まず、制御部 9aは、胃粘膜、絨毛、便及び泡からなる 4つのクラスの教師データを構成する画像として予め用意された、例えば、図 13、図 14、図 15及び図 16に示すような画像に基づき、該画像の一の領域各々において都度決定される、前述した 5個の特徴量を算出した後、該 4つのクラス各々についての線形判別関数を作成する。そして、制御部 9aは、前述した手順により算出した、識別器としての線形判別関数を用レ、、例えば、胃粘膜、絨毛、便及び泡からなる 4つのクラスのうち、一の領域 Hstがどのクラスに属するかを識別し、該識別結果に基づく分類を行う。制御部 9aは、以上に述べたような識別及び分類を画像 Iiが有する領域 Hst全てに対して行うことにより、例えば、図 17に示すような画像が入力された場合、図 18に示すような、絨毛と泡とが分類されたような分類結果を得る（図 11のステップ S4)。

[0120] なお、本実施形態の制御部 9aが画像の一の領域各々に対し、識別器を用いて行う識別及び分類は、線形判別関数によるものに限るものではなぐ例えば、 2次分類規貝 IJまたはニューラルネットワーク等の手法によるものであっても良い。また、本実施形態においては、制御部 9aは、胃粘膜、絨毛、便及び泡の 4クラスのいずれかということとして、入力される画像の一の領域各々に対する識別及び分類を行ったが、分類されるクラスの数及び種類は、ユーザの用途等に応じ、適宜変更または追加することが可能である。制御部 9aは、前述した 4クラスに加え、例えば、食道あるいは大腸粘膜の分類を行うものであっても良いし、また、十二指腸と絨毛とを別のクラスとして扱った上において分類を行うものであっても良い。

[0121] さらに、分類判定値算出部としての機能を有する制御部 9aは、前述した分類結果に基づき、生体粘膜表面として分類された、すなわち、胃粘膜または絨毛として分類された領域数の合計数 zが画像 Iiの全領域数 (m X n)に占める割合 pの値を、下記数式 (4)に基づレ、て算出する（図 11のステップ S5)。

[0122]

そして、画像分類部としての機能を有する制御部 9aは、画像 Iiが生体粘膜表面を十分に撮像されている画像か否力を識別するため、数式 (4)により算出された割合 p の値と、閾値 thrとの比較を行う。制御部 9aは、画像 Iiにおける割合 pの値力閾値 th rより大きいことを検出する（図 1 1のステップ S6)と、画像 Iiを、生体粘膜表面が十分に撮像されている画像である、すなわち、観察が必要な画像として識別及び分類し、参照値としてのフラグ値 flagiを 1とする（図 11のステップ S7)。なお、本実施形態においては、例えば、閾値 thrの値は 0. 5であるとする。

[0123] また、制御部 9aは、画像 Iiにおける割合 pの値力閾値 thr以下であることを検出する（図 11のステップ S6)と、画像 Iiを、便及び泡により生体粘膜表面が十分に撮像されていない画像である、すなわち、観察が不必要な画像として識別及び分類し、フラグ値 flagiを 0とする（図 11のステップ S8)。

[0124] その後、制御部 9aは、入力された画像 Iiの全てに対し、前述した処理が完了していない場合（図 11のステップ S9)、画像番号 iに 1を加え（図 11のステップ S 10)、次の画像について、図 11のステップ S1からステップ S9までに示す処理を引き続き行う。

[0125] 画像表示制御部としての機能を有する制御部 9aは、以上に述べたような処理を行うことにより、ユーザが撮像対象の像の観察を行う際に、フラグ値 flagiの値に基づき、例えば、フラグ値 flagiが 1である、観察が必要な画像のみをディスプレイ 8cに表示し、また、フラグ値 flagiが 0である、観察が不必要な画像をディスプレイ 8cに非表示とすること力 Sできる。なお、画像削除部としての機能を有する制御部 9aは、フラグ値 fla giが 0である、観察が不必要な画像を削除することにより、記憶する画像データのサイズを削減するようにしても良い。

[0126] また、以上に述べた処理のうち、図 11のステップ S5に示す処理において、制御部

9aは、胃粘膜または絨毛として分類された領域数を合計した値 zから割合 pを算出した。しかし、制御部 9aが行う処理は、このようなものに限るものではなぐ例えば、以下に記すような、胃粘膜として分類された領域数 zlと、絨毛として分類された領域数 z2 とを個別に扱うようなものであっても良い。

[0127] その場合、制御部 9aは、図 11のステップ S5に示す処理において、胃粘膜または絨毛として分類された領域数の合計数 (zl + z2)が画像 Iiの全領域数 (m X n)に占める割合 pの値を、下記数式（5)に基づいて算出する。 [0128] p= (zl + z2) / (m X n) · · · (5)

また、制御部 9aは、各々のクラスに分類された領域数に基づき、該領域数が画像 Ii の全領域数 (m X n)に占める割合を、クラス毎に個別に算出するような処理を行うものであっても良い。

[0129] まず、制御部 9aは、図 11のステップ S1からステップ S4までの処理を行うことにより、画像 Iiが有する領域 Hst全てに対しての分類結果を得る（図 19のステップ Sl l)。そして、胃粘膜として分類された領域数を zl、絨毛として分類された領域数を z2、便として分類された領域数を z3とすると、制御部 9aは、上記数式 (4)に基づき、胃粘膜として分類された領域数 zlが画像 Iiの全領域数 (m X n)に占める割合 piと、絨毛として分類された領域数 z2が画像 Iiの全領域数 (m X n)に占める割合 p2と、便として分類された領域数 z3が画像 Iiの全領域数 (m X n)に占める割合 p3とを各々算出する（図 19のステップ S 12)。

[0130] そして、制御部 9aは、割合 piの値と、閾値 thrlとの比較を行う。画像分類部としての機能を有する制御部 9aは、画像 Iiにおける割合 piの値力閾値 thrlより大きいことを検出する（図 19のステップ S 13)と、画像 Iiを、被写体として胃の像が撮像されたものであるとして識別及び分類する（図 19のステップ S14)。なお、本実施形態においては、例えば、閾値 thrlの値は 0. 8であるとする。

[0131] また、制御部 9aは、画像 Iiにおける割合 piの値力閾値 thrl以下であることを検出する（図 11のステップ S 13)と、今度は、割合 p2の値と、閾値 thr2との比較を行う。画像分類部としての機能を有する制御部 9aは、画像 Iiにおける割合 p2の値が、閾値 th r2より大きいことを検出する（図 19のステップ S15)と、画像 Iiを、被写体として小腸（の絨毛）の像が撮像されたものであるとして識別及び分類する（図 19のステップ S 16 )。なお、本実施形態においては、例えば、閾値 thr2の値は 0. 8であるとする。

[0132] さらに、制御部 9aは、画像 Iiにおける割合 p2の値力閾値 thr2以下であることを検出する（図 11のステップ S 15)と、今度は、割合 p3の値と、閾値 thr3との比較を行う。画像分類部としての機能を有する制御部 9aは、画像 Iiにおける割合 p3の値力閾値 thr3より大きいことを検出する（図 19のステップ S17)と、画像 Ii中における便の占める割合が大きいことから、画像 Iiを、被写体として大腸の像が撮像されたものであるとして識別及び分類する（図 19のステップ S18)。なお、本実施形態においては、例えば、閾値 thr3の値は 0· 8であるとする。

[0133] その後、制御部 9aは、以上までの処理において、胃粘膜、絨毛及び便のいずれの画像としても識別及び分類されなかった画像に対しての識別及び分類を保留する。そして、制御部 9aは、入力された画像 Iiの全てに対し、前述した処理が完了していない場合（図 19のステップ S 19)、画像番号 iに 1を加え（図 19のステップ S20)、次の画像について、図 19のステップ S11からステップ S19までに示す処理を引き続き行う。

[0134] 制御部 9aは、以上に述べた、図 19のステップ S11からステップ S19までの処理を行うことにより、小腸が撮像された画像及び大腸が撮像された画像として識別及び分類された画像を各々特定する。換言すると、制御部 9aは、以上に述べた、図 19のステツプ S 11からステップ S 19までの処理を行うことにより、被写体として撮像された臓器が胃、小腸または大腸のいずれであるかを検出することができる。

[0135] また、ユーザが撮像対象の像の観察を行う際には、図 20に示すような、 GUIを備えたビュヮ一が端末装置 7のディスプレイ 8cに表示される。図 20に示すビュヮ一のメイン画面 101は、撮像対象の像の画像が表示される画像表示部 102と、患者及び検查内容についての情報が表示される患者/検査情報表示部 103と、画像の枚数等が表示される画像情報表示部 104と、画像表示部 102に対する表示制御を行う画像表示制御部 105と、スライダ 106とを有している。

[0136] スライダ 106は、図示しないマウスカーソルを用いた指示が行われることにより、該指示に基づく所望の画像を画像表示部 102に表示する機能を有している。また、このスライダ 106は、小腸が撮像された画像及び大腸が撮像された画像の開始位置を指し示すための案内表示部 107を有する。そのため、ユーザは、例えば、小腸の出血が疑われる症例については、小腸を優先的かつ効率的に観察するといつたような、体腔内の所望の部位の観察を容易に行うことができる。また、図 20に示すビュヮ一のメイン画面 101においては、例えば、図示しなレ、「小腸」等の記載がなされたボタンが設けられていても良い。この場合、ユーザは、前記ボタンを図示しないマウスカーソルを用いてクリックすることにより、小腸が撮像された画像を直接表示して観察を行うこと力 Sできる。 [0137] なお、本実施形態の画像処理方法においては、端末装置 7の制御部 9aは、画像 Ii を、 X軸方向の画素数 lx X y軸方向の画素数 lyからなる矩形領域に分割したが、さらに、例えば、 X軸方向の画素数 lx/2及び y軸方向の画素数 ly/2の大きさからなる領域を該矩形領域に重複させて同様の処理を行うものであっても良い。この場合、分類対象となる各クラスの境界が前記矩形領域に含まれた際に生じ得る誤分類を軽減すること力 S可肯となる。

[0138] また、前述したように、端末装置 7の制御部 9aは、本実施形態の画像処理方法を用レ、ることにより、胃粘膜と絨毛とを個別のクラスとして識別及び分類を行ったが、例えば、胃粘膜及び絨毛を 1つのクラスである「生体粘膜表面」として識別及び分類を行つた後、さらに、「生体粘膜表面」として分類された領域 Hstに対し、胃粘膜及び絨毛の 2つのクラスにおける識別及び分類を再度行うものであっても良い。

[0139] また、カプセル型内視鏡 3は、体腔内に配置された後、胃から小腸へと順次進んでゆく。そのため、端末装置 7の制御部 9aは、得られた分類結果に基づき、例えば、全領域数に対して絨毛に分類された領域の割合が 0. 7を超えた時点において、胃粘膜クラスへの分類を停止するような処理を行うものであっても良い。

[0140] また、本実施形態の画像処理方法は、例えば、食道クラス及び大腸クラスを設定することにより、粘膜表面の色調及び模様の違いによる識別器を実現するという用途として用いることも可能である。さらに、本実施形態の画像処理方法は、全領域数に対して便に分類された領域の割合が多ぐかつ、全領域数に対して絨毛に分類された領域の割合が少なくなつた場合に大腸と識別するような用途として用いることも可能である。

[0141] 以上に述べたように、本実施形態における画像処理方法によれば、生体粘膜表面の像としての胃粘膜及び絨毛の像と、生体粘膜表面とは異なるものである、異物または非生体粘膜の像としての便及び泡の像とを画像毎に識別及び分類し、観察が必要な画像のみをディスプレイ 8cに表示することができる。そのため、ユーザは、生体粘膜表面の像が良好に撮像されていない画像が除外された状態において体腔内の観察を行うことができ、その結果、カプセル型内視鏡装置 1を用いた観察効率の向上をはかることができる。 [0142] また、以上に述べた本実施形態の画像処理方法は、例えば、出血または発赤等の病変部位の検出を行う画像処理方法と組み合わせて用いられることにより、病変部位の検出結果が生体粘膜表面上から得られたものであるか否力を判定でき、その結果、病変部位の検出精度を高めることができる。具体的には、端末装置 7の制御部 9 aは、出血または発赤等の病変部位の検出を行う画像処理方法を用レ、、病変が疑われる領域として抽出された領域 Hstの分類結果を参照し、該分類結果が便、泡等の非生体粘膜表面像である場合には誤検出として扱う処理を行うことにより、病変部位の検出精度を高めることができる。

[0143] また、本実施形態によれば、生体粘膜表面の像として分類された各々の領域に対し、さらに、例えば、前記各々の領域が有する特徴量に基づき、正常な粘膜の像と病変部位の像と分類するような画像処理方法を用いることにより、病変部位の検出精度を高めることができる。

[0144] (第 2の実施形態）

図 21は、本発明の第 2の実施形態に係るものである。なお、第 1の実施形態と同様の構成を持つ部分については、詳細説明は省略する。また、第 1の実施形態と同様の構成要素については、同一の符号を用いて説明は省略する。さらに、本実施形態におけるカプセル型内視鏡装置 1の構成は、第 1の実施形態と同様であると共に、本実施形態における画像処理方法もまた同様に、端末装置 7としての、例えば、パーソナルコンピュータにおいて実行されるプログラムとして実現されているものとする。そして、本実施形態における画像処理方法は、端末本体 9が有する制御部 9aにおける処理として行われるものとする。

[0145] 図 21は、本実施形態に係る画像処理動作を示すフローチャートである。

[0146] まず、制御部 9aは、カプセル型内視鏡 3により撮像された体腔内の像の画像に基づく画像信号を入力し、入力された i番目の画像 Iiを構成する Ri、 Gi及び Biの各プレーンに対し、前処理として、例えば、メディアンフィルタリングによるノイズ除去及び逆 y補正を行うと共に、ハレーション画素及び暗部画素を以降の処理対象から除外するため、閾値に基づく処理により検出しておく（図 21のステップ S21)。そして、前記閾値に基づく処理は、例えば、 rik、 gik及び bikの濃度値の全てが 10以下の値であれば喑部画素、また、 rik、 gik及び bikの濃度値の全てが 230以上の値であればハレーシヨン画素とするような処理として行われる。

[0147] その後、制御部 9aは、 Ri、 Gi及び Biの各プレーンを小領域に分割する（図 21のステツプ S22)。なお、本実施形態において、制御部 9aは、第 1の実施形態において行つた方法と同様に、 Ri、 Gi及び Biの各プレーンを、 X軸方向の画素数 lx X y軸方向の画素数 ly (l≤lx、 l≤ly)からなる矩形領域に分割するものとし、その領域数は (m X n)個（m = ISX/lx、 n=ISYZly)であるものとする。また、制御部 9aは、 mまたは n が整数とならない場合においては、大きさが端数となる最端部の領域を、端数の画素数を有する領域として処理するか、または以降の処理対象から除外するものとする。

[0148] 制御部 9aは、分割した各領域において、撮像対象の像の画像上における色の違レ、を反映する色調情報、及び撮像対象の像の画像上における構造の違レ、を反映するテクスチャ情報を特徴量として算出する（図 21のステップ S23)。なお、本実施形態の画像処理方法においては、制御部 9aにおいて分割された領域のうち、一の領域を Hj (1≤j≤m X n)と示すものとする。

[0149] 本実施形態において、制御部 9aが算出する色調情報は、一の領域 Hjに含まれる各画素の RGB値の比に基づく値としての、 gik/rikの平均値（以降、 Ai gjと記す）及び bik/rikの平均値（以降、 /i bjと記す）からなる、 2つの特徴量として示される値である。なお、 /i gj及び i bjの各値は、 0から 1の値をとるものとする。また、 μ ぴ μ bjの各値は、例えば、胃粘膜のような比較的赤色調を示す領域においては、略同様に小さな値をとる。一方、 /i gj及び i bjの各値は、例えば、小腸のような比較的白色調を示す領域においては、略同様に大きな値をとる。また、 / gj及び i bjの各値は、例えば、便のような比較的黄色調を示す領域においては、 β gi > β bjとなるような値をとる。

[0150] 本実施形態において、制御部 9aが算出するテクスチャ情報は、前述したように、撮像対象の像の画像上における構造の違いを反映するものである。そして、撮像対象の像の画像上における構造は、例えば、粘膜表面における絨毛等の微細構造、及び便が有する不定形な模様等として示されるものである。具体的には、制御部 9aが算出するテクスチャ情報は、一の領域 Hjに含まれる各画素の RGB値の標準偏差 σ r j、 σ gj及び σ bjを、一の領域 Hjに含まれる各画素の RGB値の平均値 mrj、 mgj及び mbjで除したものである、 3つの特徴量として示される RGB値の変動係数 CVrj、 CV gj及び CVbjである。なお、変動係数 CVrj、 CVgj及び CVbjを算出するための計算式は、下記数式 (6)、数式（7)及び数式 (8)として示される。

[0151] CVrj = _CT rj/mrj · · · (6)

CVgj = σ gj/ mgj · · · ( 7 )

CVbj = _CT bj/mbj · ' · (8) 上記数式 (6)、数式 (7)及び数式 (8)により算出される変動係数 CVrj、 CVgj及び CVbjにより、撮像対象に対して供給される照明光量の違い等による影響によらず、テクスチャ構造による画素変動の程度を数値化することができる。 CVrj , CVgj及び CVbjの各値は、例えば、拡大観察を行っていない状態である、通常観察において撮像された胃粘膜のような、画像上における構造が比較的平坦な領域においては、明瞭なテクスチャ構造がないため、略同様に小さな値をとる。一方、 CVrj、 CVgj及び CVbjの各値は、例えば、小腸の絨毛のような、画像上における構造にエッジを比較的多く含む領域にぉレ、ては、略同様に大きな値をとる。

[0152] そして、制御部 9aは、色調情報及びテクスチャ情報からなる 5つの特徴量、すなわち、 /i gj、 /i bj、 CVrj、 CVgj及び CVbjの各値を、ハレーション画素及び暗部画素を除いた各画素の RGB値に基づき、（m X n)個の領域 Hj各々において算出する。なお、本実施形態においては、一の領域 Hjが有する、（Ix X ly)個の画素において、例えば、ハレーション画素の個数と、暗部画素の個数との和が占める割合が 50%を超えた場合、一の領域 Hjを以降の処理から除外するような制御が行われるものであつても良い。

[0153] その後、制御部 9aは、以降に説明する処理を行うため、一の領域 Hjの領域番号 jを j = lとする（図 21のステップ S24)。そして、制御部 9aは、ベイズの定理に基づく統計的識別器を用い、胃粘膜、絨毛、便及び泡からなる 4つのクラスのうち、一の領域 Hj 力 Sどのクラスに属するかを識別し、該識別結果に基づく分類を行う。

[0154] 具体的には、 4つのクラスの識別及び分類において、一のクラス co a (a = l、 2、 ·■·、 C、 Cはクラス数を示す）が発生する事前確率を Ρ(ω a)とし、一の領域 Hjにおける 5 つの特徴量から決定された特徴ベクトルをとし、全クラスからの特徴ベクトルの発生確率に基づく確率密度関数を p (x)とし、一のクラス ω aからの特徴ベクトル 2£の発生確率に基づく状態依存確率密度 (多変量正規確率密度）関数を p(S I c a)とすると、発生した特徴べクトル≤がーのクラス ω aに属する事後確率 Ρ(ω a | を算出するための計算式は、下記数式（9)として示される。

[0155]

Ρ{ωα I X) = ρ{χ \ ωα)Ρ{ωα)Ι ρ{χ) · · · (9) なお、状態依存確率密度関数 P(S I coa)及び確率密度関数 p(s)は、下記数式（1 0)及び数式（11)として示される。

Υ∑α~ (χ- μ )] ■ · ■ (10)

ρ(χ)

… （1 1) なお、上記数式（10)及び数式（11)において、 dはの特徴量の個数と同数である次元数を示し、 JL ^及び∑ aはクラス ω aにおける特徴ベクトルの平均ベクトル及び一のクラス coaにおける分散共分散行列を示すものとする。また、 (χ- _&)¾(χ- ia)の転置行列を示し、 I∑a Iは∑ aの行列式を示し、∑ a— ¹は∑ aの逆行列を示すものとする。さらに、説明の簡単のため、事前確率 P ( ω a)は、全クラスにぉレ、て等しい値をとると仮定し、また、確率密度関数 p( )は、上記数式（11)により全クラス共通の関数として表されるものとする。

[0157] 分類基準としての平均ベクトル且及び分散共分散行列∑ aは、一のクラス ω aにおける母数を構成する要素であり、 1番目の画像 IIが端末装置 7に入力される以前の段階において、胃粘膜、絨毛、便及び泡からなる 4つのクラスの教師データを構成する複数の画像、例えば、図 13、図 14、図 15及び図 16に示すような画像に基づき、該画像の一の領域各々において都度決定される特徴ベクトル 2£から、クラス毎に予め算出された後、初期値として端末装置 7に各々記憶される。

[0158] なお、平均ベクトル " aは、特徴ベクトル 2£が有する 5つの特徴量各々の平均値からなり、かつ、特徴ベクトル Sと同一の次元数を有するベクトルである。すなわち、特徴ベクトル 2^½=(xl, x2, x3, x4, x5)として表される場合、平均べタト/レ u aは、特徴ベクトルが有する 5つの特徴量各々の平均値である、 /ιχ1、 /ιχ2、 /ιχ3、 /ιχ4 及び Atx5を用レ、て、 = ( zxl, μχ2, μχ3, μ χ4, χ5)として表されるものとする。また、分散共分散行列∑ aは、一のクラス ω aに属する特徴べクトル≤の分布のバラツキ及び広がり具合を示す行列であり、特徴ベクトル≤の特徴量の個数と同数である次元数 dに対し、 dXd行列として表されるものとする。

[0159] 制御部 9aは、発生した特徴ベクトル≤がクラス ω 1に属する事後確率 Ρ (ωΐ | と、発生した特徴べクトル≤力 Sクラス ω 2に属する事後確率 Ρ ( ω 2 I と、発生した特徴ベクトル力 Sクラス ω 3に属する事後確率 Ρ ( ω 3 I と、発生した特徴ベクトル≤がクラス ω4に属する事後確率 Ρ(ω4 | とを、ベイズの定理に基づいた上記数式（9)から数式（11)を用いて各々算出する。そして、制御部 9aは、これら 4つの事後確率のうち、最大の事後確率 Pl(coa I を与えるクラス ω aに特徴ベクトル sが属するものとして識別を行い、該識別結果に基づいて特徴ベクトル sが発生した領域である一の領域 Hjをクラス ω aに分類する（図 21のステップ S 25 )と共に、最大の事後確率 P 1 ( coa I を与える確率密度関数 Pl(2 I ω a)の値を算出する。

[0160] そして、制御部 9aは、以上までの処理にぉレ、て、クラス ω aに分類された一の領域 Hjの分類結果が正確なものであるか否かを判定するため、平均値からの距離に基づく処理、すなわち、最大の事後確率 PI (coa I を与える確率密度関数 Pl(2 I coa) の値に対する閾値に基づく処理をさらに行う。

[0161] 具体的には、まず、制御部 9aは、平均ベクトルが有する 5つの特徴量各々の平均値のうち、例えば、特徴量 xlの平均値 μχΐに対し、特徴量 xlの標準偏差 σχΐと、所定の定数としての乗算係数ひとの積を加えた値を含む、閾値ベクトル 2^1を決定する。なお、このような閾値ベクトル≤klは、例えば、下記数式（12)として示されるものであり、また、本実施形態においては、乗算係数ひの値は 1. 5であるとする。

[0162] x l= (μ 1+ α X σχΐ, μχ2, μχ3, μ χ4, μ χ5) ··· (12)

上記数式（12)により閾値ベクトル≤klが決定されると、制御部 9aは、閾値ベクトル≤ hiを上記数式（9)、数式（10)及び数式（11)の≤として代入し、一の領域 Hjが分類されたクラス co aの閾値としての、確率密度関数 p (2£kl I ω a)の値を算出する。

[0163] そして、制御部 9aは、 pi I ω a)の値が p | ω a)の値より大きいことを検出する（図 21のステップ S26)と、図 21のステップ S25に示す処理において、一の領域 Hjをクラス ω aに分類した分類結果が正確であると判断する（図 21のステップ S27)。

[0164] また、制御部 9aは、 pl (x | ω a)の値が p (xbl | ω a)の値以下であることを検出する（図 21のステップ S26)と、図 21のステップ S25に示す処理において、一の領域 Hj をクラス ω aに分類した分類結果が不正確であると判断し、一の領域 Hjを不明クラスに分類する（図 21のステップ S 28)。

[0165] そして、制御部 9aは、分割した (m X n)個の領域全てについての分類が完了していない場合（図 21のステップ S29)、領域番号 jに 1を加え（図 21のステップ S30)、次の領域について、図 21のステップ S25からステップ S29までに示す処理を行う。

[0166] また、制御部 9aは、入力された画像 Iiの全てに対し、前述した処理が完了していない場合（図 21のステップ S31)、画像番号 iに 1を加え（図 21のステップ S32)、次の画像について、図 21のステップ S21からステップ S31までに示す処理を引き続き行う。

[0167] また、以上の説明においては、色調情報及びテクスチャ情報に基づく 5個の特徴量の全てを一度に用いて特徴ベクトル 2£を決定するような、 5次元の多変量正規確率密度を規定する場合について述べた。しかし、本実施形態における画像処理方法においては、例えば、色調情報及びテクスチャ情報についての各々の特徴量を個別に用いて 2種類の特徴ベクトル^及びを決定し、 1つのクラスにつき 2個の多変量正規確率密度を規定することにより、画像の分類をさらに高精度に行うことができる。

[0168] 具体的には、まず、制御部 9aは、色調情報を構成する 2個の特徴量 μ gj及び/ bj についての状態依存確率密度関数を pc I c a)として、また、テクスチャ情報を構成する 3個の特徴量 CVrj、 CVgj及び CVbjについての状態依存確率密度関数を pt (xt I co a)として各々算出する。なお、は、≤£= gj, At bj)として表される 2次元のベクトルであり、また、は、 = (Cvrj、 Cvgj、 Cvbj)として表される 3次元のベタトルである。

[0169] 制御部 9aは、これら 2つの状態依存確率密度関数 pc ( I co a)及び pt ( | c a) を用いて数式（10)に基づく事後確率 Pc ( c a I )及び Pt ( c a | )を算出した後、最終的な事後確率 P(coa I を下記数式（13)により算出する。

[0170] Ρ(ω I x) =Pc(_Wa | 2£c) X Pt ( ω a | 2rt) · · · (13)

また、クラス ω aへの分類結果の正確性を判断するための閾値は、色調情報及びテタスチヤ情報の特徴量各々の平均ベクトル μ c及び μ tと、標準偏差 σ cl及び σ tl に基づき、例えば、 p(2^ I oa)及び p(≤i I ω a)として設定される。そして、制御 ¾9a¾, pi (xc I ωα) >p(xcb | ω a)であり、力、つ、 pi ( I ω a) >p(xtb | ω a) であれば、分類結果は正確であるとして、特徴ベクトル及び特徴ベクトルを有する一の領域 Hjを、胃粘膜、絨毛、便または泡のいずれかのクラスとして分類し、そうでなければ不明クラスとして分類する。

[0171] なお、以上の説明において、事前確率 P(coa)は、全クラスにおいて等しいと仮定した力これに限るものではなレ、。事前確率 P(c a)は、例えば、カプセル型内視鏡 3が撮像する部位の時間配分に基づき、絨毛クラスまたは便クラスの事前確率 P ( ω a)を高めに設定したり、カプセル型内視鏡 3が撮像した部位の誤分類によるリスクに基づき、胃粘膜クラス及び絨毛クラスの事前確率 Ρ(ω a)を、観察不要とする便クラス及び泡クラスより高めに設定したり等、種々の用途に応じた値に設定されるものであっても良い。

[0172] 以上に述べたように、本実施形態における画像処理方法によれば、生体粘膜表面の像としての胃粘膜及び絨毛の像と、異物または非生体粘膜の像としての便及び泡の像とを画像の小領域毎に識別及び分類することができる。そのため、ユーザは、画像の小領域の多くを異物の像が占めるような、生体粘膜表面の像が良好に撮像されていない画像を、観察不要の画像として容易に除外することができ、その結果、カブセル型内視鏡装置 1における観察効率の向上をはかることができる。

[0173] さらに、本実施形態における画像処理方法によれば、例えば、特徴量が分類対象クラスの分布境界または分布重複範囲に該当する等の理由により、確実な分類が困難となるような画像が存在する場合、該画像を不明クラスとして分類することができる。そのため、端末装置 7の制御部 9aは、本実施形態における画像処理方法を用いた処理を行うことにより、信頼性の高い画像分類結果を得ることができる。

[0174] (第 3の実施形態）図 22は、本発明の第 3の実施形態に係るものである。なお、第 1の実施形態及び第 2の実施形態と同様の構成を持つ部分については、詳細説明は省略する。また、第 1 の実施形態及び第 2の実施形態と同様の構成要素については、同一の符号を用いて説明は省略する。さらに、本実施形態におけるカプセル型内視鏡装置 1の構成は、第 1の実施形態及び第 2の実施形態の形態と同様であると共に、本実施形態における画像処理方法もまた同様に、端末装置 7としての、例えば、パーソナルコンピュータにおいて実行されるプログラムとして実現されているものとする。そして、本実施形態における画像処理方法は、端末本体 9が有する制御部 9aにおける処理として行われるものとする。

[0175] 図 22は、本実施形態に係る画像処理動作を示すフローチャートである。

[0176] 制御部 9aは、本実施形態に係る画像処理方法を行う前に、まず、入力された i番目の画像 Iiに対し、第 2の実施形態において説明した、図 21に示す、ステップ S21からステップ S30までの処理を行レ、、画像 Iiについての分類結果を得る（図 22のステップ S41)。なお、本実施形態において、図 22のステップ S41に示す処理を行うことにより制御部 9aが得る分類結果は、画像内の各領域が胃粘膜クラス、絨毛クラス、便クラス、泡クラス及び不明クラスからなる 5つのクラスのいずれかに分類されたような分類結果であるとする。

[0177] そして、分類判定値算出部としての機能を有する制御部 9aは、画像 Iiについての分類結果に基づき、絨毛クラスに分類された領域数が画像 Iiの全領域数 (m X n)に占める割合 Jの値を算出する（図 22のステップ S42)。なお、割合 Jは、具体的には、例えば、上記数式 (4)における pを Jに、また、 zを絨毛クラスに分類された領域数 zaに置換することにより算出される値である。

[0178] その後、制御部 9aは、割合 Jの値と閾値 thrjとの比較を行う。領域分類部としての機能を有する制御部 9aは、画像 Iiにおける割合 pの値力閾値 thrjより大きいことを検出する（図 22のステップ S43)と、画像 Iiの各領域 Hjにおいて、胃粘膜クラスに分類されていた領域を絨毛クラスとして再分類する（図 22のステップ S44)。なお、本実施形態においては、例えば、閾値 thrjの値は 0. 5であるとする。

[0179] また、領域分類部としての機能を有する制御部 9aは、画像 Iiにおける割合 pの値が、閾値 thrj以下であることを検出する（図 22のステップ S43)と、画像 Iiの各領域 Hjにおいて、絨毛クラスに分類されていた領域を胃粘膜クラスとして再分類する（図 22のステップ S45)。

[0180] そして、制御部 9aは、画像 Iiについての、前述したような処理による再分類が完了すると、今度は（i+ 1)番目の画像 Ii+ 1に対し、図 22のステップ S41からの一連の処理を行う（図 22のステップ S46)。

[0181] 以上に述べたように、制御部 9aにより本実施形態における画像処理方法を用いた処理が行われる場合、ユーザは、第 2の実施形態において述べた効果と同様の効果として、カプセル型内視鏡装置 1を用いた観察における観察効率の向上をはかることができるとレ、う効果を得ることができる。

[0182] また、本実施形態における画像処理方法を用いた場合、端末装置 7の制御部 9aは、分類結果を得た画像に対し、さらに、胃粘膜及び絨毛の各クラスに分類された領域 Hjを排他的に置換して再分類するような処理を行う。そのため、端末装置 7の制御部 9aは、本実施形態における画像処理方法を用いた処理を行うことにより、一の画像内に混在して存在し得ないような、胃粘膜の像の画像と（小腸の）絨毛の像の画像との分類を行う場合における誤分類を無くすことができ、その結果、精度の高い画像分類結果を得ることができる。

[0183] (第 4の実施形態）

図 23は、本発明の第 4の実施形態に係るものである。なお、第 1の実施形態から第 3の実施形態までと同様の構成を持つ部分については、詳細説明は省略する。また、第 1の実施形態から第 3の実施形態までと同様の構成要素については、同一の符号を用いて説明は省略する。さらに、本実施形態におけるカプセル型内視鏡装置 1 の構成は、第 1の実施形態から第 3の実施形態までの形態と同様であると共に、本実施形態における画像処理方法もまた同様に、端末装置 7としての、例えば、パーソナルコンピュータにおいて実行されるプログラムとして実現されているものとする。そして、本実施形態における画像処理方法は、端末本体 9が有する制御部 9aにおける処理として行われるものとする。

[0184] 図 23は、本実施形態に係る画像処理動作を示すフローチャートである。 [0185] 制御部 9aは、本実施形態に係る画像処理方法を行う前に、まず、カプセル型内視鏡 3により撮像された体腔内の像の画像に基づく画像信号を入力し、入力された i番目の画像 Iiに対し、第 2の実施形態において説明した、図 21に示す、ステップ S21からステップ S30までの処理を行レ、、画像 Iiについての分類結果を得る（図 23のステツプ S51)。なお、本実施形態において、図 23のステップ S51に示す処理を行うことにより制御部 9aが得る分類結果は、画像内の各領域が便クラス、泡クラス、不明クラス及び生体粘膜クラスからなる 4つのクラスのいずれかに分類されたような分類結果であるとする。

[0186] その後、制御部 9aは、以降に説明する処理を行うため、一の領域 Hjの領域番号 jを j = lとする（図 23のステップ S52)。そして、制御部 9aは、画像 Iiについての分類結果から、領域 Hjを生体粘膜クラスに分類したか否力、を判定する（図 23のステップ S53

[0187] 制御部 9aは、領域 Hjを生体粘膜クラスに分類したことを検出すると、教師データを構成する胃粘膜の画像及び絨毛の画像が各々有する特徴量に基づいて算出された平均ベクトル且及び分散共分散行列∑ aが代入された上記数式 (9)から数式（11) を用い、該領域 Hjにおいて発生した特徴ベクトル 2£が胃粘膜クラス（a= lとする）に属する事後確率 Ρ ( _ω 1 I と、発生した特徴ベクトル sが絨毛クラス（a = 2とする）に属する事後確率 Ρ ( _ω 2 I とを各々算出する。そして、制御部 9aは、これら 2つの事後確率のうち、最大の事後確率 P2 ( co a I を与えるクラスに特徴ベクトル 2が属するものとして識別を行レ、、該識別結果に基づいて特徴ベクトル 2£が発生した領域である一の領域 Hjを胃粘膜クラスまたは絨毛クラスのいずれかに分類する（図 23のステップ S 54)。

[0188] そして、制御部 9aは、分割した (m X n)個の領域全てについての分類が完了していない場合（図 23のステップ S55)、領域番号 jに 1を加え（図 23のステップ S56)、次の領域について、図 23のステップ S53からステップ S55までに示す処理を行う。

[0189] また、制御部 9aは、画像めについての、前述したような処理による分類を完了すると、今度は（i+ 1)番目の画像 Ii+ 1に対し、図 23のステップ S51からの一連の処理を行う（図 23のステップ S57)。 [0190] 以上に述べたように、制御部 9aにより本実施形態における画像処理方法を用いた処理が行われる場合、ユーザは、第 2の実施形態において述べた効果と同様の効果として、カプセル型内視鏡装置 1を用いた観察における観察効率の向上をはかることができるとレ、う効果を得ることができる。

[0191] また、本実施形態における画像処理方法を用いた処理を行う場合、端末装置 7の制御部 9aは、分類結果を得た画像に対し、さらに、生体粘膜クラスに分類された領域 Hjを、胃粘膜クラスまたは絨毛クラスとして再分類するような処理を行う。そのため、端末装置 7の制御部 9aは、本実施形態における画像処理方法を用いた処理を行うことにより、胃粘膜の像の画像と (小腸の）絨毛の像の画像との分類を高精度に行うことができる。そして、端末装置 7の制御部 9aは、本実施形態における画像処理方法と、第 3の実施形態における画像処理方法と組み合わせて用いることにより、胃粘膜の像の画像と (小腸の)絨毛の像の画像とがさらに高精度に分類されたような分類結果を得ること力 Sできる。

[0192] なお、本発明における第 1の実施形態から第 4の実施形態において説明した画像処理方法は、カプセル型内視鏡装置 1のカプセル型内視鏡 3が撮像した像の画像に対して用いられるものに限らず、例えば、撮像素子及び対物光学系を挿入部の先端部に有するような内視鏡を有する内視鏡装置が撮像した像の画像に対して用いられるものであっても良い。

[0193] (第⁵の実施形態）

図 24及び図 25は、本発明の第 5の実施形態に係るものである。なお、第 1の実施形態から第 4の実施形態までと同様の構成を持つ部分については、詳細説明は省略する。また、第 1の実施形態から第 4の実施形態までと同様の構成要素については、同一の符号を用いて説明は省略する。また、本実施形態におけるカプセル型内視鏡装置 1の構成は、第 1の実施形態から第 4の実施形態までの形態と同様であると共に

、本実施形態における画像処理方法もまた同様に、端末装置 7としての、例えば、パ一ソナルコンピュータにおいて実行されるプログラムとして実現されているものとする

。そして、本実施形態における画像処理方法は、端末本体 9が有する制御部 9aにおける処理として行われるものとする。さらに、本実施形態においては、制御部 9aは、端末装置 7に予め入力された状態の一連の画像に対し、以降に説明する画像処理を用いるものとする。

[0194] 図 24は、本実施形態に係る画像処理動作の一部を示すフローチャートである。図 2 5は、本実施形態に係る画像処理動作の一部として、図 24のフローチャートに示す処理が行われた後に行われる、画像の表示制御動作を示すフローチャートである。

[0195] 制御部 9aは、本実施形態に係る画像処理方法を行う前に、まず、全部で N枚（1≤ N)の画像のうち、入力された i番目の画像 Ii (Il≤Ii≤IN)についての分類結果を得る（図 24のステップ S61)。なお、本実施形態において、制御部 9aは、画像 Iiについての分類結果を得るための処理方法として、例えば、図 11に示すステップ S1からステツプ S4までの処理、または図 21に示すステップ S 21からステップ S 30までの処理のうち、いずれの処理方法を用いるものであっても良レ、。また、画像 Iiについての分類結果を得るための処理を行うことにより制御部 9aが得る分類結果は、画像内の各領域が胃粘膜クラス、絨毛クラス、便クラス、泡クラス及び不明クラスからなる 5つのクラスのいずれかに分類されたような分類結果であるとする。さらに、制御部 9aは、画像 Iiについての分類結果を得るための処理を行う際に、一の領域において、極端な暗部あるいはハレーション等の画素数が所定の閾値以上含まれることを検出した場合、例えば、該一の領域を便クラス、泡クラスまたは不明クラスのいずれ力として分類するものであっても良い。

[0196] そして、制御部 9aは、図 24のステップ S61の処理により得た分類結果に基づき、例えば、便クラス、泡クラス及び不明クラスとして分類された領域数の合計が画像 Iiの全領域数 (m X n)に占める割合 Kを算出する（図 24のステップ S62)。その後、制御部 9aは、割合 Kの値と閾値 thlx (本実施形態においては、例えば 0. 7とする）との比較を行うことにより、画像 Iiが観察不要の画像であるか否かを判定する。なお、前述したような判定を行うための処理において、制御部 9aが得た分類結果に不明クラスの分類結果が含まれない場合、制御部 9aは、便クラス及び泡クラスとして分類された領域数の合計が画像 Iiの全領域数 (m X n)に占める割合 K1を算出した後、割合 K1の値と閾値 thlxとの比較を行うものであっても良レ、。また、前述したような判定を行うための処理においては、制御部 9aは、胃粘膜クラス及び絨毛クラスとして分類された領域数の合計が画像 Iiの全領域数 (m X n)に占める割合 K2を算出した後、割合 K2の値と閾値 thly (例えば 0· 3とする）との比較を行うものであっても良い。なお、閾値 thlx 及び閾値 thlyは、予め固定された値に限るものではなぐ例えば、端末装置 7の操作により、ユーザが所望の値を設定できるものであっても良レ、。これにより、ユーザは、どの程度生体粘膜表面が撮像された画像を観察対象とするかを選択することができる。そのため、ユーザは、例えば、病変発見のためにスクリーニング検查を行う場合には観察効率を重視し、精密検査を行う場合にはより詳細に多くの画像を観察するといつたように、用途に応じて使い分けるような処理として、制御部 9aに本実施形態の画像処理方法を実行させることができる。

[0197] その後、制御部 9aは、画像 Iiにおける割合 Kの値力閾値 thlx以上であることを検出する（図 24のステップ S63)と、画像 Iiを観察不要の画像であるとし、参照値としてのフラグ値 kflagiの値を例えば 1とする（図 24のステップ S64)。

[0198] また、制御部 9aは、画像 Iiにおける割合 Kの値力閾値 thlxより小さいことを検出する（図 24のステップ S63)と、画像 Iiを観察不要な画像ではないとし、フラグ値 kflagi の値を例えば 0とする（図 24のステップ S65)。

[0199] 制御部 9aは、以上に述べたような処理により決定されたフラグ値 kflagiを、画像 Iiに関連付けて保持する（図 24のステップ S66)。

[0200] その後、制御部 9aは、画像 II力画像 INまでの全ての画像について、前述したような処理による分類を行ったかどうかを判定し（図 24のステップ S67)、全ての画像について分類が行われていない場合、今度は（i+ 1)番目の画像 Ii+ 1に対し、図 24のステップ S61からの一連の処理を行う（図 24のステップ S68)。また、制御部 9aは、画像 IIから画像 INまでの全ての画像について、前述したような処理による分類を行つた場合、端末装置 7に予め入力された状態の一連の画像に対しての処理を終了する

[0201] 次に、前述したような処理により分類された画像 IIから画像 INまでの一連の画像を、例えば、ユーザが画像 II (画像番号 i= lの画像)から順次観察すると想定した場合、制御部 9aは、画像 Iiに関連付けて保持したフラグ値 kflagiの値を読み込む（図 25 のステップ S71)。そして、制御部 9aは、フラグ値 kflagiの値に基づき、画像 Iiが観察不要の画像か否かを判定する。

制御部 9aは、画像 Iiに関連付けられたフラグ値 kflagiの値が 1である場合（図 25のステップ S72)、画像 Iiをディスプレイ 8cに表示させないような表示制御を、端末装置 7の各部に対して行う（図 25のステップ S73)。

[0202] また、制御部 9aは、画像 Iiに関連付けられたフラグ値 kflagiの値が 1でない場合、すなわち、フラグ値 kflagiの値が 0である場合（図 25のステップ S72)、画像 Iiをデイスプレイ 8cに表示させるような表示制御を、端末装置 7の各部に対して行う（図 25のステツプ S 74)。

[0203] その後、制御部 9aは、画像 Iiから画像 INまでの全ての画像について、前述したような表示制御処理を行ったかどうかを判定し（図 25のステップ S75)、全ての画像について処理が行われていない場合、画像番号 iに 1を加えた後、次の画像 Ii+ 1に対し、図 25のステップ S71からの一連の処理を行う（図 25のステップ S76)。また、制御部 9 aは、画像 IIから画像 INまでの全ての画像について前述したような表示制御処理を行った場合、ユーザが画像 IIから画像 INまでの一連の画像を順次観察し終えたものであるとし、表示制御処理を終了する。

[0204] なお、以上に述べた画像処理方法は、画像 IIから画像 INまでの一連の画像を、ュ一ザが画像 IIから順次観察する場合についてのみに用いられるものに限らず、例えば、画像 IIから画像 INまでの一連の画像のうち、ユーザが所望の画像を選択して観察する場合について用いられるものであっても良い。また、以上に述べた画像処理方法において、制御部 9aは、観察不要の画像として分類した画像を記憶しないように端末装置 7の各部に制御を行っても良いし、また、観察不要の画像として分類した後、図示しない記憶部に記憶させた画像を削除するように端末装置 7の各部に制御を行っても良い。

[0205] 以上に述べたように、本実施形態における画像処理方法によれば、生体粘膜表面の像としての胃粘膜及び絨毛の像と、異物または非生体粘膜の像としての便及び泡の像とを画像毎に識別及び分類し、観察が必要な画像のみをディスプレイ 8cに表示すること力 Sできる。そのため、ユーザは、生体粘膜表面の像が良好に撮像されていない画像が除外された状態において体腔内の観察を行うことができ、その結果、カプセル型内視鏡装置 1を用いた観察における観察効率の向上をはかることができる。

[0206] (第 6の実施形態）

図 26から図 31は、本発明の第 6の実施形態に係るものである。なお、第 1の実施形態から第 5の実施形態までと同様の構成を持つ部分については、詳細説明は省略する。また、第 1の実施形態から第 5の実施形態までと同様の構成要素については、同一の符号を用いて説明は省略する。また、本実施形態におけるカプセル型内視鏡装置 1の構成は、第 1の実施形態から第 5の実施形態までの形態と同様であると共に、本実施形態における画像処理方法もまた同様に、端末装置 7としての、例えば、パーソナルコンピュータにおいて実行されるプログラムとして実現されているものとする。そして、本実施形態における画像処理方法は、端末本体 9が有する制御部 9aにおける処理として行われるものとする。

[0207] 図 26は、本実施形態に係る画像処理動作の一部を示すフローチャートである。図 2 7は、図 26の処理に引き続いて行われる、本実施形態に係る画像処理動作の一部を示すフローチャートである。図 28は、図 27の処理に引き続いて行われる、本実施形態に係る画像処理動作の一部を示すフローチャートである。図 29Aは、本実施形態に係る画像処理動作にぉレ、て、エッジ特徴量（エッジ特徴ベクトルとも記す）を決定する際に指標となる 8つの方向のうち、一の方向を示す図である。図 29Bは、本実施形態に係る画像処理動作において、エッジ特徴量を決定する際に指標となる 8つの方向のうち、図 29Aとは異なる一の方向を示す図である。図 29Cは、本実施形態に係る画像処理動作にぉレ、て、エッジ特徴量を決定する際に指標となる 8つの方向のうち、図 29A及び図 29Bとは異なる一の方向を示す図である。図 29Dは、本実施形態に係る画像処理動作において、エッジ特徴量を決定する際に指標となる 8つの方向のうち、図 29Aから図 29Cまでとは異なる一の方向を示す図である。図 29Eは、本実施形態に係る画像処理動作にぉレ、て、エッジ特徴量を決定する際に指標となる 8つの方向のうち、図 29Aから図 29Dまでとは異なる一の方向を示す図である。図 2 9Fは、本実施形態に係る画像処理動作において、エッジ特徴量を決定する際に指標となる 8つの方向のうち、図 29Aから図 29Eまでとは異なる一の方向を示す図である。図 29Gは、本実施形態に係る画像処理動作において、エッジ特徴量を決定する際に指標となる 8つの方向のうち、図 29Aから図 29Fまでとは異なる一の方向を示す図である。図 29Hは、本実施形態に係る画像処理動作において、エッジ特徴量を決定する際に指標となる 8つの方向のうち、図 29Aから図 29Gまでとは異なる一の方向を示す図である。図 30は、本実施形態に係る画像処理動作において設定される、中心領域と最外周領域との位置関係を示す図である。図 31は、本実施形態に係る画像処理動作において設定される、エッジ特徴ベクトルの方向と、ベクトル VIの方向とがなす角度を示す図である。

[0208] 制御部 9aは、本実施形態に係る画像処理方法を行う前に、まず、カプセル型内視鏡 3により撮像された体腔内の像の画像に基づく画像信号を入力し、入力された i番目の画像 Iiについての分類結果を得る（図 26のステップ S81)。なお、本実施形態において、制御部 9aは、画像 Iiについての分類結果を得るための処理方法として、例えば、図 11に示すステップ S1からステップ S4までの処理、または図 21に示すステツプ S21からステップ S30までの処理のうち、いずれの処理方法を用いるものであっても良い。また、画像 Iiについての分類結果を得るための処理を行うことにより制御部 9 aが得る分類結果は、画像内の各領域が胃粘膜クラス、絨毛クラス、便クラス、泡クラス及び不明クラスからなる 5つのクラスのいずれかに分類されたような分類結果であるとする。さらに、本実施形態において、制御部 9aは、図 26のステップ S81の処理を行う場合、入力された i番目の画像IiをM X M個の領域Hk (l≤k≤M X M)に分割するものとする。換言すると、制御部 9aは、画像 Iiの分類結果として、 M X M個の領域 Hk各々が胃粘膜クラス、絨毛クラス、便クラス、泡クラス及び不明クラスからなる 5つのクラスのいずれかに分類されたような分類結果を得るものであるとする。

[0209] 制御部 9aは、画像 Iiにつレ、ての分類結果を得た後、 M X M個の領域 Hk各々における G (緑)画素の濃度値の平均値 gakを算出する（図 26のステップ S82)。そして、制御部 9aは、領域 Hkにおける G画素の濃度値の平均値 gakと、領域 Hkに隣接する領域 Hkt (t≤8)各々における G画素の濃度値の平均値 gaktとに基づき、 G画素の濃度値の変動量 Gbtを下記数式（14)により算出する（図 26のステップ S83)。

[0210] Gbt = log (gakt) -log (gak) · · · (14)

制御部 9aは、上記数式（14)により得られた、領域 Hkt各々における Gbtの値のうち、最大のものを最大値 Gbmとし、また、領域 Hktのうち、最大値 Gbmを与える領域 Hktmが、領域 Hkに対して存在する方向を dirGbmとした後、これら 2つを領域 Hk のエッジ特徴量として保持する（図 26のステップ S84)。なお、 G画素の濃度値の変動量の最大値 Gbmを与える領域 Hktm力領域 Hkに対して存在する方向は、図 29 Aから図 29Hまでに示す方向 1から方向 8のうち、いずれ力 4つの方向として決定されるものであるとする。

[0211] その後、エッジ検出部としての機能を有する制御部 9aは、最大値 Gbmと、閾値 thr elとの比較を行レ、（図 26のステップ S85)、最大値 Gbmが閾値 threlよりも大きい場合、領域 Hkには画像 Iiにおけるエッジが存在すると判定し（図 26のステップ S86)、また、最大値 Gbmが閾値 threl以下である場合、領域 Hkには画像 Iiにおけるエッジが存在しないと判定する（図 26のステップ S87)。なお、本実施形態においては、閾値 threlの値は、例えば 0. 3であるとする。そして、制御部 9aは、領域番号 kの値に 1 を加えつつ、（M X M)個の領域 Hk全てに対して、図 26のステップ S83からステップ S87に示す、上記数式（14)を用いた処理を繰り返し行うことにより、画像 Iiにおいてエッジが存在する領域を特定する（図 26のステップ S88およびステップ S89)。

[0212] なお、以上に述べたような、画像 Iiにおけるエッジを検出するための処理を行う以前の段階において、制御部 9aは、画像 Iiに対する前処理として、例えば、逆ガンマ補正またはシェーディング補正等の処理を行うものであっても良い。

[0213] 制御部 9aは、（M X M)個の領域 Hk全てに対して前述したような処理を行うことにより、画像 Iiにおいてエッジが存在する領域を特定した後、領域 Hkを中心領域とする、 Ml X M1 (Ml≤M)個の領域からなる配置評価領域を取得する（図 27のステップ S91)。その後、制御部 9aは、配置評価領域を構成する領域のうち、最外周に存在する領域の数である最外周領域数 Dを検出する（図 27のステップ S92)。また、制御部 9aは、配置評価領域における D個の最外周領域 Hkl各々において、領域 Hkが存在する方向を向くベクトルであるベクトル VIを算出する（図 27のステップ S93)。なお、領域 Hkと最外周領域 Hklとの位置関係は、例えば、図 30に示すようなものとなる。

[0214] 制御部 9aは、最外周領域 Hklとして定められた領域各々が有する、エッジ特徴べクトルの方向を示す dirGbmと、ベクトル VIの方向とに基づき、図 31に示すような、これら 2つのベクトルがなす角度 θ 1を算出する（図 27のステップ S94)。その後、制御部 9 aは、 D個の最外周領域 Hklのうち、図 26のステップ S81からステップ S89までの処理においてエッジが存在する領域であると判定され、かつ、 6 1≤thre2となる領域数 Eを検出する（図 27のステップ S95)。なお、本実施形態においては、閾値 thre2の値は、例えば 45° であるとする。

[0215] そして、制御部 9aは、 EZDの値を算出し、 E/Dの値が閾値 thre3よりも大きい場合（図 27のステップ S96)、領域 Hkを、画像 Iiにおいて出血部が存在する可能性のある、出血部候補領域であると判定する（図 27のステップ S97)。また、制御部 9aは、 E/Dの値が閾値 thre3よりも大きい場合（図 27のステップ S96)、図 26のステップ S 81からステップ S89までの処理においてエッジが存在する領域であると判定され、かつ、 0 1≤thre2を満たす E個の最外周領域 Hklを、出血部のエッジが存在する可能性のある、出血部エッジ候補領域であると判定する（図 27のステップ S97)。なお、本実施形態においては、閾値 thre3の値は、例えば 0· 7であるとする。

[0216] そして、制御部 9aは、領域番号 kの値に 1を加えつつ、（M X M)個の領域 Hk全てに対して、図 27のステップ S91からステップ S97に示す、上記数式（14)を用いた処理を繰り返し行うことにより、画像 Iiにおいて、出血部が存在する領域の候補と、出血部のエッジが存在する領域の候補とを特定する（図 27のステップ S98およびステップ S99)。

[0217] 制御部 9aは、（M X M)個の領域 Hk全てに対して前述したような処理を行うことにより、画像 Iiにおける出血部候補領域と、出血部エッジ候補領域とを特定した後、出血部候補領域の領域数 Hを検出する（図 28のステップ S101)。その後、制御部 9aは、各々の出血部候補領域に対応する、 E個の出血部エッジ候補領域を検出する（図 28のステップ S102)。

[0218] そして、制御部 9aは、出血部候補領域としての領域 Hkに対応する、出血部エッジ候補領域としての最外周領域 Hklにおいて、領域 Hklとして定められた領域が有する G画素の濃度値の平均値 gaklと、領域 Hklに隣接する領域 Hklt (t≤8)各々における G画素の濃度値の平均値 gakltとに基づき、 G画素の濃度値の変動量 Gbltを下記数式（15)により算出する（図 28のステップ S103)。 [0219] Gblt=log (gaklt) -log (gakl) · · · (15)

また、制御部 9aは、出血部候補領域としての領域 Hkに対応する、出血部エッジ候補領域としての最外周領域 Hklにおいて、領域 Hklとして定められた領域における R (赤)画素の濃度値の平均値 raklと、領域 Hklに隣接する領域 Hklt (t≤8)各々における R画素の濃度値の平均値 rakltとを算出する。そして、制御部 9aは、平均値 rakl と、平均値 rakltと基づき、 R画素の濃度値の変動量 Rbltを下記数式（16)により算出する（図 28のステップ S104)。

[0220] Rblt = log (raklt) -log (rakl) · · · (16)

制御部 9aは、領域 Hklとして定められた領域が有する最大値 Gbmと、方向 dirGb mにおける変動量 Rbltとに基づき、カラーエッジ特徴量としての Gbm/Rbltの値を算出する。その後、制御部 9aは、 E個の領域 Hklのうち、 Gbm/Rblt >thre4となる領域数 Fを検出する（図 28のステップ S105)。なお、本実施形態においては、閾値 t hre4の値は、例えば 1. 0であるとする。また、本実施形態においては、制御部 9aが行う処理においてカラーエッジ特徴量として用いる値は Gbm/Rbltの値に限るものではない。制御部 9aは、前述した処理において、例えば、変動量 Rbltと略同様の方法により算出した B画素の濃度値の変動量 Bbltに基づき、 Gbm/Bbltの値をカラーエッジ特徴量として用レ、るものであっても良い。

[0221] そして、出血部位判定部としての制御部 9aは、 F/Eの値を算出し、 F/Eの値が閾値 thre5よりも大きい場合（図 28のステップ S106)、領域 Hkを画像 Iiにおける出血部であると判定し、また、領域 Hklを領域 Hkに対応する出血部エッジ領域として判定する（図 28のステップ S107)。また、制御部 9aは、 F/Eの値が閾値 thre5以下である場合（図 28のステップ S106)、領域 Hkを出血部ではないと判定する（図 28のステップ S108)。なお、本実施形態においては、閾値 thre5の値は、例えば 0. 7であるとする。そして、制御部 9aは、出血部候補領域として検出した H個の領域 Hk全てに対して、図 28のステップ S101からステップ S108に示す処理を繰り返し行うことにより、画像 Iiにおいて、出血部が存在する領域と、出血部のエッジが存在する領域とを特定する（図 28のステップ S109およびステップ S110)。

[0222] さらに、制御部 9aは、画像 Iiにおける出血部が存在する領域を特定すると、図 26のステップ S81の処理において得た、画像 Iiについての分類結果を参照することにより、出血部が存在する領域として特定した領域 Hkを、どのクラスに分類したかを検出する（図 28のステップ S111)。そして、分類結果判定部としての機能を有する制御部 9aは、出血部が存在する領域として特定した領域 Hkが、生体粘膜に関するクラスに含まれる胃粘膜クラス、生体粘膜に関するクラスに含まれる絨毛クラス、または不明クラスのレ、ずれかとして分類されてレ、ることを検出した場合（図 28のステップ S112)、画像 Iiにおける領域 Hkの分類結果は正しいものであると判定する（図 28のステップ S113)。また、制御部 9aは、出血部が存在する領域として特定した領域 Hkが、非生体粘膜に関するクラスに含まれる便クラス、または非生体粘膜に関するクラスに含まれる泡クラスとして分類されてレ、ることを検出した場合（図 28のステップ SI 12)、画像 Iiにおける領域 Hkの分類結果は誤りであると判定する（図 28のステップ S114)。なお、制御部 9aは、出血部が存在する領域として特定した領域 Hkが不明クラスとして分類されてレ、ることを検出した場合にっレ、ては、領域 Hkの分類結果にっレ、ての正誤の判定を行わず、例えば、「病変部位が撮像されている可能性のある領域」として別途判定を行うものであっても良い。

[0223] その後、制御部 9aは、入力された画像 Ii全てについて、前述したような処理を行つたかどうかを判定し（図 28のステップ S115)、全ての画像について処理が行われていない場合、次の画像 Ii+ 1に対し、図 25のステップ S71からの一連の処理を行う（図 28のステップ S116)。また、制御部 9aは、入力された画像 Ii全てについて前述したような処理を行った場合、処理を終了する。

[0224] 以上に述べたように、本実施形態における画像処理方法を用いた場合、第 2の実施形態において述べた効果と同様の効果として、カプセル型内視鏡装置 1を用いた観察における観察効率の向上をはかることができる効果を得ることができる。

[0225] また、本実施形態における画像処理方法を用いた場合、端末装置 7の制御部 9aは、画像 Ii内の出血部が存在する領域 Hkを特定した後、予め得た画像 Iiの領域 Hkの分類結果に対し、正誤判定の処理を行う。そのため、端末装置 7の制御部 9aは、本実施形態における画像処理方法を用いることにより、例えば、便等の異物または非生体粘膜の像が撮像されている領域に、病変部位としての出血部位が存在するといつたような、出血部位の誤検出を防ぐことができ、その結果、従来に比べ、より信頼性の高い病変部位の検出結果を得ることができる。

[0226] (第⁷の実施形態）

図 32から図 34は、本発明の第 7の実施形態に係るものである。なお、第 1の実施形態から第 6の実施形態までと同様の構成を持つ部分については、詳細説明は省略する。また、第 1の実施形態から第 6の実施形態までと同様の構成要素については、同一の符号を用いて説明は省略する。また、本実施形態におけるカプセル型内視鏡装置 1の構成は、第 1の実施形態から第 6の実施形態までの形態と同様であると共に、本実施形態における画像処理方法もまた同様に、端末装置 7としての、例えば、パーソナルコンピュータにおいて実行されるプログラムとして実現されているものとする。そして、本実施形態における画像処理方法は、端末本体 9が有する制御部 9aにおける処理として行われるものとする。

[0227] 図 32は、本実施形態に係る画像処理動作の一部を示すフローチャートである。図 3 3は、図 32の処理に引き続いて行われる、本実施形態に係る画像処理動作の一部を示すフローチャートである。図 34は、本実施形態に係る画像処理動作において、入力された画像が（m X n)個の領域に分割される際の一例を示す図である。

[0228] まず、制御部 9aは、カプセル型内視鏡 3により撮像された体腔内の像の画像に基づく画像信号を入力し、入力された i番目の画像 Iiを構成する Ri、 Gi及び Biの各プレーンに対し、前処理として、例えば、メディアンフィルタリングによるノイズ除去及び逆 γ補正を行うと共に、ハレーション画素及び暗部画素を以降の処理対象から除外するため、閾値に基づく処理により検出しておく（図 32のステップ S201)。そして、前記閾値に基づく処理は、例えば、 rik、 gik及び bikの濃度値の全てが 10以下の値であれば喑部画素、また、 rik、 gik及び bikの濃度値の全てが 230以上の値であればハレーシヨン画素とするような処理として行われる。

[0229] その後、制御部 9aは、 Ri、 Gi及び Biの各プレーンを小領域に分割する（図 32のステツプ S202)。なお、本実施形態において、制御部 9aは、図 34に示すように、 Ri、 G i及び Biの各プレーンを、 X軸方向の画素数 lx X y軸方向の画素数 ly (l≤lx、 l≤ly) 力なる矩形領域に分割するものとし、その領域数は m X n個（m=ISXZlx、 n=IS Y/ly)であるものとする。また、制御部 9aは、 mまたは nが整数とならない場合においては、大きさが端数となる最端部の領域を、端数の画素数を有する領域として処理するか、または以降の処理対象から除外するものとする。

[0230] 制御部 9aは、分割した各領域において、撮像対象の像の画像上における色の違レ、を反映する色調情報、及び撮像対象の像の画像上における構造の違レ、を反映するテクスチャ情報を特徴量として算出する（図 32のステップ S203)。なお、以降の説明においては、制御部 9aにおいて分割された領域のうち、一の領域を Hj (l≤j≤m X n)と示すものとする。

[0231] 本実施形態において、制御部 9aが算出する色調情報は、一の領域 Hjに含まれる各画素の RGB値の比に基づく値としての、 gik/rikの平均値（以降、 x gjと記す）及び bikZrikの平均値（以降、 z bjと記す）からなる、 2つの特徴量として示される値である。なお、及びの各値は、 0から 1の値をとるものとする。また、 μ び μ bjの各値は、例えば、胃粘膜のような比較的赤色調を示す領域においては、略同様に小さな値をとる。一方、 /i gj及び i bjの各値は、例えば、小腸のような比較的白色調を示す領域においては、略同様に大きな値をとる。また、 / gj及び i bjの各値は、例えば、便のような比較的黄色調を示す領域においては、 / gj > M bjとなるような値をとる。

[0232] 本実施形態において、制御部 9aが算出するテクスチャ情報は、前述したように、撮像対象の像の画像上における構造の違いを反映するものである。そして、撮像対象の像の画像上における構造は、例えば、粘膜表面における絨毛等の微細構造、及び便が有する不定形な模様等として示されるものである。具体的には、制御部 9aが算出するテクスチャ情報は、一の領域 Hjに含まれる各画素の RGB値の標準偏差 σ r j、 σ 及び σ bjを、一の領域 Hjに含まれる各画素の RGB値の平均値 mrj、 mgj及び mbjで除したものである、 3つの特徴量として示される RGB値の変動係数 CVrj、 CV gj及び CVbjである。なお、変動係数 CVrj、 CVgj及び CVbjを算出するための計算式は、下記数式（17)、数式（18)及び数式（19)として示される。

[0233] CVrj = σ η/πιη · · · (17)

CVgj = a gj /mgj · ' · (18) CVbj = a bj/mbj · · · (19) 上記数式（17)、数式（18)及び数式（19)により算出される変動係数 CVrj、 CVgj 及び CVbjにより、撮像対象に対して供給される照明光量の違い等による影響によらず、テクスチャ構造による画素変動の程度を数値化することができる。 CVrj、 CVgj及び CVbjの各値は、例えば、拡大観察を行っていない状態である、通常観察において撮像された胃粘膜のような、画像上における構造が比較的平坦な領域においては、明瞭なテクスチャ構造がないため、略同様に小さな値をとる。一方、 CVrj、 CVgj及び CVbjの各値は、例えば、小腸の絨毛のような、画像上における構造にエッジを比較的多く含む領域にぉレ、ては、略同様に大きな値をとる。

[0234] そして、制御部 9aは、色調情報及びテクスチャ情報からなる 5つの特徴量、すなわち、 z gj、 z bj、 CVrj、 CVgj及び CVbjの各値を、ハレーション画素及び喑部画素を除いた各画素の RGB値に基づき、 m X n個の領域 Hj各々において算出する。なお、本実施形態においては、一の領域 Hjが有する、（lx X ly)個の画素において、例えば、ハレーション画素の個数と、暗部画素の個数との和が占める割合が 50%を超えた場合、一の領域 Hjを以降の処理から除外するような制御が行われるものであっても良い。

[0235] その後、制御部 9aは、以降に説明する処理を行うため、一の領域 Hjの領域番号 jを j = lとする（図 32のステップ S204)。そして、制御部 9aは、ベイズの定理に基づく統計的識別器を用い、胃粘膜、絨毛、便及び泡からなる 4つのクラスのうち、一の領域 Hjがどのクラスに属するかを識別し、該識別結果に基づく分類を行う。

[0236] 具体的には、 4つのクラスの識別及び分類において、一のクラス co a (a= l、 2、 ·■·、 C、 Cはクラス数を示す）が発生する事前確率を Ρ ( ω a)とし、一の領域 Hjにおける 5 つの特徴量から決定された特徴ベクトルをとし、全クラスからの特徴ベクトルの発生確率に基づく確率密度関数を p (x)とし、一のクラス ω aからの特徴ベクトル≤の発生確率に基づく状態依存確率密度 (多変量正規確率密度）関数を p (S I c a)とすると、発生した特徴べクトル≤がーのクラス ω aに属する事後確率 Ρ ( ω a | を算出するための計算式は、下記数式（20)として示される。 [0237]

Ρ{ωα I x) = p(x | ωά)Ρ ωά) Ι p{x) ( 2 0 ) なお、状態依存確率密度関数 p (2£ I co a)及び確率密度関数 p (2£)は、下記数式（2

1)及び数式（22)として示される。

μα)] · · · ( 2 1 )

なお、上記数式（21)及び数式（22)において、 dは 2£の特徴量の個数と同数である次元数を示し、及び∑ aはクラス ω aにおける特徴ベクトルの平均ベクトル及び一のクラス ω aにおける分散共分散行列を示すものとする。また、 (χ- _&) ¾ (χ- ia)の転置行列を示し、 I ∑a I は∑ aの行列式を示し、∑ a— ¹は∑ aの逆行列を示すものとする。さらに、説明の簡単のため、事前確率 P ( ω a)は、全クラスにぉレ、て等しい値をとると仮定し、また、確率密度関数 p ( )は、上記数式（22)により全クラス共通の関数として表されるものとする。

[0239] 前述したようなベイズの定理に基づく統計的識別器と共に、分類基準として用いられる平均ベクトル及び分散共分散行列∑ aは、一のクラス ω aにおける母数を構成する要素であり、 1番目の画像 IIが端末装置 7に入力される以前の段階において、胃粘膜、絨毛、便及び泡からなる 4つのクラスの教師データを構成する複数の画像、例えば、第 1の実施形態の説明において示した、図 14、図 15、図 16及び図 17のような画像に基づき、該画像の一の領域各々において都度決定される特徴ベクトル sから、クラス毎に予め算出された後、初期値として端末装置 7に各々記録される。なお、このとき、制御部 9aは、各クラスの教師データにおける特徴ベクトルに、画像 Iiにおける各クラスの特徴べクトノレを加えるようにして母数を推定しても良い。

[0240] なお、平均ベクトル " aは、特徴ベクトル 2£が有する 5つの特徴量各々の平均値からなり、かつ、特徴ベクトル sと同一の次元数を有するベクトルである。すなわち、特徴ベクトノレ X.力 Sx= (xl , x2, x3, x4, x5)として表される場合、平均べタトノレ aは、特徴ベクトルが有する 5つの特徴量各々の平均値である、 /ιχ1、 /ιχ2、 /ιχ3、 /ιχ4 ねよび/ i χ5·2Γ用レヽて、 Li a= ( i xl, /ιχ2, /ιχ3, /ιχ4, ιχ5)として表されるものとする。また、分散共分散行列∑ aは、一のクラス ω aに属する特徴ベクトル 2£の分布のバラツキ及び広がり具合を示す行列であり、特徴ベクトル≤の特徴量の個数と同数である次元数 dに対し、 dXd行列として表されるものとする。

[0241] 制御部 9aは、発生した特徴ベクトル≤がクラス ω 1に属する事後確率 Ρ (ωΐ | と、発生した特徴べクトル≤力 Sクラス ω 2に属する事後確率 Ρ ( ω 2 I と、発生した特徴ベクトル力 Sクラス ω 3に属する事後確率 Ρ ( ω 3 I と、発生した特徴ベクトル≤がクラス ω4に属する事後確率 Ρ(ω4 | とを、ベイズの定理に基づいた上記数式（20)から数式（22)を用いて各々算出する。そして、制御部 9aは、これら 4つの事後確率のうち、最大の事後確率 Pl(c a I を与えるクラス ω aに特徴ベクトルが属するものとして識別を行レ、、該識別結果に基づいて特徴ベクトルが発生した領域である一の領域 Hjをクラス ω aに分類する（図 32のステップ S205)と共に、最大の事後確率 P1 ( coa I を与える確率密度関数 Pl(2 I ω a)の値を算出する。

[0242] そして、制御部 9aは、以上までの処理にぉレ、て、クラス ω aに分類された一の領域 Hjの分類結果が正確なものであるか否かを判定するため、平均値からの距離に基づく処理、すなわち、最大の事後確率 PI (coa I を与える確率密度関数 Pl(2 I coa) の値に対する閾値に基づく処理をさらに行う。

[0243] 具体的には、まず、制御部 9aは、平均ベクトルが有する 5つの特徴量各々の平均値のうち、例えば、特徴量 xlの平均値 μχΐに対し、特徴量 xlの標準偏差 σχΐと、所定の定数としての乗算係数 αとの積を加えた値を含む、閾値ベクトル 2 ^を決定する。なお、このような閾値ベクトル≤klは、例えば、下記数式（23)として示されるものであり、また、本実施形態においては、乗算係数ひの値は 1. 5であるとする。

[0244] x l= (μ 1+ α X σχΐ, μχ2, μχ3, μ χ4, μ χ5) · · · (23)

上記数式（23)により閾値ベクトル≤klが決定されると、制御部 9aは、閾値ベクトル≤ hiを上記数式（20)、数式（21)及び数式（22)の≤として代入し、一の領域 Hjが分類されたクラス c aの閾値としての、確率密度関数 p I c a)の値を算出する。

[0245] そして、制御部 9aは、 pi I coa)の値が p(≤kl | ω a)の値より大きいことを検出する（図 32のステップ S206)と、図 32のステップ S205に示す処理にぉレヽて、一の領域 Hjをクラス ω aに分類した分類結果が正確であると判断する（図 32のステップ S20 7)。

[0246] また、制御部 9aは、 pl (x | ω a)の値が p (xbl | ω a)の値以下であることを検出する（図 32のステップ S206)と、図 32のステップ S205に示す処理において、一の領域 Hjをクラス ω aに分類した分類結果が不正確であると判断し、一の領域 Hjを不明クラスに分類する（図 32のステップ S208)。

[0247] そして、制御部 9aは、分割した m X n個の領域全てについての分類が完了していない場合（図 32のステップ S209)、領域番号 jに 1を加え（図 32のステップ S210)、次の領域について、図 32のステップ S205力、らステップ S209までに示す処理を行う。また、制御部 9aは、分割した m X n個の領域全てについての分類が完了した場合（図 32のステップ S209)、画像 Iiにおける m X n個の分類結果と、 m X n個の領域が各々有する特徴量とに基づき、 4つのクラス各々において、分類基準としての平均べタトノレ ϋ及び分散共分散行列∑ aを再度算出する（図 33のステップ S211)。なお、平均ベクトル且及び分散共分散行列∑ _aを再度算出する際に、色調情報及びテクスチヤ情報に基づく 5つの特徴量全てについて算出するのではなぐ例えば、色調情報を構成する 2つの特徴量についてのみ算出するようにしてもよい。

[0248] その後、制御部 9aは、以降に説明する処理を行うため、一の領域 Hjの領域番号 jを j = lとする（図 33のステップ S212)。

[0249] 制御部 9aは、図 33のステップ S211に示す処理において算出された平均べクトノレ及び分散共分散行列∑ aが代入された上記数式 (20)から数式 (22)を用い、発生した特徴べクトル≤力 Sクラス ω 1に属する事後確率 Ρ ( ω 1 I と、発生した特徴べクトルがクラス ω 2に属する事後確率 Ρ ( ω 2 I と、発生した特徴べクトル≤がクラス ω 3に属する事後確率 Ρ ( ω 3 I と、発生した特徴べクトル≤がクラス ω 4に属する事後確率 Ρ ( ω 4 I とを、再度各々算出する。そして、制御部 9aは、これら 4つの事後確率のうち、最大の事後確率 P2 ( co a I を与えるクラス ω aに特徴ベクトルが属するものとして識別を行レ、、該識別結果に基づいて特徴ベクトル≤が発生した領域である一の領域 Hjをクラス ω aに再分類する（図 33のステップ S213)と共に、最大の事後確率 P2(coa I を与える確率密度関数 P2(2£ I ω a)の値を算出する。

[0250] そして、制御部 9aは、以上までの処理にぉレ、て、クラス ω aに再分類された一の領域 Hjの再分類結果が正確なものであるか否かを判定するため、最大の事後確率 P2 (coa I を与える確率密度関数 P2(≤ I ω a)の値に対する閾値に基づく処理をさらに行う。

[0251] すなわち、前述したように、図 33のステップ S211に示す処理において算出された平均ベクトルが有する 5つの特徴量各々の平均値のうち、例えば、特徴量 xlの平均値 μ xlに対し、特徴量 xlの標準偏差 σ xlと、所定の定数としての乗算係数ひとの積を加えた値を含む、閾値ベクトル≤b を決定する。そして、閾値ベクトル≤ が決定されると、制御部 9aは、閾値ベクトル≤ を上記数式（20)、数式（21)及び数式（2 2)のとして代入し、一の領域 Hjが再分類されたクラス c aの閾値としての、確率密度関数 P(≤ l coa)の値を算出する。

[0252] そして、制御部 9aは、 p2(2£ I coa)の値が ρ(^ | ω a)の値より大きいことを検出する（図 33のステップ S214)と、一の領域 Hjをクラス ω aに再分類した再分類結果が正確であると判断する（図 33のステップ S215)。

[0253] また、制御部 9aは、 ρ2(χ | ω a)の値が p (xb2 | ω a)の値以下であることを検出する（図 33のステップ S214)と、一の領域 Hjをクラス ω aに再分類した再分類結果が不正確であると判断し、一の領域 Hjを不明クラスに再分類する（図 33のステップ S216)

[0254] そして、制御部 9aは、分割した mXn個の領域全てについての分類が完了していない場合（図 33のステップ S217)、領域番号 jに 1を加え（図 33のステップ S218)、次の領域について、図 33のステップ S213からステップ S217までに示す処理を行う。また、制御部 9aは、分割した mXn個の領域全てについての分類が完了した場合（図 33のステップ S217)、今度は（i+ 1)番目の画像 Ii+ 1に対し、図 32のステップ S2 01からの一連の処理を行う（図 33のステップ S219)。

[0255] なお、図 33のステップ S211に示す処理において算出された平均ベクトル及び分散共分散行列∑ aは、（i+1)番目の画像 Ii+1に対して行われる、図 32のステップ S205に示す処理において使用されるものであってもよい。この場合、時間的に連続する画像間において、画像の識別および分類に使用される母数を動的に変更することにより、画像の分類をさらに高精度に行うことができる。

[0256] また、一般に、生体粘膜表面の像は、テクスチャ情報に基づく差に比べ、色調情報に基づく差が顕著である。そのため、制御部 9aは、図 33のステップ S211に示す処理におレ、て、色調情報及びテクスチャ情報の両方に対して平均ベクトル ϋ及び分散共分散行列∑ aを再度算出する処理を行うものに限らず、例えば、色調情報またはテクスチャ情報のうち、いずれか一方のみに対して及び分散共分散行列∑ aを再度算出する処理を行うものであっても良い。

[0257] 端末装置 7の制御部 9aは、以上に述べたような、図 32及び図 33のステップ S201 力ステップ S218に示す画像 Iiの分類結果を用いた処理をさらに行うことにより、例えば、画像 Iiが胃粘膜、絨毛等の像である生体粘膜表面の像であるか否力を判断すること力 Sできる。

[0258] 具体的には、制御部 9aは、図 32及び図 33のステップ S201からステップ S218に示す画像 Iiの分類結果において、各クラスに分類された領域数を数えた後、例えば、胃粘膜クラスまたは絨毛クラスに分類された領域数 Aが全領域数 (m X n)に占める割合を算出する。そして、制御部 9aは、 A/ (m X n)が所定の閾値以上 (例えば 0. 8) である場合、画像 Iiが生体粘膜表面の像であると判断する。これにより、制御部 9aは、生体粘膜表面の像であることが確実な画像を抽出することができる。

[0259] また、以上の説明においては、色調情報及びテクスチャ情報に基づく 5個の特徴量の全てを一度に用いて特徴ベクトル 2£を決定するような、 5次元の多変量正規確率密度を規定する場合について述べた。しかし、本実施形態における画像処理方法においては、例えば、色調情報及びテクスチャ情報についての各々の特徴量を個別に用いて 2種類の特徴ベクトルおよびを決定し、 1つのクラスにつき 2個の多変量正規確率密度を規定することにより、画像の分類をさらに高精度に行うことができる。

[0260] 具体的には、まず、制御部 9aは、色調情報を構成する 2個の特徴量 μ gj及び/ z bj についての状態依存確率密度関数を pc I c a)として、また、テクスチャ情報を構成する 3個の特徴量 CVrj、 CVgj及び CVbjについての状態依存確率密度関数を pt (xt I co a)として各々算出する。なお、は、≤£= gj, At bj)として表される 2次元のベクトルであり、また、 ^は、 2l= (Cvrj、 Cvgj、 Cvbj)として表される 3次元のベタトルである。

[0261] 制御部 9aは、これら 2つの状態依存確率密度関数 pc I coa)及び pt(^ | ω a) を用いて数式（21)に基づく事後確率 Pc(c a I )及び Pt(c a | )を算出した後、最終的な事後確率 Ρ(ω a I を下記数式（24)により算出する。

[0262] P( a I x) =Pc(_Wa | xc) X Pt ( ω a | xt) · · · (24)

また、クラス ω aへの分類結果の正確性を判断するための閾値は、色調情報及びテタスチヤ情報の特徴量各々の平均ベクトル μ c及び μ tと、標準偏差 σ cl及び σ tl に基づき、例えば、 p(2^ I oa)及び p(≤i I ω a)として設定される。そして、制御 ¾9a¾, pi (xc I ωα) >p(xcb | ω a)であり、力、つ、 pi ( I ω a) >p(xtb | ω a) であれば、分類結果は正確であるとして、特徴ベクトル xcおよび特徴ベクトル xtを有する一の領域 Hjを、胃粘膜、絨毛、便または泡のいずれかのクラスとして分類し、そうでなければ不明クラスとして分類する。

[0263] なお、以上の説明において、事前確率 P(coa)は、全クラスにおいて等しいと仮定した力これに限るものではない。事前確率 P(coa)は、例えば、カプセル型内視鏡 3が撮像する部位の時間配分に基づき、絨毛クラスまたは便クラスの事前確率 P ( ω a)を高めに設定したり、カプセル型内視鏡 3が撮像した部位の誤分類によるリスクに基づき、胃粘膜クラス及び絨毛クラスの事前確率 Ρ(ω a)を、観察不要とする便クラス及び泡クラスより高めに設定したり等、種々の用途に応じた値に設定されるものであっても良い。

[0264] さらに、以上の説明において、画像の分類を行う際に制御部 9aが用いる統計的識別器は、ベイズの定理に基づくものに限るものではなぐ例えば、線形判別関数等に基づくものであっても良レ、。

[0265] 以上に述べたように、本実施形態によれば、生体粘膜表面の像としての胃粘膜及び絨毛の像と、異物または非生体粘膜の像としての便及び泡の像とを画像の小領域毎に識別して分類することができる。そのため、ユーザは、画像の小領域の多くを異物の像が占めるような、生体粘膜表面の像が良好に撮像されていない画像を、観察不要の画像として容易に除外することができ、その結果、カプセル型内視鏡装置 1を用いた観察効率の向上をはかることができる。

[0266] また、以上に述べたように、本実施形態によれば、統計的識別器の母数を、端末装置 7に入力される画像に応じた最適な値として算出することができる。そのため、本実施形態に用レ、るカプセル型内視鏡装置 1は、生体粘膜表面の色調及び微細な構造の個人差、カプセル型内視鏡 3を構成する各部の特性バラツキ等により、特徴量に変化が生じる場合においても、端末装置 7に入力される画像の各領域の分類を高精度に行うことができる。

[0267] また、本実施形態によれば、生体粘膜表面の像として分類された各々の領域に対し、さらに、例えば、前記各々の領域が有する特徴量に基づき、正常な粘膜の像と病変部位の像と分類するような画像処理方法を用いた処理を行うことにより、病変部位の検出精度を高めることができる。

[0268] さらに、本実施形態によれば、画像において絨毛の像あるいは便の像が撮像されていることを検出して分類することができる。そのため、制御部 9aは、前記分類結果に基づき、例えば、便の像が画像の多くを占めていれば大腸が撮像された画像である等の分類基準をさらに用いた処理を行うことにより、前記画像において撮像された臓器を特定することができる。

[0269] (第 8の実施形態）

図 35から図 40は、本発明の第 8の実施形態に係るものである。なお、第 1の実施形態から第 7の実施形態までと同様の構成を持つ部分については、詳細説明は省略する。また、第 1の実施形態から第 7の実施形態までと同様の構成要素については、同一の符号を用いて説明は省略する。また、本実施形態におけるカプセル型内視鏡装置 1の構成は、第 1の実施形態から第 7の実施形態までの形態と同様であると共に、本実施形態における画像処理方法もまた同様に、端末装置 7としての、例えば、パーソナルコンピュータにおいて実行されるプログラムとして実現されているものとする。そして、本実施形態における画像処理方法は、端末本体 9が有する制御部 9aにおける処理として行われるものとする。

[0270] 図 35は、本実施形態の画像処理装置における画像処理動作を示すフローチヤ一トである。図 36は、本実施形態の画像処理装置における画像処理動作を示すフローチャートである。図 37は、本実施形態の画像処理動作において、一の領域における近傍領域を決定する際の一例を示す図である。図 38は、本実施形態の画像処理動作において用いられる、カプセル型内視鏡により撮像された体腔内の像の画像の一例を示す模式図である。図 39は、図 38に示す画像の分類結果の一例を示す図である。図 40は、図 39に示す分類結果に基づき、本実施形態の画像処理動作を行った後の再分類結果を示す図である。

[0271] 制御部 9aは、本実施形態における画像処理動作を行う前に、まず、カプセル型内視鏡 3により撮像された体腔内の像の画像に基づく画像信号を入力し、入力された i 番目の画像 Iiに対し、第 7の実施形態において説明した、図 32および図 33に示す、ステップ S201からステップ S218までの処理を行レ、、画像 Iiについての分類結果を得る（図 35のステップ S221)。

[0272] その後、制御部 9aは、領域統合の繰り返し回数を示す countの値（1≤ count)を c ount= lとする（図 35のステップ S222)。なお、領域統合の最大繰り返し回数を示す countmaxの値は、ユーザにより設定される値である。そして、制御部 9aは、ユーザにより設定された countmaxの値の回数分だけ、以降に詳述するような領域統合の処理を行う。また、本実施形態においては、 countmaxの値は 5であるとして以降の説明を行う。

[0273] そして、制御部 9aは、一の領域 Hjの領域番号 jを j = lとした後（図 35のステップ S2 23)、一の領域 Hjをクラス c (c = l、 2、 3、 4または 5)に分類したことに対する評価を行うための評価値を算出する。なお、クラス 1からクラス 5までの 5つのクラス各々は、胃粘膜クラス、絨毛クラス、便クラス、泡クラス及び不明クラスのうちのいずれかのクラスと一対一に対応するものであるとする。

[0274] 具体的には、まず、制御部 9aは、領域 Hjの分類候補となるクラス cを c= 1とする（図 36のステップ S231)。その後、制御部 9aは、後述する、領域 Hjの近傍領域の分類結果に基づくコスト関数から導出される値である評価値 Vjcを Vjc = 0とする（図 36のステップ S232)。そして、制御部 9aは、例えば、図 37に示されるような、一の領域 Hj の 8近傍領域を示す領域 s (s = l、 2、 3、 4、 5、 6、 7または 8)を s = 1とする（図 36のステップ S233)。なお、領域 1から領域 8までの 8つの領域として示される、一の領域 Hjの 8近傍領域各々は、例えば、図 37に示されるような領域 1から領域 8の矩形領域のうち、いずれかの領域と一対一に対応するものであるとする。また、一の領域 Hjの各近傍領域は、以降 Hjsと示されるものとする。また、一の領域 Hjが画像辺縁部である、及び喑部画素またはハレーション画素のため処理から除外された領域がある等の理由により、一の領域 Hjの近傍領域が 8領域分設定できない場合、制御部 9aは、一の領域 Hjの近傍領域として設定可能な領域分のみに対し、以降の処理を行うものとする。

[0275] 制御部 9aは、画像 Iiについての分類結果から、近傍領域 Hjsをクラス cに分類したか否かを判定する（図 36のステップ S234)。そして、評価値算出部としての機能を有する制御部 9aは、近傍領域 Hjsをクラス cに分類していないことを検出すると、下記数式（25)により示されるコスト関数を用レ、、評価値 Vjcの値に 0. 2を加える（図 36のステツプ S 235)。

[0276] Vjc=Vjc + 0. 2 · · · (25)

その後、制御部 9aは、領域 sの値に 1を加えつつ、一の領域 Hjの近傍領域 Hjs全てに対し、図 36のステップ S234およびステップ S235に示す、上記数式（25)を用いた処理を繰り返し行うことにより、クラス cにおける評価値を算出する（図 36のステップ S2 36およびステップ S237)。

[0277] さらに、制御部 9aは、クラス cにおける評価値を決定すると（図 36のステップ S236) 、クラス cの値に 1を加えつつ、図 36のステップ S232力らステップ S237に示す一連の処理を繰り返し行うことにより、クラス 1からクラス 5までの全てのクラスにおける評価値を算出する（図 36のステップ S238およびステップ S239)。

[0278] 領域分類部としての機能を有する制御部 9aは、各 Vjcの値、すなわち、 Vj l、 Vj2、 Vj3、 Vj4及び Vj5の値を比較し、最小の Vjcの値を与えるクラス cに、一の領域 Hjを再分類する（図 35のステップ S224)。なお、制御部 9aは、最小の Vjcの値を与えるクラス cが複数存在した場合には、例えば、 cが最小となるクラスを選択するような処理を行うものとする。

[0279] そして、制御部 9aは、所定の countの値において、分割した m X n個の領域全てについての分類が完了していない場合（図 35のステップ S225)、領域番号 jに 1を加え (図 35のステップ S226)、次の領域について、図 35のステップ S223およびステップ S224に示す処理と、図 36のステップ S231力らステップ S239に示すまでの処理と力なる一連の処理を繰り返し行う。

[0280] 制御部 9aは、分割した m X n個の領域全てについての分類が完了し、かつ、 coun tの値力 Scountmaxの値より小さい場合（図 35のステップ S227)、 countの値に 1を加えた後（図 35のステップ S228)、画像 liに対し、図 35のステップ S222からステップ S227に示す処理と、図 36のステップ S231力、らステップ S239に示すまでの処理と力なる一連の処理を繰り返し行う。また、制御部 9aは、分割した m X n個の領域全てについての分類が完了し、かつ、 countの値が countmaxの値以上である場合（図 35のステップ S227)、今度は（i+ 1)番目の画像 Ii+ 1に対し、図 35のステップ S2 21からの一連の処理を行う（図 35のステップ S229)。

[0281] なお、端末装置 7の制御部 9aが本実施形態における画像処理動作を用いて処理を行った際の一例を図 38、図 39及び図 40に示す。図 38は、以上に述べた本実施形態における画像処理動作において、画像 Πに相当する画像を模式的に示した図である。そして、図 39に示すような画像 liが端末装置 7に入力されると、端末装置 7の制御部 9aは、図 35のステップ S221に示す処理において、図 39に示すような分類結果を得る。その後、制御部 9aは、図 39に示すような分類結果に基づき、さらに図 35のステップ S222以降に示す領域統合の処理を countmaxの値として予め設定された回数 (本実施形態においては 5回）分繰り返して行うことにより、図 40に示すような再分類結果を得る。

[0282] 以上に述べたように、制御部 9aにより本実施形態における画像処理方法を用いた処理が行われる場合、ユーザは、第 7の実施形態において述べた効果と同様の効果として、カプセル型内視鏡装置 1を用いた観察における観察効率の向上をはかることができるという効果を得ることができる。また、本実施形態における画像処理方法を用いた場合、端末装置 7の制御部 9aは、端末装置 7に入力される画像の所定の領域の再分類を、該所定の領域の近傍領域における分類結果に基づいて行うため、誤分類領域の発生を抑制しつつ、該画像の各領域の分類をさらに高精度に行うことができる。 [0283] (第 9の実施形態）

図 41から図 47は、本発明の第 9の実施形態に係るものである。なお、第 1の実施形態から第 8の実施形態までと同様の構成を持つ部分については、詳細説明は省略する。また、第 1の実施形態から第 8の実施形態までと同様の構成要素については、同一の符号を用いて説明は省略する。また、本実施形態におけるカプセル型内視鏡装置 1の構成は、第 1の実施形態から第 8の実施形態までの形態と同様であると共に、本実施形態における画像処理方法もまた同様に、端末装置 7としての、例えば、パーソナルコンピュータにおいて実行されるプログラムとして実現されているものとする。そして、本実施形態における画像処理方法は、端末本体 9が有する制御部 9aにおける処理として行われるものとする。

[0284] 図 41は、本実施形態における画像処理動作を示すフローチャートである。図 42は、本実施形態における画像処理動作を示すフローチャートである。図 43は、本実施形態における画像処理動作において、 4 X 4の画素数を有する小矩形領域各々に対して仮想的に付与する番号の配列の一例を示す図である。図 44は、本実施形態における画像処理動作にぉレ、て、一の矩形領域 ROに対する近傍外周領域 Htの位置関係を示す図である。図 45は、本実施形態における画像処理動作において、近似 g radientベクトル sl及び方向ベクトル d!がなす角度 Θ tの一例を示す図である。図 46は、本実施形態において用いられるカプセル型内視鏡により撮像された体腔内の像の画像の一例を示す模式図である。図 47は、図 46に示す画像の分類結果の一例を示す図である。

[0285] まず、端末装置 7の制御部 9aは、前述したような、図 32のステップ S201からステツプ S203に示す処理と略同様の処理を行う。すなわち、制御部 9aは、カプセル型内視鏡 3により撮像された体腔内の像の画像に基づく画像信号を入力し、入力された i 番目の画像 Iiに対して前処理を行レ、（図 41のステップ S241)、画像 Iiを m X n個の小領域に分割した（図 41のステップ S242)後、分割した各領域において、色調情報及びテクスチャ情報を特徴量として算出する（図 41のステップ S243)。そして、制御部 9 aは、以降に述べる画像処理を行い、分割した各領域のうち、構造的に明確な特徴を有するクラスとして予め設定されたクラスである、例えば、泡クラスに分類される領域を検出する（図 41のステップ S244)。なお、本実施形態においては、制御部 9aは、画像 Iiを m X n個の小領域に分割する際に、各々の領域が lx=ly= 8となるように、すなわち、 8 X 8の画素数を有する矩形領域となるように画像 Iiを分割するものとする。

[0286] 具体的には、制御部 9aは、画像 Iiの各プレーンのうち、緑色のプレーンであるプレーン Giにおいて、 8 X 8の画素数を有する各々の矩形領域を、さらに 4分割することにより、各々が 4 X 4の画素数を有する小矩形領域を生成する（図 42のステップ S25 1) ₀制御部 9aは、 4 X 4の画素数を有する小矩形領域各々における G (緑)画素の濃度値の平均値 gaを算出した後、 4 X 4の画素数を有する小矩形領域各々に対し、例えば、図 43に示すような配列を有する番号を仮想的に付与する。そして、制御部 9a は、領域 1と領域 7または領域 2と領域 8を結ぶ線分からなる方向を画像上の垂直方向、領域 3と領域 4または領域 5と領域 6を結ぶ線分からなる方向を画像上の水平方向、領域 2と領域 5または領域 4と領域 7を結ぶ線分からなる方向を画像上の左斜め方向、及び領域 1と領域 6または領域 3と領域 8を結ぶ線分からなる方向を画像上の右斜め方向として各々設定した後、各々の領域間において、 G画素の濃度値の平均値 gaの対数差分の値を算出する。その後、制御部 9aは、前記対数差分の値が最大となる領域の組み合わせが存在する画像上の方向に、略円形形状のエッジを示す画素の配列が存在すると判断し、前記対数差分の最大値と、前記最大値を与える画像上の方向とを一時的に保持する。

[0287] また、注目領域設定部及び近傍外周領域検出部としての機能を有する制御部 9a は、 8 X 8の画素数を有する矩形領域のうち、図 44に示すように、注目領域としての一の矩形領域 ROを、略円形形状の中央部が存在する領域として仮想的に座標 (xo ， yo)と設定した後、 (xo, yo)から距離 Q (Q = 1， 2, 3,■·■)だけ離れた領域、すなわち、 R〇を中央部とする略円形形状のエッジの少なくとも一部が存在し得る領域として、座標 (xt, yt)により示される近傍外周領域 Ht (t= l， 2， 3,…， T)を下記数式（26 )により検出する（図 42のステップ S252)。

[0288] [ ( (xo - xt) ² + (yo - yt) ²) ^{1 2}] = Q · · · (26)

なお、上記数式（26)において、 [ ]はガウス記号を示すものとする。

[0289] ベクトル算出部としての機能を有する制御部 9aは、上記数式（26)を満たす座標 (x t, yt)を全て検出した後、検出した近傍外周領域各々における近似 gradientベタトル slと、各座標 (xt, yt)及び座標 (xo, yo)を結ぶ方向ベクトル dlとを算出する（図 42のステップ S253)。

[0290] なお、近傍外周領域 Ht各々における近似 gradientベクトル giは、制御部 9aに保持された、 G画素の濃度値の平均値 gaの対数差分の最大値を大きさとして有し、また、前記最大値を与える画像上の方向を方向として有するベクトルである。

[0291] そして、制御部 9aは、近傍外周領域 Ht各々における近似 gradientベクトル gi及び方向ベクトル Vdtを算出すると、 Vgtの大きさ I gi I の値が閾値 (本実施形態においては 0. 4)以上であるか否かを判定する。制御部 9aは、 I Iの値が閾値以上であることを検出すると、内積の公式に基づき、図 45に示すような、近似 gradient ベクトル Vgt及び方向ベクトル Vdtがなす角度 Θ tについて、下記数式（27)により co s の値を算出する（図 42のステップ S254)。

[0292] cos Θ t=Vgt -Vdt/ | Vgt | | Vdt | · · · (27)

エッジ判定部としての機能を有する制御部 9aは、上記数式（27)を用いた cos Θ tの算出結果に基づき、 I cos 6 t I の値が 0· 7より大きいことを検出する（図 42のステツプ S255)と、一の矩形領域 ROを中心とした放射状の gradientベクトルが近傍外周領域 Htに存在する、すなわち、一の矩形領域 ROを中央部とする略円形形状のエツジの少なくとも一部が存在すると判断すると共に、該一の矩形領域 ROを抽出する。

[0293] 領域抽出部としての機能を有する制御部 9aは、 T個の近傍外周領域のうち、 L個の領域において一の矩形領域 ROを中心とした放射状の gradientベタトノレが存在する場合、 L/Tの値に基づき、 L/Tの値が、例えば 0. 7以上であれば（図 42のステツプ S256)、抽出した前記一の矩形領域 R〇に略円形形状を有する泡の中央部が存在すると判断する。そして、制御部 9aは、距離 Qの値を、ユーザによって予め設定された Qmaxの値まで変化させつつ、距離 Qの値各々において前述したような処理を行う（図 42のステップ S257及びステップ S258)。また、制御部 9aは、 8 X 8の画素数を有する矩形領域全てに対し、順次一の矩形領域 R〇を設定しつつ、設定した領域 RO各々について、都度前述したような処理を行う（図 42のステップ S259及びステツプ S260)。制御部 9aは、以上に述べたような処理を行うことにより、画像 Ii上の様々な領域に存在する、様々な泡の大きさに応じ、泡クラスに分類される領域を検出する

[0294] その後、制御部 9aは、泡クラスに分類される領域以外の領域において、絨毛クラスに分類される領域を検出する（図 41のステップ S245)ため、図 32のステップ S205力らステップ S210に示す処理と略同様の処理を行う。

[0295] すなわち、前述したように、制御部 9aは、教師データに基づいてクラス毎に予め算出された平均ベクトル及び分散共分散行列∑ aを有する上記数式（20)から数式 (22)を用レ、、発生した特徴ベクトルがクラス ωΐに属する事後確率 Ρ(ω1 | と、発生した特徴べクトル≤力 Sクラス ω 2に属する事後確率 Ρ ( ω 2 I と、発生した特徴ベクトル力 Sクラス ω 3に属する事後確率 Ρ ( ω 3 I と、発生した特徴ベクトル≤がクラス ω4に属する事後確率 Ρ(ω4 | とを各々算出する。そして、制御部 9aは、これら 4つの事後確率のうち、最大の事後確率 Ρ1(ω a | を与えるクラス ω aに特徴べタトノレ 2£が属するものとして識別を行レ、、該識別結果に基づいて特徴ベクトルが発生した領域である一の領域 Hjをクラス ω aに分類する。さらに、絨毛クラスをクラス ω 1 (a =1)とすると、制御部 9aは、 mXn個の領域のうち、以上までの処理においてクラス ω 1に分類された領域を検出し、該領域各々において、最大の事後確率 P1 (ωΐ | χ )を与える確率密度関数 pi (x I ω 1)の値を算出する。

[0296] そして、制御部 9aは、クラス ω 1に分類された領域各々の分類結果が正確なものであるか否力を判定するため、最大の事後確率 Ρ1(ω1 I 2 ^を与える確率密度関数 Pi (x I ωΐ)の値に対する閾値に基づく処理をさらに行う。

[0297] 具体的には、前述したように、制御部 9aは、教師データに基づいて予め算出された平均ベクトル illが有する 5つの特徴量各々の平均値のうち、例えば、特徴量 xlの平均値 μ xlに対し、特徴量 xlの標準偏差 σ xlと、所定の定数としての乗算係数ひとの積を加えた値を含む、閾値ベクトル≤hlを決定する。なお、乗算係数ひの値は、絨毛クラスの分類を確実に行うため、 pl(x I ω 1)の値に対する閾値を構成する値として、本処理においては 0. 8として設定されるものであるとする。そして、閾値べタトノレ≤klが決定されると、制御部 9aは、閾値ベクトル 2^1を上記数式（20)、数式（21) 及び数式（22)のとして代入することにより、確率密度関数 p(≤hl I ωΐ)の値を算出する。

[0298] そして、制御部 9aは、 pi (χ | ω 1)の値が p (xbl | ω 1)の値より大きくなる領域については、絨毛クラスに分類した分類結果が正確であると判断し、また、 pl (x I ω 1) の値が p (2^1 I ω ΐ)の値以下となる領域については、絨毛クラスに分類した分類結果が不正確であると判断し、該当する領域を不明クラスに分類する。

[0299] 制御部 9aは、 m X n個の領域に対して前述した処理を行うことにより、泡クラスに分類される領域以外の領域において、絨毛クラスに分類される領域を検出する。その後、制御部 9aは、前述した処理における検出結果に基づき、絨毛クラスに分類される領域が各々有する 5つの特徴量から、絨毛クラスを構成する母数である平均ベクトル ill及び分散共分散行列∑1を算出する（図 41のステップ S246)。また、泡クラスをクラス ω 2 (a = 2)とすると、制御部 9aは、前述した処理における検出結果に基づき、泡クラスに分類される領域が各々有する 5つの特徴量から、泡クラスを構成する母数である平均ベクトル 2及び分散共分散行列∑ 2を算出する（図 41のステップ S246 )。その後、制御部 9aは、絨毛クラスを構成する母数である平均ベクトル j l及び分散共分散行列∑ 1と、泡クラスを構成する母数である平均ベクトル ϋ2及び分散共分散行列∑ 2とを用い、例えば、図 46に示すような画像 Iiに対し、本発明の第 7の実施形態または第 8の実施形態において述べた画像処理をさらに行うことにより、図 47に示すような最終的な分類結果を得る（図 41のステップ S247)。

[0300] なお、本実施形態における、泡クラスに分類される領域の検出は、前述したような検出に限るものではなぐ例えば、以降に記すようなものであっても良い。

[0301] 制御部 9aは、例えば、エッジの形状が歪んで楕円形形状になるような泡に対し、座標 (xt， yt)により示される近傍外周領域 Htを、下記数式（28)に基づいて検出する。

[0302]

Q - β≤[ ( (xo -xt) ²+ (yo -yt) ²) ^{1 2}]≤Q + β · · · (28)

なお、上記数式（28)において、 βは 1以上の整数とし、また、 [ ]はガウス記号を示すものとする。

[0303] 制御部 9aは、上記数式（28)を満たす座標 (xt, yt)を全て検出した後、検出した各近傍外周領域各々における近似 gradientベクトル Ygiと、各座標（xt, yt)及び座標 (xo, yo)を結ぶ方向ベクトル dlとを算出する。そして、制御部 9aは、 slの大きさ I Vgt Iの値が閾値 (本実施形態においては 0. 4)以上であるか否かを判定する。制御部 9aは、 I Vgt Iの値が閾値以上であることを検出すると、内積の公式に基づき、近似 gradientベクトル i及び方向ベクトルがなす角度 Θ tについて、上記数式（27)により cos Θ tの値を算出する。

[0304] 制御部 9aは、上記数式（27)を用いた cos Θ tの算出結果に基づき、 | cos Θ t |の値が 0. 7より大きいことを検出すると、一の矩形領域 R〇を中心とした放射状の gradi entベクトルが近傍外周領域 Htに存在すると判断する。さらに、制御部 9aは、放射状の gradientベクトルが存在すると判断した近傍外周領域を Htlとし、また、それ以外の近傍外周領域を HtOとして二値化した後、 Htlとして検出された領域に対して細線化処理を行う。その後、制御部 9aは、細線化処理を行った後においても Htlとして残った領域数を数える。制御部 9aは、前記領域数が L1個である場合、領域数 L1と、上記数式 (26)を用いることにより検出した近傍外周領域数 Tとから L1/Tの値を算出する。そして、制御部 9aは、前記 L1/Tの値に基づき、前記 L1/Tの値が閾値（例えば 0. 7)以上であれば、一の矩形領域 ROに、歪んだエッジの形状を有する略円形形状の泡の中央部が存在すると判断する。

[0305] また、前述した処理において、制御部 9aは、領域 ROを中心に、 0° 力ら 360° までの間において、角度 φずつ方向を変化させつつ、距離（Q— ）から距離（Q + β )までの範囲において、放射状の gradientベクトルを有する近傍外周領域を検出するような処理を行っても良い。この場合、制御部 9aは、放射状の gradientベクトルを有する近傍外周領域が存在すると判定した方向数を Sとし、また、近傍外周領域数 T を [360/ φ ]個とした後、 SZTの値を算出する。そして、制御部 9aは、前記 S/Tの値に基づき、前記 SZTの値が閾値 (例えば 0. 7)以上であれば、一の矩形領域 R〇に泡の中央部が存在すると判断する。

[0306] なお、本実施形態において、制御部 9aが泡クラスに分類される領域を検出する際に用いるベクトルは、近似 gradientベクトルに限るものではなぐ例えば、平均 gradie ntベタトノレであつても良い。

[0307] 以上に述べたように、本実施形態によれば、第 7の実施形態において述べた、カブセル型内視鏡装置 1を用いた観察における観察効率の向上をはかることができるとレ、う効果が得られると共に、色調情報及びテクスチャ情報から構成される特徴量による分類が難しい場合においても、端末装置 7に入力される画像における泡クラスの領域の分類を精度良く行うことができる。

[0308] また、本実施形態によれば、構造的に明確な特徴を有する泡および絨毛に対し、端末装置 7に入力される画像に基づく母数の算出を予め行うことにより、泡クラスおよび絨毛クラスの領域の分類をさらに精度良く行うことができる。

[0309] なお、本発明における第 7の実施形態から第 9の実施形態においては、画像処理の適用対象としてカプセル型内視鏡 3による撮像画像を用いた力例えば、カプセル型内視鏡 3とは異なる構成を有する内視鏡が撮像した像の画像に対して該画像処理方法を用いた場合においても、同様の処理結果を得ることができる。

[0310] また、本発明における第 7の実施形態から第 9の実施形態においては、色調情報及びテクスチャ情報に基づく 5つの値を、特徴量を構成する値として使用した力この特徴量を構成する値は、ユーザの用途等に応じ、適宜変更または追加することが可能である。

[0311] また、本発明における第 7の実施形態から第 9の実施形態においては、出血または発赤等の病変部位の検出を行う画像処理と組み合わせて用いられることにより、病変部位の検出結果が生体粘膜表面上から得られたものであるか否力を判定でき、その結果、病変部位の検出精度を高めることができる。

[0312] なお、本発明は、上述した実施形態に限定されるものではなぐ発明の趣旨を逸脱しなレ、範囲内におレ、て種々の変更や応用が可能であることは勿論である。

[0313] 本出願は、 2005年 4月 13曰に曰本国に出願された、特願 2005— 115960号及び特願 2005— 115961号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims

請求の範囲

[1] 複数の色信号力なる医用画像を入力する画像入力部と、

前記入力された医用画像が生体粘膜を十分に撮像したか否かを判定する判定部と、

前記判定部における判定結果に基づき前記医用画像の表示または記憶の少なくとも 1つを制御する制御部と、

を備えたことを特徴とする画像処理装置。

[2] さらに、前記医用画像を複数の領域に分割する画像分割部と、

前記医用画像の前記複数の領域各々における特徴量を算出する特徴量算出部と前記特徴量に基づき、前記複数の領域各々が複数のクラスのいずれに属するかを識別するとともに、該識別結果により前記複数の領域各々を分類する領域分類部と、前記領域分類部による分類結果に基づいて、前記複数のクラスの内、所定のクラスに分類された領域群が前記複数の領域に占める割合を算出する分類判定値算出部と、

前記分類判定値算出部により算出された前記割合と、前記割合に関する所定の閾値とに基づき、前記所定のクラスに分類された前記領域群を有する前記画像を分類する画像分類部と、

を具備し、

前記判定部は、前記画像分類部の分類結果に基づき、前記割合が所定の閾値以下である場合に、前記医用画像を、生体粘膜を十分に撮像していない画像であると判定し、前記割合が所定の閾値より大きい場合に、前記医用画像を、生体粘膜を十分に撮像した画像であると判定することを特徴とする請求項 1に記載の画像処理装置。

[3] 前記制御部は、前記判定部により生体粘膜を十分に撮像していないと判定された前記医用画像を表示しないように制御することを特徴とする請求項 2に記載の画像処理装置。

[4] 前記制御部は、前記判定部により生体粘膜を十分に撮像していないと判定された前記医用画像を記憶しないように制御することを特徴とする請求項 2に記載の画像観察装置。

[5] 前記制御部は、前記判定部により生体粘膜を十分に撮像していないと判定された前記医用画像を記憶しないように制御することを特徴とする請求項 3に記載の画像観察装置。

[6] さらに、前記判定部により生体粘膜を十分に撮像していないと判定された前記医用画像を削除する画像削除部を具備することを特徴とする請求項 2に記載の画像処理装置。

[7] さらに、前記判定部により生体粘膜を十分に撮像していないと判定された前記医用画像を削除する画像削除部を具備することを特徴とする請求項 3に記載の画像処理装置。

[8] さらに、前記判定部により生体粘膜を十分に撮像していないと判定された前記医用画像を削除する画像削除部を具備することを特徴とする請求項 4に記載の画像処理装置。

[9] さらに、前記判定部により生体粘膜を十分に撮像していないと判定された前記医用画像を削除する画像削除部を具備することを特徴とする請求項 5に記載の画像処理装置。

[10] 前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする請求項 2に記載の画像処理装置。

[11] 複数の色信号からなる複数の医用画像を入力する画像入力部と、

前記入力された医用画像に対し、複数の領域を設定する領域設定部と、前記複数の領域の中力病変の存在が疑われる領域を検出する検出部と、前記領域設定部により設定された前記複数の複数の領域が生体粘膜を撮像した領域であるか否かを判定する領域判定部と、

前記領域判定部における判定結果に基づき、前記検出部による検出結果が正しいか否かを判定する検出結果判定部と、

を備えたことを特徴とする画像処理装置。

[12] さらに、前記医用画像の前記複数の領域各々における特徴量を算出する特徴量算出部と、

前記特徴量に基づき、前記複数の領域を、生体粘膜に関するクラスと非生体粘膜に関するクラスを含む複数のクラスのいずれかに各々分類する領域分類部と、前記医用画像の緑成分の濃度値に基づき、前記複数の領域においてエッジを有する領域を検出するエッジ検出部と、

前記画像の赤成分の濃度値に基づき、前記エッジを有する領域が出血部位を含む領域であるか否力、を判定する出血部位判定部と、

前記出血部位判定部の判定結果に基づき、前記領域分類部の分類結果が正しいか否かを判定する分類結果判定部と、

を具備し、

前記検出部は、前記出血部位を含む領域を病変の存在が疑われる領域として検出することを特徴とする請求項 11に記載の画像処理装置。

[13] 前記領域判定部は、前記領域分類部の分類結果に基づき、一の領域が生体粘膜に関するクラスに分類された場合に、該一の領域を、生体粘膜を撮像した領域であると判定することを特徴とする請求項 12に記載の画像処理装置。

[14] 前記検出結果判定部は、前記検出部の検出結果と、前記領域判定部の判定結果に基づき、前記病変の存在が疑われる領域が、前記生体粘膜を撮像した領域である場合に、前記検出部の検出結果を正しいと判定することを特徴とする請求項 13に記載の画像処理装置。

[15] 前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする請求項 12に記載の画像処理装置。

[16] 時間的に連続して撮像された複数の医用画像を入力する画像入力部と、

前記医用画像に複数の領域を設定する領域設定部と、

前記領域設定部により設定された前記複数の領域における撮像対象を判定する判定部と、

前記判定部の判定結果に基づき、前記医用画像に撮像されている臓器を特定する特定部と、

前記特定部における特定結果を表示する特定結果表示部と、を備えたことを特徴とする画像処理装置。

[17] さらに、前記医用画像を複数の領域に分割する画像分割部と、

を具備し、

前記特定部は、前記画像分類部の分類結果に基づき、前記医用画像に撮像されている臓器を特定することを特徴とする請求項 16に記載の画像処理装置。

[18] 前記複数のクラスは、胃粘膜クラスと、絨毛クラスと、便クラスとを少なくとも有することを特徴とする請求項 17に記載の画像処理装置。

[19] 前記所定のクラスが胃粘膜クラスである場合、前記特定部は、前記医用画像に撮像されている臓器が胃であると判定することを特徴とする請求項 18に記載の画像処理装置。

[20] 前記所定のクラスが絨毛クラスである場合、前記特定部は、前記医用画像に撮像されている臓器が小腸であると判定することを特徴とする請求項 18に記載の画像処理装置。

[21] 前記所定のクラスが便クラスである場合、前記特定部は、前記医用画像に撮像されている臓器が大腸であると判定することを特徴とする請求項 18に記載の画像処理装置。

[22] 前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする請求項 17に記載の画像処理装置。

[23] 撮像機能を有する医療機器により撮像された画像に基づく画像信号を入力する画像信号入力部と、

前記画像信号入力部において入力した画像信号に基づいて当該医療機器により撮像された画像を複数の領域に分割する画像分割部と、

前記画像分割部により分割された複数の領域各々における特徴量を算出する特徴量算出部と、

前記特徴量算出部において算出された特徴量と、所定の第 1の分類基準とに基づき、前記複数の領域を複数のクラスのいずれかに各々分類する第 1の領域分類部と前記特徴量と、前記第 1の領域分類部による分類結果とに基づいて第 2の分類基準を設定する分類基準設定部と、

前記特徴量と、前記第 2の分類基準とに基づき、前記複数の領域を前記複数のクラスのいずれかに各々分類する第 2の領域分類部と、

を具備したことを特徴とする画像処理装置。

[24] 前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする請求項 23に記載の画像処理装置。

[25] 前記第 1の領域分類部は、前記第 1の分類基準を定める母数を用いた統計的識別器を用いて前記複数の領域を前記複数のクラスのいずれかに各々分類し、前記第 2 の領域分類部は、前記第 2の分類基準を定める母数を用いた統計的識別器を用いて前記複数の領域を前記複数のクラスのレ、ずれかに各々分類することを特徴とする請求項 23に記載の画像処理装置。

[26] 撮像機能を有する医療機器により撮像された画像に基づく画像信号を入力する画像信号入力部と、

前記特徴量算出部において算出された特徴量と、所定の第 1の分類基準とに基づき、前記複数の領域を複数のクラスのいずれかに各々分類する第 1の領域分類部と前記複数の領域のうち、一の領域の前記第 1の領域分類部による分類結果を、前記一の領域の近傍に位置する領域の前記第 1の領域分類部による分類結果に基づレ、た評価値を算出することにより評価する評価値算出部と、

前記評価値算出部における評価値に基づき、前記一の領域を前記複数のクラスのいずれかに分類する第 2の領域分類部と、

を具備したことを特徴とする画像処理装置。

[27] 前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする請求項 26に記載の画像処理装置。

[28] 撮像機能を有する医療機器により撮像された画像に基づく画像信号を入力する画像信号入力部と、

前記複数の領域のうち、一の領域を注目領域として設定する注目領域設定部と、前記注目領域から所定の距離だけ離れた領域である近傍外周領域を検出する近傍外周領域検出部と、

前記近傍外周領域において、前記特徴量に基づき、略円形形状の輪郭部の少なくとも一部が存在することを検出する略円形形状検出部と、

前記略円形形状検出部により、前記略円形形状が検出された場合、前記注目領域を抽出する領域抽出部と、

を具備したことを特徴とする画像処理装置。

[29] 前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする請求項 28に記載の画像処理装置。

[30] 前記略円形形状検出部は、前記近傍外周領域のうち、前記略円形形状の輪郭部の少なくとも一部が存在する領域の割合が所定の閾値以上であると判断した場合に略円形形状を検出し、前記領域抽出部は、前記注目領域を前記略円形形状の中央部が存在する領域として抽出することを特徴とする請求項 28に記載の画像処理装置

[31] 前記略円形形状は、泡であることを特徴とする請求項 29に記載の画像処理装置。

[32] 前記略円形形状は、泡であることを特徴とする請求項 30に記載の画像処理装置。

[33] 撮像機能を有する医療機器により撮像された画像に基づく画像信号を入力する画像信号入力部と、

前記特徴量算出部において算出された特徴量と、所定の分類基準とに基づき、前記複数の領域を複数のクラスのいずれかに各々分類する領域分類部と、

前記複数のクラスのうち、構造的に明確な特徴を有するクラスとして予め設定された所定のクラスに分類される領域を、前記複数の領域力検出する領域検出部と、前記領域検出部において検出された前記領域が有する前記特徴量に基づき、前記領域分類部における前記所定の分類基準を設定する分類基準設定部と、を具備したことを特徴とする画像処理装置。

[34] 前記所定のクラスは、泡クラスまたは絨毛クラスのうち、少なくとも 1つのクラスであることを特徴とする請求項 33に記載の画像処理装置。

[35] 前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする請求項 33に記載の画像処理装置。

[36] 撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、前記画像を複数の領域に分割する領域分割ステップと、

前記複数の領域各々から特徴量を算出する特徴量算出ステップと、

前記特徴量に基づき、前記複数の領域各々を、生体粘膜表面を撮像した領域または非生体粘膜を撮像した領域のいずれかに分類する領域分類ステップと、

を有することを特徴とする画像処理方法。

[37] 撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、前記画像を複数の領域に分割する領域分割ステップと、

前記特徴量に基づき、前記複数の領域各々を、複数の異なるクラスのうち、いずれか一のクラスに分類する領域分類ステップと、を有する画像処理方法であって、前記領域分類ステップは、生体粘膜表面を撮像した領域と、非生体粘膜を撮像した領域と、前記生体粘膜表面及び前記非生体粘膜のどちらにも該当しない領域とのいずれかに前記複数の領域各々を分類することを特徴とする画像処理方法。

[38] 撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、前記画像を複数の領域に分割する領域分割ステップと、

前記特徴量に基づき、前記複数の領域各々を、複数の異なるクラスのうち、いずれか一のクラスに分類する領域分類ステップと、

前記複数の異なるクラスにおいて、前記画像上に混在することを許可しない排他クラスの組み合わせを設定する排他クラス設定ステップと、

前記排他クラスの組み合わせのうち、いずれのクラスを優先するかを設定する優先クラス設定ステップと、を有する画像処理方法であって、

前記領域分類ステップは、前記排他クラス設定ステップで設定された排他クラスの組み合わせのいずれかのクラスに分類された領域が存在する場合、前記領域を前記優先クラス設定ステップにおいて設定されたクラスに分類することを特徴とする画像処理方法。

[39] さらに、前記領域分類ステップによる分類結果に基づいて、前記排他クラスの組み合わせに含まれるクラスのうち、一のクラスに分類された領域群が前記複数の領域に占める割合を算出する分類判定値算出ステップを具備し、

前記優先クラス設定ステップは、前記分類判定値算出ステップにより算出された前記割合と、前記割合に関する所定の閾値とに基づく比較を行うことにより、前記排他クラスの組み合わせのうち、いずれのクラスを優先するかを設定することを特徴とする請求項 38に記載の画像処理方法。

[40] 前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする請求項 36に記載の画像処理装置。

[41] 前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする請求項 37に記載の画像処理装置。

[42] 前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする請求項 38に記載の画像処理装置。

[43] さらに、前記領域分類ステップにおける前記複数の領域各々の分類結果に基づき

、前記画像が生体粘膜表面を撮像したか否かを判定する判定ステップを有することを特徴とする請求項 36に記載の画像処理方法。

[44] さらに、前記領域分類ステップにおける前記複数の領域各々の分類結果に基づき

、前記画像が生体粘膜表面を撮像したか否かを判定する判定ステップを有することを特徴とする請求項 37に記載の画像処理方法。

[45] さらに、前記領域分類ステップにおける前記複数の領域各々の分類結果に基づき

、前記画像が生体粘膜表面を撮像したか否かを判定する判定ステップを有することを特徴とする請求項 39に記載の画像処理方法。

[46] さらに、前記領域分類ステップによる分類結果に基づいて、前記複数の異なるクラスの内、所定のクラスに分類された領域群が前記複数の領域に占める割合を算出する分類判定値算出ステップと、

前記分類判定値算出ステップにより算出された前記割合と、前記割合に関する所定の閾値とに基づき、前記所定のクラスに分類された前記領域群を有する前記画像を分類する画像分類ステップと、

を具備し、

前記判定ステップは、前記画像分類ステップの分類結果に基づき、前記割合が所定の閾値以下である場合に、前記画像を、生体粘膜を十分に撮像していない画像であると判定し、前記割合が所定の閾値より大きい場合に、前記画像を、生体粘膜を十分に撮像した画像であると判定することを特徴とする請求項 43に記載の画像処理方法。

[47] さらに、前記領域分類ステップによる分類結果に基づいて、前記複数の異なるクラスの内、所定のクラスに分類された領域群が前記複数の領域に占める割合を算出する分類判定値算出ステップと、

を具備し、

前記判定ステップは、前記画像分類ステップの分類結果に基づき、前記割合が所定の閾値以下である場合に、前記画像を、生体粘膜を十分に撮像していない画像であると判定し、前記割合が所定の閾値より大きい場合に、前記画像を、生体粘膜を十分に撮像した画像であると判定することを特徴とする請求項 44に記載の画像処理方法。

[48] さらに、前記領域分類ステップによる分類結果に基づいて、前記複数の異なるクラスの内、所定のクラスに分類された領域群が前記複数の領域に占める割合を算出する分類判定値算出ステップと、

を具備し、

前記判定ステップは、前記画像分類ステップの分類結果に基づき、前記割合が所定の閾値以下である場合に、前記画像を、生体粘膜を十分に撮像していない画像であると判定し、前記割合が所定の閾値より大きい場合に、前記画像を、生体粘膜を十分に撮像した画像であると判定することを特徴とする請求項 45に記載の画像処理方法。

[49] 撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、前記画像を複数の領域に分割する領域分割ステップと、

前記複数の領域各々における特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記複数の領域各々が複数のクラスのいずれに属するかを識別するとともに、該識別結果により前記複数の領域各々を分類する領域分類ステップと、

前記領域分類ステップにおける分類結果に基づき、前記医療機器が撮像した臓器を推定する撮像臓器推定ステップと、

を有することを特徴とする画像処理方法。

[50] さらに、前記領域分類ステップによる分類結果に基づいて、前記複数のクラスの内、所定のクラスに分類された領域群が前記複数の領域に占める割合を算出する分類判定値算出ステップと、

を具備し、

前記撮像臓器推定ステップは、前記画像分類ステップの分類結果に基づき、前記画像が撮像した臓器を特定することを特徴とする請求項 49に記載の画像処理方法。

[51] 前記複数のクラスは、胃粘膜クラスと、絨毛クラスと、便クラスとを少なくとも有することを特徴とする請求項 50に記載の画像処理方法。

[52] 前記所定のクラスが胃粘膜クラスである場合、前記特定部は、前記画像に撮像されている臓器が胃であると判定することを特徴とする請求項 51に記載の画像処理方法

[53] 前記所定のクラスが絨毛クラスである場合、前記特定部は、前記画像に撮像されてレ、る臓器が小腸であると判定することを特徴とする請求項 51に記載の画像処理方法

[54] 前記所定のクラスが便クラスである場合、前記特定部は、前記画像に撮像されている臓器が大腸であると判定することを特徴とする請求項 51に記載の画像処理方法。

[55] 前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする請求項 49に記載の画像処理装置。

[56] 撮像機能を有する医療機器により撮像された画像に応じた画像信号を入力する画像信号入力部において入力した画像信号に基づき、該医療機器により撮像された前記画像を複数の領域に分割する画像分割ステップと、前記画像分割ステップにより分割された複数の領域各々における特徴量を算出する特徴量算出ステップと、

前記特徴量算出ステップにおいて算出された特徴量と、所定の第 1の分類基準とに基づき、前記複数の領域を複数のクラスのいずれかに各々分類する第 1の領域分類ステップと、

前記特徴量と、前記第 1の領域分類ステップによる分類結果とに基づいて第 2の分類基準を設定する分類基準設定ステップと、

前記特徴量と、前記第 2の分類基準とに基づき、前記複数の領域を前記複数のクラスのレ、ずれかに各々分類する第 2の領域分類ステップと、

を具備したことを特徴とする画像処理方法。

[57] 前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする請求項 56に記載の画像処理方法。

[58] 前記第 1の領域分類ステップは、前記第 1の分類基準を定める母数を用いた統計的識別器を用いて前記複数の領域を前記複数のクラスのいずれかに各々分類し、前記第 2の領域分類ステップは、前記第 2の分類基準を定める母数を用いた統計的識別器を用いて前記複数の領域を前記複数のクラスのいずれかに各々分類することを特徴とする請求項 56に記載の画像処理方法。

[59] 撮像機能を有する医療機器により撮像された画像に応じた画像信号を入力する画像信号入力部において入力した画像信号に基づき、該医療機器により撮像された前記画像を複数の領域に分割する画像分割ステップと、

前記画像分割ステップにより分割された複数の領域各々における特徴量を算出する特徴量算出ステップと、

前記複数の領域のうち、一の領域の前記第 1の領域分類ステップによる分類結果を、前記一の領域の近傍に位置する領域の前記第 1の領域分類ステップによる分類結果に基づいた評価値を算出することにより評価する評価値算出ステップと、前記評価値算出ステップにおける評価値に基づき、前記一の領域を前記複数のクラスのいずれかに分類する第 2の領域分類ステップと、

を具備したことを特徴とする画像処理方法。

[60] 前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする請求項 59に記載の画像処理方法。

[61] 撮像機能を有する医療機器により撮像された画像に応じた画像信号を入力する画像信号入力部において入力した画像信号に基づき、該医療機器により撮像された前記画像を複数の領域に分割する画像分割ステップと、

前記複数の領域のうち、一の領域を注目領域として設定する注目領域設定ステツプと、

前記注目領域から所定の距離だけ離れた領域である近傍外周領域を検出する近傍外周領域検出ステップと、

前記近傍外周領域において、前記特徴量に基づき、略円形形状の輪郭部の少なくとも一部が存在することを検出する略円形形状検出ステップと、

前記略円形形状検出ステップにより、前記略円形形状が検出された場合、前記注目領域を抽出する領域抽出ステップと、

を具備したことを特徴とする画像処理方法。

[62] 前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする請求項 61に記載の画像処理方法。

[63] 前記略円形形状検出ステップは、前記近傍外周領域のうち、前記略円形形状の輪郭部の少なくとも一部が存在する領域の割合が所定の閾値以上であると判断した場合に略円形形状を検出し、前記領域抽出ステップは、前記注目領域を前記略円形形状の中央部が存在する領域として抽出することを特徴とする請求項 61に記載の画像処理方法。

[64] 前記略円形形状は、泡であることを特徴とする請求項 61に記載の画像処理方法。

[65] 前記略円形形状は、泡であることを特徴とする請求項 63に記載の画像処理方法。

[66] 撮像機能を有する医療機器により撮像された画像に応じた画像信号を入力する画像信号入力部において入力した画像信号に基づき、該医療機器により撮像された前記画像を複数の領域に分割する画像分割ステップと、

前記特徴量算出ステップにおいて算出された特徴量と、所定の分類基準とに基づき、前記複数の領域を複数のクラスのレ、ずれかに各々分類する領域分類ステップと、前記複数のクラスのうち、構造的に明確な特徴を有するクラスとして予め設定された所定のクラスに分類される領域を、前記複数の領域力検出する領域検出ステップと前記領域検出ステップにおいて検出された前記領域が有する前記特徴量に基づき、前記領域分類ステップにおける前記所定の分類基準を設定する分類基準設定ステツプと、

を具備したことを特徴とする画像処理方法。

[67] 前記特徴量は、色調に関する特徴量と、テクスチャに関する特徴量とのうち、少なくとも一方の特徴量を有することを特徴とする請求項 66に記載の画像処理装置。

[68] 前記所定のクラスは、泡クラスまたは絨毛クラスのうち、少なくとも 1つのクラスであることを特徴とする請求項 66に記載の画像処理方法。