JP4624841B2 - 画像処理装置および当該画像処理装置における画像処理方法 - Google Patents

画像処理装置および当該画像処理装置における画像処理方法 Download PDF

Info

Publication number
JP4624841B2
JP4624841B2 JP2005115960A JP2005115960A JP4624841B2 JP 4624841 B2 JP4624841 B2 JP 4624841B2 JP 2005115960 A JP2005115960 A JP 2005115960A JP 2005115960 A JP2005115960 A JP 2005115960A JP 4624841 B2 JP4624841 B2 JP 4624841B2
Authority
JP
Japan
Prior art keywords
image
region
classification
image processing
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005115960A
Other languages
English (en)
Other versions
JP2006288878A (ja
Inventor
博一 西村
徹緒 野波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2005115960A priority Critical patent/JP4624841B2/ja
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to CN200680010400.4A priority patent/CN101150977B/zh
Priority to PCT/JP2006/305022 priority patent/WO2006112227A1/ja
Priority to US11/666,556 priority patent/US7953261B2/en
Priority to KR1020077023403A priority patent/KR100970295B1/ko
Priority to CN2010105160418A priority patent/CN101966071B/zh
Priority to EP11008715.2A priority patent/EP2415389B1/en
Priority to EP06729056.9A priority patent/EP1870020B1/en
Publication of JP2006288878A publication Critical patent/JP2006288878A/ja
Application granted granted Critical
Publication of JP4624841B2 publication Critical patent/JP4624841B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00016Operational features of endoscopes characterised by signal transmission using wireless means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Description

本発明は、画像処理装置および当該画像処理装置における画像処理方法に関し、特に、生体粘膜表面の像が良好に撮像されていない画像を除外することができる画像処理装置および当該画像処理装置における画像処理方法に関するものである。
従来、医療分野において、X線、CT、MRI、超音波観測装置及び内視鏡装置等の画像撮像機器を用いた観察が広く行われている。このような画像撮像機器のうち、内視鏡装置は、例えば、生体としての体腔内に挿入される細長の挿入部を有し、該挿入部の先端部に配置された対物光学系により結像した体腔内の像を固体撮像素子等の撮像手段により撮像して撮像信号として出力し、該撮像信号に基づいてモニタ等の表示手段に体腔内の像の画像を表示するという作用及び構成を有する。そして、ユーザは、モニタ等の表示手段に表示された体腔内の像の画像に基づき、例えば、体腔内における臓器等の観察を行う。また、内視鏡装置は、消化管粘膜の像を直接的に撮像することが可能である。そのため、ユーザは、例えば、粘膜の色調、病変の形状及び粘膜表面の微細な構造等の様々な所見を総合的に観察することができる。
そして、近年、前述したような内視鏡装置と略同様の有用性が期待できる画像撮像機器として、例えば、カプセル型内視鏡装置が提案されている。一般的に、カプセル型内視鏡装置は、被検者が口から飲み込むことにより体腔内に配置され、撮像した該体腔内の像を撮像信号として外部に送信するカプセル型内視鏡と、送信された該撮像信号を体腔外で受信した後、受信した該撮像信号を蓄積するレシーバと、レシーバに蓄積された撮像信号に基づく体腔内の像の画像を観察するための観察装置とから構成される。
カプセル型内視鏡装置を構成するカプセル型内視鏡は、消化管の蠕動運動により進むため、例えば、口から体腔内に入れられた後、肛門から排出されるまで数時間程度の時間がかかることが一般的である。そして、カプセル型内視鏡は、体腔内に入れられた後、排出されるまでの間、レシーバに対して撮像信号を略常時出力し続けるため、例えば、数時間分の動画像における、レシーバに蓄積されたフレーム画像としての静止画像の枚数は膨大なものとなる。そのため、ユーザによる観察の効率化という点において、例えば、蓄積された画像のうち、出血部位等の病変部位が含まれる所定の画像を検出するような画像処理方法が行われた上において、該所定の画像以外の画像を表示または保存しないという処理が行われることにより、画像のデータ量が削減されるような提案が望まれている。
前述したような画像処理方法としては、例えば、特許文献1に記載されているようなものがある。特許文献1に記載されている、生体内での比色分析の異常を検出するための方法は、正常粘膜と出血部位との色調の違いに着目し、色調を特徴量と設定した特徴空間における各平均値からの距離に基づき、画像の分割領域毎に出血部位の検出を行う方法、すなわち、病変部位としての出血部位が含まれる所定の画像を検出するための方法を有する画像処理方法である。
PCT WO 02/073507 A2号公報
しかし、特許文献1に記載されている画像処理方法においては、以下に記すような課題がある。
一般に、消化管においては、常に生体粘膜表面の像のみの撮像が行われている訳ではなく、例えば、便、泡、粘液または食物残渣等の異物の像と、生体粘膜表面の像とが混在した状態において撮像が行われている。そのため、前述したような異物の存在を考慮していない特許文献1に記載されている画像処理方法においては、例えば、該異物により正常粘膜を出血部位と誤検出してしまう可能性、及び該異物の像が大部分を占めるような画像を検出する可能性が考えられる。その結果、ユーザによる観察の効率化をはかることができないという課題が生じている。
本発明は、前述した点に鑑みてなされたものであり、例えば、生体粘膜表面の像としての胃粘膜及び絨毛の像と、異物の像としての便及び泡の像とを画像の小領域毎に識別して分類することにより、画像の小領域の多くを異物の像が占めるような、生体粘膜表面の像が良好に撮像されていない画像を、観察不要の画像として容易に除外することができ、さらに、前記分類結果に基づいて撮像された臓器を特定することができ、その結果、ユーザによる観察の効率化をはかることのできる画像処理装置および当該画像処理装置における画像処理方法を提供することを目的としている。
また、本発明は、生体粘膜表面の像として分類された各々の領域に対し、さらに、例えば、前記各々の領域が有する特徴量に基づき、正常な粘膜の像と病変部位の像と分類するような画像処理方法を用いることにより、病変部位の検出精度を高めることができる画像処理装置および当該画像処理装置における画像処理方法を提供することを目的としている。
本発明における第1の画像処理装置は、撮像機能を有する医療機器で撮像された画像に基づく画像信号を入力する画像信号入力手段と、前記画像信号入力手段において入力した画像信号に基づいて当該医療機器で撮像された画像を複数の領域に分割する画像分割手段と、前記画像分割手段により分割された複数の領域各々における特徴量を算出する特徴量算出手段と、前記特徴量算出手段において算出された特徴量と、所定の第1の分類基準とに基づき、前記複数の領域を複数のクラスのいずれかに各々分類する第1の領域分類手段と、前記特徴量と、前記第1の領域分類手段による分類結果とに基づいて第2の分類基準を設定する第2の分類基準設定手段と、前記特徴量と、前記第2の分類基準とに基づき、前記複数の領域を前記複数のクラスのいずれかに各々分類する第2の領域分類手段と、を具備したことを特徴とする。
本発明における第2の画像処理装置は、前記第1の画像処理装置において、前記第1の領域分類手段は、前記第1の分類基準を定める母数を用いた統計的識別器を用いて前記複数の領域を複数のクラスのいずれかに各々分類し、前記第2の領域分類手段は、前記第2の分類基準を定める母数を用いた統計的識別器を用いて前記複数の領域を複数のクラスのいずれかに各々分類することを特徴とする。
本発明における第3の画像処理装置は、撮像機能を有する医療機器で撮像された画像に基づく画像信号を入力する画像信号入力手段と、前記画像信号入力手段において入力した画像信号に基づいて当該医療機器で撮像された画像を複数の領域に分割する画像分割手段と、前記画像分割手段により分割された複数の領域各々における特徴量を算出する特徴量算出手段と、前記特徴量算出手段において算出された特徴量と、所定の第1の分類基準とに基づき、前記複数の領域を複数のクラスのいずれかに各々分類する第1の領域分類手段と、前記複数の領域のうち、一の領域の前記第1の領域分類手段による分類結果を、前記一の領域の近傍に位置する領域の前記第1の領域分類手段による分類結果に基づいた評価値を算出することにより評価する評価値算出手段と、前記評価値算出手段における評価値に基づき、前記一の領域を前記複数のクラスのいずれかに分類する第2の領域分類手段とを具備したことを特徴とする。
本発明における第4の画像処理装置は、撮像機能を有する医療機器で撮像された画像に基づく画像信号を入力する画像信号入力手段と、前記画像信号入力手段において入力した画像信号に基づいて当該医療機器で撮像された画像を複数の領域に分割する画像分割手段と、前記画像分割手段により分割された複数の領域各々における特徴量を算出する特徴量算出手段と、前記複数の領域のうち、一の領域を注目領域として設定する注目領域設定手段と、前記注目領域から所定の距離だけ離れた領域である近傍外周領域を検出する近傍外周領域検出手段と、前記近傍外周領域において、前記特徴量に基づき、略円形形状の輪郭部の少なくとも一部が存在することを検出する略円形形状検出手段と、前記略円形形状検出手段により、前記略円形形状が検出された場合、前記注目領域を抽出する抽出手段とを具備したことを特徴とする。
本発明における第5の画像処理装置は、前記第4の画像処理装置において、前記略円形形状検出手段は、前記近傍外周領域のうち、前記略円形形状の輪郭部の少なくとも一部が存在する領域の割合が所定の閾値以上であると判断した場合に略円形形状を検出し、前記抽出手段は、前記注目領域を前記略円形形状の中央部が存在する領域として抽出することを特徴とする。
本発明における第6の画像処理装置は、前記第4または第5の画像処理装置において、前記略円形形状は、泡であることを特徴とする。
本発明における第7の画像処理装置は、撮像機能を有する医療機器で撮像された画像に基づく画像信号を入力する画像信号入力手段と、前記画像信号入力手段において入力した画像信号に基づいて当該医療機器で撮像された画像を複数の領域に分割する画像分割手段と、前記画像分割手段により分割された複数の領域各々における特徴量を算出する特徴量算出手段と、前記特徴量算出手段において算出された特徴量と、所定の分類基準とに基づき、前記複数の領域を複数のクラスのいずれかに各々分類する領域分類手段と、前記複数のクラスのうち、構造的に明確な特徴を有する所定のクラスに分類される領域を、前記複数の領域から検出する領域検出手段と、前記領域検出手段において検出された前記領域が有する前記特徴量に基づき、前記領域分類手段における前記所定の分類基準を設定する分類基準設定手段と、を具備したこを特徴とする。
本発明における第8の画像処理装置は、前記第7の画像処理装置において、前記所定のクラスは、泡クラスまたは絨毛クラスのうち、少なくとも1つのクラスであることを特徴とする。
本発明における第1の画像処理方法は、撮像機能を有する医療機器で撮像された画像に基づく画像信号を入力する画像信号入力手段において入力した画像信号に基づいて当該医療機器で撮像された画像を複数の領域に分割する画像分割ステップと、前記画像分割ステップにより分割された複数の領域各々における特徴量を算出する特徴量算出ステップと、前記特徴量算出ステップにおいて算出された特徴量と、所定の第1の分類基準とに基づき、前記複数の領域を複数のクラスのいずれかに各々分類する第1の領域分類ステップと、前記特徴量と、前記第1の領域分類ステップによる分類結果とに基づいて第2の分類基準を設定する第2の分類基準設定ステップと、前記特徴量と、前記第2の分類基準とに基づき、前記複数の領域を前記複数のクラスのいずれかに各々分類する第2の領域分類ステップと、を有したことを特徴とする。
本発明における第2の画像処理方法は、第1の画像処理方法において、前記第1の領域分類ステップは、前記第1の分類基準を定める母数を用いた統計的識別器を用いて前記複数の領域を複数のクラスのいずれかに各々分類し、前記第2の領域分類ステップは、前記第2の分類基準を定める母数を用いた統計的識別器を用いて前記複数の領域を複数のクラスのいずれかに各々分類することを特徴とする。
本発明における第3の画像処理方法は、撮像機能を有する医療機器で撮像された画像に基づく画像信号を入力する画像信号入力手段において入力した画像信号に基づいて当該医療機器で撮像された画像を複数の領域に分割する画像分割ステップと、前記画像分割ステップにより分割された複数の領域各々における特徴量を算出する特徴量算出ステップと、前記特徴量算出手段において算出された特徴量と、所定の第1の分類基準とに基づき、前記複数の領域を複数のクラスのいずれかに各々分類する第1の領域分類ステップと、前記複数の領域のうち、一の領域の前記第1の領域分類手段による分類結果を、前記一の領域の近傍に位置する領域の前記第1の領域分類手段による分類結果に基づいた評価値を算出することにより評価する評価値算出ステップと、前記評価値算出手段における評価値に基づき、前記一の領域を前記複数のクラスのいずれかに分類する第2の領域分類ステップと、を具備したことを特徴とする。
本発明における第4の画像処理方法は、撮像機能を有する医療機器で撮像された画像に基づく画像信号を入力する画像信号入力手段において入力した画像信号に基づいて当該医療機器で撮像された画像を複数の領域に分割する画像分割ステップと、前記画像分割ステップにより分割された複数の領域各々における特徴量を算出する特徴量算出ステップと、 前記複数の領域のうち、一の領域を注目領域として設定する注目領域設定ステップと、前記注目領域から所定の距離だけ離れた領域である近傍外周領域を検出する近傍外周領域検出ステップと、前記近傍外周領域において、前記特徴量に基づき、略円形形状の輪郭部の少なくとも一部が存在することを検出する略円形形状検出ステップと、前記略円形形状検出手段により、前記略円形形状が検出された場合、前記注目領域を抽出する抽出ステップとを具備したことを特徴とする。
本発明における第5の画像処理方法は、前記第4の画像処理方法において、前記略円形形状検出ステップは、前記近傍外周領域のうち、前記略円形形状の輪郭部の少なくとも一部が存在する領域の割合が所定の閾値以上であると判断した場合に略円形形状を検出し、前記抽出ステップは、前記注目領域を前記略円形形状の中央部が存在する領域として抽出することを特徴とする。
本発明における第6の画像処理方法は、前記第4または第5の画像処理方法において、前記略円形形状は、泡であることを特徴とする。
本発明における第7の画像処理方法は、撮像機能を有する医療機器で撮像された画像に基づく画像信号を入力する画像信号手段において入力した画像信号に基づいて当該医療機器で撮像された画像を複数の領域に分割する画像分割ステップと、前記画像分割ステップにより分割された複数の領域各々における特徴量を算出する特徴量算出ステップと、前記特徴量算出ステップにおいて算出された特徴量と、所定の分類基準とに基づき、前記複数の領域を複数のクラスのいずれかに各々分類する領域分類ステップと、前記複数のクラスのうち、構造的に明確な特徴を有する所定のクラスに分類される領域を、前記複数の領域から検出する領域検出ステップと、前記領域検出ステップにおいて検出された前記領域が有する前記特徴量に基づき、前記領域分類ステップにおける前記所定の分類基準を設定する分類基準設定ステップと、を有したこを特徴とする。
本発明における第8の画像処理方法は、前記第7の画像処理方法において、前記所定のクラスは、泡クラスまたは絨毛クラスのうち、少なくとも1つのクラスであることを特徴とする。
本発明の画像処理装置および当該画像処理装置における画像処理方法によれば、画像の小領域の多くを異物の像が占めるような、生体粘膜表面の像が良好に撮像されていない画像を、観察不要の画像として容易に除外することができ、さらに、前記分類結果に基づいて撮像された臓器を特定することができ、その結果、ユーザによる観察の効率化を図ることができる。
また、本発明の画像処理装置および当該画像処理装置における画像処理方法によれば、生体粘膜表面の像として分類された各々の領域に対し、さらに、例えば、前記各々の領域が有する特徴量に基づき、正常な粘膜の像と病変部位の像と分類するような画像処理方法を用いることにより、病変部位の検出精度を高めることができる。
以下、図面を参照して本発明の実施の形態を説明する。
(第1の実施形態)
図1から図17は、本発明の第1の実施形態に係るものである。図1は、本発明の第1実施形態である画像処理装置および周辺機器の外観を示した外観斜視図である。図2は、本第1実施形態の画像処理装置において処理する所定の画像情報を生成するカプセル型内視鏡の一部を切り取って示した要部拡大断面図である。図3は、本第1実施形態の画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の概略内部構成を示すブロック図である。図4は、本第1実施形態の画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の一使用例を示した図である。図5は、図2に示すカプセル型内視鏡から出力される信号の一例を示したタイミングチャートである。図6は、図2に示すカプセル型内視鏡の位置検出を説明する説明図である。図7は、図3に示すカプセル型内視鏡装置を使用した際におけるアンテナユニットを示した要部拡大断面図である。図8は、図3に示すカプセル型内視鏡装置を使用した際におけるシールドジャケットを説明する説明図である。図9は、図3に示すカプセル型内視鏡装置の外部装置の被検体への装着状態を説明する説明図である。図10は、図2に示すカプセル型内視鏡の電気的な構成を示すブロック図である。図11は、本第1実施形態の画像処理装置における画像処理動作を示すフローチャートである。図12は、本第1実施形態の画像処理装置における画像処理動作を示すフローチャートである。図13は、本第1実施形態の画像処理装置において、入力された画像がm×n個の領域に分割される際の一例を示す図である。図14は、本第1実施形態の画像処理装置において用いられる、教師データを構成する複数の画像のうち、胃粘膜の画像の一例を示す図である。図15は、本第1実施形態の画像処理装置において用いられる、教師データを構成する複数の画像のうち、絨毛の画像の一例を示す図である。図16は、本第1実施形態の画像処理装置において用いられる、教師データを構成する複数の画像のうち、便の画像の一例を示す図である。図17は、本第1実施形態の画像処理装置において用いられる、教師データを構成する複数の画像のうち、泡の画像の一例を示す図である。
本発明の第1の実施形態である画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置1は、図3に示すように、カプセル型内視鏡3、アンテナユニット4及び外部装置5とで主要部が構成されている。
医療機器としてのカプセル型内視鏡3は、詳細は後述するが、被検体である患者2の口から体腔内に飲み込まれることにより体腔内に配置された後、蠕動運動により消化管内を進行する形状に形成され、かつ、内部に体腔内を撮像し、その撮像画像情報を生成する撮像機能と、その撮像画像情報を体外に送信する送信機能とを有している。アンテナユニット4は、詳細は後述するが、患者2の身体表面上に設置され、前記カプセル型内視鏡3から送信される撮像画像情報を受信する複数の受信アンテナ11を有している。外部装置5は、外形が箱形形状に形成されており、詳細は後述するが、前記アンテナユニット4が受信した撮像画像情報の各種処理、撮像画像情報の記録、及び撮像画像情報による撮像画像表示等の機能を有している。この外部装置5の外装の表面に前記撮像画像を表示させる液晶モニタ12と、各種機能の操作指示を行う操作部13とが設けられている。
また、この外部装置5は、駆動電源用の電池の残量に関する警告表示用のLEDと、電源スイッチ等のスイッチからなる操作部13とが外装の表面に設けられている。又、カプセル型内視鏡3の内部には、CPU及びメモリを用いた演算実行部が設けられており、例えば、該演算実行部において、受信及び記録した撮像画像情報に対して後述する画像処理が実行されるような構成であっても良い。
この外部装置5は、患者2の身体に着脱自在に装着されると共に、図1に示すように、クレードル6に装着されることにより、本発明の第1の実施形態である画像処理装置(以下、端末装置と記す)7に着脱自在に接続されるようになっている。この端末装置7は、たとえば、パーソナルコンピュータが用いられ、各種データの処理機能や記憶機能を有する端末本体9と、各種操作処理入力用のキーボード8a及びマウス8bと、及び各種処理結果を表示するディスプレイ8cとを有している。この端末装置7は、基本的機能として、例えば、前記外部装置5に記録されている撮像画像情報をクレードル6を介して取り込み、端末本体9に内蔵されている書換可能なメモリ、或いは端末本体9に着脱自在な書換可能な半導体メモリ等の可搬型メモリに書込記録させ、かつ、その記録した撮像画像情報をディスプレイ8cに表示する画像処理を行うような機能を有している。なお、前記外部装置5に記憶されている撮像画像情報は、前記クレードル6に代えて、USBケーブル等によって端末装置7に取り込まれるようにしても良い。
なお、端末装置7が行う画像処理は、例えば、前記外部装置5から取り込み記録した撮像画像情報から経過時間に応じて表示させる画像を選択する処理、及び後述する画像処理として、端末本体9が有する制御部9aにおいて行われる。制御部9aは、CPU(中央処理装置)等を有し、例えば、前述したような処理を行う場合に、処理結果を一時的に図示しないレジスタ等に保持することができる。
次に、前記カプセル型内視鏡3の外形と内部構造について、図2を用いて説明する。カプセル型内視鏡3は、断面がU字状の外装部材14と、この外装部材14の先端側の開放端に接着剤により水密装着された透明部材により形成された略半球形状のカバー部材14aと有する。そのため、カプセル型内視鏡3の外装は、外装部材14と、カバー部材14aとが接続された状態においては、水密構造かつカプセル形状を有するように形成されている。
この外装部材14とカバー部材14aを有するカプセル形状の内部中空部であって、前記カバー部材14aの半球の円弧の略中央にあたる部分には、カバー部材14aを介して入射された観察部位像を取り込む対物レンズ15がレンズ枠16に収納されて配置されている。この対物レンズ15の結像位置には、撮像素子である電荷結合素子(以降、CCDと記す)17が配置されている。また、前記対物レンズ15を収納するレンズ枠16の周囲には、照明光を発光放射させる4つの白色系のLED18が同一平面上に配置されている(図中には2つのLEDのみを表記している)。前記CCD17の後端側の前記外装部材14の内部中空部には、前記CCD17を駆動制御して光電変換された撮像信号の生成、その撮像信号に所定の信号処理を施して撮像画像信号を生成する撮像処理、及び前記LED18の点灯/非点灯の動作を制御するLED駆動の処理を行う処理回路19と、この処理回路19の撮像処理により生成された撮像画像信号を無線信号に変換して送信する通信処理回路20と、この通信処理回路20からの無線信号を外部に送信する送信アンテナ23と、前記処理回路19と通信処理回路20の駆動用電源を供給する複数のボタン型の電池21とが配置されている。
なお、CCD17、LED18、処理回路19、通信処理回路20及び送信アンテナ23は、図示しない基板上に配置され、それらの基板の間は、図示しないフレキシブル基板にて接続されている。また、前記処理回路19には、後述する画像処理を行うための図示しない演算回路を備えている。つまり、前記カプセル型内視鏡3は、図3に示すように、前記CCD17、LED18及び処理回路19とを有する撮像装置43と、前記通信処理回路20を有する送信器37と、送信アンテナ23とを有する。
次に、前記カプセル型内視鏡3の撮像装置43の詳細構成について、図10を用いて説明する。撮像装置43は、LED18の点灯/非点灯の動作を制御するLEDドライバ18Aと、CCD17の駆動を制御して光電変換された電荷の転送を行う為のCCDドライバ17Aと、前記CCD17から転送された電荷を用いて撮像信号を生成し、かつ、その撮像信号に所定の信号処理を施して撮像画像信号を生成する処理回路19Aと、前記LEDドライバ18A、CCDドライバ17A、処理回路19A、及び送信器37に電池21からの駆動電源を供給するスイッチ部と、前記スイッチ部及びCCDドライバ17Aにタイミング信号を供給するタイミングジェネレータ19Bとからなっている。なお、前記スイッチ部は、電池21から前記LEDドライバ18Aへの電源供給をオン/オフをするスイッチ19Cと、前記CCD17、CCDドライバ17A及び処理回路19Aへの電源供給をオン・オフするスイッチ19Dと、前記送信器37への電源供給をオン/オフするスイッチ19Eとからなっている。また、前記タイミングジェネレータ19Bには、電池21から常時駆動電源が供給されるようになっている。
このような構成を有するカプセル型内視鏡3の撮像装置43においては、スイッチ19Cと、スイッチ19Dと、スイッチ19Eとがオフ状態である場合、タイミングジェネレータ19B以外の各部は非動作状態である。そして、タイミングジェネレータ19Bからタイミング信号が出力されると、前記スイッチ19Dがオンされ、これにより、電池21から電源が供給されたCCD17、CCDドライバ17A及び処理回路19Aは動作状態となる。
前記CCD17の駆動初期時に、CCD17の電子シャッターを動作させて、不要な暗電流を除去した後、タイミングジェネレータ19Bは、スイッチ19CをオンさせてLEDドライバ18Aを駆動させてLED18を点灯させCCD17を露光する。LED18は、CCD17の露光に必要な所定の時間だけ点灯された後、消費電力低減の為に、スイッチ19Cがオフしたタイミングにおいて消灯される。
前記CCD17の露光が行われた前記所定の時間内に蓄えられた電荷は、CCDドライバ17Aの制御により処理回路19Aへ転送される。処理回路19Aは、CCD17から転送された電荷を基に撮像信号を生成し、その撮像信号に所定の信号処理を施して内視鏡画像信号を生成する。処理回路19Aは、例えば、送信器37から送信される信号がアナログ無線方式である場合、CDS出力信号に対して複合同期信号を重畳させたアナログ撮像信号を生成した後、該アナログ撮像信号を内視鏡画像信号として送信器37へ出力する。また、処理回路19Aは、例えば、送信器37から送信される信号がデジタル無線方式である場合、アナログ/デジタルコンバータにより生成したシリアルなデジタル信号に対し、さらにスクランブル等の符号化処理を施したデジタル撮像画像信号を生成し、該デジタル撮像信号を内視鏡画像信号として送信器37へ出力する。
この送信器37は、前記処理回路19Aから供給された内視鏡画像信号である、アナログ撮像画像信号またはデジタル撮像画像信号に対して変調処理を施して送信アンテナ23から外部へ無線送信する。この時、スイッチ19Eは、前記処理回路19Aから撮像画像信号が出力されたタイミングにおいてのみ送信器37に駆動電力が供給されるように、タイミングジェネレータ19Bによりオン/オフされる。
なお、スイッチ19Eは、処理回路19Aから撮像画像信号が出力されてから所定の時間が経過した後に、送信器37に駆動電力が供給されるように制御されても良い。また、スイッチ19Eは、カプセル型内視鏡3に設けられた、図示しないpHセンサーによる所定値のpH値の検出、図示しない湿度センサーによる所定値以上の湿度の検出、図示しない圧力センサーまたは図示しない加速度センサーによる所定値以上の圧力または加速度の検出等の検出結果に基づいてタイミングジェネレータ19Bから出力される信号により、被検体である患者2の体腔内に挿入された際に、送信器37に電源を供給するように制御されるような構成を有していても良い。
なお、前記カプセル型内視鏡2の撮像装置43は、通常毎秒2枚の画像(毎秒2フレーム=2fps)を撮像するものであるが、例えば、食道の検査の場合は、毎秒15〜30枚の画像(15fps〜30fps)を撮像できるようにする。具体的には、カプセル型内視鏡3に、図示しないタイマー回路を設け、このタイマー回路により、例えば、タイマーカウントが所定時間以内においては毎秒当たりの撮像枚数の多い高速撮像とし、所定時間が経過した後は、毎秒当たりの撮像枚数の少ない低速撮像となるように撮像装置43の駆動を制御させる。或いは、カプセル型内視鏡3の電源の投入と共にタイマー回路を作動させて、このタイマー回路により、例えば、患者2が飲み込んだ直後の食道を通過するまでの時間は高速撮像となるように、撮像装置43の駆動を制御させることも可能である。さらに、低速撮像用カプセル型内視鏡と高速撮像用カプセル型内視鏡とを個別に設けて、観察対象部位に応じて使い分けるようにしても良い。
次に、前記患者2の身体表面上に設置されるアンテナユニット4について説明する。図4に示すように、カプセル型内視鏡3を飲み込んで内視鏡検査を行う場合、患者2は、複数の受信アンテナ11からなるアンテナユニット4が設置されたジャケット10を装着する。このアンテナユニット4は、図7に示すように、たとえば、GPSに使用されているパッチアンテナのような単方向の指向性を有する複数の受信アンテナ11を患者2の身体内方向にその指向性を向けて配置する。つまり、カプセル型内視鏡3のカプセル本体3Dは、身体内に留置されるため、その身体内のカプセル本体3Dを取り囲むように前記複数のアンテナ11が配置される。この指向性の高いアンテナ11を使用することにより、身体内のカプセル本体3D以外からの電波による干渉妨害の影響を受けにくくしている。
前記ジャケット10は、図8に示すように、患者2の身体表面に設置する前記アンテナユニット4と、ベルトにより患者2の腰に設置された外部装置5の本体部5Dを覆うように電磁シールド繊維で形成されたシールドジャケット72とからなる。このシールドジャケット72を形成する電磁シールド繊維は、金属繊維、金属化学繊維、硫化銅含有繊維等が用いられている。なお、このシールドジャケット72は、ジャケット形状に限るものではなく、例えば、ベスト、ワンピース形状等であっても良い。
又、前記シールドジャケット72に前記外部装置5を装着する例として、図9に示すように、前記外部装置5の外部本体5Dに鍵穴74を設け、前記シールドジャケット72に設けた鍵75を前記鍵穴74に差し込むことにより、ベルト73に着脱自在に装着できるようにする。或いは、単にシールドジャケット72に図示しないポケットを設け、そのポケットに外部本体5Dを収納したり、又は、外部装置5の外部本体5Dとシールドジャケット72にマジックテープ(登録商標)を設置し、そのマジックテープ(登録商標)により取付固定しても良い。
つまり、アンテナユニット4が配置された身体にシールドジャケット72を装着することにより、アンテナユニット4に対する外部からの電波がシールド遮蔽されて、外部電波による干渉妨害の影響を一層受けにくくしている。
次に、前記アンテナユニット4と外部装置5の構成について、図3を用いて説明する。前記アンテナユニット4は、前記カプセル型内視鏡3の送信アンテナ23から送信された無線信号を受信する複数の受信アンテナ11a〜11dと、このアンテナ11a〜11dを切り替えるアンテナ切換スイッチ45とからなる。前記外部装置5は、アンテナ切換スイッチ45からの無線信号を撮像画像信号に変換及び増幅等の受信処理を行う受信回路33と、この受信回路33から供給された撮像画像信号に所定の信号処理を施して、撮像画像の表示用信号及び撮像画像データを生成する信号処理回路35と、この信号処理回路35により生成された撮像画像表示用信号に基づいて撮像画像を表示する液晶モニタ12と、前記信号処理回路35により生成された撮像画像データを記憶するメモリ47と、前記受信回路33により受信処理された無線信号の大きさにより前記アンテナ切換スイッチ45を制御するアンテナ選択回路46とからなる。
前記アンテナユニット4の図中受信アンテナ11a〜11dとして示した複数の受信アンテナ11は、前記カプセル型内視鏡3の送信アンテナ23から一定の電波強度により送信された無線信号を受信する。この複数の受信アンテナ11a〜11dは、前記外部装置5のアンテナ選択回路46からのアンテナ選択信号によりアンテナ切替スイッチ45が制御されて、前記無線信号を受信する受信アンテナを順次切り替える。つまり、前記アンテナ切替スイッチ45により順次切り替えられた各受信アンテナ11a〜d毎に受信した無線信号が前記受信器33に出力される。この受信器33において、各受信アンテナ11a〜11d毎の無線信号の受信強度を検出して、各受信アンテナ11a〜11dとカプセル型内視鏡3の位置関係を算出すると共に、その無線信号を復調処理して撮像画像信号を信号処理回路35へと出力する。前記アンテナ選択回路46は、前記受信器33からの出力によって制御される。
前記アンテナ選択回路46によるアンテナ切替スイッチ45の動作について説明する。前記カプセル型内視鏡3から送信される無線信号は、図5に示すように、撮像画像信号の1フレームの送信期間に、無線信号の受信強度を示す受信強度信号の送信期間である強度受信期間と、撮像画像信号の送信期間である映像信号期間とが順次繰り返されて送信されるとする。
前記アンテナ選択回路46は、前記受信回路33を介して、各受信アンテナ11a〜11dが受信した受信強度信号の受信強度が供給される。前記アンテナ選択回路46は、前記受信器33からの供給された各アンテナ11a〜11dの受信強度信号の強度を比較して、映像信号期間の撮像画像信号を受信する最適な受信アンテナ、つまり、受信強度信号の強度が最も高いアンテナ11i(i=a〜d)を決定して、アンテナ切替回路45をそのアンテナ11iに切り替えるための制御信号を生成出力する。これにより、現在画像信号を受信しているアンテナよりも、他のアンテナの受信強度信号の受信強度が高い場合には、映像信号期間の受信アンテナを次フレーム分から切り替えるようにする。
このように、カプセル型内視鏡3からの無線信号を受信するたびに、撮像画像信号、又は受信強度信号の受信強度を比較し、この比較結果を受けたアンテナ選択回路46によって受信強度が最大となるアンテナ11iを画像信号受信用のアンテナとを指定するようにしている。これにより、カプセル型内視鏡3が患者2の体内で移動しても、その移動位置において最も受信強度の高い信号を検出できるアンテナ11により取得した画像信号を受信することができる。また、体内でのカプセル型内視鏡3の移動速度は非常に遅い部分と早い部分に分かれるので、撮像動作1回につき常にアンテナ切替動作を1回行うとは限らず、高速撮像モードなどでは複数回の撮像動作に対してアンテナ切替動作を1回行うようにしてもよい。
なお、カプセル型内視鏡3は、患者2の体内を移動しているので、適宜の時間間隔で外部装置5から電波強度を検出した結果である検出結果信号を送り、その信号に基づいてカプセル型内視鏡3が送信する際のその出力を更新するようにしてもよい。このようにすれば、カプセル型内視鏡3が患者2の体内を移動した場合にも、適切な送信出力に設定でき、電池21のエネルギを無駄に消費すること等を防止でき、信号の送受信状態を適切な状態に維持できるようになる。
次に、前記複数の受信アンテナ11とカプセル型内視鏡3の位置関係を示す情報の取得方法について、図6を用いて説明する。なお、図6において、カプセル型内視鏡3を3次元座標X、Y、Zの原点に設定した場合を例に説明する。又、前記複数の受信アンテナ11a〜11dのうち、説明を簡単化するために、3つの受信アンテナ11a、11b、11cを用い、受信アンテナ11aと受信アンテナ11bとの間の距離をDab、受信アンテナ11bと受信アンテナ11cとの間の距離をDbc、受信アンテナ11aと受信アンテナ11cとの間の距離Dacとしている。さらに、この受信アンテナ11a〜11cとカプセル型内視鏡3の間は、所定の距離関係としている。
カプセル型内視鏡3の送信された一定の送信強度の無線信号は、各受信アンテナ11j(j=a、b、c)で受信した場合の受信強度は、カプセル型内視鏡3(カプセル型内視鏡3の送信アンテナ23)からの距離Li(i=a,b,c)の関数となる。具体的には電波減衰量が伴う距離Liに依存する。従って、カプセル型内視鏡3から送信された無線信号の受信アンテナ11jにより受信した受信強度からカプセル型内視鏡3と各受信アンテナ11jとの間の距離Liを算出する。この距離Liの算出には、前記カプセル型内視鏡3と受信アンテナ11jの間の距離による電波の減衰量などの関係データを事前に前記アンテナ選択回路46に設定する。又、その算出されたカプセル型内視鏡3と各受信アンテナ11jの位置関係を示す距離データは、前記メモリ47にカプセル型内視鏡3の位置情報として記憶させる。このメモリ47に記憶された撮像画像情報及びカプセル型内視鏡3の位置情報を基に、前記端末機7による後述する画像情報処理方法において、内視鏡観察所見の位置設定に有用となる。
次に、本実施形態の画像処理装置における画像処理動作について説明を行う。
なお、本実施形態においては、カプセル型内視鏡3により撮像された体腔内の像の画像は、x軸方向のドット数ISX×y軸方向のドット数ISY(1≦ISX、1≦ISYを満たす値であり、例えば、ISX=300、ISY=300)、R(赤)G(緑)B(青)の3プレーンからなり、各プレーンにおける各画素は、濃度値であるRGB値として各々8bit、すなわち、0から255の値をとるものとする。また、本発明の実施形態においては、連続して撮像されたN枚の画像(1≦N)におけるi番目の画像をIi(1≦i≦N)、そのRGB各プレーンをそれぞれRi、Gi及びBiと示すものとする。さらに、本発明の実施形態においては、各プレーンにおけるk番目の画素(1≦k≦ISX×ISY)をそれぞれrik、gik及びbikと示すものとする。
なお、本実施形態の画像処理装置における画像処理動作は、上述した端末装置7の端末本体9が有する制御部9aにおける処理として行われるようになっている。
まず、制御部9aは、入力されたi番目の画像Iiを構成するRi、Gi及びBiの各プレーンに対し、前処理として、例えば、メディアンフィルタリングによるノイズ除去及び逆γ補正を行うと共に、ハレーション画素及び暗部画素を以降の処理対象から除外するため、閾値に基づく処理により検出しておく(図11のステップS1)。そして、前記閾値に基づく処理は、例えば、rik、gik及びbikの濃度値の全てが10以下の値であれば暗部画素、また、rik、gik及びbikの濃度値の全てが230以上の値であればハレーション画素とするような処理として行われる。
その後、制御部9aは、Ri、Gi及びBiの各プレーンを小領域に分割する(図11のステップS2)。なお、本実施形態において、制御部9aは、図13に示すように、Ri、Gi及びBiの各プレーンを、x軸方向の画素数lx×y軸方向の画素数ly(1≦lx、1≦ly)からなる矩形領域に分割するものとし、その領域数はm×n個(m=ISX/lx、n=ISY/ly)であるものとする。また、制御部9aは、mまたはnが整数とならない場合においては、大きさが端数となる最端部の領域を、端数の画素数を有する領域として処理するか、または以降の処理対象から除外するものとする。
制御部9aは、分割した各領域において、撮像対象の像の画像上における色の違いを反映する色調情報、及び撮像対象の像の画像上における構造の違いを反映するテクスチャ情報を特徴量として算出する(図11のステップS3)。なお、以降の説明においては、制御部9aにおいて分割された領域のうち、一の領域をHj(1≦j≦m×n)と示すものとする。
本実施形態において、制御部9aが算出する色調情報は、一の領域Hjに含まれる各画素のRGB値の比に基づく値としての、gik/rikの平均値(以降、μgjと記す)及びbik/rikの平均値(以降、μbjと記す)からなる、2つの特徴量として示される値である。なお、μgj及びμbjの各値は、0から1の値をとるものとする。また、μgj及びμbjの各値は、例えば、胃粘膜のような比較的赤色調を示す領域においては、略同様に小さな値をとる。一方、μgj及びμbjの各値は、例えば、小腸のような比較的白色調を示す領域においては、略同様に大きな値をとる。また、μgj及びμbjの各値は、例えば、便のような比較的黄色調を示す領域においては、μgj>μbjとなるような値をとる。
本実施形態において、制御部9aが算出するテクスチャ情報は、前述したように、撮像対象の像の画像上における構造の違いを反映するものである。そして、撮像対象の像の画像上における構造は、例えば、粘膜表面における絨毛等の微細構造、及び便が有する不定形な模様等として示されるものである。具体的には、制御部9aが算出するテクスチャ情報は、一の領域Hjに含まれる各画素のRGB値の標準偏差σrj、σgj及びσbjを、一の領域Hjに含まれる各画素のRGB値の平均値mrj、mgj及びmbjで除したものである、3つの特徴量として示されるRGB値の変動係数CVrj、CVgj及びCVbjである。なお、変動係数CVrj、CVgj及びCVbjを算出するための計算式は、下記数式(1)、数式(2)及び数式(3)として示される。

CVrj=σrj/mrj ・・・(1)
CVgj=σgj/mgj ・・・(2)
CVbj=σbj/mbj ・・・(3)

上記数式(1)、数式(2)及び数式(3)により算出される変動係数CVrj、CVgj及びCVbjにより、撮像対象に対して供給される照明光量の違い等による影響によらず、テクスチャ構造による画素変動の程度を数値化することができる。CVrj、CVgj及びCVbjの各値は、例えば、拡大観察を行っていない状態である、通常観察において撮像された胃粘膜のような、画像上における構造が比較的平坦な領域においては、明瞭なテクスチャ構造がないため、略同様に小さな値をとる。一方、CVrj、CVgj及びCVbjの各値は、例えば、小腸の絨毛のような、画像上における構造にエッジを比較的多く含む領域においては、略同様に大きな値をとる。
そして、制御部9aは、色調情報及びテクスチャ情報からなる5つの特徴量、すなわち、μgj、μbj、CVrj、CVgj及びCVbjの各値を、ハレーション画素及び暗部画素を除いた各画素のRGB値に基づき、m×n個の領域Hj各々において算出する。なお、本実施形態においては、一の領域Hjが有する、(lx×ly)個の画素において、例えば、ハレーション画素の個数と、暗部画素の個数との和が占める割合が50%を超えた場合、一の領域Hjを以降の処理から除外するような制御が行われるものであっても良い。
その後、制御部9aは、以降に説明する処理を行うため、一の領域Hjの領域番号jをj=1とする(図11のステップS4)。そして、制御部9aは、分類基準としてのベイズの定理に基づく統計的識別器を用い、胃粘膜、絨毛、便及び泡からなる4つのクラスのうち、一の領域Hjがどのクラスに属するかを識別し、該識別結果に基づく分類を行う。
具体的には、4つのクラスの識別及び分類において、一のクラスωa(a=1、2、…、C、Cはクラス数を示す)が発生する事前確率をP(ωa)とし、一の領域Hjにおける5つの特徴量から決定された特徴ベクトルをとし、全クラスからの特徴ベクトルの発生確率に基づく確率密度関数をp()とし、一のクラスωaからの特徴ベクトルの発生確率に基づく状態依存確率密度(多変量正規確率密度)関数をp(|ωa)とすると、発生した特徴ベクトルが一のクラスωaに属する事後確率P(ωa|)を算出するための計算式は、下記数式(4)として示される。


なお、状態依存確率密度関数p(|ωa)及び確率密度関数p()は、下記数式(5)及び数式(6)として示される。


なお、上記数式(5)及び数式(6)において、dはの特徴量の個数と同数である次元数を示し、μa及びΣaはクラスωaにおける特徴ベクトルの平均ベクトル及び一のクラスωaにおける分散共分散行列を示すものとする。また、(μaは(μa)の転置行列を示し、|Σa|はΣaの行列式を示し、Σa−1はΣaの逆行列を示すものとする。さらに、説明の簡単のため、事前確率P(ωa)は、全クラスにおいて等しい値をとると仮定し、また、確率密度関数p()は、上記数式(6)により全クラス共通の関数として表されるものとする。
前述したようなベイズの定理に基づく統計的識別器と共に、分類基準として用いられる平均ベクトルμa及び分散共分散行列Σaは、一のクラスωaにおける母数を構成する要素であり、1番目の画像I1が端末装置7に入力される以前の段階において、胃粘膜、絨毛、便及び泡からなる4つのクラスの教師データを構成する複数の画像、例えば、図14、図15、図16及び図17に示すような画像に基づき、該画像の一の領域各々において都度決定される特徴ベクトルから、クラス毎に予め算出された後、初期値として端末装置7に各々記録される。なお、このとき、制御部9aは、各クラスの教師データにおける特徴ベクトルに、画像Iiにおける各クラスの特徴ベクトルを加えるようにして母数を推定しても良い。
なお、平均ベクトルμaは、特徴ベクトルが有する5つの特徴量各々の平均値からなり、かつ、特徴ベクトルと同一の次元数を有するベクトルである。すなわち、特徴ベクトル=(x1,x2,x3,x4,x5)として表される場合、平均ベクトルμaは、特徴ベクトルが有する5つの特徴量各々の平均値である、μx1、μx2、μx3、μx4およびμx5を用いて、μa=(μx1,μx2,μx3,μx4,μx5)として表されるものとする。また、分散共分散行列Σaは、一のクラスωaに属する特徴ベクトルの分布のバラツキ及び広がり具合を示す行列であり、特徴ベクトルの特徴量の個数と同数である次元数dに対し、d×d行列として表されるものとする。
制御部9aは、発生した特徴ベクトルがクラスω1に属する事後確率P(ω1|)と、発生した特徴ベクトルがクラスω2に属する事後確率P(ω2|)と、発生した特徴ベクトルがクラスω3に属する事後確率P(ω3|)と、発生した特徴ベクトルがクラスω4に属する事後確率P(ω4|)とを、ベイズの定理に基づいた上記数式(4)から数式(6)を用いて各々算出する。そして、制御部9aは、これら4つの事後確率のうち、最大の事後確率P1(ωa|)を与えるクラスωaに特徴ベクトルが属するものとして識別を行い、該識別結果に基づいて特徴ベクトルが発生した領域である一の領域Hjをクラスωaに分類する(図11のステップS5)と共に、最大の事後確率P1(ωa|)を与える確率密度関数p1(|ωa)の値を算出する。
そして、制御部9aは、以上までの処理において、クラスωaに分類された一の領域Hjの分類結果が正確なものであるか否かを判定するため、平均値からの距離に基づく処理、すなわち、最大の事後確率P1(ωa|)を与える確率密度関数p1(|ωa)の値に対する閾値に基づく処理をさらに行う。
具体的には、まず、制御部9aは、平均ベクトルμaが有する5つの特徴量各々の平均値のうち、例えば、特徴量x1の平均値μx1に対し、特徴量x1の標準偏差σx1と、所定の定数としての乗算係数αとの積を加えた値を含む、閾値ベクトルxb1を決定する。なお、このような閾値ベクトルxb1は、例えば、下記数式(7)として示されるものであり、また、本実施形態においては、乗算係数αの値は1.5であるとする。

xb1=(μx1+α×σx1,μx2,μx3,μx4,μx5) ・・・(7)

上記数式(7)により閾値ベクトルxb1が決定されると、制御部9aは、閾値ベクトルxb1を上記数式(4)、数式(5)及び数式(6)のとして代入し、一の領域Hjが分類されたクラスωaの閾値としての、確率密度関数p(xb1|ωa)の値を算出する。
そして、制御部9aは、p1(|ωa)の値がp(xb1|ωa)の値より大きいことを検出する(図11のステップS6)と、図11のステップS5に示す処理において、一の領域Hjをクラスωaに分類した分類結果が正確であると判断する(図11のステップS7)。
また、制御部9aは、p1(|ωa)の値がp(xb1|ωa)の値以下であることを検出する(図11のステップS6)と、図11のステップS5に示す処理において、一の領域Hjをクラスωaに分類した分類結果が不正確であると判断し、一の領域Hjを不明クラスに分類する(図11のステップS8)。
そして、制御部9aは、分割したm×n個の領域全てについての分類が完了していない場合(図11のステップS9)、領域番号jに1を加え(図11のステップS10)、次の領域について、図11のステップS5からステップS9までに示す処理を行う。また、制御部9aは、分割したm×n個の領域全てについての分類が完了した場合(図11のステップS9)、画像Iiにおけるm×n個の分類結果と、m×n個の領域が各々有する特徴量とに基づき、4つのクラス各々において、分類基準としての平均ベクトルμa及び分散共分散行列Σaを再度算出する(図12のステップS11)。なお、平均ベクトルμa及び分散共分散行列Σaを再度算出する際に、色調情報及びテクスチャ情報に基づく5つの特徴量全てについて算出するのではなく、例えば、色調情報を構成する2つの特徴量についてのみ算出するようにしてもよい。
その後、制御部9aは、以降に説明する処理を行うため、一の領域Hjの領域番号jをj=1とする(図12のステップS12)。
制御部9aは、図12のステップS11に示す処理において算出された平均ベクトルμa及び分散共分散行列Σaが代入された上記数式(4)から数式(6)を用い、発生した特徴ベクトルがクラスω1に属する事後確率P(ω1|)と、発生した特徴ベクトルがクラスω2に属する事後確率P(ω2|)と、発生した特徴ベクトルがクラスω3に属する事後確率P(ω3|)と、発生した特徴ベクトルがクラスω4に属する事後確率P(ω4|)とを、再度各々算出する。そして、制御部9aは、これら4つの事後確率のうち、最大の事後確率P2(ωa|)を与えるクラスωaに特徴ベクトルが属するものとして識別を行い、該識別結果に基づいて特徴ベクトルが発生した領域である一の領域Hjをクラスωaに再分類する(図12のステップS13)と共に、最大の事後確率P2(ωa|)を与える確率密度関数p2(|ωa)の値を算出する。
そして、制御部9aは、以上までの処理において、クラスωaに再分類された一の領域Hjの再分類結果が正確なものであるか否かを判定するため、最大の事後確率P2(ωa|)を与える確率密度関数p2(|ωa)の値に対する閾値に基づく処理をさらに行う。
すなわち、前述したように、図12のステップS11に示す処理において算出された平均ベクトルμaが有する5つの特徴量各々の平均値のうち、例えば、特徴量x1の平均値μx1に対し、特徴量x1の標準偏差σx1と、所定の定数としての乗算係数αとの積を加えた値を含む、閾値ベクトルxb2を決定する。そして、閾値ベクトルxb2が決定されると、制御部9aは、閾値ベクトルxb2を上記数式(4)、数式(5)及び数式(6)のとして代入し、一の領域Hjが再分類されたクラスωaの閾値としての、確率密度関数p(xb2|ωa)の値を算出する。
そして、制御部9aは、p2(|ωa)の値がp(xb2|ωa)の値より大きいことを検出する(図12のステップS14)と、一の領域Hjをクラスωaに再分類した再分類結果が正確であると判断する(図12のステップS15)。
また、制御部9aは、p2(|ωa)の値がp(xb2|ωa)の値以下であることを検出する(図12のステップS14)と、一の領域Hjをクラスωaに再分類した再分類結果が不正確であると判断し、一の領域Hjを不明クラスに再分類する(図12のステップS16)。
そして、制御部9aは、分割したm×n個の領域全てについての分類が完了していない場合(図12のステップS17)、領域番号jに1を加え(図12のステップS18)、次の領域について、図12のステップS13からステップS17までに示す処理を行う。また、制御部9aは、分割したm×n個の領域全てについての分類が完了した場合(図12のステップS17)、今度は(i+1)番目の画像Ii+1に対し、図11のステップS1からの一連の処理を行う(図12のステップS19)。
なお、図12のステップS11に示す処理において算出された平均ベクトルμa及び分散共分散行列Σaは、(i+1)番目の画像Ii+1に対して行われる、図11のステップS5に示す処理において使用されるものであってもよい。この場合、時間的に連続する画像間において、画像の識別および分類に使用される母数を動的に変更することにより、画像の分類をさらに高精度に行うことができる。
また、一般に、生体粘膜表面の像は、テクスチャ情報に基づく差に比べ、色調情報に基づく差が顕著である。そのため、制御部9aは、図12のステップS11に示す処理において、色調情報及びテクスチャ情報の両方に対して平均ベクトルμa及び分散共分散行列Σaを再度算出する処理を行うものに限らず、例えば、色調情報またはテクスチャ情報のうち、いずれか一方のみに対してμa及び分散共分散行列Σaを再度算出する処理を行うものであっても良い。
端末装置7の制御部9aは、以上に述べたような、図11及び図12のステップS1からステップS18に示す画像Iiの分類結果を用いた処理をさらに行うことにより、例えば、画像Iiが胃粘膜、絨毛等の像である生体粘膜表面の像であるか否かを判断することができる。
具体的には、制御部9aは、図11及び図12のステップS1からステップS18に示す画像Iiの分類結果において、各クラスに分類された領域数を数えた後、例えば、胃粘膜クラスまたは絨毛クラスに分類された領域数Aが全領域数(m×n)に占める割合を算出する。そして、制御部9aは、A/(m×n)が所定の閾値以上(例えば0.8)である場合、画像Iiが生体粘膜表面の像であると判断する。これにより、制御部9aは、生体粘膜表面の像であることが確実な画像を抽出することができる。
また、以上の説明においては、色調情報及びテクスチャ情報に基づく5個の特徴量の全てを一度に用いて特徴ベクトルを決定するような、5次元の多変量正規確率密度を規定する場合について述べた。しかし、本実施形態における画像処理方法においては、例えば、色調情報及びテクスチャ情報についての各々の特徴量を個別に用いて2種類の特徴ベクトルxcおよびxtを決定し、1つのクラスにつき2個の多変量正規確率密度を規定することにより、画像の分類をさらに高精度に行うことができる。
具体的には、まず、制御部9aは、色調情報を構成する2個の特徴量μgj及びμbjについての状態依存確率密度関数をpc(xc|ωa)として、また、テクスチャ情報を構成する3個の特徴量CVrj、CVgj及びCVbjについての状態依存確率密度関数をpt(xt|ωa)として各々算出する。なお、xcは、xc=(μgj,μbj)として表される2次元のベクトルであり、また、xtは、xt=(Cvrj、Cvgj、Cvbj)として表される3次元のベクトルである。
制御部9aは、これら2つの状態依存確率密度関数pc(xc|ωa)及びpt(xt|ωa)を用いて数式(5)に基づく事後確率Pc(ωa|xc)及びPt(ωa|xt)を算出した後、最終的な事後確率P(ωa|)を下記数式(8)により算出する。

P(ωa|)=Pc(ωa|xc)×Pt(ωa|xt) ・・・(8)

また、クラスωaへの分類結果の正確性を判断するための閾値は、色調情報及びテクスチャ情報の特徴量各々の平均ベクトルμc及びμtと、標準偏差σc1及びσt1に基づき、例えば、p(xcb|ωa)及びp(xtb|ωa)として設定される。そして、制御部9aは、p1(xc|ωa)>p(xcb|ωa)であり、かつ、p1(xt|ωa)>p(xtb|ωa)であれば、分類結果は正確であるとして、特徴ベクトルxcおよび特徴ベクトルxtを有する一の領域Hjを、胃粘膜、絨毛、便または泡のいずれかのクラスとして分類し、そうでなければ不明クラスとして分類する。
なお、以上の説明において、事前確率P(ωa)は、全クラスにおいて等しいと仮定したが、これに限るものではない。事前確率P(ωa)は、例えば、カプセル型内視鏡3が撮像する部位の時間配分に基づき、絨毛クラスまたは便クラスの事前確率P(ωa)を高めに設定したり、カプセル型内視鏡3が撮像した部位の誤分類によるリスクに基づき、胃粘膜クラス及び絨毛クラスの事前確率P(ωa)を、観察不要とする便クラス及び泡クラスより高めに設定したり等、種々の用途に応じた値に設定されるものであっても良い。
さらに、以上の説明において、画像の分類を行う際に制御部9aが用いる統計的識別器は、ベイズの定理に基づくものに限るものではなく、例えば、線形判別関数等に基づくものであっても良い。
以上に述べたように、本実施形態によれば、生体粘膜表面の像としての胃粘膜及び絨毛の像と、異物の像としての便及び泡の像とを画像の小領域毎に識別して分類することができる。そのため、ユーザは、画像の小領域の多くを異物の像が占めるような、生体粘膜表面の像が良好に撮像されていない画像を、観察不要の画像として容易に除外することができ、その結果、カプセル型内視鏡装置1を用いた観察の効率化をはかることができる。
また、以上に述べたように、本実施形態によれば、統計的識別器の母数を、端末装置7に入力される画像に応じた最適な値として算出することができる。そのため、本実施形態に用いるカプセル型内視鏡装置1は、生体粘膜表面の色調及び微細な構造の個人差、カプセル型内視鏡3を構成する各部の特性バラツキ等により、特徴量に変化が生じる場合においても、端末装置7に入力される画像の各領域の分類を高精度に行うことができる。
また、本実施形態によれば、生体粘膜表面の像として分類された各々の領域に対し、さらに、例えば、前記各々の領域が有する特徴量に基づき、正常な粘膜の像と病変部位の像と分類するような画像処理方法を用いることにより、病変部位の検出精度を高めることができる。
さらに、本実施形態によれば、画像において絨毛の像あるいは便の像が撮像されていることを検出して分類することができる。そのため、制御部9aは、前記分類結果に基づき、例えば、便の像が画像の多くを占めていれば大腸が撮像された画像である等の分類基準をさらに用いた処理を行うことにより、前記画像において撮像された臓器を特定することができる。
(第2の実施形態)
図18から図23は、本発明の第2の実施形態に係るものである。なお、第1の実施形態と同様の構成を持つ部分については、詳細説明は省略する。また、第1の実施形態と同様の構成要素については、同一の符号を用いて説明は省略する。さらに、本実施形態に用いるカプセル型内視鏡装置1の構成は、第1実施形態に用いるカプセル型内視鏡装置と同様である。また、本実施形態における画像処理動作は、端末本体9が有する制御部9aにおける処理として行われるものとする。
図18は、第2実施形態の画像処理装置における画像処理動作を示すフローチャートである。図19は、第2実施形態の画像処理装置における画像処理動作を示すフローチャートである。図20は、第2実施形態における画像処理動作において、一の領域における近傍領域を決定する際の一例を示す図である。図21は、第2実施形態における画像処理動作において用いられる、カプセル型内視鏡により撮像された体腔内の像の画像の一例を示す模式図である。図22は、図21に示す画像の分類結果の一例を示す図である。図23は、図22に示す分類結果に基づき、第2の実施形態に係る画像処理動作を行った後の再分類結果を示す図である。
制御部9aは、本実施形態における画像処理動作を行う前に、まず、入力されたi番目の画像Iiに対し、第1の実施の形態において説明した、図11および図12に示す、ステップS1からステップS18までの処理を行い、画像Iiについての分類結果を得る(図18のステップS21)。
その後、制御部9aは、領域統合の繰り返し回数を示すcountの値(1≦count)をcount=1とする(図18のステップS22)。なお、領域統合の最大繰り返し回数を示すcountmaxの値は、ユーザにより設定される値である。そして、制御部9aは、ユーザにより設定されたcountmaxの値の回数分だけ、以降に詳述するような領域統合の処理を行う。また、本実施形態においては、countmaxの値は5であるとして以降の説明を行う。
そして、制御部9aは、一の領域Hjの領域番号jをj=1とした後(図18のステップS23)、一の領域Hjをクラスc(c=1、2、3、4または5)に分類したことに対する評価を行うための評価値を算出する。なお、クラス1からクラス5までの5つのクラス各々は、胃粘膜クラス、絨毛クラス、便クラス、泡クラス及び不明クラスのうちのいずれかのクラスと一対一に対応するものであるとする。
具体的には、まず、制御部9aは、領域Hjの分類候補となるクラスcをc=1とする(図19のステップS31)。その後、制御部9aは、後述する、領域Hjの近傍領域の分類結果に基づくコスト関数から導出される値である評価値VjcをVjc=0とする(図19のステップS32)。そして、制御部9aは、例えば、図20に示されるような、一の領域Hjの8近傍領域を示す領域s(s=1、2、3、4、5、6、7または8)をs=1とする(図19のステップS33)。なお、領域1から領域8までの8つの領域として示される、一の領域Hjの8近傍領域各々は、例えば、図20に示されるような領域1から領域8の矩形領域のうち、いずれかの領域と一対一に対応するものであるとする。また、一の領域Hjの各近傍領域は、以降Hjsと示されるものとする。また、一の領域Hjが画像辺縁部である、及び暗部画素またはハレーション画素のため処理から除外された領域がある等の理由により、一の領域Hjの近傍領域が8領域分設定できない場合、制御部9aは、一の領域Hjの近傍領域として設定可能な領域分のみに対し、以降の処理を行うものとする。
制御部9aは、画像Iiについての分類結果から、近傍領域Hjsをクラスcに分類したか否かを判定する(図19のステップS34)。そして、制御部9aは、近傍領域Hjsをクラスcに分類していないことを検出すると、下記数式(9)により示されるコスト関数を用い、評価値Vjcの値に0.2を加える(図19のステップS35)。

Vjc=Vjc+0.2 ・・・(9)

その後、制御部9aは、領域sの値に1を加えつつ、一の領域Hjの近傍領域Hjs全てに対し、図19のステップS34およびステップS35に示す、上記数式(9)を用いた処理を繰り返し行うことにより、クラスcにおける評価値を算出する(図19のステップS36およびステップS37)。
さらに、制御部9aは、クラスcにおける評価値を決定すると(図19のステップS36)、クラスcの値に1を加えつつ、図19のステップS32からステップS37に示す―連の処理を繰り返し行うことにより、クラス1からクラス5までの全てのクラスにおける評価値を算出する(図19のステップS38およびステップS39)。
制御部9aは、各Vjcの値、すなわち、Vj1、Vj2、Vj3、Vj4及びVj5の値を比較し、最小のVjcの値を与えるクラスcに、一の領域Hjを再分類する(図18のステップS24)。なお、制御部9aは、最小のVjcの値を与えるクラスcが複数存在した場合には、例えば、cが最小となるクラスを選択するような処理を行うものとする。
そして、制御部9aは、所定のcountの値において、分割したm×n個の領域全てについての分類が完了していない場合(図18のステップS25)、領域番号jに1を加え(図18のステップS26)、次の領域について、図18のステップS23およびステップS24に示す処理と、図19のステップS31からステップS39に示すまでの処理とからなる一連の処理を繰り返し行う。
制御部9aは、分割したm×n個の領域全てについての分類が完了し、かつ、countの値がcountmaxの値より小さい場合(図18のステップS27)、countの値に1を加えた後(図18のステップS28)、画像Iiに対し、図18のステップS22からステップS27に示す処理と、図19のステップS31からステップS39に示すまでの処理とからなる一連の処理を繰り返し行う。また、制御部9aは、分割したm×n個の領域全てについての分類が完了し、かつ、countの値がcountmaxの値以上である場合(図18のステップS27)、今度は(i+1)番目の画像Ii+1に対し、図18のステップS21からの一連の処理を行う(図18のステップS29)。
なお、端末装置7の制御部9aが本実施形態における画像処理動作を用いて処理を行った際の一例を図21、図22及び図23に示す。図21は、以上に述べた本実施形態における画像処理動作において、画像Iiに相当する画像を模式的に示した図である。そして、図21に示すような画像Iiが端末装置7に入力されると、端末装置7の制御部9aは、図18のステップS21に示す処理において、図22に示すような分類結果を得る。その後、制御部9aは、図22に示すような分類結果に基づき、さらに図18のステップS22以降に示す領域統合の処理をcountmaxの値として予め設定された回数(本実施形態においては5回)分繰り返して行うことにより、図23に示すような再分類結果を得る。
以上に述べたように、本第2実施形態によれば、第1実施形態において述べた、カプセル型内視鏡装置1を用いた観察の効率化をはかることができるような効果が得られると共に、端末装置7に入力される画像の所定の領域の再分類を、該所定の領域の近傍領域における分類結果に基づいて行うため、誤分類領域の発生を抑制しつつ、該画像の各領域の分類をさらに高精度に行うことができる。
(第3の実施形態)
図24から図30は、本発明の第3の実施形態に係るものである。なお、第1の実施形態および第2の実施形態と同様の構成を持つ部分については、詳細説明は省略する。また、第1の実施形態および第2の実施形態と同様の構成要素については、同一の符号を用いて説明は省略する。さらに、本実施形態に用いるカプセル型内視鏡装置1の構成は、第1の実施形態および第2の実施形態と同様である。また、本実施形態における画像処理動作は、端末本体9が有する制御部9aにおける処理として行われるものとする。
図24は、本実施形態における画像処理動作を示すフローチャートである。図25は、本実施形態における画像処理動作を示すフローチャートである。図26は、本実施形態における画像処理動作において、4×4の画素数を有する小矩形領域各々に対して仮想的に付与する番号の配列の一例を示す図である。図27は、本実施形態における画像処理動作において、一の矩形領域ROに対する近傍外周領域Htの位置関係を示す図である。図28は、本実施形態における画像処理動作において、近似gradientベクトルVgt及び方向ベクトルVdtがなす角度θtの一例を示す図である。図29は、本実施形態において用いられるカプセル型内視鏡により撮像された体腔内の像の画像の一例を示す模式図である。図30は、図29に示す画像の分類結果の一例を示す図である。
まず、端末装置7の制御部9aは、前述したような、図11のステップS1からステップS3に示す処理と略同様の処理を行う。すなわち、制御部9aは、入力されたi番目の画像Iiに対して前処理を行い(図24のステップS41)、画像Iiをm×n個の小領域に分割した(図24のステップS42)後、分割した各領域において、色調情報及びテクスチャ情報を特徴量として算出する(図24のステップS43)。そして、制御部9aは、以降に述べる画像処理を行い、分割した各領域のうち、構造的に明確な特徴を有する泡クラスに分類される領域を検出する(図24のステップS44)。なお、本実施形態においては、制御部9aは、画像Iiをm×n個の小領域に分割する際に、各々の領域がlx=ly=8となるように、すなわち、8×8の画素数を有する矩形領域となるように画像Iiを分割するものとする。
具体的には、制御部9aは、画像Iiの各プレーンのうち、緑色のプレーンであるプレーンGiにおいて、8×8の画素数を有する各々の矩形領域を、さらに4分割することにより、各々が4×4の画素数を有する小矩形領域を生成する(図25のステップS51)。制御部9aは、4×4の画素数を有する小矩形領域各々におけるG(緑)画素の濃度値の平均値gaを算出した後、4×4の画素数を有する小矩形領域各々に対し、例えば、図26に示すような配列を有する番号を仮想的に付与する。そして、制御部9aは、領域1と領域7または領域2と領域8を結ぶ線分からなる方向を画像上の垂直方向、領域3と領域4または領域5と領域6を結ぶ線分からなる方向を画像上の水平方向、領域2と領域5または領域4と領域7を結ぶ線分からなる方向を画像上の左斜め方向、及び領域1と領域6または領域3と領域8を結ぶ線分からなる方向を画像上の右斜め方向として各々設定した後、各々の領域間において、G画素の濃度値の平均値gaの対数差分の値を算出する。その後、制御部9aは、前記対数差分の値が最大となる領域の組み合わせが存在する画像上の方向に、略円形形状の輪郭部を示す画素の配列が存在すると判断し、前記対数差分の最大値と、前記最大値を与える画像上の方向とを一時的に保持する。
また、制御部9aは、8×8の画素数を有する矩形領域のうち、図27に示すように、注目領域としての一の矩形領域ROを、略円形形状の中央部が存在する領域として仮想的に座標(xo,yo)と設定した後、(xo,yo)から距離Q(Q=1,2,3,…)だけ離れた領域、すなわち、ROを中央部とする略円形形状の輪郭部の少なくとも一部が存在し得る領域として、座標(xt,yt)により示される近傍外周領域Ht(t=1,2,3,…,T)を下記数式(10)により検出する(図25のステップS52)。

[((xo−xt)+(yo−yt)1/2]=Q ・・・(10)

なお、上記数式(10)において、[ ]はガウス記号を示すものとする。
制御部9aは、上記数式(10)を満たす座標(xt,yt)を全て検出した後、検出した近傍外周領域各々における近似gradientベクトルVgtと、各座標(xt,yt)及び座標(xo,yo)を結ぶ方向ベクトルVdtとを算出する(図25のステップS53)。
なお、近傍外周領域Ht各々における近似gradientベクトルVgtは、制御部9aに保持された、G画素の濃度値の平均値gaの対数差分の最大値を大きさとして有し、また、前記最大値を与える画像上の方向を方向として有するベクトルである。
そして、制御部9aは、近傍外周領域Ht各々における近似gradientベクトルVgt及び方向ベクトルVdtを算出すると、Vgtの大きさ|Vgt|の値が閾値(本実施形態においては0.4)以上であるか否かを判定する。制御部9aは、|Vgt|の値が閾値以上であることを検出すると、内積の公式に基づき、図28に示すような、近似gradientベクトルVgt及び方向ベクトルVdtがなす角度θtについて、下記数式(11)によりcosθtの値を算出する(図25のステップS54)。

cosθt=VgtVdt/|Vgt||Vdt| ・・・(11)

制御部9aは、上記数式(11)を用いたcosθtの算出結果に基づき、|cosθt|の値が0.7より大きいことを検出する(図25のステップS55)と、一の矩形領域ROを中心とした放射状のgradientベクトルが近傍外周領域Htに存在する、すなわち、一の矩形領域ROを中央部とする略円形形状の輪郭部の少なくとも一部が存在すると判断すると共に、該一の矩形領域ROを抽出する。
制御部9aは、T個の近傍外周領域のうち、L個の領域において一の矩形領域ROを中心とした放射状のgradientベクトルが存在する場合、L/Tの値に基づき、L/Tの値が、例えば0.7以上であれば(図25のステップS56)、抽出した前記一の矩形領域ROに略円形形状を有する泡の中央部が存在すると判断する。そして、制御部9aは、距離Qの値を、ユーザによって予め設定されたQmaxの値まで変化させつつ、距離Qの値各々において前述したような処理を行う(図25のステップS57及びステップS58)。また、制御部9aは、8×8の画素数を有する矩形領域全てに対し、順次一の矩形領域ROを設定しつつ、設定した領域RO各々について、都度前述したような処理を行う(図25のステップS59及びステップS60)。制御部9aは、以上に述べたような処理を行うことにより、画像Ii上の様々な領域に存在する、様々な泡の大きさに応じ、泡クラスに分類される領域を検出する。
その後、制御部9aは、泡クラスに分類される領域以外の領域において、絨毛クラスに分類される領域を検出する(図24のステップS45)ため、図11のステップS5からステップS10に示す処理と略同様の処理を行う。
すなわち、前述したように、制御部9aは、教師データに基づいてクラス毎に予め算出された平均ベクトルμa及び分散共分散行列Σaを有する上記数式(4)から数式(6)を用い、発生した特徴ベクトルがクラスω1に属する事後確率P(ω1|)と、発生した特徴ベクトルがクラスω2に属する事後確率P(ω2|)と、発生した特徴ベクトルがクラスω3に属する事後確率P(ω3|)と、発生した特徴ベクトルがクラスω4に属する事後確率P(ω4|)とを各々算出する。そして、制御部9aは、これら4つの事後確率のうち、最大の事後確率P1(ωa|)を与えるクラスωaに特徴ベクトルが属するものとして識別を行い、該識別結果に基づいて特徴ベクトルが発生した領域である一の領域Hjをクラスωaに分類する。さらに、絨毛クラスをクラスω1(a=1)とすると、制御部9aは、m×n個の領域のうち、以上までの処理においてクラスω1に分類された領域を検出し、該領域各々において、最大の事後確率P1(ω1|)を与える確率密度関数p1(|ω1)の値を算出する。
そして、制御部9aは、クラスω1に分類された領域各々の分類結果が正確なものであるか否かを判定するため、最大の事後確率P1(ω1|)を与える確率密度関数p1(|ω1)の値に対する閾値に基づく処理をさらに行う。
具体的には、前述したように、制御部9aは、教師データに基づいて予め算出された平均ベクトルμ1が有する5つの特徴量各々の平均値のうち、例えば、特徴量x1の平均値μx1に対し、特徴量x1の標準偏差σx1と、所定の定数としての乗算係数αとの積を加えた値を含む、閾値ベクトルxb1を決定する。なお、乗算係数αの値は、絨毛クラスの分類を確実に行うため、p1(|ω1)の値に対する閾値を構成する値として、本処理においては0.8として設定されるものであるとする。そして、閾値ベクトルxb1が決定されると、制御部9aは、閾値ベクトルxb1を上記数式(4)、数式(5)及び数式(6)のとして代入することにより、確率密度関数p(xb1|ω1)の値を算出する。
そして、制御部9aは、p1(|ω1)の値がp(xb1|ω1)の値より大きくなる領域については、絨毛クラスに分類した分類結果が正確であると判断し、また、p1(|ω1)の値がp(xb1|ω1)の値以下となる領域については、絨毛クラスに分類した分類結果が不正確であると判断し、該当する領域を不明クラスに分類する。
制御部9aは、m×n個の領域に対して前述した処理を行うことにより、泡クラスに分類される領域以外の領域において、絨毛クラスに分類される領域を検出する。その後、制御部9aは、前述した処理における検出結果に基づき、絨毛クラスに分類される領域が各々有する5つの特徴量から、絨毛クラスを構成する母数である平均ベクトルμ1及び分散共分散行列Σ1を算出する(図24のステップS46)。また、泡クラスをクラスω2(a=2)とすると、制御部9aは、前述した処理における検出結果に基づき、泡クラスに分類される領域が各々有する5つの特徴量から、泡クラスを構成する母数である平均ベクトルμ2及び分散共分散行列Σ2を算出する(図24のステップS46)。その後、制御部9aは、絨毛クラスを構成する母数である平均ベクトルμ1及び分散共分散行列Σ1と、泡クラスを構成する母数である平均ベクトルμ2及び分散共分散行列Σ2とを用い、例えば、図29に示すような画像Iiに対し、本発明の第1の実施形態または第2の実施形態において述べた画像処理をさらに行うことにより、図30に示すような最終的な分類結果を得る(図24のステップS47)。
なお、本実施形態における、泡クラスに分類される領域の検出は、前述したような検出に限るものではなく、例えば、以降に記すようなものであっても良い。
制御部9aは、例えば、輪郭部の形状が歪んで楕円形形状になるような泡に対し、座標(xt,yt)により示される近傍外周領域Htを、下記数式(12)に基づいて検出する。

Q−β≦[((xo−xt)+(yo−yt)1/2]≦Q+β ・・・(12)

なお、上記数式(12)において、βは1以上の整数とし、また、[ ]はガウス記号を示すものとする。
制御部9aは、上記数式(12)を満たす座標(xt,yt)を全て検出した後、検出した各近傍外周領域各々における近似gradientベクトルVgtと、各座標(xt,yt)及び座標(xo,yo)を結ぶ方向ベクトルVdtとを算出する。そして、制御部9aは、Vgtの大きさ|Vgt|の値が閾値(本実施形態においては0.4)以上であるか否かを判定する。制御部9aは、|Vgt|の値が閾値以上であることを検出すると、内積の公式に基づき、近似gradientベクトルVgt及び方向ベクトルVdtがなす角度θtについて、上記数式(11)によりcosθtの値を算出する。
制御部9aは、上記数式(11)を用いたcosθtの算出結果に基づき、|cosθt|の値が0.7より大きいことを検出すると、一の矩形領域ROを中心とした放射状のgradientベクトルが近傍外周領域Htに存在すると判断する。さらに、制御部9aは、放射状のgradientベクトルが存在すると判断した近傍外周領域をHt1とし、また、それ以外の近傍外周領域をHt0として二値化した後、Ht1として検出された領域に対して細線化処理を行う。その後、制御部9aは、細線化処理を行った後においてもHt1として残った領域数を数える。制御部9aは、前記領域数がL1個である場合、領域数L1と、上記数式(10)を用いることにより検出した近傍外周領域数TとからL1/Tの値を算出する。そして、制御部9aは、前記L1/Tの値に基づき、前記L1/Tの値が閾値(例えば0.7)以上であれば、一の矩形領域ROに、歪んだ輪郭部の形状を有する略円形形状の泡の中央部が存在すると判断する。
また、前述した処理において、制御部9aは、領域ROを中心に、0°から360°までの間において、角度φずつ方向を変化させつつ、距離(Q−β)から距離(Q+β)までの範囲において、放射状のgradientベクトルを有する近傍外周領域を検出するような処理を行っても良い。この場合、制御部9aは、放射状のgradientベクトルを有する近傍外周領域が存在すると判定した方向数をSとし、また、近傍外周領域数Tを[360/φ]個とした後、S/Tの値を算出する。そして、制御部9aは、前記S/Tの値に基づき、前記S/Tの値が閾値(例えば0.7)以上であれば、一の矩形領域ROに泡の中央部が存在すると判断する。
なお、本実施形態において、制御部9aが泡クラスに分類される領域を検出する際に用いるベクトルは、近似gradientベクトルに限るものではなく、例えば、平均gradientベクトルであっても良い。
以上に述べたように、本実施形態によれば、第1の実施形態において述べた、カプセル型内視鏡装置1を用いた観察の効率化をはかることができるような効果が得られると共に、色調情報及びテクスチャ情報から構成される特徴量による分類が難しい場合においても、端末装置7に入力される画像における泡クラスの領域の分類を精度良く行うことができる。
また、本実施形態によれば、構造的に明確な特徴を有する泡および絨毛に対し、端末装置7に入力される画像に基づく母数の算出を予め行うことにより、泡クラスおよび絨毛クラスの領域の分類をさらに精度良く行うことができる。
なお、本発明における第1の実施形態から第3の実施形態においては、画像処理の適用対象としてカプセル型内視鏡3による撮像画像を用いたが、例えば、カプセル型内視鏡3とは異なる構成を有する内視鏡が撮像した像の画像に対して該画像処理方法を用いた場合においても、同様の処理結果を得ることができる。
また、本発明における第1の実施形態から第3の実施形態においては、色調情報及びテクスチャ情報に基づく5つの値を特徴量を構成する値として使用したが、この特徴量を構成する値は、ユーザの用途等に応じ、適宜変更または追加することが可能である。
また、本発明における第1の実施形態から第3の実施形態においては、出血、発赤等の病変部位の検出を行う画像処理と組み合わせて用いられることにより、病変部位の検出結果が生体粘膜表面上から得られたものであるか否かを判定でき、その結果、病変部位の検出精度を高めることができる。
[付記]
以上詳述したような本発明の前記実施形態によれば、以下のような構成を得ることができる。
(付記項1)
撮像機能を有する医療機器により撮像された像に基づく画像を入力する第1のステップと、
前記画像を複数の領域に分割する第2のステップと、
前記複数の領域各々における特徴量を算出する第3のステップと、
前記特徴量と、第1の分類基準とに基づき、前記複数の領域を複数のクラスのいずれかに各々分類する第4のステップと、
前記特徴量と、前記第4のステップにおける分類結果とに基づいて第2の分類基準を設定する第5のステップと、
前記特徴量と、前記第2の分類基準とに基づき、前記複数の領域を前記複数のクラスのいずれかに各々分類する第6のステップと、
を有することを特徴とする画像処理方法。
(付記項2)
前記第4のステップは、前記第1の分類基準を定める母数を用いた統計的識別器を用いて行われ、前記第6のステップは、前記第2の分類基準を定める母数を用いた前記統計的識別器を用いて行われることを特徴とする付記項1に記載の画像処理方法。
(付記項3)
前記複数の領域は、複数の矩形領域であることを特徴とする付記項1または付記項2に記載の画像処理方法。
(付記項4)
前記特徴量は、前記画像の前記複数の領域各々における色調情報及びテクスチャ情報からなることを特徴とする付記項1から付記項3のいずれかに記載の画像処理方法。
(付記項5)
前記画像は、赤、緑及び青の3プレーンからなり、前記特徴量は、前記画像の前記複数の領域各々における赤の濃度値、緑の濃度値及び青の濃度値の比率に基づく値を有することを特徴とする付記項1から付記項4のいずれかに記載の画像処理方法。
(付記項6)
前記統計的識別器は、前記特徴量の平均値及び前記特徴量に関する分散共分散行列を前記母数とし、かつ、正規確率密度関数を用いた識別を行うことを特徴とする付記項2に記載の画像処理方法。
(付記項7)
前記正規確率密度関数を用いた前記識別は、前記平均値からの距離に基づいて行われることを特徴とする付記項6に記載の画像処理方法。
(付記項8)
前記第1の分類基準は、教師データを構成する複数の画像に基づいて設定されることを特徴とする付記項1から付記項7のいずれかに記載の画像処理方法。
(付記項9)
前記複数のクラスは、胃粘膜クラス、絨毛クラス、便クラス及び泡クラスの4つのクラスのうち、少なくとも一のクラスを含むことを特徴とする付記項1から付記項8のいずれかに記載の画像処理方法。
(付記項10)
さらに、前記複数の領域のうち、前記第4のステップまたはクラス前記第6のステップのいずれかのステップにおいて、前記複数のクラスのいずれにも分類されない領域を不明クラスとして分類する第7のステップを有することを特徴とする付記項1から付記項9のいずれかに記載の画像処理方法。
(付記項11)
さらに、前記第6のステップにおける分類結果に基づき、前記画像が生体粘膜表面の像であるか否かを判断する第7のステップを有することを特徴とする付記項1から付記項9のいずれかに記載の画像処理方法。
(付記項12)
前記第7のステップにおける判断は、胃粘膜クラスまたは絨毛クラスに分類された領域の数と、前記複数の領域の数とに基づいて行われることを特徴とする付記項11に記載の画像処理方法。
(付記項13)
前記画像は、経時的に連続する複数の画像であり、
前記第6のステップにおける第2の分類基準は、前記複数の画像のうち、処理対象であるK番目に入力された画像に対する第1の分類結果と、(K−1)番目以前に入力された画像における第2の分類結果とに基づいて設定されることを特徴とする付記項1乃至付記項12のいずれか一に記載の画像処理方法。
(付記項14)
前記第6のステップにおける第2の分類基準は、前記第1の分類結果及び教師データに基づいて予め設定されることを特徴とする付記項13に記載の画像処理方法。
(付記項15)
前記第4のステップ及び前記第6のステップは、前記複数の領域を、生体粘膜表面が撮像された領域として、少なくとも胃粘膜が撮像された領域及び小腸粘膜が撮像された領域のいずれかに分類することを特徴とする付記項1乃至付記項14のいずれか一に記載の画像処理方法。
(付記項16)
前記第4のステップ及び前記第6のステップは、前記複数の領域を、生体粘膜表面ではないものが撮像された領域として、少なくとも液体、泡または便が撮像された領域のいずれかに分類することを特徴とする付記項1乃至付記項15のいずれか一に記載の画像処理方法。
(付記項17)
撮像機能を有する医療機器により撮像された像に基づく画像を入力する第1のステップと、
前記画像を複数の領域に分割する第2のステップと、
前記複数の領域各々における特徴量を算出する第3のステップと、
前記特徴量と、第1の分類基準とに基づき、前記複数の領域を複数のクラスのいずれかに各々分類する第4のステップと、
前記特徴量と、前記第4のステップにおける分類結果とに基づいて第2の分類基準を設定する第5のステップと、
前記特徴量と、前記第2の分類基準とに基づき、前記複数の領域を前記複数のクラスのいずれかに各々分類する第6のステップと、
前記複数の領域のうち、一の領域の前記第6のステップにおける分類結果を、前記一の領域の近傍に位置する領域の前記第6のステップにおける分類結果に基づいた評価値として算出することにより評価する第7のステップと、
前記評価値に基づき、前記一の領域を前記複数のクラスのいずれかに分類する第8のステップと、
を有することを特徴とする画像処理方法。
(付記項18)
前記評価値は、前記一の領域の近傍に位置する領域の前記第6のステップにおける分類結果と同一か否かということに基づいて算出される値であることを特徴とする付記項17に記載の画像処理方法。
(付記項19)
前記第7のステップ及び前記第8のステップは、複数回繰り返して行われることを特徴とする付記項13または付記項18に記載の画像処理方法。
(付記項20)
撮像機能を有する医療機器により撮像された像に基づく画像を入力する第1のステップと、
前記画像を複数の領域に分割する第2のステップと、
前記複数の領域各々における特徴量を算出する第3のステップと、
前記複数の領域のうち、一の領域を注目領域として設定する第4のステップと、
前記注目領域から所定の距離だけ離れた領域である近傍外周領域を検出する第5のステップと、
前記近傍外周領域において、前記特徴量に基づき、略円形形状の輪郭部の少なくとも一部が存在することを検出する第6のステップと、
前記略円形形状検出手段により、前記略円形形状が検出された場合、前記注目領域を抽出する第7のステップと、
を有することを特徴とする画像処理方法。
(付記項21)
前記第6のステップは、前記近傍外周領域のうち、前記略円形形状の輪郭部の少なくとも一部が存在する領域の割合が所定の閾値以上であると判断した場合に略円形形状を検出し、前記第7のステップは、前記注目領域を前記略円形形状の中央部が存在する領域として抽出することを特徴とする付記項20に記載の画像処理方法。
(付記項22)
前記略円形形状は、泡であることを特徴とする付記項20または付記項21に記載の画像処理方法。
本発明の第1実施形態である画像処理装置および周辺機器の外観を示した外観斜視図。 第1実施形態の画像処理装置において処理する所定の画像情報を生成するカプセル型内視鏡の一部を切り取って示した要部拡大断面図。 第1実施形態の画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の概略内部構成を示すブロック図。 第1実施形態の画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の一使用例を示した図。 図2に示すカプセル型内視鏡から出力される信号の一例を示したタイミングチャート。 図2に示すカプセル型内視鏡の位置検出を説明する説明図。 図3に示すカプセル型内視鏡装置を使用した際におけるアンテナユニットを示した要部拡大断面図。 カプセル型内視鏡装置のシールドジャケットを説明する説明図。 図3に示すカプセル型内視鏡装置を使用した際におけるシールドジャケットを説明する説明図。 図2に示すカプセル型内視鏡の電気的な構成を示すブロック図。 第1実施形態の画像処理装置における画像処理動作を示すフローチャート。 第1実施形態の画像処理装置における画像処理動作を示すフローチャート。 第1実施形態の画像処理装置において、入力された画像がm×n個の領域に分割される際の一例を示す図。 第1実施形態の画像処理装置において用いられる、教師データを構成する複数の画像のうち、胃粘膜の画像の一例を示す図。 第1実施形態の画像処理装置において用いられる、教師データを構成する複数の画像のうち、絨毛の画像の一例を示す図。 第1実施形態の画像処理装置において用いられる、教師データを構成する複数の画像のうち、便の画像の一例を示す図。 第1実施形態の画像処理装置において用いられる、教師データを構成する複数の画像のうち、泡の画像の一例を示す図。 第2実施形態の画像処理装置における画像処理動作を示すフローチャート。 第2実施形態の画像処理装置における画像処理動作を示すフローチャート。 第2実施形態における画像処理動作において、一の領域における近傍領域を決定する際の一例を示す図。 第2実施形態における画像処理動作において用いられる、カプセル型内視鏡により撮像された体腔内の像の画像の一例を示す模式図。 図21に示す画像の分類結果の一例を示す図。 図22に示す分類結果に基づき、第2の実施形態に係る画像処理動作を行った後の再分類結果を示す図。 第3実施形態の画像処理装置における画像処理動作を示すフローチャート。 第3実施形態の画像処理装置における画像処理動作を示すフローチャート。 第3実施形態に係る画像処理動作において、4×4の画素数を有する小矩形領域各々に対して仮想的に付与する番号の配列の一例を示す図。 第3実施形態に係る画像処理動作において、一の矩形領域ROに対する近傍外周領域Htの位置関係を示す図。 第3実施形態に係る画像処理動作において、近似gradientベクトル及び方向ベクトルがなす角度の一例を示す図。 第3の実施形態の画像処理動作において用いられる、カプセル型内視鏡により撮像された体腔内の像の画像の一例を示す図。 図29に示す画像の分類結果の一例を示す図。
符号の説明
1・・・カプセル型内視鏡装置、2・・・患者、3・・・カプセル型内視鏡、3D・・・カプセル本体、4・・・アンテナユニット、5・・・外部装置、5D・・・本体部、6・・・クレードル、7・・・端末装置、8a・・・キーボード、8b・・・マウス、8c・・・ディスプレイ、9・・・端末本体、9a・・・制御部、10・・・ジャケット、11,11a,11b,11c,11d・・・受信アンテナ、12・・・液晶モニタ、13・・・操作部、14・・・外装部材、14a・・・カバー部材、15・・・対物レンズ、16・・・レンズ枠、17・・・電荷結合素子、17A・・・CCDドライバ、18・・・LED、18A・・・LEDドライバ、19,19A・・・処理回路、19B・・・タイミングジェネレータ、19C,19D,19E・・・スイッチ、20・・・通信処理回路、21・・・電池、23・・・送信アンテナ、 33・・・受信回路、35・・・信号処理回路、37・・・送信器、43・・・撮像装置、45・・・アンテナ切換スイッチ、46・・・アンテナ選択回路、47・・・メモリ、72・・・シールドジャケット、73・・・ベルト、74・・・鍵穴、 75・・・鍵

Claims (16)

  1. 撮像機能を有する医療機器で撮像された画像に基づく画像信号を入力する画像信号入力手段と、
    前記画像信号入力手段において入力した画像信号に基づいて当該医療機器で撮像された画像を複数の領域に分割する画像分割手段と、
    前記画像分割手段により分割された複数の領域各々における特徴量を算出する特徴量算出手段と、
    前記特徴量算出手段において算出された特徴量と、所定の第1の分類基準とに基づき、前記複数の領域を複数のクラスのいずれかに各々分類する第1の領域分類手段と、
    前記特徴量と、前記第1の領域分類手段による分類結果とに基づいて第2の分類基準を設定する第2の分類基準設定手段と、
    前記特徴量と、前記第2の分類基準とに基づき、前記複数の領域を前記複数のクラスのいずれかに各々分類する第2の領域分類手段と、
    を具備したことを特徴とする画像処理装置。
  2. 前記第1の領域分類手段は、前記第1の分類基準を定める母数を用いた統計的識別器を用いて前記複数の領域を前記複数のクラスのいずれかに各々分類し、前記第2の領域分類手段は、前記第2の分類基準を定める母数を用いた統計的識別器を用いて前記複数の領域を前記複数のクラスのいずれかに各々分類することを特徴とする請求項1に記載の画像処理装置。
  3. 撮像機能を有する医療機器で撮像された画像に基づく画像信号を入力する画像信号入力手段と、
    前記画像信号入力手段において入力した画像信号に基づいて当該医療機器で撮像された画像を複数の領域に分割する画像分割手段と、
    前記画像分割手段により分割された複数の領域各々における特徴量を算出する特徴量算出手段と、
    前記特徴量算出手段において算出された特徴量と、所定の第1の分類基準とに基づき、前記複数の領域を複数のクラスのいずれかに各々分類する第1の領域分類手段と、
    前記複数の領域のうち、一の領域の前記第1の領域分類手段による分類結果を、前記一の領域の近傍に位置する領域の前記第1の領域分類手段による分類結果に基づいた評価値を算出することにより評価する評価値算出手段と、
    前記評価値算出手段における評価値に基づき、前記一の領域を前記複数のクラスのいずれかに分類する第2の領域分類手段と、
    を具備したことを特徴とする画像処理装置。
  4. 撮像機能を有する医療機器で撮像された画像に基づく画像信号を入力する画像信号入力手段と、
    前記画像信号入力手段において入力した画像信号に基づいて当該医療機器で撮像された画像を複数の領域に分割する画像分割手段と、
    前記画像分割手段により分割された複数の領域各々における特徴量を算出する特徴量算出手段と、
    前記複数の領域のうち、一の領域を注目領域として設定する注目領域設定手段と、
    前記注目領域から所定の距離だけ離れた領域である近傍外周領域を検出する近傍外周領域検出手段と、
    前記近傍外周領域において、前記特徴量に基づき、略円形形状の輪郭部の少なくとも一部が存在することを検出する略円形形状検出手段と、
    前記略円形形状検出手段により、前記略円形形状が検出された場合、前記注目領域を抽出する抽出手段と、
    を具備したことを特徴とする画像処理装置。
  5. 前記略円形形状検出手段は、前記近傍外周領域のうち、前記略円形形状の輪郭部の少なくとも一部が存在する領域の割合が所定の閾値以上であると判断した場合に略円形形状を検出し、前記抽出手段は、前記注目領域を前記略円形形状の中央部が存在する領域として抽出することを特徴とする請求項4に記載の画像処理装置。
  6. 前記略円形形状は、泡であることを特徴とする請求項4または請求項5に記載の画像処理装置。
  7. 撮像機能を有する医療機器で撮像された画像に基づく画像信号を入力する画像信号入力手段と、
    前記画像信号入力手段において入力した画像信号に基づいて当該医療機器で撮像された画像を複数の領域に分割する画像分割手段と、
    前記画像分割手段により分割された複数の領域各々における特徴量を算出する特徴量算出手段と、
    前記特徴量算出手段において算出された特徴量と、所定の分類基準とに基づき、前記複数の領域を複数のクラスのいずれかに各々分類する領域分類手段と、
    前記複数のクラスのうち、構造的に明確な特徴を有する所定のクラスに分類される領域を、前記複数の領域から検出する領域検出手段と、
    前記領域検出手段において検出された前記領域が有する前記特徴量に基づき、前記領域分類手段における前記所定の分類基準を設定する分類基準設定手段と、
    を具備したことを特徴とする画像処理装置。
  8. 前記所定のクラスは、泡クラスまたは絨毛クラスのうち、少なくとも1つのクラスであることを特徴とする請求項7に記載の画像処理装置。
  9. 撮像機能を有する医療機器で撮像された画像に基づく画像信号を入力する画像信号入力手段において入力した画像信号に基づいて当該医療機器で撮像された画像を複数の領域に分割する画像分割ステップと、
    前記画像分割ステップにより分割された複数の領域各々における特徴量を算出する特徴量算出ステップと、
    前記特徴量算出ステップにおいて算出された特徴量と、所定の第1の分類基準とに基づき、前記複数の領域を複数のクラスのいずれかに各々分類する第1の領域分類ステップと、
    前記特徴量と、前記第1の領域分類ステップによる分類結果とに基づいて第2の分類基準を設定する第2の分類基準設定ステップと、
    前記特徴量と、前記第2の分類基準とに基づき、前記複数の領域を前記複数のクラスのいずれかに各々分類する第2の領域分類ステップと、
    を有したことを特徴とする画像処理装置における画像処理方法。
  10. 前記第1の領域分類ステップは、前記第1の分類基準を定める母数を用いた統計的識別器を用いて前記複数の領域を複数のクラスのいずれかに各々分類し、前記第2の領域分類ステップは、前記第2の分類基準を定める母数を用いた統計的識別器を用いて前記複数の領域を複数のクラスのいずれかに各々分類することを特徴とする請求項9に記載の画像処理装置における画像処理方法。
  11. 撮像機能を有する医療機器で撮像された画像に基づく画像信号を入力する画像信号入力手段において入力した画像信号に基づいて当該医療機器で撮像された画像を複数の領域に分割する画像分割ステップと、
    前記画像分割ステップにより分割された複数の領域各々における特徴量を算出する特徴量算出ステップと、
    前記特徴量算出手段において算出された特徴量と、所定の第1の分類基準とに基づき、前記複数の領域を複数のクラスのいずれかに各々分類する第1の領域分類ステップと、
    前記複数の領域のうち、一の領域の前記第1の領域分類手段による分類結果を、前記一の領域の近傍に位置する領域の前記第1の領域分類手段による分類結果に基づいた評価値を算出することにより評価する評価値算出ステップと、
    前記評価値算出手段における評価値に基づき、前記一の領域を前記複数のクラスのいずれかに分類する第2の領域分類ステップと、
    を具備したことを特徴とする画像処理装置における画像処理方法。
  12. 撮像機能を有する医療機器で撮像された画像に基づく画像信号を入力する画像信号入力手段において入力した画像信号に基づいて当該医療機器で撮像された画像を複数の領域に分割する画像分割ステップと、
    前記画像分割ステップにより分割された複数の領域各々における特徴量を算出する特徴量算出ステップと、
    前記複数の領域のうち、一の領域を注目領域として設定する注目領域設定ステップと、
    前記注目領域から所定の距離だけ離れた領域である近傍外周領域を検出する近傍外周領域検出ステップと、
    前記近傍外周領域において、前記特徴量に基づき、略円形形状の輪郭部の少なくとも一部が存在することを検出する略円形形状検出ステップと、
    前記略円形形状検出手段により、前記略円形形状が検出された場合、前記注目領域を抽出する抽出ステップと、
    を具備したことを特徴とする画像処理装置における画像処理方法。
  13. 前記略円形形状検出ステップは、前記近傍外周領域のうち、前記略円形形状の輪郭部の少なくとも一部が存在する領域の割合が所定の閾値以上であると判断した場合に略円形形状を検出し、前記抽出ステップは、前記注目領域を前記略円形形状の中央部が存在する領域として抽出することを特徴とする請求項12に記載の画像処理装置における画像処理方法。
  14. 前記略円形形状は、泡であることを特徴とする請求項12または請求項13に記載の画像処理装置における画像処理方法。
  15. 撮像機能を有する医療機器で撮像された画像に基づく画像信号を入力する画像信号手段において入力した画像信号に基づいて当該医療機器で撮像された画像を複数の領域に分割する画像分割ステップと、
    前記画像分割ステップにより分割された複数の領域各々における特徴量を算出する特徴量算出ステップと、
    前記特徴量算出ステップにおいて算出された特徴量と、所定の分類基準とに基づき、前記複数の領域を複数のクラスのいずれかに各々分類する領域分類ステップと、
    前記複数のクラスのうち、構造的に明確な特徴を有する所定のクラスに分類される領域を、前記複数の領域から検出する領域検出ステップと、
    前記領域検出ステップにおいて検出された前記領域が有する前記特徴量に基づき、前記領域分類ステップにおける前記所定の分類基準を設定する分類基準設定ステップと、
    を有したこを特徴とする画像処理装置における画像処理方法。
  16. 前記所定のクラスは、泡クラスまたは絨毛クラスのうち、少なくとも1つのクラスであることを特徴とする請求項15に記載の画像処理装置における画像処理方法。
JP2005115960A 2005-04-13 2005-04-13 画像処理装置および当該画像処理装置における画像処理方法 Expired - Fee Related JP4624841B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2005115960A JP4624841B2 (ja) 2005-04-13 2005-04-13 画像処理装置および当該画像処理装置における画像処理方法
PCT/JP2006/305022 WO2006112227A1 (ja) 2005-04-13 2006-03-14 画像処理装置及び画像処理方法
US11/666,556 US7953261B2 (en) 2005-04-13 2006-03-14 Image processing apparatus and image processing method
KR1020077023403A KR100970295B1 (ko) 2005-04-13 2006-03-14 화상 처리 장치 및 화상 처리 방법
CN200680010400.4A CN101150977B (zh) 2005-04-13 2006-03-14 图像处理装置
CN2010105160418A CN101966071B (zh) 2005-04-13 2006-03-14 图像处理装置以及图像处理方法
EP11008715.2A EP2415389B1 (en) 2005-04-13 2006-03-14 Image processing apparatus and method for analysing mucosa, villi or feces
EP06729056.9A EP1870020B1 (en) 2005-04-13 2006-03-14 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005115960A JP4624841B2 (ja) 2005-04-13 2005-04-13 画像処理装置および当該画像処理装置における画像処理方法

Publications (2)

Publication Number Publication Date
JP2006288878A JP2006288878A (ja) 2006-10-26
JP4624841B2 true JP4624841B2 (ja) 2011-02-02

Family

ID=37410122

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005115960A Expired - Fee Related JP4624841B2 (ja) 2005-04-13 2005-04-13 画像処理装置および当該画像処理装置における画像処理方法

Country Status (2)

Country Link
JP (1) JP4624841B2 (ja)
CN (1) CN101150977B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018092673A (ja) * 2018-03-09 2018-06-14 オリンパス株式会社 内視鏡業務支援システム

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5312807B2 (ja) 2008-01-08 2013-10-09 オリンパス株式会社 画像処理装置および画像処理プログラム
JP5305850B2 (ja) * 2008-11-14 2013-10-02 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP2010187756A (ja) 2009-02-16 2010-09-02 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
KR101184876B1 (ko) * 2010-02-11 2012-09-20 삼성전자주식회사 영상과 상호작용이 가능한 캐릭터의 동적 효과를 생성하는 방법 및 장치
CN102781305B (zh) * 2010-03-09 2015-06-03 奥林巴斯株式会社 荧光内窥镜装置
JP5739428B2 (ja) 2010-08-04 2015-06-24 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路
JP5576775B2 (ja) * 2010-11-29 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5757724B2 (ja) * 2010-12-10 2015-07-29 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5576782B2 (ja) * 2010-12-16 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5526044B2 (ja) * 2011-01-11 2014-06-18 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2012105141A1 (ja) * 2011-02-01 2012-08-09 オリンパスメディカルシステムズ株式会社 診断支援装置
JP5766986B2 (ja) 2011-03-16 2015-08-19 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2013008526A1 (ja) * 2011-07-12 2013-01-17 オリンパスメディカルシステムズ株式会社 画像処理装置
CN103312950B (zh) * 2012-03-09 2016-12-28 株式会社理光 摄像装置
EP2727514B1 (en) * 2012-03-21 2017-05-10 Olympus Corporation Image processing device
CN104469334B (zh) * 2014-12-10 2016-08-17 深圳市理邦精密仪器股份有限公司 一种医疗设备取得图像数据的处理方法及装置
WO2016175178A1 (ja) 2015-04-27 2016-11-03 オリンパス株式会社 画像解析装置、画像解析システム、画像解析装置の作動方法
US10025902B2 (en) * 2016-08-12 2018-07-17 Verily Life Sciences Llc Enhanced pathology diagnosis
CN107871314B (zh) * 2016-09-23 2022-02-18 商汤集团有限公司 一种敏感图像鉴别方法和装置
CN110013102B (zh) * 2017-12-22 2021-12-10 卡西欧计算机株式会社 图像处理装置、图像处理方法以及记录介质
JP7154803B2 (ja) * 2018-04-12 2022-10-18 オムロン株式会社 生体情報測定装置、方法およびプログラム
CN109965829B (zh) * 2019-03-06 2022-05-06 重庆金山医疗技术研究院有限公司 成像优化方法、图像处理装置、成像装置及内窥镜系统
CN110954447B (zh) * 2019-12-11 2022-07-29 中国建材检验认证集团股份有限公司 物理混合物中组分体积掺量的定量测定方法、装置及系统
JP7404857B2 (ja) * 2019-12-23 2023-12-26 コニカミノルタ株式会社 画像判定装置、画像判定方法及びプログラム
EP4082421A4 (en) * 2019-12-26 2023-02-08 FUJIFILM Corporation MEDICAL IMAGE PROCESSING DEVICE, MEDICAL IMAGE PROCESSING METHOD AND PROGRAM
CN112991325B (zh) * 2021-04-14 2021-08-17 上海孚慈医疗科技有限公司 一种基于智能编码的斑状发红图像采集和处理方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11104072A (ja) * 1997-10-03 1999-04-20 Mitsubishi Electric Corp 医療支援システム
JP2002336193A (ja) * 2001-05-17 2002-11-26 Olympus Optical Co Ltd 診断支援装置
JP2003079568A (ja) * 2001-06-29 2003-03-18 Fuji Photo Film Co Ltd 蛍光画像取得方法および装置並びにプログラム
JP2004154176A (ja) * 2002-11-01 2004-06-03 Olympus Corp 内視鏡撮像装置
JP2004321603A (ja) * 2003-04-25 2004-11-18 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム
JP2004337596A (ja) * 2003-04-25 2004-12-02 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム
JP2005192880A (ja) * 2004-01-08 2005-07-21 Olympus Corp 画像処理方法
JP2006122502A (ja) * 2004-10-29 2006-05-18 Olympus Corp 画像処理方法及びカプセル型内視鏡装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11104072A (ja) * 1997-10-03 1999-04-20 Mitsubishi Electric Corp 医療支援システム
JP2002336193A (ja) * 2001-05-17 2002-11-26 Olympus Optical Co Ltd 診断支援装置
JP2003079568A (ja) * 2001-06-29 2003-03-18 Fuji Photo Film Co Ltd 蛍光画像取得方法および装置並びにプログラム
JP2004154176A (ja) * 2002-11-01 2004-06-03 Olympus Corp 内視鏡撮像装置
JP2004321603A (ja) * 2003-04-25 2004-11-18 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム
JP2004337596A (ja) * 2003-04-25 2004-12-02 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム
JP2005192880A (ja) * 2004-01-08 2005-07-21 Olympus Corp 画像処理方法
JP2006122502A (ja) * 2004-10-29 2006-05-18 Olympus Corp 画像処理方法及びカプセル型内視鏡装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018092673A (ja) * 2018-03-09 2018-06-14 オリンパス株式会社 内視鏡業務支援システム

Also Published As

Publication number Publication date
CN101150977B (zh) 2011-06-08
CN101150977A (zh) 2008-03-26
JP2006288878A (ja) 2006-10-26

Similar Documents

Publication Publication Date Title
JP4624841B2 (ja) 画像処理装置および当該画像処理装置における画像処理方法
JP4472631B2 (ja) 画像処理装置および当該画像処理装置における画像処理方法
JP4912787B2 (ja) 医療用画像処理装置及び医療用画像処理装置の作動方法
JP4615963B2 (ja) カプセル型内視鏡装置
KR100970295B1 (ko) 화상 처리 장치 및 화상 처리 방법
US8363962B2 (en) Image processing device and image processing method in image processing device for identifying features in an image
JP4652694B2 (ja) 画像処理方法
JP4520405B2 (ja) 画像処理装置および当該画像処理装置における画像処理方法
JP4624842B2 (ja) 画像処理方法、画像処理装置及びプログラム
US20220218181A1 (en) Processing apparatus, processing method, and computer readable recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101019

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101104

R151 Written notification of patent or utility model registration

Ref document number: 4624841

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131112

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees