JP4912787B2 - 医療用画像処理装置及び医療用画像処理装置の作動方法 - Google Patents

医療用画像処理装置及び医療用画像処理装置の作動方法 Download PDF

Info

Publication number
JP4912787B2
JP4912787B2 JP2006216250A JP2006216250A JP4912787B2 JP 4912787 B2 JP4912787 B2 JP 4912787B2 JP 2006216250 A JP2006216250 A JP 2006216250A JP 2006216250 A JP2006216250 A JP 2006216250A JP 4912787 B2 JP4912787 B2 JP 4912787B2
Authority
JP
Japan
Prior art keywords
region
color tone
area
image
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006216250A
Other languages
English (en)
Other versions
JP2008036243A (ja
Inventor
涼子 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2006216250A priority Critical patent/JP4912787B2/ja
Priority to PCT/JP2007/063483 priority patent/WO2008018259A1/ja
Priority to EP07768232A priority patent/EP2052674A4/en
Publication of JP2008036243A publication Critical patent/JP2008036243A/ja
Priority to US12/366,116 priority patent/US8160329B2/en
Application granted granted Critical
Publication of JP4912787B2 publication Critical patent/JP4912787B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、医療用画像処理装置及び医療用画像処理装置の作動方法に関し、特に、赤色を呈する病変部位を検出可能な医療用画像処理装置及び医療用画像処理装置の作動方法に関するものである。
従来、医療分野において、X線診断装置、CT、MRI、超音波観測装置及び内視鏡装置等の画像撮像機器を用いた観察が広く行われている。このような画像撮像機器のうち、内視鏡装置は、例えば、体腔内に挿入される細長の挿入部を有し、該挿入部の先端部に配置された対物光学系により結像した体腔内の像を固体撮像素子等の撮像手段により撮像して撮像信号として出力し、該撮像信号に基づいてモニタ等の表示手段に体腔内の像の画像を表示するという作用及び構成を有する。そして、ユーザは、モニタ等の表示手段に表示された体腔内の像の画像に基づき、例えば、体腔内における臓器等の観察を行う。
また、内視鏡装置は、消化管粘膜の像を直接的に撮像することが可能である。そのため、ユーザは、例えば、粘膜の色調、病変の形状及び粘膜表面の微細な構造等の様々な所見を総合的に観察することができる。
そして、近年、前述したような内視鏡装置と略同様の有用性が期待できる画像撮像機器として、例えば、カプセル型内視鏡装置が提案されている。一般的に、カプセル型内視鏡装置は、被検者が口から飲み込むことにより体腔内に配置され、撮像した該体腔内の像を撮像信号として外部に送信するカプセル型内視鏡と、送信された該撮像信号を体腔外で受信した後、受信した該撮像信号を蓄積するレシーバと、レシーバに蓄積された撮像信号に基づく体腔内の像の画像を観察するための観察装置とから構成される。
さらに、内視鏡装置は、出血部位等の病変部位が含まれる所定の画像を検出可能な画像処理方法として、例えば、特許文献1に記載されている画像処理方法を用いることにより、出血部位が含まれる所定の画像を検出することもまた可能である。
特許文献1に記載されている画像処理方法である、生体内での比色分析の異常を検出するための方法は、正常粘膜と出血部位との色調の違いに着目し、色調を特徴量と設定した特徴空間における各平均値からの距離に基づいて画像の分割領域毎に出血部位の検出を行うことにより、出血部位が含まれる所定の画像を検出することを可能とする方法である。
PCT WO 02/073507号公報
一般に、消化管内部においては、生体粘膜表面が有する本来の色調の像のみが撮像されている訳ではなく、例えば、消化液または胆汁等が生体粘膜表面を覆うことにより、生体粘膜表面が有する本来の色調とは異なった色調の像が撮像され得る状況が多く発生する。
そのため、消化管内部における生体粘膜表面の像として、例えば、正常粘膜の色調と、赤色を呈する病変部位としての出血部位の色調とが互いに類似した像が撮像される場合もまた想定され得る。そして、このような場合、正常粘膜の色調の平均値と、出血部位の色調の平均値とは、特徴空間において互いに近接する傾向がある。その結果、特許文献1に記載されている画像処理方法が用いられた場合、正常粘膜の色調と、出血部位の色調とが互いに類似した箇所の像において、出血部位の検出精度が低下してしまうため、ユーザによる観察の効率化をはかることができないという課題が生じている。
本発明は、前述した点に鑑みてなされたものであり、従来に比べて出血部位及び発赤部位の検出精度を高めることにより、ユーザが効率的に観察を行うことを可能とする医療用画像処理装置及び医療用画像処理装置の作動方法を提供することを目的としている。
本発明における第1の医療用画像処理装置は、医療用撮像装置が撮像した被写体の像に応じた画像を、少なくとも1以上の画素からなる複数の領域に分割する画像分割手段と、前記画像の色調に基づく特徴量である色調特徴量を前記複数の領域各々において算出する特徴量算出手段と、前記複数の領域各々が有する前記色調特徴量に基づき、第1の色調基準値を算出する第1の色調基準値算出手段と、病変所見を検出するための第1の病変検出基準を、前記第1の色調基準値に応じて適宜算出する第1の病変検出基準算出手段と、前記第1の病変検出基準と、前記複数の領域各々が有する前記色調特徴量とに基づき、前記複数の領域各々のうち、前記病変所見が撮像されている領域である、第1の対象領域を検出する第1の画像領域検出手段と、を有することを特徴とする。
本発明における第2の医療用画像処理装置は、前記第1の医療用画像処理装置において、さらに、前記医療用画像処理装置は、前記複数の領域のうち、前記被写体として生体粘膜の像が撮像された各領域を生体粘膜クラスとして分類する第1の画像領域分類手段を有することを特徴とする。
本発明における第3の医療用画像処理装置は、前記第2の医療用画像処理装置において、前記病変所見は、出血部位または発赤部位の少なくともいずれか一方であることを特徴とする。
本発明における第4の医療用画像処理装置は、前記第3の医療用画像処理装置において、前記第1の色調基準値は、前記生体粘膜クラスとして分類された各領域が有する、前記色調特徴量の平均値であることを特徴とする。
本発明における第5の医療用画像処理装置は、前記第3または前記第4の医療用画像処理装置において、前記第1の病変検出基準算出手段は、前記第1の色調基準値に関する所定のテーブルデータに基づき、前記第1の病変検出基準を適宜算出することを特徴とする。
本発明における第6の医療用画像処理装置は、前記第3または前記第4の医療用画像処理装置において、前記第1の病変検出基準算出手段は、前記第1の色調基準値に応じた所定の関数を用い、前記第1の病変検出基準を適宜算出することを特徴とする。
本発明における第7の医療用画像処理装置は、前記第3または前記第4の医療用画像処理装置において、前記第1の病変検出基準算出手段は、前記第1の色調基準値に応じて構成された識別器に基づき、前記第1の病変検出基準を適宜算出することを特徴とする。
本発明における第8の医療用画像処理装置は、前記第1乃至前記第7の医療用画像処理装置において、前記画像分割手段は、前記画像を所定の画素数を有する複数の矩形領域に分割することを特徴とする。
本発明における第9の医療用画像処理装置は、前記第1乃至前記第7の医療用画像処理装置において、前記画像分割手段は、前記画像を画素単位に分割することを特徴とする。
本発明における第10の医療用画像処理装置は、前記第3または前記第4の医療用画像処理装置において、さらに、前記第1の画像領域分類手段の分類結果に基づき、前記生体粘膜クラスに分類された各領域のうち、黄色調が顕著に示される領域を黄色粘膜領域として分類する第2の画像領域分類手段と、前記黄色粘膜領域として分類された各領域が有する前記色調特徴量に基づき、第2の色調基準値を算出する第2の色調基準値算出手段と、 前記黄色粘膜領域として分類された各領域における第2の病変検出基準を、前記第2の色調基準値に応じて算出する第2の病変検出基準算出手段と、前記第2の病変検出基準と、前記黄色粘膜領域として分類された各領域が有する前記色調特徴量とに基づき、前記黄色粘膜領域として分類された各領域のうち、出血部位または発赤部位の少なくともいずれか一方が撮像されている領域である、第2の対象領域を検出する第2の画像領域検出手段と、を有することを特徴とする。
本発明における第11の医療用画像処理装置は、前記第3または前記第4の医療用画像処理装置において、さらに、前記第1の対象領域が有する前記色調特徴量に基づき、前記生体粘膜クラスとして分類された各領域のうち、前記第1の対象領域の近傍に存在し、かつ、前記第1の対象領域に類似する色調を有する各領域を、前記第1の対象領域と合わせて一の対象領域群を設定する対象領域拡張手段と、前記一の対象領域群が有する領域数に基づき、前記一の対象領域群が出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群であるか否かを判定する対象領域判定手段と、を有することを特徴とする。
本発明における第12の医療用画像処理装置は、前記第3または前記第4の医療用画像処理装置において、さらに、前記第1の対象領域が有する前記色調特徴量に基づき、前記生体粘膜クラスとして分類された各領域のうち、前記第1の対象領域の近傍に存在し、かつ、前記第1の対象領域に類似する色調を有する各領域を、前記第1の対象領域と合わせて一の対象領域群を設定する対象領域拡張手段と、
前記一の対象領域群が有する前記色調特徴量の平均値に基づき、前記一の対象領域群が出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群であるか否かを判定する対象領域判定手段と、を有することを特徴とする。
本発明における第1の医療用画像処理装置の作動方法は、医療用撮像装置が撮像した被写体の像に応じた画像を、少なくとも1以上の画素からなる複数の領域に分割する画像分割手段が、当該画像を、少なくとも1以上の画素からなる複数の領域に分割する画像分割ステップと、前記画像の色調に基づく特徴量である色調特徴量を前記複数の領域各々において算出する特徴量算出手段が、当該色調特徴量を前記複数の領域各々において算出する特徴量算出ステップと、前記複数の領域各々が有する前記色調特徴量に基づき、第1の色調基準値を算出する第1の色調基準値算出手段が、当該第1の色調基準値を算出する第1の色調基準値算出ステップと、病変所見を検出するための第1の病変検出基準を、前記第1の色調基準値に応じて適宜算出する第1の病変検出基準算出手段が、当該第1の病変検出基準を、前記第1の色調基準値に応じて適宜算出する第1の病変検出基準算出ステップと、前記第1の病変検出基準と、前記複数の領域各々が有する前記色調特徴量とに基づき、前記複数の領域各々のうち、前記病変所見が撮像されている領域である、第1の対象領域を検出する第1の画像領域検出手段が、当該第1の対象領域を検出する第1の画像領域検出ステップと、を有することを特徴とする。
本発明における第2の医療用画像処理装置の作動方法は、前記第1の医療用画像処理方法において、さらに、前記複数の領域のうち、前記被写体として生体粘膜の像が撮像された各領域を生体粘膜クラスとして分類する第1の画像領域分類手段が、当該各領域を生体粘膜クラスとして分類する第1の画像領域分類ステップを有することを特徴とする。
本発明における第3の医療用画像処理方法は、前記第2の医療用画像処理方法において、前記病変所見は、出血部位または発赤部位の少なくともいずれか一方であることを特徴とする。
本発明における第4の医療用画像処理方法は、前記第3の医療用画像処理方法において、前記第1の色調基準値は、前記生体粘膜クラスとして分類された各領域が有する、前記色調特徴量の平均値であることを特徴とする。
本発明における第5の医療用画像処理装置の作動方法は、前記第3または前記第4の医療用画像処理方法において、前記第1の病変検出基準算出ステップにおける前記第1の病変検出基準算出手段は、前記第1の色調基準値に関する所定のテーブルデータに基づき、前記第1の病変検出基準を適宜算出することを特徴とする。
本発明における第6の医療用画像処理装置の作動方法は、前記第3または前記第4の医療用画像処理方法において、前記第1の病変検出基準算出ステップにおける前記第1の病変検出基準算出手段は、前記第1の色調基準値に応じた所定の関数を用い、前記第1の病変検出基準を適宜算出することを特徴とする。
本発明における第7の医療用画像処理装置の作動方法は、前記第3または前記第4の医療用画像処理方法において、前記第1の病変検出基準算出ステップにおける前記第1の病変検出基準算出手段は、前記第1の色調基準値に応じて構成された識別器に基づき、前記第1の病変検出基準を適宜算出することを特徴とする。
本発明における第8の医療用画像処理装置の作動方法は、前記第1乃至前記第7の医療用画像処理方法において、前記画像分割ステップにおける前記画像分割手段は、前記画像を所定の画素数を有する複数の矩形領域に分割することを特徴とする。
本発明における第9の医療用画像処理装置の作動方法は、前記第1乃至前記第7の医療用画像処理方法において、前記画像分割ステップにおける前記画像分割手段は、前記画像を画素単位に分割することを特徴とする。
本発明における第10の医療用画像処理装置の作動方法は、前記第3または前記第4の医療用画像処理方法において、さらに、前記第1の画像領域分類ステップの分類結果に基づき、前記生体粘膜クラスに分類された各領域のうち、黄色調が顕著に示される領域を黄色粘膜領域として分類する第2の画像領域分類手段が、当該各領域のうち、黄色調が顕著に示される領域を黄色粘膜領域として分類する第2の画像領域分類ステップと、前記黄色粘膜領域として分類された各領域が有する前記色調特徴量に基づき、第2の色調基準値を算出する第2の色調基準値算出手段が、当該第2の色調基準値を算出する第2の色調基準値算出ステップと、前記黄色粘膜領域として分類された各領域における第2の病変検出基準を、前記第2の色調基準値に応じて算出する第2の病変検出基準算出手段が、当該第2の病変検出基準を、前記第2の色調基準値に応じて算出する第2の病変検出基準算出ステップと、前記第2の病変検出基準と、前記黄色粘膜領域として分類された各領域が有する前記色調特徴量とに基づき、前記黄色粘膜領域として分類された各領域のうち、出血部位または発赤部位の少なくともいずれか一方が撮像されている領域である、第2の対象領域を検出する第2の画像領域検出手段が、当該第2の対象領域を検出する第2の画像領域検出ステップと、を有することを特徴とする。
本発明における第11の医療用画像処理装置の作動方法は、前記第3または前記第4の医療用画像処理方法において、さらに、前記第1の対象領域が有する前記色調特徴量に基づき、前記生体粘膜クラスとして分類された各領域のうち、前記第1の対象領域の近傍に存在し、かつ、前記第1の対象領域に類似する色調を有する各領域を、前記第1の対象領域と合わせて一の対象領域群を設定する対象領域拡張手段が、当該各領域のうち、前記第1の対象領域の近傍に存在し、かつ、前記第1の対象領域に類似する色調を有する各領域を、前記第1の対象領域と合わせて一の対象領域群を設定する対象領域拡張ステップと、前記一の対象領域群が有する領域数に基づき、前記一の対象領域群が出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群であるか否かを判定する対象領域判定手段が、当該一の対象領域群が出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群であるか否かを判定する対象領域判定ステップと、を有することを特徴とする。
本発明における第12の医療用画像処理装置の作動方法は、前記第3または前記第4の医療用画像処理方法において、さらに、前記第1の対象領域が有する前記色調特徴量に基づき、前記生体粘膜クラスとして分類された各領域のうち、前記第1の対象領域の近傍に存在し、かつ、前記第1の対象領域に類似する色調を有する各領域を、前記第1の対象領域と合わせて一の対象領域群を設定する対象領域拡張手段が、当該各領域のうち、前記第1の対象領域の近傍に存在し、かつ、前記第1の対象領域に類似する色調を有する各領域を、前記第1の対象領域と合わせて一の対象領域群を設定する対象領域拡張ステップと、前記一の対象領域群が有する前記色調特徴量の平均値に基づき、前記一の対象領域群が出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群であるか否かを判定する対象領域判定手段が、当該一の対象領域群が出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群であるか否かを判定する対象領域判定ステップと、を有することを特徴とする。
本発明における医療用画像処理装置及び医療用画像処理方法によると、従来に比べて出血部位及び発赤部位の検出精度を高めることにより、ユーザが効率的に観察を行うことができる。
以下、図面を参照して本発明の実施の形態を説明する。
(第1の実施形態)
以下、図面を参照して本発明の第1の実施の形態を説明する。図1は、本発明の第1の実施形態である画像処理動作が行われる医療用画像処理装置および周辺機器の外観を示した外観正面図である。図2は、本実施形態の医療用画像処理装置において処理する所定の画像情報を生成するカプセル型内視鏡の一部を切り取って示した要部拡大断面図である。図3は、本実施形態の医療用画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の概略内部構成を示すブロック図である。図4は、本実施形態の医療用画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の一使用例を示した図である。図5は、図2に示すカプセル型内視鏡から出力される信号の一例を示したタイミングチャートである。図6は、図2に示すカプセル型内視鏡の位置検出を説明する説明図である。図7は、図3に示すカプセル型内視鏡装置を使用した際におけるアンテナユニットを示した要部拡大断面図である。図8は、図3に示すカプセル型内視鏡装置を使用した際におけるシールドジャケットを説明する説明図である。図9は、図3に示すカプセル型内視鏡装置の外部装置の被検体への装着状態を説明する説明図である。図10は、図2に示すカプセル型内視鏡の電気的な構成を示すブロック図である。
また、図11は、図1の医療用画像処理装置が第1の実施形態において行う処理の手順の一例を示すフローチャートである。図12は、図11のフローチャートの処理を行った場合に得られる各データの模式図である。図13は、図11のフローチャートの処理において用いられる値である、MG_Rとthre1_iとの間の関係の一例を示す図である。図14は、図11のフローチャートの処理を行った場合に、出血部位が撮像されているとして判断される値の範囲を示す図である。
本発明の第1の実施形態である画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置1は、図3に示すように、カプセル型内視鏡3、アンテナユニット4及び外部装置5を有して主要部が構成されている。
医療用撮像装置としてのカプセル型内視鏡3は、詳細は後述するが、被検体である患者2の口から体腔内に飲み込まれることにより体腔内に配置された後、蠕動運動により消化管内を進行する形状に形成され、かつ、内部に体腔内を撮像し、その撮像画像情報を生成する撮像機能と、その撮像画像情報を体外に送信する送信機能とを有している。アンテナユニット4は、詳細は後述するが、患者2の身体表面上に設置され、前記カプセル型内視鏡3から送信される撮像画像情報を受信する複数の受信アンテナ11を有している。外部装置5は、外形が箱形形状に形成されており、詳細は後述するが、前記アンテナユニット4が受信した撮像画像情報の各種処理、撮像画像情報の記録、及び撮像画像情報による撮像画像表示等の機能を有している。この外部装置5の外装の表面に前記撮像画像を表示させる液晶モニタ12と、各種機能の操作指示を行う操作部13とが設けられている。
また、この外部装置5は、駆動電源用の電池の残量に関する警告表示用のLEDと、電源スイッチ等のスイッチからなる操作部13とが外装の表面に設けられている。又、カプセル型内視鏡3の内部には、CPU及びメモリを用いた演算実行部が設けられており、例えば、該演算実行部において、受信及び記録した撮像画像情報に対して後述する画像処理が実行されるような構成であっても良い。
この外部装置5は、患者2の身体に着脱自在に装着されると共に、図1に示すように、クレードル6に装着されることにより、本発明の第1の実施形態である医療用画像処理装置(以下、端末装置と記す)7に着脱自在に接続されるようになっている。この端末装置7は、たとえば、パーソナルコンピュータが用いられ、各種データの処理機能や記憶機能を有する端末本体9と、各種操作処理入力用のキーボード8a及びマウス8bと、及び各種処理結果を表示するディスプレイ8cとを有している。この端末装置7は、基本的機能として、例えば、前記外部装置5に記録されている撮像画像情報をクレードル6を介して取り込み、端末本体9に内蔵されている書換可能なメモリ、或いは端末本体9に着脱自在な書換可能な半導体メモリ等の可搬型メモリに書込記録させ、かつ、その記録した撮像画像情報をディスプレイ8cに表示する画像処理を行うような機能を有している。なお、前記外部装置5に記憶されている撮像画像情報は、前記クレードル6に代えて、USBケーブル等によって端末装置7に取り込まれるようにしても良い。
なお、端末装置7が行う画像処理は、例えば、前記外部装置5から取り込み記録した撮像画像情報から経過時間に応じて表示させる画像を選択する処理、及び後述する画像処理として、端末本体9が有する制御部9aにおいて行われる。制御部9aは、CPU(中央処理装置)等を有し、例えば、前述したような処理を行う場合に、処理結果を一時的に図示しないレジスタ等に保持することができる。
次に、前記カプセル型内視鏡3の外形と内部構造について、図2を用いて説明する。カプセル型内視鏡3は、断面がU字状の外装部材14と、この外装部材14の先端側の開放端に接着剤により水密装着された透明部材により形成された略半球形状のカバー部材14aと有する。そのため、カプセル型内視鏡3の外装は、外装部材14と、カバー部材14aとが接続された状態においては、水密構造かつカプセル形状を有するように形成されている。
この外装部材14とカバー部材14aを有するカプセル形状の内部中空部であって、前記カバー部材14aの半球の円弧の略中央にあたる部分には、カバー部材14aを介して入射された観察部位像を取り込む対物レンズ15がレンズ枠16に収納されて配置されている。この対物レンズ15の結像位置には、撮像素子である電荷結合素子(以降、CCDと記す)17が配置されている。また、前記対物レンズ15を収納するレンズ枠16の周囲には、照明光を発光放射させる4つの白色系のLED18が同一平面上に配置されている(図中には2つのLEDのみを表記している)。前記CCD17の後端側の前記外装部材14の内部中空部には、前記CCD17を駆動制御して光電変換された撮像信号の生成、その撮像信号に所定の信号処理を施して撮像画像信号を生成する撮像処理、及び前記LED18の点灯/非点灯の動作を制御するLED駆動の処理を行う処理回路19と、この処理回路19の撮像処理により生成された撮像画像信号を無線信号に変換して送信する通信処理回路20と、この通信処理回路20からの無線信号を外部に送信する送信アンテナ23と、前記処理回路19と通信処理回路20の駆動用電源を供給する複数のボタン型の電池21とが配置されている。
なお、CCD17、LED18、処理回路19、通信処理回路20及び送信アンテナ23は、図示しない基板上に配置され、それらの基板の間は、図示しないフレキシブル基板にて接続されている。また、前記処理回路19には、後述する画像処理を行うための図示しない演算回路を備えている。つまり、前記カプセル型内視鏡3は、図3に示すように、前記CCD17、LED18及び処理回路19とを有する撮像装置43と、前記通信処理回路20を有する送信器37と、送信アンテナ23とを有する。
次に、前記カプセル型内視鏡3の撮像装置43の詳細構成について、図10を用いて説明する。撮像装置43は、LED18の点灯/非点灯の動作を制御するLEDドライバ18Aと、CCD17の駆動を制御して光電変換された電荷の転送を行う為のCCDドライバ17Aと、前記CCD17から転送された電荷を用いて撮像信号を生成し、かつ、その撮像信号に所定の信号処理を施して撮像画像信号を生成する処理回路19Aと、前記LEDドライバ18A、CCDドライバ17A、処理回路19A、及び送信器37に電池21からの駆動電源を供給するスイッチ部と、前記スイッチ部及びCCDドライバ17Aにタイミング信号を供給するタイミングジェネレータ19Bとからなっている。なお、前記スイッチ部は、電池21から前記LEDドライバ18Aへの電源供給をオン/オフをするスイッチ19Cと、前記CCD17、CCDドライバ17A及び処理回路19Aへの電源供給をオン・オフするスイッチ19Dと、前記送信器37への電源供給をオン/オフするスイッチ19Eとからなっている。また、前記タイミングジェネレータ19Bには、電池21から常時駆動電源が供給されるようになっている。
このような構成を有するカプセル型内視鏡3の撮像装置43においては、スイッチ19Cと、スイッチ19Dと、スイッチ19Eとがオフ状態である場合、タイミングジェネレータ19B以外の各部は非動作状態である。そして、タイミングジェネレータ19Bからタイミング信号が出力されると、前記スイッチ19Dがオンされ、これにより、電池21から電源が供給されたCCD17、CCDドライバ17A及び処理回路19Aは動作状態となる。
前記CCD17の駆動初期時に、CCD17の電子シャッターを動作させて、不要な暗電流を除去した後、タイミングジェネレータ19Bは、スイッチ19CをオンさせてLEDドライバ18Aを駆動させてLED18を点灯させCCD17を露光する。LED18は、CCD17の露光に必要な所定の時間だけ点灯された後、消費電力低減の為に、スイッチ19Cがオフしたタイミングにおいて消灯される。
前記CCD17の露光が行われた前記所定の時間内に蓄えられた電荷は、CCDドライバ17Aの制御により処理回路19Aへ転送される。処理回路19Aは、CCD17から転送された電荷を基に撮像信号を生成し、その撮像信号に所定の信号処理を施して内視鏡画像信号を生成する。処理回路19Aは、例えば、送信器37から送信される信号がアナログ無線方式である場合、CDS出力信号に対して複合同期信号を重畳させたアナログ撮像信号を生成した後、該アナログ撮像信号を内視鏡画像信号として送信器37へ出力する。また、処理回路19Aは、例えば、送信器37から送信される信号がデジタル無線方式である場合、アナログ/デジタルコンバータにより生成したシリアルなデジタル信号に対し、さらにスクランブル等の符号化処理を施したデジタル撮像画像信号を生成し、該デジタル撮像信号を内視鏡画像信号として送信器37へ出力する。
この送信器37は、前記処理回路19Aから供給された内視鏡画像信号である、アナログ撮像画像信号またはデジタル撮像画像信号に対して変調処理を施して送信アンテナ23から外部へ無線送信する。この時、スイッチ19Eは、前記処理回路19Aから撮像画像信号が出力されたタイミングにおいてのみ送信器37に駆動電力が供給されるように、タイミングジェネレータ19Bによりオン/オフされる。
なお、スイッチ19Eは、処理回路19Aから撮像画像信号が出力されてから所定の時間が経過した後に、送信器37に駆動電力が供給されるように制御されても良い。また、スイッチ19Eは、カプセル型内視鏡3に設けられた、図示しないpHセンサーによる所定値のpH値の検出、図示しない湿度センサーによる所定値以上の湿度の検出、図示しない圧力センサーまたは図示しない加速度センサーによる所定値以上の圧力または加速度の検出等の検出結果に基づいてタイミングジェネレータ19Bから出力される信号により、被検体である患者2の体腔内に挿入された際に、送信器37に電源を供給するように制御されるような構成を有していても良い。
なお、前記カプセル型内視鏡2の撮像装置43は、通常毎秒2枚の画像(毎秒2フレーム=2fps)を撮像するものであるが、例えば、食道の検査の場合は、毎秒15〜30枚の画像(15fps〜30fps)を撮像できるようにする。具体的には、カプセル型内視鏡3に、図示しないタイマー回路を設け、このタイマー回路により、例えば、タイマーカウントが所定時間以内においては毎秒当たりの撮像枚数の多い高速撮像とし、所定時間が経過した後は、毎秒当たりの撮像枚数の少ない低速撮像となるように撮像装置43の駆動を制御させる。或いは、カプセル型内視鏡3の電源の投入と共にタイマー回路を作動させて、このタイマー回路により、例えば、患者2が飲み込んだ直後の食道を通過するまでの時間は高速撮像となるように、撮像装置43の駆動を制御させることも可能である。さらに、低速撮像用カプセル型内視鏡と高速撮像用カプセル型内視鏡とを個別に設けて、観察対象部位に応じて使い分けるようにしても良い。
次に、前記患者2の身体表面上に設置されるアンテナユニット4について説明する。図4に示すように、カプセル型内視鏡3を飲み込んで内視鏡検査を行う場合、患者2は、複数の受信アンテナ11からなるアンテナユニット4が設置されたジャケット10を装着する。このアンテナユニット4は、図7に示すように、たとえば、GPSに使用されているパッチアンテナのような単方向の指向性を有する複数の受信アンテナ11を患者2の身体内方向にその指向性を向けて配置する。つまり、カプセル型内視鏡3のカプセル本体3Dは、身体内に留置されるため、その身体内のカプセル本体3Dを取り囲むように前記複数のアンテナ11が配置される。この指向性の高いアンテナ11を使用することにより、身体内のカプセル本体3D以外からの電波による干渉妨害の影響を受けにくくしている。
前記ジャケット10は、図8に示すように、患者2の身体表面に設置する前記アンテナユニット4と、ベルトにより患者2の腰に設置された外部装置5の本体部5Dを覆うように電磁シールド繊維で形成されたシールドジャケット72とからなる。このシールドジャケット72を形成する電磁シールド繊維は、金属繊維、金属化学繊維、硫化銅含有繊維等が用いられている。なお、このシールドジャケット72は、ジャケット形状に限るものではなく、例えば、ベスト、ワンピース形状等であっても良い。
又、前記シールドジャケット72に前記外部装置5を装着する例として、図9に示すように、前記外部装置5の外部本体5Dに鍵穴74を設け、前記シールドジャケット72に設けた鍵75を前記鍵穴74に差し込むことにより、ベルト73に着脱自在に装着できるようにする。或いは、単にシールドジャケット72に図示しないポケットを設け、そのポケットに外部本体5Dを収納する、又は、外部装置5の外部本体5Dとシールドジャケット72にマジックテープ(登録商標)を設置し、そのマジックテープ(登録商標)により取付固定しても良い。
つまり、アンテナユニット4が配置された身体にシールドジャケット72を装着することにより、アンテナユニット4に対する外部からの電波がシールド遮蔽されて、外部電波による干渉妨害の影響を一層受けにくくしている。
次に、前記アンテナユニット4と外部装置5の構成について、図3を用いて説明する。前記アンテナユニット4は、前記カプセル型内視鏡3の送信アンテナ23から送信された無線信号を受信する複数の受信アンテナ11a〜11dと、このアンテナ11a〜11dを切り替えるアンテナ切換スイッチ45とからなる。前記外部装置5は、アンテナ切換スイッチ45からの無線信号を撮像画像信号に変換及び増幅等の受信処理を行う受信回路33と、この受信回路33から供給された撮像画像信号に所定の信号処理を施して、撮像画像の表示用信号及び撮像画像データを生成する信号処理回路35と、この信号処理回路35により生成された撮像画像表示用信号に基づいて撮像画像を表示する液晶モニタ12と、前記信号処理回路35により生成された撮像画像データを記憶するメモリ47と、前記受信回路33により受信処理された無線信号の大きさにより前記アンテナ切換スイッチ45を制御するアンテナ選択回路46とからなる。
前記アンテナユニット4の図中受信アンテナ11a〜11dとして示した複数の受信アンテナ11は、前記カプセル型内視鏡3の送信アンテナ23から一定の電波強度により送信された無線信号を受信する。この複数の受信アンテナ11a〜11dは、前記外部装置5のアンテナ選択回路46からのアンテナ選択信号によりアンテナ切替スイッチ45が制御されて、前記無線信号を受信する受信アンテナを順次切り替える。つまり、前記アンテナ切替スイッチ45により順次切り替えられた各受信アンテナ11a〜d毎に受信した無線信号が前記受信器33に出力される。この受信器33において、各受信アンテナ11a〜11d毎の無線信号の受信強度を検出して、各受信アンテナ11a〜11dとカプセル型内視鏡3の位置関係を算出すると共に、その無線信号を復調処理して撮像画像信号を信号処理回路35へと出力する。前記アンテナ選択回路46は、前記受信器33からの出力によって制御される。
前記アンテナ選択回路46によるアンテナ切替スイッチ45の動作について説明する。前記カプセル型内視鏡3から送信される無線信号は、図5に示すように、撮像画像信号の1フレームの送信期間に、無線信号の受信強度を示す受信強度信号の送信期間である強度受信期間と、撮像画像信号の送信期間である映像信号期間とが順次繰り返されて送信されるとする。
前記アンテナ選択回路46は、前記受信回路33を介して、各受信アンテナ11a〜11dが受信した受信強度信号の受信強度が供給される。前記アンテナ選択回路46は、前記受信器33からの供給された各アンテナ11a〜11dの受信強度信号の強度を比較して、映像信号期間の撮像画像信号を受信する最適な受信アンテナ、つまり、受信強度信号の強度が最も高いアンテナ11i(i=a〜d)を決定して、アンテナ切替回路45をそのアンテナ11iに切り替えるための制御信号を生成出力する。これにより、現在画像信号を受信しているアンテナよりも、他のアンテナの受信強度信号の受信強度が高い場合には、映像信号期間の受信アンテナを次フレーム分から切り替えるようにする。
このように、カプセル型内視鏡3からの無線信号を受信するたびに、撮像画像信号、又は受信強度信号の受信強度を比較し、この比較結果を受けたアンテナ選択回路46によって受信強度が最大となるアンテナ11iを画像信号受信用のアンテナとを指定するようにしている。これにより、カプセル型内視鏡3が患者2の体内で移動しても、その移動位置において最も受信強度の高い信号を検出できるアンテナ11により取得した画像信号を受信することができる。また、体内でのカプセル型内視鏡3の移動速度は非常に遅い部分と早い部分に分かれるので、撮像動作1回につき常にアンテナ切替動作を1回行うとは限らず、高速撮像モードなどでは複数回の撮像動作に対してアンテナ切替動作を1回行うようにしてもよい。
なお、カプセル型内視鏡3は、患者2の体内を移動しているので、適宜の時間間隔で外部装置5から電波強度を検出した結果である検出結果信号を送り、その信号に基づいてカプセル型内視鏡3が送信する際のその出力を更新するようにしてもよい。このようにすれば、カプセル型内視鏡3が患者2の体内を移動した場合にも、適切な送信出力に設定でき、電池21のエネルギを無駄に消費すること等を防止でき、信号の送受信状態を適切な状態に維持できるようになる。
次に、前記複数の受信アンテナ11とカプセル型内視鏡3の位置関係を示す情報の取得方法について、図6を用いて説明する。なお、図6において、カプセル型内視鏡3を3次元座標X、Y、Zの原点に設定した場合を例に説明する。又、前記複数の受信アンテナ11a〜11dのうち、説明を簡単化するために、3つの受信アンテナ11a、11b、11cを用い、受信アンテナ11aと受信アンテナ11bとの間の距離をDab、受信アンテナ11bと受信アンテナ11cとの間の距離をDbc、受信アンテナ11aと受信アンテナ11cとの間の距離Dacとしている。さらに、この受信アンテナ11a〜11cとカプセル型内視鏡3の間は、所定の距離関係としている。
カプセル型内視鏡3の送信された一定の送信強度の無線信号は、各受信アンテナ11j(j=a、b、c)で受信した場合の受信強度は、カプセル型内視鏡3(カプセル型内視鏡3の送信アンテナ23)からの距離Li(i=a,b,c)の関数となる。具体的には電波減衰量が伴う距離Liに依存する。従って、カプセル型内視鏡3から送信された無線信号の受信アンテナ11jにより受信した受信強度からカプセル型内視鏡3と各受信アンテナ11jとの間の距離Liを算出する。この距離Liの算出には、前記カプセル型内視鏡3と受信アンテナ11jの間の距離による電波の減衰量などの関係データを事前に前記アンテナ選択回路46に設定する。又、その算出されたカプセル型内視鏡3と各受信アンテナ11jの位置関係を示す距離データは、前記メモリ47にカプセル型内視鏡3の位置情報として記憶させる。このメモリ47に記憶された撮像画像情報及びカプセル型内視鏡3の位置情報を基に、前記端末装置7による後述する画像情報処理方法において、内視鏡観察所見の位置設定に有用となる。
次に、本実施形態の画像処理動作について説明を行う。
なお、本実施形態においては、カプセル型内視鏡3により撮像された体腔内の像の画像は、x軸方向の画素数N×y軸方向の画素数N(1≦N)を満たす値であるとともに、R(赤)、G(緑)及びB(青)の3プレーンからなるとする。また、R(赤)、G(緑)及びB(青)の各プレーンにおける各画素は、濃度値であるRGB値として各々8bit、すなわち、0から255の値をとるものとする。また、本発明の実施形態においては、時系列的に連続して撮像されたA枚の画像(1≦A)におけるi番目の画像をIi(1≦i≦A)と示すものとする。さらに、本実施形態においては、画像Iiの各プレーンにおけるv番目の画素(1≦v≦N×N)をそれぞれriv、giv及びbivと示すものとする。
そして、本実施形態の画像処理動作は、前述した端末装置7の端末本体9が有する制御部9aにおける処理として行われるものであるとする。
まず、画像分割手段としての制御部9aは、N×Nのサイズ(画素数)を有する画像Iiを、所定のサイズを有する複数の矩形領域、すなわち、M×M(M<N)のサイズを有する(N/M)個の(複数の)小領域に分割する(図11のステップS1)。なお、以降の説明においては、制御部9aにおいて分割された小領域のうち、一の小領域をHj(1≦j≦N/M)と示すものとする。また、制御部9aに入力される画像のサイズ、及び該画像が分割される際の小領域のサイズは、以降に述べる処理が適用可能なサイズであれば、前述したものに限らず、例えば、画素単位(M=1)であっても良い。
次に、画像領域分類手段としての制御部9aは、領域Hj各々に対し、教師データに応じて得られた、例えば、ベイズの識別規則に基づく識別関数等の識別手段を用いた処理を行うことにより、該領域Hj各々における被写体の分類を行う(図11のステップS2)。これにより、制御部9aは、領域Hj各々を、例えば、便及び泡等の被写体が撮像された領域群としての非生体粘膜クラスと、胃粘膜及び絨毛等の被写体が撮像された領域群としての生体粘膜クラスとに分類するとともに、該分類結果を保持しつつ以降の処理を行う。
ここで、図11のステップS2に示す処理の具体例を以下に詳述する。
制御部9aは、分割した領域Hj各々において、撮像対象の像の画像上における色の違いを反映する色調情報、及び撮像対象の像の画像上における構造の違いを反映するテクスチャ情報を、色調特徴量及びテクスチャ特徴量として各々算出する。
本実施形態において、制御部9aが算出する色調特徴量は、領域Hjに含まれる各画素のRGB値の比に基づく値としての、giv/rivの平均値(以降、μgjと記す)及びbiv/givの平均値(以降、μbjと記す)からなる、2つの特徴量として示される値である。なお、μgj及びμbjの各値は、0から1の値をとるものとする。また、μgj及びμbjの各値は、例えば、胃粘膜のような比較的赤色調を示す領域においては、略同様に小さな値をとる。一方、μgj及びμbjの各値は、例えば、小腸のような比較的白色調を示す領域においては、略同様に大きな値をとる。また、μgj及びμbjの各値は、例えば、便のような比較的黄色調を示す領域においては、μgj>μbjとなるような値をとる。
本実施形態において、制御部9aが算出するテクスチャ特徴量は、撮像対象の像の画像上における構造の違いを反映するものである。そして、撮像対象の像の画像上における構造は、例えば、粘膜表面における絨毛等の微細構造、及び便が有する不定形な模様等として示されるものである。具体的には、制御部9aが算出するテクスチャ特徴量は、領域Hjに含まれる各画素のRGB値の標準偏差σrj、σgj及びσbjを、領域Hjに含まれる各画素のRGB値の平均値mrj、mgj及びmbjで除したものである、3つの特徴量として示されるRGB値の変動係数CVrj、CVgj及びCVbjである。なお、変動係数CVrj、CVgj及びCVbjを算出するための計算式は、下記数式(1)、数式(2)及び数式(3)として示される。

CVrj=σrj/mrj ・・・(1)
CVgj=σgj/mgj ・・・(2)
CVbj=σbj/mbj ・・・(3)

上記数式(1)、数式(2)及び数式(3)により算出される変動係数CVrj、CVgj及びCVbjにより、撮像対象に対して供給される照明光量の違い等による影響によらず、テクスチャ構造による画素変動の程度を数値化することができる。CVrj、CVgj及びCVbjの各値は、例えば、拡大観察を行っていない状態である、通常観察において撮像された胃粘膜のような、画像上における構造が比較的平坦な領域においては、明瞭なテクスチャ構造がないため、略同様に小さな値をとる。一方、CVrj、CVgj及びCVbjの各値は、例えば、小腸の絨毛のような、画像上における構造にエッジを比較的多く含む領域においては、略同様に大きな値をとる。
そして、特徴量算出手段としての制御部9aは、色調特徴量及びテクスチャ特徴量からなる5つの特徴量、すなわち、μgj、μbj、CVrj、CVgj及びCVbjの各値を、ハレーション画素及び暗部画素を除いた各画素のRGB値に基づき、N/M個の領域Hj各々において算出する。なお、本実施形態においては、領域Hjが有するM×M個の画素において、例えば、ハレーション画素の個数と、暗部画素の個数との和が占める割合が50%を超えた場合、領域Hjを以降の処理から除外するような制御が行われるものであっても良い。
その後、制御部9aは、以降に説明する処理を行うため、領域Hjの領域番号jをj=1とする。そして、制御部9aは、ベイズの定理に基づく統計的識別器を用い、胃粘膜、絨毛、便及び泡からなる4つのクラスのうち、領域Hjがどのクラスに属するかを識別し、該識別結果に基づく分類を行う。
具体的には、4つのクラスの識別及び分類において、一のクラスωa(a=1、2、…、C、Cはクラス数を示す)が発生する事前確率をP(ωa)とし、領域Hjにおける5つの特徴量から決定された特徴ベクトルをとし、全クラスからの特徴ベクトルの発生確率に基づく確率密度関数をp()とし、一のクラスωaからの特徴ベクトルの発生確率に基づく状態依存確率密度(多変量正規確率密度)関数をp(|ωa)とすると、発生した特徴ベクトルが一のクラスωaに属する事後確率P(ωa|)を算出するための計算式は、下記数式(4)として示される。
なお、状態依存確率密度関数p(|ωa)及び確率密度関数p()は、下記数式(5)及び数式(6)として示される。
なお、上記数式(5)及び数式(6)において、dはの特徴量の個数と同数である次元数を示し、μa及びΣaはクラスωaにおける特徴ベクトルの平均ベクトル及び一のクラスωaにおける分散共分散行列を示すものとする。また、(μaは(μa)の転置行列を示し、|Σa|はΣaの行列式を示し、Σa−1はΣaの逆行列を示すものとする。さらに、説明の簡単のため、事前確率P(ωa)は、全クラスにおいて等しい値をとると仮定し、また、確率密度関数p()は、上記数式(6)により全クラス共通の関数として表されるものとする。
分類基準としての平均ベクトルμa及び分散共分散行列Σaは、一のクラスωaにおける母数を構成する要素であり、1番目の画像I1が端末装置7に入力される以前の段階において、胃粘膜、絨毛、便及び泡からなる4つのクラスの教師データを構成する複数の画像に基づき、該画像の一の領域各々において都度決定される特徴ベクトルから、クラス毎に予め算出された後、初期値として端末装置7に各々記憶される。
なお、平均ベクトルμaは、特徴ベクトルが有する5つの特徴量各々の平均値からなり、かつ、特徴ベクトルと同一の次元数を有するベクトルである。すなわち、特徴ベクトル=(x1,x2,x3,x4,x5)として表される場合、平均ベクトルμaは、特徴ベクトルが有する5つの特徴量各々の平均値である、μx1、μx2、μx3、μx4及びμx5を用いて、μa=(μx1,μx2,μx3,μx4,μx5)として表されるものとする。また、分散共分散行列Σaは、一のクラスωaに属する特徴ベクトルの分布のバラツキ及び広がり具合を示す行列であり、特徴ベクトルの特徴量の個数と同数である次元数dに対し、d×d行列として表されるものとする。
制御部9aは、発生した特徴ベクトルがクラスω1に属する事後確率P(ω1|)と、発生した特徴ベクトルがクラスω2に属する事後確率P(ω2|)と、発生した特徴ベクトルがクラスω3に属する事後確率P(ω3|)と、発生した特徴ベクトルがクラスω4に属する事後確率P(ω4|)とを、ベイズの定理に基づいた上記数式(4)から数式(6)を用いて各々算出する。そして、制御部9aは、これら4つの事後確率のうち、最大の事後確率P1(ωa|)を与えるクラスωaに特徴ベクトルが属するものとして識別を行い、該識別結果に基づいて特徴ベクトルが発生した領域である領域Hjをクラスωaに分類すると共に、最大の事後確率P1(ωa|)を与える確率密度関数p1(|ωa)の値を算出する。
そして、制御部9aは、以上までの処理において、クラスωaに分類された領域Hjの分類結果が正確なものであるか否かを判定するため、平均値からの距離に基づく処理、すなわち、最大の事後確率P1(ωa|)を与える確率密度関数p1(|ωa)の値に対する閾値に基づく処理をさらに行う。
具体的には、まず、制御部9aは、平均ベクトルμaが有する5つの特徴量各々の平均値のうち、例えば、特徴量x1の平均値μx1に対し、特徴量x1の標準偏差σx1と、所定の定数としての乗算係数αとの積を加えた値を含む、閾値ベクトルxb1を決定する。なお、このような閾値ベクトルxb1は、例えば、下記数式(7)として示されるものであり、また、本実施形態においては、乗算係数αの値は1.5であるとする。

xb1=(μx1+α×σx1,μx2,μx3,μx4,μx5) ・・・(7)

上記数式(7)により閾値ベクトルxb1が決定されると、制御部9aは、閾値ベクトルxb1を上記数式(4)、数式(5)及び数式(6)のとして代入し、領域Hjが分類されたクラスωaの閾値としての、確率密度関数p(xb1|ωa)の値を算出する。
そして、制御部9aは、p1(|ωa)の値がp(xb1|ωa)の値より大きいことを検出すると、領域Hjをクラスωaに分類した分類結果が正確であると判断する。
また、制御部9aは、p1(|ωa)の値がp(xb1|ωa)の値以下であることを検出すると、領域Hjをクラスωaに分類した分類結果が不正確であると判断し、領域Hjを不明クラスに分類する。
そして、制御部9aは、分割したN/M個の領域全てについて、前述した一連の処理を行うことにより、領域Hj各々を、例えば、便及び泡等の被写体が撮像された領域群としての非生体粘膜クラスと、胃粘膜及び絨毛等の被写体が撮像された領域群としての生体粘膜クラスとに分類する。
また、制御部9aは、前述した処理において、各領域Hjのうち、不明クラスと分類した各領域を、以降に記す処理の対象から除外するものであるとする。さらに、前述した一連の処理が行われることにより、N/M個の領域のうち、L個(L≦N/M)の領域Hsk(1≦k≦L)が生体粘膜クラスに分類されたとするとともに、領域Hsk各々が有する色調特徴量をμgsk及びμbskとして以降の説明を行う。
その後、制御部9aは、生体粘膜クラスに分類されたL個の領域Hsk各々が有する色調特徴量であるμgskを検出する(図11のステップS3)。さらに、色調基準値算出手段としての制御部9aは、領域Hsk各々が有するμgskの値の平均値を、色調基準値MG_Rとして算出する(図11のステップS4)。
具体的には、μgskを横軸とし、μbskを縦軸とした場合、図11のステップS3及びステップS4の処理により得られた各データは、例えば、模式的には図12に示されるようなものとなる。
次に、病変検出基準算出手段としての制御部9aは、MG_Rの値と、例えば、図13のグラフとして示される所定のテーブルデータ(あるいは所定の関数)とに基づき、μgskに関する閾値であり、画像Iiにおける病変検出基準としての閾値thre1_iを(例えば、MG_R=0.55の場合にはthre1_i=0.3というように)算出する(図11のステップS5)。なお、閾値thre1_iは、前述したテーブルデータを用いて算出されるものに限らず、例えば、MG_Rの値に関する所定の数式に基づいて算出されるものであっても良い。
その後、制御部9aは、領域Hs1、Hs2、・・・、Hs(L−1)、HsLの各領域に対し、以降に記す処理を行うことにより、画像Iiにおいて出血部位が撮像されている領域を検出する。
まず、制御部9aは、k=1と設定した(図11のステップS6)後、領域Hskにおいて算出されたμgskの値が、下記数式(8)に示す関係を満たすか否かを検出する。

μgsk<MG_R−thre1_i ・・・ (8)

そして、制御部9aは、μgskの値が上記数式(8)に示す関係を満たすことを検出すると(図11のステップS7)、領域Hskに、赤色を呈する病変部位としての出血部位(または発赤部位の少なくともいずれか一方)が撮像されていると判断する(図11のステップS8)。また、制御部9aは、μgskの値が上記数式(8)に示す関係を満たさないことを検出した場合(図11のステップS7)、領域Hskには、赤色を呈する病変部位としての出血部位(及び発赤部位の両部位)が撮像されていないと判断する(図11のステップS9)。
なお、本実施形態において、制御部9aは、図11のステップS7、ステップS8及びステップS9の処理を行う際に、μgskの値に基づく判断のみを行うものとし、μbskの値に基づく判断を行わないものとする。
また、本実施形態において、制御部9aは、図11のステップS7、ステップS8及びステップS9の処理を行う際に、上記数式(8)に基づく判断を行うものに限らず、例えば、μgskの値とMG_Rの値との比を算出するとともに、該算出結果に応じて領域Hskに出血部位が撮像されているか否かの判断を行うものであっても良い。
図11のステップS8の処理において領域Hskが有するμgskの値の範囲、すなわち、制御部9aにより出血部位が撮像されている領域として判断される値の範囲を図示した場合、該範囲は図14に示す範囲となる。換言すると、生体粘膜が撮像されているとして分類された各領域は、撮像条件または個人差等により、比較的広いμgskの値の分布を示すのに対し、該各領域のうち、出血部位が撮像されている領域は、略同一の色調を有する像として撮像されるため、比較的狭いμgskの値の分布を示す。そして、制御部9aは、前述したようなμgskの値の分布に基づき、生体粘膜が撮像されているとして分類された各領域において、出血部位が撮像されている領域を検出することができる。
その後、制御部9aは、画像IiにおけるL個の領域全てに対し、図11のステップS7からステップS9までに示す処理を行ったか否かを判断する。そして、制御部9aは、L個の領域全てに対する処理が行われていないことを検出した場合(図11のステップS10)、k=k+1と設定した(図11のステップS11)後、図11のステップS7からステップS10までの処理を領域Hs(k+1)に対して再度行う。また、制御部9aは、L個の領域全てに対する処理が行われたことを検出した場合(図11のステップS10)、以上に述べた、画像Iiにおいて出血部位(または発赤部位の少なくともいずれか一方)が撮像された領域を検出するための一連の処理を終了する。
なお、画像Iiにおける各領域Hskのうち、出血部位が撮像されている領域を検出するための方法は、図11のステップS7、ステップS8及びステップS9に示す各処理方法に限らず、例えば、MG_Rの値及び領域Hsk各々が有するμgskの値の標準偏差に基づいて構成された、マハラノビス距離を用いた識別器による方法であっても良い。そして、制御部9aは、マハラノビス距離を用いた識別器による方法に基づいて出血部位が撮像されている領域を検出する場合、例えば、前述した閾値thre1_iに相当する距離の閾値を、MG_Rの値の大小に応じて適宜算出することにより、前記各処理を用いて出血部位が撮像されている領域を検出する場合と略同様の作用を得ることができる。
また、制御部9aは、前述した、閾値thre1_iの算出、及び、出血部位が撮像されているか否かの判断の各処理を行う際に、色調特徴量として、μgj(μgsk)を用いるものに限らず、例えば、giv/(riv+giv+biv)の平均値、または、IHb(ヘモグロビンインデックス)等のうちいずれか一を用いるものであっても良い。
さらに、前述した一連の処理において色調基準値として用いられる値は、μgskの値各々の平均値であるMG_Rの値に限るものではなく、例えば、画像Ii全体から算出したgiv/rivの平均値、画像Iiにおける暗部及びハレーション等の画素以外の画素から算出したgiv/rivの値の平均値、または、μgj各々の平均値のいずれであっても良い。また、前述した一連の処理において色調基準値として用いられる値は、μgskの値各々の平均値と、μgskの値各々の標準偏差との差分値であっても良い。
端末装置7は、赤色を呈する病変部位としての出血部位(及び発赤部位)を検出するための処理に用いる閾値を生体粘膜表面の色調に応じて変化させるような、以上に述べた一連の処理を行うことにより、該出血部位(及び該発赤部位)を精度良く検出することができる。具体的には、端末装置7は、図11のフローチャートに示す一連の処理を行うことにより、例えば、赤みを帯びた正常な生体粘膜の表面に出血部位(または発赤部位のうち、少なくとも一の部位)が混在するような像の映像信号が入力された場合であっても、該出血部位(及び該発赤部位)を精度良く検出することができる。その結果、ユーザは、端末装置7を用いた場合、カプセル型内視鏡3による観察を従来に比べて効率的に行うことができる。
なお、本実施形態の画像処理動作として前述した各処理は、カプセル型内視鏡による観察の際に得られた画像に対して適用されるものに限らず、例えば、挿入部及び撮像系を具備する内視鏡等による観察の際に得られた画像に対し適用されるものであっても良い。
(第2の実施形態)
以下、図面を参照して本発明の第2の実施の形態を説明する。図15から図28は、本発明の第2の実施形態に係るものである。図15は、図1の医療用画像処理装置が第2の実施形態において行う処理の手順の一例を示すフローチャートである。図16は、図15のフローチャートの処理を行った場合に得られる各データの模式図である。図17は、図16に示す各データにおいて、出血部位が撮像されているとして判断される値の範囲を示す図である。図18は、図15のフローチャートの処理において用いられる値である、MG_Rとthre1_iとの間の関係の、図13とは異なる例を示す図である。図19は、図1の医療用画像処理装置が第2の実施形態において行う処理の手順の、図15とは異なる例を示すフローチャートである。図20は、図19のフローチャートの処理において用いられる値である、MKG_Rとthre3_iとの間の関係の一例を示す図である。図21は、図1の医療用画像処理装置が図15のフローチャートに続いて行う処理の一例を示す図である。図22は、図15のフローチャートの処理が行われた場合の、出血部位の検出結果の一例を示す図である。図23は、図22の検出結果に対し、ラベリング処理が行われた場合の処理結果の一例を示す図である。図24は、図23のラベル1として示す領域が、図21のフローチャートに基づく処理により拡張された場合の一例を示す図である。
また、図25は、図23のラベル2として示す領域が、図21のフローチャートに基づく処理により拡張された場合の一例を示す図である。図26は、図23のラベル3として示す領域が、図21のフローチャートに基づく処理により拡張された場合の一例を示す図である。図27は、図24から図26までに示す各ラベルの拡張結果に応じて、再度ラベリング処理が行われた場合の処理結果の一例を示す図である。図28は、図15のフローチャートの処理に続いて図21のフローチャートの処理が行われた場合に得られる、出血部位の検出結果の一例を示す図である。
なお、第1の実施形態と同様の構成を持つ部分については、詳細説明は省略する。また、第1の実施形態と同様の構成要素については、同一の符号を用いて説明は省略する。さらに、本実施形態に用いるカプセル型内視鏡装置1の構成は、第1の実施形態に用いるカプセル型内視鏡装置と同様である。また、本実施形態における画像処理動作は、端末本体9が有する制御部9aにおける処理として行われるものとする。
次に、本実施形態の画像処理動作について説明を行う。
まず、画像分割手段及び画像領域分類手段としての制御部9aは、N×Nのサイズ(画素数)を有する画像Iiを、所定のサイズを有する複数の矩形領域、すなわち、M×M(M<N)のサイズを有する(N/M)個の(複数の)小領域Hj(1≦j≦N/M)に分割した(図15のステップS21)後、領域Hj各々に対し、教師データに応じて得られた、例えば、ベイズの識別規則に基づく識別関数等の識別手段を用いた処理を行うことにより、該領域Hj各々における被写体の分類を行う(図15のステップS22)。
なお、説明の簡単のため、制御部9aは、図15のステップS22に示す処理として、前述した、図11のステップS2に示す処理と同様の処理を行うものであるとする。すなわち、特徴量算出手段としての制御部9aは、図15のステップS22に示す処理において、色調特徴量としてのμgj及びμbjの各値を算出するものであるとする。
また、制御部9aに入力される画像のサイズ、及び該画像が分割される際の小領域のサイズは、以降に述べる処理が適用可能なサイズであれば、前述したものに限らず、例えば、画素単位(M=1)であっても良い。
さらに、前述した一連の処理が行われることにより、N/M個の領域のうち、L個(L≦N/M)の領域Hsk(1≦k≦L)が生体粘膜クラスに分類されたとするとともに、領域Hsk各々が有する色調特徴量をμgsk及びμbskとして以降の説明を行う。
その後、制御部9aは、生体粘膜クラスに分類されたL個の領域Hsk各々が有する色調特徴量であるμgsk及びμbskを検出する(図15のステップS23)。さらに、色調基準値算出手段としての制御部9aは、領域Hsk各々が有するμgskの値の平均値を、色調基準値MG_Rとして算出するとともに、領域Hsk各々が有するμbskの値の平均値を、色調基準値MB_Gとして算出する(図15のステップS24)。
具体的には、μgskを横軸とし、μbskを縦軸とした場合、図15のステップS23及びステップS24の処理により得られた各データは、例えば、模式的には図16に示されるようなものとなる。
次に、病変検出基準算出手段としての制御部9aは、MG_Rの値と、例えば、第1の実施形態の説明において述べた、図13のグラフとして示される所定のテーブルデータとに基づき、μgskに関する閾値であり、画像Iiにおける病変検出基準としての閾値thre1_iを算出するとともに、μbskの閾値thre2を設定する(図15のステップS25)。なお、閾値thre2は、MB_Gの値に依存しない所定の値であるとする。また、閾値thre1_iは、前述したテーブルデータを用いて算出されるものに限らず、例えば、MG_Rの値に関する所定の数式に基づいて算出されるものであっても良い。
その後、制御部9aは、領域Hs1、Hs2、・・・、Hs(L−1)、HsLの各領域に対し、以降に記す処理を行うことにより、画像Iiにおいて出血部位が撮像されている領域を検出する。
まず、制御部9aは、k=1と設定した(図15のステップS26)後、領域Hskにおいて算出されたμgsk及びμbskの値が、下記数式(9)及び数式(10)に示す関係を満たすか否かを検出する。

μgsk<MG_R−thre1_i ・・・ (9)
μbsk>MB_G+thre2 ・・・ (10)

そして、画像領域検出手段としての制御部9aは、μgskの値が上記数式(9)に示す関係を満たし、かつ、μbskの値が上記数式(10)に示す関係を満たすことを検出すると(図15のステップS27)、領域Hskに出血部位(または発赤部位の少なくともいずれか一方)が撮像されていると判断する(図15のステップS28)。また、制御部9aは、μgskの値が上記数式(9)に示す関係を満たさないこと、または、μbskの値が上記数式(10)に示す関係を満たさないことのうち、少なくともいずれか一を検出した場合(図15のステップS27)、領域Hskには出血部位(及び発赤部位の両部位)が撮像されていないと判断する(図15のステップS29)。
なお、図15のステップS28の処理において領域Hskが有するμgskの値及びμbskの値の範囲、すなわち、制御部9aにより出血部位が撮像されている領域として判断される値の範囲を図示した場合、該範囲は図17に示す範囲となる。
その後、制御部9aは、画像IiにおけるL個の領域全てに対し、図15のステップS27からステップS29までに示す処理を行ったか否かを判断する。そして、制御部9aは、L個の領域全てに対する処理が行われていないことを検出した場合(図15のステップS30)、k=k+1と設定した(図15のステップS31)後、図15のステップS27からステップS30までの処理を領域Hs(k+1)に対して再度行う。また、制御部9aは、L個の領域全てに対する処理が行われたことを検出した場合(図15のステップS30)、以上に述べた、画像Iiにおいて出血部位(または発赤部位の少なくともいずれか一方)が撮像された領域を検出するための一連の処理を終了する。
端末装置7は、出血部位(及び発赤部位)を検出するための処理に用いる閾値を生体粘膜表面の色調に応じて変化させるような、以上に述べた一連の処理を行うことにより、該出血部位(及び該発赤部位)を精度良く検出することができる。具体的には、端末装置7は、図15のフローチャートに示す一連の処理を行うことにより、例えば、赤みを帯びた正常な生体粘膜の表面に出血部位(または発赤部位のうち、少なくとも一の部位)が混在するような像の映像信号が入力された場合であっても、該出血部位(及び該発赤部位)を精度良く検出することができる。その結果、ユーザは、端末装置7を用いた場合、カプセル型内視鏡3による観察を従来に比べて効率的に行うことができる。
なお、図15のステップS21に示す処理においてM=1とした場合、図15に示す一連の処理は、出血部位が撮像されたか否かを画素単位に判断する処理として示される。この場合、端末装置7は、画像Iiにおける出血部位を、前述した領域Hsk毎に判断する処理に比べてさらに精度良く検出することができる。
また、図15のステップS25に示す処理において、制御部9aがthre1_iの値を算出する際に用いるテーブルデータは、図13に示すグラフのように、色調基準値MG_Rの値に応じて略線形的に変動してゆくものに限らず、非線形的に変動してゆくものであっても良い。具体的には、例えば、制御部9aがthre1_iを算出する際に用いるテーブルデータは、図18に示すグラフのように、MG_Rの値が所定の閾値(例えば0.45)よりも小さい場合のthre1_iの値が0.1となり、また、MG_Rの値が該所定の閾値以上の場合のthre1_iの値が0.3となるようなものであっても良い。
さらに、図15のステップS25に示す処理において設定されるthre2の値は、MB_Gの値に依存しない所定の値に限るものではなく、例えば、thre1_iが算出される際に用いられるテーブルデータとは異なるテーブルデータにより、MB_Gの値に応じた値として算出及び設定されるものであっても良い。
また、制御部9aは、図15のステップS27からステップS29までに示す処理において、上記数式(9)及び数式(10)に基づく判断を行うものに限らず、例えば、下記数式(11)及び数式(12)に基づく判断を行うものであっても良い。

log(μgsk)<log(MG_R)−log(thre1_i) ・・・ (11)
log(μbsk)>log(MB_G)+log(thre2) ・・・ (12)

さらに、本実施形態において、制御部9aは、MG_Rの値及びMB_Gの値に基づく判断を行うものに限るものではない。具体的には、制御部9aは、例えば、μgskに関する閾値thre11及びμbskに関する閾値thre22を用い、μgsk<thre11及びμbsk>thre22の各式の関係を満たした場合に、MG_R及びMB_Gの各値に関係なく、領域Hskに出血部位が撮像されていると判断するものであっても良い。
また、制御部9aは、例えば、図15のステップS22に示す処理において、生体粘膜クラスに分類された各領域に対し、該各領域の色調に基づく分類をさらに行うことにより、胆汁等により黄みを帯びた粘膜表面の像が撮像されている領域、すなわち、黄色調が顕著に示される領域としての黄色粘膜領域と、黄色調が抑制された領域としての通常色粘膜領域とを分類するための処理を行うものであっても良い。そして、その場合、制御部9aは、図15のフローチャートに示す処理に代わり、以降に記すような、図19のフローチャートに示す処理を行う。
まず、画像分割手段及び画像領域分類手段としての制御部9aは、画像Iiを複数の小領域に分割した(図19のステップS41)後、領域Hj各々に対し、教師データに応じて得られた、例えば、ベイズの識別規則に基づく識別関数等の識別手段を用いた処理を行うことにより、該領域Hj各々における被写体の分類を行う(図19のステップS42)。
なお、説明の簡単のため、制御部9aは、図19のステップS42に示す処理として、前述した、図11のステップS2に示す処理と同様の処理を行うものであるとする。すなわち、特徴量算出手段としての制御部9aは、図19のステップS42に示す処理において、色調特徴量としてのμgj及びμbjの各値を算出するものであるとする。
そして、制御部9aは、前述した処理を行うことにより、領域Hj各々を、例えば、便及び泡等の被写体が撮像された領域群としての非生体粘膜クラスと、絨毛等の被写体が撮像された領域群としての生体粘膜クラスとに分類する。さらに、画像領域分類手段としての制御部9aは、生体粘膜クラスに分類された各領域に対し、該各領域の色度に基づく分類をさらに行うことにより、胆汁等により黄みを帯びた粘膜表面の像が撮像されている領域、すなわち、黄色調が顕著に示される領域としての黄色粘膜領域と、黄色調が抑制された領域としての通常色粘膜領域とを分類する。そして、制御部9aは、前述した各分類結果を保持しつつ以降の処理を行う。
その後、制御部9aは、生体粘膜クラスに分類されたL個の領域Hsk各々が有する色調特徴量であるμgsk及びμbskを検出する(図19のステップS43)。
さらに、色調基準値算出手段としての制御部9aは、領域Hsk各々が有するμgskの値の平均値を、色調基準値MG_Rとして算出するとともに、領域Hsk各々が有するμbskの値の平均値を、色調基準値MB_Gとして算出する(図19のステップS44)。また、色調基準値算出手段としての制御部9aは、画像Iiが有する領域Hsk各々のうち、黄色粘膜領域と分類された領域が有するμgskの値の平均値を、色調基準値MKG_Rとして算出するとともに、黄色粘膜領域と分類された領域が有するμbskの値の平均値をMKB_Gとして算出する(図19のステップS45)。
次に、病変検出基準算出手段としての制御部9aは、MG_Rの値と、例えば、第1の実施形態の説明において述べた、図13のグラフとして示されるテーブルデータとに基づき、μgskに関する閾値であり、画像Iiにおける病変検出基準としての閾値thre1_iを算出するとともに、μbskの閾値thre2を設定する(図19のステップS46)。また、病変検出基準算出手段としての制御部9aは、MKG_Rの値と、例えば、図20のグラフとして示されるテーブルデータとに基づき、μgskに関する閾値であり、画像Iiにおける病変検出基準としての閾値thre3_iを(例えば、MKG_R=0.4の場合にはthre3_i=0.3というように)算出するとともに、μbskの閾値thre4を設定する(図19のステップS47)。なお、thre2の値は、MB_Gの値に依存しない所定の値であるとし、また、thre4の値は、MKB_Gの値に依存しない所定の値であるとする。
その後、制御部9aは、領域Hs1、Hs2、・・・、Hs(L−1)、HsLの各領域に対し、以降に記す処理を行うことにより、画像Iiにおいて出血部位が撮像されている領域を検出する。
まず、制御部9aは、k=1と設定した(図19のステップS48)後、領域Hskが黄色粘膜領域に分類された領域、または、通常色粘膜領域に分類された領域のいずれであるかを検出する。
そして、制御部9aは、領域Hskが通常色粘膜領域に分類された領域であることを検出すると(図19のステップS49)、さらに、該領域Hskが有するμgskの値及びμbskの値が、上記数式(9)及び数式(10)に示す関係の両方を満たすか否かを検出する。
画像領域検出手段としての制御部9aは、通常色粘膜領域に分類された領域Hskが有するμgskの値が上記数式(9)に示す関係を満たし、かつ、通常色粘膜領域に分類された領域Hskが有するμbskの値が上記数式(10)に示す関係を満たすことを検出すると(図19のステップS50)、領域Hskに出血部位(または発赤部位の少なくともいずれか一方)が撮像されていると判断する(図19のステップS52)。また、制御部9aは、μgskの値が上記数式(9)に示す関係を満たさないこと、または、μbskの値が数式(10)に示す関係を満たさないことのうち、少なくともいずれか一を検出した場合(図19のステップS50)、領域Hskには出血部位(及び発赤部位の両部位)が撮像されていないと判断する(図19のステップS53)。
一方、制御部9aは、領域Hskが黄色粘膜領域に分類された領域であることを検出すると(図19のステップS49)、さらに、該領域Hskが有するμgskの値及びμbskの値が、下記数式(13)及び数式(14)に示す関係の両方を満たすか否かを検出する。

μgsk<MKG_R−thre3_i ・・・ (13)
μbsk>MKB_G+thre4 ・・・ (14)

そして、画像領域検出手段としての制御部9aは、黄色粘膜領域に分類された領域Hskが有するμgskの値が上記数式(13)に示す関係を満たし、かつ、黄色粘膜領域に分類された領域Hskが有するμbskの値が数式(14)に示す関係を満たすことを検出すると(図19のステップS51)、領域Hskに出血部位(または発赤部位の少なくともいずれか一方)が撮像されていると判断する(図19のステップS52)。また、制御部9aは、μgskの値が上記数式(13)に示す関係を満たさないこと、または、μbskの値が数式(14)に示す関係を満たさないことのうち、少なくともいずれか一を検出した場合(図19のステップS51)、領域Hskには出血部位(及び発赤部位の両部位)が撮像されていないと判断する(図19のステップS53)。
その後、制御部9aは、画像IiにおけるL個の領域全てに対し、図19のステップS49からステップS53までに示す処理を行ったか否かを判断する。そして、制御部9aは、L個の領域全てに対する処理が行われていないことを検出した場合(図19のステップS54)、k=k+1と設定した(図19のステップS55)後、図19のステップS49からステップS54までの処理を領域Hs(k+1)に対して再度行う。また、制御部9aは、L個の領域全てに対する処理が行われたことを検出した場合(図19のステップS54)、以上に述べた、画像Iiにおいて出血部位(または発赤部位の少なくともいずれか一方)が撮像された領域を検出するための一連の処理を終了する。
端末装置7は、図19のフローチャートに示す一連の処理を行うことにより、図15のフローチャートに示す処理を行った場合の効果に加え、例えば、胆汁等に覆われて黄みを帯びた正常な生体粘膜の表面に出血部位(または発赤部位のうち、少なくとも一の部位)が混在するような像の映像信号が入力された場合であっても、該出血部位(及び該発赤部位)を精度良く検出可能であるいう効果を得ることができる。
なお、図19に示す一連の処理は、図15に示す一連の処理と同様に、出血部位が撮像されたか否かを画素毎に判断する処理として行われるものであっても良い。この場合、端末装置7は、画像Iiにおける出血部位を、前述した領域Hsk毎に判断する処理に比べてさらに精度良く検出することができる。
また、図19のステップS47に示す処理において、制御部9aがthre3_iを算出する際に用いるテーブルデータは、図20に示すグラフのような、MKG_Rの値に応じて略線形的に変動してゆくものに限らず、非線形的に変動してゆくものであっても良い。
さらに、本実施形態の図19のステップS47に示す処理において設定されるthre4の値は、MKB_Gの値に依存しない所定の値に限るものではなく、例えば、thre1_i及びthre3_iが算出される際に用いられるテーブルデータとは異なるテーブルデータにより、MKB_Gの値に応じた値として算出及び設定されるものであっても良い。
また、制御部9aは、図19のステップS50、ステップS52及びステップS53に示す処理において、上記数式(9)及び数式(10)に基づく判断を行うものに限らず、上記数式(11)及び数式(12)に基づく判断を行うものであっても良い。さらに、制御部9aは、図19のステップS51、ステップS52及びステップS53に示す処理において、上記数式(13)及び数式(14)に基づく判断を行うものに限らず、上記数式(15)及び数式(16)に基づく判断を行うものであっても良い。

log(μgsk)<log(MKG_R)−log(thre3_i)・・・ (15)
log(μbsk)>log(MKB_G)+log(thre4) ・・・ (16)

さらに、カプセル型内視鏡装置1の制御部9aは、図15に示す処理に加え、以降に記すような、図21のフローチャートに示す処理を行うものであっても良い。
なお、以降においては、図21のフローチャートに示す処理が行われる事前に、図15のフローチャートに示す処理が行われることにより、図22に示すような画像Iiにおける出血部位の検出結果、及び該出血部位を検出するために必要となる各データ(μgsk及びμbsk等)が得られているものとして説明を行う。また、以降においては、図15のフローチャートに示す処理がM=8に設定された状態として行われたものとして説明を行う。
制御部9aは、画像Iiにおける出血部位の検出結果に基づき、出血部位として検出された領域各々に対して番号等を付与することにより、近接した領域同士を同一の領域群に属する領域として扱うためのラベリング処理を行う(図21のステップS61)。具体的には、制御部9aは、図21のステップS61に示すラベリング処理として、例えば、図23に示すように、出血部位として検出された一の領域の隣接8領域に、出血部位として検出された他の領域が存在する場合、該一の領域及び他の領域を、同一の領域群であるラベルp(p=1、2・・・、Q−1、Q)に属する領域として扱うための処理を行う。なお、図23は、Q=3であるとともに、ラベル1に2個の領域が属し、ラベル2に1個の領域が属し、ラベル3に1個の領域が属している例を示している図である。
その後、制御部9aは、p=1と設定した(図21のステップS62)後、ラベルpが有する領域数が閾値thre5より少ないか否かの判定を行う。なお、閾値thre5は、図15のフローチャートに示す処理において用いられるMの値に依存する、ラベルpが有する領域数に関する閾値であり、例えば、本実施形態においてはthre5=5(領域)として設定される値である。
そして、制御部9aは、ラベルpが有する領域数が閾値thre5以上であることを検出した場合(図21のステップS63)、後述する図21のステップS67に示す処理を行う。また、制御部9aは、ラベルpが有する領域数が閾値thre5より少ないことを検出した場合(図21のステップS63)、ラベルpに属する各領域が有するμgskの値のうち、最小となる値μgsk_minを取得する(図21のステップS64)。
さらに、対象領域拡張手段としての制御部9aは、ラベルpに属する各領域の近傍に存在し、かつ、該各領域に類似する色調を有する領域を検出する処理を行う。具体的には、制御部9aは、ラベルpに属する各領域に接する領域のうち、μgsk<(μgsk_min+thre6)となる領域を拡張領域として検出するとともに、該拡張領域を該ラベルpの領域群に付加する(図21のステップS65)。なお、閾値thre6は、μgsk及びμgsk_minの各値に関する閾値であり、例えば、本実施形態においてはthre6=0.1として設定される値である。
そして、制御部9aは、前述した拡張領域に該当する領域が検出されなくなるまでは、図21のステップS65に示す処理を繰り返し行う(図21のステップS66)。また、制御部9aは、ラベルpに属する拡張領域が検出されなくなった場合、さらに、Q個のラベル全てに対し、図21のステップS63からステップS65までに示す処理を行ったか否かを判断する。
そして、制御部9aは、Q個のラベル全てに対する処理が行われていないことを検出した場合(図21のステップS67)、p=p+1と設定した(図21のステップS68)後、図21のステップS63からステップS67までの処理をラベル(p+1)に対して再度行う。また、制御部9aは、Q個のラベル全てに対する処理が行われたことを検出した場合(図21のステップS67)、さらに、後述する図21のステップS69に示す処理を行う。
具体的には、制御部9aは、例えば、図23に示すような状態の各ラベルに対し、図21のステップS62からステップS68までに示す処理を行った場合、ラベル1を図24に示すような領域群として拡張し、ラベル2を図25に示すような領域群として拡張し、ラベル3を図26に示すような領域群として拡張する。
さらに、対象領域拡張手段としての制御部9aは、一のラベルに属する各領域の近傍に存在し、かつ、該各領域に類似する色調を有する領域が属する、他のラベルを検出する処理を行う。具体的には、制御部9aは、一のラベルに属する拡張領域が他のラベルの拡張領域と接しているか否かまたは重なっているか否かを判定する処理を、画像Iiに存在する各ラベルに対して行う。そして、制御部9aは、画像Iiに存在する各ラベルにおいて、一のラベルに属する拡張領域及び他のラベルに属する拡張領域が互いに接しておらず、かつ、重なってもいない状態を検出した場合(図21のステップS69)、該一のラベル及び該他のラベルの色調が類似しないと判断し、後述する図21のステップS71に示す処理を行う。また、制御部9aは、画像Iiに存在する全てのラベルのうち、少なくとも一のラベルに属する拡張領域が他のラベルの拡張領域と接している状態または重なっている状態のいずれか一の状態を検出した場合(図21のステップS69)、該一のラベル及び該他のラベルの色調が類似していると判断し、再度ラベリング処理を行う(図21のステップS70)。
制御部9aは、図21のステップS70に示すラベリング処理に含まれる処理として、例えば、図24、図25及び図27に示すように、拡張領域を含めて12個の領域を有するラベル1と、拡張領域を含めて11個の領域を有するラベル2との間で、6個の領域が重なっていることを検出すると、該ラベル1及び該ラベル2の色調が類似していると判断し、該6個の領域の重なりを取り除いた、17個の領域を有する領域群を新しいラベル1として扱うための処理を行う。また、制御部9aは、図21のステップS70に示すラベリング処理に含まれる処理として、例えば、図26及び図27に示すように、前記新しいラベル1が生成された後、元々ラベル3として扱っていた領域群を、今度は新しいラベル2として扱うための処理を行う。
換言すると、制御部9aは、一のラベルに属する拡張領域が他のラベルの拡張領域と接している状態または重なっている状態のうち、いずれか一の状態を検出した場合、図21のステップS70に示すラベリング処理に含まれる処理として、該一のラベル及び該他のラベルを、同一のラベルであるラベルq(q=1、2、・・・、T−1、T)に属する領域として扱うための処理を行う。
そして、制御部9aは、図21のステップS69の処理またはステップS70の処理が行われた後に、画像Ii内に残っている全てのラベルのうち、図21のステップS64からステップS66までの処理により付加された拡張領域を有するラベルと、該拡張領域を有さないラベルとがどのラベルであるかを各々特定するための処理を行う。
その後、制御部9aは、前述した処理により特定した、拡張領域を有さない各ラベルを、通常の(面積の)出血部位が存在する領域として検出し、以上に述べた画像Iiにおける一連の処理を終了する(図21のステップS71及びステップS73)。また、対象領域判定手段としての制御部9aは、前述した処理により特定した、拡張領域を有する各ラベルに対し、さらに、該各ラベルが有する領域数が閾値thre7以下であるか否かの判定を行う(図21のステップS71及びステップS72)。なお、閾値thre7は、図15のフローチャートに示す処理において用いられるMの値に依存する、前記各ラベルが有する領域数に関する閾値であり、例えば、本実施形態においてはthre7=15(領域)として設定される値である。
そして、制御部9aは、領域数が閾値thre7以下の各ラベルを、(通常に比べて小さな面積の)出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群として検出し、以上に述べた画像Iiにおける一連の処理を終了する(図21のステップS72及びステップS74)。また、制御部9aは、領域数が閾値thre7より大きい各ラベルを、出血部位とは異なる被写体としての、例えば、ひだまたは溝等が存在する領域群として検出するとともに、該各ラベルが有する領域群を、図15のフローチャートに示す処理による出血部位の検出結果から除外した後、以上に述べた画像Iiにおける一連の処理を終了する(図21のステップS72及びステップS75)。
具体的には、制御部9aは、図27に示す新しいラベル1に対し、図21に示すステップS71からステップS75までに示す処理を行うことにより、拡張領域が付加された該新しいラベル1が有する17個の領域を、出血部位とは異なる被写体が存在する領域群として、図15のフローチャートに示す処理による出血部位の検出結果から除外する。また、制御部9aは、図27に示す新しいラベル2に対し、図21に示すステップS71からステップS75までに示す処理を行うことにより、拡張領域が付加された該新しいラベル2が有する5個の領域を、(通常に比べて小さな面積の)出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群として検出する。そして、制御部9aは、最終的な検出結果として、図28に示すような検出結果を得る。
なお、図21のフローチャートに示す処理は、図15のフローチャートに示す処理がM=1に設定された状態として行われた場合であっても、閾値thre5及び閾値thre7の値を(Mの値に応じて)適宜変更することにより適用することが可能である。
また、制御部9aは、図21のステップS72、ステップS74及びステップS75に示す処理において、一のラベルに属する各領域が有するμgskの値に基づく判断を行うものであっても良い。
具体的には、制御部9aは、図21のステップS72、ステップS74及びステップS75に示す処理において、一のラベルに属する各領域のμgskの値の分布に極小値が存在するか否かに基づき、該極小値が存在する場合には、該各領域を(通常に比べて小さな面積の)出血部位または発赤部位の少なくともいずれか一方が撮像されている領域であるとして判定し、該極小値が存在しない場合には、該各領域を出血部位とは異なる被写体が存在する領域であるとして判定するものであっても良い。
また、制御部9aは、図21のステップS72、ステップS74及びステップS75に示す処理において、一のラベルに属する各領域が有するμgskの値の平均値を算出し、該平均値が所定の値以下である場合には、該各領域を(通常に比べて小さな面積の)出血部位または発赤部位の少なくともいずれか一方が撮像されている領域であるとして判定し、該平均値が所定の値より大きい場合には、該各領域を出血部位とは異なる被写体が存在する領域であるとして判定するものであっても良い。
端末装置7は、図21のフローチャートに示す一連の処理を行うことにより、図15のフローチャートに示す処理を行った場合の効果に加え、例えば、通常に比べて小さな面積の出血部位(または発赤部位のうち、少なくとも一の部位)の像を有する映像信号が入力された場合であっても、該出血部位(及び該発赤部位)を精度良く検出可能であるいう効果を得ることができる。
なお、本実施形態の画像処理動作として前述した各処理は、カプセル型内視鏡による観察の際に得られた画像に対して適用されるものに限らず、例えば、挿入部及び撮像系を具備する内視鏡等による観察の際に得られた画像に対し適用されるものであっても良い。
また、本発明は、上述した各実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
本発明の第1の実施形態である画像処理動作が行われる医療用画像処理装置および周辺機器の外観を示した外観正面図。 本実施形態の医療用画像処理装置において処理する所定の画像情報を生成するカプセル型内視鏡の一部を切り取って示した要部拡大断面図。 本実施形態の医療用画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の概略内部構成を示すブロック図。 本実施形態の医療用画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の一使用例を示した図。 図2に示すカプセル型内視鏡から出力される信号の一例を示したタイミングチャート。 図2に示すカプセル型内視鏡の位置検出を説明する説明図。 図3に示すカプセル型内視鏡装置を使用した際におけるアンテナユニットを示した要部拡大断面図。 図3に示すカプセル型内視鏡装置を使用した際におけるシールドジャケットを説明する説明図。 図3に示すカプセル型内視鏡装置の外部装置の被検体への装着状態を説明する説明図。 図2に示すカプセル型内視鏡の電気的な構成を示すブロック図。 図1の医療用画像処理装置が第1の実施形態において行う処理の手順の一例を示すフローチャート。 図11のフローチャートの処理を行った場合に得られる各データの模式図。 図11のフローチャートの処理において用いられる値である、MG_Rとthre1_iとの間の関係の一例を示す図。 図11のフローチャートの処理を行った場合に、出血部位が撮像されているとして判断される値の範囲を示す図。 図1の医療用画像処理装置が第2の実施形態において行う処理の手順の一例を示すフローチャート。 図15のフローチャートの処理を行った場合に得られる各データの模式図。 図16に示す各データにおいて、出血部位が撮像されているとして判断される値の範囲を示す図。 図15のフローチャートの処理において用いられる値である、MG_Rとthre1_iとの間の関係の、図13とは異なる例を示す図。 図1の医療用画像処理装置が第2の実施形態において行う処理の手順の、図15とは異なる例を示すフローチャート。 図19のフローチャートの処理において用いられる値である、MKG_Rとthre3_iとの間の関係の一例を示す図。 図1の医療用画像処理装置が図15のフローチャートに続いて行う処理の一例を示す図。 図15のフローチャートの処理が行われた場合の、出血部位の検出結果の一例を示す図。 図22の検出結果に対し、ラベリング処理が行われた場合の処理結果の一例を示す図。 図23のラベル1として示す領域が、図21のフローチャートに基づく処理により拡張された場合の一例を示す図。 図23のラベル2として示す領域が、図21のフローチャートに基づく処理により拡張された場合の一例を示す図。 図23のラベル3として示す領域が、図21のフローチャートに基づく処理により拡張された場合の一例を示す図。 図24から図26までに示す各ラベルの拡張結果に応じて、再度ラベリング処理が行われた場合の処理結果の一例を示す図。 図15のフローチャートの処理に続いて図21のフローチャートの処理が行われた場合に得られる、出血部位の検出結果の一例を示す図。
符号の説明
1・・・カプセル型内視鏡装置、2・・・患者、3・・・カプセル型内視鏡、3D・・・カプセル本体、4・・・アンテナユニット、5・・・外部装置、5D・・・本体部、6・・・クレードル、7・・・端末装置、8a・・・キーボード、8b・・・マウス、8c・・・ディスプレイ、9・・・端末本体、9a・・・制御部、10・・・ジャケット、11,11a,11b,11c,11d・・・受信アンテナ、12・・・液晶モニタ、13・・・操作部、14・・・外装部材、14a・・・カバー部材、15・・・対物レンズ、16・・・レンズ枠、17・・・電荷結合素子、17A・・・CCDドライバ、18・・・LED、18A・・・LEDドライバ、19,19A・・・処理回路、19B・・・タイミングジェネレータ、19C,19D,19E・・・スイッチ、20・・・通信処理回路、21・・・電池、23・・・送信アンテナ、 33・・・受信回路、35・・・信号処理回路、37・・・送信器、43・・・撮像装置、45・・・アンテナ切換スイッチ、46・・・アンテナ選択回路、47・・・メモリ、72・・・シールドジャケット、73・・・ベルト、74・・・鍵穴、75・・・鍵

Claims (24)

  1. 医療用撮像装置が撮像した被写体の像に応じた画像を、少なくとも1以上の画素からなる複数の領域に分割する画像分割手段と、
    前記画像の色調に基づく特徴量である色調特徴量を前記複数の領域各々において算出する特徴量算出手段と、
    前記複数の領域各々が有する前記色調特徴量に基づき、第1の色調基準値を算出する第1の色調基準値算出手段と、
    病変所見を検出するための第1の病変検出基準を、前記第1の色調基準値に応じて適宜算出する第1の病変検出基準算出手段と、
    前記第1の病変検出基準と、前記複数の領域各々が有する前記色調特徴量とに基づき、前記複数の領域各々のうち、前記病変所見が撮像されている領域である、第1の対象領域を検出する第1の画像領域検出手段と、
    を有することを特徴とする医療用画像処理装置。
  2. さらに、前記医療用画像処理装置は、前記複数の領域のうち、前記被写体として生体粘膜の像が撮像された各領域を生体粘膜クラスとして分類する第1の画像領域分類手段を有することを特徴とする請求項1に記載の医療用画像処理装置。
  3. 前記病変所見は、出血部位または発赤部位の少なくともいずれか一方であることを特徴とする請求項2に記載の医療用画像処理装置。
  4. 前記第1の色調基準値は、前記生体粘膜クラスとして分類された各領域が有する、前記色調特徴量の平均値であることを特徴とする請求項3に記載の医療用画像処理装置。
  5. 前記第1の病変検出基準算出手段は、前記第1の色調基準値に関する所定のテーブルデータに基づき、前記第1の病変検出基準を適宜算出することを特徴とする請求項3または請求項4に記載の医療用画像処理装置。
  6. 前記第1の病変検出基準算出手段は、前記第1の色調基準値に応じた所定の関数を用い、前記第1の病変検出基準を適宜算出することを特徴とする請求項3または請求項4に記載の医療用画像処理装置。
  7. 前記第1の病変検出基準算出手段は、前記第1の色調基準値に応じて構成された識別器に基づき、前記第1の病変検出基準を適宜算出することを特徴とする請求項3または請求項4に記載の医療用画像処理装置。
  8. 前記画像分割手段は、前記画像を所定の画素数を有する複数の矩形領域に分割することを特徴とする請求項1乃至請求項7のいずれか一に記載の医療用画像処理装置。
  9. 前記画像分割手段は、前記画像を画素単位に分割することを特徴とする請求項1乃至請求項7のいずれか一に記載の医療用画像処理装置。
  10. さらに、前記第1の画像領域分類手段の分類結果に基づき、前記生体粘膜クラスに分類された各領域のうち、黄色調が顕著に示される領域を黄色粘膜領域として分類する第2の画像領域分類手段と、
    前記黄色粘膜領域として分類された各領域が有する前記色調特徴量に基づき、第2の色調基準値を算出する第2の色調基準値算出手段と、
    前記黄色粘膜領域として分類された各領域における第2の病変検出基準を、前記第2の色調基準値に応じて算出する第2の病変検出基準算出手段と、
    前記第2の病変検出基準と、前記黄色粘膜領域として分類された各領域が有する前記色調特徴量とに基づき、前記黄色粘膜領域として分類された各領域のうち、出血部位または発赤部位の少なくともいずれか一方が撮像されている領域である、第2の対象領域を検出する第2の画像領域検出手段と、
    を有することを特徴とする請求項3または請求項4に記載の医療用画像処理装置。
  11. さらに、前記第1の対象領域が有する前記色調特徴量に基づき、前記生体粘膜クラスとして分類された各領域のうち、前記第1の対象領域の近傍に存在し、かつ、前記第1の対象領域に類似する色調を有する各領域を、前記第1の対象領域と合わせて一の対象領域群を設定する対象領域拡張手段と、
    前記一の対象領域群が有する領域数に基づき、前記一の対象領域群が出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群であるか否かを判定する対象領域判定手段と、
    を有することを特徴とする請求項3または請求項4に記載の医療用画像処理装置。
  12. さらに、前記第1の対象領域が有する前記色調特徴量に基づき、前記生体粘膜クラスとして分類された各領域のうち、前記第1の対象領域の近傍に存在し、かつ、前記第1の対象領域に類似する色調を有する各領域を、前記第1の対象領域と合わせて一の対象領域群を設定する対象領域拡張手段と、
    前記一の対象領域群が有する前記色調特徴量の平均値に基づき、前記一の対象領域群が出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群であるか否かを判定する対象領域判定手段と、
    を有することを特徴とする請求項3または請求項4に記載の医療用画像処理装置。
  13. 医療用撮像装置が撮像した被写体の像に応じた画像を、少なくとも1以上の画素からなる複数の領域に分割する画像分割手段が、当該画像を、少なくとも1以上の画素からなる複数の領域に分割する画像分割ステップと、
    前記画像の色調に基づく特徴量である色調特徴量を前記複数の領域各々において算出する特徴量算出手段が、当該色調特徴量を前記複数の領域各々において算出する特徴量算出ステップと、
    前記複数の領域各々が有する前記色調特徴量に基づき、第1の色調基準値を算出する第1の色調基準値算出手段が、当該第1の色調基準値を算出する第1の色調基準値算出ステップと、
    病変所見を検出するための第1の病変検出基準を、前記第1の色調基準値に応じて適宜算出する第1の病変検出基準算出手段が、当該第1の病変検出基準を、前記第1の色調基準値に応じて適宜算出する第1の病変検出基準算出ステップと、
    前記第1の病変検出基準と、前記複数の領域各々が有する前記色調特徴量とに基づき、前記複数の領域各々のうち、前記病変所見が撮像されている領域である、第1の対象領域を検出する第1の画像領域検出手段が、当該第1の対象領域を検出する第1の画像領域検出ステップと、
    を有することを特徴とする医療用画像処理装置の作動方法。
  14. さらに、前記複数の領域のうち、前記被写体として生体粘膜の像が撮像された各領域を生体粘膜クラスとして分類する第1の画像領域分類手段が、当該各領域を生体粘膜クラスとして分類する第1の画像領域分類ステップを有することを特徴とする請求項13に記載の医療用画像処理装置の作動方法。
  15. 前記病変所見は、出血部位または発赤部位の少なくともいずれか一方であることを特徴とする請求項14に記載の医療用画像処理装置の作動方法。
  16. 前記第1の色調基準値は、前記生体粘膜クラスとして分類された各領域が有する、前記色調特徴量の平均値であることを特徴とする請求項15に記載の医療用画像処理装置の作動方法。
  17. 前記第1の病変検出基準算出ステップにおける前記第1の病変検出基準算出手段は、前記第1の色調基準値に関する所定のテーブルデータに基づき、前記第1の病変検出基準を適宜算出することを特徴とする請求項15または請求項16に記載の医療用画像処理装置の作動方法。
  18. 前記第1の病変検出基準算出ステップにおける前記第1の病変検出基準算出手段は、前記第1の色調基準値に応じた所定の関数を用い、前記第1の病変検出基準を適宜算出することを特徴とする請求項15または請求項16に記載の医療用画像処理装置の作動方法。
  19. 前記第1の病変検出基準算出ステップにおける前記第1の病変検出基準算出手段は、前記第1の色調基準値に応じて構成された識別器に基づき、前記第1の病変検出基準を適宜算出することを特徴とする請求項15または請求項16に記載の医療用画像処理装置の作動方法。
  20. 前記画像分割ステップにおける前記画像分割手段は、前記画像を所定の画素数を有する複数の矩形領域に分割することを特徴とする請求項13乃至請求項19のいずれか一に記載の医療用画像処理装置の作動方法。
  21. 前記画像分割ステップにおける前記画像分割手段は、前記画像を画素単位に分割することを特徴とする請求項13乃至請求項19のいずれか一に記載の医療用画像処理装置の作動方法。
  22. さらに、前記第1の画像領域分類ステップの分類結果に基づき、前記生体粘膜クラスに分類された各領域のうち、黄色調が顕著に示される領域を黄色粘膜領域として分類する第2の画像領域分類手段が、当該各領域のうち、黄色調が顕著に示される領域を黄色粘膜領域として分類する第2の画像領域分類ステップと、
    前記黄色粘膜領域として分類された各領域が有する前記色調特徴量に基づき、第2の色調基準値を算出する第2の色調基準値算出手段が、当該第2の色調基準値を算出する第2の色調基準値算出ステップと、
    前記黄色粘膜領域として分類された各領域における第2の病変検出基準を、前記第2の色調基準値に応じて算出する第2の病変検出基準算出手段が、当該第2の病変検出基準を、前記第2の色調基準値に応じて算出する第2の病変検出基準算出ステップと、
    前記第2の病変検出基準と、前記黄色粘膜領域として分類された各領域が有する前記色調特徴量とに基づき、前記黄色粘膜領域として分類された各領域のうち、出血部位または発赤部位の少なくともいずれか一方が撮像されている領域である、第2の対象領域を検出する第2の画像領域検出手段が、当該第2の対象領域を検出する第2の画像領域検出ステップと、
    を有することを特徴とする請求項15または請求項16に記載の医療用画像処理装置の作動方法。
  23. さらに、前記第1の対象領域が有する前記色調特徴量に基づき、前記生体粘膜クラスとして分類された各領域のうち、前記第1の対象領域の近傍に存在し、かつ、前記第1の対象領域に類似する色調を有する各領域を、前記第1の対象領域と合わせて一の対象領域群を設定する対象領域拡張手段が、当該各領域のうち、前記第1の対象領域の近傍に存在し、かつ、前記第1の対象領域に類似する色調を有する各領域を、前記第1の対象領域と合わせて一の対象領域群を設定する対象領域拡張ステップと、
    前記一の対象領域群が有する領域数に基づき、前記一の対象領域群が出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群であるか否かを判定する対象領域判定手段が、当該一の対象領域群が出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群であるか否かを判定する対象領域判定ステップと、
    を有することを特徴とする請求項15または請求項16に記載の医療用画像処理装置の作動方法。
  24. さらに、前記第1の対象領域が有する前記色調特徴量に基づき、前記生体粘膜クラスとして分類された各領域のうち、前記第1の対象領域の近傍に存在し、かつ、前記第1の対象領域に類似する色調を有する各領域を、前記第1の対象領域と合わせて一の対象領域群を設定する対象領域拡張手段が、当該各領域のうち、前記第1の対象領域の近傍に存在し、かつ、前記第1の対象領域に類似する色調を有する各領域を、前記第1の対象領域と合わせて一の対象領域群を設定する対象領域拡張ステップと、
    前記一の対象領域群が有する前記色調特徴量の平均値に基づき、前記一の対象領域群が出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群であるか否かを判定する対象領域判定手段が、当該一の対象領域群が出血部位または発赤部位の少なくともいずれか一方が撮像されている領域群であるか否かを判定する対象領域判定ステップと、
    を有することを特徴とする請求項15または請求項16に記載の医療用画像処理装置の作動方法。
JP2006216250A 2006-08-08 2006-08-08 医療用画像処理装置及び医療用画像処理装置の作動方法 Active JP4912787B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006216250A JP4912787B2 (ja) 2006-08-08 2006-08-08 医療用画像処理装置及び医療用画像処理装置の作動方法
PCT/JP2007/063483 WO2008018259A1 (fr) 2006-08-08 2007-07-05 dispositif de traitement d'image médicale et procédé de traitement d'image médicale
EP07768232A EP2052674A4 (en) 2006-08-08 2007-07-05 MEDICAL PICTURE PROCESSING DEVICE AND MEDICAL PICTURE PROCESSING METHOD
US12/366,116 US8160329B2 (en) 2006-08-08 2009-02-05 Medical image processing device and medical image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006216250A JP4912787B2 (ja) 2006-08-08 2006-08-08 医療用画像処理装置及び医療用画像処理装置の作動方法

Publications (2)

Publication Number Publication Date
JP2008036243A JP2008036243A (ja) 2008-02-21
JP4912787B2 true JP4912787B2 (ja) 2012-04-11

Family

ID=39032795

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006216250A Active JP4912787B2 (ja) 2006-08-08 2006-08-08 医療用画像処理装置及び医療用画像処理装置の作動方法

Country Status (4)

Country Link
US (1) US8160329B2 (ja)
EP (1) EP2052674A4 (ja)
JP (1) JP4912787B2 (ja)
WO (1) WO2008018259A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1643906A2 (en) * 2003-06-12 2006-04-12 University of Utah Research Foundation Apparatus, systems and methods for diagnosing carpal tunnel syndrome
JP2009268591A (ja) 2008-05-01 2009-11-19 Olympus Corp 生体観察システム及び生体観察システムの駆動方法
JP4603098B2 (ja) * 2008-10-14 2010-12-22 オリンパスメディカルシステムズ株式会社 医療システム
KR100996050B1 (ko) 2008-11-07 2010-11-22 주식회사 인트로메딕 캡슐 내시경 영상을 이용한 U-Health 기반의 자동병변 검출 시스템
EP2358259A4 (en) * 2008-11-21 2014-08-06 Mayo Foundation DARMSMIRROR TRACKING AND EVALUATION SYSTEM
JP5806448B2 (ja) * 2009-05-13 2015-11-10 株式会社東芝 核医学イメージング装置、画像処理装置および画像処理方法
US8644608B2 (en) * 2009-10-30 2014-02-04 Eiffel Medtech Inc. Bone imagery segmentation method and apparatus
JP5570866B2 (ja) * 2010-04-30 2014-08-13 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP5576711B2 (ja) 2010-05-14 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5620194B2 (ja) * 2010-08-24 2014-11-05 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5658945B2 (ja) * 2010-08-24 2015-01-28 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
CN102753078B (zh) * 2010-09-24 2015-03-18 奥林巴斯医疗株式会社 图像显示装置以及胶囊型内窥镜系统
US8922633B1 (en) 2010-09-27 2014-12-30 Given Imaging Ltd. Detection of gastrointestinal sections and transition of an in-vivo device there between
US8965079B1 (en) 2010-09-28 2015-02-24 Given Imaging Ltd. Real time detection of gastrointestinal sections and transitions of an in-vivo device therebetween
JP5800626B2 (ja) * 2011-07-29 2015-10-28 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5851160B2 (ja) * 2011-08-31 2016-02-03 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
EP3603510B1 (en) * 2012-07-25 2023-03-08 Intuitive Surgical Operations, Inc. Efficient and interactive bleeding detection in a surgical system
JP6176978B2 (ja) * 2013-01-31 2017-08-09 オリンパス株式会社 内視鏡用画像処理装置、内視鏡装置、内視鏡用画像処理装置の作動方法及び画像処理プログラム
JP5622903B2 (ja) * 2013-08-05 2014-11-12 オリンパス株式会社 画像処理装置、画像処理装置の作動方法および画像処理プログラム
US9324145B1 (en) 2013-08-08 2016-04-26 Given Imaging Ltd. System and method for detection of transitions in an image stream of the gastrointestinal tract
JP6335007B2 (ja) * 2014-04-18 2018-05-30 オリンパス株式会社 カプセル内視鏡システム、カプセル内視鏡、受信装置、カプセル内視鏡の作動方法、及びプログラム
JP6249867B2 (ja) * 2014-04-18 2017-12-20 オリンパス株式会社 カプセル内視鏡システム、カプセル内視鏡、受信装置、カプセル内視鏡の撮像制御方法、及びプログラム
US9633276B2 (en) * 2014-07-14 2017-04-25 Sony Corporation Blood detection system with real-time capability and method of operation thereof
JP6552613B2 (ja) * 2015-05-21 2019-07-31 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
US10314514B2 (en) * 2016-05-29 2019-06-11 Ankon Medical Technologies (Shanghai) Co., Ltd. System and method for using a capsule device
US10594931B2 (en) 2017-12-12 2020-03-17 Verily Life Sciences Llc Reducing smoke occlusion in images from surgical systems
JP6945493B2 (ja) * 2018-05-09 2021-10-06 富士フイルム株式会社 医用画像処理装置、方法およびプログラム
JP7038641B2 (ja) * 2018-11-02 2022-03-18 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び作動方法
US10799090B1 (en) * 2019-06-13 2020-10-13 Verb Surgical Inc. Method and system for automatically turning on/off a light source for an endoscope during a surgery
US20220028547A1 (en) * 2020-07-22 2022-01-27 Iterative Scopes, Inc. Systems and methods for analysis of medical images for scoring of inflammatory bowel disease
WO2023067922A1 (ja) * 2021-10-20 2023-04-27 富士フイルム株式会社 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡システム
WO2023119795A1 (ja) * 2021-12-22 2023-06-29 富士フイルム株式会社 内視鏡システム及びその作動方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2302594A3 (en) * 1998-11-25 2011-04-06 Wake Forest University Virtual endoscopy with improved image segmentation and lesion detection
US6297044B1 (en) * 1999-02-23 2001-10-02 Oralscan Laboratories, Inc. Minimally invasive apparatus for testing lesions of the oral cavity and similar epithelium
US20020177779A1 (en) 2001-03-14 2002-11-28 Doron Adler Method and system for detecting colorimetric abnormalities in vivo
US7613335B2 (en) * 2003-02-12 2009-11-03 The University Of Iowa Research Foundation Methods and devices useful for analyzing color medical images
JP4652694B2 (ja) * 2004-01-08 2011-03-16 オリンパス株式会社 画像処理方法
JP2006216250A (ja) 2005-02-01 2006-08-17 Toyota Motor Corp 燃料電池モジュールの製造方法及び燃料電池モジュール
US7474775B2 (en) * 2005-03-31 2009-01-06 University Of Iowa Research Foundation Automatic detection of red lesions in digital color fundus photographs
US8467583B2 (en) * 2005-04-04 2013-06-18 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Medical imaging method and system

Also Published As

Publication number Publication date
US20090196476A1 (en) 2009-08-06
US8160329B2 (en) 2012-04-17
EP2052674A1 (en) 2009-04-29
EP2052674A4 (en) 2010-05-19
WO2008018259A1 (fr) 2008-02-14
JP2008036243A (ja) 2008-02-21

Similar Documents

Publication Publication Date Title
JP4912787B2 (ja) 医療用画像処理装置及び医療用画像処理装置の作動方法
JP4624841B2 (ja) 画像処理装置および当該画像処理装置における画像処理方法
US8363962B2 (en) Image processing device and image processing method in image processing device for identifying features in an image
JP4472631B2 (ja) 画像処理装置および当該画像処理装置における画像処理方法
JP4615963B2 (ja) カプセル型内視鏡装置
JP4652694B2 (ja) 画像処理方法
US7953261B2 (en) Image processing apparatus and image processing method
JP4520405B2 (ja) 画像処理装置および当該画像処理装置における画像処理方法
US8711205B2 (en) Image display device and capsule endoscope system
JP4624842B2 (ja) 画像処理方法、画像処理装置及びプログラム
US20220218181A1 (en) Processing apparatus, processing method, and computer readable recording medium
WO2021176708A1 (ja) アンテナシステム、カプセル型内視鏡システム及びアンテナシステムの作動方法
JPWO2017217029A1 (ja) 動き判定装置、被検体内導入装置、動き判定方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111227

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120118

R151 Written notification of patent or utility model registration

Ref document number: 4912787

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150127

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250