JP6744712B2 - 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法 - Google Patents

内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法 Download PDF

Info

Publication number
JP6744712B2
JP6744712B2 JP2015246789A JP2015246789A JP6744712B2 JP 6744712 B2 JP6744712 B2 JP 6744712B2 JP 2015246789 A JP2015246789 A JP 2015246789A JP 2015246789 A JP2015246789 A JP 2015246789A JP 6744712 B2 JP6744712 B2 JP 6744712B2
Authority
JP
Japan
Prior art keywords
image
correction
biometric feature
oxygen saturation
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015246789A
Other languages
English (en)
Other versions
JP2017108982A (ja
Inventor
拓明 山本
拓明 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2015246789A priority Critical patent/JP6744712B2/ja
Priority to EP16875218.6A priority patent/EP3391806B1/en
Priority to PCT/JP2016/079404 priority patent/WO2017104233A1/ja
Publication of JP2017108982A publication Critical patent/JP2017108982A/ja
Priority to US15/954,602 priority patent/US10869590B2/en
Application granted granted Critical
Publication of JP6744712B2 publication Critical patent/JP6744712B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00057Operational features of endoscopes provided with means for testing or calibration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007Evaluating blood vessel condition, e.g. elasticity, compliance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/1459Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0223Operational features of calibration, e.g. protocols for calibrating sensors

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Endoscopes (AREA)

Description

本発明は、観察対象の酸素飽和度を算出する内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法に関する。
医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いて診断することが一般的になっている。特に、観察対象を自然に観察するだけでなく、照明光の波長を工夫したり、観察対象を撮影した画像に分光推定処理等の処理を施したりすることによって、血管や腺管構造等の特定の組織や構造を強調した画像を得る内視鏡システムが普及している。
近年では、観察対象を撮影した画像を用いて生体機能情報を得る内視鏡システムもある。例えば、観察対象が含むヘモグロビンの酸素飽和度を表す画像(以下、酸素飽和度画像という)を用いた病変の診断が行われつつある。酸素飽和度を算出するためには、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域の照明光によってそれぞれ観察対象を撮影する。そして、得られた画像の画素値を用いて所定の演算値を算出し、演算値を酸素飽和度に対応付ける相関関係を表すルックアップテーブルを用いて、観察対象の酸素飽和度を算出する。演算値と酸素飽和度との相関関係は、食道、胃、大腸等の各種部位や、性別、年齢等の患者の個体差等によって異なる場合がある。このため、特許文献1では、実際に観察対象の酸素飽和度を算出する前に、観察対象の正常部を撮影するプレ撮影を行って、ルックアップテーブルを校正している。
特開2013−22341号公報
特許文献1のようにプレ撮影を行って、演算値を酸素飽和度に対応付けるルックアップテーブルを校正する場合、プレ撮影では観察対象の正常な部分を適切に撮影することが必要であるが、プレ撮影では、露光量が極端に大きい又は小さい場合や、動きが生じた場合、観察距離が極端に遠い又は近い場合、付着物の写り込み等が生じる場合がある。その場合には、ルックアップテーブルの校正を正確に行うことが難しいため、酸素飽和度を正確に算出することが難しい。したがって、プレ撮影時の撮影条件が酸素飽和度の算出精度に大きく影響することから、プレ撮影が適切な条件下で行われたかどうかを事後的に検証できるようにすることが求められていた。
本発明は、プレ撮影が適切な条件下で行われたかどうかを事後的に検証することができる内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法を提供することを目的とする。
本発明の内視鏡システムは、波長帯域が異なる複数の照明光によってそれぞれ観察対象を撮像して得る複数の生体特徴量算出用画像を用いて観察対象の生体特徴量を算出する生体特徴量算出部を有する内視鏡システムにおいて、観察対象を撮像して得る補正用画像を取得する画像取得部と、補正用画像を用いて、生体特徴量に対する生体特徴量補正量を算出する生体特徴量補正量算出部と、生体特徴量補正量にしたがって生体特徴量算出部が算出した生体特徴量の補正をする生体特徴量補正部と、補正用画像と、補正後の生体特徴量を表す生体特徴量画像とを関連付けて保存する保存部とを備え、保存部が、生体特徴量画像と関連付けられた補正用画像と、生体特徴量画像と関連付けられていない補正用画像を含む複数セットの補正用画像を保存しており、生体特徴量画像と関連付けられた補正用画像は、検証モードを実行することで、生体特徴量画像と並べて、ユーザが選択可能な状態で表示部に表示され、生体特徴量画像と関連付けられていない補正用画像は、生体特徴量の補正のやり直しを行うために、検証モード中の入力操作に従って、生体特徴量画像と並べて表示部に表示され、補正用画像は、ユーザによる入力操作により選択される補正用画像であって、生体特徴量補正量の算出に適切な補正用画像であり、生体特徴量補正量算出部は、選択された補正用画像を用いて、生体特徴量補正量の算出をやり直す。
生体特徴量とは形態的生体特徴量あるいは機能的生体特徴量である。形態的生体特徴量とは血管情報であり、機能的生体特徴量とは酸素飽和度である。
保存部は、生体特徴量画像に加え、生体特徴量画像の生成に用いる生体特徴量算出用画像、生体特徴量補正量算出部が算出した生体特徴量補正量、補正後の生体特徴量、補正前の生体特徴量、のいずれかを補正用画像に関連付けて保存することが好ましい。
補正用画像と生体特徴量画像とを表示する表示部を備えることが好ましい。
保存部が保存する補正用画像に対して、使用可能領域を設定する領域設定部を備え、生体特徴量補正量算出部は、領域設定部が使用可能領域を設定した場合、使用可能領域を用いて生体特徴量補正量の算出をやり直し、生体特徴量補正部は、生体特徴量補正量算出部が再算出した生体特徴量補正量を用いて生体特徴量の補正をやり直すことが好ましい。
領域設定部は、補正用画像に対して不使用領域を設定することで、不使用領域以外の領域を使用可能領域に設定することが好ましい。
保存部が補正用画像を複数セット保存しており、かつ、生体特徴量補正量算出部が生体特徴量補正量の算出に使用した補正用画像が不適切であった場合、生体特徴量補正量算出部は、補正用画像のセットを変えて生体特徴量補正量の算出をやり直し、生体特徴量補正部は、生体特徴量補正量算出部が再算出した生体特徴量補正量を用いて生体特徴量の補正をやり直すことが好ましい。
生体特徴量補正量算出部が生体特徴量補正量の算出に使用した補正用画像が不適切であった場合、画像取得部は、補正用画像を再取得し、生体特徴量補正量算出部は、画像取得部が再取得した新たな補正用画像を用いて生体特徴量補正量の算出をやり直し、生体特徴量補正部は、生体特徴量補正量算出部が再算出した生体特徴量補正量を用いて生体特徴量の補正をやり直すことが好ましい。
画像取得部が観察対象の観察中にリアルタイムに補正用画像及び生体特徴量算出用画像を取得する場合と、画像取得部が観察対象の観察の完了後に補正用画像及び生体特徴量算出用画像を取得する場合とで、生体特徴量補正量算出部が生体特徴量補正量の算出の精度を変更し、かつ生体特徴量補正部が生体特徴量の補正の精度を変更することが好ましい。
画像取得部が観察対象の観察の完了後に補正用画像及び生体特徴量算出用画像を取得した場合における生体特徴量補正量の算出の精度及び生体特徴量の補正の精度は、画像取得部が観察対象の観察中にリアルタイムに補正用画像及び生体特徴量算出用画像を取得した場合における生体特徴量補正量の算出の精度及び生体特徴量の補正の精度よりも高くすることが好ましい。
画像取得部は、生体特徴量算出部による生体特徴量の算出に先立って観察対象を撮像して得る補正用画像を取得することが好ましい。
本発明のプロセッサ装置は、波長帯域が異なる複数の照明光によってそれぞれ観察対象を撮像して得る複数の生体特徴量算出用画像を用いて観察対象の生体特徴量を算出する生体特徴量算出部を有するプロセッサ装置において、観察対象を撮像して得る補正用画像を取得する画像取得部と、補正用画像を用いて、生体特徴量に対する生体特徴量補正量を算出する生体特徴量補正量算出部と、生体特徴量補正量にしたがって生体特徴量算出部が算出した生体特徴量の補正をする生体特徴量補正部と、補正用画像と、補正後の生体特徴量を表す生体特徴量画像とを関連付けて保存する保存部と、を備え、保存部が、生体特徴量画像と関連付けられた補正用画像と、生体特徴量画像と関連付けられていない補正用画像を含む複数セットの補正用画像を保存しており、生体特徴量画像と関連付けられた補正用画像は、検証モードを実行することで、生体特徴量画像と並べて、ユーザが選択可能な状態で表示部に表示するために用いられ、生体特徴量画像と関連付けられていない補正用画像は、生体特徴量の補正のやり直しを行うために、検証モード中の入力操作に従って、生体特徴量画像と並べて表示部に表示するために用いられ、補正用画像は、ユーザによる入力操作により選択される補正用画像であって、生体特徴量補正量の算出に適切な補正用画像であり、生体特徴量補正量算出部は、選択された補正用画像を用いて、生体特徴量補正量の算出をやり直す.
本発明の内視鏡システムの作動方法は、波長帯域が異なる複数の照明光によってそれぞれ観察対象を撮像して得る複数の生体特徴量算出用画像を用いて観察対象の生体特徴量を算出する生体特徴量算出部を有する内視鏡システムの作動方法において、画像取得部が、観察対象を撮像して得る補正用画像を取得するステップと、生体特徴量補正量算出部が、補正用画像を用いて、生体特徴量に対する生体特徴量補正量を算出するステップと、生体特徴量算出部が、生体特徴量を算出するステップと、生体特徴量補正部が、生体特徴量補正量にしたがって生体特徴量算出部が算出した生体特徴量の補正をするステップと、保存部が、補正用画像と、補正後の生体特徴量を表す生体特徴量画像とを関連付けて保存するステップと、を備え、保存部が、生体特徴量画像と関連付けられた補正用画像と、生体特徴量画像と関連付けられていない補正用画像を含む複数セットの補正用画像を保存しており、生体特徴量画像と関連付けられた補正用画像は、検証モードを実行することで、生体特徴量画像と並べて、ユーザが選択可能な状態で表示部に表示され、生体特徴量画像と関連付けられていない補正用画像は、生体特徴量の補正のやり直しを行うために、検証モード中の入力操作に従って、生体特徴量画像と並べて表示部に表示され、補正用画像は、ユーザによる入力操作により選択される補正用画像であって、生体特徴量補正量の算出に適切な補正用画像であり、生体特徴量補正量算出部は、選択された補正用画像を用いて、生体特徴量補正量の算出をやり直す。

本発明の内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法は、プレ撮影が適切な条件下で行われたかどうかを事後的に検証することができる。
内視鏡システムの外観図である。 内視鏡システムのブロック図である。 特殊処理部のブロック図である。 酸素飽和度の算出に用いるLUTの内容を示すグラフである。 理想的な観察対象と実際の観察対象のずれを表すグラフである。 検証モード非実行時のモニタの表示画面(a)と、検証モード実行時のモニタの表示画面(b)である。 酸素飽和度観察モードの動作の流れを示すフローチャートである。 酸素飽和度画像と酸素飽和度算出用画像を補正用画像に関連付けて保存する保存部のブロック図である。 酸素飽和度画像と酸素飽和度補正量を補正用画像に関連付けて保存する保存部のブロック図である。 酸素飽和度画像と補正後の酸素飽和度を補正用画像に関連付けて保存する保存部のブロック図である。 酸素飽和度画像と補正前の酸素飽和度を補正用画像に関連付けて保存する保存部のブロック図である。 領域設定部を有する特殊処理部のブロック図である。 使用可能領域を指定する方法を説明する説明図である。 不使用領域以外の領域を使用可能領域に指定する方法を説明する説明図である。 酸素飽和度補正量の算出精度及び酸素飽和度の補正精度の変更を説明するフローチャートである。 第3実施形態の特殊処理部のブロック図である。 第3実施形態の酸素飽和度観察モードの動作の流れを示すフローチャートである。 第4実施形態の特殊処理部のブロック図である。 酸素飽和度の算出に用いるLUTの校正方法を示すグラフである。 第5実施形態の内視鏡システムのブロック図である。 通常観察モード時に発する光のスペクトルを示すグラフである。 酸素飽和度観察モード時に発する光のスペクトルを示すグラフである。 第6実施形態の内視鏡システムのブロック図である。 回転フィルタを示す平面図である。 第7実施形態のカプセル内視鏡の概略図である。
[第1実施形態]
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18(表示部)と、コンソール19とを有する。内視鏡12は光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作によって、先端部12dが所望の方向に向けられる。
また、操作部12bには、アングルノブ12eの他、モード切り替えスイッチ13a、ズーム操作部13bが設けられている。モード切り替えスイッチ13aは、観察モードの切り替え操作に用いる。内視鏡システム10は、通常観察モードと酸素飽和度観察モードの2つの観察モードを有している。通常観察モードは、白色光で観察対象を照明して、その観察対象を撮影し、自然な色合いの画像(以下、通常画像という)をモニタ18に表示する。酸素飽和度観察モードは、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域の光等で観察対象を照明して、観察対象を撮影して得た画像と、生体特徴量としての酸素飽和度との相関関係を用いて観察対象の酸素飽和度を算出し、酸素飽和度を表す酸素飽和度画像をモニタ18に表示する。なお、生体特徴量は、例えば血管やピットパターンなどの大きさや形といった形態を表す情報、あるいは観察部位の働きや代謝などの機能を表す情報を示す。前者の生体特徴量は形態的生体特徴量ともいい、後者の生体特徴量は機能的生体特徴量ともいう。酸素飽和度は、機能的生体特徴量に含まれる。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続される。モニタ18は、各観察モードの画像や画像に付帯する画像情報等を出力表示する。コンソール19は、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置16には、画像や画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
図2に示すように、光源装置14は、照明光を発光する光源部20と、光源部20の駆動を制御する光源制御部22と、を備えている。
光源部20は、B1光源20a、B2光源20b、G光源20c、及び、R光源20dの4個の光源を備える。本実施形態では、B1光源20a、B2光源20b、G光源20c、及び、R光源20dはいずれもLED(Light Emitting Diode)である。光源部20には、これらのLEDの代わりに、LD(Laser Diode)と蛍光体と帯域制限フィルタとの組み合わせや、キセノンランプ等の広帯域光源と帯域制限フィルタとの組み合わせ等を用いることができる。
B1光源20a及びB2光源20bは両方とも青色光を発光する青色光源である。但し、B1光源20aが発光する青色光(以下、B1光という)と、B2光源20bが発光する青色光(以下、B2光という)とでは、中心波長及び波長帯域が異なる。B1光は、中心波長及び波長帯域が470±10nmの狭帯域な青色光である。このB1光の中心波長及び波長帯域は、青色波長帯域の中で酸化ヘモグロビンと還元ヘモグロビンの吸光係数の差が概ね極大になる中心波長及び波長帯域である。したがって、B1光は、酸素飽和度観察モードで使用する。一方、B2光は、中心波長が約450±10nmであり、波長帯域が約400〜500nmの広帯域な青色光である。B2光は、通常観察モード及び酸素飽和度観察モードで使用する。
G光源20cは、中心波長が540±20nmであり、波長帯域が約480〜600nmの広帯域な緑色光(以下、G光という)を発光する緑色光源である。R光源20dは、中心波長が640±20nmであり、波長帯域が約600〜700nmの広帯域な赤色光(以下、R光という)を発する赤色光源である。G光及びR光は、通常観察モード及び酸素飽和度観察モードで使用する。なお、各色の光は、それぞれの中心波長とピーク波長とが同じであっても良いし、異なっていても良い。
光源制御部22は、光源部20を構成する各光源20a〜20dの点灯や消灯のタイミングや発光量等をそれぞれ制御することで、照明光の分光スペクトルや光量を制御する。
通常観察モードの場合、光源制御部22は、B2光源20b、G光源20c、及びR光源20dを点灯する。このため、通常観察モードでは、B2光、G光、及びR光からなる白色光が照明光になる。
酸素飽和度観察モードの場合、光源制御部22は、撮影フレームごとに照明光を切り替える。具体的には、ある撮影フレーム(以下、第1フレームという)ではB1光源20aを点灯し、次の撮影フレーム(以下、第2フレームという)ではB2光源20b、G光源20c、及びR光源20dを点灯する。すなわち、第1フレームの照明光はB1光であり、第2フレームの照明光は、B2光、G光、及びR光からなる白色光である。
また、通常観察モードから酸素飽和度観察モードに移行した場合には、光源制御部22は、撮影フレームに合わせてB1光源20a、B2光源20b、G光源20c、及びR光源20dを順次点灯し、照明光をB1光、B2光、G光、及びR光に順次切り替える。各種照明光の切り替えは、通常観察モードから酸素飽和度観察モードに移行した場合に少なくとも1回行う。これは、後述する酸素飽和度の補正のためである。
光源部20が発光した上記各種照明光は、ライトガイド24に入射する。ライトガイド24は、内視鏡12及びユニバーサルコード(内視鏡12と光源装置14及びプロセッサ装置16とを接続するコード)内に内蔵されており、照明光を内視鏡12の先端部12dまで伝搬する。なお、ライトガイド24としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた経がφ0.3〜0.5mmの細径なファイバケーブルを使用することができる。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ32を有しており、この照明レンズ32を介して照明光が観察対象に照射される。撮像光学系30bは、対物レンズ34、ズームレンズ36、イメージセンサ38を有している。イメージセンサ38は、対物レンズ34及びズームレンズ36を介して、観察対象から戻る照明光の反射光や散乱光等(観察対象が発する蛍光や観察対象に投与した薬剤による蛍光を含む)によって観察対象を撮影する。なお、ズームレンズ36は、ズーム操作部13bの操作によって移動し、イメージセンサ38で撮影する観察対象を拡大または縮小する。
イメージセンサ38は、原色系のカラーセンサであり、青色カラーフィルタが設けられたB画素(青色画素)、緑色カラーフィルタが設けられたG画素(緑色画素)、及び、赤色カラーフィルタが設けられたR画素(赤色画素)の3種類の画素を有する。このため、イメージセンサ38で観察対象を撮影すると、B画像(青色画像)、G画像(緑色画像)、R画像(赤色画像)の3種類の画像が得られる。
なお、イメージセンサ38は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及びグリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に得られる各色の画像は、原色系のカラーセンサを用いる場合と同様のB画像、G画像、R画像に変換することができる。
酸素飽和度観察モードの場合、第1フレームの照明光はB1光であり、緑色光や赤色光を含まないので、酸素飽和度観察モードの第1フレームでは実質的にB画像のみが得られる。一方、酸素飽和度観察モードの第2フレームの照明光は白色光なので、B画像、G画像、R画像が得られる。以下、区別のため、第1フレームで得るB画像をB1画像といい、第2フレームで得るB画像をB2画像という。
酸素飽和度観察モードでは、上記のように実際に観察対象の酸素飽和度を算出し、酸素飽和度画像の生成に使用する酸素飽和度算出用画像を得る「本撮影」を行う他、酸素飽和度の補正に使用する補正用画像を得る「プレ撮影」を行う。なお、酸素飽和度画像は、特許請求の範囲に記載の「生体特徴量画像」に対応し、酸素飽和度算出用画像は、特許請求の範囲に記載の「生体特徴量算出用画像」に対応する。
プレ撮影は、酸素飽和度の補正用に行う撮影なので観察対象の正常な部分を撮影する。観察対象の正常な部分とは、明らかな病変や付着物等がなく酸素飽和度に異常が発生しないと考える部分である。以下、実際に酸素飽和度を算出する部分を本撮影して得るB1画像、B2画像、G画像、及びR画像を酸素飽和度算出用画像76(図3参照)という。また、補正用に観察対象の正常な部分をプレ撮影して得るB1画像、B2画像、G画像、及びR画像を補正用画像86(図3参照)という。本実施形態では、通常観察モードから酸素飽和度観察モードに移行すると、本撮影に先立ってプレ撮影を1回行う。プレ撮影を1回行うと、上記のように、4フレーム分の画像(B1画像、B2画像、G画像、及びR画像)が得られる。なお、プレ撮影は本撮影の後に行っても良い。また、1回のプレ撮影に対して、本撮影を1回行っても良いし複数回行っても良い。プレ撮影は、2回以上行っても良い。プレ撮影をコンソール19等の入力操作により実行するようにしても良い。
プロセッサ装置16は、制御部42と、画像取得部44と、画像処理部46と、表示制御部48と、を備える。制御部42は、モード切り替えスイッチ13aからモード切り替え信号の入力を受け、光源制御部22及びイメージセンサ38を制御し、観察モードを切り替える。具体的には、制御部42は、光源制御部22に対する照明光の種類や光量の指定、イメージセンサ38の露光時間の長さや画像出力時のゲイン等の制御、撮影フレームと照明光の切り替えタイミングの同期制御等をする。
画像取得部44は、イメージセンサ38から各色の画像を取得する。通常観察モードの場合には、B画像、G画像、R画像をイメージセンサ38から取得する。酸素飽和度観察モードの場合、第1フレームではB1画像を取得し、第2フレームではB2画像、G画像、及びR画像を取得する。通常観察モードから酸素飽和度観察モードに移行した場合、B1画像、B2画像、G画像、及びR画像を1フレームずつ順次に取得する。また、画像取得部44は、DSP(Digital Signal Processor)52と、ノイズ低減部54と、変換部56と、を有し、これらによって取得した画像に各種処理を施す。
DSP52は、取得した画像に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種処理を施す。
欠陥補正処理は、イメージセンサ38の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理をした画像から暗電流成分を除き、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理である。ガンマ変換処理は、リニアマトリクス処理をした画像の明るさや彩度を整える処理である。デモザイク処理(等方化処理や同時化処理とも言う)は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、イメージセンサ38において他の色の画素が配置されているために画素値がない画素である。例えば、B画像は、B画素から得る画像なので、イメージセンサ38のG画素やR画素に対応する位置の画素には画素値がない。デモザイク処理は、B画像を補間して、イメージセンサ38のG画素及びR画素の位置にある画素の画素値を生成する。YC変換処理は、デモザイク処理をした画像を、輝度画像Yと色差画像Cb及び色差画像Crに変換する処理である。
ノイズ低減部54は、輝度画像Y、色差画像Cb及び色差画像Crに対して、例えば、移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。変換部56は、ノイズ低減処理後の輝度画像Y、色差画像Cb及び色差画像Crを再びBGRの各色の画像に再変換する。
画像処理部46は、通常処理部62と、特殊処理部64とを有する。通常処理部62は、通常観察モード時に作動し、BGR各色の画像に対して、色変換処理、色彩強調処理、及び構造強調処理を施し、通常画像を生成する。色変換処理は、BGR各色の画像に対して3×3のマトリックス処理、階調変換処理、及び3次元LUT(ルックアップテーブル)処理などを行う。色彩強調処理は、画像の色彩を強調する処理であり、構造強調処理は、例えば、血管やピットパターン等の観察対象の構造を強調する処理である。表示制御部48は、通常処理部62から取得する通常画像を、表示に適した形式に変換してモニタ18に入力する。これにより、モニタ18は、通常画像を表示する。
特殊処理部64は、酸素飽和度観察モード時に作動し、酸素飽和度算出用画像を用いて観察対象の酸素飽和度を算出し、酸素飽和度画像を生成する。図3に示すように、特殊処理部64は、演算値算出部71と、相関関係記憶部72と、生体特徴量算出部としての酸素飽和度算出部73と、酸素飽和度画像生成部74とを備える。
演算値算出部71は、画像取得部44から酸素飽和度算出用画像76を取得し、酸素飽和度算出用画像76の画素値を用いて演算をし、酸素飽和度の算出に使用する演算値を算出する。具体的には、演算値算出部71は、B1画像とG画像の比B1/Gと、R画像とG画像の比R/Gと、をそれぞれ画素毎に算出する。これらの比B1/G及び比R/Gは、演算値算出部71が算出する演算値であり、画像取得部44が取得した画像の画素値を用いた演算の演算結果である。比B1/Gは主に酸素飽和度と血液量に依存し、比R/Gは主に血液量に依存する。このため、比B1/Gと比R/Gのバランスを見れば、血液量への依存性を除いて、観察対象の酸素飽和度を求めることができる。
相関関係記憶部72は、演算値算出部71の演算結果である比B1/G及び比R/Gを、酸素飽和度に対応付ける相関関係をLUT(ルックアップテーブル)75に記憶している。図4に示すように、LUT75が記憶する相関関係は、比B1/Gと比R/Gを軸とする2次元空間に、酸素飽和度の等値線を定義した2次元テーブルである。比B1/G及び比R/Gに対する等値線の位置及び形状は、光散乱の物理的なシミュレーションによって予め得られる。なお、相関関係記憶部72は、比B1/G及び比R/Gと、酸素飽和度との相関関係は、例えばlogスケールで記憶している。
酸素飽和度算出部73は、相関関係記憶部72が記憶するLUT75を参照して、演算値算出部71が算出する比B1/G及び比R/Gに対応する酸素飽和度を算出する。例えば、特定の画素において比B1/Gの値がB1*/G*であり、比R/Gの値がR*/G*である場合、LUT75を参照すると、この値に対応する酸素飽和度は「70%」である(図4参照)。このため、酸素飽和度算出部73は、この特定の画素の酸素飽和度を「70%」と算出する。
なお、比B1/G及び比R/Gが極めて大きい値になってしまったり、逆に極めて小さい値になったりすることは殆どない。すなわち、比B1/G及び比R/Gの組み合わせが、酸素飽和度「100%」を表す上限の等値線を上回る組み合わせや、酸素飽和度「0%」を表す下限の等値線を下回る組み合わせになってしまうことは殆どない。酸素飽和度算出部73は、例えば酸素飽和度が100%を超える場合には酸素飽和度を100%とし、酸素飽和度が0%を下回る場合には酸素飽和度を0%とする。
酸素飽和度画像生成部74は、酸素飽和度算出用画像76と、酸素飽和度算出部73が算出した酸素飽和度とを用いて、酸素飽和度画像を生成する。具体的には、酸素飽和度画像生成部74は、酸素飽和度算出用画像76のうち、第2フレームに得るB2画像とG画像とR画像を用いて酸素飽和度画像のベースになる画像(以下、ベース画像という)を生成する。ベース画像は、B2画像、G画像、及びR画像に対して、色変換処理、色彩強調処理、及び構造強調処理を施して生成する。すなわち、ベース画像は、酸素飽和度観察モードの第2フレームで得る画像を用いて生成する通常画像である。ベース画像を生成すると、酸素飽和度画像生成部74は、酸素飽和度算出部73が算出した酸素飽和度を用いてベース画像に色付けをし、色によって酸素飽和度を表す酸素飽和度画像を生成する。
特殊処理部64は、上記のように酸素飽和度観察モード時に酸素飽和度算出用画像76を用いて酸素飽和度を算出すると、この酸素飽和度の補正をする。このため、特殊処理部64は、上記各部の他に、生体特徴量補正量算出部としての酸素飽和度補正量算出部82と、生体特徴量補正部としての酸素飽和度補正部84と、を備える(図3参照)。
酸素飽和度補正量算出部82は、生体特徴量補正量としての酸素飽和度補正量を算出する。具体的には、酸素飽和度補正量算出部82は、画像取得部44から補正用画像86を取得し、補正用画像86を用いて酸素飽和度算出部73が算出した酸素飽和度の値を補正する酸素飽和度補正量を算出する。より具体的には、酸素飽和度補正量算出部82は、補正用画像86のB1画像、G画像、及びR画像を用いて、比B1/G及び比R/Gを画素毎に算出し、かつ、算出した比B1/G及び比R/Gの代表値を算出する。そして、LUT75を参照して、比B1/G及び比R/Gの代表値に対応する酸素飽和度を求める。本実施形態では、比B1/G及び比R/Gの代表値は平均値とするが、中央値や最頻値等、その他の統計量を代表値とすることができる。
例えば、図5に示すように、理想的な観察対象の正常な部分を撮影して得る画像を用いて算出する比B1/Gの代表値をB1a/Gaとし、かつ、比R/Gの代表値をRa/Gaとする。また、実際の補正用画像86を用いて算出する比B1/Gの代表値をB1b/Gbとし、かつ、実際の補正用画像86を用いて算出する比R/Gの代表値をRb/Gbとする。図5では、B1a/Ga及びRa/Gaに対応する酸素飽和度は70%であり、B1b/Gb及びRb/Gbに対応する酸素飽和度は60%である。
酸素飽和度補正量算出部82は、理想的な観察対象の正常な部分を撮影した画像を用いる場合の基準となる酸素飽和度(70%)と、実際の補正用画像86を用いて算出する酸素飽和度(60%)との関係から、酸素飽和度算出部73が算出する酸素飽和度に対する酸素飽和度補正量88を算出する。本実施形態では、酸素飽和度補正量88は、例えば「+10%」である。
酸素飽和度補正部84は、酸素飽和度算出部73が酸素飽和度を算出すると、この酸素飽和度の値を補正する。具体的には、酸素飽和度補正部84は、酸素飽和度補正量算出部82が算出した酸素飽和度補正量88にしたがって、酸素飽和度の値の補正をする。例えば、酸素飽和度算出部73が酸素飽和度算出用画像76を用いて、ある画素の酸素飽和度を「50%」と算出した場合には、酸素飽和度補正部84は、その酸素飽和度の値(50%)を、上記の酸素飽和度補正量88(+10%)にしたがって補正して「60%(=50%+10%)」にする。
酸素飽和度画像生成部74は、酸素飽和度算出用画像76を用いてベース画像を生成し、生成したベース画像に酸素飽和度を用いて色付けをして酸素飽和度画像を生成する。但し、本実施形態では、酸素飽和度画像生成部74は、酸素飽和度算出部73が算出した酸素飽和度をそのまま使用するのではなく、酸素飽和度補正部84が補正した酸素飽和度を用いる。
酸素飽和度補正部84が酸素飽和度を正しく補正できるのは、補正用画像86が観察対象の正常な部分を適切に撮影した画像の場合である。しかし、観察対象の正常な部分を撮影した場合でも、撮影条件によって、酸素飽和度を正しく補正できない場合がある。例えば観察距離が不適切な場合、光量が足りず補正用画像86が暗すぎる場合がある。逆に、光量が多すぎて補正用画像86が明るすぎる場合もある。このように補正用画像86の明るさが適切でない場合、酸素飽和度補正部84による酸素飽和度補正量の算出及び酸素飽和度の補正が不正確になることがある。
この他、観察対象の動きが大きい場合や、観察対象に残渣や残液等が付着している場合、内視鏡と観察対象との相対距離(以下、観察距離という)が極端に短い又は長い場合等でも、酸素飽和度補正量算出部82による酸素飽和度補正量の算出及び酸素飽和度補正部84による酸素飽和度の補正が不正確になることがある。酸素飽和度補正量の算出及び酸素飽和度の補正が不正確であった場合には、その酸素飽和度画像は、観察対象の酸素飽和度を正確に表していない可能性が高いので、ドクターが診断後に再確認したい場合や詳細に観察したい場合等に用いる画像としては信頼できない。
このため、特殊処理部64は、上記の酸素飽和度補正量算出部82及び酸素飽和度補正部84の他に、診断後においてドクターが事後的に画像を確認可能とするために、画像を保存する保存部92を備える。
保存部92は、酸素飽和度の補正に用いた補正用画像86と、酸素飽和度画像とを関連付けて保存する。補正用画像86と酸素飽和度画像は、画像圧縮処理部(図示省略)により圧縮したうえで保存部92に保存される。ここで、補正用画像86は、後述する検証モードにおいて診断後の事後的な確認のために用いられるので、圧縮による解像度の低下を抑えて保存部92に保存することが求められる。これに対して、酸素飽和度画像は、酸素飽和度画像生成部74により順次生成されるので、ファイル容量を小さくして保存部92に保存することが求められる。このため、本実施形態では、酸素飽和度画像の圧縮率を、補正用画像86の圧縮率よりも高くしている。保存部92に保存する酸素飽和度画像のファイルフォーマットは、例えばJPEG(Joint Photographic Experts Group)形式とする。また、保存部92に保存する補正用画像86のファイルフォーマットは、例えばビットマップ形式とする。なお、ファイルフォーマットは、上記の形式に限られない。
保存部92は、上記のようにファイルフォーマットが互いに異なる補正用画像86と酸素飽和度画像とに対して、同じファイル名(例えば、日付など)をつける。これにより、保存部92には、ファイル名が同じであり、かつ拡張子が異なる補正用画像86と酸素飽和度画像とが、関連付けされて保存される。
また、保存部92は、例えば、1回のプレ撮影に対して1回の本撮影を行った場合には、1回分のプレ撮影で得た補正用画像86と、1回分の本撮影で得た酸素飽和度画像とを関連付けて保存する。1回のプレ撮影に対して複数回の本撮影を行うことによって、1回分のプレ撮影で得た補正用画像86に対して複数の酸素飽和度画像がある場合には、保存部92は、各酸素飽和度画像を、その1回分のプレ撮影で得た補正用画像86に関連付けて保存しても良い。
表示制御部48は、酸素飽和度観察モードの場合に、保存部92に保存されている酸素飽和度画像を表示に適した形式に変換してモニタ18に入力することにより、図6(a)に示すように、モニタ18に酸素飽和度画像96を表示する。酸素飽和度画像96をモニタ18に表示する際には、表示制御部48は、着色した色と酸素飽和度の高低との対応関係を示すカラースケール97をモニタ18に表示する。表示制御部48は、酸素飽和度画像生成部74により酸素飽和度画像が生成されるたびにモニタ18に順次表示させることで、酸素飽和度画像を動画表示させる。
酸素飽和度画像96をモニタ18に表示することにより、ドクターは、モニタ18に表示された酸素飽和度画像96を見て診断を行うことができる。但し、プレ撮影が適切な条件下で行われていなかった場合、酸素飽和度補正量の算出及び酸素飽和度の補正に使用する画像としては不適切な補正用画像86を取得することがあり、その場合には、観察対象の酸素飽和度を正確に表していない酸素飽和度画像が表示されるので、不正確な情報をドクターに提供する可能性がある。
そこで、内視鏡システム10では、図6(b)に示すように、酸素飽和度観察モード中に検証モードを実行した場合に、表示制御部48は、表示中の酸素飽和度画像96と関連付けて保存部92に保存した補正用画像86を取得し、この補正用画像86を酸素飽和度画像96と並べてモニタ18に表示する。検証モードとは、プレ撮影が適切な条件下で行われたかどうかを、酸素飽和度観察モード時に検証可能とするモードである。
プレ撮影が適切な条件下で行われなかった場合、補正用画像86に例えば照明光の反射が強く、明るすぎる領域(以下、高輝度領域という)98が含まれていることがあり(図6(b)参照)、その場合には、酸素飽和度補正量の算出及び酸素飽和度の補正を正しく行うことが難しい。したがって、補正用画像86を酸素飽和度画像96と並べてモニタ18に表示することで、ドクターは、プレ撮影が適切な条件下で行われたかどうかや、酸素飽和度画像96が信頼できるかどうかを判断して、観察対象の酸素飽和度を正確に表す酸素飽和度画像に基づき診断を行うことができる。なお、検証モードは、例えば、内視鏡12の操作部12bに設けられた切り替えスイッチ(図示省略)の操作や、コンソール19等の入力操作により実行するようにしても良い。
次に、酸素飽和度画像によって観察対象を観察する場合の内視鏡システム10の動作の流れを図7に示すフローチャートに沿って説明する。まず、モード切り替えスイッチ13aを用いて観察モードを酸素飽和度観察モードに切り替え(S11)、アングルノブ12e等の操作により、内視鏡12の先端部12dを観察対象の正常な部分に向け、プレ撮影をすることにより(S12)、画像取得部44が補正用画像86を取得する(S13)。
酸素飽和度補正量算出部82は、画像取得部44から補正用画像86を取得し、この補正用画像86を用いて酸素飽和度算出部73が算出する酸素飽和度に対する酸素飽和度補正量88を算出する(S14)。具体的には、酸素飽和度補正量算出部82は、補正用画像86を用いて比B1/G及び比R/Gの代表値を算出し、LUT75を参照して、比B1/G及び比R/Gの代表値に対応する酸素飽和度を求める。そして、酸素飽和度補正量算出部82は、基準となる酸素飽和度と、実際の補正用画像86を用いて算出した酸素飽和度との関係から、酸素飽和度補正量88を算出する。
その後、制御部42は各部を制御して本撮影をする(S15)。画像取得部44は酸素飽和度算出用画像76を取得し(S16)、演算値算出部71は酸素飽和度算出用画像76を用いて比B1/G及び比R/Gを算出する(S17)。酸素飽和度算出部73は、比B1/G及び比R/GとLUT75を用いて観察対象の酸素飽和度を算出する(S18)。酸素飽和度補正部84は、酸素飽和度補正量算出部82が算出した酸素飽和度補正量88にしたがって、酸素飽和度算出部73が算出した酸素飽和度を補正する(S19)。
酸素飽和度画像生成部74は、酸素飽和度算出用画像76を用いてベース画像を生成し、生成したベース画像に酸素飽和度を用いて色付けをして酸素飽和度画像96を生成する(S20)。保存部92は、酸素飽和度画像生成部74が生成した酸素飽和度画像96と、酸素飽和度補正量の算出及び酸素飽和度の補正に用いた補正用画像86とを関連付けて保存する(S21)。表示制御部48は、酸素飽和度画像96をモニタ18に表示する(S22)。検証モードが実行された場合(S23でYES)、表示制御部48は、保存部92に保存された補正用画像86と酸素飽和度画像96とをモニタ18に並べて表示する(S24)。一方、検証モードが非実行の場合(S23でNO)、表示制御部48は、酸素飽和度画像96を表示したままとする。モード切り替えスイッチ13aを用いて観察モードを通常観察モードに切り替えるまで、酸素飽和度画像の生成及び表示を繰り返し行う(S25)。
上記のように、内視鏡システム10は、酸素飽和度補正量の算出及び酸素飽和度の補正に用いる補正用画像86を酸素飽和度画像96に関連付けて保存部92に保存しておき、検証モード時に、保存しておいた補正用画像86と酸素飽和度画像96とを並べて表示することで、プレ撮影が適切な条件下で行われたかどうかをドクターが事後的に検証することができる。
なお、上記第1実施形態では、保存部92は、酸素飽和度画像96と補正用画像86とを関連付けて保存しているが、酸素飽和度画像96の他にも、任意の画像や情報等を補正用画像86に関連付けて保存しても良い。
例えば、図8に示すように、保存部92は、酸素飽和度画像96に加え、酸素飽和度画像96の生成に用いる酸素飽和度算出用画像76を補正用画像86に関連付けて保存しても良い。すなわち、本撮影して得たB1画像、B2画像、G画像、及びR画像を、補正用画像86に関連付けて保存しても良い。保存部92に保存した酸素飽和度算出用画像76は、検証モード時に、補正用画像86及び酸素飽和度画像96と並べてモニタ18に表示することで、酸素飽和度画像96が信頼に足るかどうかをドクターが判断する際に用いることができる。
また、図9に示すように、保存部92は、酸素飽和度画像96に加え、酸素飽和度補正量算出部82が算出した酸素飽和度補正量88を補正用画像86に関連付けて保存しても良い。保存部92に保存した酸素飽和度補正量88は、検証モード時に、補正用画像86及び酸素飽和度画像96と並べてモニタ18に表示することで、酸素飽和度画像96が信頼に足るかどうかをドクターが判断する際に用いることができる。
また、図10に示すように、保存部92は、酸素飽和度画像96に加え、酸素飽和度補正部84による補正後の酸素飽和度102を補正用画像86に関連付けて保存しても良い。保存部92に保存した補正後の酸素飽和度102の値は、検証モード時に、補正用画像86及び酸素飽和度画像96と並べてモニタ18に表示することで、酸素飽和度画像96が信頼に足るかどうかをドクターが判断する際に用いることができる。
また、図11に示すように、保存部92は、酸素飽和度画像96に加え、酸素飽和度算出部73が算出した、酸素飽和度補正部84による補正前の酸素飽和度104を補正用画像86に関連付けて保存しても良い。保存部92に保存した補正前の酸素飽和度104の値は、検証モード時に、補正用画像86及び酸素飽和度画像96と並べてモニタ18に表示することで、酸素飽和度画像96が信頼に足るかどうかをドクターが判断する際に用いることができる。
また、保存部92は、上記した例の酸素飽和度算出用画像76、酸素飽和度補正量88、補正後の酸素飽和度102、及び補正前の酸素飽和度104の他、保存部92に保存した画像の波長情報、平均画素値、露光量、観察距離、拡大率、診断(取得)日時、患者情報等も、補正用画像86に関連付けて保存しても良い。上記のような各種画像や情報等を保存部92に保存しておき、検証モード時に、補正用画像86に代えて又は加えて、酸素飽和度画像96と並べてモニタ18に表示することで、ドクターは、モニタ18に表示された酸素飽和度画像96が信頼に足るかどうかを判断することができる。
[第2実施形態]
上記第1実施形態では、画像取得部44から取得した補正用画像86を用いて酸素飽和度補正量の算出及び酸素飽和度の補正をしているが、保存部92に保存した補正用画像86を用いて酸素飽和度補正量の算出及び酸素飽和度の補正をやり直すようにしても良い。
この場合、例えば、図12に示すように、特殊処理部114は、第1実施形態の特殊処理部64の各部に加え、領域設定部116を有する。なお、その他の部材は第1実施形態の特殊処理部64と同様なので説明を省略する。
領域設定部116は、保存部92に保存した補正用画像86に対して使用可能領域を設定する。使用可能領域とは、観察対象の正常な部分において、適切な撮影条件を満たす領域である。適切な撮影条件は、例えば、暗すぎない又は明るすぎないこと、観察対象と内視鏡との相対的な動きによってぶれがないこと、観察距離が近すぎない又は遠すぎないこと、観察対象に残渣等の付着物がないこと等を含む。
観察対象の正常な部分を適切に撮影したつもりでも、例えば、図13に示すように、撮影の瞬間に、補正用画像86に明るすぎる高輝度領域118が発生してしまう場合がある。高輝度領域118の部分では比B1/G及び比R/Gの値が観察対象の正常な部分を撮影した場合とは異なる値になってしまう。このため、補正用画像86に高輝度領域118があると、酸素飽和度補正量の算出及び酸素飽和度の補正を正しく行うことが難しい。領域設定部116は、補正用画像86内の高輝度領域118が含まないように使用可能領域119を設定する。なお、領域設定部116は、コンソール19等の入力操作に基づいて、使用可能領域119を設定するようにしても良い。
酸素飽和度補正量算出部82は、領域設定部116が使用可能領域119を設定した場合、使用可能領域119を用いて酸素飽和度補正量88の算出をやり直す。具体的には、酸素飽和度補正量算出部82は、保存部92に保存した補正用画像86を用いて、使用可能領域119内の画素について比B1/G及び比R/Gを算出することにより、使用可能領域119における酸素飽和度を算出する。そして、酸素飽和度補正量算出部82は、算出した使用可能領域119の酸素飽和度と、基準となる酸素飽和度との関係から、酸素飽和度補正量88を再算出する。
酸素飽和度補正部84は、酸素飽和度補正量算出部82が再算出した酸素飽和度補正量88を用いて、上記と同様に、酸素飽和度算出部73が算出した酸素飽和度の補正をする。このように、事後的に酸素飽和度補正量の算出及び酸素飽和度の補正をやり直すことによって、観察対象の酸素飽和度を正確に表す酸素飽和度画像を新たに生成することができる。なお、酸素飽和度補正量の算出及び酸素飽和度の補正をやり直しは、診断中でも診断後でも実施可能である。
なお、領域設定部116は、上記のように高輝度領域118以外の領域を指定する他、例えば、暗すぎる低輝度領域以外の領域や、動きによるぶれが比較的大きい領域以外の領域、観察距離が近すぎる又は遠すぎる領域以外の領域、観察対象に残渣等の付着物がある領域以外の領域等を指定することにより、使用可能領域119を設定しても良い。
なお、領域設定部116は、図14に示すように、補正用画像86内の高輝度領域118を含む領域を不使用領域120に指定し、この不使用領域120以外の領域を、使用可能領域119として設定しても良い。この場合についても、上記同様に酸素飽和度補正量の算出及び酸素飽和度の補正をやり直すことによって、観察対象の酸素飽和度を正確に表す酸素飽和度画像を新たに生成することができる。
なお、上記第2実施形態では、酸素飽和度画像に関連付けられた補正用画像を用いて酸素飽和度補正量の算出のやり直しを行っているが、プレ撮影において、補正用画像が適切な条件下で取得できなかった場合に備えて、プレ撮影を複数回行って、複数セットの補正用画像を取得しておくことが好ましい。ここで、各セットの補正用画像とは、1回のプレ撮影で得られるB1画像、B2画像、G画像、及びR画像の4フレーム分の画像をひとまとめにしたものである。
上記のように、プレ撮影を複数回行った場合、保存部92は、複数セットの補正用画像のうち、特定セットの補正用画像について酸素飽和度画像と関連付けて保存する一方で、その他の補正用画像については、酸素飽和度画像とは関連付けをせずに保存する。
そして、酸素飽和度観察モードにおいて、モニタ18に表示中の酸素飽和度画像96が信頼に足るかどうかを判断するために、ドクターが検証モードを実行した場合、上記と同様にして、酸素飽和度画像96と、この酸素飽和度画像96に関連付けられている補正用画像86とをモニタ18に並べて表示する。ドクターは、酸素飽和度画像96と並べて表示された補正用画像86を見て、プレ撮影が適切な条件下で行われたかどうかを判断する。プレ撮影が適切な条件下で行われていなかったと判断された補正用画像86は、酸素飽和度補正量の算出に使用する画像としては不適切である。
酸素飽和度補正量の算出に使用した補正用画像86が不適切であった場合、コンソール19等の入力操作により、保存部92に保存されている補正用画像のうち、酸素飽和度画像と関連付けされていない補正用画像を、酸素飽和度画像と並べてモニタ18に表示する。例えば、プレ撮影の実行タイミングが古い補正用画像から順に表示する。これにより、ドクターは、コンソール19等を入力操作することにより、酸素飽和度補正量の算出に適切な補正用画像を選択する。
なお、酸素飽和度画像と関連付けされていない補正用画像をランダムに表示しても良い。また、酸素飽和度画像と関連付けされていない全ての補正用画像をモニタ18に一覧表示し、その中から選択した補正用画像を酸素飽和度画像と並べて表示しても良い。なお、上記適切な補正用画像が保存部92に保存されてない場合、プレ撮影を再度実行するようにしても良い。
酸素飽和度補正量算出部82は、選択された適切な補正用画像を用いて、酸素飽和度補正量の再算出をする。酸素飽和度補正部84は、酸素飽和度補正量算出部82が再算出した酸素飽和度補正量を用いて、酸素飽和度の補正をやり直す。上記のような酸素飽和度補正量の算出及び酸素飽和度の補正をやり直しは、診断中でも診断後でも実施可能である。
このように、酸素飽和度補正量算出部82が酸素飽和度補正量の算出に使用する補正用画像のセットを変えて、酸素飽和度補正量の算出及び酸素飽和度の補正をやり直すことによって、観察対象の酸素飽和度を正確に表す酸素飽和度画像を新たに生成することができる。
なお、画像取得部44は、診断中にプレ撮影を再度実行することによって、補正用画像を再取得しても良い。具体的には、酸素飽和度補正量算出部82が酸素飽和度補正量の算出に使用した画像が不適切な補正用画像86であった場合に、画像取得部44は、補正用画像の再取得をする。なお、補正用画像86が不適切かどうかは、例えば、酸素飽和度観察モード中にドクターが検証モードを実行し、モニタ18に並べて表示した酸素飽和度画像96と補正用画像86を見てドクターが判断するようにしても良い。補正用画像の再取得は、例えば、プレ撮影の指示をコンソール19等の入力操作により実行する。
そして、酸素飽和度補正量算出部82は、再取得した新たな補正用画像を用いて、酸素飽和度補正量の算出をやり直す。酸素飽和度補正部84は、酸素飽和度補正量算出部82が再算出した酸素飽和度補正量を用いて、酸素飽和度の補正をやり直す。これにより、診断中に、観察対象の酸素飽和度を正確に表す酸素飽和度画像を新たに生成することができる。
なお、保存部92は、画像取得部44が再取得した新たな補正用画像を、酸素飽和度画像に関連付けて保存しても良い。
なお、酸素飽和度画像は、診断中に観察対象をリアルタイムに観察するために用いるだけでなく、診断の完了後において、診断結果を再度確認する場合や、観察部位及びその周囲の状態をより詳細に観察したい場合等に用いることがある。診断中においては、リアルタイムに酸素飽和度画像の動画表示をすることが求められる一方で、診断後においては、観察対象の酸素飽和度を正確に表す酸素飽和度画像を表示することが求められる。
このため、画像取得部44が酸素飽和度算出用画像76及び補正用画像86を、診断中にリアルタイムに取得した場合と診断後に取得した場合とで、酸素飽和度補正量の算出及び酸素飽和度の補正の精度を変更しても良い。本実施形態では、酸素飽和度算出用画像76及び補正用画像86を診断中に取得した場合と診断後に取得した場合とで、酸素飽和度補正量の算出及び酸素飽和度の補正を実行する画素の数を異ならせることにより、酸素飽和度補正量の算出の精度及び酸素飽和度の補正の精度を異ならせている。
具体的には、各画像を診断後に取得した場合は、全画素について、酸素飽和度補正量の算出及び酸素飽和度の補正を実行する一方、各画像を診断中に取得した場合は、全画素のうちの一部(例えば、全画素のうちの1/2の画素や2/3の画素)について、酸素飽和度補正量の算出及び酸素飽和度の補正を実行する。これにより、各画像を診断後に取得した場合における酸素飽和度補正量の算出の精度及び酸素飽和度の補正の精度は、各画像を診断中にリアルタイムに取得した場合における酸素飽和度補正量の算出の精度及び酸素飽和度の補正の精度よりも高くされている。
図15に示すように、画像取得部44が酸素飽和度算出用画像76及び補正用画像86をリアルタイムに取得した場合(S31でYES)、酸素飽和度補正量算出部82により酸素飽和度補正量の算出の精度が低い精度で行われ、かつ酸素飽和度補正部84により酸素飽和度の補正の精度が低い精度で行われる(S32)。これに対して、画像取得部44が酸素飽和度算出用画像76及び補正用画像86をリアルタイムに取得していない場合(S31でNO)、酸素飽和度補正量算出部82により酸素飽和度補正量の算出の精度が高い精度で行われ、かつ酸素飽和度補正部84により酸素飽和度の補正の精度が高い精度で行われる(S33)。
これにより、診断後において、観察対象の酸素飽和度を正確に表す酸素飽和度画像を表示することができる。また、診断中においては、リアルタイム性が低下して動画の画質が低下すること抑制できるので、酸素飽和度画像の動画を高画質に表示することができる。
[第3実施形態]
上記第1,第2実施形態では、補正後の酸素飽和度を表す酸素飽和度画像96を補正用画像86と関連付けて保存部92に保存している。第3実施形態では、補正用画像86に基づき酸素飽和度算出用画像76を補正し、補正後の酸素飽和度算出用画像76を用いて酸素飽和度を求めることにより酸素飽和度画像130(図16参照)を生成するので、保存部92には、酸素飽和度画像130を補正用画像86に関連付けて保存する。なお、第3実施形態では、上記第1実施形態と同様に、本撮影に先立ってプレ撮影を行う例で説明するが、これに限られず、プレ撮影を本撮影の後に行っても良い。
図16に示すように、第3実施形態の特殊処理部124は、第1実施形態の特殊処理部64が備えている酸素飽和度補正量算出部82と酸素飽和度補正部84の代わりに、画像補正量算出部126と画像補正部128を有する。
画像補正量算出部126は、画像取得部44から補正用画像86を取得し、取得した補正用画像86を用いて、酸素飽和度算出用画像76を補正する画像補正量を算出する。具体的には、画像補正量算出部126は、プレ撮影で得た補正用画像86のB1画像、G画像、及びR画像の画素値を用いて画像補正量を算出する。
プレ撮影は、第3実施形態では酸素飽和度算出用画像76の補正用に行われる。プレ撮影では、観察対象の正常な部分を撮影するので、観察対象が理想的な観察対象であれば、B1画像、G画像、及びR画像の画素値は特定の値になる。例えば、理想的な観察対象の正常な部分を撮影して得るB1画像、G画像、及びR画像について、ある画素の画素値は、それぞれ画素値B1a、画素値Ga、及び画素値Raになる。一方、実際の観察対象には個体差等があり、実際の観察対象を撮影して得るB1画像、G画像、及びR画像の画素値は、例えば、それぞれ画素値B1b、画素値Gb、画素値及びRbであったとする。
この場合、画像補正量算出部126は、正常な部分を撮影した場合の画素値B1aと、実際の観察対象を撮影した場合の画素値B1bとから、画像補正量ΔB1を求める。同様に、画像補正量算出部126は、画素値Gaと画素値Gbとから画像補正量ΔGを求め、画素値Raと画素値Rbとから画像補正量ΔRを求める。例えば、画像補正量算出部126は、画素値B1aから画素値B1bを引いた値を画像補正量ΔB1とする。同様に、画像補正量算出部126は、画素値Gaから画素値Gbを引いた値を画像補正量ΔGとし、画素値Raから画素値Rbを引いた値を画像補正量ΔRとする。画像補正量算出部126は、補正用画像86を取得するごとに画像補正量を算出する。
画像補正部128は、画像補正量算出部126が算出した画像補正量を用いて、画像取得部44から取得した酸素飽和度算出用画像76を補正する。具体的には、画像補正部128は、画像補正量ΔB1、ΔG、及びΔRを用いて、酸素飽和度算出用画像76のB1画像、G画像、及びR画像の各画素値B1、画素値G、及び画素値Rを補正する。
例えば、酸素飽和度算出用画像76のB1画像、G画像、及びR画像について、ある画素の画素値が、それぞれ画素値B1*、画素値G*、及び画素値R*であった場合、画像補正部128は、画素値B1*に画像補正量ΔB1を加算して補正後の画素値B1を求め、画素値G*に画像補正量ΔGを加算して補正後の画素値Gを求め、画素値R*に画像補正量ΔRを加算して補正後の画素値Rを求める。補正後の画素値B1を有するB1画像、補正後の画素値Gを有するG画像、及び補正後の画素値Rを有するR画像を、補正後の酸素飽和度算出用画像という。画像補正部128は、酸素飽和度算出用画像76を取得するごとに、酸素飽和度算出用画像76を補正する。なお、画像補正部128は、酸素飽和度算出用画像76の画素値に画像補正量を加算する場合に、特定の係数を乗算しても良い。画像補正部128は、補正後の酸素飽和度算出用画像を演算値算出部71に出力する。
次に、第3実施形態の酸素飽和度観察モードの動作の流れを図17に示すフローチャートに沿って説明する。まず、第1実施形態と同様に、観察モードが酸素飽和度観察モードに切り替えられ(S11)、プレ撮影をすることにより(S12)、画像取得部44が補正用画像86を取得する(S13)。
画像補正量算出部126は、画像取得部44から補正用画像86を取得し、この補正用画像86を用いて、本撮影で取得する酸素飽和度算出用画像76を補正する画像補正量を算出する(S41)。その後、制御部42は各部を制御して本撮影を行い(S15)、画像取得部44が酸素飽和度算出用画像76を取得する(S16)。
画像補正部128は、画像補正量算出部126が算出した画像補正量を用いて、画像取得部44から取得した酸素飽和度算出用画像76を補正する(S42)。
演算値算出部71は、補正後の酸素飽和度算出用画像の画素値を用いて演算をし、酸素飽和度の算出に使用する演算値を算出する(S17)。具体的には、演算値算出部71は、B1画像とG画像の比B1/G、及びR画像とG画像の比R/Gをそれぞれ画素毎に算出する。
酸素飽和度算出部73は、相関関係記憶部72が記憶するLUT75を参照して、演算値算出部71が算出する比B1/G及び比R/Gに対応する酸素飽和度を算出する(S18)。これにより、酸素飽和度算出部73が算出する酸素飽和度は、観察対象の個体差等の影響が低減される。
酸素飽和度画像生成部74は、補正後の酸素飽和度算出用画像を用いて、酸素飽和度算出部73で算出した酸素飽和度を表す酸素飽和度画像130を生成する(S20)。
保存部92は、補正用画像86と酸素飽和度画像130とを関連付けて保存する(S21)。以降のステップは第1実施形態のステップS22〜ステップS25と同じなので説明を省略する。これにより、上記各実施形態と同様に、検証モード時において、保存しておいた補正用画像86と酸素飽和度画像130とを、表示部としてのモニタ18に並べて表示することで、プレ撮影が適切な条件下で行われたかどうかを事後的に検証することができる。
なお、上記第3実施形態では、画像補正部128は、酸素飽和度算出用画像76のB1画像、G画像、及びR画像を補正しているが、演算値算出部71が算出する比B1/G、及び比R/Gを補正しても良い。
この場合、画像補正量算出部126は、理想的な観察対象の正常な部分を撮影した場合の比B1a/Gaと実際の観察対象を撮影した場合の比B1b/Gbとから画像補正量ΔD1を求め、理想的な観察対象の正常な部分を撮影した場合の比Ra/Gaと実際の観察対象を撮影した場合の比Rb/Gbとから画像補正量ΔD2を求める。例えば、画像補正量算出部126は、上記と同様に、比B1a/Gaと比B1b/Gbとの差を画像補正量ΔD1とし、比Ra/Gaと比Rb/Gbとの差を画像補正量ΔD2とする。
そして、画像補正部128は、比B1*/G*を画像補正量ΔD1で補正して比B1/Gを求め、比R*/G*を画像補正量ΔD2で補正して比R/Gを求める。画像補正部128は、求めた比B1/G及び比R*/G*を酸素飽和度算出部73に出力する。
酸素飽和度算出部73では、相関関係記憶部72が記憶するLUT75を参照して、比B1/G及び比R*/G*に対応する酸素飽和度を算出する。これにより、上記同様、酸素飽和度算出部73が算出する酸素飽和度は、観察対象の個体差等の影響が低減される。
なお、上記第3実施形態では、酸素飽和度画像130を補正用画像86に関連付けて保存部92に保存しているが、酸素飽和度画像130の他にも、補正後の酸素飽和度算出用画像、補正前の酸素飽和度算出用画像、画像補正量、補正後の酸素飽和度算出用画像を用いて酸素飽和度算出部73が算出した酸素飽和度などを、補正用画像86に関連付けて保存部92に保存しても良い。
なお、保存部92に保存した補正用画像86に対して、上記第2実施形態と同様に領域設定部116が使用可能領域を設定した場合には、画像補正量の算出及び酸素飽和度算出用画像の補正のやり直しを行うようにしても良い。すなわち、画像補正量算出部126は、領域設定部116が設定した使用可能領域を用いて、上記と同様の方法で画像補正量の算出をやり直す。画像補正部128では、画像補正量算出部126が再算出した画像補正量を用いて酸素飽和度算出用画像76の補正をやり直す。なお、領域設定部116は、上記第2実施形態と同様に、補正用画像86に対して不使用領域を設定することで、不使用領域以外の領域を使用可能領域に設定しても良い。
なお、プレ撮影において補正用画像86が適切な条件下で取得できなかった場合に備えて、プレ撮影を複数回行って、複数セットの補正用画像86を取得し、保存部92に保存しておくことが好ましい。こうすることで、画像補正量算出部126による画像補正量の算出に使用した補正用画像86が不適切であった場合でも、画像補正量算出部126は、補正用画像86のセットを変えて画像補正量の算出をやり直すことができる。画像補正量が再算出された場合は、画像補正部128は、上記同様に酸素飽和度算出用画像76の補正をやり直す。
なお、プレ撮影において補正用画像86が適切な条件下で取得できなかった場合、診断中であれば、プレ撮影を再度実行することによって、画像取得部44に補正用画像を再取得させても良い。この場合、画像補正量算出部126は、画像取得部44が再取得した新たな補正用画像を用いて画像補正量の算出をやり直す。画像補正部128では、上記同様に、画像補正量算出部126が再算出した画像補正量を用いて酸素飽和度算出用画像76の補正をやり直す。また、保存部92は、画像取得部44が再取得した新たな補正用画像を、酸素飽和度画像130に関連付けて保存しても良い。
なお、画像取得部44が酸素飽和度算出用画像76及び補正用画像86をリアルタイムに取得したか否かによって、画像補正量算出部126による画像補正量の算出の精度、及び画像補正部128による酸素飽和度算出用画像76の補正の精度を変更しても良い。具体的には、画像取得部44が酸素飽和度算出用画像76及び補正用画像86を診断後に取得した場合における画像補正量の算出の精度及び酸素飽和度算出用画像76の補正の精度は、画像取得部44が酸素飽和度算出用画像76及び補正用画像86をリアルタイムに取得した場合における画像補正量の算出の精度及び酸素飽和度算出用画像76の補正の精度よりも高くする。
[第4実施形態]
上記第1、第2実施形態では、酸素飽和度を補正しているが、酸素飽和度を補正する代わりに、LUT75を校正しても良い。図18に示すように、第4実施形態の特殊処理部134は、第1実施形態の特殊処理部64が備えている酸素飽和度補正量算出部82と酸素飽和度補正部84の代わりに、テーブル校正部136を有する。なお、その他の部材は第1実施形態の特殊処理部64と同様なので説明を省略する。
テーブル校正部136は、画像取得部44から補正用画像86を取得し、補正用画像86を用いてLUT75の校正をする。具体的には、テーブル校正部136は、補正用画像86のB1画像、G画像、及びR画像を用いて、比B1/G及び比R/Gを画素毎に算出し、算出した比B1/Gの代表値及び比R/Gの代表値を用いてLUT75の校正をする。比B1/G及び比R/Gの代表値は、平均値や中央値、最頻値等でも良いし、その他の統計量を代表値としても良い。
プレ撮影では観察対象の正常な部分を撮影するので、観察対象がLUT75を算出するシミュレーションで想定する理想的な観察対象であれば、比B1/Gの代表値、比R/Gの代表値、及び、LUT75がこれらの比の代表値を対応付ける酸素飽和度の値は、特定の値になる。例えば、図19に示すように、理想的な観察対象の正常な部分を撮影して得る画像を用いて算出する比B1/Gの代表値はB1a/Gaになり、かつ、比R/Gの代表値はRa/Gaになり、その酸素飽和度は70%である。一方、実際の観察対象には個体差等があるので、実際の観察対象を撮影した補正用画像86を用いて算出する比B1/G及び比R/Gの代表値にはズレがあり、比B1/Gの代表値がB1b/Gbであり、比R/Gの代表値はRb/Gbであったとする。この場合、LUT75を用いて酸素飽和度を算出すると、酸素飽和度の値は60%である。
しかし、酸素飽和度の値は観察対象の個体差等に影響され難く、正常な部分を観察すればどのような観察対象でも概ね一定(例えば70%)になる。このため、図19に示すように、テーブル校正部136は、LUT75が表す等値線を移動し、補正用画像86を用いて算出した比B1b/Gb及び比Rb/Gbから正常な部分を観察した場合の値(70%)になるようにLUT75の内容を修正する。これがテーブル校正部136の行う校正である。
なお、比B1a/Ga及び比Ra/Gaに対する校正前のLUT75の等値線の相対的な位置関係と、比B1b/Gb及び比Rb/Gbに対する校正後のLUT138の等値線の相対的な位置関係は等しい。また、テーブル校正部136がLUT75を校正した際には、酸素飽和度算出部73は校正後のLUT138を使用して、上記と同様に酸素飽和度を算出する。このため、酸素飽和度算出部73が算出する酸素飽和度は、観察対象の個体差等の影響が低減される。
酸素飽和度画像生成部74は、酸素飽和度算出部73により、校正後のLUT138を使用して算出された酸素飽和度を表す酸素飽和度画像140を生成する。
保存部92は、補正用画像86と、酸素飽和度画像140とを関連付けて保存する。これにより、上記各実施形態と同様に、検証モード時に、保存しておいた補正用画像86と酸素飽和度画像140とを並べて表示することで、プレ撮影が適切な条件下で行われたかどうかを事後的に検証することができる。
[第5実施形態]
第5実施形態では、上記第1実施形態で示した4個のLED20a〜20dの代わりに、レーザ光源と蛍光体を用いて観察対象の照明を行う。それ以外については、第1実施形態と同様である。
図20に示すように、第5実施形態の内視鏡システム200では、光源装置14において、上記第1実施形態の内視鏡システム10が備えている4個のLED20a〜20dの代わりに、中心波長473nmの第1青色レーザ光を発する第1青色レーザ光源(図20では「473LD」と表記)202と、中心波長445nmの第2青色レーザ光を発する第2青色レーザ光源(図20では「445LD」と表記)204とを備えている。なお、LDは、レーザダイオードのことである。これらの半導体発光素子からなる第1青色レーザ光源202,第2青色レーザ光源204の発光は、光源制御部22により個別に制御される。このため、第1青色レーザ光源202の光量と、第2青色レーザ光源204の光量の光量比は変更自在になっている。
光源制御部22は、通常観察モードの場合には、第2青色レーザ光源204を点灯させる。これに対して、酸素飽和度観察モードの場合には、1フレーム間隔で、第1青色レーザ光源202と第2青色レーザ光源204を交互に点灯させる。
なお、第1青色レーザ光又は/及び第2青色レーザ光の半値幅は±10nm程度にすることが好ましい。また、第1青色レーザ光源202及び第2青色レーザ光源204は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオードなどの発光体を用いた構成としてもよい。
照明光学系30aには、照明レンズ32の他に、ライトガイド24からの第1青色レーザ光又は第2青色レーザ光が入射する蛍光体206が設けられている。蛍光体206は、第2青色レーザ光によって励起され、蛍光を発する。また、蛍光体206は、第1青色レーザ光によっても励起されるが、その場合には、第2青色レーザ光により発せられる蛍光よりも発光量が小さい蛍光を発する。第2青色レーザ光の一部は、蛍光体206を励起させることなく透過する。第1青色レーザ光は、蛍光体206を励起させることなくほぼ透過する。蛍光体206を射出した光は、照明レンズ32を介して、観察対象の体内を照明する。
なお、蛍光体206は、第1青色レーザ光及び第2青色レーザ光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl1017)などの蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体206の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
ここで、通常観察モードにおいては、第2青色レーザ光が蛍光体206に入射するため、図21に示すスペクトルの白色光(第2白色光)によって観察対象を照明する。この第2白色光は、第2青色レーザ光と、この第2青色レーザ光により蛍光体206から励起発光する緑色〜赤色の第2蛍光とから構成される。したがって、第2白色光は、波長範囲が可視光全域に及んでいる。
一方、酸素飽和度観察モードにおいては、第1青色レーザ光と第2青色レーザ光とが交互に蛍光体206に入射するため、図22に示すスペクトルの第1白色光と第2白色光によって交互に観察対象を照明する。第1白色光は、第1青色レーザ光と、この第1青色レーザ光により蛍光体206から励起発光する緑色〜赤色の第1蛍光とから構成される。したがって、第1白色光は、波長範囲が可視光全域に及んでいる。第2白色光は、通常観察モード時に照射される第2白色光と同様である。
光源制御部22は、第1白色光と第2白色光とが切り替えられるように各光源の制御を行う。また、光源制御部22は、イメージセンサ38を制御する撮像制御部(図示せず)への同期信号の出力によって、照明光の発光タイミングと、イメージセンサ38により撮像が行われるフレームとの同期や、イメージセンサ38からの画像の出力を制御する。これにより、イメージセンサ38は、1フレーム毎に、各色の画素から、各照明光に応じたBGR各色の画像を出力する。
1フレーム目では、光源制御部22は、第1青色レーザ光源202を点灯させることによって、第1青色レーザ光と第1蛍光を含む第1白色光を用いて観察対象を照明する。イメージセンサ38は、B画素で第1青色レーザ光を受光してB1画像を出力し、G画素で第1蛍光に含まれる緑色光Gに対応した波長帯域の成分を受光してG画像を出力し、R画素で第1蛍光に含まれる赤色光Rに対応した波長帯域の成分を受光してR画像を出力する。
2フレーム目では、光源制御部22は、第2青色レーザ光源204を点灯させることによって、第2青色レーザ光と第2蛍光を含む第2白色光を用いて観察対象を照明する。イメージセンサ38は、B画素で第2青色レーザ光を受光してB2画像を出力し、G画素で第2蛍光に含まれる緑色光Gに対応した波長帯域の成分を受光してG画像を出力し、R画素で第2蛍光に含まれる赤色光Rに対応した波長帯域の成分を受光してR画像を出力する。
第5実施形態では、プレ撮影時に得るB1画像、B2画像、G画像、及びR画像が補正用画像86である。また、本撮影時に得るB1画像、B2画像、G画像、及びR画像が酸素飽和度算出用画像76である。これらの画像に基づいて、上記第1実施形態と同様の方法で、酸素飽和度補正量の算出、酸素飽和度の算出、酸素飽和度の補正、及び酸素飽和度画像の生成が行われる。そして、保存部92は、補正用画像86と、酸素飽和度画像96とを関連付けて保存する。なお、上記第1実施形態と同様の方法に限らず、上記第2から第4実施形態のいずれかと同様の方法を用いても良い。
[第6実施形態]
第6実施形態では、上記第1実施形態で示した4個のLED20a〜20dの代わりに、キセノンランプ等の広帯域光源と回転フィルタを用いて観察対象の照明を行う。また、カラーのイメージセンサ38に代えて、モノクロのイメージセンサで観察対象の撮像を行う。それ以外については、第1実施形態と同様である。
図23に示すように、内視鏡システム300において、光源装置14は、第1実施形態の内視鏡システム10が備えている4個のLED20a〜20dに代えて、広帯域光源302と、回転フィルタ304と、フィルタ切替部306とを備えている。また、撮像光学系30bには、カラーのイメージセンサ38の代わりに、カラーフィルタが設けられていないモノクロのイメージセンサ308が設けられている。
広帯域光源302は、白色LEDやキセノンランプ等であり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ304は、内側に内側フィルタ310、外側に外側フィルタ312を備えている(図24参照)。
フィルタ切替部306は、光源制御部22と電気的に接続されており、観察モードに応じて、回転フィルタ304を径方向に移動させる。通常観察モードの場合、フィルタ切替部306は、回転フィルタ304の内側フィルタ310を白色光の光路に挿入する。一方、酸素飽和度観察モードの場合、フィルタ切替部306は、外側フィルタ312を白色光の光路に挿入する。
図24に示すように、内側フィルタ310には、周方向に沿って、白色光のうちB2光を透過させるB2フィルタ310a、白色光のうちG光を透過させるGフィルタ310b、白色光のうちR光を透過させるRフィルタ310cが設けられている。したがって、通常観察モード時には、回転フィルタ304が回転することで、B2光、G光、及びR光により順次に観察対象を照射する。
外側フィルタ312には、周方向に沿って、白色光のうちB1光を透過させるB1フィルタ312a、白色光のうちB2光を透過させるB2フィルタ312b、白色光のうちG光を透過させるGフィルタ312c、白色光のうちR光を透過させるRフィルタ312dが設けられている。したがって、酸素飽和度観察モード時に、外側フィルタ312が白色光の光路に挿入された状態で回転フィルタ304が回転することで、B1光、B2光、G光、及びR光により順次に観察対象を照射する。
内視鏡システム300では、通常観察モードの場合には、B2光、G光、及びR光で観察対象が照明される毎にモノクロのイメージセンサ308で観察対象を撮像する。これにより、B画像、G画像、R画像が得られる。そして、それら3色の画像に基づいて、上記第1実施形態と同様の方法で、通常画像が生成される。
一方、酸素飽和度観察モードの場合には、プレ撮影時に、B1光、B2光、G光、及びR光で順次に観察対象が照明される毎にモノクロのイメージセンサ308で観察対象を撮像する。これにより得るB1画像、B2画像、G画像、及びR画像が補正用画像86である。また、本撮影時に、B1光、B2光、G光、及びR光で順次に観察対象が照明される毎にモノクロのイメージセンサ308で観察対象を撮像する。これにより得るB1画像、B2画像、G画像、及びR画像が酸素飽和度算出用画像76である。これらの画像に基づいて、上記第1実施形態と同様の方法で、酸素飽和度補正量の算出、酸素飽和度の算出、酸素飽和度の補正、及び酸素飽和度画像の生成が行われる。そして、保存部92は、補正用画像86と、酸素飽和度画像96とを関連付けて保存する。なお、上記第1実施形態と同様の方法に限らず、上記第2から第4実施形態のいずれかと同様の方法を用いても良い。
[第7実施形態]
なお、上記第1〜第6実施形態では、イメージセンサが設けられた内視鏡12を被検体内に挿入して観察を行う内視鏡システムによって本発明を実施しているが、カプセル内視鏡システムでも本発明は好適である。例えば、図25に示すように、カプセル内視鏡システムでは、カプセル内視鏡400と、プロセッサ装置(図示しない)とを少なくとも有する。
カプセル内視鏡400は、光源402と、制御部403と、イメージセンサ404と、画像処理部406と、送受信アンテナ408と、を備えている。光源402は、光源部20に対応する。制御部403は、光源制御部22及び制御部42と同様に機能する。また、制御部403は、送受信アンテナ408によって、カプセル内視鏡システムのプロセッサ装置と無線で通信可能である。カプセル内視鏡システムのプロセッサ装置は、上記第1〜第6実施形態のプロセッサ装置16とほぼ同様であるが、画像取得部44及び画像処理部46に対応する画像処理部406はカプセル内視鏡400に設けられ、生成した酸素飽和度画像等は、送受信アンテナ408を介してプロセッサ装置に送信される。イメージセンサ404はイメージセンサ38と同様に構成される。
なお、上記各実施形態では、生体特徴量として、機能的生体特徴量としての酸素飽和度を例に説明を行っているが、本発明は、酸素飽和度に限られず、血管情報にも適用可能である。血管情報とは、例えば、血管の本数、分岐数、分岐角度、分岐点間距離、交差数、太さ、太さの変化、太さの変化の複雑度、長さ、間隔、粘膜を基準とした深さ、高低差、傾き、面積、密度、コントラスト、色、色の変化、蛇行度、血液濃度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、または、血流量である。上記血管情報は、形態的生体特徴量に含まれる。また、上記血管情報は例であり、その他の血管に関する情報を血管情報として算出してもよい。
血管情報は、食道、胃、大腸等の各種部位や、性別、年齢等の患者の個体差等によって異なる場合がある。このため、酸素飽和度に代えて血管情報を算出する場合には、酸素飽和度の補正と同様に、プレ撮影で得た補正用画像を用いて血管情報の値を補正する補正量を求め、この補正量にしたがって血管情報の値の補正を行う。
この場合、特殊処理部は、例えば、図3において、相関関係記憶部72を削除し、「酸素飽和度」を「血管情報」に読み替えた構成となる。また、処理内容としては、図7において、「酸素飽和度」を「血管情報」に読み替え、かつステップS17を削除した処理となる。また、特殊処理部は、図16において、相関関係記憶部72を削除し、「酸素飽和度」を「血管情報」に読み替えた構成としても良い。その場合の処理内容としては、図17において、「酸素飽和度」を「血管情報」に読み替え、かつステップS17を削除した処理となる。
血管の本数とは、画像全体または関心領域(ROI : Region Of Interest)内の血管の数である。血管の本数は、例えば、血管の分岐点の個数(分岐数)や他の血管との交差点の個数(交差数)等を用いて算出する。血管の分岐角度は、2本の血管が分岐点においてなす角度である。分岐点間距離は、任意の分岐点とその隣の分岐点の直線距離、または、任意の分岐点とその隣の分岐点までの血管に沿った長さである。なお、関心領域は、ポインティングデバイスやキーボードなどにより指定可能である。
血管の交差数とは、粘膜下の深さが異なる血管が画像上で交差する交差点の個数である。より具体的には、血管の交差数とは、相対的に粘膜下の浅い位置にある血管が、深い位置にある血管を横切る数である。
血管の太さ(血管径)とは、血管と粘膜の境界線間の距離であり、例えば、血管のエッジから血管の中を通って血管の短手方向に沿って画素数を計数した値である。したがって、血管の太さは画素数であるが、画像を撮影した際の撮影距離やズーム倍率等が既知の場合には、必要に応じて「μm」等の長さの単位に換算可能である。
血管の太さの変化とは、血管の太さのばらつきに関する血管情報であり、口径不同度ともいう。血管の太さの変化は、例えば、血管径の変化率(拡張度ともいう)である。血管径の変化率は、血管の最も細い部分の太さ(最小径)と血管の最も太い部分の太さ(最大径)を用いて、「血管経の変化率(%)=最小径/最大径×100」で求める。
なお、過去の検査で観察対象を撮影して得た画像と、その後の新たな検査で同じ観察対象を撮影して得た画像と、を用いる場合、過去の検査で得た画像中の血管の太さに対して、その後の新たな検査で得た画像中の同じ血管の太さの時間的な変化を血管の太さの変化としてもよい。
また、血管の太さの変化として、細径部の割合、または太径部の割合を算出しても良い。細径部とは太さが閾値以下の部分であり、太径部とは太さが閾値よりも太い部分である。細径部の割合は、「細径部の割合(%)=細径部の長さ/血管の長さ×100」で求める。同様に、太径部の割合は、「太径部の割合(%)=太径部の長さ/血管の長さ×100」で求める。
血管の太さの変化の複雑度(以下、「太さ変化の複雑度」という)は、血管の太さ変化している場合に、その変化がどの程度複雑であるかを表す血管情報であり、血管の太さの変化を表す血管情報(すなわち血管径の変化率、細径部の割合、または太径部の割合)を複数組み合わせて算出する血管情報である。太さ変化の複雑度は、例えば、血管径の変化率と細径部の割合の積で求めることができる。
血管の長さとは、血管を長手方向に沿って計数した画素数である。
血管の間隔とは、血管のエッジ間にある粘膜を表す画素の画素数である。血管が1本の場合、血管の間隔は値を持たない。
血管の深さは、粘膜(より具体的には粘膜の表面)を基準として測る。この粘膜を基準とした血管の深さは、例えば、血管の色に基づいて算出することができる。
血管の高低差とは、血管の深さの差の大きさである。例えば、注目する1本の血管の高低差は、この血管の最も深い箇所の深さ(最大深さ)と、最も浅い箇所の深さ(最小深さ)の差で求める。深さが一定の場合、高低差は零である。
血管の傾きとは、血管の深さの変化率であり、血管の長さと血管の深さを用いて算出する。すなわち、血管の傾きは、「血管の傾き=血管の深さ/血管の長さ」で求める。なお、血管を複数の区間に区切り、各区間で血管の傾きを算出してもよい。
血管の面積は、血管を表す画素の画素数、または、血管を表す画素の画素数に比例する値である。血管の面積は、関心領域内、関心領域外、または、画像全体について算出する。
血管の密度は、単位面積中にある血管の割合である。血管の密度を算出する画素を概ね中心に含む特定の大きさの領域(例えば単位面積の領域)を切り出し、この領域内の全画素に占める血管の割合を算出する。これを関心領域または画像全体の全画素に対して行うことで、各画素の血管の密度を算出することができる。
血管のコントラストとは、観察対象の粘膜に対する相対的なコントラストである。血管のコントラストは、血管の輝度YVと、粘膜の輝度YMと、を用いて、例えば「YV/YM」または「(YV−YM)/(YV+YM)」で算出する。
血管の色とは、血管を表す画素のRGBの各値である。そして、血管の色の変化とは、血管を表す画素のRGB各値の各々の最大値と最小値の差または比である。例えば、血管を表す画素のB値の最大値と最小値の比、G値の最大値と最小値の比、またはR値の最大値と最小値の比は、血管の色の変化を表す。もちろん、補色に変換して、シアン、マゼンタ、イエロー、グリーン等の各値について血管の色及び血管の色の変化を算出しても良い。
血管の蛇行度とは、血管が蛇行して走行する範囲の広さを表す血管情報である。血管の蛇行度は、例えば、蛇行度を算出する血管を含む最小の四角形の面積(画素数)である。また、血管の始点と終点の直線距離に対する血管の長さの比を血管の蛇行度としても良い。
血管の血液濃度とは、血管が含むヘモグロビンの量に比例する血管情報である。血管を表す画素のR値に対するG値の比(G/R)はヘモグロビンの量に比例するので、G/Rの値を算出することで、画素ごとに血液濃度を算出することができる。
動脈の割合とは、全血管の画素数に対する動脈の画素数の割合である。同様に、静脈の割合とは、全血管の画素数に対する静脈の画素数の割合である。動脈と静脈は、酸素飽和度によって区別することができる。例えば、酸素飽和度が70%以上の血管を動脈とし、酸素飽和度が70%未満の血管を静脈とすれば、血管を動脈と静脈に分けられるので、上記動脈の割合及び静脈の割合を算出するするこができる。
投与した色素の濃度とは、観察対象に対して散布した色素、または静脈注射により血管に注入した色素の濃度である。投与した色素の濃度は、例えば、色素色以外の画素の画素値に対する色素色の画素値の割合で算出する。例えば、青色に着色する色素を投与した場合は、B/GやB/R等が、観察対象に定着(あるいは一時的に付着)した色素の濃度を表す。
血管の走行パターンとは、血管の走行方向に関する血管情報である。血管の走行パターンは、例えば、任意に設定する基準線に対する血管の平均角度(走行方向)や、任意に設定する基準線に対して血管がなす角度の分散(走行方向のばらつき)等である。
血管の血流量(血流速度ともいう)は、単位時間あたりに赤血球が通り抜ける数である。超音波プローブを内視鏡12の鉗子チャネル等を介して併用する場合等に、超音波プローブで得る信号を用いて画像の血管を表す各画素のドップラーシフト周波数を求めることができる。血管の血流量は上記ドップラーシフト周波数を用いることで算出することができる。
10,200,300 内視鏡システム
16 プロセッサ装置
18 モニタ
44 画像取得部
46 画像処理部
64,114,124,134 特殊処理部
71 演算値算出部
72 相関関係記憶部
73 酸素飽和度算出部
74 酸素飽和度画像生成部
75,138 LUT
82 酸素飽和度補正量算出部
84 酸素飽和度補正部
92 保存部
116 領域設定部
126 画像補正量算出部
128 画像補正部
136 テーブル校正部

Claims (13)

  1. 波長帯域が異なる複数の照明光によってそれぞれ観察対象を撮像して得る複数の生体特徴量算出用画像を用いて前記観察対象の生体特徴量を算出する生体特徴量算出部を有する内視鏡システムにおいて、
    前記観察対象を撮像して得る補正用画像を取得する画像取得部と、
    前記補正用画像を用いて、前記生体特徴量に対する生体特徴量補正量を算出する生体特徴量補正量算出部と、
    前記生体特徴量補正量にしたがって前記生体特徴量算出部が算出した前記生体特徴量の補正をする生体特徴量補正部と、
    前記補正用画像と、補正後の前記生体特徴量を表す生体特徴量画像とを関連付けて保存する保存部とを備え、
    前記保存部が、前記生体特徴量画像と関連付けられた補正用画像と、前記生体特徴量画像と関連付けられていない補正用画像を含む複数セットの補正用画像を保存しており、
    前記生体特徴量画像と関連付けられた補正用画像は、検証モードを実行することで、前記生体特徴量画像と並べて、ユーザが選択可能な状態で表示部に表示され、前記生体特徴量画像と関連付けられていない補正用画像は、前記生体特徴量の補正のやり直しを行うために、前記検証モード中の入力操作に従って、前記生体特徴量画像と並べて前記表示部に表示され、
    前記補正用画像は、前記ユーザによる入力操作により選択される補正用画像であって、前記生体特徴量補正量の算出に適切な補正用画像であり、
    前記生体特徴量補正量算出部は、選択された補正用画像を用いて、前記生体特徴量補正量の算出をやり直す内視鏡システム。
  2. 前記生体特徴量とは形態的生体特徴量あるいは機能的生体特徴量である請求項1に記載の内視鏡システム。
  3. 前記形態的生体特徴量とは血管情報であり、前記機能的生体特徴量とは酸素飽和度である請求項2に記載の内視鏡システム。
  4. 前記保存部は、前記生体特徴量画像に加え、前記生体特徴量画像の生成に用いる前記生体特徴量算出用画像、前記生体特徴量補正量算出部が算出した前記生体特徴量補正量、補正後の前記生体特徴量、補正前の前記生体特徴量、のいずれかを前記補正用画像に関連付けて保存する請求項1〜3のいずれか1項に記載の内視鏡システム。
  5. 前記補正用画像と前記生体特徴量画像とを表示する表示部を備える請求項1〜4のいずれか1項に記載の内視鏡システム。
  6. 前記保存部が保存する前記補正用画像に対して、使用可能領域を設定する領域設定部を備え、
    前記生体特徴量補正量算出部は、前記領域設定部が前記使用可能領域を設定した場合、前記使用可能領域を用いて前記生体特徴量補正量の算出をやり直し、
    前記生体特徴量補正部は、前記生体特徴量補正量算出部が再算出した前記生体特徴量補正量を用いて前記生体特徴量の補正をやり直す請求項1〜5のいずれか1項に記載の内視鏡システム。
  7. 前記領域設定部は、前記補正用画像に対して不使用領域を設定することで、前記不使用領域以外の領域を前記使用可能領域に設定する請求項6に記載の内視鏡システム。
  8. 前記保存部が前記補正用画像を複数セット保存しており、かつ、前記生体特徴量補正量算出部が前記生体特徴量補正量の算出に使用した前記補正用画像が不適切であった場合、
    前記生体特徴量補正量算出部は、前記補正用画像のセットを変えて前記生体特徴量補正量の算出をやり直し、
    前記生体特徴量補正部は、前記生体特徴量補正量算出部が再算出した前記生体特徴量補正量を用いて前記生体特徴量の補正をやり直す請求項1〜5のいずれか1項に記載の内視鏡システム。
  9. 前記画像取得部が前記観察対象の観察中にリアルタイムに前記補正用画像及び前記生体特徴量算出用画像を取得する場合と、前記画像取得部が前記観察対象の観察の完了後に前記補正用画像及び前記生体特徴量算出用画像を取得する場合とで、前記生体特徴量補正量算出部が前記生体特徴量補正量の算出の精度を変更し、かつ前記生体特徴量補正部が前記生体特徴量の補正の精度を変更する請求項1〜8のいずれか1項に記載の内視鏡システム。
  10. 前記画像取得部が前記観察対象の観察の完了後に前記補正用画像及び前記生体特徴量算出用画像を取得した場合における前記生体特徴量補正量の算出の精度及び前記生体特徴量の補正の精度は、前記画像取得部が前記観察対象の観察中にリアルタイムに前記補正用画像及び前記生体特徴量算出用画像を取得した場合における前記生体特徴量補正量の算出の精度及び前記生体特徴量の補正の精度よりも高くする請求項9に記載の内視鏡システム。
  11. 前記画像取得部は、前記生体特徴量算出部による前記生体特徴量の算出に先立って前記観察対象を撮像して得る前記補正用画像を取得する請求項1〜10のいずれか1項に記載の内視鏡システム。
  12. 波長帯域が異なる複数の照明光によってそれぞれ観察対象を撮像して得る複数の生体特徴量算出用画像を用いて前記観察対象の生体特徴量を算出する生体特徴量算出部を有するプロセッサ装置において、
    前記観察対象を撮像して得る補正用画像を取得する画像取得部と、
    前記補正用画像を用いて、前記生体特徴量に対する生体特徴量補正量を算出する生体特徴量補正量算出部と、
    前記生体特徴量補正量にしたがって前記生体特徴量算出部が算出した前記生体特徴量の補正をする生体特徴量補正部と、
    前記補正用画像と、補正後の前記生体特徴量を表す生体特徴量画像とを関連付けて保存する保存部と、を備え、
    前記保存部が、前記生体特徴量画像と関連付けられた補正用画像と、前記生体特徴量画像と関連付けられていない補正用画像を含む複数セットの補正用画像を保存しており、
    前記生体特徴量画像と関連付けられた補正用画像は、検証モードを実行することで、前記生体特徴量画像と並べて、ユーザが選択可能な状態で表示部に表示するために用いられ、前記生体特徴量画像と関連付けられていない補正用画像は、前記生体特徴量の補正のやり直しを行うために、前記検証モード中の入力操作に従って、前記生体特徴量画像と並べて前記表示部に表示するために用いられ、
    前記補正用画像は、前記ユーザによる入力操作により選択される補正用画像であって、前記生体特徴量補正量の算出に適切な補正用画像であり、
    前記生体特徴量補正量算出部は、選択された補正用画像を用いて、前記生体特徴量補正量の算出をやり直すプロセッサ装置。
  13. 波長帯域が異なる複数の照明光によってそれぞれ観察対象を撮像して得る複数の生体特徴量算出用画像を用いて前記観察対象の生体特徴量を算出する生体特徴量算出部を有する内視鏡システムの作動方法において、
    画像取得部が、前記観察対象を撮像して得る補正用画像を取得するステップと、
    生体特徴量補正量算出部が、前記補正用画像を用いて、前記生体特徴量に対する生体特徴量補正量を算出するステップと、
    前記生体特徴量算出部が、前記生体特徴量を算出するステップと、
    生体特徴量補正部が、前記生体特徴量補正量にしたがって前記生体特徴量算出部が算出した前記生体特徴量の補正をするステップと、
    保存部が、前記補正用画像と、補正後の前記生体特徴量を表す生体特徴量画像とを関連付けて保存するステップと、を備え、
    前記保存部が、前記生体特徴量画像と関連付けられた補正用画像と、前記生体特徴量画像と関連付けられていない補正用画像を含む複数セットの補正用画像を保存しており、
    前記生体特徴量画像と関連付けられた補正用画像は、検証モードを実行することで、前記生体特徴量画像と並べて、ユーザが選択可能な状態で表示部に表示され、前記生体特徴量画像と関連付けられていない補正用画像は、前記生体特徴量の補正のやり直しを行うために、前記検証モード中の入力操作に従って、前記生体特徴量画像と並べて前記表示部に表示され、
    前記補正用画像は、前記ユーザによる入力操作により選択される補正用画像であって、前記生体特徴量補正量の算出に適切な補正用画像であり、
    前記生体特徴量補正量算出部は、選択された補正用画像を用いて、前記生体特徴量補正量の算出をやり直す内視鏡システムの作動方法。
JP2015246789A 2015-12-17 2015-12-17 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法 Active JP6744712B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015246789A JP6744712B2 (ja) 2015-12-17 2015-12-17 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
EP16875218.6A EP3391806B1 (en) 2015-12-17 2016-10-04 Endoscope system, processor device, and endoscope system operation method
PCT/JP2016/079404 WO2017104233A1 (ja) 2015-12-17 2016-10-04 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
US15/954,602 US10869590B2 (en) 2015-12-17 2018-04-17 Endoscope system, processor device, and operation method of endoscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015246789A JP6744712B2 (ja) 2015-12-17 2015-12-17 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法

Publications (2)

Publication Number Publication Date
JP2017108982A JP2017108982A (ja) 2017-06-22
JP6744712B2 true JP6744712B2 (ja) 2020-08-19

Family

ID=59056041

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015246789A Active JP6744712B2 (ja) 2015-12-17 2015-12-17 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法

Country Status (4)

Country Link
US (1) US10869590B2 (ja)
EP (1) EP3391806B1 (ja)
JP (1) JP6744712B2 (ja)
WO (1) WO2017104233A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6392486B1 (ja) * 2017-02-01 2018-09-19 オリンパス株式会社 内視鏡システム
EP3705024A4 (en) * 2017-10-31 2020-11-11 Fujifilm Corporation INSPECTION ASSISTANCE DEVICE, ENDOSCOPE DEVICE, INSPECTION ASSISTANCE PROCESS AND INSPECTION ASSISTANCE PROGRAM
CN111670000B (zh) * 2018-02-05 2024-06-28 索尼公司 成像装置和成像方法以及程序
JP7374600B2 (ja) * 2019-03-22 2023-11-07 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
JP6999597B2 (ja) * 2019-03-27 2022-01-18 富士フイルム株式会社 プロセッサ装置及びその作動方法並びに内視鏡システム
WO2021070663A1 (ja) * 2019-10-09 2021-04-15 富士フイルム株式会社 内視鏡システム及びその作動方法
JP7229210B2 (ja) * 2020-09-15 2023-02-27 Hoya株式会社 内視鏡用プロセッサ及び内視鏡システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2810718B2 (ja) * 1989-05-09 1998-10-15 オリンパス光学工業株式会社 内視鏡装置
JP5616303B2 (ja) * 2010-08-24 2014-10-29 富士フイルム株式会社 電子内視鏡システム及び電子内視鏡システムの作動方法
JP2012065953A (ja) * 2010-09-27 2012-04-05 Fujifilm Corp 内視鏡システム
JP5570373B2 (ja) * 2010-09-29 2014-08-13 富士フイルム株式会社 内視鏡システム
JP5244164B2 (ja) 2010-10-18 2013-07-24 富士フイルム株式会社 内視鏡装置
JP5653733B2 (ja) * 2010-11-29 2015-01-14 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
JP5426620B2 (ja) * 2011-07-25 2014-02-26 富士フイルム株式会社 内視鏡システムおよび内視鏡システムの作動方法
JP5997643B2 (ja) * 2013-03-26 2016-09-28 富士フイルム株式会社 内視鏡システム及びプロセッサ装置並びに作動方法
JP6389352B2 (ja) * 2013-08-13 2018-09-12 Hoya株式会社 内視鏡システム
JP5977772B2 (ja) * 2014-02-06 2016-08-24 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP2015195845A (ja) * 2014-03-31 2015-11-09 富士フイルム株式会社 内視鏡システム、内視鏡システムの作動方法、プロセッサ装置、プロセッサ装置の作動方法

Also Published As

Publication number Publication date
EP3391806B1 (en) 2020-07-01
EP3391806A1 (en) 2018-10-24
WO2017104233A1 (ja) 2017-06-22
EP3391806A4 (en) 2018-12-05
JP2017108982A (ja) 2017-06-22
US10869590B2 (en) 2020-12-22
US20180228347A1 (en) 2018-08-16

Similar Documents

Publication Publication Date Title
JP6744712B2 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP6437943B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP5887367B2 (ja) プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
US20220322974A1 (en) Endoscope system and method of operating endoscope system
JP6629639B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6243364B2 (ja) 内視鏡用のプロセッサ装置、及び作動方法、並びに制御プログラム
WO2018159083A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US10702136B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP2017080246A (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US10842423B2 (en) Endoscope system, processor device, and operation method of endoscope system
US20170231469A1 (en) Processor device for endoscope,operation method thereof, and non-transitory computer readable medium
JP2016120026A (ja) 内視鏡システム及びその作動方法
JP6586206B2 (ja) 内視鏡システム及びその作動方法
JP2023160916A (ja) 内視鏡システム及びその作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190422

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191129

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20191206

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200731

R150 Certificate of patent or registration of utility model

Ref document number: 6744712

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250