JP5997643B2 - 内視鏡システム及びプロセッサ装置並びに作動方法 - Google Patents

内視鏡システム及びプロセッサ装置並びに作動方法 Download PDF

Info

Publication number
JP5997643B2
JP5997643B2 JP2013064663A JP2013064663A JP5997643B2 JP 5997643 B2 JP5997643 B2 JP 5997643B2 JP 2013064663 A JP2013064663 A JP 2013064663A JP 2013064663 A JP2013064663 A JP 2013064663A JP 5997643 B2 JP5997643 B2 JP 5997643B2
Authority
JP
Japan
Prior art keywords
signal
light
image signal
illumination light
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013064663A
Other languages
English (en)
Other versions
JP2014188083A (ja
Inventor
典雅 繁田
典雅 繁田
山口 博司
博司 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2013064663A priority Critical patent/JP5997643B2/ja
Priority to PCT/JP2014/056268 priority patent/WO2014156604A1/ja
Publication of JP2014188083A publication Critical patent/JP2014188083A/ja
Application granted granted Critical
Publication of JP5997643B2 publication Critical patent/JP5997643B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/1459Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、検体内の撮像により得られる画像信号から血中ヘモグロビンの酸素飽和度に関する生体機能情報を求める内視鏡システム及びプロセッサ装置並びに作動方法に関する。
医療分野においては、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムを用いて、診断することが一般的になっている(特許文献1〜6)。また、近年においては、生体機能情報の中でも血中ヘモグロビンの酸素飽和度を用いた病変部の診断が行われつつある。血中ヘモグロビンの酸素飽和度を取得する方法としては、酸化ヘモグロビンと還元ヘモグロビンの吸光係数が異なる第1信号光と、この第1信号光と異なる波長域の第2信号光を交互に粘膜内の血管に照射して、それら第1及び第2信号光の反射光を内視鏡先端部のセンサで検出する。
センサで検出した第1信号光の反射光に対応する第1信号用画像信号と第2信号光の反射光に対応する第2信号用画像信号の比率を示す測定用信号比は、内視鏡の自動露光制御(AE)が理想的に作動している状況下においては、血管内の酸素飽和度に変化が無ければ、一定値を維持する。その一方で、酸素飽和度に変化が生ずれば、それに伴って測定用信号比も変化する。したがって、測定用信号比から、酸素飽和度を算出することができる。
しかしながら、内視鏡先端部と検体との距離が急激に変化した場合など自動露光制御が不安定になった場合には、第1信号光と第2信号光の反射光の強度比(フレーム間強度比)が予め定めたフレーム間強度比(基準フレーム間強度比)から外れてしまうことがある。この場合には、酸素飽和度に変化が無い場合であっても、フレーム間強度比の変化とともに、測定用信号比も変化する。これは、酸素飽和度の算出精度を低下させる要因の一つとなる。
そこで、特許文献1では、自動露光制御の不安定化でフレーム間強度比が基準フレーム間強度比から外れた場合であっても、それによって測定用信号比が変動しないように、フレーム間強度比の変化に応じて、第1信号用画像信号又は第2信号用画像信号を補正している。
特開2012−125402号公報 特開2013−13656号公報 特開2001−218217号公報 特開2011−234844号公報 特開2009−135907号公報 特開2010−227253号公報
特許文献1では、フレーム間強度比の変化を把握するために、第1信号光と同時に第1参照光(蛍光体から発せられる蛍光のうちセンサのR画素で検出される赤色成分)を発光するとともに、第2信号光と同時に第2参照光(蛍光体から発せられる蛍光のうちセンサのR画素で検出される赤色成分)を発光している。そして、第1参照光に対応する第1参照用画像信号と第2参照光に対応する第2参照用画像信号との比率を示す参照用信号比を参照して、各画素毎に、第1信号用画像信号又は第2信号用画像信号の補正を行っている。
参照用信号比は、第1参照用画像信号の平均値と第2参照用画像信号の平均値から算出される。そのため、画面内の一部の領域が他の領域よりも暗くなった場合など、明るさが大きく異なる領域が画像中に存在する場合には、参照用信号比を用いても、正確に補正することができない場合がある。このような状況は、内視鏡先端部が湾曲して旋回動作する場合(画面内の一部の領域が検体に接近し、その他の領域が遠ざかるような場合)や、内視鏡先端部の前方に突然隆起物が出現した場合などに発生する。したがって、画像中に明るさが異なる領域が存在しても、フレーム間強度比の変動に応じて、信号用画像信号を正確に補正することによって、酸素飽和度を精度良く算出することが求められている。
本発明は、画像中に明るさが異なる領域が存在しても、血中ヘモグロビンの酸素飽和度を精度良く算出することができる内視鏡システム及びプロセッサ装置並びに作動方法を提供することを目的とする。
上記目的を達成するために、本発明の内視鏡システムは、第1信号光、及び参照光を含む第1照明光を発する第1光源と、第1信号光と波長域が異なる第2信号光、及び参照光を含む第2照明光を発する第2光源と、第1照明光と第2照明光が交互に検体に照射されるように、第1照明光と第2照明光の照射タイミングを制御する光源制御部と、検体から第1照明光の反射光を受光した時には、第1照明光の反射光を第1信号光と参照光に波長分離して撮像することにより、第1信号光に対応する第1信号用画像信号を出力するとともに、参照光に対応する第1参照用画像信号を出力し、検体から第2照明光の反射光を受光した時には、第2照明光の反射光を第2信号光と参照光に波長分離して撮像することにより、第2信号光に対応する第2信号用画像信号を出力するとともに、参照光に対応する第2参照用画像信号を出力する撮像部と、第1信号用画像信号と第2信号用画像信号との位置ずれ量を算出するとともに、それら信号用画像信号間の位置合わせを行う第1位置合わせ部と、位置ずれ量に基づいて、第1参照用画像信号と第2参照用画像信号の位置合わせを行う第2位置合わせ部と、位置合わせ済みの第1参照用画像信号と第2参照用画像信号に基づいて、各画素毎に、第1及び第2信号光の強度に関する参照情報を算出する参照情報算出部と、参照情報に基づいて、第1信号用画像信号又は第2信号用画像信号を補正する補正部と、補正後の第1信号用画像信号又は第2信号用画像信号に基づいて、生体機能情報を算出する生体機能情報算出部と、第1信号用画像信号及び第2信号用画像信号のうち、一方の画像信号の複数のエリアにそれぞれ基準ポイントを設定するとともに、他方の画像信号内に、基準ポイントに対応する位置に探索ポイントを設定する探索条件設定部とを備え、第1位置合わせ部は、探索ポイントを所定の探索範囲で移動させることにより、基準ポイントと最も近い特徴量を有する目標ポイントを検出する検出処理を行い、位置ずれ量は、目標ポイントを検出したときの探索ポイントの移動量であり、複数のエリアのうち暗部が存在する暗エリアについては、暗エリアのうち暗部以外の部分に基準ポイント及び探索ポイントを設定することを特徴とする。
上記目的を達成するために、本発明の内視鏡システムは、第1信号光、及び参照光を含む第1照明光を発する第1光源と、第1信号光と波長域が異なる第2信号光、及び参照光を含む第2照明光を発する第2光源と、第1照明光と第2照明光が交互に検体に照射されるように、第1照明光と第2照明光の照射タイミングを制御する光源制御部と、検体から第1照明光の反射光を受光した時には、第1照明光の反射光を第1信号光と参照光に波長分離して撮像することにより、第1信号光に対応する第1信号用画像信号を出力するとともに、参照光に対応する第1参照用画像信号を出力し、検体から第2照明光の反射光を受光した時には、第2照明光の反射光を第2信号光と参照光に波長分離して撮像することにより、第2信号光に対応する第2信号用画像信号を出力するとともに、参照光に対応する第2参照用画像信号を出力する撮像部と、第1信号用画像信号と第2信号用画像信号との位置ずれ量を算出するとともに、それら信号用画像信号間の位置合わせを行う第1位置合わせ部と、位置ずれ量に基づいて、第1参照用画像信号と第2参照用画像信号の位置合わせを行う第2位置合わせ部と、位置合わせ済みの第1参照用画像信号と第2参照用画像信号に基づいて、各画素毎に、第1及び第2信号光の強度に関する参照情報を算出する参照情報算出部と、参照情報に基づいて、第1信号用画像信号又は第2信号用画像信号を補正する補正部と、補正後の第1信号用画像信号又は第2信号用画像信号に基づいて、生体機能情報を算出する生体機能情報算出部と、第1信号用画像信号及び第2信号用画像信号のうち、一方の画像信号の複数のエリアにそれぞれ基準ポイントを設定するとともに、他方の画像信号内に、基準ポイントに対応する位置に探索ポイントを設定する探索条件設定部とを備え、第1位置合わせ部は、探索ポイントを所定の探索範囲で移動させることにより、基準ポイントと最も近い特徴量を有する目標ポイントを検出する検出処理を行い、位置ずれ量は、目標ポイントを検出したときの探索ポイントの移動量であり、検体との距離が一定値以上の場合の探索範囲を、距離が一定値を下回る場合の探索範囲よりも広くすることを特徴とする。
上記目的を達成するために、本発明の内視鏡システムは、第1信号光、及び参照光を含む第1照明光を発する第1光源と、第1信号光と波長域が異なる第2信号光、及び参照光を含む第2照明光を発する第2光源と、第1照明光と第2照明光が交互に検体に照射されるように、第1照明光と第2照明光の照射タイミングを制御する光源制御部と、検体から第1照明光の反射光を受光した時には、第1照明光の反射光を第1信号光と参照光に波長分離して撮像することにより、第1信号光に対応する第1信号用画像信号を出力するとともに、参照光に対応する第1参照用画像信号を出力し、検体から第2照明光の反射光を受光した時には、第2照明光の反射光を第2信号光と参照光に波長分離して撮像することにより、第2信号光に対応する第2信号用画像信号を出力するとともに、参照光に対応する第2参照用画像信号を出力する撮像部と、第1信号用画像信号と第2信号用画像信号との位置ずれ量を算出するとともに、それら信号用画像信号間の位置合わせを行う第1位置合わせ部と、位置ずれ量に基づいて、第1参照用画像信号と第2参照用画像信号の位置合わせを行う第2位置合わせ部と、位置合わせ済みの第1参照用画像信号と第2参照用画像信号に基づいて、各画素毎に、第1及び第2信号光の強度に関する参照情報を算出する参照情報算出部と、参照情報に基づいて、第1信号用画像信号又は第2信号用画像信号を補正する補正部と、補正後の第1信号用画像信号又は第2信号用画像信号に基づいて、生体機能情報を算出する生体機能情報算出部と、第1信号用画像信号及び第2信号用画像信号のうち、一方の画像信号の複数のエリアにそれぞれ基準ポイントを設定するとともに、他方の画像信号内に、基準ポイントに対応する位置に探索ポイントを設定する探索条件設定部と、検体を拡大する拡大手段とを備え、第1位置合わせ部は、探索ポイントを所定の探索範囲で移動させることにより、基準ポイントと最も近い特徴量を有する目標ポイントを検出する検出処理を行い、位置ずれ量は、目標ポイントを検出したときの探索ポイントの移動量であり、拡大手段の非使用時における探索範囲を、拡大手段の使用時における探索範囲よりも広くすることを特徴とする。
第1信号用画像信号と第2信号用画像信号に対して、高周波成分を抽出する高周波フィルタリングを施す高周波成分抽出部を備え、第1位置合わせ部は、高周波フィルタリング後の第1信号用画像信号と第2信号用画像信号に基づいて、位置ずれ量の算出及び位置合わせを行うことが好ましい。第1参照用画像信号と第2参照用画像信号に対して、低周波成分を抽出する低周波フィルタリングを施す低周波成分抽出部を備え、第2位置合わせ部は、低周波フィルタリング後の第1参照用画像信号と第2参照用画像信号間の位置合わせを行うことが好ましい。
撮像部は、第1信号光を受光して第1信号用画像信号を出力する第1画素と、第2信号光を受光して第2信号用画像信号を出力する第2画素と、参照光を受光して第1参照用画像信号又は第2参照用画像信号を出力する第3画素とが設けられたカラーのセンサを有することが好ましい。
第1及び第2信号光は参照光よりも短波長の波長域を有することが好ましい。参照光は、第1照明光に含まれ、第1信号光よりも長波長の第1参照光と、第2照明光に含まれ、第2信号光よりも長波長の第2参照光からなり、第1参照光と第2参照光は波形が同じで、第1参照光と前記第2参照光の強度比が同じであり、第1参照用画像信号は、第1参照光に対応しており、第2参照用画像信号は第2参照光に対応することが好ましい。
生体機能情報は、補正後の第1信号用画像信号及び第2信号用画像信号間の測定用信号比に基づいて算出される酸素飽和度であり、参照情報は、第1参照用画像信号と第2参照用画像信号間の比率を示す参照用信号比であり、参照用信号比は、第1照明光の反射光の強度と第2照明光の反射光の強度との比率を示すフレーム間強度比に合わせて変化することが好ましい。
本発明は、第1信号光、及び参照光を含む第1照明光を発する第1光源と、第1信号光と波長域が異なる第2信号光、及び参照光を含む第2照明光を発する第2光源と、第1照明光と第2照明光が交互に検体に照射されるように、第1照明光と第2照明光の発生タイミングを制御する光源制御部と、検体から第1照明光の反射光を受光した時には、第1照明光の反射光を第1信号光と参照光に波長分離して撮像することにより、第1信号光に対応する第1信号用画像信号を出力するとともに、参照光に対応する第1参照用画像信号を出力し、検体から第2照明光の反射光を受光した時には、第2照明光の反射光を第2信号光と参照光に波長分離して撮像することにより、第2信号光に対応する第2信号用画像信号を出力するとともに、参照光に対応する第2参照用画像信号を出力する撮像部とを備える内視鏡システムのプロセッサ装置において、第1信号用画像信号と第2信号用画像信号との位置ずれ量を算出するとともに、それら信号用画像信号間の位置合わせを行う第1位置合わせ部と、位置ずれ量に基づいて、第1参照用画像信号と第2参照用画像信号の位置合わせを行う第2位置合わせ部と、位置合わせ済みの第1参照用画像信号と第2参照用画像信号に基づいて、各画素毎に、第1及び第2信号光の強度に関する参照情報を算出する参照情報算出部と、参照情報に基づいて、第1信号用画像信号又は第2信号用画像信号を補正する補正部と、補正後の第1信号用画像信号又は第2信号用画像信号に基づいて、生体機能情報算出部と、第1信号用画像信号及び第2信号用画像信号のうち、一方の画像信号の複数のエリアにそれぞれ基準ポイントを設定するとともに、他方の画像信号内に、基準ポイントに対応する位置に探索ポイントを設定する探索条件設定部とを備え、第1位置合わせ部は、探索ポイントを所定の探索範囲で移動させることにより、基準ポイントと最も近い特徴量を有する目標ポイントを検出する検出処理を行い、位置ずれ量は、目標ポイントを検出したときの探索ポイントの移動量であり、複数のエリアのうち暗部が存在する暗エリアについては、暗エリアのうち暗部以外の部分に基準ポイント及び探索ポイントを設定することを特徴とする。
本発明は、第1信号光、及び参照光を含む第1照明光を発する第1光源と、第1信号光と波長域が異なる第2信号光、及び参照光を含む第2照明光を発する第2光源と、第1照明光と第2照明光が交互に検体に照射されるように、第1照明光と第2照明光の発生タイミングを制御する光源制御部と、検体から第1照明光の反射光を受光した時には、第1照明光の反射光を第1信号光と参照光に波長分離して撮像することにより、第1信号光に対応する第1信号用画像信号を出力するとともに、参照光に対応する第1参照用画像信号を出力し、検体から第2照明光の反射光を受光した時には、第2照明光の反射光を第2信号光と参照光に波長分離して撮像することにより、第2信号光に対応する第2信号用画像信号を出力するとともに、参照光に対応する第2参照用画像信号を出力する撮像部とを備える内視鏡システムのプロセッサ装置において、第1信号用画像信号と第2信号用画像信号との位置ずれ量を算出するとともに、それら信号用画像信号間の位置合わせを行う第1位置合わせ部と、位置ずれ量に基づいて、第1参照用画像信号と第2参照用画像信号の位置合わせを行う第2位置合わせ部と、位置合わせ済みの第1参照用画像信号と第2参照用画像信号に基づいて、各画素毎に、第1及び第2信号光の強度に関する参照情報を算出する参照情報算出部と、参照情報に基づいて、第1信号用画像信号又は第2信号用画像信号を補正する補正部と、補正後の第1信号用画像信号又は第2信号用画像信号に基づいて、生体機能情報算出部と、第1信号用画像信号及び第2信号用画像信号のうち、一方の画像信号の複数のエリアにそれぞれ基準ポイントを設定するとともに、他方の画像信号内に、基準ポイントに対応する位置に探索ポイントを設定する探索条件設定部とを備え、第1位置合わせ部は、探索ポイントを所定の探索範囲で移動させることにより、基準ポイントと最も近い特徴量を有する目標ポイントを検出する検出処理を行い、位置ずれ量は、目標ポイントを検出したときの探索ポイントの移動量であり、検体との距離が一定値以上の場合の探索範囲を、距離が一定値を下回る場合の探索範囲よりも広くすることを特徴とする。
本発明は、第1信号光、及び参照光を含む第1照明光を発する第1光源と、第1信号光と波長域が異なる第2信号光、及び参照光を含む第2照明光を発する第2光源と、第1照明光と第2照明光が交互に検体に照射されるように、第1照明光と第2照明光の発生タイミングを制御する光源制御部と、検体から第1照明光の反射光を受光した時には、第1照明光の反射光を第1信号光と参照光に波長分離して撮像することにより、第1信号光に対応する第1信号用画像信号を出力するとともに、参照光に対応する第1参照用画像信号を出力し、検体から第2照明光の反射光を受光した時には、第2照明光の反射光を第2信号光と参照光に波長分離して撮像することにより、第2信号光に対応する第2信号用画像信号を出力するとともに、参照光に対応する第2参照用画像信号を出力する撮像部と、検体を拡大する拡大手段とを備える内視鏡システムのプロセッサ装置において、第1信号用画像信号と第2信号用画像信号との位置ずれ量を算出するとともに、それら信号用画像信号間の位置合わせを行う第1位置合わせ部と、位置ずれ量に基づいて、第1参照用画像信号と第2参照用画像信号の位置合わせを行う第2位置合わせ部と、位置合わせ済みの第1参照用画像信号と第2参照用画像信号に基づいて、各画素毎に、第1及び第2信号光の強度に関する参照情報を算出する参照情報算出部と、参照情報に基づいて、第1信号用画像信号又は第2信号用画像信号を補正する補正部と、補正後の第1信号用画像信号又は第2信号用画像信号に基づいて、生体機能情報算出部と、第1信号用画像信号及び第2信号用画像信号のうち、一方の画像信号の複数のエリアにそれぞれ基準ポイントを設定するとともに、他方の画像信号内に、基準ポイントに対応する位置に探索ポイントを設定する探索条件設定部とを備え、第1位置合わせ部は、探索ポイントを所定の探索範囲で移動させることにより、基準ポイントと最も近い特徴量を有する目標ポイントを検出する検出処理を行い、位置ずれ量は、目標ポイントを検出したときの探索ポイントの移動量であり、拡大手段の非使用時における探索範囲を、拡大手段の使用時における探索範囲よりも広くすることを特徴とする。
本発明の内視鏡システムの作動方法は、光源制御部が、第1信号光及び参照光を含む第1照明光と、第1信号光と波長域が異なる第2信号光及び参照光を含む第2照明光を、異なるタイミングで発生するように、第1照明光と第2照明光の発生タイミングを制御するステップと、撮像部が、検体から第1照明光の反射光を受光した時には、第1照明光の反射光を第1信号光と参照光に波長分離して撮像することにより、第1信号光に対応する第1信号用画像信号を出力するとともに、参照光に対応する第1参照用画像信号を出力し、検体から第2照明光の反射光を受光した時には、第2照明光の反射光を第2信号光と参照光に波長分離して撮像することにより、第2信号光に対応する第2信号用画像信号を出力するとともに、参照光に対応する第2参照用画像信号を出力するステップと、探索条件設定部が、第1信号用画像信号及び第2信号用画像信号のうち、一方の画像信号の複数のエリアにそれぞれ基準ポイントを設定するとともに、他方の画像信号内に、基準ポイントに対応する位置に探索ポイントを設定するステップと、第1位置合わせ部が、第1信号用画像信号と第2信号用画像信号との位置ずれ量を算出するとともに、それら信号用画像信号間の位置合わせを行うステップであって、探索ポイントを所定の探索範囲で移動させることにより、基準ポイントと最も近い特徴量を有する目標ポイントを検出する検出処理を行い、目標ポイントを検出したときの探索ポイントの移動量を、位置ずれ量として、算出するステップと、第2位置合わせ部が、位置ずれ量に基づいて、第1参照用画像信号と第2参照用画像信号の位置合わせを行うステップと、参照情報算出部が、位置合わせ済みの第1参照用画像信号と第2参照用画像信号に基づいて、各画素毎に、第1及び第2信号光の強度に関する参照情報を算出するステップと、補正部が、参照情報に基づいて、第1信号用画像信号又は第2信号用画像信号を補正するステップと、生体機能情報算出部が、補正後の第1信号用画像信号又は第2信号用画像信号に基づいて、生体機能情報を算出するステップとを有し、探索条件設定部により基準ポイント及び探索ポイントを設定するステップにおいては、複数のエリアのうち暗部が存在する暗エリアについては、暗エリアのうち暗部以外の部分に基準ポイント及び探索ポイントを設定することを特徴とする。
本発明の内視鏡システムの作動方法は、光源制御部が、第1信号光及び参照光を含む第1照明光と、第1信号光と波長域が異なる第2信号光及び参照光を含む第2照明光を、異なるタイミングで発生するように、第1照明光と第2照明光の発生タイミングを制御するステップと、撮像部が、検体から第1照明光の反射光を受光した時には、第1照明光の反射光を第1信号光と参照光に波長分離して撮像することにより、第1信号光に対応する第1信号用画像信号を出力するとともに、参照光に対応する第1参照用画像信号を出力し、検体から第2照明光の反射光を受光した時には、第2照明光の反射光を第2信号光と参照光に波長分離して撮像することにより、第2信号光に対応する第2信号用画像信号を出力するとともに、参照光に対応する第2参照用画像信号を出力するステップと、探索条件設定部が、第1信号用画像信号及び第2信号用画像信号のうち、一方の画像信号の複数のエリアにそれぞれ基準ポイントを設定するとともに、他方の画像信号内に、基準ポイントに対応する位置に探索ポイントを設定するステップと、第1位置合わせ部が、第1信号用画像信号と第2信号用画像信号との位置ずれ量を算出するとともに、それら信号用画像信号間の位置合わせを行うステップであって、探索ポイントを所定の探索範囲で移動させることにより、基準ポイントと最も近い特徴量を有する目標ポイントを検出する検出処理を行い、目標ポイントを検出したときの探索ポイントの移動量を、位置ずれ量として、算出するステップと、第2位置合わせ部が、位置ずれ量に基づいて、第1参照用画像信号と第2参照用画像信号の位置合わせを行うステップと、参照情報算出部が、位置合わせ済みの第1参照用画像信号と第2参照用画像信号に基づいて、各画素毎に、第1及び第2信号光の強度に関する参照情報を算出するステップと、補正部が、参照情報に基づいて、第1信号用画像信号又は第2信号用画像信号を補正するステップと、生体機能情報算出部が、補正後の第1信号用画像信号又は第2信号用画像信号に基づいて、生体機能情報を算出するステップとを有し、第1位置合わせ部により検出処理を行うステップにおいては、検体との距離が一定値以上の場合の探索範囲を、距離が一定値を下回る場合の探索範囲よりも広くすることを特徴とする。
本発明の内視鏡システムの作動方法は、光源制御部が、第1信号光及び参照光を含む第1照明光と、第1信号光と波長域が異なる第2信号光及参照光を含む第2照明光を、異なるタイミングで発生するように、第1照明光と第2照明光の発生タイミングを制御するステップと、撮像部が、検体から第1照明光の反射光を受光した時には、第1照明光の反射光を第1信号光と参照光に波長分離して撮像することにより、第1信号光に対応する第1信号用画像信号を出力するとともに、参照光に対応する第1参照用画像信号を出力し、検体から第2照明光の反射光を受光した時には、第2照明光の反射光を第2信号光と参照光に波長分離して撮像することにより、第2信号光に対応する第2信号用画像信号を出力するとともに、参照光に対応する第2参照用画像信号を出力するステップと、探索条件設定部が、第1信号用画像信号及び第2信号用画像信号のうち、一方の画像信号の複数のエリアにそれぞれ基準ポイントを設定するとともに、他方の画像信号内に、基準ポイントに対応する位置に探索ポイントを設定するステップと、第1位置合わせ部が、第1信号用画像信号と第2信号用画像信号との位置ずれ量を算出するとともに、それら信号用画像信号間の位置合わせを行うステップであって、探索ポイントを所定の探索範囲で移動させることにより、基準ポイントと最も近い特徴量を有する目標ポイントを検出する検出処理を行い、目標ポイントを検出したときの探索ポイントの移動量を、位置ずれ量として、算出するステップと、第2位置合わせ部が、位置ずれ量に基づいて、第1参照用画像信号と第2参照用画像信号の位置合わせを行うステップと、参照情報算出部が、位置合わせ済みの第1参照用画像信号と第2参照用画像信号に基づいて、各画素毎に、第1及び第2信号光の強度に関する参照情報を算出するステップと、補正部が、参照情報に基づいて、第1信号用画像信号又は第2信号用画像信号を補正するステップと、生体機能情報算出部が、補正後の第1信号用画像信号又は第2信号用画像信号に基づいて、生体機能情報を算出するステップとを有し、第1位置合わせ部により検出処理を行うステップにおいては、検体を拡大する拡大手段の非使用時における探索範囲を、拡大手段の使用時における探索範囲よりも広くすることを特徴とする。
本発明によれば、画像中に明るさが異なる領域が存在しても、第1及び第2信号光の強度比の変動に応じて、第1又は第2信号用画像信号を正確に補正することによって、酸素飽和度を精度良く算出することができる。
内視鏡システムの外観図である。 第1実施形態の内視鏡システムのブロック図である。 通常観察モード時に発光する第2白色光の発光スペクトルを示すグラフである。 特殊観察モード時に発光する第1及び第2白色光の発光スペクトルを示すグラフである。 第1及び第2白色光の発光スペクトルを比較するための説明図である。 BGRカラーフィルタの分光透過率を示すグラフである。 第1実施形態における通常観察モード時の撮像制御を説明するための説明図である。 第1実施形態における特殊観察モード時の撮像制御を説明するための説明図である。 酸素飽和度画像生成部のブロック図である。 信号補正部での処理フローを説明するための説明図である。 基準ポイントを説明するための説明図である。 探索ポイントと目標ポイントを説明するための説明図である。 各エリアの明るさがほぼ同じ場合における基準ポイント及び探索ポイントの位置設定方法を説明するための説明図である。 内視鏡の先端部前方に隆起物が無い場合の管腔内の断面図である。 暗部が存在するエリアがある場合における基準ポイント及び探索ポイントの位置設定方法を説明するための説明図である。 内視鏡の先端部前方に隆起物が有る場合の管腔内の断面図である。 探索範囲Xの設定方法を説明するための説明図である。 探索範囲Yの設定方法を説明するための説明図である。 測定用信号比B1/G2、R2/G2と酸素飽和度との相関関係を表すグラフである。 酸化ヘモグロビンと還元ヘモグロビンの吸光係数を示すグラフである。 図15の相関関係を参照して酸素飽和度を算出する方法を説明するための説明図である。 本発明の一連の流れを表したフローチャートである。 蛍光体が光源装置内に設けられた内視鏡システムのブロック図である。 第2実施形態の内視鏡システムのブロック図である。 第2実施形態における通常観察モード時の撮像制御を説明するための説明図である。 第2実施形態における特殊観察モード時の撮像制御を説明するための説明図である。 第3実施形態の内視鏡システムのブロック図である。 第3実施形態の回転フィルタの平面図である。 第3実施形態のBPFの分光透過率を示すグラフである。 第3実施形態における通常観察モード時の撮像制御を説明するための説明図である。 第3実施形態における特殊観察モード時の撮像制御を説明するための説明図である。 第4実施形態の内視鏡システムのブロック図である。 第4実施形態の回転フィルタの平面図である。 第4実施形態のBPFの分光透過率を示すグラフである。 第4実施形態における通常観察モード時の撮像制御を説明するための説明図である。 第4実施形態における特殊観察モード時の撮像制御を説明するための説明図である。
[第1実施形態]
図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール20とを有する。内視鏡12は光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、検体内に挿入される挿入部21と、挿入部の基端部分に設けられた操作部22と、挿入部21の先端側に設けられる湾曲部23及び先端部24を有している。操作部22のアングルノブ22aを操作することにより、湾曲部23は湾曲動作する。この湾曲動作に伴って、先端部24が所望の方向に向けられる。
また、操作部22には、アングルノブ22aの他、モード切替SW22bと、ズーム操作部22cが設けられている。モード切替SW22bは、通常観察モードと、特殊観察モードの2種類のモード間の切り替え操作に用いられる。通常観察モードは、検体内をフルカラー画像化した通常光画像をモニタ18に表示するモードである。特殊観察モードは、検体内の血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像をモニタ18に表示するモードである。ズーム操作部22cは、内視鏡12内のズーミングレンズ47(図2参照)を駆動させて、検体を拡大させるズーム操作に用いられる。
プロセッサ装置16は、モニタ18及びコンソール20と電気的に接続される。モニタ18は、画像情報等を出力表示する。コンソール20は、機能設定等の入力操作を受け付けるUI(ユーザーインターフェース)として機能する。なお、プロセッサ装置16には、画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
図2に示すように、光源装置14は、中心波長473nmの第1青色レーザ光を発する第1青色レーザ光源(473LD)34と、中心波長445nmの第2青色レーザ光を発する第2青色レーザ光源(445LD)34とを発光源として備えている。これら各光源34、36の半導体発光素子からの発光は、光源制御部40により個別に制御されており、第1青色レーザ光源34の出射光と、第2青色レーザ光源36の出射光の光量比は変更自在になっている。光源制御部40は、通常観察モードの場合には、第2青色レーザ光源36を駆動させて、第2青色レーザ光を発光している。
これに対して、特殊観察モードの場合には、1フレーム間隔で、第1青色レーザ光源34と第2青色レーザ光源36を交互に点灯させる。これにより、第1青色レーザ光と第2青色レーザ光が交互に発光する。なお、第1、第2青色レーザ光の半値幅は±10nm程度にすることが好ましい。また、第1青色レーザ光源34及び第2青色レーザ光源36は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成としてもよい。
各光源34、36から出射されるレーザ光は、集光レンズ、光ファイバ、合波器などの光学部材(いずれも図示せず)を介して、ライトガイド(LG)41に入射する。ライトガイド41は、光源装置14と内視鏡12を接続するユニバーサルコード(図示せず)内に内蔵されている。ライトガイド41は、各光源34,36からのレーザ光を、内視鏡12の先端部24まで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用することができる。
内視鏡12の先端部24は照明光学系24aと撮像光学系24bを有している。照明光学系24aには、蛍光体44と、照明レンズ45が設けられている。蛍光体44には、ライトガイド41からのレーザ光が入射する。この蛍光体44においては、第1又は第2青色レーザ光が照射されることで、蛍光体44から蛍光が発せられる。また、一部の第1又は第2青色レーザ光は、そのまま蛍光体44を透過する。蛍光体44を出射した光は、照明レンズ45を介して、検体内に照射される。
ここで、通常観察モードにおいては、第2青色レーザ光が蛍光体44に入射するため、図3に示すような白色光が検体内に照射される。この第2白色光は、第2青色レーザ光と、この第2青色レーザ光により蛍光体44から励起発光する緑色〜赤色の第2蛍光とから構成される。したがって、第2白色光は、波長範囲が可視光全域に及んでいる。
一方、特殊観察モードにおいては、第1青色レーザ光と第2青色レーザ光が蛍光体44交互に入射することにより、図4に示すように、第1白色光と第2白色光が交互に発光する。この交互に発光する第1及び第2白色光は、検体内に照射される。第1白色光は、第1青色レーザ光と、この第2青色レーザ光により蛍光体44から励起発光する緑色〜赤色の第1蛍光とから構成される。したがって、信号光は、波長範囲が可視光全域に及んでいる。第2白色光は、通常観察モード時に発光する第2白色光と同様である。図5に示すように、第1蛍光と第2蛍光とは、波形が同じである。また、第1蛍光の強度(I1(λ))と第2蛍光の強度(I2(λ))の比を示すフレーム間強度比(I2(λ)/I1(λ))は、いずれの波長λにおいてもほぼ同じである(例えば、I2(λ1)/I1(λ1)=I2(λ2)/I1(λ2))。
ここで、フレーム間強度比(I2(λ)/I1(λ))は、酸素飽和度の算出精度に影響を与えるものであるため、光源制御部40により、予め設定された基準フレーム間強度比を維持するように高精度に制御されている。しかしながら、光源制御部40は、第1及び第2白色光の発光後にセンサ48で取得する画像信号に基づいて制御するため、内視鏡12の先端部24と検体との距離が急激に変化する場合などにおいては、光源制御部40での制御は不安定になることがある。本実施形態では、このように、光源制御部40での制御が不安定になった場合であっても、プロセッサ装置16でその不安定性を解消する画像処理が行われている。
なお、本発明の「第1照明光」については、「第1信号光」は「第1青色レーザ光源」に対応しており、「第1参照光」は「第1蛍光のうちセンサ48のR画素で受光する赤色成分の光」に対応している。また、本発明の「第2照明光」については、「第2信号光」は「第2蛍光のうちセンサ48のG画素で受光する緑色成分の光」に対応しており、「第2参照光」は「第2蛍光のうちセンサ48のR画素で受光する赤色成分の光」に対応している。
なお、蛍光体44は、第1及び第2青色レーザ光の一部を吸収して、緑色〜赤色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl1017)等の蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体44の励起光源として用いれば、高い発光効率で高強度の第1及び第2白色光が得られ、それら白色光の強度を容易に調整できる上に、色温度、色度の変化を小さく抑えることができる。
図2に示すように、内視鏡12の撮像光学系24bは、撮像レンズ46、ズーミングレンズ47、センサ48を有している。検体からの反射光は、撮像レンズ46及びズーミングレンズ47を介して、センサ48に入射する。これにより、センサ48に検体の反射像が結像される。ズーミングレンズ47は、ズーム操作部22cを操作することで、テレ端とワイド端との間を移動する。ズーミングレンズ47がワイド端側に移動すると検体の反射像が拡大する一方で、テレ端側に移動することで、検体の反射像が縮小する。
センサ48はカラーの撮像素子であり、検体の反射像を撮像して画像信号を出力する。なお、センサ48は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等であることが好ましい。本発明で用いられるイメージセンサは、撮像面にRGBカラーフィルタが設けられたRGB画素を有するRGBイメージセンサであり、各chで光電変換をすることによってR、G、Bの3色の画像信号を出力する。
図6に示すように、Bカラーフィルタは380〜560nmの分光透過率を有しており、Gカラーフィルタは450〜630nmの分光透過率を有しており、Rカラーフィルタは580〜760nmの分光透過率を有している。したがって、通常観察モード時で第2白色光が検体内に照射されたときには、B画素には第2青色レーザ光と第2蛍光の緑色成分の一部が入射し、G画素には第2蛍光の緑色成分の一部が入射し、R画素には第2蛍光の赤色成分が入射する。ただし、第2青色レーザ光は第2蛍光よりも発光強度が極めて大きいので、B画素から出力するB画像信号の大部分は、第2青色レーザ光の反射光成分で占められている。
一方、特殊観察モード時で第1白色光が検体内に照射されたときには、B画素には第1青色レーザ光と第1蛍光の緑色成分の一部が入射し、G画素には第1蛍光の緑色成分の一部が入射し、R画素には第1蛍光の赤色成分が入射する。ただし、第1青色レーザ光は第1蛍光よりも発光強度が極めて大きいので、B画像信号の大部分は、第1青色レーザ光の反射光成分で占められている。なお、特殊観察モード時で第2白色光が検体内に照射されたときのBGR画素での光入射成分は、通常観察モードの場合と同様である。
なお、センサ48としては、撮像面にC(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた、いわゆる補色イメージセンサであっても良い。補色イメージセンサの場合には、CMYGの4色の画像信号から色変換によってRGBの3色の画像信号を得ることができる。この場合には、CMYGの4色の画像信号からRGBの3色の画像信号に色変換する色変換手段を、内視鏡12、光源装置14又はプロセッサ装置16のいずれかに備えている必要がある。
撮像制御部49は、観察モードに応じたセンサ48の撮像制御を行う。図7Aに示すように、通常観察モード時には、1フレームの期間毎に、第2白色光で照明された検体内をカラーのセンサ48で撮像する。これにより、1フレーム毎に、センサ48からRGBの画像信号が出力する。図7Bに示すように、特殊観察モード時には、1フレーム目に、第1白色光で照明された検体内をカラーのセンサ48で撮像し、その次の2フレーム目に、第2白色光で照明された検体をカラーのセンサ48で撮像する。これにより、1フレーム目には、センサ48からR1画像信号、G1画像信号、B1画像信号が出力し、2フレーム目には、センサ48からR2画像信号、G2画像信号、B2画像信号が出力する。なお、センサ48の1フレーム分の期間は、検体からの反射光を光電変換して蓄積する蓄積期間と、その後に蓄積した電荷を読み出して画像信号を出力する読出期間とからなる。
図2に示すように、センサ48から出力される画像信号は、CDS・AGC回路50に送信される。CDS・AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS・AGC回路50を経た画像信号は、ガンマ変換部51でガンマ変換が施される。これにより、モニタ18などの出力デバイスに適した階調を有する画像信号が得られる。このガンマ変換後の画像信号は、A/D変換器(A/Dコンバータ)52により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、プロセッサ装置16に入力される。
プロセッサ装置16は、受信部54と、画像処理切替部60と、通常光画像処理部62と、特殊光画像処理部64と、画像表示信号生成部66とを備えている。受信部54は内視鏡12からのデジタル画像信号を受信する。この受信部54は、DSP(Digital Signal Processor)56とノイズ除去部58を備えている。DSP56は、デジタル画像信号に対して色補正処理を行う。ノイズ除去部58は、DSP56で色補正処理等が施されたデジタル画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等)を施すことによって、デジタル画像信号からノイズを除去する。ノイズが除去されたデジタル画像信号は、画像処理切替部60に送信される。
画像処理切替部60は、モード切替SW22bにより通常観察モードにセットされている場合には、デジタル画像信号を通常光画像処理部62に送信し、特殊観察モードに設定されている場合には、デジタル画像信号を特殊光画像処理部64に送信する。なお、本発明においては、区別のため、通常光画像処理部62及び特殊光画像処理部64による画像処理前のデジタル画像信号を画像信号といい、画像処理後のデジタル画像信号を画像データと呼ぶことにする。
通常光画像処理部62は、色変換部68と、色彩強調部70と、構造強調部72とを有する。色変換部68は、入力された1フレーム分のB、G、R画像信号を、それぞれR画像データ、G画像データ、B画像データに割り付ける。これらRGBの画像データに対しては、更に、3×3のマトリックス処理、階調変換処理、3次元LUT処理などの色変換処理を行い、色変換処理済RGB画像データに変換する。
色彩強調部70は、色変換済RGB画像データに対して、各種色彩強調処理を施す。構造強調部72は、色彩強調処理済RGB画像データに対して、空間周波数強調等の構造強調処理を行う。構造強調部72で構造強調処理が施されたRGB画像データは、通常光画像として通常光画像処理部62から画像表示信号生成部66に入力される。
特殊光画像処理部64は、入力された2フレーム分のB1,R1画像信号及びG2、R2画像信号に基づいて、酸素飽和度画像を生成する酸素飽和度画像生成部76と、酸素飽和度画像に対して、空間周波数強調等の構造強調処理を行う構造強調部78とを有する。構造強調部78で構造強調処理が施されたRGB画像データは、特殊光画像として特殊光画像処理部64から画像表示信号生成部66に入力される。
画像表示信号生成部66は、通常光画像処理部62又は特殊光画像処理部64から入力された通常光画像又は特殊光画像を、モニタ18で表示可能画像として表示するための表示画像信号に変換する。この変換後の表示画像信号に基づいて、モニタ18は、通常光画像又は特殊光画像を表示する。なお、特殊光画像としては、2フレーム分のRGB画像信号から、1フレームの酸素飽和度画像が表示される。
図8に示すように、酸素飽和度画像生成部76は、信号補正部80と、測定用信号比算出部81と、相関関係記憶部82と、酸素飽和度算出部83と、画像生成部84とを備えている。信号補正部80は探索条件設定部80aと、第1位置合わせ部80bと、第2位置合わせ部80cと、参照用信号比算出部80と、補正部80とを備えており、酸素飽和度の算出に用いるB1画像信号、G2画像信号、R2画像信号について、基準フレーム間強度比の下で得られる画像信号と同等になるように補正する。
信号補正部80では、まず、探索条件設定部80aが、第1及び第2位置合わせ部80b,80cでの位置合わせ処理に用いる探索ポイントの各種条件(探索条件)を設定する。探索条件設定後は、図9に示すように、第1位置合わせ部80bが、B1画像信号とG2画像信号間の検体の位置ずれ量を算出するとともに、B1画像信号とG2画像信号間の検体像の位置合わせを行う。この第1位置合わせ部80bでは、B1画像信号を変形してG2画像信号に位置合わせするため、位置合わせ後のB1画像信号を「B1a画像信号」とする。
そして、第2位置合わせ部80cが、第1位置合わせ部80bで算出した位置ずれ量に基づいて、R1画像信号とR2画像信号間の検体像の位置合わせを行う。そして、参照用信号比算出部80dが、位置合わせ済みのR1画像信号とR2画像信号から、G2画像信号、R2画像信号の補正に用いる参照用信号比を算出する。最後に、補正部80eが、参照用信号比に基づいて、G2画像信号、R2画像信号を、基準フレーム間強度比の下で得られる画像信号と同等となるように補正する。これにより、G2a画像信号及びR2a画像信号が得られる。以上の一連の処理により得られるB1a画像信号、G2a画像信号、R2a画像信号が、酸素飽和度の算出に用いられる。
探索条件設定部80aは、探索条件として、基準ポイントの位置設定と、探索ポイントの位置設定と探索範囲の設定を行う。図10Aに示すように、基準ポイントP1〜P9は、B1画像信号内の9つエリアA1〜A9(3×3)の所定位置に設けられる。探索ポイントD1〜D9は、図10Bに示すように、G2画像信号内の9つのエリアA1〜A9(3×3)内で、基準ポイントP1〜P9と同じ画素位置に設けられる。これら探索ポイントD1〜D9は、G2画像信号内の9つのエリアA1〜A9内で、所定の探索範囲でX方向又はY方向に平行移動(探索)する。この探索ポイントD1〜D9の探索により、基準ポイントP1〜P9と最も近い特徴量(例えば、画素値や画素値分布)を有する画素もしくは画素領域(目標ポイントT)を検出する。なお、基準ポイントP1〜P9をG2画像信号内に設定し、探索ポイントD1〜D9をB1画像信号内に設定してもよい。
基準ポイントP1〜P9及び探索ポイントD1〜D9については、図11Aに示すように、各エリアA1〜A9の明るさがほぼ同じである場合には、各エリアA1〜A9の中央にセットする。このように各エリアA1〜A9の明るさがほぼ同じである場合としては、例えば、図11Bに示すように、管腔内において、内視鏡12の先端部24の前方に、隆起物などが存在しない場合が考えられる。
これに対して、図12Aに示すように、エリアA1〜A9の中で、画素値が一定値以下となる暗部BPが存在する暗エリア(図12Aでは「エリアA5」)がある場合には、暗エリアのうち暗部BP以外の部分に、基準ポイントP5及び探索ポイントD5を設定する。これは、暗部BPに基準ポイントP5及び探索ポイントD5を設定した場合には、探索直後に目標ポイントTを検出することになるため、位置合わせを正確に行うことができないためである。このように一部のエリアが暗くなる場合としては、例えば、図12Bに示すように、管腔内において、内視鏡12の先端部24の前方に、隆起物86が現れる場合が考えられる。なお、各エリアの明るさは、各エリアの画素値の平均値から求める。また、血管構造などの位置合わせに必要なランドマークがほとんどないエリアについては、基準ポイント及び探索ポイントを設定しなくてもよい。
探索範囲については、内視鏡12の先端部24や検体の動きがほとんどない動き無し状態の場合には、図13に示すように、探索ポイントD1〜D9の移動範囲を狭くした第1の探索範囲Xに設定する。これは、動き無し状態の場合には、遠くまで探索しなくても、目標ポイントTの検出が可能だからである。これに対して、内視鏡12の先端部24が大きく湾曲するときや検体に大きな動きがあるときなど動き有り状態の場合には、図14に示すように、第1の探索範囲Xよりも探索ポイントD1〜D9の範囲を広くした第2の探索範囲Yに設定する。これは、動き有り状態の場合には、遠くまで探索しないと、目標ポイントTの検出が難しいからである。
なお、動き無し状態又は動き有り状態のいずれの状態にあるかの判別方法としては、以下の方法が考えられる。例えば、スクリーニング時のように、ズーミングレンズ47を作動させない場合には、内視鏡12の先端部24を動かす頻度が大きいため、検体に動きがあると考えられる。したがって、ズーミングレンズ47の非作動時には、動き有り状態と判別する。これに対して、拡大観察時のように、ズーミングレンズ47を作動させる場合には、内視鏡12の先端部24はほぼ静止状態で動く頻度は少ないと考えられるため、検体に動きは少ないと考えられる。したがって、ズーミングレンズ47の作動時には、動き無し状態と判別する。また、モード切替SW22bにより、動き無し状態と動き有り状態の切り替えを行えるようにしてもよい。
また、拡大観察時のように、内視鏡12の先端部24と検体との検体間距離が一定値を下回る場合には、探索範囲が狭い第1の探索範囲Xで探索を行う一方で、検体間距離が一定値以上の場合には、探索範囲が広い第2の探索範囲Yで探索を行うことが好ましい。なお、検体間距離は、センサ48の露光量に基づいて定めることが好ましい。即ち、露光量が小さい場合は、検体間距離は遠く、反対に露光量が大きい場合は、検体間距離は近いものとする。
第1位置合わせ部80bは、B1画像信号とG2画像信号に対して、それぞれ高周波の周波数フィルタリング処理を施す高周波フィルタリング部HFを備えている。高周波の周波数フィルタリング処理のB1画像信号とG2画像信号は、位置合わせ時に目印となるランドマーク(例えば、血管構造)などの高周波成分の情報がシャープに抽出されるため、探索ポイントD1〜D9による目標ポイントTの検出を精度良く行うことができる。
そして、第1位置合わせ部80bは、設定された探索条件に従って、B1画像信号内に9つの基準ポイントP1〜P9を設定するとともに、G2画像信号内に9つの探索ポイントD1〜D9を設定する。そして、各探索ポイントD1〜D9を所定の探索範囲内で探索させる。そして、各エリア毎に、探索ポイントD1〜D9が目標ポイントTを検出したときの探索ポイントD1〜D9の移動量を算出する。これら各エリアにおける探索ポイントD1〜D9の移動量が、B1画像信号及びG2画像信号の各エリアにおける検体像の位置ずれ量となる。なお、第1位置合わせ部80bでは、B1画像信号及びG2画像信号を所定の画像信号で規格化し、規格化した信号をピラミッド画像にしてから、位置ずれ量の算出を行ってもよい。
そして、各エリア毎の位置ずれ量に基づき、B1画像信号の各画素の画素値を補間して検体像を変形する。この変形処理により、B1画像信号の検体像の位置をG2画像信号の検体像の位置に合わせ込む。これにより、B1画像信号のG2画像信号間の位置合わせが完了する。ここで、位置合わせ後のB1画像信号をB1a画像信号とする。なお、所定エリアの探索ポイントの移動量が、他のエリアの探索ポイントの移動量よりも大きく外れている場合には、その所定エリアの探索ポイントの移動量は、他のエリアの探索ポイントの移動量に基づいて、補正することが好ましい。また、G2画像信号の各画素の画素値を補間して検体像を変形することにより、G2画像信号の検体像をB1画像信号の検体像の位置を合わせ込んでもよい。
第2位置合わせ部80cは、R1画像信号とR2画像信号に対して、それぞれ低周波の周波数フィルタリング処理を施す低周波フィルタリング部LFを備えている。低周波の周波数フィルタリング後のR1画像信号とR2画像信号は、高周波成分が除去されているため、明るさ情報が多く含まれる画像信号となっている。R1画像信号とR2画像信号の各エリア毎に、第1位置合わせ部80bで算出された各エリア毎の位置ずれ量に基づいて、各エリアの画素の画素値を補間して検体像を変形する。これにより、R1画像信号とR2画像信号間の位置合わせが完了する。
ここで、R1画像信号とR2画像信号間の位置合わせに、B1画像信号とG2画像信号間の位置ずれ量を用いるのは、以下の理由からである。R1画像信号とR2画像信号は、粘膜の吸収体(ヘモグロビン)の吸光係数が低い赤色波長成分を多く有しているため、光量に関する情報は多く含まれているものの、位置合わせのランドマークとなり得る構造物の像は多く含まれていない。したがって、R1画像信号とR2画像信号については、探索ポイントDが目標ポイントTを検出することが困難であるため、探索ポイントDの移動量、即ち、位置ずれ量を正確に算出できない場合が多い。
これに対して、B1画像信号とG2画像信号は、粘膜の吸収体(ヘモグロビン)の吸光係数が高い青色波長成分を多く有しているため、血管構造などランドマークとなり得る構造物の像が多く含まれている。したがって、B1画像信号とG2画像信号については、探索ポイントDによる目標ポイントTの検出が容易であるため、探索ポイントDの移動量、即ち、位置ずれ量を正確に求めることができる。そこで、R1画像信号とR2画像信号間の位置合わせには、R1画像信号とR2画像信号の位置ずれ量ではなく、B1画像信号とG2画像信号間の位置ずれ量を用いている。
参照用信号比算出部80dは、位置合わせ済みのR1画像信号及びR2画像信号間の比率(R2/R1)を示す参照用信号比Cを、画素毎に算出する。この参照用信号比Cは、以下の(1)〜(3)の3つの理由により、実際のフレーム間強度比(I2(λ)/I1(λ))に連動して増減する。
(1):第1蛍光と第2蛍光は、波形が同一であり、また第1蛍光と第2蛍光のフレーム間強度比(I2(λ)/I1(λ))は、いずれの波長においても同一である(図5参照)。
(2):センサ48のR画素は、第1及び第2蛍光のうち長波長側の裾の部分のみ感度がある(図6参照)
(3):(1)、(2)から、R1画像信号とR2画像信号は、いずれも被写体となる生体組織についてほとんど同じ情報を持っている。
以上から、参照用信号比Cは、実際のフレーム間強度比をほぼ正確に表している。ここで、参照用信号比Cの算出に用いたR1画像信号とR2画像信号は精度良く位置合わせがされているため、仮に、画像中に明るさが異なる領域が存在したとしても、各画素における参照用信号比Cは、実際のフレーム間強度比を正確に示している。なお、光源制御部40による光量制御が理想的に動作している状況下での参照用信号比については、基準参照用信号比「Ca」として予めメモリ(図示しない)に記憶されている。
補正部80eは、参照用信号比算出部80dで算出した参照用信号比Cと基準参照用信号比Caを用いて、G2画像信号とR2画像信号を補正する。これらG2画像信号とR2画像信号は、以下に式に基づいて補正することで、G2a画像信号とR2a画像信号となる。補正は、G2画像信号とR2画像信号の各画素毎に行われる。
R2a=R2/C×Ca
G2a=G2/C×Ca
この式において、「R2」、「G2」は、補正前の「R2画像信号」、「G2画像信号」を示しており、「R2a」、「G2a」は、補正後の「G2a画像信号」、「R2a画像信号」を示している。これらG2a画像信号とR2a画像信号は、基準フレーム間強度比の下で得られる画像信号と同等になるように補正されたものになっている。即ち、光源制御部40での光源制御(AE)が理想的に作動している場合は、参照用信号比Cは基準参照用信号比Caと一致するため、補正前と補正後でG2画像信号とR2画像信号の値はほぼ同じとなっている。
これに対して、AEが不安定化した場合には、実際のフレーム間強度比が基準フレーム間強度比からズレてしまうことがある。例えば、実際のフレーム間強度比が基準フレーム間強度比よりも大きくなった場合(即ち、参照用信号比C>基準参照用信号比Caの場合)には、この増加分を打ち消すように、G2画像信号とR2画像信号の画素値を小さくする。反対に、実際のフレーム間強度比が基準フレーム間強度比よりも小さくなった場合(即ち、参照用信号比C<基準参照用信号比Caの場合)には、この減少分を打ち消すように、G2画像信号とR2画像信号の画素値を大きくする。これにより、AEが不安定化して、実際のフレーム間強度比が基準フレーム間強度比から変動したしても、この変動分を打ち消すように画像信号を補正することで、理想的にAEが作動したときと同様の画像信号を得ることができる。
また、G2画像信号とR2画像信号の補正には、各画素のフレーム間強度比を正確に表した参照用信号比Cを用いているため、仮に、画像中に明るさが異なる領域が存在したとしても、各領域において適切な明るさ補正が行われる。即ち、画像中の明るい領域については、G2画像信号とR2画像信号の画素値を小さくすることにより、明るさを低減させる補正が行われ、画像中の暗い領域については、G2画像信号とR2画像信号の画素値を大きくすることにより、明るさを増加させる補正が行われる。
測定用信号比算出部81は、B1a画像信号及びG2a画像信号間の測定用信号比B1/G2と、G2a画像信号G2及びR2a画像信号間の測定用信号比R2/G2とを、各画素毎に求める。ここで、測定用信号比B1/G2、R2/G2の算出に用いる「B1a画像信号、G2a画像信号、R2a画像信号」は、信号補正部80での信号補正処理により補正されているため、これら測定用信号比B1/G2、R2/G2により、酸素飽和度を正確に算出することができる。
相関関係記憶部82は、測定用信号比B1/G2及びR2/G2と酸素飽和度との相関関係を記憶している。この相関関係は、図15に示す二次元空間上に酸素飽和度の等高線を定義した2次元テーブルで記憶されている。この等高線の位置、形は光散乱の物理的なシミュレーションで得られ、血液量に応じて変わるように定義されている。例えば、血液量の変化があると、各等高線間の間隔が広くなったり、狭くなったりする。なお、測定用信号比B1/G2,R2/G2はlogスケールで記憶されている。
なお、上記相関関係は、図16に示すような酸化ヘモグロビンや還元ヘモグロビンの吸光特性や光散乱特性と密接に関連性し合っている。この図16において、グラフ90は酸化ヘモグロビンの吸光係数を、グラフ91は還元ヘモグロビンの吸光係数を示している。例えば、第1青色レーザ光の中心波長473nmのように吸光係数の差が大きい波長では、酸素飽和度の情報を取り易い。しかしながら、473nmの光に対応する信号を含むB1a画像信号は、酸素飽和度だけでなく血液量にも依存度が高い。そこで、B1a画像信号に加え、主として血液量に依存して変化する光に対応するR2a画像信号と、B1a画像信号とR2a画像信号のリファレンス信号となるG2a画像信号から得られる測定用信号比B1/G2及びR2/G2を用いることで、血液量に依存することなく、酸素飽和度を正確に求めることができる。
酸素飽和度算出部83は、相関関係記憶部82に記憶された相関関係を参照して、測定用信号比算出部81で求めた測定用信号比B1/G2、R2/G2に対応する酸素飽和度を求める。酸素飽和度の算出は各画素毎に求める。酸素飽和度算出部83では、以下のようにして酸素飽和度を算出する。例えば、所定画素における測定用信号比がB1/G2、R2/G2である場合には、図17に示すように、相関関係を参照すると、測定用信号比B1/G2、R2/G2に対応する酸素飽和度は「60%」となっている。したがって、酸素飽和度は「60%」として算出される。
なお、測定用信号比B1/G2、R2/G2は、B1画像信号と、信号補正部80で補正されたG2a画像信号及びR2a画像信号とに基づいて算出されたものであるため、測定用信号比B1/G2、R2/G2が極めて大きくなったり、極めて小さくなったりすることはほとんどない。即ち、測定用信号比B1/G2、R2/G2は、相関関係上において、酸素飽和度0%の下限ライン93を上回ったり、反対に、酸素飽和度100%の上限ライン94よりも下回ったりすることはほとんどない。
ただし、仮に、測定用信号比B1/G2、R2/G2が相関関係上で下限ライン93よりも上方に位置するときには酸素飽和度を0%とし、測定用信号比B1/G2、R2/G2が上限ライン94よりも下方に位置するときには酸素飽和度を100%とする。なお、対応点が下限ライン93と上限ライン94との間から外れている場合には、その画素における酸素飽和度の信頼度を下げて表示しないようにしてもよい。
画像生成部84は、酸素飽和度算出部8で算出した酸素飽和度と、B2画像信号、G2画像信号、R2画像信号とを用いて、酸素飽和度を画像化した酸素飽和度画像を生成する。この画像生成部84では、B2画像信号、G2画像信号、R2画像信号に対して、酸素飽和度に応じたゲインが施される。例えば、酸素飽和度が60%以上の場合には、B2画像信号、G2画像信号、R2画像信号のいずれも、同じゲイン「1」が施される。これに対して、酸素飽和度が60%未満の場合は、B2画像信号に対して「1」未満のゲインが施される一方で、G2画像信号、R2画像信号に対しては「1」を超えるゲインが施される。このゲイン処理後のB2画像信号、G2画像信号、R2画像信号がBGR画像データに割り付けられる。
これらBGR画像データに基づいてモニタ18に表示される酸素飽和度画像は、高酸素の領域(酸素飽和度が60〜100%の領域)は、ゲインがいずれも「1」でB2画像信号、G2画像信号、R2画像信号の画素値が変動しないため、通常光画像と同様の色で表示される。これに対して、酸素飽和度が一定値を下回る低酸素の領域(酸素飽和度が0〜60%の領域)では、酸素飽和度に応じてゲインが「1」未満もしくは「1」を超えるため、通常光画像と異なる色、即ち疑似カラーで表示される。なお、画像生成部では、低酸素の領域のみ疑似カラーで表示したが、低酸素領域だけでなく高酸素の領域(60〜100%)も疑似カラーで表示してもよい。
次に、本実施形態における一連の流れを図18のフローチャートに沿って説明する。まず、通常観察モードにおいて、遠景状態からスクリーニングを行う。通常観察モードでは、通常光画像がモニタ18に表示される。このスクリーニング時に、ブラウニッシュエリアや発赤など病変の可能性がある部位(病変可能性部位)を検出したときには、モード切替SW22bを操作して、特殊観察モードに切り替える。この特殊観察モードにおいて、病変可能性部位が低酸素状態になっているか否かの診断を行う。
特殊観察モードでは、第1及び第2白色光が交互に発光される。そして、第1白色光で照明された検体像をセンサ48で撮像することにより、センサ48からB1画像信号、G1画像信号、R1画像信号が出力され、第2白色光で照明された検体像をセンサ48で撮像することにより、センサ48からB2画像信号、G2画像信号、R2画像信号が出力される。これら2フレーム分の画像信号が、1フレームの酸素飽和度画像の作成に用いられる。
次に、位置合わせ2フレーム分の画像信号を取得したときの露光量、ズーミングレンズの作動状況、検体の動き量などに基づいて、B2画像信号及びG2画像信号内の各エリアA1〜A9毎に、基準ポイントP1〜P9と探索ポイントD1〜D9を設定するとともに、探索ポイントD1〜D9の探索範囲を設定する。そして、各エリアA1〜A9において、探索ポイントD1〜D9を、設定された探索範囲内で探索する。そして、探索ポイントD1〜D9が目標ポイントTを検出したときの移動量を、フレーム間の位置ずれ量とする。このフレーム間の位置ずれ量に基づいて、B1画像信号とG2画像信号間の位置合わせを行う。
次に、B1画像信号とG2画像信号間の位置ズレ量に基づいて、R1画像信号とR2画像信号間の位置合わせを行う。そして、位置合わせ済みのR1画像信号とR2画像信号に基づいて、参照用信号比Cを算出する。そして、参照用信号比Cと基準参照用信号比Caとを用いて、G2画像信号とR2画像信号を補正する。これにより、理想的にAEが作動したときと同様の画像信号であるG2a画像信号及びR2a画像信号が得られる。そして、位置合わせ済みのB1a画像信号とG2a画像信号及びR2a画像信号に基づいて、酸素飽和度を算出する。この算出した酸素飽和度とB2画像信号、G2画像信号、R2画像信号に基づいて、酸素飽和度画像が生成される。
生成された酸素飽和度画像は、特殊光画像として、モニタ18に表示される。このモニタ18に表示された酸素飽和度画像に基づいて、ドクターは、病変可能性部位が低酸素状態になっているかどうかを確認する。酸素飽和度の表示は、通常観察モードに切り替えられるまで、継続して表示される。そして、診断を終了する場合には、内視鏡12の挿入部21を検体内から抜き出す。
なお、上記第1実施形態では、内視鏡12の先端部24に蛍光体44を設けたが、これに代えて、図19の内視鏡システム100に示すように、光源装置14の内部に蛍光体44を設けてもよい。この場合には、第1青色レーザ光源(473LD)34及び第2青色レーザ光源(445LD)36と、ライトガイド41との間に、蛍光体44を設ける。第1青色レーザ光源34又は第2青色レーザ光源36は、第1青色レーザ光又は第2青色レーザ光を蛍光体44に向けて照射する。これにより、第1白色光又は第2白色光が発せられる。この第1又は第2白色光は、ライトガイド41を介して、検体内に照射される。それ以外については、内視鏡システム100は、内視鏡システム10と同様である。
なお、上記第1実施形態では、第1及び第2青色レーザ光を同一の蛍光体44に入射したが、第1青色レーザ光と第2青色レーザ光を、それぞれ別々の第1蛍光体、第2蛍光体に入射させてもよい。この場合には、第1蛍光体から発せられる蛍光のうちセンサ48のR画素に入射する第1赤色成分の光と、第2蛍光体から発せられる蛍光のうちセンサ48のR画素に入射する第2赤色成分の光について、同一の波形にする必要がある。また、第1赤色成分の光と第2赤色成分の光の強度比を、波長によらず一定にする必要がある。これは、参照用信号比Cを、実際のフレーム間強度比の増減に連動させるためである。
[第2実施形態]
図20に示すように、内視鏡システム200の光源装置14には、第1及び第2青色レーザ光源34,36、光源制御部40の代わりに、LED光源ユニット202と、LED光源制御部204が設けられている。また、内視鏡200の照明光学系24aには、蛍光体44が設けられていない。それ以外については、第1実施形態の内視鏡システム10と同様である。
LED光源ユニット202は、特定の波長域に制限された光を発光する光源として、4つのLEDを有する。具体的には、LED光源ユニット202は、400〜500nmの青色領域の青色帯域光B(以下、単に青色光という)を発光するLED(B)と、473nm±10nmに制限された青色狭帯域光Nbを発光するLED(473)と、480〜620nmの緑色領域の緑色帯域光G(以下、単に緑色光という)を発光するLED(G)と、600〜720nmの赤色領域の赤色帯域光R(以下、単に赤色光という)を発光するLED(R)とを有している。なお、LED光源ユニット202は、各LEDがブロードな波長域の光を発光するように、波長域が少しずつ異なった狭帯域光を発光するLEDを複数設けてもよい。
なお、本発明の「第1照明光」については、「第1信号光」は「青色狭帯域光Nb」に対応し、「参照光」は「赤色光R」に対応している。また、本発明の「第2照明光」については、「第2信号光」が「緑色光G」に対応し、「参照光」は「赤色光R」に対応している。
LED光源制御部204は、LED光源ユニット202の各LEDを個別に制御している。また、LED光源制御部204は、通常観察モードの場合には、LED(B)、(G)、(R)を駆動する。これに対して、特殊観察モードの場合には、LED(473)、LED(G)、(R)と、LED(B)、(G)、(R)とを交互に駆動するように制御している。
また、撮像制御部49では、各観察モード毎に、以下のような撮像制御を行っている。図21Aに示すように、通常観察モード時には、1フレームの期間毎に、青色光B、緑色光G及び赤色光Rが同時に照明された検体内をカラーのセンサ48で撮像、すなわち、青色光B、緑色光G及び赤色光Rを光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB画像信号、G画像信号、R画像信号として読み出すステップが行われる。こうした動作は通常観察モードに設定されている間、繰り返し行われる。そして、それら1フレーム分の画像信号に基づいて、上記第1実施形態と同様の方法で、通常光画像が生成される。
一方、図21Bに示すように、特殊観察モード時には、1フレーム目に、青色狭帯域光Nb、緑色光G、赤色光Rを光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB1画像信号、G1画像信号、R1画像信号として読み出すステップが行われ、その次の2フレーム目に、青色光B、緑色光G及び赤色光Rを光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB2画像信号、G2画像信号、R2画像信号として読み出すステップが行われる。こうした動作は特殊観察モードに設定されている間、繰り返し行われる。そして、それら2フレーム分の画像信号に基づいて、上記第1実施形態と同様の方法で、酸素飽和度画像が生成される。
ここで、1フレーム目の赤色光Rと2フレーム目の赤色光Rは、同一のLED(R)から発光しているため、それぞれの波形は同一であり、また、それらの強度比は波長によらず同一である。したがって、1フレーム目の赤色光発光時に得られるR1画像信号と2フレーム目の赤色光発光時に得られるR2画像信号との比率を示す参照用信号比Cは、実際のフレーム間強度比に連動して増減する。したがって、第2実施形態においても、参照用信号比Cは、実際のフレーム間強度比を正確に表していることになる。
上記第2実施形態では、特殊観察モードにおいて、1フレーム目の赤色光R、2フレーム目の赤色光Rは、それぞれ同一のLED(R)から発光したが、別々のLED(R)から発光してもよい。ただし、この場合には、1フレーム目に第1LED(R)から発光する第1赤色光と、2フレーム目に第2LED(R)から発光する第2赤色光とは、それぞれ同じスペクトルにするとともに、各波長における強度比を同じにする必要がある。これは、参照用信号比Cを、実際のフレーム間強度比の増減に連動させるためである。
[第3実施形態]
図22に示すように、内視鏡システム300の光源装置14には、第1及び第2青色レーザ光源34,36、光源制御部40の代わりに、広帯域光源302、回転フィルタ304、フィルタ切替部305が設けられている。それ以外については、第1実施形態の内視鏡システム10と同様である。
広帯域光源302はキセノンランプ、白色LEDなどであり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ304は、内側に設けられた通常観察モード用フィルタ308と、外側に設けられた特殊観察モード用フィルタ309とを備えている(図23参照)。フィルタ切替部305は、回転フィルタ304を径方向に移動させるものであり、モード切替SW22bにより通常観察モードにセットされたときに、回転フィルタ304の通常観察モード用フィルタ308を白色光の光路に挿入し、特殊観察モードにセットされたときに、回転フィルタ304の特殊観察モード用フィルタ309を白色光の光路に挿入する。
図23に示すように、通常観察モード用フィルタ308には、白色光をそのまま透過させる開口部308aが設けられている。したがって、通常観察モード時には、白色光が検体内に照射される。特殊観察モード用フィルタ309には、周方向に沿って、白色光のうち所定帯域の帯域制限光(473,GR)を透過させるバンドパスフィルタ(BPF)309aと、白色光をそのまま透過させる開口部309bが設けられている。したがって、特殊観察モード時には、回転フィルタ304が回転することで、帯域制限光(473,GR)、白色光が交互に検体内に照射される。
バンドパスフィルタ309aは、図24に示すように、473nm±10nmと、500〜700nm(緑色領域〜赤色領域)に透過性を有し、それ以外の波長は遮断する。したがって、帯域制限光(473,GR)は、473nm±10nmと500〜700nmの波長を有している。
なお、本発明の「第1照明光」については、「第1信号光」は「帯域制限光のうちセンサ48のB画素に入射する光」に対応し、「参照光」は「帯域制限光のうちセンサ48のR画素に入射する光」に対応する。また、本発明の「第2照明光」については、「第2信号光」は「白色光のうちセンサ48のG画素に入射する光」に対応し、「参照光」は「白色光のうちセンサ48のR画素に入射する光」に対応する。
また、撮像制御部49では、各観察モード毎に、以下のような撮像制御を行っている。図25Aに示すように、通常観察モード時には、1フレームの期間毎に、白色光を光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB画像信号、G画像信号、R画像信号として読み出すステップが行われる。こうした動作は通常観察モードに設定されている間、繰り返し行われる。そして、それら1フレーム分の画像信号に基づいて、上記第1実施形態と同様の方法で、通常光画像が生成される。
一方、図25Bに示すように、特殊観察モード時には、1フレーム目に、帯域制限光(473,GR)を光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB1画像信号、G1画像信号、R1画像信号として読み出すステップが行われ、その次の2フレーム目に、白色光を光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB2画像信号、G2画像信号、R2画像信号として読み出すステップが行われる。こうした動作は特殊観察モードに設定されている間、繰り返し行われる。そして、それら2フレーム分の画像信号に基づいて、上記第1実施形態と同様の方法で、酸素飽和度画像が生成される。
ここで、1フレーム目の帯域制限光のうちセンサのR画素で受光する赤色成分と、2フレーム目の白色光のうちR画素で受光する赤色成分は、同一の広帯域光源302から発光したものであるため、それぞれの波形は同一であり、また、それらの強度比は波長によらず同一である。したがって、1フレーム目の帯域制限光発光時に得られるR1画像信号と2フレーム目の白色光発光時に得られるR2画像信号との比率を示す参照用信号比Cは、実際のフレーム間強度比に連動して増減する。したがって、第3実施形態においても、参照用信号比Cは、フレーム間強度比を表していることになる。
[第4実施形態]
上記第3実施形態では、広帯域光源302、回転フィルタ304、フィルタ切替部305を設けた内視鏡システム300の例で説明したが、図26に示すように、第4実施形態の内視鏡システム400に、回転フィルタ404、半導体光源LD(473)406と、半導体光源制御部408と、光合流部410とを設けてもよい。それ以外については、第3実施形態の内視鏡システム300と同様である。
図27に示すように、回転フィルタ404は、内側に設けられた通常観察モード用フィルタ412と、外側に設けられた特殊観察モード用フィルタ413とを備えている。通常観察モード用フィルタ412には、白色光をそのまま透過させる開口部412aが設けられている。したがって、通常観察モード時には、白色光が検体内に照射される。
特殊観察モード用フィルタ413には、周方向に沿って、白色光のうち所定帯域の帯域制限光(GR)を透過させるバンドパスフィルタ(BPF)413aと、白色光をそのまま透過させる開口部413bが設けられている。したがって、特殊観察モード時には、回転フィルタ404が回転することで、帯域制限光(GR)、白色光が交互に検体内に照射される。バンドパスフィルタ413aは、図28に示すように、500〜700nmの波長域に透過性を有し、それ以外の波長は遮断する。したがって、帯域制限光(GR)は、500〜700nmの波長を有する。
半導体光源LD(473)406は、473nm±10nmの青色狭帯域光Nbを発光する。半導体光源制御部408は、回転フィルタ404の回転を検出するセンサ(図示省略)から検出信号を取得し、取得した検出信号に応じて、半導体光源LD(473)406の駆動タイミング、同期タイミング、点灯、消灯などの制御を行う。これにより、半導体光源制御部408は、白色光が検体内に照射される照射期間内には青色狭帯域光Nbを発光せず、帯域制限光(GR)が検体内に照射される照射期間内に青色狭帯域光Nbを発光する。
光合流部410は、ダイクロイックミラーからなり、回転フィルタ404からの光を透過してLG41に入射させるとともに、青色半導体光源LD(473)406からの光を反射して、LG41に入射させる。
なお、本発明の「第1照明光」については、「第1信号光」は「青色狭帯域光Nb」に対応し、「参照光」は「帯域制限光のうちセンサ48のR画素に入射する光」に対応する。また、本発明の「第2照明光」については、「第2信号光」は「白色光のうちセンサ48のG画素に入射する光」に対応し、「参照光」は「白色光のうちセンサ48のR画素に入射する光」に対応する。
図29Aに示すように、通常観察モード時には、1フレームの期間毎に、白色光を光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB画像信号、G画像信号、R画像信号として読み出すステップが行われる。こうした動作は通常観察モードに設定されている間、繰り返し行われる。そして、それら1フレーム分の画像信号に基づいて、上記第1実施形態と同様の方法で、通常光画像が生成される。
一方、図29Bに示すように、特殊観察モード時には、1フレーム目に、青色狭帯域光Nb、帯域制限光(GR)を光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB1画像信号、G1画像信号、R1画像信号として読み出すステップが行われ、その次の2フレーム目に、白色光を光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB2画像信号、G2画像信号、R2画像信号として読み出すステップが行われる。こうした動作は特殊観察モードに設定されている間、繰り返し行われる。そして、それら2フレーム分の画像信号に基づいて、上記第1実施形態と同様の方法で、酸素飽和度画像が生成される。
ここで、1フレーム目の帯域制限光のうちセンサのR画素で受光する赤色成分と、2フレーム目の白色光のうちR画素で受光する赤色成分は、同一の広帯域光源302から発光したものであるため、それぞれの波形は同一であり、また、それらの強度比は波長によらず同一である。したがって、1フレーム目の帯域制限光発光時に得られるR1画像信号と2フレーム目の白色光発光時に得られるR2画像信号との比率を示す参照用信号比Cは、実際のフレーム間強度比に連動して増減する。したがって、第4実施形態においても、参照用信号比Cは、フレーム間強度比を正確表していることになる。
なお、上記実施形態では、2つの測定用信号比B1/G2、R2/G2から酸素飽和度を産出したが、測定用信号比B1/G2のみから酸素飽和度を算出してもよい。この場合には、酸素飽和度の算出に、測定用信号比B1/G2と酸素飽和度の相関関係を記憶した相関関係記憶部が用いられる。
なお、上記実施形態では、酸素飽和度の画像化した酸素飽和度画像の作成を行ったが、これに加えて、血液量を画像化した血液量画像の作成を行ってもよい。血液量は、測定用信号比算出部で求めた測定用信号比R2/G2と相関関係がある。そのため、測定用信号比R2/G2に応じて異なる色を割り当てることで、血液量を画像化した血液量画像を作成することができる。
なお、上記実施形態では、血液量(酸化ヘモグロビンと還元ヘモグロビンの和)のうち酸化ヘモグロビンの占める割合である酸素飽和度を算出したが、これに代えて又は加えて、「血液量×酸素飽和度(%)」から求まる酸化ヘモグロビンインデックスや、「血液量×(100−酸素飽和度)(%)」から求まる還元ヘモグロビンインデックスなど他の生体機能情報を算出してもよい。
10,100,200,300,400 内視鏡システム
47 ズーミングレンズ
48 センサ
80a 探索条件設定部
80b 第1位置合わせ部
80c 第2位置合わせ部
80d 参照用信号比算出部
80e 補正部
83 酸素飽和度算出部
HF 高周波フィルタリング部(高周波成分抽出部)
LF 低周波フィルタリング部(低周波成分抽出部)

Claims (15)

  1. 第1信号光、及び参照光を含む第1照明光を発する第1光源と、
    前記第1信号光と波長域が異なる第2信号光、及び前記参照光を含む第2照明光を発する第2光源と、
    前記第1照明光と前記第2照明光が交互に検体に照射されるように、前記第1照明光と前記第2照明光の照射タイミングを制御する光源制御部と、
    前記検体から前記第1照明光の反射光を受光した時には、前記第1照明光の反射光を前記第1信号光と前記参照光に波長分離して撮像することにより、前記第1信号光に対応する第1信号用画像信号を出力するとともに、前記参照光に対応する第1参照用画像信号を出力し、前記検体から前記第2照明光の反射光を受光した時には、前記第2照明光の反射光を前記第2信号光と前記参照光に波長分離して撮像することにより、前記第2信号光に対応する第2信号用画像信号を出力するとともに、前記参照光に対応する第2参照用画像信号を出力する撮像部と、
    前記第1信号用画像信号と前記第2信号用画像信号との位置ずれ量を算出するとともに、それら信号用画像信号間の位置合わせを行う第1位置合わせ部と、
    前記位置ずれ量に基づいて、前記第1参照用画像信号と前記第2参照用画像信号の位置合わせを行う第2位置合わせ部と、
    位置合わせ済みの前記第1参照用画像信号と前記第2参照用画像信号に基づいて、各画素毎に、前記第1及び第2信号光の強度に関する参照情報を算出する参照情報算出部と、
    前記参照情報に基づいて、前記第1信号用画像信号又は前記第2信号用画像信号を補正する補正部と、
    補正後の前記第1信号用画像信号又は前記第2信号用画像信号に基づいて、生体機能情報を算出する生体機能情報算出部と、
    前記第1信号用画像信号及び第2信号用画像信号のうち、一方の画像信号の複数のエリアにそれぞれ基準ポイントを設定するとともに、他方の画像信号内に、前記基準ポイントに対応する位置に探索ポイントを設定する探索条件設定部とを備え、
    前記第1位置合わせ部は、前記探索ポイントを所定の探索範囲で移動させることにより、前記基準ポイントと最も近い特徴量を有する目標ポイントを検出する検出処理を行い、
    前記位置ずれ量は、前記目標ポイントを検出したときの前記探索ポイントの移動量であり、
    前記複数のエリアのうち暗部が存在する暗エリアについては、前記暗エリアのうち前記暗部以外の部分に前記基準ポイント及び探索ポイントを設定することを特徴とする内視鏡システム。
  2. 第1信号光、及び参照光を含む第1照明光を発する第1光源と、
    前記第1信号光と波長域が異なる第2信号光、及び前記参照光を含む第2照明光を発する第2光源と、
    前記第1照明光と前記第2照明光が交互に検体に照射されるように、前記第1照明光と前記第2照明光の照射タイミングを制御する光源制御部と、
    前記検体から前記第1照明光の反射光を受光した時には、前記第1照明光の反射光を前記第1信号光と前記参照光に波長分離して撮像することにより、前記第1信号光に対応する第1信号用画像信号を出力するとともに、前記参照光に対応する第1参照用画像信号を出力し、前記検体から前記第2照明光の反射光を受光した時には、前記第2照明光の反射光を前記第2信号光と前記参照光に波長分離して撮像することにより、前記第2信号光に対応する第2信号用画像信号を出力するとともに、前記参照光に対応する第2参照用画像信号を出力する撮像部と、
    前記第1信号用画像信号と前記第2信号用画像信号との位置ずれ量を算出するとともに、それら信号用画像信号間の位置合わせを行う第1位置合わせ部と、
    前記位置ずれ量に基づいて、前記第1参照用画像信号と前記第2参照用画像信号の位置合わせを行う第2位置合わせ部と、
    位置合わせ済みの前記第1参照用画像信号と前記第2参照用画像信号に基づいて、各画素毎に、前記第1及び第2信号光の強度に関する参照情報を算出する参照情報算出部と、
    前記参照情報に基づいて、前記第1信号用画像信号又は前記第2信号用画像信号を補正する補正部と、
    補正後の前記第1信号用画像信号又は前記第2信号用画像信号に基づいて、生体機能情報を算出する生体機能情報算出部と、
    前記第1信号用画像信号及び第2信号用画像信号のうち、一方の画像信号の複数のエリアにそれぞれ基準ポイントを設定するとともに、他方の画像信号内に、前記基準ポイントに対応する位置に探索ポイントを設定する探索条件設定部とを備え、
    前記第1位置合わせ部は、前記探索ポイントを所定の探索範囲で移動させることにより、前記基準ポイントと最も近い特徴量を有する目標ポイントを検出する検出処理を行い、
    前記位置ずれ量は、前記目標ポイントを検出したときの前記探索ポイントの移動量であり、
    前記検体との距離が一定値以上の場合の探索範囲を、前記距離が一定値を下回る場合の探索範囲よりも広くすることを特徴とする内視鏡システム。
  3. 第1信号光、及び参照光を含む第1照明光を発する第1光源と、
    前記第1信号光と波長域が異なる第2信号光、及び前記参照光を含む第2照明光を発する第2光源と、
    前記第1照明光と前記第2照明光が交互に検体に照射されるように、前記第1照明光と前記第2照明光の照射タイミングを制御する光源制御部と、
    前記検体から前記第1照明光の反射光を受光した時には、前記第1照明光の反射光を前記第1信号光と前記参照光に波長分離して撮像することにより、前記第1信号光に対応する第1信号用画像信号を出力するとともに、前記参照光に対応する第1参照用画像信号を出力し、前記検体から前記第2照明光の反射光を受光した時には、前記第2照明光の反射光を前記第2信号光と前記参照光に波長分離して撮像することにより、前記第2信号光に対応する第2信号用画像信号を出力するとともに、前記参照光に対応する第2参照用画像信号を出力する撮像部と、
    前記第1信号用画像信号と前記第2信号用画像信号との位置ずれ量を算出するとともに、それら信号用画像信号間の位置合わせを行う第1位置合わせ部と、
    前記位置ずれ量に基づいて、前記第1参照用画像信号と前記第2参照用画像信号の位置合わせを行う第2位置合わせ部と、
    位置合わせ済みの前記第1参照用画像信号と前記第2参照用画像信号に基づいて、各画素毎に、前記第1及び第2信号光の強度に関する参照情報を算出する参照情報算出部と、
    前記参照情報に基づいて、前記第1信号用画像信号又は前記第2信号用画像信号を補正する補正部と、
    補正後の前記第1信号用画像信号又は前記第2信号用画像信号に基づいて、生体機能情報を算出する生体機能情報算出部と、
    前記第1信号用画像信号及び第2信号用画像信号のうち、一方の画像信号の複数のエリアにそれぞれ基準ポイントを設定するとともに、他方の画像信号内に、前記基準ポイントに対応する位置に探索ポイントを設定する探索条件設定部と、
    前記検体を拡大する拡大手段とを備え、
    前記第1位置合わせ部は、前記探索ポイントを所定の探索範囲で移動させることにより、前記基準ポイントと最も近い特徴量を有する目標ポイントを検出する検出処理を行い、
    前記位置ずれ量は、前記目標ポイントを検出したときの前記探索ポイントの移動量であり、
    前記拡大手段の非使用時における探索範囲を、前記拡大手段の使用時における探索範囲よりも広くすることを特徴とする内視鏡システム。
  4. 前記第1信号用画像信号と前記第2信号用画像信号に対して、高周波成分を抽出する高周波フィルタリングを施す高周波成分抽出部を備え、
    前記第1位置合わせ部は、前記高周波フィルタリング後の前記第1信号用画像信号と前記第2信号用画像信号に基づいて、前記位置ずれ量の算出及び前記位置合わせを行うことを特徴とする請求項1ないし3いずれか1項記載の内視鏡システム。
  5. 前記第1参照用画像信号と前記第2参照用画像信号に対して、低周波成分を抽出する低周波フィルタリングを施す低周波成分抽出部を備え、
    前記第2位置合わせ部は、前記低周波フィルタリング後の前記第1参照用画像信号と前記第2参照用画像信号間の位置合わせを行うことを特徴とする請求項1ないし4いずれか1項記載の内視鏡システム。
  6. 前記撮像部は、前記第1信号光を受光して前記第1信号用画像信号を出力する第1画素と、前記第2信号光を受光して前記第2信号用画像信号を出力する第2画素と、前記参照光を受光して前記第1参照用画像信号又は前記第2参照用画像信号を出力する第3画素とが設けられたカラーのセンサであることを特徴とする請求項1ないしいずれか1項記載の内視鏡システム。
  7. 前記第1及び第2信号光は、前記参照光よりも短波長の波長域を有することを特徴とする請求項1ないしいずれか1項記載の内視鏡システム。
  8. 前記参照光は、前記第1照明光に含まれ、前記第1信号光よりも長波長の第1参照光と、前記第2照明光に含まれ、前記第2信号光よりも長波長の第2参照光からなり、
    前記第1参照光と前記第2参照光は波形が同じで、前記第1参照光と前記第2参照光の強度比が同じであり、
    前記第1参照用画像信号は、前記第1参照光に対応しており、前記第2参照用画像信号は前記第2参照光に対応することを特徴とする請求項1ないしいずれか1項記載の内視鏡システム。
  9. 前記生体機能情報は、補正後の前記第1信号用画像信号及び前記第2信号用画像信号間の測定用信号比に基づいて算出される酸素飽和度であり、
    前記参照情報は、前記第1参照用画像信号と前記第2参照用画像信号間の比率を示す参照用信号比であり、
    前記参照用信号比は、前記第1照明光の反射光の強度と前記第2照明光の反射光の強度との比率を示すフレーム間強度比に合わせて変化すること特徴とする請求項1ないしいずれか1項記載の内視鏡システム。
  10. 第1信号光、及び参照光を含む第1照明光を発する第1光源と、前記第1信号光と波長域が異なる第2信号光、及び前記参照光を含む第2照明光を発する第2光源と、前記第1照明光と前記第2照明光が交互に検体に照射されるように、前記第1照明光と前記第2照明光の発生タイミングを制御する光源制御部と、前記検体から前記第1照明光の反射光を受光した時には、前記第1照明光の反射光を前記第1信号光と前記参照光に波長分離して撮像することにより、前記第1信号光に対応する第1信号用画像信号を出力するとともに、前記参照光に対応する第1参照用画像信号を出力し、前記検体から前記第2照明光の反射光を受光した時には、前記第2照明光の反射光を前記第2信号光と前記参照光に波長分離して撮像することにより、前記第2信号光に対応する第2信号用画像信号を出力するとともに、前記参照光に対応する第2参照用画像信号を出力する撮像部とを備える内視鏡システムのプロセッサ装置において、
    前記第1信号用画像信号と前記第2信号用画像信号との位置ずれ量を算出するとともに、それら信号用画像信号間の位置合わせを行う第1位置合わせ部と、
    前記位置ずれ量に基づいて、前記第1参照用画像信号と前記第2参照用画像信号の位置合わせを行う第2位置合わせ部と、
    位置合わせ済みの前記第1参照用画像信号と前記第2参照用画像信号に基づいて、各画素毎に、前記第1及び第2信号光の強度に関する参照情報を算出する参照情報算出部と、
    前記参照情報に基づいて、前記第1信号用画像信号又は前記第2信号用画像信号を補正する補正部と、
    補正後の前記第1信号用画像信号又は前記第2信号用画像信号に基づいて、生体機能情報算出部と、
    前記第1信号用画像信号及び第2信号用画像信号のうち、一方の画像信号の複数のエリアにそれぞれ基準ポイントを設定するとともに、他方の画像信号内に、前記基準ポイントに対応する位置に探索ポイントを設定する探索条件設定部とを備え、
    前記第1位置合わせ部は、前記探索ポイントを所定の探索範囲で移動させることにより、前記基準ポイントと最も近い特徴量を有する目標ポイントを検出する検出処理を行い、
    前記位置ずれ量は、前記目標ポイントを検出したときの前記探索ポイントの移動量であり、
    前記複数のエリアのうち暗部が存在する暗エリアについては、前記暗エリアのうち前記暗部以外の部分に前記基準ポイント及び探索ポイントを設定することを特徴とする内視鏡システムのプロセッサ装置。
  11. 第1信号光、及び参照光を含む第1照明光を発する第1光源と、前記第1信号光と波長域が異なる第2信号光、及び前記参照光を含む第2照明光を発する第2光源と、前記第1照明光と前記第2照明光が交互に検体に照射されるように、前記第1照明光と前記第2照明光の発生タイミングを制御する光源制御部と、前記検体から前記第1照明光の反射光を受光した時には、前記第1照明光の反射光を前記第1信号光と前記参照光に波長分離して撮像することにより、前記第1信号光に対応する第1信号用画像信号を出力するとともに、前記参照光に対応する第1参照用画像信号を出力し、前記検体から前記第2照明光の反射光を受光した時には、前記第2照明光の反射光を前記第2信号光と前記参照光に波長分離して撮像することにより、前記第2信号光に対応する第2信号用画像信号を出力するとともに、前記参照光に対応する第2参照用画像信号を出力する撮像部とを備える内視鏡システムのプロセッサ装置において、
    前記第1信号用画像信号と前記第2信号用画像信号との位置ずれ量を算出するとともに、それら信号用画像信号間の位置合わせを行う第1位置合わせ部と、
    前記位置ずれ量に基づいて、前記第1参照用画像信号と前記第2参照用画像信号の位置合わせを行う第2位置合わせ部と、
    位置合わせ済みの前記第1参照用画像信号と前記第2参照用画像信号に基づいて、各画素毎に、前記第1及び第2信号光の強度に関する参照情報を算出する参照情報算出部と、
    前記参照情報に基づいて、前記第1信号用画像信号又は前記第2信号用画像信号を補正する補正部と、
    補正後の前記第1信号用画像信号又は前記第2信号用画像信号に基づいて、生体機能情報算出部と、
    前記第1信号用画像信号及び第2信号用画像信号のうち、一方の画像信号の複数のエリアにそれぞれ基準ポイントを設定するとともに、他方の画像信号内に、前記基準ポイントに対応する位置に探索ポイントを設定する探索条件設定部とを備え、
    前記第1位置合わせ部は、前記探索ポイントを所定の探索範囲で移動させることにより、前記基準ポイントと最も近い特徴量を有する目標ポイントを検出する検出処理を行い、
    前記位置ずれ量は、前記目標ポイントを検出したときの前記探索ポイントの移動量であり、
    前記検体との距離が一定値以上の場合の探索範囲を、前記距離が一定値を下回る場合の探索範囲よりも広くすることを特徴とする内視鏡システムのプロセッサ装置。
  12. 第1信号光、及び参照光を含む第1照明光を発する第1光源と、前記第1信号光と波長域が異なる第2信号光、及び前記参照光を含む第2照明光を発する第2光源と、前記第1照明光と前記第2照明光が交互に検体に照射されるように、前記第1照明光と前記第2照明光の発生タイミングを制御する光源制御部と、前記検体から前記第1照明光の反射光を受光した時には、前記第1照明光の反射光を前記第1信号光と前記参照光に波長分離して撮像することにより、前記第1信号光に対応する第1信号用画像信号を出力するとともに、前記参照光に対応する第1参照用画像信号を出力し、前記検体から前記第2照明光の反射光を受光した時には、前記第2照明光の反射光を前記第2信号光と前記参照光に波長分離して撮像することにより、前記第2信号光に対応する第2信号用画像信号を出力するとともに、前記参照光に対応する第2参照用画像信号を出力する撮像部と、前記検体を拡大する拡大手段とを備える内視鏡システムのプロセッサ装置において、
    前記第1信号用画像信号と前記第2信号用画像信号との位置ずれ量を算出するとともに、それら信号用画像信号間の位置合わせを行う第1位置合わせ部と、
    前記位置ずれ量に基づいて、前記第1参照用画像信号と前記第2参照用画像信号の位置合わせを行う第2位置合わせ部と、
    位置合わせ済みの前記第1参照用画像信号と前記第2参照用画像信号に基づいて、各画素毎に、前記第1及び第2信号光の強度に関する参照情報を算出する参照情報算出部と、
    前記参照情報に基づいて、前記第1信号用画像信号又は前記第2信号用画像信号を補正する補正部と、
    補正後の前記第1信号用画像信号又は前記第2信号用画像信号に基づいて、生体機能情報算出部と、
    前記第1信号用画像信号及び第2信号用画像信号のうち、一方の画像信号の複数のエリアにそれぞれ基準ポイントを設定するとともに、他方の画像信号内に、前記基準ポイントに対応する位置に探索ポイントを設定する探索条件設定部とを備え、
    前記第1位置合わせ部は、前記探索ポイントを所定の探索範囲で移動させることにより、前記基準ポイントと最も近い特徴量を有する目標ポイントを検出する検出処理を行い、
    前記位置ずれ量は、前記目標ポイントを検出したときの前記探索ポイントの移動量であり、
    前記拡大手段の非使用時における探索範囲を、前記拡大手段の使用時における探索範囲よりも広くすることを特徴とする内視鏡システムのプロセッサ装置。
  13. 光源制御部が、第1信号光及び参照光を含む第1照明光と、前記第1信号光と波長域が異なる第2信号光及び前記参照光を含む第2照明光を、異なるタイミングで発生するように、前記第1照明光と前記第2照明光の発生タイミングを制御するステップと、
    撮像部が、検体から第1照明光の反射光を受光した時には、前記第1照明光の反射光を前記第1信号光と前記参照光に波長分離して撮像することにより、前記第1信号光に対応する第1信号用画像信号を出力するとともに、前記参照光に対応する第1参照用画像信号を出力し、前記検体から前記第2照明光の反射光を受光した時には、前記第2照明光の反射光を前記第2信号光と前記参照光に波長分離して撮像することにより、前記第2信号光に対応する第2信号用画像信号を出力するとともに、前記参照光に対応する第2参照用画像信号を出力するステップと、
    探索条件設定部が、前記第1信号用画像信号及び第2信号用画像信号のうち、一方の画像信号の複数のエリアにそれぞれ基準ポイントを設定するとともに、他方の画像信号内に、前記基準ポイントに対応する位置に探索ポイントを設定するステップと、
    第1位置合わせ部が、前記第1信号用画像信号と前記第2信号用画像信号との位置ずれ量を算出するとともに、それら信号用画像信号間の位置合わせを行うステップであって、前記探索ポイントを所定の探索範囲で移動させることにより、前記基準ポイントと最も近い特徴量を有する目標ポイントを検出する検出処理を行い、前記目標ポイントを検出したときの前記探索ポイントの移動量を、前記位置ずれ量として、算出するステップと、
    第2位置合わせ部が、前記位置ずれ量に基づいて、前記第1参照用画像信号と前記第2参照用画像信号の位置合わせを行うステップと、
    参照情報算出部が、位置合わせ済みの前記第1参照用画像信号と前記第2参照用画像信号に基づいて、各画素毎に、前記第1及び第2信号光の強度に関する参照情報を算出するステップと、
    補正部が、前記参照情報に基づいて、前記第1信号用画像信号又は前記第2信号用画像信号を補正するステップと、
    生体機能情報算出部が、補正後の前記第1信号用画像信号又は前記第2信号用画像信号に基づいて、生体機能情報を算出するステップとを有し、
    前記探索条件設定部により前記基準ポイント及び探索ポイントを設定するステップにおいては、前記複数のエリアのうち暗部が存在する暗エリアについては、前記暗エリアのうち前記暗部以外の部分に前記基準ポイント及び探索ポイントを設定することを特徴とする内視鏡システムの作動方法。
  14. 光源制御部が、第1信号光及び参照光を含む第1照明光と、前記第1信号光と波長域が異なる第2信号光及び前記参照光を含む第2照明光を、異なるタイミングで発生するように、前記第1照明光と前記第2照明光の発生タイミングを制御するステップと、
    撮像部が、検体から第1照明光の反射光を受光した時には、前記第1照明光の反射光を前記第1信号光と前記参照光に波長分離して撮像することにより、前記第1信号光に対応する第1信号用画像信号を出力するとともに、前記参照光に対応する第1参照用画像信号を出力し、前記検体から前記第2照明光の反射光を受光した時には、前記第2照明光の反射光を前記第2信号光と前記参照光に波長分離して撮像することにより、前記第2信号光に対応する第2信号用画像信号を出力するとともに、前記参照光に対応する第2参照用画像信号を出力するステップと、
    探索条件設定部が、前記第1信号用画像信号及び第2信号用画像信号のうち、一方の画像信号の複数のエリアにそれぞれ基準ポイントを設定するとともに、他方の画像信号内に、前記基準ポイントに対応する位置に探索ポイントを設定するステップと、
    第1位置合わせ部が、前記第1信号用画像信号と前記第2信号用画像信号との位置ずれ量を算出するとともに、それら信号用画像信号間の位置合わせを行うステップであって、前記探索ポイントを所定の探索範囲で移動させることにより、前記基準ポイントと最も近い特徴量を有する目標ポイントを検出する検出処理を行い、前記目標ポイントを検出したときの前記探索ポイントの移動量を、前記位置ずれ量として、算出するステップと、
    第2位置合わせ部が、前記位置ずれ量に基づいて、前記第1参照用画像信号と前記第2参照用画像信号の位置合わせを行うステップと、
    参照情報算出部が、位置合わせ済みの前記第1参照用画像信号と前記第2参照用画像信号に基づいて、各画素毎に、前記第1及び第2信号光の強度に関する参照情報を算出するステップと、
    補正部が、前記参照情報に基づいて、前記第1信号用画像信号又は前記第2信号用画像信号を補正するステップと、
    生体機能情報算出部が、補正後の前記第1信号用画像信号又は前記第2信号用画像信号に基づいて、生体機能情報を算出するステップとを有し、
    前記第1位置合わせ部により前記検出処理を行うステップにおいては、前記検体との距離が一定値以上の場合の探索範囲を、前記距離が一定値を下回る場合の探索範囲よりも広くすることを特徴とする内視鏡システムの作動方法。
  15. 光源制御部が、第1信号光及び参照光を含む第1照明光と、前記第1信号光と波長域が異なる第2信号光及び前記参照光を含む第2照明光を、異なるタイミングで発生するように、前記第1照明光と前記第2照明光の発生タイミングを制御するステップと、
    撮像部が、検体から第1照明光の反射光を受光した時には、前記第1照明光の反射光を前記第1信号光と前記参照光に波長分離して撮像することにより、前記第1信号光に対応する第1信号用画像信号を出力するとともに、前記参照光に対応する第1参照用画像信号を出力し、前記検体から前記第2照明光の反射光を受光した時には、前記第2照明光の反射光を前記第2信号光と前記参照光に波長分離して撮像することにより、前記第2信号光に対応する第2信号用画像信号を出力するとともに、前記参照光に対応する第2参照用画像信号を出力するステップと、
    探索条件設定部が、前記第1信号用画像信号及び第2信号用画像信号のうち、一方の画像信号の複数のエリアにそれぞれ基準ポイントを設定するとともに、他方の画像信号内に、前記基準ポイントに対応する位置に探索ポイントを設定するステップと、
    第1位置合わせ部が、前記第1信号用画像信号と前記第2信号用画像信号との位置ずれ量を算出するとともに、それら信号用画像信号間の位置合わせを行うステップであって、前記探索ポイントを所定の探索範囲で移動させることにより、前記基準ポイントと最も近い特徴量を有する目標ポイントを検出する検出処理を行い、前記目標ポイントを検出したときの前記探索ポイントの移動量を、前記位置ずれ量として、算出するステップと、
    第2位置合わせ部が、前記位置ずれ量に基づいて、前記第1参照用画像信号と前記第2参照用画像信号の位置合わせを行うステップと、
    参照情報算出部が、位置合わせ済みの前記第1参照用画像信号と前記第2参照用画像信号に基づいて、各画素毎に、前記第1及び第2信号光の強度に関する参照情報を算出するステップと、
    補正部が、前記参照情報に基づいて、前記第1信号用画像信号又は前記第2信号用画像信号を補正するステップと、
    生体機能情報算出部が、補正後の前記第1信号用画像信号又は前記第2信号用画像信号に基づいて、生体機能情報を算出するステップとを有し、
    前記第1位置合わせ部により前記検出処理を行うステップにおいては、前記検体を拡大する拡大手段の非使用時における探索範囲を、前記拡大手段の使用時における探索範囲よりも広くすることを特徴とする内視鏡システムの作動方法。
JP2013064663A 2013-03-26 2013-03-26 内視鏡システム及びプロセッサ装置並びに作動方法 Active JP5997643B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013064663A JP5997643B2 (ja) 2013-03-26 2013-03-26 内視鏡システム及びプロセッサ装置並びに作動方法
PCT/JP2014/056268 WO2014156604A1 (ja) 2013-03-26 2014-03-11 内視鏡システム及びその作動方法並びにプロセッサ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013064663A JP5997643B2 (ja) 2013-03-26 2013-03-26 内視鏡システム及びプロセッサ装置並びに作動方法

Publications (2)

Publication Number Publication Date
JP2014188083A JP2014188083A (ja) 2014-10-06
JP5997643B2 true JP5997643B2 (ja) 2016-09-28

Family

ID=51623587

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013064663A Active JP5997643B2 (ja) 2013-03-26 2013-03-26 内視鏡システム及びプロセッサ装置並びに作動方法

Country Status (2)

Country Link
JP (1) JP5997643B2 (ja)
WO (1) WO2014156604A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6616071B2 (ja) * 2014-12-22 2019-12-04 富士フイルム株式会社 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
JP6517573B2 (ja) * 2015-04-17 2019-05-22 Hoya株式会社 画像処理装置および内視鏡装置
JP6744713B2 (ja) * 2015-12-17 2020-08-19 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP6744712B2 (ja) 2015-12-17 2020-08-19 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
WO2017183339A1 (ja) 2016-04-21 2017-10-26 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2163183A4 (en) * 2007-06-05 2015-04-29 Olympus Corp IMAGE PREPARATION DEVICE, IMAGE PROCESSING PROGRAM AND IMAGE PROCESSING
JP4959445B2 (ja) * 2007-07-04 2012-06-20 オリンパス株式会社 画像処理装置および画像処理プログラム
JP5405373B2 (ja) * 2010-03-26 2014-02-05 富士フイルム株式会社 電子内視鏡システム
JP5558178B2 (ja) * 2010-04-07 2014-07-23 オリンパス株式会社 蛍光観察装置
JP5558331B2 (ja) * 2010-12-15 2014-07-23 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP2012205619A (ja) * 2011-03-29 2012-10-25 Olympus Medical Systems Corp 画像処理装置、制御装置、内視鏡装置、画像処理方法及び画像処理プログラム
JP5623348B2 (ja) * 2011-07-06 2014-11-12 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法

Also Published As

Publication number Publication date
JP2014188083A (ja) 2014-10-06
WO2014156604A1 (ja) 2014-10-02

Similar Documents

Publication Publication Date Title
JP5992936B2 (ja) 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
JP5977772B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP6092792B2 (ja) 内視鏡システム用プロセッサ装置、内視鏡システム、内視鏡システム用プロセッサ装置の作動方法、内視鏡システムの作動方法
KR101913622B1 (ko) 선택형 조명 스펙트럼으로 구성된 배경 수술 이미지에 의한 형광 이미징 방법 및 시스템
JP5887367B2 (ja) プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
US20140340497A1 (en) Processor device, endoscope system, and operation method of endoscope system
JP6008812B2 (ja) 内視鏡システム及びその作動方法
JP5997643B2 (ja) 内視鏡システム及びプロセッサ装置並びに作動方法
JP6085649B2 (ja) 内視鏡用光源装置及び内視鏡システム
WO2021060158A1 (ja) 内視鏡システム及びその作動方法
US10003774B2 (en) Image processing device and method for operating endoscope system
JP6085648B2 (ja) 内視鏡用光源装置及び内視鏡システム
US20190246874A1 (en) Processor device, endoscope system, and method of operating processor device
JP2018051364A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP6245710B2 (ja) 内視鏡システム及びその作動方法
JP6099518B2 (ja) 内視鏡システム及び作動方法
JP5990141B2 (ja) 内視鏡システム及びプロセッサ装置並びに作動方法
JP2016120026A (ja) 内視鏡システム及びその作動方法
JP6196599B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法
JP6272956B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP6586206B2 (ja) 内視鏡システム及びその作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160826

R150 Certificate of patent or registration of utility model

Ref document number: 5997643

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250