JP7253632B2 - 内視鏡システム及びその作動方法 - Google Patents

内視鏡システム及びその作動方法 Download PDF

Info

Publication number
JP7253632B2
JP7253632B2 JP2021551260A JP2021551260A JP7253632B2 JP 7253632 B2 JP7253632 B2 JP 7253632B2 JP 2021551260 A JP2021551260 A JP 2021551260A JP 2021551260 A JP2021551260 A JP 2021551260A JP 7253632 B2 JP7253632 B2 JP 7253632B2
Authority
JP
Japan
Prior art keywords
image
correction
white balance
oxygen saturation
linearization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021551260A
Other languages
English (en)
Other versions
JPWO2021070663A5 (ja
JPWO2021070663A1 (ja
Inventor
孝明 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021070663A1 publication Critical patent/JPWO2021070663A1/ja
Publication of JPWO2021070663A5 publication Critical patent/JPWO2021070663A5/ja
Application granted granted Critical
Publication of JP7253632B2 publication Critical patent/JP7253632B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00057Operational features of endoscopes provided with means for testing or calibration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14552Details of sensors specially adapted therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/1459Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Description

本発明は、観察対象の酸素飽和度を求める内視鏡システム及びその作動方法に関する。
医療分野において、生体内の観察対象を撮影する内視鏡システムが広く利用されている。近年では、酸素飽和度と病変部との相関関係が知られていることから、酸素飽和度を用いた診断も行われつつある。酸素飽和度を用いる診断においては、酸素飽和度によって吸光係数が変化する酸素飽和度用照明光を患部に照射して得られる複数の分光画像に基づいて、観察対象の酸素飽和度を算出し、酸素飽和度を画像化した酸素飽和度画像をモニタに表示する。
酸素飽和度の算出に際しては、複数の分光画像に基づく演算処理により得られる信号比として、異なる分光画像間の信号比を用いている。入力となる信号比のわずかな変動が、出力となる酸素飽和度のノイズとなるため、ハード面で、酸素飽和度用照明光を発する光源部の発光量の厳密な制御が必要である。また、酸素飽和度を算出する内視鏡システムにおいては、プレ撮影により得られた画像から画像補正値を算出し、算出した画像補正値を用いて酸素飽和度算出用画像を補正することが知られている(特許文献1)。この他、酸素飽和度を算出しない内視鏡システムにおいては、設定光量データテーブルを補正して緑色LEDと紫色LEDの設定光量値と信号値(画素値)との関係を線形化するテーブル補正を行うことが知られている(特許文献2)。
特開2017-108983号公報 特開2017-148432号公報
酸素飽和度を求める内視鏡システムは、ハード面において光源発光量の厳密な制御が必要となるだけでなく、さらに内視鏡に搭載されているイメージセンサの個体差を是正する補正技術も重要である。
一般に、イメージセンサの出力信号である画素値は、入力となる入射光量に対して概ね線形な応答を示す。しかし、入力である入射光量の範囲と出力である画素値の範囲によっては応答特性が僅かに非線形になっている範囲を有する場合がある。このような応答特性の具体的な非線形性はイメージセンサの個体によって異なる。イメージセンサの応答特性に非線形性がある場合、波長帯域ごとの強度比が一定の照明光を照射しても、異なる分光帯域の画素値の比(いわゆる信号比)が一定値からずれる。その結果、異なる分光帯域の画素値の比に基づいて算出する酸素飽和度の値も、イメージセンサの応答特性の非線形性に応じて誤差が発生する。
本発明は、イメージセンサの非線形な応答特性に起因した誤差を補正することにより、正確な酸素飽和度を算出できる内視鏡システム及びその作動方法を提供することを目的とする。
本発明の内視鏡システムは、観察対象を撮像するイメージセンサを有する内視鏡と、プロセッサとを備える内視鏡システムであって、プロセッサは、内視鏡を用いて、観察対象の酸素飽和度を算出するための複数の酸素飽和度算出用分光画像と、酸素飽和度を補正する補正値を算出するための補正用分光画像と、を取得し、イメージセンサへの入射光量と、補正用分光画像の画素値と、の関係を線形化する線形化補正テーブルを作成し、線形化補正テーブルを用いて線形化補正をした補正用分光画像を用いて、前記補正値を算出する。
プロセッサは、複数の酸素飽和度算出用分光画像から酸素飽和度と相関を有する信号比を算出し、信号比を用いて、酸素飽和度を算出し、信号比を補正する補正値を算出することが好ましい。
ホワイトバランスの補正に用いるホワイトバランス補正データを有し、プロセッサは、ホワイトバランス補正データを用いて線形化補正テーブルを作成することが好ましい。
プロセッサは、ホワイトバランス補正後の補正用分光画像における第1色画素及び第2色画素の画素値の比と、ホワイトバランス補正前の補正用分光画像における第1色画素の画素値と、を対応付ける線形化補正テーブルを作成することが好ましい。
第1色画素は青色画素であり、かつ、第2色画素は緑色画素であることが好ましい。
プロセッサは、緑色光を用いて基準板を撮影して得たホワイトバランス補正データを用いて線形化補正テーブルを作成することが好ましい。
プロセッサは、緑色光を受光した第1色画素の画素値と緑色光を受光した第2色画素の画素値との比を、ホワイトバランス補正前の補正用分光画像における第1色画素の画素値と対応付けることが好ましい。
照明光の発光強度を変更して取得した複数のホワイトバランス補正データを有し、プロセッサは、複数のホワイトバランス補正データを用いて線形化補正テーブルを作成することが好ましい。
1つのホワイトバランス補正用画像に対して複数箇所に補正データ取得領域を設定し、各々の補正データ取得領域についてそれぞれホワイトバランス補正データを取得する場合、プロセッサは、1つのホワイトバランス補正用画像から取得した複数のホワイトバランス補正データを用いて線形化補正テーブルを作成することが好ましい。
本発明の内視鏡システムの作動方法は、観察対象を撮像するイメージセンサを有する内視鏡とプロセッサとを備える内視鏡システムの作動方法において、プロセッサが、内視鏡を用いて、観察対象の酸素飽和度を算出するための複数の酸素飽和度算出用分光画像と、酸素飽和度を補正する補正値を算出するための補正用分光画像と、を取得するステップと、イメージセンサへの入射光量と、補正用分光画像の画素値と、の関係を線形化する線形化補正テーブルを作成するステップと、線形化補正テーブルを用いて線形化補正をした補正用分光画像を用いて、補正値を算出するステップと、を備える。
本発明の内視鏡システム及びその作動方法によれば、イメージセンサの非線形な応答特性に起因した誤差を補正することにより、正確な酸素飽和度を算出できる。
内視鏡システムの外観図である。 内視鏡システムの機能を示すブロック図である。 第1青色光、第2青色光、緑色光、及び、赤色光の発光スペクトルを示すグラフである。 酸素飽和度観察モードにおける発光パターンを示す説明図である。 カラーフィルタの分光特性を示すグラフである。 キャリブレーション装置を示す説明図である。 特殊処理部の機能を示すブロック図である。 イメージセンサの応答特性を示すグラフである。 線形化補正テーブルを表すグラフである。 酸素飽和度と信号比X及び信号比Yとの関係を示す説明図である。 キャリブレーション処理部の機能を示すブロック図である。 補正データ取得領域を示す説明図である。 キャリブレーションモードのフローチャートである。 酸素飽和度観察モードのフローチャートである。 変形例の補正データ取得領域を示す説明図である。
図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、表示部であるモニタ18と、ユーザーインターフェース19とを有する。内視鏡12は、観察対象を撮像するイメージセンサ48(図2参照)を有する。内視鏡12は、光源装置14と光学的に接続するとともに、プロセッサ装置16に電気的に接続する。内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12cと、先端部12dとを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cが湾曲する。この湾曲部12cが湾曲した結果、先端部12dが所望の方向に向く。なお、先端部12dには、観察対象に向けて空気や水等を噴射する噴射口(図示しない)が設けられている。
また、操作部12bには、アングルノブ12eの他、モード切替スイッチ13a、フリーズスイッチ13b、ズーム操作部13cが設けられている。モード切替スイッチ13aは、観察モードの切り替え操作に用いる。内視鏡システム10は、通常モード、特殊モード、及び、キャリブレーションモードを有する。通常モードは、照明光に白色光を用いて観察対象を撮影して得る自然な色合いの画像(以下、通常画像という)をモニタ18に表示する観察モードである。
特殊モードは、観察対象の酸素飽和度を算出して表示する酸素飽和度観察モードである。酸素飽和度観察モードでは、観察対象を撮像して得る複数の分光画像を用いて観察対象の酸素飽和度を算出し、算出した酸素飽和度の値を、疑似カラーを用いて示す画像(以下、酸素飽和度画像という)を生成してモニタ18に表示する。キャリブレーションモードでは、ホワイトバランス補正処理に用いるホワイトバランス補正データ、及び、線形化補正(リニアリティ)に用いる線形化補正テーブル(リニアリティ補正テーブル)を作成する。
フリーズスイッチ13bは、プロセッサ装置16に対して静止画取得指示を行うためのスイッチである。プロセッサ装置16は、静止画取得指示に従って、静止画画像を保存する。
プロセッサ装置16は、モニタ18及びユーザーインターフェース19と電気的に接続する。モニタ18は、各観察モードの画像や画像に付帯する画像情報等を出力表示する。ユーザーインターフェース19は、キーボードなどを有し、機能設定等の入力操作を受け付ける。ユーザーインターフェース19としては、キーボードの他に、マウスなどを設けてもよい。なお、プロセッサ装置16には、画像や画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
図2に示すように、光源装置14は、照明光を発光する光源部20と、光源部20の駆動を制御する光源制御部22と、を備えている。
光源部20は、BS光源20a、BL光源20b、G光源20c、及び、R光源20dの4個の半導体光源を備える。本実施形態においては、BS光源20a、BL光源20b、G光源20c、及び、R光源20dはいずれもLED(Light Emitting Diode)である。光源部20には、これらのLEDの代わりに、LD(Laser Diode)と蛍光体と帯域制限フィルタとの組み合わせや、キセノンランプ等のランプと帯域制限フィルタの組み合わせ等を用いることができる。
図3に示すように、BS光源20aは、中心波長(ピーク波長)が約450±10nm、波長帯域が約420nm~500nmの第1青色光BSを発光する青色光源である。BL光源20bは、中心波長(ピーク波長)及び波長帯域が約470nm±10nmであり、青色のいわゆる狭帯域光(以下、第2青色光BLという)を発光する青色光源である。G光源20cは、中心波長(ピーク波長)が約540±20nm、波長帯域が約480nm~600nmに及ぶ緑色光Gを発光する緑色光源である。R光源20dは、中心波長(ピーク波長)が約620±20nm、波長帯域が約600nm~650nmに及ぶ赤色光Rを発光する赤色光源である。
光源制御部22は、光源部20を構成する各光源20a~20dの点灯や消灯のタイミング、及び点灯時の発光量等をそれぞれ独立に制御する。この光源制御部22の制御により、光源部20は、通常モードにおいて使用する通常観察用照明光と、酸素飽和度観察モードにおいて使用する酸素飽和度観察用照明光とを発光する。
通常モードの場合、光源制御部22は、BS光源20a、G光源20c、及びR光源20dを同時に点灯する。このため、通常観察用照明光は、第1青色光BSと、緑色光Gと、赤色光Rとを含む白色光である。本実施形態においては、通常モードの場合、光源部20は上記白色光を常時発光するが、観察対象の撮影タイミング(以下、撮影フレームという)に合わせて、白色光を発光しても良い。
酸素飽和度観察モード及びキャリブレーションモードの場合、光源制御部22は、第1パターン、第2パターン、及び第3パターンで各光源20a~20dの点灯または消灯を交互に繰り返す。第1パターンは、BS光源20aと、G光源20cと、R光源20dを同時に点灯するパターンである。第1パターンの際には、第1青色光BSと、緑色光Gと、赤色光Rとを含む白色光が照明光になる。一方、第2パターンは、BL光源20bと、G光源20cと、R光源20dを同時に点灯するパターンである。このため、第2パターンの際には、第2青色光BLと、緑色光Gと、赤色光Rとを含む酸素飽和度用照明光になる。第3パターンは、G光源20cを単独で点灯する。このため、第3パターンの際には、緑色光Gが照明光になる。したがって、酸素飽和度観察モード及びキャリブレーションモードでは、図4に示すように、白色光と酸素飽和度用照明光と緑色光とが撮影フレームに合わせて、例えば、1撮影フレーム毎に順次に繰り返し発光する。
なお、キャリブレーションモードにおいては、少なくとも1回ずつ上記第1パターン、第2パターン、及び、第3パターンの点灯を行えば足りるが、必要に応じて順次に繰り返す。本実施形態においては、キャリブレーションモードを終了するまで、第1パターン、第2パターン、及び、第3パターンの点灯または消灯を自動的に交互に繰り返す。
光源部20が発光した照明光は、ライトガイド41に入射する(図2参照)。ライトガイド41は、内視鏡12及びユニバーサルコード内に内蔵されており、照明光を内視鏡12の先端部12dまで伝搬する。ユニバーサルコードは、内視鏡12と光源装置14及びプロセッサ装置16とを接続するコードである。なお、ライトガイド41としては、マルチモードファイバを使用できる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3~0.5mmの細径なファイバケーブルを使用できる。
内視鏡12の先端部12dには、照明光学系30aと撮影光学系30bが設けられている。照明光学系30aは、照明レンズ45を有しており、この照明レンズ45を介して照明光が観察対象に照射される。撮影光学系30bは、対物レンズ46、ズームレンズ47、及びイメージセンサ48を有している。イメージセンサ48は、対物レンズ46及びズームレンズ47を介して、観察対象から戻る照明光の反射光等(散乱光、観察対象が発する蛍光、または、観察対象に投与等した薬剤に起因した蛍光等を含む)を用いて観察対象を撮影する。なお、ズームレンズ47は、ズーム操作部13cの操作をすることで移動し、イメージセンサ48を用いて撮影する観察対象を拡大または縮小する。
イメージセンサ48は、原色系のカラーセンサであり、青色カラーフィルタを有するB画素(青色画素)、緑色カラーフィルタを有するG画素(緑色画素)、及び、赤色カラーフィルタを有するR画素(赤色画素)の3種類の画素を備える。図5に示すように、青色カラーフィルタは、主として青色帯域の光、具体的には波長帯域が380~560nmの波長帯域の光を透過する。青色カラーフィルタBFの透過率は、波長460~470nm付近においてピークになる。緑色カラーフィルタGF、主として緑色帯域の光、具体的には、460~470nmの波長帯域の光を透過する。赤色カラーフィルタRFは、主として赤色帯域の光、具体的には、580~760nmの波長帯域の光を透過する。
イメージセンサ48を用いて観察対象を撮影すると、1回の撮影において最大で、B画素において撮影して得るB画像(青色画像)、G画素において撮像して得るG画像(緑色画像)、及び、R画素において撮影して得るR画像(赤色画像)の3種類の分光画像を得ることができる。通常モードの場合、使用する通常観察用照明光は白色光なので、Bc画像、Gc画像、及びRc画像が得られる。Bc画像は、主に第1青色光BSの反射光等を用いて観察対象を撮影した画像であり、Gc画像は、主に緑色光Gの反射光等を用いて観察対象を撮影した画像である。同様に、Rc画像は、主に赤色光Rの反射光等を用いて観察対象を撮影した画像である。
一方、酸素飽和度観察モード及びキャリブレーションモードでは、白色光を発光するフレームにおいては、分光画像として、B1画像、G1画像、及びR1画像を取得し、酸素飽和度用照明光を発光するフレームにおいては、分光画像として、B2画像、G2画像、及びR2画像を取得し、かつ、緑色光Gを発光するフレームにおいては、分光画像として、B3画像及びG3画像を取得する。B1画像、G1画像、及びR1画像は、上記のBc画像、Gc画像、及びRc画像と同様である。B2画像は、主に第2青色光BLの反射光等を用いて観察対象を撮影した画像である。G2画像は、主に緑色光Gの反射光等を用いて観察対象を撮影した画像である。同様に、R2画像は、主に赤色光Rの反射光等を用いて観察対象を撮影した画像である。B3画像は、青色カラーフィルタBFの副感度を利用することにより、緑色光Gを用いてB画素で観察対象を撮影した画像である。G3画像は、緑色光GをG画素で観察対象を撮影した画像である。
ただし、キャリブレーションモードにおいては、観察対象の代わりに、所定の分光反射特性を有する基準反射板を撮影する。本実施形態においては、図6に示すように、キャリブレーション装置69に内視鏡12を挿入し、白色の基準反射板(以下、基準白色板WPという)を撮影する。このため、キャリブレーションモードにおいて得るB1画像、G1画像、R1画像、B2画像、G2画像、R2画像、B3画像、及び、G3画像は、観察対象の代わりに「基準白色板WP」を撮影した画像である。
イメージセンサ48としては、CCD(Charge Coupled Device)センサや、CMOS(Complementary Metal Oxide Semiconductor)センサを利用可能である。また、本実施形態のイメージセンサ48は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色-原色色変換をすれば、B画像、G画像、及びR画像に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ48として使用できる。この場合、BGR等各色の照明光を用いて観察対象を順次撮影することにより、上記各色の画像を得ることができる。
プロセッサ装置16は、統括制御部52と、画像取得部54と、画像処理部61と、表示制御部66とを有する(図2参照)。
統括制御部52は、プロセッサ装置16内の各部を制御する。統括制御部52は、モード切替スイッチ13aからのモード切替信号に基づいて、各モードに対応する制御を行う。また、統括制御部52は、内視鏡12及び光源装置14を制御する。統括制御部52は、光源装置14の光源制御部22を制御することにより、照明光の照射タイミングを制御する。また、統括制御部52は、内視鏡12のイメージセンサ48を制御することにより、撮影のタイミングを制御する。
画像取得部54は、イメージセンサ48から観察対象の画像を取得する。通常モードの場合、画像取得部54は、撮影フレーム毎にBc画像、Gc画像、及びRc画像を取得する。酸素飽和度観察モード及びキャリブレーションモードの場合、画像取得部54は、B1画像、G1画像、R1画像、B2画像、G2画像、R2画像、B3画像、及び、G3画像を取得する。これらのうち、B1画像、B2画像、G1画像、及び、R1画像は、観察対象の酸素飽和度を算出するための複数の酸素飽和度算出用分光画像である。また、B3画像及びG3画像は、酸素飽和度を補正する補正値を算出するための補正用分光画像である。すなわち、画像取得部54は、酸素飽和度観察モード及びキャリブレーションモードにおいて、酸素飽和度算出用分光画像と、補正用分光画像と、を取得する。
また、画像取得部54は、DSP(Digital Signal Processor)56と、ノイズ低減部58と、変換部59と、を有し、これらを用いて、取得した画像に各種処理を施す。
DSP56は、取得した画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、マトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種処理を施す。
欠陥補正処理は、イメージセンサ48の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。マトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、マトリクス処理後の画像の明るさや彩度を整える処理である。デモザイク処理(等方化処理や同時化処理とも言う)は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列のため、イメージセンサ48において他の色の画素を配置しているために、画素値がない画素である。例えば、B画像はB画素において観察対象を撮影して得る画像なので、イメージセンサ48のG画素やR画素に対応する位置の画素には画素値がない。デモザイク処理は、B画像を補間して、イメージセンサ48のG画素及びR画素の位置にある画素の画素値を生成する。YC変換処理は、デモザイク処理後の画像を、輝度チャンネルYと色差チャンネルCb及び色差チャンネルCrに変換する処理である。
ノイズ低減部58は、輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部59は、ノイズ低減処理後の輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを再びBGRの各色の画像に再変換する。
画像処理部61は、通常処理部62と、特殊処理部63と、キャリブレーション処理部68とを有する。通常処理部62は、通常モード時に作動し、上記各種処理を施した1撮影フレーム分のBc画像、Gc画像、及びRc画像に対して、色変換処理、色彩強調処理、及び構造強調処理を施し、通常画像を生成する。色変換処理は、BGR各色の画像に対して3×3のマトリクス処理、階調変換処理、3次元LUT(ルックアップテーブル)処理等を行う。色彩強調処理は、画像の色彩を強調する処理であり、構造強調処理は、例えば、血管やピットパターン等の観察対象の組織や構造を強調する処理である。表示制御部66は、通常処理部62から通常画像を順次取得し、取得した通常画像を表示に適した形式に変換してモニタ18に順次出力表示する。これにより、通常モードの場合、医師等は、通常画像の動画を用いて観察対象を観察できる。
特殊処理部63は酸素飽和度観察モード時に作動し、酸素飽和度の算出に必要となる特定分光画像であるB1画像、G1画像、R1画像、B2画像に加えて、線形化補正テーブルに基づいて、酸素飽和度を算出する。また、特殊処理部63は、算出された酸素飽和度に応じて色付け処理等が施した酸素飽和度画像を作成する。
図7に示すように、特殊処理部63は、ホワイトバランス補正処理部70、信号比算出部71、補正値算出部72、酸素飽和度算出部73、及び、画像作成部74を備える。ホワイトバランス補正処理部70は、ホワイトバランス補正データ記憶部70aに記憶されたホワイトバランス補正データを用いて、特定分光画像であるB1画像、G1画像、R1画像、及びB2画像に対して、ホワイトバランス補正処理を行う。ホワイトバランス補正データには、B1画像用ホワイトバランス補正データNB1、G1画像用ホワイトバランス補正データNG1、R1画像用ホワイトバランス補正データNR1、B2画像用ホワイトバランス補正データNB2、B3画像用ホワイトバランス補正データNB3、G3画像用ホワイトバランス補正データNG3、等が含まれる。
ホワイトバランス補正処理部70では、B1画像をB1画像用ホワイトバランス補正データNB1で除することにより、ホワイトバランス補正済みのB1画像(B1=B1/NB1)が得られる。同様にして、G1画像をG1画像用ホワイトバランス補正データNG1で除することにより、ホワイトバランス補正済みのG1画像(G1=G1/NG1)が得られる。また、R1画像をR1画像用ホワイトバランス補正データNR1で除することにより、ホワイトバランス補正済みのR1画像(R1=R1/NR1)が得られる。また、B2画像をB2画像用ホワイトバランス補正データNB2で除することにより、ホワイトバランス補正済みのB2画像(B2=B2/NB2)が得られる。同様に、B3画像をB3画像用ホワイトバランス補正データNB3で除することにより、ホワイトバランス補正済みのB3画像(B3=B3/NB3)が得られる。また、G3画像をG3画像用ホワイトバランス補正データNG3で除することにより、ホワイトバランス補正補正済みのG3画像(G3=G3/NG3)が得られる。
信号比算出部71は、ホワイトバランス補正済みの特定分光画像であるB1画像、G1画像、R1画像、B2画像(B1、G1、R1、B2)に基づく演算処理によって、酸素飽和度の算出用の演算値である「信号比」を算出する。すなわち、複数の酸素飽和度算出用分光画像から酸素飽和度と相関を有する信号比を算出する。具体的には、信号比算出部71は、ホワイトバランス補正済みのR1画像をホワイトバランス補正済みのG1画像で除して対数化する演算を行うことによって、信号比X(=ln(R1/G1))を算出する。また、信号比算出部71は、ホワイトバランス補正済みのB2画像をホワイトバランス補正済みのG1画像で除して対数化する演算を行うことによって、信号比Y(=ln(B2/G1))を算出する。
補正値算出部72は、酸素飽和度を補正するための補正値を算出する。また、補正値算出部72は、線形化補正テーブルを記憶する線形化補正テーブル記憶部72aを備えており、上記補正値の算出する場合に、線形化補正テーブルを用いて線形化補正をした補正用分光画像を用いる。
線形化補正テーブルは、イメージセンサ48の個体ごとに異なる応答特性の非線形性を補正するための数値テーブルである。すなわち、線形化補正テーブルは、イメージセンサ48への入射光量(イメージセンサ48の受光量)と、補正用分光画像の画素値と、の関係を線形化するための数値テーブルである。
図8に示すように、イメージセンサ48に対する入力は入射光量であり、イメージセンサ48の出力は画素値(画素値の集合である画像)である。イメージセンサ48は、理想的には一点鎖線で示すグラフ81のように、入射光量と画素値の応答特性が大部分において線形となるように調整されている。しかし、イメージセンサ48の応答特性を厳密に線形化することは難しく、実際的には、実線で示すグラフ82のように、入射光量及び画素値の範囲の一部において非線形となっている。特に、入射光量及び画素値が小さい範囲においてイメージセンサ48の応答特性が非線形になりやすい。例えば、ホワイトバランス補正前のG3画像の画素値が取り得る値の範囲AG3においては、イメージセンサ48の応答特性はほぼ線形性を保っているが、ホワイトバランス補正前のB3画像の画素値が取り得る値の範囲AB3においては、イメージセンサ48の応答特性は非線形となる。線形化補正テーブルは、上記のようなイメージセンサ48の応答特性の非線形性による画素値のズレを是正するものであり、補正用分光画像(特にB3画像)の画素値を、現実の入射光量に比例した画素値に対応付ける。
具体的には、線形化補正テーブルは、ホワイトバランス補正後の補正用分光画像における第1色画素及び第2色画素の画素値の比と、ホワイトバランス補正前の補正用分光画像における第1色画素の画素値と、を対応付ける。本実施形態では、第1色画素はB画素であり、かつ、第2色画素はG画素である。したがって、図9に示すように、線形化補正テーブルは、ホワイトバランス補正後のB3画像(B3*)及びG3画像(G3*)の画素値の比QB3(=B3*/G3*)と、ホワイトバランス補正前のB3画像の画素値(B3)と、を対応付ける。入射光量及び画素値の全範囲でイメージセンサ48の応答特性が線形である理想的な場合においては、ホワイトバランス補正前のB3画像の画素値(B3)によらず、比QB3の値は「1」である。一方、イメージセンサ48の応答特性が非線形である入射光量及び画素値の範囲については、比QB3の値は「1」からズレる。そして、このズレは、例えば、ホワイトバランス補正前のB3画像の画素値(B3)を変数とする関数f(B3)で表すことができる。関数f(B3)は、ホワイトバランス補正前のB3画像の画素値(B3)に対して、比QB3の値を近似する関数であり、例えば、多項式または指数関数等である。
補正値算出部72は、まず、線形化補正テーブルを用いて、ホワイトバランス補正後のB3画像(B3)に対して線形化補正をする。すなわち、補正値算出部72は、ホワイトバランス補正後のB3画像の画素値を、ホワイトバランス補正前のB3画像の画素値を用いて算出する関数f(B3)の値で除することにより、画素ごとに、線形化補正後のB3画像の画素値B3**(=B3/f(B3))を求める。その後、線形化補正後のB3画像の画素値B3**を、ホワイトバランス補正後のG3画像の画素値G3で除し、対数化する演算を行うことによって、信号比Z(=ln(B3**/G3))を算出する。
そして、補正値算出部72は、信号比算出部71が算出した信号比X及び信号比Yと、上記の信号比Zを用いて、酸素飽和度を補正するために、信号比Yに加算する補正値ΔYを求める。本実施形態においては、補正値ΔYは、信号比X、信号比Y、及び、信号比Zの線形結合であり、その係数K,K,Kは実験等により予め定める。すなわち、ΔY=K×X+K×Y+K×Zである。補正値ΔYは、イメージセンサ48の個別具体的な応答特性に応じて、正の値にも負の値にもなり得る。また、補正値ΔYは直接的には信号比Yを補正する補正値であるが、信号比Yを補正値ΔYで補正することで結果として酸素飽和度の値を補正するので、補正値ΔYは「酸素飽和度を補正する補正値」である。
酸素飽和度算出部73は、信号比X及び信号比Yを用いて、観察対象の酸素飽和度を算出する。具体的には、酸素飽和度算出部73は、信号比X及び信号比Yと酸素飽和度との相関関係を記憶した酸素飽和度用データ記憶部73aを参照して、信号比Xと信号比Yに対応する酸素飽和度を画素毎に算出する。また、酸素飽和度算出部73は、信号比Yをそのまま用いるのではなく、補正値ΔYを加算した信号比Y(=Y+ΔY)を用いることによって、イメージセンサ48の個体差(応答特性の非線形性)の影響を低減した正確な酸素飽和度を求める。
酸素飽和度用データ記憶部73aに記憶された相関関係は、図10に示すように、縦軸を信号比Yとし、横軸を信号比Xとする特徴空間では、酸素飽和度が同じ値の点を結ぶ等値線が、ほぼ横方向に沿って形成される。また、等値線は、酸素飽和度が大きくなるほど縦軸方向の下方に位置する。例えば、酸素飽和度が100%の等値線85は、酸素飽和度が0%の等値線86よりも下方に位置する。
例えば、補正後の信号比X及び信号比Yに対応する酸素飽和度は、酸素飽和度用データ記憶部73aが記憶する相関関係を参照すると「40%」である。したがって、酸素飽和度算出部73は、信号比X及び信号比Yに対応する画素の酸素飽和度を「40%」と算出する。
画像作成部74は、酸素飽和度を用いて、酸素飽和度画像を作成する。具体的には、画像作成部74は、B1画像、G1画像、及びR1画像に基づいて通常画像を作成し、通常画像の色調を酸素飽和度に応じて変化させる。例えば、通常画像において、酸素飽和度が70%を超える画素については色調を変化させずにそのまま表示する一方、酸素飽和度が70%以下の画素については色調を変化させて表示することが好ましい。色調を変化させる場合は、酸素飽和度が低くなる程、寒色系(例えば、青)の色に近づけることが好まし。なお、画像作成部74では、通常画像を作成せずに、酸素飽和度と特定の色画像を用いて、酸素飽和度画像を作成してもよい。この場合、輝度チャンネルYと色差チャンネルCr、Cbを用いて酸素飽和度画像を作成することが好ましい。例えば、輝度チャンネルYをG1画像信号に割り当て、色差チャンネルCr、Cbについては、酸素飽和度に応じて割り当てることが好ましい。
キャリブレーション処理部68はキャリブレーションモード時に作動し、ホワイトバランス補正データ及び/または線形化補正テーブルの作成または校正をする。このため、図11に示すように、キャリブレーション処理部68は、ホワイトバランス補正データ作成部91と、線形化補正テーブル作成部92と、を備える。
ホワイトバランス補正データ作成部91は、キャリブレーションモードにおいて、観察対象の代わりに基準白色板WPを撮影したB1画像、G1画像、R1画像、B2画像、G2画像、R2画像、B3画像、及び、G3画像を取得する。そして、これらの各画像に対して例えば図12に示す矩形の補正データ取得領域ARを設定し、補正データ取得領域ARの画素値の平均値等(平均値または中央値等の統計量)をそれぞれ算出する。これら各画像の補正データ取得領域ARにおける画素値の平均値等を、ホワイトバランス補正データ(NB1,NG1,NR1,NB2,NB3,及びNG3等)とする。ホワイトバランス補正データは、ホワイトバランス補正データ記憶部70aにそれぞれ格納される。なお、補正データ取得領域ARの形状については、矩形の他、円状であってもよい。
線形化補正テーブル作成部92は、キャリブレーションモードにおいて、前述の線形化補正テーブルを作成し、作成した線形化補正テーブルを線形化補正テーブル記憶部72aに格納する。具体的には、線形化補正テーブル作成部92は、キャリブレーションモードにおいてホワイトバランス補正後のB3画像及びG3画像と、ホワイトバランス補正前のB3画像と、を取得し、これらを用いて線形化補正テーブルを作成する。
したがって、線形化補正テーブル作成部92は、ホワイトバランス補正データを用いて線形化補正テーブルを作成する。また、線形化補正テーブル作成部92は、ホワイトバランス補正後の補正用分光画像における第1色画素及び第2色画素の画素値の比と、ホワイトバランス補正前の補正用分光画像における第1色画素の画素値と、を対応付ける線形化補正テーブルを作成する。線形化補正テーブル作成部92は、緑色光Gを用いて基準白色板WP等の所定の基準板を撮影して得たホワイトバランス補正データを用いて線形化補正テーブルを作成する。また、線形化補正テーブル作成部92は、緑色光Gを受光したB画素(第1色画素)の画素値と緑色光Gを受光したG画素(第2色画素)の画素値との比を、ホワイトバランス補正前の補正用分光画像であるB3画像におけるB画素(第1色画素)の画素値と対応付ける。
上記のように構成する内視鏡システム10は、内視鏡システム10の設置先の施設(病院など)において、図13に示すようにキャリブレーションを行う。キャリブレーションを行うには、まず、内視鏡12のモード切替スイッチ13aを操作して、キャリブレーションモードに切り替える。キャリブレーションモードに切り替えられると、白色光、酸素飽和度用照明光、緑色光Gが順次に発光する。この状態で、基準白色板WPを有するキャリブレーション装置69に内視鏡12を挿入する。内視鏡の先端部12dを基準白色板WPに向けることによって、基準白色板WPを撮影する。そして、基準白色板WPの撮影状態が一定条件を満たした場合に、基準白色板WPの静止画を自動又は手動(フリーズスイッチ13bの操作)で取得する。基準白色板WPの静止画は、キャリブレーション処理部68に送信される。
基準白色板WPの静止画には、白色光の分光画像であるB1画像、G1画像、R1画像と、酸素飽和度用照明光の分光画像であるB2画像、G2画像、R2画像とが含まれる。キャリブレーション処理部68では、基準白色板WPの静止画のうち、B1画像、G1画像、R1画像、及びB2画像について、補正データ取得領域ARの画素値の平均値等の所定の統計値をそれぞれ算出する。そして、これらをホワイトバランス補正データとしてホワイトバランス補正データ記憶部70aにそれぞれ格納する。
ホワイトバランス補正データを得ると、線形化補正テーブル作成部92は、ホワイトバランス補正後のB3画像及びG3画像と、ホワイトバランス補正前のB3画像を用いて、線形化補正テーブルを作成し、これを線形化補正テーブル記憶部72aに格納する。
また、上記のように構成する内視鏡システム10は、酸素飽和度観察モードにおいて以下のように動作する。図14に示すように、まず、内視鏡12のモード切替スイッチ13aを操作して、酸素飽和度観察モードに切り替える。酸素飽和度観察モードに切り替えられると、白色光、酸素飽和度用照明光、及び緑色光Gが順次に発光する。このため、白色光の撮像フレームの場合において、酸素飽和度算出用分光画像であるB1画像、G1画像、及びR1画像を取得する。酸素飽和度用照明光の撮像フレームにおいて、酸素飽和度用分光画像であるB2画像と、G2画像及びR2画像と、を取得する。そして、緑色光Gの撮像フレームにおいて、補正用分光画像であるB3画像及びG3画像を取得する。
上記のように各分光画像を取得すると、ホワイトバランス補正処理部70において、少なくともB1画像、G1画像、R1画像、B2画像、B3画像、及び、G3画像に対して、ホワイトバランス補正処理を行う。これにより、ホワイトバランス補正済みのB1画像、G1画像、R1画像、B2画像、B3画像、及び、G3画像が得られる。
次に、信号比算出部71は、ホワイトバランス補正済みのB1画像、G1画像、R1画像、及び、B2画像を用いて信号比X、及び信号比Yを算出する。一方、補正値算出部72は、線形化補正テーブルを参照して、ホワイトバランス補正後のB3画像にさらに線形化補正を施す。そして、線形化補正後のB3画像を用いて、信号比Zを算出する。その後、補正値算出部72は、信号比X、信号比Y、及び、信号比Zを用いて、信号比Yに加算する補正値ΔYを算出する。
補正値算出部72が補正値ΔYを算出すると、酸素飽和度算出部73は、酸素飽和度用データ記憶部73aに記憶された相関関係を参照して、画素ごとに、信号比Xと補正値ΔYを加算した信号比Yである信号比Y*とに対応する酸素飽和度を算出する。画像作成部74は、算出された酸素飽和度を用いて、酸素飽和度画像を作成する。作成された酸素飽和度画像は、モニタ18に表示される。
上記のように、内視鏡システム10は、線形化補正をしたB3画像を用いることにより、イメージセンサ48の非線形な応答特性に起因した誤差を補正して、正確な酸素飽和度を算出することができる。例えば、B3画像を線形化補正しない場合、補正値ΔYにはイメージセンサ48の非線形な応答特性に起因する誤差が含まれるので、信号比Yに補正値ΔYを加算して補正をしても、イメージセンサ48の非線形な応答特性に起因する誤差が残存する。しかし、上記の内視鏡システム10は、補正値ΔYを算出する時点でイメージセンサ48の非線形な応答特性に起因する誤差を低減している。その結果、正確な酸素飽和度が算出できる。
また、内視鏡システム10が行う線形化補正は、イメージセンサ48の型番が異なることに起因した応答特性の違い(いわゆる機種差)を補正するだけでなく、特定型番のイメージセンサ48でも個々に生じる個体差に起因した応答特性の非線形な個体差をも補正するものである。したがって、内視鏡システム10は、イメージセンサ48の個体差である非線形応答まで補正できるので、例えば単にイメージセンサ48等の機種差を低減する従来の内視鏡システムと比較しても、より正確に酸素飽和度を算出できる。
上記実施形態の内視鏡システム10は、発光比率は固定しつつ、照明光の発光強度を変更して取得した複数のホワイトバランス補正データを有することができる。具体的には、キャリブレーションモードの緑色光Gを点灯する撮像フレームを繰り返すたびに緑色光Gの発光強度を変えながら基準白色板WPを撮影することで、複数のB3画像用ホワイトバランス補正データ「NB3a、NB3b、NB3c、…」と複数のG3画像用ホワイトバランス補正データ「NG3a、NG3b、NG3c、…」を取得できる。例えば、NB3a及びNG3aは緑色光Gの光量が「a」の場合のホワイトバランス補正データであり、NB3b及びNG3bは緑色光Gの光量が「b」の場合のホワイトバランス補正データであり、かつ、NB3c及びNG3Cは緑色光Gの光量が「c」の場合のホワイトバランス補正データである。
このように、照明光の発光強度を変更して取得した複数のホワイトバランス補正データを有する場合、線形化補正テーブル作成部92は、これら複数のホワイトバランス補正データを用いて線形化補正テーブルを作成することが望ましい。ホワイトバランス補正前のG3画像の画素値が取り得る値の範囲AG3、及び、ホワイトバランス補正前のB3画像の画素値が取り得る値の範囲AB3における複数点についてデータ点を取得し、精度良く線形化補正テーブルを作成するためである。
一方、内視鏡システム10が、キャリブレーションモードにおいて1撮像フレームだけ緑色光Gを用いて基準白色板WPを撮影する場合、得られるホワイトバランス補正用画像はB3画像及びG3画像がそれぞれ1枚ずつである。この場合、上記実施形態のように、B3画像及びG3画像にそれぞれ1つの補正データ取得領域ARを設定し、補正データ取得領域ARの画素値の平均値等を求めることでホワイトバランス補正データとすると、ホワイトバランス補正前のG3画像の画素値が取り得る値の範囲AG3、及び、ホワイトバランス補正前のB3画像の画素値が取り得る値の範囲AB3のなかの1点についてしかデータが得られない。このため、イメージセンサ48の具体的な応答特性によっては、線形化補正テーブルによる線形化補正の精度が良くない場合がある。
したがって、ホワイトバランス補正用画像であるB3画像及びG3画像を1枚ずつしか取得しない場合には、これらのB3画像及びG3画像の複数箇所に補正データ取得領域ARを設定する。例えば、図15に示すように、B3画像に対して、第1補正データ取得領域ARa、第2補正データ取得領域ARb、及び、第3補正データ取得領域ARcを設定する。そして、第1補正データ取得領域ARa、第2補正データ取得領域ARb、及び、第3補正データ取得領域ARcのそれぞれにおいて画素値の平均値等を算出する。そして、各補正データ取得領域ARa~ARcにおける画素値の平均値等を、B3画像用ホワイトバランス補正データとする。これにより、複数のB3画像用ホワイトバランス補正データ「NB3a、NB3b、NB3c」を得る。同様に、G3画像についても上記と対応する位置に第1補正データ取得領域ARa、第2補正データ取得領域ARb、及び、第3補正データ取得領域ARcを設定し、各補正データ取得領域ARa~ARcにおける画素値の平均値等を、それぞれG3画像用ホワイトバランス補正データとする。これにより、第1ホワイトバランス補正データNG3a、第2ホワイトバランス補正データNG3b、及び、第3ホワイトバランス補正データNG3cとする。
内視鏡12が照射する照明光は配向があり、かつ、その分布(配向分布)は内視鏡12の構成上の特性として既知である。したがって、ホワイトバランス補正用画像には、もともと明暗分布があり、その分布態様は既知である。このため、第1補正データ取得領域ARa、第2補正データ取得領域ARb、及び、第3補正データ取得領域ARcの各領域は明るさの平均値等が異なる。したがって、第1補正データ取得領域ARa、第2補正データ取得領域ARb、及び、第3補正データ取得領域ARcにおいてそれぞれ異なるホワイトバランス補正データを得ることができる。なお、1つのホワイトバランス補正用画像に設定する複数の補正データ取得領域ARa~ARcは一部範囲が重複していてもよく、それぞれが完全に分離していてもよい。また、複数の補正データ取得領域ARa~ARcの形状は任意であり、円形に設定してもよく、図15のように矩形に設定してもよい。また、複数の補正データ取得領域ARa~ARcは、同心円を境界とする円及び円環状の領域としてもよい。
上記のように、1つのホワイトバランス補正用画像であるB3画像(あるいはG3画像)に対して複数箇所に補正データ取得領域ARa~ARcを設定し、各々の補正データ取得領域ARa~ARcについてそれぞれホワイトバランス補正データを取得する場合、線形化補正テーブル作成部92は、この1つのホワイトバランス補正用画像から取得した複数のホワイトバランス補正データを用いて線形化補正テーブルを作成することが好ましい。ホワイトバランス補正前のG3画像の画素値が取り得る値の範囲AG3、及び、ホワイトバランス補正前のB3画像の画素値が取り得る値の範囲AB3における複数点についてデータ点を取得でき、その結果、精度良く線形化補正テーブルを作成できるからである。
なお、照明光の発光強度を変更して複数のホワイトバランス補正用画像を取得する場合においても、上記のように、各々のホワイトバランス補正用画像に複数の補正データ取得領域ARa~ARcを設定できる。複数のホワイトバランス補正用画像を取得し、かつ、各々のホワイトバランス補正用画像に複数の補正データ取得領域ARa~ARcを設定すると、ホワイトバランス補正前のG3画像の画素値が取り得る値の範囲AG3、及び、ホワイトバランス補正前のB3画像の画素値が取り得る値の範囲AB3に対して、より細かくデータ点を得られる。このため、特に精度良く線形化補正テーブルを作成でき、結果として、特に正確に酸素飽和度を算出できる。
なお、上記実施形態及び変形例においては、B3画像に対して線形化補正を施しているが、これは、イメージセンサ48の応答特性が、ホワイトバランス補正前のB3画像の画素値が取り得る値の範囲AB3において非線形な応答特性になる場合が多いからである。したがって、イメージセンサ48の応答特性が、ホワイトバランス補正前のG3画像の画素値が取り得る値の範囲AG3において非線形な応答特性となる場合には、B3画像に対する線形化補正に代えて、あるいはB3画像に対する線形化補正とともに、G3画像に対して線形化補正をすることができる。この場合、上記実施形態等におけるB3画像用の線形化補正テーブルと同様に、G3画像用の線形化補正テーブルを予め用意する。
上記実施形態及び変形例においては、補正値ΔYを信号比Yに加算するが、補正値算出部72は、信号比Yに対して乗算または除算する補正値ΔYを求めることができる。また、上記実施形態及び変形例においては、補正値算出部72は、信号比Yを補正する補正値ΔYを求めているが、上記実施形態等における補正値ΔYの算出方法と同様にして、信号比Xを補正する補正値ΔXを求めることができる。
上記実施形態及び変形例において、第1色画素はB画素であり、かつ、第2色画素はG画素であるが、第1色画素及び第2色画素の各色(対応する波長帯域)は任意である。このため、第1色画素及び第2色画素は、上記実施形態及び変形例におけるB画素及びG画素以外の組み合わせにすることができる。但し、第1色画素は、イメージセンサ48の応答特性が非線形になる入射光量及び画素値の範囲に対応し、かつ、第2色画素は、イメージセンサ48の応答特性がほぼ線形である入射光量及び画素値の範囲に対応することが好ましい。
なお、上記実施形態では、本発明の内視鏡システムとして、軟性鏡内視鏡である内視鏡12を用いる管腔用内視鏡システムの例を説明しているが、本発明の内視鏡システムは、外科用の硬性内視鏡を用いる腹腔用内視鏡システムに対しても適用が可能である。
上記において、画像取得部54、画像処理部61、通常処理部62、特殊処理部63、表示制御部66、キャリブレーション処理部68、ホワイトバランス補正処理部70、信号比算出部71、補正値算出部72、酸素飽和度算出部73、画像作成部74、及びこれらを構成する各部等といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路(Graphical Processing Unit:GPU)などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ、GPUとCPUの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。また、記憶部のハードウェア的な構造はHDD(hard disc drive)やSSD(solid state drive)等の記憶装置である。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13a モード切替スイッチ
13b フリーズスイッチ
13c ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 ユーザーインターフェース
20 光源部
20a BS光源
20b BL光源
20c G光源
20d R光源
22 光源制御部
30a 照明光学系
30b 撮影光学系
41 ライトガイド
45 照明レンズ
46 対物レンズ
47 ズームレンズ
48 イメージセンサ
52 統括制御部
54 画像取得部
56 DSP
58 ノイズ低減部
59 変換部
61 画像処理部
62 通常処理部
63 特殊処理部
66 表示制御部
68 キャリブレーション処理部
69 キャリブレーション装置
70 ホワイトバランス補正処理部
70a ホワイトバランス補正データ記憶部
71 信号比算出部
72 補正値算出部
72a 線形化補正テーブル記憶部
73 酸素飽和度算出部
73a 酸素飽和度用データ記憶部
74 画像作成部
81 グラフ
82 グラフ
85 等値線
86 等値線
91 ホワイトバランス補正データ作成部
92 線形化補正テーブル作成部
AB3 範囲
AG3 範囲
AR 補正データ取得領域
ARa 第1補正データ取得領域
ARb 第2補正データ取得領域
ARc 第3補正データ取得領域
BF 青色カラーフィルタ
BL 第2青色光
BS 第1青色光
f(B3) 関数
G 緑色光
GF 緑色カラーフィルタ
QB3 比
R 赤色光
RF 赤色カラーフィルタ
WP 基準白色板
X、Y 信号比

Claims (10)

  1. 観察対象を撮像するイメージセンサを有する内視鏡と、プロセッサとを備える内視鏡システムであって、
    前記プロセッサは、
    前記内視鏡を用いて、前記観察対象の酸素飽和度を算出するための複数の酸素飽和度算出用分光画像と、前記酸素飽和度を補正する補正値を算出するための補正用分光画像と、を取得し、
    前記イメージセンサへの入射光量と、前記補正用分光画像の画素値と、の関係を線形化する線形化補正テーブルを作成し、
    前記線形化補正テーブルを用いて線形化補正をした前記補正用分光画像を用いて、前記補正値を算出する内視鏡システム。
  2. 前記プロセッサは、
    複数の前記酸素飽和度算出用分光画像から前記酸素飽和度と相関を有する信号比を算出し、
    前記信号比を用いて、前記酸素飽和度を算出し、
    前記信号比を補正する前記補正値を算出する請求項1に記載の内視鏡システム。
  3. ホワイトバランスの補正に用いるホワイトバランス補正データを有し、
    前記プロセッサは、前記ホワイトバランス補正データを用いて前記線形化補正テーブルを作成する請求項1または2に記載の内視鏡システム。
  4. 前記プロセッサは、ホワイトバランス補正後の前記補正用分光画像における第1色画素及び第2色画素の画素値の比と、ホワイトバランス補正前の前記補正用分光画像における前記第1色画素の画素値と、を対応付ける前記線形化補正テーブルを作成する請求項3に記載の内視鏡システム。
  5. 前記第1色画素は青色画素であり、かつ、前記第2色画素は緑色画素である請求項4に記載の内視鏡システム。
  6. 前記プロセッサは、緑色光を用いて基準板を撮影して得たホワイトバランス補正データを用いて前記線形化補正テーブルを作成する請求項5に記載の内視鏡システム。
  7. 前記プロセッサは、前記緑色光を受光した前記第1色画素の画素値と前記緑色光を受光した前記第2色画素の画素値との比を、ホワイトバランス補正前の前記補正用分光画像における前記第1色画素の画素値と対応付ける請求項6に記載の内視鏡システム。
  8. 照明光の発光強度を変更して取得した複数の前記ホワイトバランス補正データを有し、
    前記プロセッサは、複数の前記ホワイトバランス補正データを用いて前記線形化補正テーブルを作成する請求項3ないし7のいずれか1項に記載の内視鏡システム。
  9. 1つのホワイトバランス補正用画像に対して複数箇所に補正データ取得領域を設定し、各々の前記補正データ取得領域についてそれぞれ前記ホワイトバランス補正データを取得する場合、
    前記プロセッサは、1つの前記ホワイトバランス補正用画像から取得した複数の前記ホワイトバランス補正データを用いて前記線形化補正テーブルを作成する請求項3ないし7のいずれか1項に記載の内視鏡システム。
  10. 観察対象を撮像するイメージセンサを有する内視鏡とプロセッサとを備える内視鏡システムの作動方法において、
    前記プロセッサが、
    前記内視鏡を用いて、前記観察対象の酸素飽和度を算出するための複数の酸素飽和度算出用分光画像と、前記酸素飽和度を補正する補正値を算出するための補正用分光画像と、を取得するステップと、
    前記イメージセンサへの入射光量と、前記補正用分光画像の画素値と、の関係を線形化する線形化補正テーブルを作成するステップと、
    前記線形化補正テーブルを用いて線形化補正をした前記補正用分光画像を用いて、前記補正値を算出するステップと、
    を備える内視鏡システムの作動方法。
JP2021551260A 2019-10-09 2020-09-28 内視鏡システム及びその作動方法 Active JP7253632B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019186240 2019-10-09
JP2019186240 2019-10-09
PCT/JP2020/036673 WO2021070663A1 (ja) 2019-10-09 2020-09-28 内視鏡システム及びその作動方法

Publications (3)

Publication Number Publication Date
JPWO2021070663A1 JPWO2021070663A1 (ja) 2021-04-15
JPWO2021070663A5 JPWO2021070663A5 (ja) 2022-06-09
JP7253632B2 true JP7253632B2 (ja) 2023-04-06

Family

ID=75437303

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021551260A Active JP7253632B2 (ja) 2019-10-09 2020-09-28 内視鏡システム及びその作動方法

Country Status (3)

Country Link
US (1) US20220225865A1 (ja)
JP (1) JP7253632B2 (ja)
WO (1) WO2021070663A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007307225A (ja) 2006-05-19 2007-11-29 Pentax Corp 電子内視鏡装置
JP2014000301A (ja) 2012-06-20 2014-01-09 Fujifilm Corp 光源装置及び内視鏡システム
JP2014014439A (ja) 2012-07-06 2014-01-30 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡用制御プログラム
JP2015085097A (ja) 2013-11-01 2015-05-07 富士フイルム株式会社 内視鏡用光源装置及び内視鏡システム
JP2017108982A (ja) 2015-12-17 2017-06-22 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP2018175762A (ja) 2017-04-21 2018-11-15 池上通信機株式会社 撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007307225A (ja) 2006-05-19 2007-11-29 Pentax Corp 電子内視鏡装置
JP2014000301A (ja) 2012-06-20 2014-01-09 Fujifilm Corp 光源装置及び内視鏡システム
JP2014014439A (ja) 2012-07-06 2014-01-30 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡用制御プログラム
JP2015085097A (ja) 2013-11-01 2015-05-07 富士フイルム株式会社 内視鏡用光源装置及び内視鏡システム
JP2017108982A (ja) 2015-12-17 2017-06-22 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP2018175762A (ja) 2017-04-21 2018-11-15 池上通信機株式会社 撮像装置

Also Published As

Publication number Publication date
US20220225865A1 (en) 2022-07-21
WO2021070663A1 (ja) 2021-04-15
JPWO2021070663A1 (ja) 2021-04-15

Similar Documents

Publication Publication Date Title
US10264955B2 (en) Processor device and method for operating same, and endoscopic system and method for operating same
WO2018159083A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US20150366444A1 (en) Endoscope system, light source device, operation method for endoscope system, and operation method for light source device
US10869590B2 (en) Endoscope system, processor device, and operation method of endoscope system
JP6817154B2 (ja) プロセッサ装置及びその作動方法
US11089949B2 (en) Endoscope system and method of operating same
US11375928B2 (en) Endoscope system
US20190208986A1 (en) Endoscopic system, processor device, and method of operating endoscopic system
US10278628B2 (en) Light source device for endoscope and endoscope system
WO2018159082A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US11937788B2 (en) Endoscope system
US11744437B2 (en) Medical image processing system
JP7253632B2 (ja) 内視鏡システム及びその作動方法
US20180235527A1 (en) Endoscope system, processor device, and operation method of endoscope system
JP7344976B2 (ja) 内視鏡システム及びその作動方法
US20210267510A1 (en) Endoscope system
JP7163243B2 (ja) プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
US11969152B2 (en) Medical image processing system
US20210369096A1 (en) Endoscope system
JP6999597B2 (ja) プロセッサ装置及びその作動方法並びに内視鏡システム
JP2018011796A (ja) キャリブレーション方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230327

R150 Certificate of patent or registration of utility model

Ref document number: 7253632

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150