JP6010571B2 - 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法 - Google Patents

内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法 Download PDF

Info

Publication number
JP6010571B2
JP6010571B2 JP2014037597A JP2014037597A JP6010571B2 JP 6010571 B2 JP6010571 B2 JP 6010571B2 JP 2014037597 A JP2014037597 A JP 2014037597A JP 2014037597 A JP2014037597 A JP 2014037597A JP 6010571 B2 JP6010571 B2 JP 6010571B2
Authority
JP
Japan
Prior art keywords
signal
image signal
ratio
image
oxygen saturation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014037597A
Other languages
English (en)
Other versions
JP2015160013A (ja
Inventor
孝明 齋藤
孝明 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014037597A priority Critical patent/JP6010571B2/ja
Priority to EP15152724.9A priority patent/EP2912992B1/en
Priority to US14/615,579 priority patent/US9681831B2/en
Publication of JP2015160013A publication Critical patent/JP2015160013A/ja
Application granted granted Critical
Publication of JP6010571B2 publication Critical patent/JP6010571B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/1459Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00055Operational features of endoscopes provided with output arrangements for alerting the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00057Operational features of endoscopes provided with means for testing or calibration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/12Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements
    • A61B1/126Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements provided with means for cleaning in-use
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14552Details of sensors specially adapted therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61KPREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K49/00Preparations for testing in vivo
    • A61K49/001Preparation for luminescence or biological staining
    • A61K49/006Biological staining of tissues in vivo, e.g. methylene blue or toluidine blue O administered in the buccal area to detect epithelial cancer cells, dyes used for delineating tissues during surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M31/00Devices for introducing or retaining media, e.g. remedies, in cavities of the body
    • A61M31/005Devices for introducing or retaining media, e.g. remedies, in cavities of the body for contrast media
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling

Description

本発明は、被検体内の観察対象を撮像する内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法に関する。
医療分野においては、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムを用いて診断することが一般的になっている。特に、単に観察対象を撮像するだけでなく、観察対象に照射する照明光の波長を工夫したり、観察対象を撮像して得た画像信号に分光推定処理等の信号処理を施したりすることによって、血管や腺管構造等の特定の組織や構造が強調された観察画像を得る内視鏡システムが普及している。
このような内視鏡システムでは、観察対象に汚れ(残渣や有色の粘液の付着等)がある場合や、着色用の色素が用いられている場合には、目的の特定組織が上手く強調されなかったり、汚れ等が強調されてしまったりする等の不具合が生じることがあるので、例えば特許文献1の血管を強調表示する内視鏡システムでは、分光推定画像に基づいて残渣等に含まれる色素を検出し、その影響を補正した画像を生成している。
また、近年においては、観察対象を撮像して得られる画像信号に基づいて生体機能情報を得る内視鏡システムもある。例えば、血中ヘモグロビンの酸素飽和度を用いた病変部の診断が行われつつある。酸素飽和度を取得する方法としては、波長帯域と、酸化ヘモグロビンと還元ヘモグロビンの吸光係数が異なる第1信号光と第2信号光を交互に粘膜内の血管に照射して、第1及び第2信号光の各反射光を内視鏡先端部のセンサで検出する方法が知られている(特許文献2)。
センサで検出した第1信号光の反射光に対応する画像信号と、第2信号光の反射光に対応する画像信号の各画素の信号値の比率(以下、信号比という)は、血管内の酸素飽和度に変化がなければ一定値を維持するが、酸素飽和度の変化が生じれば、それにもとなって変化する。したがって、上記画像信号の信号比に基づいて酸素飽和度を算出することができる。
特許第5191329号 特許第5231511号
酸素飽和度は上記のように信号比に基づいて算出されるので、観察対象に信号比を狂わせる汚れ等あると、算出精度が低下する。例えば、観察対象が下部消化管の粘膜である場合、ビリルビンやステルコビリン等の黄色(あるいは黄褐色)の色素を含む粘液等が粘膜に付着していることがある。これらの黄色色素は青色波長域の光を吸収するので、特許文献1のように青色波長域の光を信号光として用いる場合、血中ヘモグロビンだけでなく、黄色色素によっても信号光が吸収されてしまうので、酸素飽和度の算出精度が低下しまうことがある。
観察対象は事前に洗浄されるが、残渣があることも珍しくなく、観察しているうちに有色色素を含む粘液が新たに分泌されてしまうこともある。また、残渣や有色粘液等の付着量によっても酸素飽和度の算出精度の低下度合いが異なるので、酸素飽和度を正確に算出するためには、残渣や有色粘液等の有無だけでなく、その量も考慮する必要がある。しかし、こうした観察対象の汚れの程度が、洗浄が必要な程度か否か判断することは難しい。
本発明は、観察対象に有色の粘液等の汚れを洗浄する必要がある場合に警告を表示することができる内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法を提供することを目的とする。
本発明の内視鏡システムは、黄色色素の濃度に応じて吸光量が変化する青色の第1波長範囲に対応する第1画像信号と、観察対象の血液量に応じて吸光量が変化する緑色の第2波長範囲に対応する第2画像信号と、第1波長範囲よりも黄色色素の濃度による吸光量の変化が小さく、かつ、第2波長範囲よりも血液量による吸光量の変化が小さい赤色の第3波長範囲に対応する第3画像信号と、を取得する画像信号取得部と、第1画像信号と第2画像信号に基づいて第1信号比を画素毎に算出し、第2画像信号と第3画像信号に基づいて第2信号比を画素毎に算出する信号比算出部と、第1信号比と比較するための閾値を第2信号比に応じて算出し、第1信号比と閾値の比較結果に基づいて観察対象の洗浄を促す警告を報知するための警告報知信号を生成する警告報知部と、を備える。
第1信号比は、第1画像信号の画素値に対する第2画像信号の画素値の比であることが好ましい。
第2信号比は、第2画像信号の画素値に対する第3画像信号の画素値の比であることが好ましい。
画像信号取得部は、血中ヘモグロビンの酸素飽和度に応じて吸光量が変化する第4波長範囲に対応する第4画像信号を取得し、少なくとも第4画像信号に基づいて観察対象の酸素飽和度を画素毎に算出する酸素飽和度算出部をさらに備えることが好ましい。
信号比算出部は、第2画像信号と第4画像信号に基づいて第3信号比を画素毎に算出し、警告報知部は、第1信号比と比較するための閾値を、第2信号比及び第3信号比に応じて算出することが好ましい。
第3信号比は、第2画像信号に対する第4画像信号の画素値の比であることが好ましい。
観察対象の酸素飽和度を表す酸素飽和度画像を生成する画像生成部と、酸素飽和度画像を表示部に表示するための表示用画像信号を生成する表示用画像信号生成部と、を備え、警告報知信号は、各画素の信号比と閾値との比較結果を含み、表示用画像信号生成部は、警告報知信号に基づいて、第3信号比が特定範囲の画素と、第3信号比が特定範囲外の画素とで表示を異ならせることが好ましい。
表示用画像信号生成部は、第3信号比が特定範囲の画素の色差信号を零にし、第3信号比が特定範囲外の画素の色差信号を酸素飽和度の値に応じた値にした酸素飽和度画像を生成することが好ましい。
第1波長範囲は、血中ヘモグロビンの酸素飽和度に応じて吸光量が変化しない等吸収点を含むことが好ましい。
本発明の内視鏡システム用プロセッサ装置は、黄色色素の濃度に応じて吸光量が変化する青色の第1波長範囲に対応する第1画像信号と、観察対象の血液量に応じて吸光量が変化する緑色の第2波長範囲に対応する第2画像信号と、第1波長範囲よりも黄色色素の濃度による吸光量の変化が小さく、かつ、第2波長範囲よりも血液量による吸光量の変化が小さい赤色の第3波長範囲に対応する第3画像信号と、を取得する画像信号取得部と、第1画像信号と第2画像信号に基づいて第1信号比を画素毎に算出し、第2画像信号と第3画像信号に基づいて第2信号比を画素毎に算出する信号比算出部と、第1信号比と比較するための閾値を第2信号比に応じて算出し、第1信号比と閾値の比較結果に基づいて観察対象の洗浄を促す警告を報知するための警告報知信号を生成する警告報知部と、を備える。
本発明の内視鏡システムの作動方法は、画像信号取得部が、黄色色素の濃度に応じて吸光量が変化する青色の第1波長範囲に対応する第1画像信号と、観察対象の血液量に応じて吸光量が変化する緑色の第2波長範囲に対応する第2画像信号と、第1波長範囲よりも黄色色素の濃度による吸光量の変化が小さく、かつ、第2波長範囲よりも血液量による吸光量の変化が小さい赤色の第3波長範囲に対応する第3画像信号と、を取得する画像信号取得ステップと、信号比算出部が、第1画像信号と第2画像信号に基づいて第1信号比を画素毎に算出し、第2画像信号と第3画像信号に基づいて第2信号比を画素毎に算出する信号比算出ステップと、警告報知部が、第1信号比と比較するための閾値を第2信号比に応じて算出し、第1信号比と閾値の比較結果に基づいて観察対象の洗浄を促す警告を報知するための警告報知信号を生成する警告報知信号生成ステップと、を備える。
本発明の内視鏡システム用プロセッサ装置の作動方法は、画像信号取得部が、黄色色素の濃度に応じて吸光量が変化する青色の第1波長範囲に対応する第1画像信号と、観察対象の血液量に応じて吸光量が変化する緑色の第2波長範囲に対応する第2画像信号と、第1波長範囲よりも黄色色素の濃度による吸光量の変化が小さく、かつ、第2波長範囲よりも血液量による吸光量の変化が小さい赤色の第3波長範囲に対応する第3画像信号と、を取得する画像信号取得ステップと、信号比算出部が、第1画像信号と第2画像信号に基づいて第1信号比を画素毎に算出し、第2画像信号と第3画像信号に基づいて第2信号比を画素毎に算出する信号比算出ステップと、警告報知部が、第1信号比と比較するための閾値を第2信号比に応じて算出し、第1信号比と閾値の比較結果に基づいて観察対象の洗浄を促す警告を報知するための警告報知信号を生成する警告報知信号生成ステップと、を備える。

本発明の内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法によれば、観察対象に有色の粘液等の汚れを洗浄する必要がある場合に警告を表示することができる。
内視鏡システムの外観図である。 内視鏡システムのブロック図である。 白色光のスペクトルを示すグラフである。 回転フィルタの説明図である。 RGBカラーフィルタの分光透過率を示すグラフである。 通常観察モード時の撮像制御を示す説明図である。 特殊観察モード時の撮像制御を示す説明図である。 酸素飽和度画像生成部及び診断情報算出部のブロック図である。 信号比と酸素飽和度の相関関係を示す説明図である。 酸化ヘモグロビンと還元ヘモグロビンの吸光係数を示すグラフである。 酸素飽和度を算出する方法を示す説明図である。 黄色色素の典型的な吸光係数スペクトルを示すグラフである。 警告を報知する様子を示す説明図である。 閾値と信号比R2/G2の関係を示すグラフである。 内視鏡システムの作用を示すフローチャートである。 変形例の作用を示す説明図である。 モノクロの撮像素子を用いる場合に使用する回転フィルタである。 CMOSイメージセンサを用いる場合の通常観察モードの撮像制御を示す説明図である。 CMOSイメージセンサを用いる場合の特殊観察モードの撮像制御を示す説明図である。
[第1実施形態]
図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16、モニタ18(表示部)と、コンソール20とを有する。内視鏡12は、光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部21と、挿入部21の基端部分に設けられた操作部22と、挿入部21の先端側に設けられた湾曲部23及び先端部24を有している。操作部22のアングルノブ22aを操作することにより、湾曲部23は湾曲動作する。この湾曲動作にともなって、先端部24が所望の方向に向けることができる。
また、操作部22には、アングルノブ22aの他、観察モード切替SW(観察モード切替スイッチ)22bと、ズーム操作部22cと、静止画像を保存するためのフリーズボタン(図示しない)と、が設けられている。モード切替SW22bは、通常観察モードと、特殊観察モードの2種類のモード間の切り替え操作に用いられる。通常観察モードは、被検体内の観察対象をフルカラー画像化した通常光画像をモニタ18に表示するモードである。特殊観察モードは、観察対象の血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像をモニタ18に表示するモードである。ズーム操作部22cは、内視鏡12内のズームレンズ47(図2参照)を駆動させて、観察対象を拡大させるズーム操作に用いられる。
プロセッサ装置16は、モニタ18及びコンソール20と電気的に接続される。モニタ18は、通常光画像や酸素飽和度画像等の画像、及びこれらの画像に関する情報(以下、画像情報等という)を表示する。コンソール20は、機能設定等の入力操作を受け付けるUI(ユーザインタフェース)として機能する。なお、プロセッサ装置16には、画像情報等を記録する記録部(図示省略)を接続しても良い。
図2に示すように、光源装置14は、広帯域光源36と、回転フィルタ37と、フィルタ制御部38とを備える。広帯域光源36は、例えばキセノンランプや白色LED(Light Emitting Diode)等からなり、図3に示すように波長帯域が青色から赤色に及ぶ白色光を発する。広帯域光源36が発する白色光は、集光レンズ、光ファイバ、合波器等の光学部材(いずれも図示せず)や回転フィルタ37を介してライトガイド(LG)41に入射する。ライトガイド41は、光源装置14と内視鏡12を接続するユニバーサルコード17(図1参照)と、内視鏡12に内蔵されている。ライトガイド41は入射した光を、内視鏡12の先端部24まで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用することができる。
回転フィルタ37は、広帯域光源36が発生させる白色光がライトガイド41に入射される光路上に回転自在に配置される。回転フィルタ37は、図4に示すように、狭帯域フィルタ37Aと開口37Bとを備える。狭帯域フィルタ37は、透過する光の波長帯域を、血中ヘモグロビンの酸素飽和度に応じて吸光量が変化する波長帯域である中心波長473±10nmの光(以下、青色狭帯域光という)に制限し、それ以外の波長帯域の光をカットする。このため、狭帯域フィルタ37が光路上に配置されると、広帯域光源36が発する白色光のうち青色狭帯域光だけが狭帯域フィルタ37を透過し、ライトガイド41に入射する。この場合、観察対象に照射される照明光は、この青色狭帯域光になる。一方、開口37Bが光路上に配置されると、広帯域光源36発する白色光がそのままライトガイド41に入射する。この場合、観察対象に照射される照明光は、白色光である。
フィルタ制御部38は、回転フィルタ37の回転を制御する。特殊観察モードの場合、フィルタ制御部38は、観察対象の撮像タイミングに同期して回転フィルタ37を回転させる。これにより、狭帯域フィルタ37Aと開口37Bとが交互に広帯域光源36が発する白色光の光路を通過し、観察対象には青色狭帯域光と白色光とが交互に照射される。一方、通常観察モードの場合、フィルタ制御部38は、広帯域光源36が発する白色光の光路上に開口37Bを配置した状態で、回転フィルタ37の回転を停止させる。これにより、通常観察モードでは白色光が観察対象に照射される。
なお、広帯域光源36と回転フィルタ37とによって、観察対象に照射するための照明光を発生する光源が構成される。また、本実施形態では、上記のようにフィルタ制御部38が回転フィルタ37の回転及び停止を制御しているが、回転フィルタ37が白色光の光路上から退避可能に設けられている場合には、フィルタ制御部38は通常観察モード時に回転フィルタ37を退避させ、白色光が回転フィルタ37を介さず、ライトガイド41に直接入射するようにしても良い。
内視鏡12の先端部24は、照明光学系24aと撮像光学系24bを有している。照明光学系24aには、照明レンズ45が設けられており、ライトガイド41から白色光または青色狭帯域光が照明レンズ45を介して観察対象に照射される。
内視鏡12の撮像光学系24bは、撮像レンズ46、ズームレンズ47、センサ48を有している(図2参照)。観察対象からの反射光は、撮像レンズ46及びズームレンズ47を介してセンサ48に入射する。これにより、センサ48に観察対象の反射像が結像される。ズームレンズ47は、ズーム操作部22cを操作することでテレ端とワイド端との間を移動する。ズームレンズ47がテレ端側に移動すると観察対象の反射像が拡大する。一方、ズームレンズ47がワイド端側に移動することで、観察対象の反射像が縮小する。なお、拡大観察をしない場合(非拡大観察時)には、ズームレンズ47はワイド端に配置されている。そして、拡大観察を行う場合には、ズーム操作部22cの操作によってズームレンズ47はワイド端からテレ端側に移動される。
センサ48は、カラーの撮像素子であり、観察対象の反射像を撮像して画像信号を出力する。センサ48としては、例えばCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサを用いることができる。本実施形態では、センサ48はCCDイメージセンサである。また、センサ48は、撮像面にRGBカラーフィルタが設けられたRGB画素を有しており、RGBの各色の画素で光電変換をすることによってR,G,Bの三色の画像信号を出力する。
図5に示すように、Bカラーフィルタは390〜510nmの分光透過率を有しており、Bカラーフィルタが透過する光の波長帯域は、本実施形態では中心波長が450nmに定められている。Bカラーフィルタの中心波長は、青色狭帯域光の波長帯域(473±10nm)に対して、中心波長の差が20nm以上100nm以下になるように定められていれば良い。また、Gカラーフィルタは450〜630nmの分光透過率を有しており、Rカラーフィルタは580〜760nmの分光透過率を有している。このため、Gカラーフィルタは、観察対象の血液量に応じて吸光量が変化する波長帯域の光を透過し、Rカラーフィルタは、BカラーフィルタやGカラーフィルタと比較して、酸素飽和度及び血液量による吸光量の変化が小さい波長帯域の光を透過する。
センサ48は、上記特性のカラーフィルタを有しているので、青色狭帯域光が照明光として観察対象に照射されると、少なくともB画素から、青色狭帯域光の反射光に対応する画像信号が得られる。一方、観察対象に白色光が照射されると、各色のカラーフィルタに対応する画像信号がRGB各画素から得られる。
センサ48としては、撮像面にC(シアン),M(マゼンタ),Y(イエロー)及びG(グリーン)の補色フィルタを備えた、いわゆる補色イメージセンサを用いても良い。センサ48として補色イメージセンサを用いる場合は、CMYGの四色の画像信号からRGBの三色の画像信号に色変換する色変換部を、内視鏡12、光源装置14またはプロセッサ装置16のいずれかに設けておけば良い。こうすれば補色イメージセンサを用いる場合でも、CMYGの4色の画像信号から色変換によってRGB3色の画像信号を得ることができる。
撮像制御部49はセンサ48の撮像制御を行う。図6に示すように、通常観察モード時には、1フレームの期間(以下、単に1フレームという)毎に、白色光で照明された観察対象をセンサ48で撮像する。これにより、1フレーム毎にセンサ48からRGBの各画像信号が出力される。なお、本実施形態の場合、センサ48はCCDイメージセンサなので、1フレームは例えば電荷蓄積期間(露光期間とも言う)の終了時(時刻T)から次の電荷蓄積期間の終了時(時刻T)までの長さの期間である。また、センサ48はCCDイメージセンサであるため、図6では読出期間と電荷蓄積期間を分けているが、ほぼ1フレームの全てを電荷蓄積期間にし、信号電荷の蓄積中に前のフレームで蓄積された信号電荷の読み出すこともできる。撮像制御部49は、こうした電荷蓄積期間の長さの調節等の制御も行う。
撮像制御部49は、特殊観察モード時も、通常観察モード時と同様にしてセンサ48の撮像制御を行う。但し、特殊観察モード時には、センサ48の撮像のフレームに同期して青色狭帯域光と白色光が交互に観察対象に照射される。このため、図7に示すように、センサ48は、青色狭帯域光のもとで観察対象を撮像して得た信号電荷を1フレーム目の読出期間に読み出して、少なくともB画素から画像信号を出力する。そして、白色光のもとで観察対象を撮像して得た信号電荷を2フレーム目の読出期間に読み出して、RGB各色の画像信号を出力する。センサ48は、1フレーム目,2フレーム目ともRGBの各色の画像信号を出力するが、依拠する照明光のスペクトルが異なるので、以下では区別のために、センサ48が1フレーム目にB画素から出力する画像信号をB1画像信号という。また、本実施形態では使用しないが、1フレーム目にR及びG画素から出力される画像信号は、それぞれR1画像信号,G1画像信号という。2フレーム目に出力するRGB各色の画像信号はR2画像信号,G2画像信号,B2画像信号という。
なお、B1画像信号は、血中ヘモグロビンの酸素飽和度に応じて吸光量が変化する青色狭帯域光の波長帯域に対応する画像信号である。また、B2画像信号は、Bカラーフィルタの波長帯域に対応する画像信号であり、Bカラーフィルタの波長帯域では主に黄色色素の濃度に応じて吸光量が変化するので、B2画像信号は黄色色素の濃度に応じた信号値を有する画像信号である。G2画像信号は、Gカラーフィルタの波長帯域に対応する画像信号であり、Gカラーフィルタの波長帯域では主に観察対象の血液量に応じて吸光量が変化するので、G2画像信号は観察対象の血液量に応じた信号値を有する画像信号である。R2画像信号は、Rカラーフィルタの波長帯域に対応する画像信号であり、Rカラーフィルタの波長帯域では、黄色色素,酸素飽和度及び血液量による各吸光量の変化がBカラーフィルタ及びGカラーフィルタよりも小さいので、R2画像信号は、B2画像信号及びG2画像信号よりも、黄色色素,酸素飽和度及び血液量に対する依存性が低い信号値を有する画像信号である。本実施形態では、酸素飽和度を算出する場合に、G2画像信号をB1画像信号やR2画像信号のリファレンスとなる画像信号として用い、B1画像信号やR2画像信号の規格化のために利用しているが、他の画像信号を規格化用にしても良い。
また、酸素飽和度の算出には、B1画像信号とG2画像信号の信号比B1/G2と、R2画像信号とG2画像信号の信号比R2/G2とが用いられる。これらのうち、酸素飽和度の算出に必須な信号比は、青色狭帯域光の波長帯域に対応するB1画像信号を用いたB1画像信号とG2画像信号との信号比B1/G2である。このため、青色狭帯域光が酸素飽和度を算出するための第1信号光であり、白色光中のG2画像信号になる成分(Gカラーフィルタを透過する成分)が酸素飽和度を算出するための第2信号光である。
センサ48から出力される各色の画像信号は、CDS(correlated double sampling)/AGC(automatic gain control)回路50に送信される(図2参照)。CDS/AGC回路50は、センサ48から出力されるアナログの画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS/AGC回路50を経た画像信号は、A/D変換器52によってデジタル画像信号に変換される。こうしてデジタル化された画像信号はプロセッサ装置16に入力される。
プロセッサ装置16は、画像信号取得部54と、画像処理切替部60と、通常観察画像処理部62と、特殊観察画像処理部64と、警告報知部65と、表示用画像信号生成部66とを備えている。画像信号取得部54は、内視鏡12から入力される画像信号を受信する。画像信号取得部54はDSP(Digital Signal Processor)56とノイズ除去部58と信号変換部59とを備えている。
DSP56は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、YC変換処理等の各種信号処理を行う。欠陥補正処理では、センサ48の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施された画像信号から暗電流成分を除かれ、正確な零レベルを設定される。ゲイン補正処理は、オフセット処理後のRGB各画像信号に特定のゲインを乗じることにより各画像信号の信号レベルを整える。ゲイン補正処理後の各色の画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって、各画像信号の明るさや彩度が整えられる。リニアマトリクス処理後の画像信号には、デモザイク処理(等方化処理,同時化処理とも言う)が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理によって、全画素がRGB各色の信号を有するようになる。DSP59は、デモザイク処理後の各画像信号にYC変換処理を施し、輝度信号Yと色差信号Cb,Crをノイズ除去部58に出力する。
ノイズ除去部58は、DSP56でデモザイク処理等が施された画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ除去処理を施す。ノイズが除去された画像信号は、信号変換部59に入力され、RGBの画像信号に再変換され、画像処理切替部60に入力される。
画像処理切替部60は、観察モード切替SW22bが通常観察モードにセットされている場合には、画像信号を通常観察画像処理部62に入力する。一方、観察モード切替SW22bが特殊観察モードに設定されている場合、画像処理切替部60は、画像信号を特殊観察画像処理部64に入力する。
通常観察画像処理部62は、色変換部68と、色彩強調部70と、構造強調部72とを有する。色変換部68は、入力された1フレーム分のRGBの各画像信号を、それぞれR画素、G画素、B画素に割り当てたRGB画像データを生成する。そして、RGB画像データに対して、さらに3×3のマトリックス処理、階調変換処理、3次元LUT処理等の色変換処理を施す。
色彩強調部70は、色変換処理済みのRGB画像データに対して、各種色彩強調処理を施す。構造強調部72は、色彩強調処理済みのRGB画像データに対して、空間周波数強調等の構造強調処理を施す。構造強調部72で構造強調処理が施されたRGB画像データは、通常観察画像として表示用画像信号生成部66に入力される。
特殊観察画像処理部64は、酸素飽和度画像生成部76と、構造強調部78とを有する。酸素飽和度画像生成部76は、酸素飽和度を算出し、算出した酸素飽和度を表す酸素飽和度画像を生成する。
構造強調部78は、酸素飽和度画像生成部76から入力される酸素飽和度画像に対して、空間周波数強調処理等の構造強調処理を施す。構造強調部72で構造強調処理が施された酸素飽和度画像は、表示用画像信号生成部66に入力される。
表示用画像信号生成部66は、通常観察画像または酸素飽和度画像を表示用形式の信号(表示用画像信号)に変換し、モニタ18に入力する。これにより、モニタ18には通常観察画像または酸素飽和度画像が表示される。
図8に示すように、酸素飽和度画像生成部76は、信号比算出部81と、相関関係記憶部82と、酸素飽和度算出部83と、画像生成部84と、を備えている。
信号比算出部81は、酸素飽和度算出部83で酸素飽和度の算出のために用いる信号比と、警告報知部65で用いる信号比を算出する。信号比算出部81が算出する信号比とは、2つの画像信号の画素毎の信号値の比である。具体的には、信号比算出部81は、信号比算出部81は、B1画像信号とG2画像信号の信号比B1/G2(第3信号比)と、R2画像信号とG2画像信号の信号比R2/G2(第2信号比)と、G2画像信号とB2画像信号の信号比G2/B2(第1信号比)とをそれぞれ画素毎に算出する。信号比B1/G2と信号比R2/G2とは酸素飽和度算出部83と警告報知部65で用いられ、信号比G2/B2は警告報知部65で用いられる。
相関関係記憶部82は、信号比算出部81が算出する各信号比と、酸素飽和度との相関関係を記憶している。この相関関係は、図9に示す二次元空間上に酸素飽和度の等値線を定義した二次元テーブルで記憶されており、信号比に対する等値線の位置及び形状は、光散乱の物理的なシミュレーションによって予め得られる。各等値線の間隔は血液量を表す信号比R2/G2に応じて変化する。なお、信号比と、酸素飽和度との相関関係はlogスケールで記憶されている。
上記相関関係は、図10に示す酸化ヘモグロビン(グラフ90)や還元ヘモグロビン(グラフ91)の吸光特性や光散乱特性と密接に関連し合っている。例えば、青色狭帯域光の中心波長473nmのように、酸化ヘモグロビンと還元ヘモグロビンの吸光係数の差が大きい波長では、酸素飽和度の情報を取り扱いやすい。しかしながら、473nmの光に対応するB1画像信号は、酸素飽和度だけでなく、血液量にも依存度が高い。そこで、B1画像信号に加え、主として血液量に依存して変化する光に対応したG2画像信号と、黄色色素,酸素飽和度及び血液量に対する依存性が低いR2画像信号とから得られる信号比R2/G2を用いることで血液量に依存することなく、酸素飽和度を正確に求めることができる。
酸素飽和度算出部83は、信号比算出部81で算出された信号比B1/G2と信号比R2/G2とを用いて酸素飽和度を算出する。より具体的には、酸素飽和度算出部83は、相関関係記憶部82に記憶された相関関係を参照し、信号比算出部81で算出された信号比に対応する酸素飽和度を画素毎に算出する。例えば、特定画素における信号比B1/G2,信号比R2/G2がそれぞれB1/G2,R2/G2である場合、図11に示すように、相関関係を参照すると、信号比B1/G2,信号比R2/G2及び信号比G2/B2に対応する酸素飽和度は「60%」である。したがって、酸素飽和度算出部83は、この特定画素の酸素飽和度を「60%」と算出する。
なお、信号比B1/G2,信号比R2/G2が極めて大きくなったり、極めて小さくなったりすることはほとんどない。すなわち、信号比B1/G2,信号比R2/G2の組み合わせが、酸素飽和度0%の下限等値線93(図9参照)を上回ったり、反対に酸素飽和度100%の上限等値線94(図9参照)を下回ったりすることはほとんどない。但し、算出する酸素飽和度が下限等値線93を下回ってしまった場合には酸素飽和度算出部83は酸素飽和度を0%とし、上限等値線94を上回ってしまった場合には酸素飽和度を100%とする。また、信号比B1/G2,信号比R2/G2,信号比G2/B2に対応する点が下限等値線93と上限等値線94の間から外れた場合には、その画素における酸素飽和度の信頼度が低いことが分かるように表示をしたり、酸素飽和度を算出しないようにしても良い。
画像生成部84は、酸素飽和度算出部83で算出された酸素飽和度を用いて、酸素飽和度を画像化した酸素飽和度画像を生成する。具体的には、画像生成部84は、B2画像信号,G2画像信号,R2画像信号を取得し、これらの画像信号に対して酸素飽和度に応じたゲインを画素毎に施す。そして、ゲインを施したB2画像信号,G2画像信号,R2画像信号を用いてRGB画像データを生成する。例えば、画像生成部84は、酸素飽和度が60%以上の画素ではB2画像信号,G2画像信号,R2画像信号のいずれにも同じゲイン「1」を乗じる。これに対して、酸素飽和度が60%未満の画素では、B2画像信号に対して「1」未満のゲインを乗じ、G2画像信号及びR2画像信号に対しては「1」以上のゲインを乗じる。このゲイン処理後のB2画像信号,G2画像信号,R2画像信号を用いて生成されたRGB画像データが酸素飽和度画像である。
画像生成部84が生成した酸素飽和度画像では、高酸素の領域(酸素飽和度が60〜100%の領域)では、通常観察画像と同様の色で表される。一方、酸素飽和度が特定値を下回る低酸素の領域(酸素飽和度が0〜60%の領域)は、通常観察画像とは異なる色(疑似カラー)で表される。
なお、本実施形態では、画像生成部84は、低酸素の領域のみ疑似カラー化するゲインを乗じているが、高酸素領域でも酸素飽和度に応じたゲインを施し、酸素飽和度画像の全体を疑似カラー化しても良い。また、低酸素領域と高酸素領域を酸素飽和度60%で分けているがこの境界も任意である。
警告報知部65は、信号比算出部81から信号比G2/B2を取得し、信号比G2/B2を閾値QTHと比較し、その比較結果に基づいて警告報知信号を生成する。具体的には、信号比G2/B2が閾値QTH以上の値の画素がある場合に、警告報知信号を生成する。図12に示すように、粘液や残渣等に含まれるビリルビンやステルコビリン等の黄色色素は、波長に対して漸減するスペクトルを有している。このため、観察対象に黄色色素を含む粘液等の汚れが付着していると、黄色色素による吸光のために、B2画像信号の信号値は黄色色素がない場合の値よりも小さくなるので、信号比G2/B2の値は大きくなる。
同様に、黄色色素を含む粘液等が観察対象に付着している場合、黄色色素による吸光によって画像信号B1の信号値は黄色色素がない場合よりも小さくなるので、酸素飽和度を算出するための信号比B1/G2の値は小さくなる。このため、黄色色素を含む粘液等によって観察対象が汚れていると、黄色色素の量や濃度に応じて、酸素飽和度は高く測定されてしまう不具合が生じる。
したがって、信号比G2/B2は黄色色素の有無や濃度(あるいは総量)の目安となる信号比であり、黄色色素のために生じる酸素飽和度の誤差の濃度の目安となる信号比である。警告報知部65はこれを利用し、信号比G2/B2が大きく、観察対象が黄色色素を含む粘液等による汚れがひどい場合(酸素飽和度の誤差が大きい場合)に警告報知信号を生成する。警告報知信号は、表示用画像信号生成部66に入力される。
図13に示すように、表示用画像信号生成部66は警告報知信号が入力されると、酸素飽和度画像101とともに、観察対象の洗浄を促す警告メッセージ102をモニタ18に表示させる。
なお、警告報知部65は、信号比算出部81から信号比R2/G2(第2信号比)を取得し、例えば図14に示すように、信号比G2/B2(第1信号比)と比較するための閾値QTHを、信号比R2/G2(第2信号比)に応じて変更する。すなわち、信号比R2/G2は主に血液量に応じて変化するので、警告報知部65は、観察対象の血液量に応じて閾値QTHを変更する。これは、相関関係における酸素飽和度の等値線の間隔が信号比R2/G2に応じて変化するからである(図9参照)。例えば、黄色色素の量を反映した信号比G2/B2が一定値であるとしでも、信号比R2/G2が小さく、血液量が少ない場合には、酸素飽和度の等値線の間隔が狭くなるので、信号比G2/B2が僅かにずれるだけでも算出される酸素飽和度の誤差が大きい。このため、閾値QTHを血液量に応じて変更すれば、黄色色素の量が酸素飽和度の算出に与える影響の大小を適切に判別して洗浄を促す警告を報知することができる。
次に、本実施形態の内視鏡システム10による観察の流れを図15のフローチャートに沿って説明する。まず、通常観察モードにおいて、最も遠景の状態からスクリーニングを行う(S10)。通常観察モードでは、通常観察画像がモニタ18に表示される。このスクリーニング時に、ブラウニッシュエリアや発赤等の病変の可能性がある部位(以下、病変可能性部位という)を発見した場合(S11)には、モード切替SW22bを操作して、特殊観察モードに切り替える(S12)。そして、この特殊観察モードにおいて、病変可能性部位の診断を行う。
特殊観察モードでは、青色狭帯域光と白色光がセンサ48の撮像フレームに同期して交互に観察対象に照射されるので、センサ48は1フレーム目にB1画像信号を出力し、2フレーム目にR2画像信号,G2画像信号,B2画像信号を出力する。そして、プロセッサ装置16は画像信号取得部54でこれらの撮像信号を取得されると(S13及びS14:画像信号取得ステップ)、信号比算出部81によって信号比B1/G2,信号比R2/G2,信号比G2/B2が算出され(S15:信号比算出ステップ)、これらのうち信号比B1/G2と信号比R2/G2とに基づき、酸素飽和度算出部83によって酸素飽和度が画素毎に算出される(S16:酸素飽和度算出ステップ)。その後、画像生成部84によって、画像信号B2,G2,R2と酸素飽和度算出部83が算出した酸素飽和度に基づいて、酸素飽和度画像が生成される(S17:酸素飽和度画像生成ステップ)。
また、信号比算出部81が信号比を算出すると、警告表示部65は、信号比算出部81から信号比G2/B2を取得して閾値QTHと比較する。その結果、信号比G2/B2が閾値QTH以上の値の画素がある場合には、警告表示部65は、警告報知信号を生成する(S18(警告報知信号生成ステップ):YES)。表示用画像信号生成部66は、警告報知信号を受けると、酸素飽和度画像とともに警告メッセージをモニタ18に表示することにより、観察対象の洗浄を促す(S19)。一方、信号比G2/B2が閾値QTH以上の値の画素がない場合には、警告報知信号は生成されず(S18:NO)、表示用画像信号生成部66は、酸素飽和度画像をモニタ18に表示する(S20)。
なお、これらの動作は、通常観察モードに切り替えられるか(S21)、診断終了(S22)まで繰り返し行われる
上記のように、内視鏡システム10は、信号比G2/B2を閾値QTHと比較することにより、観察対象が黄色色素を含む粘液等によるひどい汚れがあるか否かを判別し、酸素飽和度に大きな誤差を生じさせるようなひどい汚れがある場合には、警告メッセージ102をモニタ18に表示して、観察対象の洗浄を促す。このように、警告メッセージ102を表示して、洗浄の必要性を報知すれば、内視鏡システム10を使用する医師は、観察対象の酸素飽和度に基づいて診断を行うに際し、観察対象に付着した汚れの酷さを的確に把握することができる。そして、警告メッセージ102が表示された場合には、観察対象を洗浄してから算出された酸素飽和度に基づいた診断をすることができるので、誤診を防ぐことができる。
特に、警告報知部65が信号比G2/B2と比較するための閾値QTHを、信号比R2/G2(すなわち血液量)に応じて変更するので、内視鏡システム10では黄色色素の量が酸素飽和度の算出に与える影響の大小を適切に判別して洗浄を促す警告を報知することができる。
なお、警告報知部65は、信号比算出部81から信号比B1/G2を取得し、閾値QTHの値を信号比B1/G2に応じて変更してもよい。このように信号比B1/G2によって閾値QTHの値を変更すると、閾値QTHの酸素飽和度に対する依存性を低減することができるので、一定の閾値QTHを用いる場合よりも黄色色素の量が酸素飽和度の算出に与える影響の大小を適切に判別して洗浄を促す警告を報知することができる。さらに、警告報知部65に信号比算出部81から信号比R2/G2と信号比B1/G2とを取得させ、これらの信号比に応じて閾値QTHを変更させれば、閾値QTHの血液量及び酸素飽和度に対する各依存性を低減できるので、黄色色素の量が酸素飽和度の算出に与える影響の大小を特に適切に判別して洗浄を促す警告を報知することができる。
なお、内視鏡システム10は、モニタ18に警告メッセージ102を表示するが、代わりに、警告音を発したり、警告メッセージを音声により再生したり、ランプや回転灯等を点灯させたりすることによって、観察対象の洗浄を促しても良い。
また、警告報知部65は、信号比G2/B2が閾値QTH以上の値の画素がある領域を検出し、警告報知信号を、信号比G2/B2が閾値QTH以上の値の画素の位置情報としてもよい。この場合、例えば、表示用画像信号生成部66は、RGB画像データである酸素飽和度画像をモニタ18に表示するための輝度信号Y及び色差信号Cb,Crに変換する場合に、信号比G2/B2が閾値QTH以上の値の画素の色差信号Cb,Crを零に置き換える。こうすると、例えば、図16に示すように、信号比G2/B2が閾値QTH以上の汚染領域143と、信号比G2/B2が閾値QTH未満の清浄領域146に分かれた酸素飽和度画像121がモニタ18に表示される。この酸素飽和度画像121では、汚染領域143は無彩色で表示され、清浄領域146が酸素飽和度に応じて疑似カラー化された有彩色で表示される。このように、信号比G2/B2が特定範囲の画素と、信号比G2/B2が特定範囲外の画素と表示方法を異ならせて表示すると、黄色色素を含む粘液等によって酸素飽和度の誤差が大きい領域を視覚的に判別することができる。汚染領域143の位置や面積を見れば、洗浄の必要性を判断できるので、警告メッセージ102の代わりにもなる。
この例では、信号比G2/B2が閾値QTH以上の全画素の色差信号Cb,Crを零に置き換えているが、信号比G2/B2が閾値QTH以上で、酸素飽和度が疑似カラー化される値(例えば60%未満)の画素についてだけ色差信号Cb,Crを零にし、無彩色化しても良い。また、表示用画像信号を生成する段階で色彩の調節をしているが、酸素飽和度画像を生成する段階で、信号比G2/B2が閾値QTH以上の画素の表示色を変更しておいても良い。この場合、画像生成部84が警告報知信号を受け、この処理をする。
なお、信号比G2/B2が閾値QTH以上の画素の色差信号Cb,Crは零に置き換える代わりに、予め定めた特定値に置き換えることによって、信号比G2/B2が閾値QTH以上の画素を特定色で表示させても良い。この場合、酸素飽和度の表示に使用される色と混同しない色を選択することが好ましい。
本実施形態ではBカラーフィルタの中心波長は450nmであるが、これは酸化ヘモグロビンと還元ヘモグロビンの吸光係数がほぼ等しい等吸収点の波長である(図9参照)。このように、Bカラーフィルタが透過する光の中心波長を、等吸収点あるいはその近傍の波長とすることで、酸素飽和度に対する依存度が低いB2画像信号が得られる。この等吸収点近傍の波長帯域に対応するB2画像信号を用いることで、酸素飽和度に依らず、より正確に、黄色色素が存在あるいはその濃度等に基づいた警告を報知することができる。
本発明は、黄色色素の存在によって算出誤差が生じやすいので、酸素飽和度を算出する内視鏡システム及び内視鏡システム用プロセッサに特に好適である。但し、酸素飽和度を算出しない内視鏡システム及びそのプロセッサ装置に本発明を適用した場合でも、黄色色素を含む粘液等による汚れ度合いを客観的に報知することができるので、酸素飽和度を算出しない内視鏡システム及びそのプロセッサ装置にも本発明は好適である。
なお、上記実施形態では、広帯域光源36を用いているが、これらの代わりに、RGBのLEDで白色光を発生させる光源や、LD(レーザダイオード)とLDが発するレーザ光に励起されて発光する蛍光体で白色光を発生させる光源を用いることができる。これらの光源を用いる場合、上記実施形態のように回転フィルタ37を併用しても良く、回転フィルタ37の代わりにLEDやLDの点灯や消灯、光量の配分の調節によって照明光の波長帯域や光量を調節しても良い。
また、上記実施形態では、RGBカラーフィルタが設けられたカラー撮像素子をセンサ48として用いているが、カラーフィルタが設けられていないモノクロの撮像素子をセンサ48として用いても良い。この場合、図17に示す回転フィルタ237を用いる。
回転フィルタ237は、通常観察モード用フィルタ238と特殊観察モード用フィルタ239を有し、通常観察モード用フィルタ238を白色光の光路上に配置する第1位置と、特殊観察モード用フィルタ239を白色光の光路上に配置する第2位置とで移動自在に設けられる。通常観察モード用フィルタ238は、回転フィルタ237の内周部に設けられ、赤色光を透過するRフィルタ238aと、緑色光を透過するGフィルタ238bと、青色光を透過するBフィルタ238cと有する。したがって、回転フィルタ237を通常光観察モード用の第1位置に配置すると、広帯域光源36からの白色光は、回転フィルタ237の回転に応じてRフィルタ238a、Gフィルタ238b、Bフィルタ238cのいずれかに入射する。このため、観察対象には、透過したフィルタに応じて、赤色光、緑色光、青色光が順次照射され、モノクロのセンサは、これらの反射光によりそれぞれ観察対象を撮像することにより、R画像信号、G画像信号、B画像信号を順次出力する。
また、特殊観察モード用フィルタ239は、回転フィルタ237の外周部に設けられている。特殊観察モード用フィルタ239は、赤色光を透過するRフィルタ239aと、緑色光を透過するGフィルタ239bと、青色光を透過するBフィルタ239cと、473±10nmの狭帯域光を透過する狭帯域フィルタ239dとを有する。したがって、回転フィルタ237を特殊観察モード用の第2位置に配置すると、広帯域光源36からの白色光は、回転フィルタ237の回転に応じてRフィルタ239a、Gフィルタ239b、Bフィルタ239c、狭帯域フィルタ239dのいずれかに入射する。このため、観察対象には、透過したフィルタに応じて、赤色光、緑色光、青色光,狭帯域光(473nm)が順次照射され、モノクロのセンサは、これらの反射光によりそれぞれ観察対象を撮像することにより、R画像信号、G画像信号、B画像信号、及び狭帯域画像信号を順次出力する。
特殊観察モードで得られるRGB各画像信号は、それぞれ第1実施形態のR2画像信号、G2画像信号、B2画像信号に対応する。また、特殊観察モードで得られる狭帯域画像信号は、第1実施形態のB1画像信号に対応し、したがって、その後の処理は第1実施形態の内視鏡システム10と同様に行うことができる。
なお、上記実施形態では、信号比B1/G2と信号比R2/G2に基づいて酸素飽和度を算出しているが、信号比B1/G2のみに基づいて酸素飽和度を算出しても良い。この場合には、相関関係記憶部82には信号比B1/G2と、酸素飽和度との相関関係を記憶しておけば良い。
また、上記実施形態では、酸素飽和度を画像化した酸素飽和度画像を生成及び表示しているが、これに加えて、血液量を画像化した血液量画像を生成及び表示しても良い。血液量は信号比R2/G2と相関があるので、信号比R2/G2に応じて異なる色を割り当てることで、血液量を画像化した血液量画像を作成することができる。
上記実施形態では酸素飽和度を算出しているが、これに代えて、あるいはこれに加えて、「血液量×酸素飽和度(%)」から求まる酸化ヘモグロビンインデックスや、「血液量×(1−酸素飽和度)(%)」から求まる還元ヘモグロビンインデックス等、他の生体機能情報を算出しても良い。
また、上記実施形態では、センサ48としてCCDイメージセンサを用いているが、センサ48としてCMOSイメージセンサを用いても良い。但し、CMOSイメージセンサはいわゆるローリングシャッタ方式で駆動され、画素の行(1〜N行の各行)毎に順に信号電荷の蓄積及び読み出しが行われる。このため、各行の信号電荷の蓄積及び読み出しのタイミングが行毎に異なるので、青色狭帯域光(または緑色狭帯域光)と白色光の切り替えは読み出しのタイミングに合わせて行うことが望ましい。例えば、図18に示すように、通常観察モード時には、N行目の蓄積開始(時刻T)から1行目の蓄積完了(時刻T)までの間、白色光の照射を行う一方、1行目の読み出し開始からN行目の読み出し完了までの間、白色光の照射を停止させる。また、図19に示すように、特殊観察モード時には、N行目の蓄積開始(時刻T)から1行目の蓄積完了(時刻T)までの間、青色狭帯域光の照射を行う一方、1行目の読み出し開始(時刻T)からN行目の読み出し完了(時刻T)までの間、青色狭帯域光及び白色光の照射を停止させる。そして、次のフレームにおいて、N行目の蓄積開始(時刻T)から1行目の蓄積完了(時刻T)までの間、白色光の照射を行う一方、1行目の読み出し開始(時刻T)からN行目の読み出し完了(時刻T)までの間、青色狭帯域光及び白色光の照射を停止させる。こうすると、各行の実質的な電荷蓄積期間の長さ(露光量)を統一し、かつ、青色狭帯域光による信号と白色光による信号が混ざるのを防ぐことができるので、センサ48としてCMOSイメージセンサを用いる場合でも上記各実施形態のように正確な酸素飽和度を算出することができる。
10 内視鏡システム
16 プロセッサ装置
18 モニタ
36 広帯域光源
37 回転フィルタ
65 警告報知部
76 酸素飽和度画像生成部
81 信号比算出部
82 相関関係記憶部
83 酸素飽和度算出部
84 画像生成部

Claims (12)

  1. 黄色色素の濃度に応じて吸光量が変化する青色の第1波長範囲に対応する第1画像信号と、観察対象の血液量に応じて吸光量が変化する緑色の第2波長範囲に対応する第2画像信号と、前記第1波長範囲よりも前記黄色色素の濃度による吸光量の変化が小さく、かつ、前記第2波長範囲よりも血液量による吸光量の変化が小さい赤色の第3波長範囲に対応する第3画像信号と、を取得する画像信号取得部と、
    前記第1画像信号と前記第2画像信号に基づいて第1信号比を画素毎に算出し、前記第2画像信号と前記第3画像信号に基づいて第2信号比を画素毎に算出する信号比算出部と、
    前記第1信号比と比較するための閾値を前記第2信号比に応じて算出し、前記第1信号比と前記閾値の比較結果に基づいて前記観察対象の洗浄を促す警告を報知するための警告報知信号を生成する警告報知部と、
    を備える内視鏡システム。
  2. 前記第1信号比は、前記第1画像信号の画素値に対する前記第2画像信号の画素値の比である請求項1に記載の内視鏡システム。
  3. 前記第2信号比は、前記第2画像信号の画素値に対する前記第3画像信号の画素値の比である請求項1または2に記載の内視鏡システム。
  4. 前記画像信号取得部は、血中ヘモグロビンの酸素飽和度に応じて吸光量が変化する第4波長範囲に対応する第4画像信号を取得し、
    少なくとも前記第4画像信号に基づいて前記観察対象の前記酸素飽和度を画素毎に算出する酸素飽和度算出部をさらに備える請求項1〜3のいずれか1項に記載の内視鏡システム。
  5. 前記信号比算出部は、前記第2画像信号と前記第4画像信号に基づいて第3信号比を画素毎に算出し、
    前記警告報知部は、前記第1信号比と比較するための前記閾値を、前記第2信号比及び前記第3信号比に応じて算出する請求項4に記載の内視鏡システム。
  6. 前記第3信号比は、前記第2画像信号に対する前記第4画像信号の画素値の比である請求項5に記載の内視鏡システム。
  7. 前記観察対象の前記酸素飽和度を表す酸素飽和度画像を生成する画像生成部と、
    前記酸素飽和度画像を表示部に表示するための表示用画像信号を生成する表示用画像信号生成部と、を備え、
    前記警告報知信号は、各画素の前記信号比と前記閾値との比較結果を含み、
    前記表示用画像信号生成部は、前記警告報知信号に基づいて、前記第3信号比が特定範囲の画素と、前記第3信号比が前記特定範囲外の画素とで表示を異ならせる請求項5または6に記載の内視鏡システム。
  8. 前記表示用画像信号生成部は、前記第3信号比が前記特定範囲の画素の色差信号を零にし、前記第3信号比が前記特定範囲外の画素の色差信号を前記酸素飽和度の値に応じた値にした前記酸素飽和度画像を生成する請求項7に記載の内視鏡システム。
  9. 前記第1波長範囲は、血中ヘモグロビンの酸素飽和度に応じて吸光量が変化しない等吸収点を含む請求項1〜8のいずれか1項に記載の内視鏡システム。
  10. 黄色色素の濃度に応じて吸光量が変化する青色の第1波長範囲に対応する第1画像信号と、観察対象の血液量に応じて吸光量が変化する緑色の第2波長範囲に対応する第2画像信号と、前記第1波長範囲よりも前記黄色色素の濃度による吸光量の変化が小さく、かつ、前記第2波長範囲よりも血液量による吸光量の変化が小さい赤色の第3波長範囲に対応する第3画像信号と、を取得する画像信号取得部と、
    前記第1画像信号と前記第2画像信号に基づいて第1信号比を画素毎に算出し、前記第2画像信号と前記第3画像信号に基づいて第2信号比を画素毎に算出する信号比算出部と、
    前記第1信号比と比較するための閾値を前記第2信号比に応じて算出し、前記第1信号比と前記閾値の比較結果に基づいて前記観察対象の洗浄を促す警告を報知するための警告報知信号を生成する警告報知部と、
    を備える内視鏡システム用プロセッサ装置。
  11. 画像信号取得部が、黄色色素の濃度に応じて吸光量が変化する青色の第1波長範囲に対応する第1画像信号と、観察対象の血液量に応じて吸光量が変化する緑色の第2波長範囲に対応する第2画像信号と、前記第1波長範囲よりも前記黄色色素の濃度による吸光量の変化が小さく、かつ、前記第2波長範囲よりも血液量による吸光量の変化が小さい赤色の第3波長範囲に対応する第3画像信号と、を取得する画像信号取得ステップと、
    信号比算出部が、前記第1画像信号と前記第2画像信号に基づいて第1信号比を画素毎に算出し、前記第2画像信号と前記第3画像信号に基づいて第2信号比を画素毎に算出する信号比算出ステップと、
    警告報知部が、前記第1信号比と比較するための閾値を前記第2信号比に応じて算出し、前記第1信号比と前記閾値の比較結果に基づいて前記観察対象の洗浄を促す警告を報知するための警告報知信号を生成する警告報知信号生成ステップと、
    を備える内視鏡システムの作動方法。
  12. 画像信号取得部が、黄色色素の濃度に応じて吸光量が変化する青色の第1波長範囲に対応する第1画像信号と、観察対象の血液量に応じて吸光量が変化する緑色の第2波長範囲に対応する第2画像信号と、前記第1波長範囲よりも前記黄色色素の濃度による吸光量の変化が小さく、かつ、前記第2波長範囲よりも血液量による吸光量の変化が小さい赤色の第3波長範囲に対応する第3画像信号と、を取得する画像信号取得ステップと、
    信号比算出部が、前記第1画像信号と前記第2画像信号に基づいて第1信号比を画素毎に算出し、前記第2画像信号と前記第3画像信号に基づいて第2信号比を画素毎に算出する信号比算出ステップと、
    警告報知部が、前記第1信号比と比較するための閾値を前記第2信号比に応じて算出し、前記第1信号比と前記閾値の比較結果に基づいて前記観察対象の洗浄を促す警告を報知するための警告報知信号を生成する警告報知信号生成ステップと、
    を備える内視鏡システム用プロセッサ装置の作動方法。
JP2014037597A 2014-02-27 2014-02-27 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法 Active JP6010571B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014037597A JP6010571B2 (ja) 2014-02-27 2014-02-27 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
EP15152724.9A EP2912992B1 (en) 2014-02-27 2015-01-27 Endoscope system, and operation method for endoscope system
US14/615,579 US9681831B2 (en) 2014-02-27 2015-02-06 Endoscope system, endoscope system processor device, operation method for endoscope system, and operation method for endoscope system processor device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014037597A JP6010571B2 (ja) 2014-02-27 2014-02-27 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法

Publications (2)

Publication Number Publication Date
JP2015160013A JP2015160013A (ja) 2015-09-07
JP6010571B2 true JP6010571B2 (ja) 2016-10-19

Family

ID=52396578

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014037597A Active JP6010571B2 (ja) 2014-02-27 2014-02-27 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法

Country Status (3)

Country Link
US (1) US9681831B2 (ja)
EP (1) EP2912992B1 (ja)
JP (1) JP6010571B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105324064B (zh) * 2013-05-30 2017-10-27 Hoya株式会社 生成示出生物组织中生物物质浓度分布图像的方法和装置
JP6204314B2 (ja) 2014-09-03 2017-09-27 Hoya株式会社 電子内視鏡システム
JPWO2017006756A1 (ja) * 2015-07-09 2018-04-19 オリンパス株式会社 色素測定装置および色素測定方法
JP6211229B2 (ja) 2015-11-04 2017-10-11 オリンパス株式会社 画像処理装置、及び内視鏡システム
US10690904B2 (en) 2016-04-12 2020-06-23 Stryker Corporation Multiple imaging modality light source
WO2017221491A1 (ja) * 2016-06-23 2017-12-28 ソニー株式会社 制御装置、制御システム、および制御方法
JP6570490B2 (ja) * 2016-08-18 2019-09-04 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
US10575718B2 (en) 2016-09-02 2020-03-03 Hoya Corporation Endoscope system
JPWO2018070474A1 (ja) * 2016-10-14 2019-06-24 Hoya株式会社 内視鏡システム
WO2018159083A1 (ja) * 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
EP3593703A4 (en) * 2017-03-06 2020-03-11 Fujifilm Corporation ENDOSCOPIC SYSTEM AND METHOD FOR THE OPERATION THEREOF
WO2020243270A1 (en) * 2019-05-29 2020-12-03 Stryker Corporation Systems and methods for intraoperative surgical scope cleaning
US10900892B1 (en) * 2020-02-17 2021-01-26 SciLogica Corp. Validation of sensor calibration
WO2022255072A1 (ja) * 2021-06-01 2022-12-08 富士フイルム株式会社 プロセッサ装置及びその作動方法並びに内視鏡システム
DE102021134564A1 (de) 2021-12-23 2023-06-29 Karl Storz Se & Co. Kg Verfahren, System und trainiertes Modell zur Bildoptimierung für Endoskope
DE102022114606A1 (de) 2022-06-10 2023-12-21 Karl Storz Se & Co. Kg Medizinische Bildgebungsvorrichtung, Verfahren zum Betrieb einer solchen und Verfahren zur medizinischen Bildgebung

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4615963B2 (ja) * 2004-10-29 2011-01-19 オリンパス株式会社 カプセル型内視鏡装置
JP5191329B2 (ja) * 2008-09-19 2013-05-08 富士フイルム株式会社 画像取得装置
EP2441374B1 (en) * 2009-06-10 2016-11-16 Olympus Corporation Capsule endoscope device
JP5231511B2 (ja) 2010-11-09 2013-07-10 富士フイルム株式会社 内視鏡診断装置
JP5466182B2 (ja) * 2011-01-11 2014-04-09 富士フイルム株式会社 内視鏡システムおよび内視鏡システムの作動方法
JP5302984B2 (ja) * 2011-01-12 2013-10-02 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP5631757B2 (ja) * 2011-01-19 2014-11-26 富士フイルム株式会社 電子内視鏡システム
JP5642619B2 (ja) * 2011-05-12 2014-12-17 富士フイルム株式会社 医療装置システム及び医療装置システムの作動方法
WO2013085061A1 (ja) * 2011-12-08 2013-06-13 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5620932B2 (ja) * 2012-02-14 2014-11-05 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5568584B2 (ja) * 2012-03-12 2014-08-06 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法

Also Published As

Publication number Publication date
JP2015160013A (ja) 2015-09-07
US20150238127A1 (en) 2015-08-27
US9681831B2 (en) 2017-06-20
EP2912992A1 (en) 2015-09-02
EP2912992B1 (en) 2016-09-14

Similar Documents

Publication Publication Date Title
JP6010571B2 (ja) 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
JP6039639B2 (ja) 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、及び内視鏡システム用プロセッサ装置の作動方法
JP5992936B2 (ja) 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
US9907493B2 (en) Endoscope system processor device, endoscope system, operation method for endoscope system processor device, and operation method for endoscope system
JP5331860B2 (ja) 内視鏡システム及び光源装置
JP6109695B2 (ja) 内視鏡システム及びプロセッサ装置並びに作動方法並びに距離測定装置
JP5579672B2 (ja) 内視鏡システム、及び光源装置
JP6085648B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP6085649B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP6214503B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP6129686B2 (ja) 内視鏡システム及びプロセッサ装置並びに作動方法並びにテーブル作成方法
JP2017184861A (ja) 画像処理装置及びその作動方法並びに内視鏡用プロセッサ装置及びその作動方法
JP6099518B2 (ja) 内視鏡システム及び作動方法
JP6254502B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP6099529B2 (ja) 内視鏡システム、プロセッサ装置及び光源装置並びに作動方法
JP5990141B2 (ja) 内視鏡システム及びプロセッサ装置並びに作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160916

R150 Certificate of patent or registration of utility model

Ref document number: 6010571

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250