JP6356122B2 - 生体組織中の生体物質の濃度分布を示す画像を生成する装置の作動方法及び装置 - Google Patents

生体組織中の生体物質の濃度分布を示す画像を生成する装置の作動方法及び装置 Download PDF

Info

Publication number
JP6356122B2
JP6356122B2 JP2015519886A JP2015519886A JP6356122B2 JP 6356122 B2 JP6356122 B2 JP 6356122B2 JP 2015519886 A JP2015519886 A JP 2015519886A JP 2015519886 A JP2015519886 A JP 2015519886A JP 6356122 B2 JP6356122 B2 JP 6356122B2
Authority
JP
Japan
Prior art keywords
light
absorption
imaging
filter
imaging data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015519886A
Other languages
English (en)
Other versions
JPWO2014192781A1 (ja
Inventor
千葉 亨
亨 千葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Publication of JPWO2014192781A1 publication Critical patent/JPWO2014192781A1/ja
Application granted granted Critical
Publication of JP6356122B2 publication Critical patent/JP6356122B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14546Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring analytes not otherwise provided for, e.g. ions, cytochromes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/1459Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image

Description

本発明は、生体組織中の生体物質の濃度分布を示す画像を生成する方法及び装置に関する。
近年、分光画像撮影機能を備えた内視鏡装置(分光内視鏡装置)が提案されている。このような分光内視鏡装置によれば、消化器の粘膜等の生体組織の分光特性に関する情報(例えば反射スペクトル)を得ることができる。この生体組織の反射スペクトルは、測定対象となる生体組織の表層近傍に含まれる物質の種類や濃度の情報を反映していることが知られている。具体的には、生体組織の反射スペクトルより算出される吸収は、その生体組織を構成する複数の物質の吸収を線形的に重畳したものとなることが知られている。
病変部の生体組織は、健常部の生体組織とは、その組成、成分量において異なることが知られている。特に、癌などに代表される病変部の異常は、血液の状態、とりわけ全血液量や酸素飽和度の状態と深く関わることが多くの先行研究で報告されている。ここで、注目する2つの生体組織を、それらが有する可視域の分光学的特徴量を利用して、定性、定量することは、分光分析化学の分野では良く利用されている手法である。よって病変部を含む生体組織の血液の分光特性と、健常部のみの生体組織のそれとを比較して、生体組織内に何らかの病変部の存在を推定することができる。
分光画像は、異なる波長の光で撮像された一連の画像情報から構成されるが、分光画像の波長分解能が高い(画像情報を取得する波長の数が多い)ほど、より詳細な生体組織の分光情報を得ることができる。特許文献1には、400〜800nmの波長域において5nmの波長間隔で分光画像を取得する分光内視鏡装置の構成例が開示されている。
特開2012−245223号公報
しかしながら、特許文献1に記載されているような波長分解能の高い分光画像を得るには、波長を変えながら多数の画像を撮像する必要がある。さらに、画像の解析に必要な計算量も多く、長い計算時間を要する。すなわち、有効な診断支援情報を得るためには、比較的に煩雑な撮影操作と計算を繰り返すことが必要となり、長い時間を要するという問題がある。
本発明は上記の事情に鑑みてなされたものであり、酸素飽和度分布等の生体物質の分布を表わす画像情報を短時間で取得可能な方法及び装置を提供することを目的とする。
本発明の一実施形態によれば、所定の波長域における吸収スペクトルが短波長側から順に第1、第2、第3及び第4の等吸収点を有する生体組織に含まれる第1及び第2の生体物質のモル濃度比の分布画像を生成する方法であって、第1の等吸収点と第2の等吸収点とで区画された第1の波長域、第2の等吸収点と第3の等吸収点とで区画された第2の波長域及び第3の等吸収点と第4の等吸収点とで区画された第3の波長域の光を纏めて選択的に取り出す第1の光学フィルタにより白色光から第1照明光を取り出すステップと、第1照明光の照明下で撮像された生体組織第1の撮像データGを取得するステップと、第2の波長域の光を選択的に取り出す第2の光学フィルタにより白色光から第2照明光を取り出すステップと、第2照明光の照明下で撮像された生体組織第2の撮像データGを取得するステップと、第1の撮像データG及び第2の撮像データGに基づいて分布画像を生成するステップと、を含むものが提供される。
また、上記の方法において、第1の撮像データG及び第2の撮像データGに基づいて分布画像を生成するステップは、第1の撮像データGに基づいて第1の光学フィルタの透過波長域における生体組織の吸収Aを取得するステップと、第2の撮像データGに基づいて第2の光学フィルタの透過波長域における生体組織の吸収Aを取得するステップと、吸収A及びAに基づいて分布画像を生成するステップと、を更に含む構成としてもよい。
また、上記の方法において、吸収Aを取得するステップは、数式1又は数式2により吸収Aを計算するステップを含み、
吸収Aを取得するステップは、数式3又は数式4により吸収Aを計算するステップを含む構成としてもよい。
また、上記の方法において、吸収A及びAに基づいて分布画像を生成するステップは、数式5により指標Xを計算するステップと、
(但し、kは定数。)
指標Xに基づいて分布画像を生成するステップと、を含む構成としてもよい。
また、上記の方法において、定数kが1である構成としてもよい。
また、上記の方法において、所定の波長域と比べて生体組織の吸収が十分に低い第4の波長域の光を選択的に取り出す第3の光学フィルタにより白色光から第3照明光を取り出すステップと、第3照明光の照明下で撮像された生体組織第3の撮像データRを取得するステップと、を更に含み、吸収Aを取得するステップは、第1の撮像データGを第3の撮像データRで除算して第1の規格化反射率SRを計算するステップと、数式6又は数式7により吸収Aを計算するステップと、を含み、
吸収Aを取得するステップは、第2の撮像データGを第3の撮像データRで除算して第2の規格化反射率SRを計算するステップと、数式8又は数式9により吸収Aを計算するステップと、を含む構成としてもよい。
また、上記の方法において、第1の光学フィルタにより白色光から取り出した光を用いて無彩色の色基準板を撮像して第1のベースライン画像データBLを取得するステップと、第2の光学フィルタにより白色光から取り出した光を用いて色基準板を撮像して第2のベースライン画像データBLを取得するステップと、を更に含み、第1の規格化反射率SRを計算するステップは、第1の撮像データGを第1のベースライン画像データBLで除算するステップを含み、第2の規格化反射率SRを計算するステップは、第2の撮像データGを第2のベースライン画像データBLで除算するステップを含む構成としてもよい。
また、上記の方法において、第4の波長域は650nm帯であり、第3の撮像データRは、RGBカラーフィルタを備えた撮像素子のRフィルタが装着された受光素子によって撮像された撮像データである構成としてもよい。
また、上記の方法において、モル濃度比が既知の生体組織撮像された第1の撮像データG及び第2の撮像データGに基づいて取得した指標Xの値がその理論値に最も近づくように定数kの値を決定する構成としてもよい。
また、上記の方法において、モル濃度比の既知の値が異なる複数の生体組織のそれぞれについて指標Xの実測値を取得し、モル濃度比の既知の値と指標Xの実測値との関係を示す検量線が、モル濃度比の値と指標Xの理論値との関係を示す基準線に最も近づくように定数kの値を決定する構成としてもよい。
また、上記の方法において、第1の撮像データG が撮像される際の露出と第2の撮像データG が撮像される際の露出が同程度となるように、第1照明光を減光するステップを含む構成としてもよい。
また、上記の方法において、2種類の生体物質は酸素化ヘモグロビンと還元ヘモグロビンであり、第1及び第2の生体物質の生体組織中のモル濃度比は酸素飽和度である構成としてもよい。
また、上記の方法において、所定の波長域はヘモグロビンのQ帯であり、第1の撮像データG及び第2の撮像データGは、RGBカラーフィルタを備えた撮像素子のGフィルタが装着された受光素子によって撮像された撮像データである構成としてもよい。
また、本発明の一実施形態によれば、所定の波長域における吸収スペクトルが短波長側から順に第1、第2、第3及び第4の等吸収点を有する生体組織に含まれる第1及び第2の生体物質のモル濃度比の分布画像を生成する装置であって、白色光を発生する光源と、白色光から第1の等吸収点と第2の等吸収点とで区画された第1の波長域、第2の等吸収点と第3の等吸収点とで区画された第2の波長域及び第3の等吸収点と第4の等吸収点とで区画された第3の波長域の光を纏めて選択的に取り出す第1の光学フィルタと、白色光から第2の波長域の光を選択的に取り出す第2の光学フィルタと、第1及び第2の光学フィルタを切り替えるフィルタ切換え手段と、光源が発生した光を用いて生体組織を撮像する撮像装置と、撮像装置が生成した撮像データに基づいて分布画像を生成する画像処理部と、を備えた装置が提供される。
また、上記の装置において、撮像装置が先端部に設けられた内視鏡を備えた内視鏡装置である構成としてもよい。
本発明によれば、酸素飽和度分布等の生体物質の分布を表わす画像情報を短時間で取得することが可能になる。
図1は、へモグロビンのQ帯の吸収スペクトルである。 図2は、本発明の実施の形態に係る内視鏡装置のブロック図である。 図3は、撮像素子に内蔵されるカラーフィルタの透過スペクトルである。 図4は、回転フィルタの外観図である。 図5は、本発明の実施形態に係る画像生成処理を説明するフローチャートである。 図6は、補正係数kの決定に使用される検量線の例である。 図7は、本発明の実施の形態に係る内視鏡装置によって生成された内視鏡画像の例である。(a)は通常観察画像であり、(b)は酸素飽和度分布画像である。
以下、本発明の実施の形態について、図面を参照しながら説明する。
以下に説明する本発明の実施形態に係る内視鏡装置は、波長域の異なる光で撮像した複数の画像に基づいて被写体の生体情報(例えば、酸素飽和度)を定量的に分析して、分析結果を画像化して表示する装置である。以下に説明する酸素飽和度の定量分析では、血液の分光特性(すなわち、ヘモグロビンの分光特性)が酸素飽和度に応じて連続的に変化する性質が利用される。
(ヘモグロビンの分光特性及び酸素飽和度の計算原理)
本発明の実施形態に係る内視鏡装置の詳しい構成を説明する前に、ヘモグロビンの分光特性と、本実施形態における酸素飽和度の計算原理について説明する。
図1に、550nm付近のヘモグロビンの吸収スペクトルを示す。ヘモグロビンは、550nm付近にポルフィリンに由来するQ帯と呼ばれる強い吸収帯を有している。ヘモグロビンの吸収スペクトルは、酸素飽和度(全ヘモグロビンのうち酸素化ヘモグロビンが占める割合)に応じて変化する。図1における実線の波形は、酸素飽和度が100%の場合の(すなわち、酸素化ヘモグロビンHbOの)吸収スペクトルであり、長破線の波形は、酸素飽和度が0%の場合の(すなわち、還元ヘモグロビンHbの)吸収スペクトルである。また、短破線は、その中間の酸素飽和度(10、20、30、・・・90%)におけるヘモグロビン(酸素化ヘモグロビンと還元ヘモグロビンの混合物)の吸収スペクトルである。
図1に示されるように、Q帯において、酸素化ヘモグロビンと還元ヘモグロビンは互いに異なるピーク波長を有している。具体的には、酸素化ヘモグロビンは、波長542nm付近の吸収ピークP1と、波長576nm付近の吸収ピークP3を有している。一方、還元ヘモグロビンは、556nm付近に吸収ピークP2を有している。図1は、各成分(酸素化ヘモグロビン、還元ヘモグロビン)の濃度の和が一定となる2成分系の吸収スペクトルであるため、各成分の濃度(すなわち、酸素飽和度)によらず吸収が一定となる等吸収点E1、E2、E3、E4が現れる。以下の説明では、等吸収点E1とE2とで挟まれた波長領域を波長域R1、等吸収点E2とE3とで挟まれた波長領域を波長域R2、等吸収点E3とE4とで挟まれた波長領域を波長域R3と呼ぶ。また、等吸収点E1とE4とで挟まれた波長領域(すなわち波長域R1、R2及びR3を合わせたもの)を波長域R0と呼ぶ。
図1に示されるように、隣接する等吸収点間では、酸素飽和度に対して吸収が単調に増加又は減少する。また、隣接する等吸収点間では、ヘモグロビンの吸収は、酸素飽和度に対してほぼ線形的に変化する。
具体的には、波長域R1、R3におけるヘモグロビンの吸収AR1、AR3は酸素化ヘモグロビンの濃度(酸素飽和度)に対して線形的に単調増加し、波長域R2におけるヘモグロビンの吸収AR2は還元ヘモグロビンの濃度(1−酸素飽和度)に対して線形的に単調増加する。従って、次の数式10により定義される指標Xは、酸素化ヘモグロビンの濃度(酸素飽和度)に対して線形的に単調増加する。
従って、予め実験的に酸素飽和度と指標Xとの定量的な関係を取得すれば、指標Xの値から酸素飽和度を計算することができる。
(内視鏡装置の構成)
図2は、本発明の実施形態に係る内視鏡装置1のブロック図である。本実施形態の内視鏡装置1は、電子内視鏡100、プロセッサ200及びモニタ300を備えている。電子内視鏡100及びモニタ300は、プロセッサ200に着脱可能に接続されている。また、プロセッサ200には、光源部400及び画像処理部500が内蔵されている。
電子内視鏡100は、体腔内に挿入される挿入管110を有している。電子内視鏡100の内部には、全長に亘って延びるライトガイド131が設けられている。ライトガイド131の一端部(先端部131a)は、挿入管110の先端部(挿入管先端部111)の近傍に配置されており、ライトガイド131の他端部(基端部131b)は、プロセッサ200に接続されている。プロセッサ200は、キセノンランプ等の光量の大きい白色光WLを生成する光源ランプ430等を備えた光源部400を内蔵しており、この光源部400によって生成された照明光ILは、ライトガイド131の基端131bに入射するようになっている。ライトガイド131の基端131bに入射した光は、ライトガイド131を通ってその先端部131aに導かれ、先端部131aから放射される。電子内視鏡100の挿入管先端部111には、ライトガイド131の先端部131aと対向して配置された配光レンズ132が設けられており、ライトガイド131の先端部131aから放射される照明光ILは、配光レンズ132を透過して、挿入管先端部111の近傍の生体組織Tを照明する。
また、挿入管先端部111には対物光学系121及び撮像素子141が設けられている。生体組織Tの表面で反射又は散乱された光の一部(戻り光)は、対物光学系121に入射し、集光されて、撮像素子141の受光面に結像する。本実施形態の撮像素子141は、その受光面にカラーフィルタ141aを備えたカラー画像撮像用のCCD(Charge Coupled Device)イメージセンサであるが、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の他の種類の撮像素子を使用してもよい。カラーフィルタ141aは、赤色の光を透過させるRフィルタと、緑色の光を透過させるGフィルタと、青色の光を透過させるBフィルタとが配列され、撮像素子141の各受光素子上に直接形成された、いわゆるオンチップフィルタである。R、G、Bの各フィルタは、図3に示すような分光特性を有している。すなわち、本実施形態のRフィルタは、波長約570nmより長波長の光を透過させるフィルタであり、Gフィルタは、波長約470nm〜620nmの光を透過させるフィルタであり、Bフィルタは、波長約530nmより短波長の光を透過させるフィルタである。
撮像素子141は、後述する信号処理回路550と同期して駆動するように制御され、受光面に結像した像に対応する撮像信号を、周期的に(例えば、1/30秒間隔で)出力する。撮像素子141から出力された撮像信号は、ケーブル142を介してプロセッサ200の画像処理部500に送られる。
画像処理部500は、A/D変換回路510、一時記憶メモリ520、コントローラ530、ビデオメモリ540及び信号処理回路550を備えている。A/D変換回路510は、電子内視鏡100の撮像素子141からケーブル142を介して入力される撮像信号をA/D変換してデジタル画像データを出力する。A/D変換回路510から出力されるデジタル画像データは、一時記憶メモリ520に送られ記憶される。なお、デジタル画像データ(撮像信号)には、Rフィルタが装着された受光素子によって撮像されたRデジタル画像データ(R撮像信号)、Gフィルタが装着された受光素子によって撮像されたGデジタル画像データ(G撮像信号)及びBフィルタが装着された受光素子によって撮像されたBデジタル画像データ(B撮像信号)が含まれている。
コントローラ530は、一時記憶メモリ520に記憶された単数又は複数のデジタル画像データを処理して一枚の表示用画像データを生成し、これをビデオメモリ540に送る。例えば、コントローラ530は、単一のデジタル画像データから生成された表示用画像データ、複数のデジタル画像データの画像が並べられた表示用画像データ、或いは複数のデジタル画像データに基づいて画素(x,y)毎に生体組織Tの反射スペクトルを生成し、これによって健常部と病変部とを識別した表示用画像データや、特定の画素(x,y)に対応する生体組織Tの反射スペクトルのグラフを表示する表示用画像データ等を生成して、これをビデオメモリ540に記憶させる。信号処理回路550は、ビデオメモリ540に記憶されている表示用画像データに基づいて所定の形式(例えば、NTSC規格やDVI規格に準拠した形式)のビデオ信号を生成して出力する。信号処理回路550から出力されたビデオ信号は、モニタ300に入力される。この結果、電子内視鏡100によって撮像された内視鏡画像等が、モニタ300に表示される。
このように、プロセッサ200は、電子内視鏡100の撮像素子141から出力される撮像信号を処理するビデオプロセッサとしての機能と、被写体である生体組織Tを照明するための照明光ILを電子内視鏡100のライトガイド131に供給する光源装置としての機能とを兼ね備えたものである。
光源部400は、上述の光源430の他に、コリメータレンズ440、回転フィルタ410、フィルタ制御部420及び集光レンズ450を備えている。光源430から出射される白色光WLは、コリメータレンズ440によって平行光となり、回転フィルタ410を通過した後、集光レンズ450によってライトガイド131の基端131bに入射する。
回転フィルタ410は、複数の光学フィルタを備えた円盤型の光学ユニットであり、その回転角度に応じて透過波長域が切り替わるように構成されている。回転フィルタ410の回転角度は、コントローラ530に接続されたフィルタ制御部420によって制御される。コントローラ530がフィルタ制御部420を介して回転フィルタ410の回転角度を制御することにより、回転フィルタ410を透過してライトガイド131に供給される照明光のスペクトルが切り替えられる。
図4は、回転フィルタ410の外観図(正面図)である。回転フィルタ410は、略円盤状のフレーム411と、4つの扇形の光学フィルタ415、416、417及び418を備えている。フレーム411の中心軸の周りには4つの扇状の窓414a、414b、414c及び414dが等間隔で形成されており、各窓414a、414b、414c及び414dには、それぞれ光学フィルタ415、416、417及び418が嵌め込まれている。なお、本実施形態の光学フィルタは、いずれも誘電体多層膜フィルタであるが、他の方式の光学フィルタ(例えば、吸収型の光学フィルタや誘電体多層膜を反射膜として用いたエタロンフィルタ等)を用いてもよい。
また、フレーム411の中心軸上にはボス穴412が形成されている。ボス穴412には、フィルタ制御部420が備えるサーボモータ(不図示)の出力軸が差し込まれて固定され、回転フィルタ410はサーボモータの出力軸と共に回転する。
図4には、白色光WLが光学フィルタ415に入射する状態が示されているが、回転フィルタ410が矢印で示される方向に回転すると、白色光WLが入射する光学フィルタは、415、416、417、418の順に切り替わり、これにより回転フィルタ410を透過する照明光ILのスペクトルが切り替えられる。
光学フィルタ415及び416は、550nm帯の光を選択的に透過させる光バンドパスフィルタである。図1に示すように、光学フィルタ415は、等吸収点E1からE4までの波長域(すなわち、波長域R0)の光を低損失で透過させ、それ以外の波長領域の光を遮断するように構成されている。また、光学フィルタ416は、等吸収点E2からE3までの波長域(すなわち、波長域R2)の光を低損失で透過させ、それ以外の波長領域の光を遮断するように構成されている。
光学フィルタ415及び416の透過波長域(図1)は、カラーフィルタ141aのGフィルタの透過波長域(図3)に含まれている。従って、光学フィルタ415又は416を通過した光によって形成される像は、Gフィルタが装着された受光素子によって撮像され、Gデジタル画像データ(G撮像信号)として得られる。
光学フィルタ417は、生体組織T内のヘモグロビンの吸収が低い波長域である650nm帯(630〜650nm)の光のみを選択的に透過させるように設計されている。光学フィルタ417の透過波長域は、カラーフィルタ141aのRフィルタの透過波長域(図3)に含まれている。従って、光学フィルタ417を通過した光の像は、Rフィルタが装着された受光素子によって撮像され、Rデジタル画像データ(R撮像信号)として得られる。650nm帯の照明光を使用して取得される画像データは、後述する規格化処理に使用される。
また、光学フィルタ418は、紫外線カットフィルタであり、光学フィルタ418を透過した照明光IL(すなわち白色光)は、通常観察像の撮像に使用される。なお、光学フィルタ418を使用せず、フレーム411の窓414dを開放した構成としてもよい。
また、窓414aには、光学フィルタ415に重ねて、減光フィルタ419が取り付けられている。減光フィルタ419は、可視光全域に亘って波長依存性が無く、照明光ILのスペクトルを変化させずに光量のみを低減する。減光フィルタ419の使用によって、光学フィルタ415及び減光フィルタ419を透過した照明光ILの光量が、光学フィルタ416を透過した照明光ILの光量と略同程度に調整される。これにより、光学フィルタ415、416のいずれを透過した照明光ILを用いた場合でも、同じ露出時間で適正露出での撮像が可能になる。
本実施形態では、減光フィルタ419として、目の細かな金属メッシュが使用されている。金属メッシュ以外にも、ハーフミラー等の他方式の減光フィルタを使用してもよい。また、減光フィルタを使用せずに、光学フィルタ415、416自体の透過率を調整してもよい。また、窓414c、414dにも減光フィルタを取り付けてもよい。また、窓414a〜414dの中心角(すなわち開口面積)を変えることで透過光量を調整してもよい。また、減光フィルタを使用せずに、使用する光学フィルタ毎に露出時間を調整してもよい。
フレーム411の周縁部には、貫通孔413が形成されている。貫通孔413は、フレーム411の回転方向において、窓414aと窓414dとの境界部と同じ位置に形成されている。フレーム411の周囲には、貫通孔413を検出するためのフォトインタラプタ422が、フレーム411の周縁部の一部を囲むように配置されている。フォトインタラプタ422は、フィルタ制御部420に接続されている。
本実施形態の内視鏡装置1は、通常観察モード、分光分析(酸素飽和度分布画像表示)モード、ベースライン測定モード及び検量モードの4つの動作モードを有している。通常観察モードは、光学フィルタ418を通過した白色光を用いてカラー画像を撮影する動作モードである。分光分析モードは、光学フィルタ415、416及び417を通過した照明光を用いて撮像したデジタル画像データに基づいて分光分析を行い、生体組織中の生体分子の分布画像(例えば酸素飽和度分布画像)を表示するモードである。ベースライン測定モードは、実際の内視鏡観察を行う前に(又は行った後で)、無彩色の拡散板(磨りガラス等)や標準反射板等の色基準板を被写体として、光学フィルタ415、416及び417を通過した照明光を用いて撮像を行い、後述する規格化処理に使用するデータを取得するモードである。検量モードは、酸素飽和度等の特性が既知のサンプルについて分光分析を行い、分析結果と理論値との差異が解消するようにパラメータ(後述する補正係数k)を調整する処理である。
通常観察モードにおいては、コントローラ530は、フィルタ制御部420を制御して、白色光WLが光学フィルタ418に入射する位置で回転フィルタ410を静止させる。そして、撮像素子141によって撮像されたデジタル画像データを、必要に応じて画像処理を施した後に、ビデオ信号に変換して、モニタ300に表示させる。
分光分析モードにおいては、コントローラ530は、フィルタ制御部420を制御して、回転フィルタ410を一定の回転数で回転駆動させながら、光学フィルタ415、416、417及び418を透過した照明光による生体組織Tの撮像を順次行う。そして、各光学フィルタ415、416及び417を用いて取得したデジタル画像データに基づいて生体組織中の生体分子の分布を示す画像を生成し、これと光学フィルタ418を用いて取得した通常観察画像とを並べた表示画面を生成して、更にビデオ信号に変換して、モニタ300に表示させる。
分光分析モードでは、フィルタ制御部420は、フォトインタラプタ422が貫通孔413を検出するタイミングに基づいて、回転フィルタ410の回転の位相を検出し、これをコントローラ530から供給されるタイミング信号の位相と比較して、回転フィルタ410の回転の位相を調整する。コントローラ530からのタイミング信号は、撮像素子141の駆動信号と同期している。従って、回転フィルタ410は、撮像素子141の駆動と同期して、略一定の回転数で回転駆動される。具体的には、回転フィルタ410の回転は、撮像素子141による1画像分(R,G,Bの3フレーム)の撮像が行われる毎に、白色光WLが入射する光学フィルタ415〜418(窓414a〜d)が切り替わるように制御される。
ベースライン測定モードにおいては、コントローラ530は、フィルタ制御部420を制御して回転フィルタ410を回転させながら、光学フィルタ415、416及び417を透過した照明光ILによる色基準板の撮像を順次行う。光学フィルタ415、416を透過した照明光ILを用いて撮影されたGデジタル画像データは、それぞれベースライン画像データBL415(x,y)、BL416(x,y)として、コントローラ530の内部メモリ531に記憶される。また、光学フィルタ417を透過した照明光ILを用いて撮影されたRデジタル画像データは、ベースライン画像データBL417(x,y)としてコントローラ530の内部メモリ531に記憶される。
次に、分光分析モードにおいて、画像処理部500によって実行される画像生成処理について説明する。図5は、画像生成処理を説明するフローチャートである。
ユーザ操作によって、分光分析モードが選択されている場合は、上述のように、フィルタ制御部420は回転フィルタ410を一定の回転数で回転駆動する。そして、光源部400からは、光学フィルタ415、416、417、418を透過した照明光ILが順次供給され、各照明光ILを用いた撮像が順次行われる(S1)。具体的には、光学フィルタ415を透過した照明光ILを用いて撮像したGデジタル画像データG415(x,y)、光学フィルタ416を透過した照明光ILを用いて撮像したGデジタル画像データG416(x,y)、光学フィルタ417を透過した照明光ILを用いて撮像したRデジタル画像データR417(x,y)並びに光学フィルタ(紫外線カットフィルタ)418を透過した照明光IL(白色光)を用いて撮像したRデジタル画像データR418(x,y)、Gデジタル画像データG418(x,y)及びBデジタル画像データB418(x,y)がコントローラ530の内部メモリ532に記憶される。
次に、画像処理部500は、処理S1にて取得したRデジタル画像データR418(x,y)、Gデジタル画像データG418(x,y)及びBデジタル画像データB418(x,y)を用いて、以下の分析処理(処理S3−S7)の対象とする画素を選別する画素選別処理S2を行う。血液を含んでいない箇所や、組織の色がヘモグロビン以外の物質により支配的な影響を受けている箇所については、画素の色情報から酸素飽和度や血流量を計算しても意味のある値は得られず、単なるノイズとなる。このようなノイズを算出して医師に提供すると、医師による診断の妨げとなるだけでなく、画像処理部500に無用な負荷を与えて処理速度を低下させるという弊害が生じる。そこで、本実施形態の画像生成処理は、分析処理に適した画素(すなわち、ヘモグロビンの分光学的特徴が記録された画素)を選別して、選別された画素に対してのみ分析処理を行うように構成されている。
画素選別処理S2では、以下の数式11、数式12及び数式13の条件を全て充足する画素のみが分析処理の対象画素として選別される。
ここで、a、a、aは正の定数である。
上記の3つの条件式は、血液の透過スペクトルにおける、G成分<B成分<R成分の値の大小関係に基づいて設定されている。なお、上記の3つの条件式のうちの1つ又は2つのみを使用して(例えば、血液に特有の赤色に注目して数式12及び数式13を使用して)画素選別処理S2を行っても良い。
次に、画像処理部500は、規格化処理を行う。本実施形態の規格化処理には、内視鏡装置1自体の特性(例えば光学フィルタの透過率や撮像素子の受光感度)を補正するための第1規格化処理S3と、被写体である生体組織Tの表面状態や、生体組織Tへの照明光ILの入射角の違いによる反射率の変動を補正するための第2規格化処理S4とが含まれる。
規格化処理においては、画像処理部500は、光学フィルタ415を透過した照明光ILを用いて取得したGデジタル画像データG415(x,y)、光学フィルタ417を透過した照明光ILを用いて取得したRデジタル画像データR417(x,y)及びベースライン画像データBL415(x,y)、BL417(x,y)から、次の数式14により、規格化反射率SR415(x,y)が計算される。なお、各デジタル画像データG415(x,y)、R417(x,y)をそれぞれ対応するベースライン画像データBL415(x,y)、BL417(x,y)で除算することにより、内視鏡装置1の特性に依存する要素(装置関数)が取り除かれる(第1規格化処理S3)。また、Gデジタル画像データG415(x,y)をRデジタル画像データR417(x,y)で除算することにより、生体組織Tの表面状態や生体組織Tへの照明光ILの入射角の違いによる反射率の変動が補正される(第2規格化処理S4)。
同様に、次の数式15により、規格化反射率SR416(x,y)が計算される。
光学フィルタ415、416を透過した照明光ILに対する生体組織Tの吸収A415(x,y)、A416(x,y)は、それぞれ次の数式16、17により計算される(S5)。
なお、吸収A415(x,y)及びA416(x,y)は、それぞれ次の数式18、19により近似的に計算することもできる。
また、上述した規格化処理(S3、S4)を省略して、簡易的に分光分析を行うこともできる。その場合には、吸収A415(x,y)及びA416(x,y)は、次の数式20、21により計算される。
また、この場合、吸収A415(x,y)及びA416(x,y)は、それぞれ次の数式22、23により近似的に計算することもできる。
また、図1に示すヘモグロビンの吸収波長域R1、R2、R3と光学フィルタ415、416の透過波長域との関係から明らかなように、波長域R1、R2、R3に対する生体組織Tの吸収AR1(x,y)、AR2(x,y)、AR3(x,y)と、光学フィルタ415、416を透過した照明光ILに対する生体組織Tの吸収A415(x,y)、A416(x,y)との間には、次の数式24、25に示す関係がある。
従って、指標X(数式10)は、次の数式26によって表わされる。
ここで、kは、定数(補正係数)である。光学フィルタ415と416とは、透過波長域の幅が大きく異なるため、両者を透過する光量の違いも大きい。そのため、上述したように、光学フィルタが切り替わっても同じ露出時間で適正露出が得られるように、透過光量の大きい光学フィルタ415に減光フィルタ419を重ねて、光量を調整している。その結果、光学フィルタ415を使用して取得した吸収A415(x,y)と、光学フィルタ416を使用して取得した吸収A416(x,y)との定量的な関係が崩れている。また、光学フィルタ415、416の透過波長域内の透過率は100%ではなく、個体によって異なる透過損失を有している。また、光学フィルタ415、416の透過波長域にも誤差がある。そのため、減光フィルタ419を使用しなくても、吸収A415(x,y)と吸収A416(x,y)との定量関係には一定の誤差が含まれる。補正係数kは、吸収A415(x,y)と吸収A416(x,y)との定量関係の誤差を補正するものである。補正係数kを取得する方法については後述する。なお、この補正を行わない場合は、補正係数kを1とする。
更に、数式16、17を用いて数式26を整理すると、次の数式27が得られる。
従って、数式27を用いて、Gデジタル画像データG415(x,y)、G416(x,y)、Rデジタル画像データR417(x,y)及びベースライン画像データBL415(x,y)、BL416(x,y)、BL417(x,y)から指標Xの値を計算することができる(S6)。
また、指標Xは、次の数式28によっても近似的に求めることができる。
コントローラ530が備える不揮発性メモリ532には、予め実験的に取得されたヘモグロビンの酸素飽和度と指標Xの値との定量的関係を示す数値表が記憶されている。コントローラ530は、この数値表を参照して、数式27又は数式28から算出した指標Xの値に対応する酸素飽和度SatO(x,y)を取得する。そして、コントローラ530は、取得した酸素飽和度SatO(x,y)に所定の定数を乗じた値を各画素(x,y)の画素値とする画像データ(酸素飽和度分布画像データ)を生成する(S7)。
また、コントローラ530は、光学フィルタ(紫外線カットフィルタ)418を透過した照明光IL(白色光)を用いて取得したRデジタル画像データR418(x,y)、Gデジタル画像データG418(x,y)及びBデジタル画像データB418(x,y)から、通常観察画像データを生成する。図7にコントローラ530が生成する画像データの表示例を示す。図7(a)が通常観察画像データの表示例であり、図7(b)が酸素飽和度分布画像データの表示例である。
更に、コントローラ530は、生成した酸素飽和度分布画像データ及び通常観察画像データから、1画面上に通常観察画像と酸素飽和度分布画像を並べて表示する画面データを生成して、ビデオメモリ540に記憶させる。なお、コントローラ530は、ユーザ操作に応じて、酸素飽和度分布画像のみを表示する表示画面や、通常観察画像のみを表示する表示画面、酸素飽和度分布画像及び/又は通常観察画像に患者のID情報や観察条件等の付帯情報をスーパーインポーズ表示した表示画面等、種々の表示画面を生成することができる。
次に、検量モードにおいて、補正係数kを決定する方法について説明する。本実施形態では、指標Xの理論計算値と実測値とを比較して、実測値が理論計算値に最も近い値となるように補正係数kの値を決定する。
図6に、本発明の実施形態における補正係数kの決定に使用される検量線の例を示す。図6(a)は、一般的な検量線の一例であり、横軸に指標Xの理論値をとり、縦軸に上記の分析処理によって取得した指標Xの実測値をとったものである。黒丸は実測値のプロットであり、破線Maは最小二乗法により実測値をフィッティングした直線である。また、実線は、理論値通りの実測値が得られた場合のプロットである基準線Refを示す。
指標Xの実測値は、酸素飽和度が既知の生体組織(例えば、血液)のサンプルを使用した分析処理により取得される。また、数式26により定義される指標Xの理論値は、実際に使用する光学フィルタ415及び416の透過スペクトルと、血液の反射スペクトル(又は吸収スペクトル)とを用いて計算される。具体的には、指標Xの理論値は、光学フィルタ415(光学フィルタ416)の透過スペクトルと血液の反射スペクトルとを乗じて積分したものを吸収A415(吸収A416)とすることで、数式26から計算される。
基準線Refと実測値Maとのずれは検量線の勾配の傾斜として表現される。十分な感度が得られない現象、いわゆる勾配が緩やかである現象は、減光フィルタ419の使用によって、数式26における吸収A415(x,y)と吸収A415(x,y)との間の定量的な関係が最適ではないことに起因している。補正係数kとして適切な値を選択することにより、減光フィルタ419による誤差が補正され、指標Xの実測値が理論値に対し、誤差が最少かつ最も高い相関を持つ状態とすることができる。
図6(b)は、検量線の変形例である。図6(b)の検量線は、横軸にサンプルの酸素飽和度をとり、縦軸に指標Xをとったものである。黒丸は実測値のプロットであり、破線Mbは最小二乗法により実測値をフィッティングした直線である。また、実線Rbは理論計算値を示す。なお、サンプルの酸素飽和度は、理想的な分光測定法により正確に測定された値である。この検量線は、図6(a)の検量線から横軸のスケールを変更したもので、実質的に同等のものであるが、正確な酸素飽和度との関係が分かり易いという利点がある。
なお、上記の検量線を使用して補正係数kを決定する方法は、酸素飽和度の異なる複数のサンプルの分析結果を使用するものであるが、一つのサンプルの分析結果のみを使用して補正係数kを決定することもできる。
また、へモグロビンの吸収波長域R1、R2、R3(すなわち、光学フィルタ415の透過波長域)に着目すると、酸素飽和度の変化に応じて各波長域R1、R2、R3の吸収AR1(x,y)、AR2(x,y)、AR3(x,y)は変化するが、これらの和Y(数式29に示す)は略一定となる。また、この吸収の和Yは、生体組織中の総ヘモグロビン量(酸素化ヘモグロビンHbO2と還元ヘモグロビンHbの濃度の和)に比例するため、総ヘモグロビン量を示す指標として用いることは妥当である。
悪性腫瘍の組織では、血管新生により正常な組織よりも総ヘモグロビン量が多く、尚且つ、酸素の代謝が顕著であるため酸素飽和度は正常な組織よりも低いことが知られている。そこで、コントローラ530は、数式29により計算した総ヘモグロビン量を示す指標Yが所定の基準値(第1基準値)よりも大きく、且つ、数式25等により計算した酸素飽和度を示す指標Xが所定の基準値(第2基準値)よりも小さい画素を抽出して、例えば通常観察画像データの対応する画素に対して強調表示処理を行った病変部強調画像データを生成し、通常観察画像及び/又は酸素飽和度分布画像と共に(或いは単独で)病変部強調画像をモニタ300に表示することもできる。
強調表示処理としては、例えば、該当する画素の画素値を増加させる処理や、色相を変化させる処理(例えば、R成分を増加させて赤味を強くする処理や、色相を所定角度だけ回転させる処理)、該当する画素を明滅させる(あるいは、周期的に色相を変化させる)処理がある。
また、コントローラ530が、病変部強調画像データの代わりに、例えば、指標X(x,y)の平均値からの偏差と、指標Y(x,y)の平均値からの偏差に基づいて、悪性腫瘍の疑いの度合を示す指標Z(x,y)を計算して、指標Zを画素値とする画像データ(悪性疑い度画像データ)を生成する構成としてもよい。
以上が本発明の実施形態および該実施形態の具体的実施例の説明であるが、本発明は、上記の構成に限定されるものではなく、本発明の技術的思想の範囲内において様々な変形が可能である。
上記の実施形態では、指標Xの値に基づいて数値表から酸素飽和度の値を取得し、更に所定の定数を乗じて酸素飽和度分布画像の画素値を計算しているが、本発明はこの構成に限定されるものではない。指標Xは酸素飽和度に対して単調に増加する数値であるため、指標Xの値をそのまま(又は所定の定数を乗じて)酸素飽和度分布画像の画素値として用いることもできる。
また、本実施形態の撮像素子141は、その前面にR、G、Bの原色系カラーフィルタを備えたカラー画像撮像用の撮像素子であるとして説明したが、この構成に限定されるものではなく、例えば、Y、Cy、Mg、Gの補色系カラーフィルタを備えたカラー画像撮像用の撮像素子を用いてもよい。
また、本実施形態の撮像素子141は、オンチップのカラーフィルタ141aを備えたカラー画像撮像用の撮像素子であるとして説明したが、この構成に限定されるものではなく、例えば、白黒画像撮像用の撮像素子を用い、いわゆる面順次方式のカラーフィルタを備えた構成としてもよい。また、カラーフィルタ141aは、オンチップの構成に限定されるものではなく、光源430から撮像素子141までの光路中への配置が可能である。
また、上記の実施形態では、回転フィルタ410が使用されるが、本発明はこの構成に限定されるものではなく、透過波長域が切換え可能な他の方式の波長可変フィルタを使用することもできる。
また、上記の実施形態では、回転フィルタ410が光源側に設けられ、照射光ILに対してフィルタリングを行う構成が採用されているが、本発明はこの構成に限定されるものではなく、回転フィルタ410を撮像素子側(例えば、対物光学系121と撮像素子131との間)に設けて、被写体からの戻り光をフィルタリングする構成とすることもできる。
また、上記の実施形態では、分光分析モードにおいて、回転フィルタ410を一定の回転数で回転させながら、所定の時間間隔で撮像を行う構成が採用されているが、本発明はこの構成に限定されるものではなく、例えば、回転フィルタ410の回転位置を所定の時間間隔で段階的に変化させ、回転フィルタ410が静止した状態で撮像を行う構成としてもよい。
また、上記の実施形態は、本発明をデジタルカメラの一形態である電子内視鏡装置に適用した例であるが、他の種類のデジタルカメラ(例えば、デジタル一眼レフカメラやデジタルビデオカメラ)を使用したシステムに本発明を適用することもできる。例えば、本発明をデジタルスチルカメラに適用すると、体表組織の観察や開頭手術時の脳組織の観察(例えば、脳血流量の迅速検査)を行うことができる。
1 分光内視鏡装置
100 電子内視鏡
110 挿入管
111 挿入管先端部
121 対物光学系
131 ライトガイド
131a 先端部
131b 基端部
132 レンズ
141 撮像素子
141a カラーフィルタ
142 ケーブル
200 電子内視鏡用プロセッサ
300 モニタ
400 光源部
410 回転フィルタ
420 フィルタ制御部
430 光源
440 コリメータレンズ
450 集光レンズ
500 画像処理部
510 A/D変換回路
520 一時記憶メモリ
530 コントローラ
540 ビデオメモリ
550 信号処理回路

Claims (14)

  1. 所定の波長域における吸収スペクトルが短波長側から順に第1、第2、第3及び第4の等吸収点を有する生体組織に含まれる酸素化ヘモグロビンと還元ヘモグロビンのモル濃度比の分布画像を生成する装置の作動方法であって、
    前記装置が、前記第1の等吸収点と前記第2の等吸収点とで区画された第1の波長域、前記第2の等吸収点と前記第3の等吸収点とで区画された第2の波長域及び前記第3の等吸収点と前記第4の等吸収点とで区画された第3の波長域の光を纏めて選択的に取り出す第1の光学フィルタにより白色光から第1照明光を取り出すステップと、
    前記装置が、前記第1照明光の照明下で撮像された前記生体組織の第1の撮像データGを取得するステップと、
    前記装置が、前記第2の波長域の光を選択的に取り出す第2の光学フィルタにより白色光から第2照明光を取り出すステップと、
    前記装置が、前記第2照明光の照明下で撮像された前記生体組織の第2の撮像データGを取得するステップと、
    前記装置が、前記第1の撮像データG及び前記第2の撮像データGに基づいて前記分布画像を生成するステップと、
    を含む装置の作動方法。
  2. 前記第1の撮像データG及び第2の撮像データGに基づいて前記分布画像を生成するステップは、
    前記装置が、前記第1の撮像データGに基づいて前記第1の光学フィルタの透過波長域における前記生体組織の吸収Aを取得するステップと、
    前記装置が、前記第2の撮像データGに基づいて前記第2の光学フィルタの透過波長域における前記生体組織の吸収Aを取得するステップと、
    前記装置が、前記吸収A及びAに基づいて前記分布画像を生成するステップと、
    を更に含む、
    請求項1に記載の装置の作動方法。
  3. 前記吸収Aを取得するステップは、前記装置が、数式1又は数式2により前記吸収Aを計算するステップを含み、
    但し、数式中、G は、前記第1画像データG の各画素値を示す。
    前記吸収Aを取得するステップは、前記装置が、数式3又は数式4により前記吸収Aを計算するステップを含む、
    但し、数式中、G は、前記第2画像データG の各画素値を示す。
    請求項2に記載の装置の作動方法。
  4. 前記吸収A及びAに基づいて前記分布画像を生成するステップは、
    前記装置が、数式5により指標Xを計算するステップと、
    (但し、kは定数。)
    前記装置が、前記指標Xに基づいて前記分布画像を生成するステップと、
    を含む、
    請求項2又は請求項3に記載の装置の作動方法。
  5. 前記定数kが1である、
    請求項4に記載の装置の作動方法。
  6. 前記装置が、前記所定の波長域と比べて前記生体組織の吸収が十分に低い第4の波長域の光を選択的に取り出す第3の光学フィルタにより白色光から第3照明光を取り出すステップと、
    前記装置が、前記第3照明光の照明下で撮像された前記生体組織の第3の撮像データRを取得するステップと、
    を更に含み、
    前記吸収Aを取得するステップは、
    前記装置が、前記第1の撮像データGを前記第3の撮像データRで除算して第1の規格化反射率SRを計算するステップと、
    前記装置が、数式6又は数式7により前記吸収Aを計算するステップと、
    を含み、
    但し、数式中、SR は、画素毎の前記第1規格化反射率SR を示す。
    前記吸収Aを取得するステップは、
    前記装置が、前記第2の撮像データGを前記第3の撮像データRで除算して第2の規格化反射率SRを計算するステップと、
    前記装置が、数式8又は数式9により前記吸収Aを計算するステップと、
    を含む、
    但し、数式中、SR は、画素毎の前記第2規格化反射率SR を示す。
    請求項3から請求項5のいずれか一項に記載の装置の作動方法。
  7. 前記装置が、前記第1の光学フィルタにより白色光から取り出した光を用いて無彩色の色基準板を撮像して第1のベースライン画像データBLを取得するステップと、
    前記装置が、前記第2の光学フィルタにより白色光から取り出した光を用いて前記色基準板を撮像して第2のベースライン画像データBLを取得するステップと、
    を更に含み、
    前記第1の規格化反射率SRを計算するステップは、
    前記装置が、前記第1の撮像データGを前記第1のベースライン画像データBLで除算するステップを含み、
    前記第2の規格化反射率SRを計算するステップは、
    前記装置が、前記第2の撮像データGを前記第2のベースライン画像データBLで除算するステップを含む、
    請求項6に記載の装置の作動方法。
  8. 前記第4の波長域は650nm帯であり、
    前記第3の撮像データRは、RGBカラーフィルタを備えた撮像素子のRフィルタが装着された受光素子によって撮像された撮像データである、
    請求項6に記載の装置の作動方法。
  9. 前記装置が、前記モル濃度比が既知の生体組織が撮像された前記第1の撮像データG及び前記第2の撮像データGに基づいて取得した前記指標Xの値がその理論値に最も近づくように前記定数kの値を決定する、
    請求項4に記載の装置の作動方法。
  10. 前記装置が、前記モル濃度比の既知の値が異なる複数の生体組織のそれぞれについて前記指標Xの実測値を取得し、前記モル濃度比の既知の値と前記指標Xの実測値との関係を示す検量線が、前記モル濃度比の値と前記指標Xの理論値との関係を示す基準線に最も近づくように前記定数kの値を決定する、
    請求項9に記載の装置の作動方法。
  11. 前記装置が、前記第1の撮像データGが撮像される際の露出と前記第2の撮像データGが撮像される際の露出が同程度となるように、前記第1照明光を減光するステップを含む、
    請求項9又は請求項10に記載の装置の作動方法。
  12. 前記所定の波長域はヘモグロビンのQ帯であり、
    前記第1の撮像データG及び前記第2の撮像データGは、RGBカラーフィルタを備えた撮像素子のGフィルタが装着された受光素子によって撮像された撮像データである、
    請求項1から請求項11のいずれか一項に記載の装置の作動方法。
  13. 所定の波長域における吸収スペクトルが短波長側から順に第1、第2、第3及び第4の等吸収点を有する生体組織に含まれる酸素化ヘモグロビンと還元ヘモグロビンのモル濃度比の分布画像を生成する装置であって、
    白色光を発生する光源と、
    前記白色光から前記第1の等吸収点と前記第2の等吸収点とで区画された第1の波長域、前記第2の等吸収点と前記第3の等吸収点とで区画された第2の波長域及び前記第3の等吸収点と前記第4の等吸収点とで区画された第3の波長域の光を纏めて選択的に取り出す第1の光学フィルタと、
    前記白色光から前記第2の波長域の光を選択的に取り出す第2の光学フィルタと、
    前記第1及び前記第2の光学フィルタを切り替えるフィルタ切換え手段と、
    前記光源が発生した光を用いて前記生体組織を撮像する撮像装置と、
    前記撮像装置が生成した撮像データに基づいて、前記分布画像を生成する画像処理部と、
    を備えた装置。
  14. 前記撮像装置が先端部に設けられた内視鏡を備えた内視鏡装置である、
    ことを特徴とする請求項13に記載の装置。
JP2015519886A 2013-05-30 2014-05-28 生体組織中の生体物質の濃度分布を示す画像を生成する装置の作動方法及び装置 Active JP6356122B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013114703 2013-05-30
JP2013114703 2013-05-30
PCT/JP2014/064055 WO2014192781A1 (ja) 2013-05-30 2014-05-28 生体組織中の生体物質の濃度分布を示す画像を生成する方法及び装置

Publications (2)

Publication Number Publication Date
JPWO2014192781A1 JPWO2014192781A1 (ja) 2017-02-23
JP6356122B2 true JP6356122B2 (ja) 2018-07-11

Family

ID=51988806

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015519886A Active JP6356122B2 (ja) 2013-05-30 2014-05-28 生体組織中の生体物質の濃度分布を示す画像を生成する装置の作動方法及び装置

Country Status (5)

Country Link
US (1) US10722155B2 (ja)
EP (1) EP3005933B8 (ja)
JP (1) JP6356122B2 (ja)
CN (1) CN105324064B (ja)
WO (1) WO2014192781A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7187379B2 (ja) 2019-04-25 2022-12-12 ミドリ電子株式会社 絶縁監視装置、絶縁監視装置の精度試験装置、絶縁監視装置の精度試験方法及びプログラム

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014036759A (ja) 2012-08-17 2014-02-27 Hoya Corp 電子内視鏡システムおよび内視鏡用光源装置
CN105324064B (zh) 2013-05-30 2017-10-27 Hoya株式会社 生成示出生物组织中生物物质浓度分布图像的方法和装置
JP6204314B2 (ja) * 2014-09-03 2017-09-27 Hoya株式会社 電子内視鏡システム
JP6356051B2 (ja) * 2014-11-21 2018-07-11 Hoya株式会社 分析装置及び分析装置の作動方法
JP6336949B2 (ja) * 2015-01-29 2018-06-06 富士フイルム株式会社 画像処理装置及び画像処理方法、並びに内視鏡システム
WO2016121811A1 (ja) * 2015-01-29 2016-08-04 富士フイルム株式会社 画像処理装置及び画像処理方法、並びに内視鏡システム
JP2016152872A (ja) * 2015-02-20 2016-08-25 Hoya株式会社 光源装置
JP6758308B2 (ja) * 2015-02-25 2020-09-23 アウトセンス ダイアグノスティクス リミテッド 人体排泄物の解析
JP6584147B2 (ja) * 2015-05-28 2019-10-02 Hoya株式会社 撮像装置
US10420457B2 (en) 2015-09-24 2019-09-24 Hoya Corporation Analyzing apparatus
CN107072487B (zh) * 2015-11-02 2018-06-29 Hoya株式会社 内窥镜系统以及分析装置
CN107427186B (zh) * 2016-01-08 2019-07-12 Hoya株式会社 内窥镜装置
JP6437943B2 (ja) * 2016-03-07 2018-12-12 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6570484B2 (ja) 2016-07-04 2019-09-04 Hoya株式会社 分析装置
WO2018037505A1 (ja) * 2016-08-24 2018-03-01 Hoya株式会社 内視鏡システム
EP3506834B1 (en) 2016-08-30 2021-08-04 Outsense Diagnostics Ltd. Bodily emission analysis
DE112017004411T5 (de) 2016-09-02 2019-05-23 Hoya Corporation Elektronisches endoskopsystem
CN109310305B (zh) * 2016-09-02 2022-03-11 Hoya株式会社 内窥镜系统及特征量计算方法
DE112017004417B4 (de) * 2016-09-02 2019-12-24 Hoya Corporation Endoskopsystem
JPWO2018070474A1 (ja) * 2016-10-14 2019-06-24 Hoya株式会社 内視鏡システム
WO2018131631A1 (ja) * 2017-01-16 2018-07-19 Hoya株式会社 内視鏡システム、及び画像表示装置
WO2018159083A1 (ja) * 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
EP3590402A4 (en) * 2017-03-03 2020-03-11 Fujifilm Corporation ENDOSCOPE SYSTEM, PROCESSOR DEVICE, AND OPERATION METHOD OF ENDOSCOPE SYSTEM
EP3593703A4 (en) * 2017-03-06 2020-03-11 Fujifilm Corporation ENDOSCOPIC SYSTEM AND METHOD FOR THE OPERATION THEREOF
CN107907523B (zh) * 2017-10-13 2020-02-14 中国科学院上海技术物理研究所 一种恒低温等距螺旋多点紫外光谱冻存血清分析方法
WO2020045619A1 (ja) * 2018-08-31 2020-03-05 Hoya株式会社 内視鏡システム、および内視鏡システムを動作させる方法
US11191460B1 (en) * 2020-07-15 2021-12-07 Shani Biotechnologies LLC Device and method for measuring blood components

Family Cites Families (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3972614A (en) * 1974-07-10 1976-08-03 Radiometer A/S Method and apparatus for measuring one or more constituents of a blood sample
JPS559755A (en) 1978-07-08 1980-01-23 Hitoshi Hatano Mannmade gatheringgplace for fish
US4324556A (en) * 1980-03-25 1982-04-13 The United States Of America As Represented By The Secretary Of The Navy Portable COHB analyzer
JPS583731A (ja) 1981-06-30 1983-01-10 Aida Eng Ltd フアインブランキング加工用機械プレス
JPS607857A (ja) 1983-06-27 1985-01-16 テルモ株式会社 腹膜透析用装置
JPH0679594B2 (ja) * 1987-08-11 1994-10-12 オリンパス光学工業株式会社 電子内視鏡装置
US5198977A (en) * 1990-11-27 1993-03-30 Jesse Salb System and method for localization of functional activity in the human brain
EP0522674B1 (en) * 1991-07-12 1998-11-11 Mark R. Robinson Oximeter for reliable clinical determination of blood oxygen saturation in a fetus
JPH0679594A (ja) 1992-08-27 1994-03-22 Hitachi Cable Ltd 金型プレートのジグ研削加工方法
US5408998A (en) * 1994-03-10 1995-04-25 Ethicon Endo-Surgery Video based tissue oximetry
JP2001314370A (ja) 2000-05-08 2001-11-13 Olympus Optical Co Ltd 光源装置
JP3559755B2 (ja) 2000-07-27 2004-09-02 オリンパス株式会社 内視鏡装置
JP3607857B2 (ja) 2000-07-27 2005-01-05 オリンパス株式会社 内視鏡装置
JP3583731B2 (ja) 2000-07-21 2004-11-04 オリンパス株式会社 内視鏡装置および光源装置
WO2002007588A1 (fr) 2000-07-21 2002-01-31 Olympus Optical Co., Ltd. Endoscope
US6678398B2 (en) 2000-09-18 2004-01-13 Sti Medical Systems, Inc. Dual mode real-time screening and rapid full-area, selective-spectral, remote imaging and analysis device and process
JP4590095B2 (ja) 2000-12-07 2010-12-01 オリンパス株式会社 光源装置
US7029628B2 (en) * 2000-12-28 2006-04-18 Stat-Chem Inc. Portable co-oximeter
US7172553B2 (en) 2001-05-16 2007-02-06 Olympus Corporation Endoscope system using normal light and fluorescence
JP2003093343A (ja) 2001-09-21 2003-04-02 Fuji Photo Optical Co Ltd 内視鏡装置
US6932762B2 (en) 2001-09-21 2005-08-23 Fujinon Corporation Endoscope having red component cut filter
US7118217B2 (en) * 2002-01-18 2006-10-10 University Of Iowa Research Foundation Device and method for optical imaging of retinal function
US20050027166A1 (en) 2003-06-17 2005-02-03 Shinya Matsumoto Endoscope system for fluorescent observation
CA2559900A1 (en) * 2004-03-19 2005-10-06 Board Of Supervisors Of Louisiana State University And Agricultural And Mechanical College A method for evaluating relative oxygen saturation in body tissues
JP4559149B2 (ja) 2004-07-23 2010-10-06 オリンパス株式会社 照明光学系、照明光学系を用いた照明装置、及び照明光学系又は照明光学系を用いた照明装置を用いた観察システム
DK1863387T3 (da) * 2005-03-16 2013-09-16 Or Nim Medical Ltd Ikke-invasive målinger i en menneskekrop
JP4855728B2 (ja) 2005-07-27 2012-01-18 オリンパスメディカルシステムズ株式会社 照明装置及び観察装置
US20100140461A1 (en) * 2006-12-13 2010-06-10 Georgia Tech Research Corporation Systems and methods for real time multispectral imaging
JP5208430B2 (ja) 2007-01-31 2013-06-12 オリンパス株式会社 生体組織用蛍光観察装置
JP5219440B2 (ja) 2007-09-12 2013-06-26 キヤノン株式会社 測定装置
US8849380B2 (en) 2007-11-26 2014-09-30 Canfield Scientific Inc. Multi-spectral tissue imaging
JP2009153621A (ja) 2007-12-25 2009-07-16 Olympus Corp 生体観察装置および内視鏡装置
US8109634B2 (en) * 2008-03-05 2012-02-07 Tamir Gil Snapshot spectral imaging of the eye
WO2010044432A1 (ja) 2008-10-17 2010-04-22 オリンパスメディカルシステムズ株式会社 内視鏡システムおよび内視鏡画像処理装置
JP5767775B2 (ja) 2009-07-06 2015-08-19 富士フイルム株式会社 内視鏡装置
JP5541914B2 (ja) 2009-12-28 2014-07-09 オリンパス株式会社 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法
WO2011091423A2 (en) 2010-01-25 2011-07-28 The Arizona Board Of Regents On Behalf Of The University Of Arizona Ultrasonic/photoacoustic imaging devices and methods
DE112011100495T5 (de) 2010-02-10 2013-01-03 Hoya Corporation Elektronisches Endoskopsystem
US9420153B2 (en) 2010-02-10 2016-08-16 Hoya Corporation Electronic endoscope system
JP5452300B2 (ja) 2010-03-19 2014-03-26 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、電子内視鏡システムの作動方法、病理観察装置および病理顕微鏡装置
JP5457247B2 (ja) 2010-03-26 2014-04-02 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5395725B2 (ja) * 2010-04-05 2014-01-22 富士フイルム株式会社 電子内視鏡システム
JP5597021B2 (ja) 2010-04-15 2014-10-01 オリンパス株式会社 画像処理装置及びプログラム
JP5076036B2 (ja) 2010-06-25 2012-11-21 オリンパスメディカルシステムズ株式会社 内視鏡装置
CN103249362B (zh) 2010-10-08 2016-01-20 爱德华兹生命科学公司 用于血液参数的光学测量的系统、方法
JP5231511B2 (ja) 2010-11-09 2013-07-10 富士フイルム株式会社 内視鏡診断装置
JP5303012B2 (ja) 2010-12-15 2013-10-02 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP5222934B2 (ja) 2010-12-21 2013-06-26 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5496075B2 (ja) 2010-12-27 2014-05-21 富士フイルム株式会社 内視鏡診断装置
JP5752423B2 (ja) 2011-01-11 2015-07-22 富士フイルム株式会社 分光計測システムおよび分光計測システムの作動方法
JP5329593B2 (ja) * 2011-04-01 2013-10-30 富士フイルム株式会社 生体情報取得システムおよび生体情報取得システムの作動方法
JP2012235962A (ja) 2011-05-13 2012-12-06 Hoya Corp 電子内視鏡装置
JP5611892B2 (ja) 2011-05-24 2014-10-22 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP2012245223A (ja) 2011-05-30 2012-12-13 Hoya Corp 電子内視鏡装置及び分光画像最適化方法
JP5419930B2 (ja) * 2011-07-04 2014-02-19 富士フイルム株式会社 電子内視鏡システム、光源装置、及び電子内視鏡システムの作動方法
JP5579672B2 (ja) * 2011-08-15 2014-08-27 富士フイルム株式会社 内視鏡システム、及び光源装置
CN103796566B (zh) 2011-09-05 2017-06-06 富士胶片株式会社 内窥镜系统和图像显示方法
JP5331860B2 (ja) * 2011-09-15 2013-10-30 富士フイルム株式会社 内視鏡システム及び光源装置
WO2013040398A1 (en) 2011-09-15 2013-03-21 The Trustees Of Columbia University In The City Of New York Measurement of a fluorescent analyte using tissue excitation
US9183427B2 (en) 2011-09-29 2015-11-10 Hoya Corporation Diagnostic system
US20130158413A1 (en) * 2011-12-15 2013-06-20 Nellcor Puritan Bennett Llc Optical measurement of physiological blood parameters
JP6146955B2 (ja) 2012-03-13 2017-06-14 キヤノン株式会社 装置、表示制御方法、及びプログラム
JP5362149B1 (ja) 2012-03-30 2013-12-11 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP2014000301A (ja) 2012-06-20 2014-01-09 Fujifilm Corp 光源装置及び内視鏡システム
JP5623469B2 (ja) * 2012-07-06 2014-11-12 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡用制御プログラム
JP5702755B2 (ja) 2012-07-24 2015-04-15 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP2014036759A (ja) 2012-08-17 2014-02-27 Hoya Corp 電子内視鏡システムおよび内視鏡用光源装置
JP5774563B2 (ja) 2012-09-04 2015-09-09 富士フイルム株式会社 内視鏡システム及びそのプロセッサ装置並びに内視鏡システムの作動方法
JP5690790B2 (ja) 2012-09-21 2015-03-25 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP5670399B2 (ja) 2012-09-26 2015-02-18 富士フイルム株式会社 内視鏡システム及びそのプロセッサ装置並びに内視鏡システムの作動方法
JP2014230647A (ja) 2013-05-29 2014-12-11 Hoya株式会社 表示装置、表示方法および表示プログラム
CN105324064B (zh) 2013-05-30 2017-10-27 Hoya株式会社 生成示出生物组织中生物物质浓度分布图像的方法和装置
JP6257926B2 (ja) 2013-05-31 2018-01-10 Hoya株式会社 波長可変光バンドパスフィルタモジュール、波長可変光源装置及び分光内視鏡装置
JP6010571B2 (ja) * 2014-02-27 2016-10-19 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
JP6039639B2 (ja) * 2014-02-27 2016-12-07 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、及び内視鏡システム用プロセッサ装置の作動方法
JP6085649B2 (ja) * 2014-08-29 2017-02-22 富士フイルム株式会社 内視鏡用光源装置及び内視鏡システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7187379B2 (ja) 2019-04-25 2022-12-12 ミドリ電子株式会社 絶縁監視装置、絶縁監視装置の精度試験装置、絶縁監視装置の精度試験方法及びプログラム

Also Published As

Publication number Publication date
CN105324064A (zh) 2016-02-10
EP3005933B8 (en) 2019-01-02
CN105324064B (zh) 2017-10-27
EP3005933A4 (en) 2017-04-19
JPWO2014192781A1 (ja) 2017-02-23
EP3005933B1 (en) 2018-10-03
WO2014192781A1 (ja) 2014-12-04
US20160120449A1 (en) 2016-05-05
EP3005933A1 (en) 2016-04-13
US10722155B2 (en) 2020-07-28

Similar Documents

Publication Publication Date Title
JP6356122B2 (ja) 生体組織中の生体物質の濃度分布を示す画像を生成する装置の作動方法及び装置
JP6356051B2 (ja) 分析装置及び分析装置の作動方法
CN110840379B (zh) 图像采集系统和电子内窥镜系统
JP6195328B2 (ja) 分析装置
WO2017119239A1 (ja) 内視鏡装置
JP2017148392A (ja) 計算システム
JP6467562B2 (ja) 内視鏡システム
JP6284451B2 (ja) 内視鏡装置
WO2018043728A1 (ja) 内視鏡システム及び特徴量算出方法
JP6783168B2 (ja) 内視鏡システム及び分析装置
CN109561808B (zh) 分析装置
WO2018070474A1 (ja) 内視鏡システム
JP6584147B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170123

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180320

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180613

R150 Certificate of patent or registration of utility model

Ref document number: 6356122

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250