JP6257926B2 - Wavelength variable optical bandpass filter module, wavelength variable light source device, and spectroscopic endoscope device - Google Patents

Wavelength variable optical bandpass filter module, wavelength variable light source device, and spectroscopic endoscope device Download PDF

Info

Publication number
JP6257926B2
JP6257926B2 JP2013115123A JP2013115123A JP6257926B2 JP 6257926 B2 JP6257926 B2 JP 6257926B2 JP 2013115123 A JP2013115123 A JP 2013115123A JP 2013115123 A JP2013115123 A JP 2013115123A JP 6257926 B2 JP6257926 B2 JP 6257926B2
Authority
JP
Japan
Prior art keywords
wavelength
optical
light
filter element
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013115123A
Other languages
Japanese (ja)
Other versions
JP2014233344A (en
Inventor
千葉 亨
亨 千葉
佳巳 小原
佳巳 小原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2013115123A priority Critical patent/JP6257926B2/en
Publication of JP2014233344A publication Critical patent/JP2014233344A/en
Application granted granted Critical
Publication of JP6257926B2 publication Critical patent/JP6257926B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、医用分光画像の撮像に適した光学フィルタ素子、波長可変光バンドパスフィルタモジュール、波長可変光源装置及び分光内視鏡装置に関する。   The present invention relates to an optical filter element, a wavelength tunable optical bandpass filter module, a wavelength tunable light source device, and a spectroscopic endoscope device suitable for imaging medical spectral images.

近年、分光画像撮影機能を備えた内視鏡装置(分光内視鏡装置)が提案されている。このような分光内視鏡装置によれば、消化器の粘膜等の生体組織の分光特性に関する情報(例えば反射スペクトル)を含む画像情報を得ることができる。生体組織の反射スペクトルは、測定対象となる生体組織の表層近傍に含まれる物質の種類や濃度の情報を反映していることが知られている。具体的には、生体組織の反射スペクトルは、その生体組織を構成する複数の生体物質の反射スペクトルを重畳したものとなる。   In recent years, an endoscope apparatus (spectral endoscope apparatus) having a spectral image photographing function has been proposed. According to such a spectroscopic endoscope apparatus, it is possible to obtain image information including information (for example, a reflection spectrum) regarding spectral characteristics of a living tissue such as a mucous membrane of a digestive organ. It is known that the reflection spectrum of biological tissue reflects information on the type and concentration of substances contained in the vicinity of the surface layer of the biological tissue to be measured. Specifically, the reflection spectrum of a biological tissue is obtained by superimposing the reflection spectra of a plurality of biological substances constituting the biological tissue.

病変部の生体組織においては、健常部の生体組織には殆ど含まれていない物質が多く含まれる場合がある。そのため、病変部を含む生体組織の分光特性は、健常部のみの生体組織の分光特性とは異なったものとなる。このように、健常部と病変部とでは分光特性が異なるため、両者の分光特性を比較して、生体組織に何らかの病変部が含まれるかどうかを判断することができる。   In the living tissue of the lesioned part, there are cases where many substances that are hardly contained in the living tissue of the healthy part are included. For this reason, the spectral characteristics of the biological tissue including the lesioned part are different from the spectral characteristics of the biological tissue including only the healthy part. As described above, since the spectral characteristics are different between the healthy part and the lesioned part, it is possible to determine whether or not a certain lesioned part is included in the living tissue by comparing the spectral characteristics of both.

また、分光内視鏡装置には、分光画像撮影機能だけではなく、白色光を使用した通常の内視鏡観察画像を撮影する機能(通常観察機能)も要求される。特許文献1には、回折格子を使用して通常観察用の白色光(0次回折光)と分光画像撮影用の狭帯域光(−1次回折光)を分離生成する構成が記載されている。   Further, the spectroscopic endoscope apparatus is required to have not only a spectral image capturing function but also a function of capturing a normal endoscopic observation image using white light (normal observation function). Patent Document 1 describes a configuration in which white light for normal observation (0th order diffracted light) and narrowband light for spectral imaging (−1st order diffracted light) are separately generated using a diffraction grating.

特開2007−135989号公報JP 2007-135989 A

しかしながら、回折格子を使用する分光方式では、1つの回折光しか分光観察に使用できないため、光の利用効率が低く、十分な光量を確保することが難しい。   However, in a spectroscopic method using a diffraction grating, only one diffracted light can be used for spectroscopic observation, so that the light use efficiency is low and it is difficult to ensure a sufficient amount of light.

また、従来の光学フィルタ方式では、多くのフィルタ枚数が必要で、機材が煩雑なることが難点であった。   In addition, the conventional optical filter system requires a large number of filters, and the equipment is difficult.

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、光の利用効率が高く、少ない光学フィルタ素子数で分光が可能な、医用分光画像の撮像に適した光学フィルタ素子、波長可変光バンドパスフィルタモジュール、波長可変光源装置及び分光内視鏡装置を提供することである。   The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an optical filter suitable for imaging medical spectral images, which has high light utilization efficiency and can perform spectroscopy with a small number of optical filter elements. An element, a wavelength tunable optical bandpass filter module, a wavelength tunable light source device, and a spectroscopic endoscope device are provided.

本発明の実施形態によれば、医用分光画像の撮像に適した波長可変光バンドパスフィルタモジュール用の光学フィルタ素子であって、所定の間隔をあけて平行に配置された、ファブリ・ペロー共振器を構成する一対の反射面を備え、一対の反射面の少なくとも一方が、誘電体多層膜を含む波長選択性の反射面であり、一対の反射膜の間に真空層又は気体層が配置されていて、所定の生体物質の吸収帯内に中心波長を有する狭帯域光を選択的に透過させ、入射角に応じて中心波長が変化するように構成された光学フィルタ素子が提供される。   According to an embodiment of the present invention, a Fabry-Perot resonator is an optical filter element for a wavelength tunable optical bandpass filter module suitable for taking a medical spectral image, and is arranged in parallel at a predetermined interval. A pair of reflecting surfaces, at least one of the pair of reflecting surfaces is a wavelength-selective reflecting surface including a dielectric multilayer film, and a vacuum layer or a gas layer is disposed between the pair of reflecting films. Thus, an optical filter element configured to selectively transmit narrowband light having a center wavelength within an absorption band of a predetermined biological material and change the center wavelength according to an incident angle is provided.

上記の光学フィルタ素子において、所定の生体物質がモグロビンである構成としてもよい。この場合、ヘモグロビンのソーレ帯又はQ帯に中心波長を有する狭帯域光を選択的に透過させる構成としてもよいし、ヘモグロビンのソーレ帯及びQ帯にそれぞれ中心波長を有する2つの狭帯域光を選択的に透過させる構成としてもよい。 In the above-mentioned optical filter element may be configured given biological material is hemoglobin. In this case, a configuration may be adopted in which narrowband light having a center wavelength in the Sole band or Q band of hemoglobin is selectively transmitted, or two narrowband lights each having a center wavelength in the Sole band and Q band of hemoglobin are selected. It is good also as a structure which permeate | transmits.

上記の光学フィルタ素子において、誘電体多層膜が、高屈折率層と屈折率層とを交互に積層して形成された構成としてもよい。この場合において、高屈折率層が、酸化チタン(TiO)、酸化ジルコニウム(ZrO)及び五酸化ニオブ(Nb)の少なくとも一つを含み、低屈折率層が、酸化ケイ素(SiO)又はフッ化マグネシウム(MgF)を含む構成としてもよい。また、高屈折率層と低屈折率層との屈折率差が0.9以上である構成としてもよい。また、高屈折率層と屈折率層が少なくとも3層ずつ交互に積層された構成としてもよい。 In the above optical filter element, the dielectric multilayer film may be formed by alternately laminating high refractive index layers and low refractive index layers. In this case, the high refractive index layer includes at least one of titanium oxide (TiO 2 ), zirconium oxide (ZrO 2 ), and niobium pentoxide (Nb 2 O 5 ), and the low refractive index layer includes silicon oxide (SiO 2). 2 ) or magnesium fluoride (MgF 2 ). In addition, the refractive index difference between the high refractive index layer and the low refractive index layer may be 0.9 or more. Further, a configuration in which at least three high refractive index layers and low refractive index layers are alternately stacked may be employed.

本発明の実施形態によれば、医用分光画像の撮像に適した波長可変光バンドパスフィルタモジュールであって、上記の光学フィルタ素子と、光学フィルタ素子の反射面と平行な回転軸の周りに光学フィルタ素子を回転駆動する素子駆動手段と、前記素子駆動手段の駆動を制御するフィルタ制御部と、を備えた波長可変光バンドパスフィルタモジュールが提供される。   According to an embodiment of the present invention, there is provided a wavelength tunable optical bandpass filter module suitable for imaging a medical spectroscopic image, wherein the optical filter element is optically arranged around a rotation axis parallel to a reflection surface of the optical filter element. There is provided a wavelength tunable optical bandpass filter module including an element driving unit that rotationally drives a filter element, and a filter control unit that controls driving of the element driving unit.

上記の波長可変光バンドパスフィルタモジュールにおいて、光学フィルタ素子を透過するフィルタ光の中心波長を検出する波長検出手段を備え、フィルタ制御部が波長検出手段の検出結果に基づいて素子駆動手段の駆動をフィードバック制御する構成としてもよい。   The wavelength tunable optical bandpass filter module includes wavelength detection means for detecting the center wavelength of the filter light transmitted through the optical filter element, and the filter control unit drives the element driving means based on the detection result of the wavelength detection means. It is good also as a structure which performs feedback control.

上記の波長可変光バンドパスフィルタモジュールにおいて、光学フィルタ素子と同じ光路長を有し、光路上に光学フィルタ素子と直列に配置された光路補償板と、光路補償板を回転駆動する補償板駆動手段と、を更に備え、フィルタ制御部は、光路補償板が光学フィルタ素子と逆位相で回転するように補償板駆動手段の駆動を制御する構成としてもよい。   In the above-described wavelength tunable optical bandpass filter module, an optical path compensator having the same optical path length as the optical filter element and disposed in series with the optical filter element on the optical path, and a compensator driving means for rotationally driving the optical path compensator The filter controller may control the driving of the compensation plate driving means so that the optical path compensation plate rotates in the opposite phase to the optical filter element.

上記の波長可変光バンドパスフィルタモジュールにおいて、光学フィルタ素子の反射面が光軸と平行であるときに、入力された白色光のほとんどが、光学フィルタ素子を通過せずに、白色光として出力されるように構成されていてもよい。   In the above-described wavelength tunable optical bandpass filter module, when the reflection surface of the optical filter element is parallel to the optical axis, most of the input white light is output as white light without passing through the optical filter element. You may be comprised so that.

本発明の実施形態によれば、白色光源と、上記の波長可変光バンドパスフィルタモジュールと、を備えた、医用分光画像の撮像に適した波長可変光源装置が提供される。   According to the embodiment of the present invention, there is provided a wavelength tunable light source device that includes a white light source and the above-described wavelength tunable optical bandpass filter module and is suitable for imaging medical spectral images.

本発明の実施形態によれば、挿入部の先端に撮像素子を備えた電子内視鏡と、上記の波長可変光源装置と、撮像装置が生成した撮像データを処理してビデオ信号を生成する画像処理装置とを備え、中心波長の異なる狭帯域光を用いて撮像された複数の撮像データに基づいて分光画像データを生成する分光内視鏡装置が提供される。   According to the embodiment of the present invention, an electronic endoscope provided with an image pickup device at the distal end of the insertion portion, the above-described wavelength variable light source device, and an image for processing the imaging data generated by the imaging device to generate a video signal There is provided a spectral endoscope apparatus that includes a processing apparatus and generates spectral image data based on a plurality of imaging data captured using narrowband light having different center wavelengths.

上記の分光内視鏡装置において、フィルタ制御部が、ビデオ信号のフレームレートに同期して光学フィルタ素子を回転駆動する構成としてもよい。   In the above spectroscopic endoscope apparatus, the filter control unit may be configured to rotationally drive the optical filter element in synchronization with the frame rate of the video signal.

上記の分光内視鏡装置において、光学フィルタ素子の反射面が光軸と平行であるときに、波長可変光バンドパスフィルタモジュールを通過した白色光を用いて通常観察画像を撮像する構成としてもよい。   In the above-described spectroscopic endoscope apparatus, when the reflection surface of the optical filter element is parallel to the optical axis, a normal observation image may be captured using white light that has passed through the wavelength tunable optical bandpass filter module. .

以上のように、本発明によれば、光の利用効率が高く、少ない光学フィルタ素子数により分光が可能な光学フィルタ素子、波長可変光バンドパスフィルタモジュール、波長可変光源装置及び分光内視鏡装置が実現される。   As described above, according to the present invention, an optical filter element, a wavelength tunable optical band-pass filter module, a wavelength tunable light source device, and a spectroscopic endoscope apparatus that have high light utilization efficiency and are capable of performing spectroscopy with a small number of optical filter elements. Is realized.

図1は、本発明の実施の形態に係る分光内視鏡装置のブロック図である。FIG. 1 is a block diagram of a spectroscopic endoscope apparatus according to an embodiment of the present invention. 図2は、本発明の実施の形態に係る分光内視鏡装置の撮像素子に内蔵されるカラーフィルタの透過スペクトルである。FIG. 2 is a transmission spectrum of a color filter built in the imaging device of the spectroscopic endoscope apparatus according to the embodiment of the present invention. 図3は、本発明の実施の形態に係る分光内視鏡装置の光源部(波長可変光源装置)の概略構成を示す図である。FIG. 3 is a diagram showing a schematic configuration of a light source unit (wavelength variable light source device) of the spectroscopic endoscope apparatus according to the embodiment of the present invention. 図4は、本発明の実施の形態に係るフィルタ素子の透過スペクトルである。FIG. 4 is a transmission spectrum of the filter element according to the embodiment of the present invention. 図5は、本発明の実施の形態に係るフィルタ素子の回転位置と入射角の関係を示した図である。FIG. 5 is a diagram showing the relationship between the rotational position of the filter element and the incident angle according to the embodiment of the present invention. 図6は、本発明の実施の形態に係る分光内視鏡装置の表示画面の例である。FIG. 6 is an example of a display screen of the spectroscopic endoscope apparatus according to the embodiment of the present invention. 図7は、ヘモグロビンの吸収スペクトルである。FIG. 7 is an absorption spectrum of hemoglobin.

以下、本発明の実施の形態について、図面を参照しながら説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

本発明の実施形態に係る分光内視鏡装置は、消化器の粘膜等の生体組織の分光画像を撮像し、分光画像の分光情報に基づいて被写体の生体情報を定量的に分析して画像化する装置である。このような分光内視鏡装置を用いれば、生体組織の分光特性と相関がある種々の生体情報を定量化し、画像化することができる。以下に説明する本発明の実施形態は、ヘモグロビン(酸化ヘモグロビン及び還元ヘモグロビン)の吸収帯における生体組織の分光情報に基づいて、各種病変部の診断において重要な生体情報となる酸素飽和度の画像を生成する分光内視鏡に本発明を適用したものの一例である。   A spectroscopic endoscope apparatus according to an embodiment of the present invention captures a spectral image of a biological tissue such as a mucous membrane of a digestive organ and quantitatively analyzes the biological information of a subject based on the spectral information of the spectral image to form an image. It is a device to do. By using such a spectroscopic endoscope apparatus, it is possible to quantify and image various biological information correlated with the spectral characteristics of biological tissue. In the embodiment of the present invention described below, based on spectral information of biological tissue in the absorption band of hemoglobin (oxygenated hemoglobin and reduced hemoglobin), an image of oxygen saturation that is important biological information in diagnosis of various lesions is obtained. It is an example of what applied this invention to the spectroscopic endoscope to produce | generate.

なお、分光画像とは、各画素が分光情報(例えば反射スペクトルデータ)を持つ画像である。後述するように、本実施形態の分光画像データは、中心波長の異なる狭帯域光を用いて撮像した複数のデジタル画像データ(以下「分光成分画像データ」という。)から構成される。ここで、狭帯域光の中心波長とは、狭帯域光のパワースペクトルにおいてピーク値の例えば半値以上のパワースペクトル密度を有する波長範囲の中心値である。同様に、フィルタ素子の透過波長域の中心波長とは、フィルタ素子の透過スペクトルにおいてピーク値の例えば半値以上の透過率を有する波長範囲の中心値である。なお、狭帯域光のパワースペクトル(又はフィルタ素子の透過スペクトル)が釣鐘状の波形である場合は、中心波長の代わりにピーク波長を用いてもよい。   A spectral image is an image in which each pixel has spectral information (for example, reflection spectrum data). As will be described later, the spectral image data of the present embodiment is composed of a plurality of digital image data (hereinafter referred to as “spectral component image data”) captured using narrowband light having different center wavelengths. Here, the center wavelength of narrowband light is the center value of a wavelength range having a power spectrum density equal to or higher than a half value of the peak value in the power spectrum of narrowband light. Similarly, the center wavelength of the transmission wavelength region of the filter element is the center value of a wavelength range having a transmittance that is, for example, half or more of the peak value in the transmission spectrum of the filter element. When the power spectrum of narrowband light (or the transmission spectrum of the filter element) has a bell-shaped waveform, the peak wavelength may be used instead of the center wavelength.

本発明の実施形態に係る分光内視鏡装置の構成を説明する前に、ヘモグロビンの分光特性について説明する。   Before describing the configuration of the spectroscopic endoscope apparatus according to the embodiment of the present invention, the spectral characteristics of hemoglobin will be described.

図7に、ヘモグロビンの吸収スペクトルを示す。実線の波形は酸化ヘモグロビン(HbO)の吸収スペクトルであり、破線の波形は還元ヘモグロビン(Hb)の吸収スペクトルである。図7に示すように、ヘモグロビンは420nm付近(ソーレ帯)と550nm付近(Q帯)に強い吸収帯を有している。また、これら2つの吸収帯において、酸化ヘモグロビンと還元ヘモグロビンとではピーク波長が異なる。また、420nm帯及び550nm帯においては、分光内視鏡によって観察される消化器の粘膜組織の分光特性に対するモグロビンの分光特性の寄与が支配的となっている。そのため、420nm帯又は550nm帯における消化器の粘膜組織の分光特性から、粘膜組織中の酸化ヘモグロビンと還元ヘモグロビンのモル濃度比(すなわち酸素飽和度)を定量的に評価することができる。 FIG. 7 shows the absorption spectrum of hemoglobin. The solid line waveform is the absorption spectrum of oxyhemoglobin (HbO), and the broken line waveform is the absorption spectrum of deoxyhemoglobin (Hb). As shown in FIG. 7, hemoglobin has strong absorption bands near 420 nm (Sole band) and 550 nm (Q band). Further, in these two absorption bands, the peak wavelength is different between oxyhemoglobin and reduced hemoglobin. In the 420nm band and 550nm band, the contribution of spectral characteristics of hemoglobin is dominant for the spectral characteristics of the gastrointestinal mucosal tissue being observed by spectroscopic endoscope. Therefore, the molar concentration ratio of oxygenated hemoglobin and reduced hemoglobin (that is, oxygen saturation) in the mucosal tissue can be quantitatively evaluated from the spectral characteristics of the mucosal tissue of the digestive organ in the 420 nm band or 550 nm band.

以下に説明する実施形態では、420nm帯及び550nm帯の両吸収帯の分光特性を用いることにより、酸素飽和度を高精度で定量化することを可能にしている。   In the embodiments described below, the oxygen saturation can be quantified with high accuracy by using the spectral characteristics of both the 420 nm band and the 550 nm band.

図1は、本発明の実施形態に係る分光内視鏡装置1のブロック図である。本実施形態の分光内視鏡装置1は、電子内視鏡100、プロセッサ200及びモニタ300を備えている。電子内視鏡100及びモニタ300は、プロセッサ200に着脱可能に接続されている。また、プロセッサ200には、光源部400と画像処理部500が内蔵されている。   FIG. 1 is a block diagram of a spectroscopic endoscope apparatus 1 according to an embodiment of the present invention. The spectroscopic endoscope apparatus 1 of this embodiment includes an electronic endoscope 100, a processor 200, and a monitor 300. The electronic endoscope 100 and the monitor 300 are detachably connected to the processor 200. Further, the processor 200 includes a light source unit 400 and an image processing unit 500.

電子内視鏡100は、体腔内に挿入される挿入管110を有している。電子内視鏡100の内部には、全長に亘って延びるライトガイド131が設けられている。ライトガイド131の一端部(先端部131a)は、挿入管110の先端部(挿入管先端部111)の近傍に配置されており、ライトガイド131の他端部(基端部131b)は、プロセッサ200に接続されている。プロセッサ200は、キセノンランプ等の光量の大きい白色光WLを生成する光源430等を備えた光源部400(後述)を内蔵しており、この光源部400によって生成された照明光ILは、ライトガイド131の基端131bに入射するようになっている。ライトガイド131の基端131bに入射した光は、ライトガイド131を通ってその先端部131aに導かれ、先端部131aから放射される。電子内視鏡100の挿入管先端部111には、ライトガイド131の先端部131aと対向して配置された配光レンズ132が設けられており、ライトガイド131の先端部131aから放射される照明光ILは、配光レンズ132を透過して、挿入管先端部111の近傍の生体組織Tを照明する。   The electronic endoscope 100 has an insertion tube 110 that is inserted into a body cavity. Inside the electronic endoscope 100, a light guide 131 extending over the entire length is provided. One end portion (tip portion 131a) of the light guide 131 is disposed in the vicinity of the tip portion (insertion tube tip portion 111) of the insertion tube 110, and the other end portion (base end portion 131b) of the light guide 131 is a processor. 200. The processor 200 includes a light source unit 400 (described later) including a light source 430 that generates white light WL having a large light amount, such as a xenon lamp, and the illumination light IL generated by the light source unit 400 is a light guide. The light enters the base end 131b of 131. The light incident on the proximal end 131b of the light guide 131 is guided to the distal end portion 131a through the light guide 131 and is emitted from the distal end portion 131a. A light distribution lens 132 is provided at the distal end portion 111 of the insertion tube of the electronic endoscope 100 so as to face the distal end portion 131 a of the light guide 131, and illumination emitted from the distal end portion 131 a of the light guide 131. The light IL passes through the light distribution lens 132 and illuminates the living tissue T in the vicinity of the insertion tube distal end portion 111.

また、挿入管先端部111には対物光学系121及び撮像素子141が設けられている。生体組織Tの表面で反射又は散乱された光の一部(戻り光)は、対物光学系121に入射し、集光されて、撮像素子141の受光面に結像する。本実施形態の撮像素子141は、その受光面にカラーフィルタ141aを備えたカラー画像撮像用のCCD(Charge Coupled Device)イメージセンサであるが、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の他の種類の撮像素子を使用してもよい。カラーフィルタ141aは、赤色の光を透過させるRフィルタと、緑色の光を透過させるGフィルタと、青色の光を透過させるBフィルタとが市松状に配列され、撮像素子141の各受光素子上に直接形成された、いわゆるオンチップフィルタである。R、G、Bの各フィルタは、図2に示すような分光特性を有している。すなわち、本実施形態のRフィルタは、波長約570nm以上の光を透過させるフィルタであり、Gフィルタは、波長約470nm〜620nmの光を透過させるフィルタであり、Bフィルタは、波長約530nm以下の光を透過させるフィルタである。   In addition, an objective optical system 121 and an image sensor 141 are provided at the distal end portion 111 of the insertion tube. Part of the light reflected or scattered on the surface of the living tissue T (returned light) is incident on the objective optical system 121, collected, and imaged on the light receiving surface of the image sensor 141. The image sensor 141 of the present embodiment is a CCD (Charge Coupled Device) image sensor for capturing a color image having a color filter 141a on its light receiving surface, but other types such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor. The image sensor may be used. In the color filter 141a, an R filter that transmits red light, a G filter that transmits green light, and a B filter that transmits blue light are arranged in a checkered pattern. It is a so-called on-chip filter formed directly. Each of the R, G, and B filters has spectral characteristics as shown in FIG. That is, the R filter of this embodiment is a filter that transmits light with a wavelength of about 570 nm or more, the G filter is a filter that transmits light with a wavelength of about 470 nm to 620 nm, and the B filter is a wavelength of about 530 nm or less. It is a filter that transmits light.

撮像素子141は、受光面に結像した像に対応する撮像信号を、周期的に(例えば1/30秒間隔で)出力する。撮像素子141から出力された撮像信号は、ケーブル142を介してプロセッサ200の画像処理部500に送られる。   The image sensor 141 periodically outputs an image signal corresponding to an image formed on the light receiving surface (for example, at 1/30 second intervals). The imaging signal output from the imaging element 141 is sent to the image processing unit 500 of the processor 200 via the cable 142.

画像処理部500は、A/D変換回路510、一時記憶メモリ520、コントローラ530、ビデオメモリ540及び信号処理回路550を備えている。A/D変換回路510は、電子内視鏡100の撮像素子141からケーブル142を介して入力される撮像信号をA/D変換してデジタル画像データを出力する。A/D変換回路510から出力されるデジタル画像データは、一時記憶メモリ520に送られ記憶される。なお、デジタル画像データ(撮像信号)には、Rフィルタが装着された受光素子によって撮像されたRデジタル画像データ(R撮像信号)、Gフィルタが装着された受光素子によって撮像されたGデジタル画像データ(G撮像信号)及びBフィルタが装着された受光素子によって撮像されたBデジタル画像データ(B撮像信号)が含まれている。   The image processing unit 500 includes an A / D conversion circuit 510, a temporary storage memory 520, a controller 530, a video memory 540, and a signal processing circuit 550. The A / D conversion circuit 510 performs A / D conversion on an imaging signal input from the imaging device 141 of the electronic endoscope 100 via the cable 142 and outputs digital image data. Digital image data output from the A / D conversion circuit 510 is sent to and stored in the temporary storage memory 520. The digital image data (imaging signal) includes R digital image data (R imaging signal) captured by a light receiving element with an R filter and G digital image data captured by a light receiving element with a G filter. (G imaging signal) and B digital image data (B imaging signal) imaged by a light receiving element to which a B filter is attached are included.

コントローラ530は、一時記憶メモリ520に記憶された単数又は複数のデジタル画像データを処理して一枚の表示用画像データを生成し、これをビデオメモリ540に送る。例えば、コントローラ530は、単一のデジタル画像データから生成された表示用画像データ、複数のデジタル画像データの画像が並べられた表示用画像データ、或いは複数のデジタル画像データに基づいて画素毎に生体組織Tの反射スペクトルを生成し、これによって健常部と病変部とを識別した表示用画像データや、特定の画素に対応する生体組織Tの反射スペクトルのグラフを表示する表示用画像データ等を生成して、これをビデオメモリ540に記憶させる。信号処理回路550は、ビデオメモリ540に記憶されている表示用画像データを所定の形式(例えばNTSC形式)のビデオ信号に変換して出力する。信号処理回路550から出力されたビデオ信号は、モニタ300に入力される。この結果、電子内視鏡100によって撮像された内視鏡画像等が、モニタ300に表示される。   The controller 530 processes one or more digital image data stored in the temporary storage memory 520 to generate a piece of display image data, and sends this to the video memory 540. For example, the controller 530 may display the image data for each pixel based on display image data generated from a single digital image data, display image data in which images of a plurality of digital image data are arranged, or a plurality of digital image data. Generates a reflection spectrum of the tissue T, thereby generating display image data for identifying a healthy part and a lesioned part, display image data for displaying a graph of the reflection spectrum of the living tissue T corresponding to a specific pixel, and the like. Then, this is stored in the video memory 540. The signal processing circuit 550 converts display image data stored in the video memory 540 into a video signal of a predetermined format (for example, NTSC format) and outputs the video signal. The video signal output from the signal processing circuit 550 is input to the monitor 300. As a result, an endoscopic image captured by the electronic endoscope 100 is displayed on the monitor 300.

このように、プロセッサ200は、電子内視鏡100の撮像素子141から出力される撮像信号を処理するビデオプロセッサとしての機能と、電子内視鏡100の挿入先端部111近傍の生体組織Tを照明するための照明光を電子内視鏡100のライトガイド131に供給する光源装置としての機能とを兼ね備えたものである。   As described above, the processor 200 functions as a video processor that processes an imaging signal output from the imaging element 141 of the electronic endoscope 100 and illuminates the living tissue T in the vicinity of the insertion tip 111 of the electronic endoscope 100. It also has a function as a light source device that supplies illumination light to the light guide 131 of the electronic endoscope 100.

図3は、プロセッサ200の光源部400の概略構成を示す図である。光源部400は、上述の光源430の他に、コリメータレンズ440、波長可変光バンドパスフィルタモジュール410(以下「可変フィルタ410」と略記する。)、フィルタ制御部420及び集光レンズ450を備えている。光源430から出射される白色光WLは、コリメータレンズ440によって平行光にされから、可変フィルタ410を通過した後、集光レンズ450によってライトガイド131の基端131bに集光される。   FIG. 3 is a diagram illustrating a schematic configuration of the light source unit 400 of the processor 200. In addition to the light source 430, the light source unit 400 includes a collimator lens 440, a wavelength tunable optical bandpass filter module 410 (hereinafter abbreviated as “variable filter 410”), a filter control unit 420, and a condenser lens 450. Yes. The white light WL emitted from the light source 430 is collimated by the collimator lens 440, passes through the variable filter 410, and is collected by the condenser lens 450 on the base end 131 b of the light guide 131.

可変フィルタ410は、円盤形状のフィルタ素子412及び光路補償板417と、回転ステージ416、418を備えている。後述するように、フィルタ素子412は、白色光WLから複数の狭帯域の光を選択的に透過させるファブリ・ペロー(Fabry-Perot)型の干渉フィルタであり、白色光WLの入射角θに応じて透過光(フィルタ光FL)の波長が変化する。可変フィルタ410は、フィルタ素子412への白色光WLの入射角θを回転ステージ416によって変化させることにより、フィルタ光FLの波長を変化させられるように構成されている。   The variable filter 410 includes a disk-shaped filter element 412, an optical path compensation plate 417, and rotary stages 416 and 418. As will be described later, the filter element 412 is a Fabry-Perot type interference filter that selectively transmits a plurality of narrow-band lights from the white light WL, and corresponds to the incident angle θ of the white light WL. Thus, the wavelength of the transmitted light (filter light FL) changes. The variable filter 410 is configured to change the wavelength of the filter light FL by changing the incident angle θ of the white light WL to the filter element 412 by the rotation stage 416.

フィルタ素子412と光路補償板417は、各光学面が対応する回転ステージ416、418の回転軸と平行になるよう、図示しない光学マウントを介して回転ステージ416、418にそれぞれ取り付けられている。また、回転ステージ416、418は、それぞれ回転軸416c、418cが光源部400の光軸Axと直交するように、光軸Axの方向に並べて配置されている。なお、回転軸416c、418cは、必ずしも光軸Axと交差する必要は無く、光軸Axに対してねじれの位置に配置されていてもよい。   The filter element 412 and the optical path compensation plate 417 are attached to the rotary stages 416 and 418 via optical mounts (not shown) so that each optical surface is parallel to the rotation axis of the corresponding rotary stage 416 and 418. The rotation stages 416 and 418 are arranged in the direction of the optical axis Ax so that the rotation axes 416c and 418c are orthogonal to the optical axis Ax of the light source unit 400, respectively. The rotating shafts 416c and 418c do not necessarily need to intersect the optical axis Ax, and may be disposed at a twisted position with respect to the optical axis Ax.

回転ステージ416、418は、図示しないサーボモータを備えた、回転位置が制御可能な回転駆動装置である。回転ステージ416、418は、それぞれフィルタ制御部420の本体421に接続されており、回転ステージ416、418の回転駆動はフィルタ制御部420によって制御される。   The rotary stages 416 and 418 are rotary drive devices that include a servo motor (not shown) and that can control the rotational position. The rotation stages 416 and 418 are respectively connected to the main body 421 of the filter control unit 420, and the rotation drive of the rotation stages 416 and 418 is controlled by the filter control unit 420.

フィルタ制御部420は、本体421、ビームスプリッタ422、集光レンズ423及び小型分光器424を備えている。ビームスプリッタ422は、集光レンズ450とライトガイド131の基端131bの間(基端131bの近傍)に配置され、可変フィルタ410を透過した照明光ILの一部(好ましくは5%未満)を取り出し、集光レンズ423を介して小型分光器424に供給する。小型分光器424は、図示しない回折格子とリニアイメージセンサ(CCDアレイ等)を備えていて、照明光ILの分光スペクトルを取得して本体421に出力する。本体421は、小型分光器424から取得した分光スペクトルに基づいて照明光ILに含まれる複数の狭帯域光の中心波長を検出し、中心波長の検出値と目標値との差分に基づいて回転ステージ416、418の駆動をフィードバック制御する。このフィードバック制御によって、照明光ILの中心波長を高い確度で制御することが可能になる。なお、フィルタ制御部420は、コントローラ530に接続されていて、コントローラ530の指令に従って動作する。   The filter control unit 420 includes a main body 421, a beam splitter 422, a condenser lens 423, and a small spectroscope 424. The beam splitter 422 is disposed between the condenser lens 450 and the base end 131b of the light guide 131 (in the vicinity of the base end 131b), and a part (preferably less than 5%) of the illumination light IL transmitted through the variable filter 410. The sample is taken out and supplied to the small spectroscope 424 through the condenser lens 423. The small spectroscope 424 includes a diffraction grating (not shown) and a linear image sensor (CCD array or the like), acquires a spectral spectrum of the illumination light IL, and outputs it to the main body 421. The main body 421 detects the center wavelength of a plurality of narrowband lights included in the illumination light IL based on the spectral spectrum acquired from the small spectroscope 424, and rotates based on the difference between the detected value of the center wavelength and the target value. The driving of 416 and 418 is feedback controlled. By this feedback control, the center wavelength of the illumination light IL can be controlled with high accuracy. The filter control unit 420 is connected to the controller 530 and operates according to a command from the controller 530.

図3に示すように、フィルタ素子412に白色光WLを斜めに入射させると、フィルタ光FLの光路は、光軸Ax及び回転軸416cの双方と垂直な方向に距離Δだけシフトする。このシフト量Δは、白色光WLの入射角によって変化する。本実施形態では、このフィルタ光FLの光路のシフトを補正するために、フィルタ素子412と略同じ厚さの(すなわち光学的距離が略等しい)透明基板である光路補償板417が、コリメータレンズ440と集光レンズ450との間に配置されている。フィルタ制御部420は、フィルタ素子412と光路補償板417を、回転軸416cと418cの周りにそれぞれ逆位相で(逆向きに)回転させる。その結果、フィルタ素子412及び光路補償板417を通過した照明光ILの光路が、フィルタ素子412の回転角によって変化しなくなるため、可変フィルタ410の動作に伴うライトガイド131への照明光ILの結合効率の変動が抑えられる。フィルタ素子412による光路の変動が小さい場合や、入射面が大きく光路の変位に影響されない場合には光路補償板417を省略してもよい。   As shown in FIG. 3, when the white light WL is obliquely incident on the filter element 412, the optical path of the filter light FL is shifted by a distance Δ in a direction perpendicular to both the optical axis Ax and the rotation axis 416c. This shift amount Δ varies depending on the incident angle of the white light WL. In the present embodiment, in order to correct the shift of the optical path of the filter light FL, an optical path compensation plate 417 that is a transparent substrate having substantially the same thickness as the filter element 412 (that is, the optical distance is substantially equal) is used as the collimator lens 440. And the condensing lens 450. The filter control unit 420 rotates the filter element 412 and the optical path compensation plate 417 around the rotation shafts 416c and 418c in opposite phases (in opposite directions). As a result, the optical path of the illumination light IL that has passed through the filter element 412 and the optical path compensation plate 417 does not change depending on the rotation angle of the filter element 412, so that the illumination light IL is coupled to the light guide 131 accompanying the operation of the variable filter 410. Variations in efficiency are suppressed. The optical path compensation plate 417 may be omitted when the variation in the optical path by the filter element 412 is small or when the incident surface is large and is not affected by the displacement of the optical path.

フィルタ素子412は、反射面を向い合せて配置された一対のミラー413、414と、ミラー413、414の周縁部間に挟み込まれた円管形状のフィルムであるスペーサ415を備えたファブリ・ペロー型の干渉フィルタである。ミラー413、414は、円板形状の透明基板413s、414sの一面(反射面)に、波長選択性を有するDBR(Distributed Bragg Reflector)反射膜413f、414fがそれぞれコーティングされたものである。   The filter element 412 is a Fabry-Perot type including a pair of mirrors 413 and 414 arranged with their reflecting surfaces facing each other, and a spacer 415 that is a circular tube-shaped film sandwiched between the peripheral edges of the mirrors 413 and 414. This is an interference filter. The mirrors 413 and 414 are obtained by coating one surface (reflection surface) of a disk-shaped transparent substrate 413s and 414s with a DBR (Distributed Bragg Reflector) reflection film 413f and 414f having wavelength selectivity, respectively.

本実施形態のDBR反射膜413f、414fは、屈折率の異なる2種類の誘電体薄膜を交互に積層させたものである。一対のミラー413、414は、DBR反射膜413f及び414fが所定の間隔を空けて平行に向かい合うように配置されており、共振条件を満たす所定の波長に対して極めて高い(例えば90%以上の)透過率を有するバンドパスフィルタを構成することができる。   The DBR reflection films 413f and 414f of this embodiment are obtained by alternately stacking two types of dielectric thin films having different refractive indexes. The pair of mirrors 413 and 414 are arranged such that the DBR reflecting films 413f and 414f face each other in parallel with a predetermined interval, and are extremely high (for example, 90% or more) with respect to a predetermined wavelength that satisfies the resonance condition. A band-pass filter having transmittance can be configured.

このような構成の干渉フィルタにおいては、一対のミラー413、414によってファブリ・ペロー型共振器が形成され、入射した光が対向するDBR反射膜413f、414fの間で繰り返し反射される。その過程で、共振条件を満たさない波長成分が干渉によって打ち消され、共振条件を満たす複数の波長域の光(狭帯域光)を成分に含む(すなわち、複数の中心波長を有する)フィルタ光FLが生成される。生成されたフィルタ光FLは、透明基板414sを介して光路補償板417に向かって出射される。   In the interference filter having such a configuration, a pair of mirrors 413 and 414 form a Fabry-Perot resonator, and incident light is repeatedly reflected between the opposing DBR reflection films 413f and 414f. In the process, the wavelength component that does not satisfy the resonance condition is canceled by interference, and the filter light FL that includes light (narrowband light) in a plurality of wavelength regions that satisfy the resonance condition as a component (that is, has a plurality of center wavelengths) Generated. The generated filter light FL is emitted toward the optical path compensation plate 417 through the transparent substrate 414s.

図4は、本発明の実施形態(後述する実施例1)に係るフィルタ素子412の透過スペクトルである。図4において、実線は垂直入射(θ=0°)時の透過スペクトルを示し、破線は斜入射(θ=40°)時の透過スペクトルを示す。図4に示すように、フィルタ素子412は、生体組織Tの分光観察に適した400〜650nm帯に2つの狭い透過波長域I、II(すなわち、2つの中心波長λI、λII)を有している。なお、以下の説明において、フィルタ素子412を透過したフィルタ光FLに含まれる、透過波長域I、IIに対応する光を狭帯域光I、IIと呼ぶ。 FIG. 4 is a transmission spectrum of the filter element 412 according to the embodiment (Example 1 described later) of the present invention. In FIG. 4, a solid line indicates a transmission spectrum at normal incidence (θ = 0 °), and a broken line indicates a transmission spectrum at oblique incidence (θ = 40 °). As shown in FIG. 4, the filter element 412 has two narrow transmission wavelength regions I and II (that is, two center wavelengths λ I and λ II ) in the 400 to 650 nm band suitable for spectroscopic observation of the living tissue T. doing. In the following description, light corresponding to the transmission wavelength regions I and II included in the filtered light FL transmitted through the filter element 412 is referred to as narrowband light I and II.

表1に、フィルタ素子412の入射角θと中心波長λI、λIIとの関係を示す。 Table 1 shows the relationship between the incident angle θ of the filter element 412 and the center wavelengths λ I and λ II .

表1に示すように、本実施形態のフィルタ素子412は、2つの中心波長λI、λIIの可変域が、それぞれヘモグロビンのソーレ帯とQ帯(図7)の領域を包含するように設計されている。 As shown in Table 1, the filter element 412 of this embodiment is designed so that the variable ranges of the two central wavelengths λ I and λ II include the regions of the hemoglobin Sole band and the Q band (FIG. 7), respectively. Has been.

また、表1に示すように、フィルタ素子412を透過する狭帯域光A、Bの中心波長λI、λIIは、入射角θによって変化する。具体的には、入射角θが大きいほど、各中心波長λI、λIIは短くなる。 Further, as shown in Table 1, the center wavelengths λ I and λ II of the narrowband light A and B transmitted through the filter element 412 vary depending on the incident angle θ. Specifically, as the incident angle θ increases, the center wavelengths λ I and λ II become shorter.

また、入射角の変化量Δθに対する中心波長の変化量Δλの大きさは、DBR反射膜413f、414fの屈折率と共振器内の媒質の屈折率(すなわちDBR反射膜413fと414fとで挟まれた隙間の屈折率)との屈折率差が大きいほど、大きくなる。従来のファブリ・ペロー型の干渉フィルタでは共振器内にエポキシ樹脂等が充填されているが、本実施形態では、共振器内の空間を屈折率の高い固体や液体で充填せずに空気層とすることにより、各中心波長λI、λIIは50nm近い幅で変化させることが可能になっている。これにより、ヘモグロビンのソーレ帯とQ帯の中心領域全体にわたって波長λI、λIIを掃引することが可能になる。 The magnitude of the change Δλ of the center wavelength with respect to the change Δθ in the incident angle is sandwiched between the refractive index of the DBR reflection films 413f and 414f and the refractive index of the medium in the resonator (that is, the DBR reflection films 413f and 414f). The larger the difference in refractive index from the refractive index of the gap, the larger the difference. In a conventional Fabry-Perot type interference filter, the resonator is filled with epoxy resin or the like, but in this embodiment, the space in the resonator is not filled with a solid or liquid having a high refractive index, and the air layer is filled. As a result, the center wavelengths λ I and λ II can be changed with a width close to 50 nm. This makes it possible to sweep the wavelengths λ I and λ II over the entire central region of the hemoglobin Sole band and Q band.

また、フィルタ光FLに含まれる2つの中心波長λI、λIIは、それぞれ撮像素子141に設けられたカラーフィルタ141aに含まれるR、G、Bフィルタのいずれか一つの透過波長域に属するように構成されている。具体的には、表1に示す中心波長λIの可変範囲(約410〜460nm)は、その全域が図2に示すBフィルタの透過波長域に含まれているが、Gフィルタ及びRフィルタの透過波長域とは重なっていない。従って、狭帯域光Iは、Bフィルタのみを透過することができる。 Further, the two center wavelengths λ I and λ II included in the filter light FL belong to one of the transmission wavelength ranges of the R, G, and B filters included in the color filter 141 a provided in the image sensor 141, respectively. It is configured. Specifically, the variable range (about 410 to 460 nm) of the center wavelength λ I shown in Table 1 is included in the transmission wavelength range of the B filter shown in FIG. It does not overlap with the transmission wavelength range. Accordingly, the narrowband light I can pass only through the B filter.

同様に、中心波長λIIの可変範囲(約530〜590nm)は、その全域がGフィルタの透過波長域に含まれているが、Bフィルタ及びRフィルタの透過波長域とは殆ど重なっていない。従って、狭帯域光IIは実質的にGフィルタのみを透過することができる。 Similarly, the variable range (about 530 to 590 nm) of the center wavelength λ II is included in the transmission wavelength range of the G filter, but hardly overlaps the transmission wavelength range of the B filter and the R filter. Accordingly, the narrow band light II can substantially pass only through the G filter.

従って、本実施形態の分光内視鏡装置1を用いて撮像すると、狭帯域光Iを照明光として撮像した画像がBデジタル画像データとして得られ、狭帯域光IIを照明光として撮像した画像がGデジタル画像データとして得られる。   Therefore, when imaging is performed using the spectroscopic endoscope apparatus 1 according to the present embodiment, an image captured using the narrowband light I as illumination light is obtained as B digital image data, and an image captured using the narrowband light II as illumination light is obtained. Obtained as G digital image data.

このように、本実施形態においては、1つのフィルタ素子412により、ヘモグロビンの2つの吸収帯(ソーレ帯、Q帯)にそれぞれ対応する2つの狭帯域光I、I Iが生成され、各狭帯域光I、I Iの中心波長λI、λIIがヘモグロビンの対応する吸収帯の中心領域全域にわたって掃引される。また、2つの狭帯域光I、I Iによる像を、それぞれに対応するカラーフィルタ(Bフィルタ、Gフィルタ)が装着された受光素子によって、1回の撮像動作で同時に取り込むことで、効率よく分光成分画像データを取得することが可能になっている。 Thus, in this embodiment, two narrowband lights I and II corresponding to two absorption bands (sole band and Q band) of hemoglobin are generated by one filter element 412, and each narrowband light is generated. The center wavelengths λ I and λ II of I and II are swept across the central region of the corresponding absorption band of hemoglobin. Also, the spectral components can be efficiently captured by simultaneously capturing the images of the two narrow-band lights I and II with a light receiving element equipped with the corresponding color filters (B filter and G filter) in one imaging operation. Image data can be acquired.

図5は、フィルタ素子412の回転位置φ(単位:deg)と入射角θ(単位:deg)の関係を示した図である。フィルタ素子412の回転位置φは、白色光WLがミラー413側からフィルタ素子412に垂直入射する位置を0°、フィルタ素子412の回転方向(図5における時計回り方向)を正方向として定義される。   FIG. 5 is a diagram showing the relationship between the rotational position φ (unit: deg) of the filter element 412 and the incident angle θ (unit: deg). The rotational position φ of the filter element 412 is defined with the position where the white light WL is perpendicularly incident on the filter element 412 from the mirror 413 side as 0 ° and the rotational direction of the filter element 412 (clockwise direction in FIG. 5) as the positive direction. .

図5(a)〜(d)は、順にフィルタ素子412の回転位置φが0°、45°、90°、135°である場合を示した図である。図5(b)に示すように、回転位置φが0〜90°の範囲にあるときは、白色光WLはミラー413側からフィルタ素子412に入射し、白色光WLの入射角θの値は回転位置φの値と一致する。そのため、フィルタ素子412の回転に伴って、入射角θが増加し、その結果、フィルタ光FLに含まれる各2つの狭帯域光I,IIの中心波長λI、λIIが短くなる。 FIGS. 5A to 5D are diagrams showing the case where the rotational position φ of the filter element 412 is 0 °, 45 °, 90 °, and 135 ° in order. As shown in FIG. 5B, when the rotational position φ is in the range of 0 to 90 °, the white light WL enters the filter element 412 from the mirror 413 side, and the value of the incident angle θ of the white light WL is It coincides with the value of the rotational position φ. Therefore, the incident angle θ increases as the filter element 412 rotates, and as a result, the center wavelengths λ I and λ II of the two narrow-band lights I and II included in the filter light FL become shorter.

なお、本実施形態では、白色光WLの入射角θが0〜45°の範囲内にあるときに白色光WLの全光束がフィルタ素子412の有効面(枠状のスペーサ415の内部)を通過するようになっている。そのため、本実施形態の分光内視鏡装置1は、白色光WLの入射角θが0〜45°の範囲内にあるときに分光観察(分光画像の撮影)を行うように構成されている。   In the present embodiment, when the incident angle θ of the white light WL is in the range of 0 to 45 °, the total luminous flux of the white light WL passes through the effective surface of the filter element 412 (inside the frame-shaped spacer 415). It is supposed to be. Therefore, the spectroscopic endoscope apparatus 1 of the present embodiment is configured to perform spectroscopic observation (spectral image capturing) when the incident angle θ of the white light WL is in the range of 0 to 45 °.

また、図5(c)に示すように、フィルタ素子412の回転位置φが90°のときには、白色光WLの大部分がフィルタ素子412を素通りするため、可変フィルタ410からは白色光の照明光ILが出射される。そのため、本実施形態の分光内視鏡装置1は、フィルタ素子412の回転位置φが90°のときに通常観察を行うように構成されている。   Further, as shown in FIG. 5C, when the rotational position φ of the filter element 412 is 90 °, most of the white light WL passes through the filter element 412, so that the variable light filter 410 emits white light. IL is emitted. Therefore, the spectroscopic endoscope apparatus 1 of the present embodiment is configured to perform normal observation when the rotational position φ of the filter element 412 is 90 °.

また、図5(d)に示すように、フィルタ素子412の回転位置φが90〜180°の範囲にあるときは、白色光WLはミラー414側からフィルタ素子412に入射する。なお、フィルタ素子412には方向性が無く、白色光WLがミラー413側から入射しても、ミラー414側から入射しても、入射角θが同じであれば同じ光学特性を示す。従って、回転位置φが90〜180°の範囲にあるときは、フィルタ素子412の回転に伴って、入射角θが減少し、その結果、フィルタ光FLに含まれる各波長帯の中心波長λI、λIIが長くなる。すなわち、図5(b)に示す回転位置φが0〜90°の範囲にある場合とは、逆向きに中心波長λI、λIIが変化する。 5D, when the rotational position φ of the filter element 412 is in the range of 90 to 180 °, the white light WL is incident on the filter element 412 from the mirror 414 side. Note that the filter element 412 has no directionality and exhibits the same optical characteristics as long as the incident angle θ is the same whether the white light WL is incident from the mirror 413 side or the mirror 414 side. Therefore, when the rotational position φ is in the range of 90 to 180 °, the incident angle θ decreases as the filter element 412 rotates, and as a result, the center wavelength λ I of each wavelength band included in the filter light FL. , Λ II becomes longer. That is, the center wavelengths λ I and λ II change in the opposite direction to the case where the rotational position φ shown in FIG. 5B is in the range of 0 to 90 °.

そして、フィルタ素子412の回転位置φが180°になると、図5(a)に示す回転位置φが0°の場合と同じ配置(但し入射面が異なる)となる。また、フィルタ素子412の光学特性には方向性が無いため、回転位置φが180〜360°の範囲にあるときには、フィルタ素子412の光学特性は、上述した回転位置φが0〜180°の範囲にあるときと同じ挙動を示す。すなわち、フィルタ素子412が正方向(図5における時計回り)に1回転する間に、図5(b)に示すようなフィルタ素子412の回転に伴って入射角θが増加する(中心波長λI、λIIが短くなる)状態と、図5(d)に示すようなフィルタ素子412の回転に伴って入射角θが減少する(中心波長λI、λIIが長くなる)状態とが、交互にそれぞれ2回繰り返される。従って、フィルタ素子412を1回転させる間に、中心波長λI、λIIの掃引が4回(2往復)行われる。 When the rotation position φ of the filter element 412 is 180 °, the arrangement is the same as that when the rotation position φ shown in FIG. 5A is 0 ° (however, the incident surface is different). Since the optical characteristics of the filter element 412 are not directional, when the rotational position φ is in the range of 180 to 360 °, the optical characteristics of the filter element 412 are in the range in which the rotational position φ is in the range of 0 to 180 °. Shows the same behavior as That is, while the filter element 412 rotates once in the positive direction (clockwise in FIG. 5), the incident angle θ increases with the rotation of the filter element 412 as shown in FIG. 5B (center wavelength λ I , Λ II becomes shorter) and the state where the incident angle θ decreases (the center wavelengths λ I and λ II become longer) with the rotation of the filter element 412 as shown in FIG. Repeated twice each. Accordingly, while the filter element 412 is rotated once, sweeping of the center wavelengths λ I and λ II is performed four times (two reciprocations).

そこで、本実施形態では、フィルタ素子412を一定の速度で回転させながら(すなわち中心波長λI、λIIを繰り返し往復掃引しながら)、撮像素子141によって所定の時間間隔で内視鏡画像を撮像することによって分光観察画像と通常観察画像を同時に取得するように構成されている。 Therefore, in the present embodiment, an endoscope image is captured at a predetermined time interval by the image sensor 141 while the filter element 412 is rotated at a constant speed (that is, while the center wavelengths λ I and λ II are repeatedly swept). By doing so, the spectroscopic observation image and the normal observation image are obtained simultaneously.

次に、本発明の実施形態に係る分光内視鏡装置1により分光内視鏡画像を取得する手順を説明する。本実施形態では、コントローラ530が、フィルタ制御部420を制御して、フィルタ素子412を一定速度で回転させながら、フィルタ素子412の回転位置φが5°変化する毎に撮像素子141を駆動して撮像を行う。   Next, a procedure for acquiring a spectroscopic endoscope image by the spectroscopic endoscope apparatus 1 according to the embodiment of the present invention will be described. In this embodiment, the controller 530 controls the filter control unit 420 to drive the image sensor 141 every time the rotation position φ of the filter element 412 changes by 5 ° while rotating the filter element 412 at a constant speed. Take an image.

具体的には、コントローラ530は、信号処理回路550によって生成されるビデオ信号のフレームレート(例えば30Hz)に同期したタイミングで撮像素子141を駆動制御する。また、コントローラ530は、撮像のタイミングを示す同期信号をフィルタ制御部420に与え、撮像のタイミングに同期して毎秒150°(30Hz×5°)の角速度でフィルタ素子412を回転させる。   Specifically, the controller 530 drives and controls the image sensor 141 at a timing synchronized with the frame rate (for example, 30 Hz) of the video signal generated by the signal processing circuit 550. In addition, the controller 530 provides a synchronization signal indicating the imaging timing to the filter control unit 420, and rotates the filter element 412 at an angular velocity of 150 ° per second (30 Hz × 5 °) in synchronization with the imaging timing.

このとき、撮像素子141は、フィルタ素子412の回転位置φが0、5、10、15、・・・355°となるタイミングで撮像信号を出力する。   At this time, the imaging element 141 outputs an imaging signal at a timing when the rotational position φ of the filter element 412 becomes 0, 5, 10, 15,.

コントローラ530は、不揮発性メモリ(不図示)及揮発性の内部メモリ(不図示)を備えており、不揮発性メモリには表2に示すようなルックアップテーブルが記憶されている。ルックアップテーブルには、フィルタ素子412の回転位置φ、フィルタ素子412への白色光WLの入射角θ及び波長B、Gが対応付けて記憶されている。なお、波長BはBデジタル画像データの撮像波長(中心波長λI)を示し、波長GはGデジタル画像データの撮像波長(中心波長λII)を示す。また、項目「波長」における、記号「N」は無効なデータ(以降の画像処理に使用しないデータ)であることを示し、記号「W」は白色光によって撮像された画像(通常観察画像)のデータであることを示す。 The controller 530 includes a nonvolatile memory (not shown) and a volatile internal memory (not shown), and a lookup table as shown in Table 2 is stored in the nonvolatile memory. In the lookup table, the rotational position φ of the filter element 412, the incident angle θ of the white light WL to the filter element 412, and the wavelengths B and G are stored in association with each other. The wavelength B indicates the imaging wavelength (center wavelength λ I ) of the B digital image data, and the wavelength G indicates the imaging wavelength (center wavelength λ II ) of the G digital image data. In addition, in the item “wavelength”, the symbol “N” indicates invalid data (data that is not used for subsequent image processing), and the symbol “W” indicates an image captured with white light (a normal observation image). Indicates data.

コントローラ530は、ルックアップテーブルを参照して、撮像素子141から撮像信号が出力されたタイミングから求めた角度位置φに基づいて、Bデジタル画像データ及びGデジタル画像データの撮像波長の情報を取得する。そして、一次記憶メモリ520に記憶された当該Bデジタル画像データ及びGデジタル画像データと対応付けて、取得した撮像波長の情報をコントローラ530の内部メモリに記憶させる。   The controller 530 refers to the look-up table and acquires information on the imaging wavelengths of the B digital image data and the G digital image data based on the angular position φ obtained from the timing at which the imaging signal is output from the imaging element 141. . Then, the acquired imaging wavelength information is stored in the internal memory of the controller 530 in association with the B digital image data and G digital image data stored in the primary storage memory 520.

例えば、フィルタ素子412の回転位置φが20°のときに撮像素子141を駆動して内視鏡画像を撮像すると、波長443nmの分光成分画像データがBデジタル画像データとして得られ、波長577nmの分光成分画像データがGデジタル画像データとして得られる。   For example, when the imaging element 141 is driven when the rotational position φ of the filter element 412 is 20 ° to capture an endoscopic image, spectral component image data having a wavelength of 443 nm is obtained as B digital image data, and spectral light having a wavelength of 577 nm is obtained. Component image data is obtained as G digital image data.

本実施形態では、フィルタ素子412の回転位置φが0〜40°、140〜180°、180〜220°及び320〜360°(0°)の範囲にあるときに撮像されたデジタル画像データにより分光画像データが構成される。   In the present embodiment, the filter element 412 is spectrally separated by digital image data captured when the rotational position φ is in the range of 0 to 40 °, 140 to 180 °, 180 to 220 °, and 320 to 360 ° (0 °). Image data is constructed.

具体的には、回転位置φが0、5、・・・、40°のときにそれぞれ撮像された9つのBデジタル画像データからソーレ帯(420nm帯)の分光画像データ(k番目)が構成される。また、回転位置φが0、5、・・・、40°のときにそれぞれ撮像された9つのGデジタル画像データからQ帯(550nm帯)の分光画像データ(k番目)が構成される。同様に、回転位置φが140、145、・・・、180°のときにそれぞれ撮像された9つのBデジタル画像データ及びGデジタル画像データからそれぞれソーレ帯及びQ帯のk+1番目の分光画像データが構成され、回転位置φが180、185、・・・、220°のときにそれぞれ撮像された9つのBデジタル画像データ及びGデジタル画像データからそれぞれソーレ帯及びQ帯のk+2番目の分光画像データが構成され、回転位置φが320、325、・・・、360°のときにそれぞれ撮像された9つのBデジタル画像データ及びGデジタル画像データからそれぞれソーレ帯及びQ帯のk+3番目の分光画像データが構成される。   Specifically, spectral image data (k-th) in the Sole band (420 nm band) is composed of nine B digital image data captured when the rotational position φ is 0, 5,..., 40 °. The Spectral image data (kth) in the Q band (550 nm band) is composed of nine G digital image data captured when the rotational position φ is 0, 5,..., 40 °. Similarly, k + 1-th spectral image data in the Sore band and the Q band are respectively obtained from nine B digital image data and G digital image data captured when the rotational position φ is 140, 145,. The k + 2nd spectral image data of the Sole band and the Q band are respectively obtained from the nine B digital image data and G digital image data that are configured and rotated when the rotational position φ is 180, 185,. The k + 3rd spectral image data in the Sole band and the Q band are respectively obtained from the 9 B digital image data and G digital image data that are configured and rotated when the rotational position φ is 320, 325,. Composed.

また、回転位置φが90°及び270°のときに撮像されたデジタル画像データにより通常観察画像データが構成される。   Further, normal observation image data is composed of digital image data captured when the rotational position φ is 90 ° and 270 °.

すなわち、フィルタ素子412が1回転する間に、ソーレ帯及びQ帯についてそれぞれ4つの分光観察画像(分光画像)と2つの通常観察画像が取得される。   That is, while the filter element 412 rotates once, four spectral observation images (spectral images) and two normal observation images are acquired for the Sore band and the Q band, respectively.

分光画像中の所定の画素(x,y)の分光情報(画素値の分光スペクトル)は、分光画像データを構成する各分光成分画像データ(Gデジタル画像データ、Bデジタル画像データ)から画素(x,y)の画素値pを抽出し、これを各分光成分画像データと対応付けられた撮像波長λと対にした2元配列(λ,p)として得られる。   Spectral information (spectral spectrum of pixel values) of a predetermined pixel (x, y) in the spectral image is obtained from each spectral component image data (G digital image data, B digital image data) constituting the spectral image data. , Y) is extracted and obtained as a binary array (λ, p) paired with the imaging wavelength λ associated with each spectral component image data.

ところで、物質による光の吸収は、次の数式1に示すLambert-Beerの式によって記述される。   By the way, the absorption of light by a substance is described by the Lambert-Beer equation shown in the following equation 1.

A(λ) : 吸光度(吸収スペクトル)
(λ): 入射光の強度(照明光のスペクトル)
I(λ) : 出射光の強度(観察光のスペクトル)
ε(λ) : 吸光物質のモル吸光係数
C : 媒質中の吸光物質のモル濃度
l : 媒質中の光の移動距離
A (λ): Absorbance (absorption spectrum)
I 0 (λ): Incident light intensity (illumination light spectrum)
I (λ): intensity of emitted light (spectrum of observation light)
ε (λ): molar extinction coefficient of light-absorbing substance
C: molar concentration of light-absorbing substance in the medium
l: Distance traveled by light in the medium

なお、吸光度A(λ)は、例えば擦りガラス等の拡散板を分光撮像して得られる照明光ILのスペクトルI(λ)を基準に観察光のスペクトルI(λ)を規格化する(例えば、I(λ)をI(λ)で割る)ことによって近似的に得られる。 The absorbance A (λ) normalizes the spectrum I (λ) of the observation light with reference to the spectrum I r (λ) of the illumination light IL obtained by spectral imaging of a diffusing plate such as rubbed glass (for example, for example) , I (λ) divided by I r (λ)).

また、n種類の吸光物質を含む媒質の吸光度は、次の数式2のように記述される。   Further, the absorbance of a medium containing n types of light-absorbing substances is described as the following Equation 2.

すなわち、n種類の吸光物質を含む媒質(生体組織T)の吸光度は、各吸光物質の吸収特性の総和として表わされることとなる。つまり、本実施形態の場合、生体組織T(消化器の粘膜組織)には酸化ヘモグロビンと還元ヘモグロビンの2種類の吸光物質があると考えられるため、生体組織Tの吸光度は、酸化ヘモグロビンによる吸光度と還元ヘモグロビンによる吸光度の和として捉えることができる。   That is, the absorbance of the medium (biological tissue T) containing n kinds of light absorbing materials is expressed as the sum of the absorption characteristics of each light absorbing material. That is, in the case of the present embodiment, it is considered that there are two types of light-absorbing substances, oxygenated hemoglobin and reduced hemoglobin, in the living tissue T (digestive mucosal tissue). It can be understood as the sum of absorbance due to reduced hemoglobin.

上記のLambert-Beerの式は、媒質中を透過する光の吸収を記述するものであるが、生体組織Tの表面における光の反射吸収にも近似的に適用することができる。つまり、本実施形態の分光画像データ(反射スペクトル)は、生体組織Tの透過スペクトル(すなわち、数式1及び数式2における出射光強度I)とみなすことができる。従って、数式1及び数式2により、分光画像データから生体組織Tの吸光度を求めることができる。   The Lambert-Beer equation described above describes the absorption of light transmitted through the medium, but can also be applied approximately to the reflected absorption of light on the surface of the biological tissue T. That is, the spectral image data (reflection spectrum) of the present embodiment can be regarded as the transmission spectrum of the living tissue T (that is, the emitted light intensity I in Expression 1 and Expression 2). Therefore, the absorbance of the living tissue T can be obtained from the spectral image data using Equation 1 and Equation 2.

また、上記の数式2に示すように、光の強度の対数として得られる媒質の吸光度は、媒質中に含まれる吸光物質のモル濃度に比例する。従って、生体組織Tに含まれる吸光物質の種類及び吸収スペクトルが既知であれば、重回帰分析によって、生体組織Tの分光画像データから生体組織Tに含まれる吸光物質のモル濃度比を計算で求めることができる。   Further, as shown in Equation 2 above, the absorbance of the medium obtained as a logarithm of the light intensity is proportional to the molar concentration of the light-absorbing substance contained in the medium. Therefore, if the type and absorption spectrum of the light-absorbing substance contained in the living tissue T are known, the molar concentration ratio of the light-absorbing substance contained in the living tissue T is calculated from the spectral image data of the living tissue T by multiple regression analysis. be able to.

生体組織Tの分光特性h(λ)は、次の数式3に示すように、酸化ヘモグロビンの分光特性HbO(λ)及び還元ヘモグロビンの分光特性Hb(λ)の線形結合によって記述される。なお、数式3における係数α及びβは、それぞれ還元ヘモグロビンHb及び酸化ヘモグロビンHbOのモル濃度に比例する値である。   The spectral characteristic h (λ) of the living tissue T is described by a linear combination of the spectral characteristic HbO (λ) of oxygenated hemoglobin and the spectral characteristic Hb (λ) of reduced hemoglobin, as shown in the following Equation 3. Note that the coefficients α and β in Equation 3 are values proportional to the molar concentrations of reduced hemoglobin Hb and oxidized hemoglobin HbO, respectively.

また、還元ヘモグロビンの分光特性Hb(λ)と酸化ヘモグロビンの分光特性HbO(λ)は既知であるため、分光画像から取得された生体組織Tの分光特性h(λ)を目的変数とし、還元ヘモグロビンの分光特性Hb(λ)及び酸化ヘモグロビンの分光特性HbO(λ)を説明変数として重回帰分析を行って、係数α、βの推定値を算出することができる。   Since the spectral characteristic Hb (λ) of reduced hemoglobin and the spectral characteristic HbO (λ) of oxyhemoglobin are already known, the spectral characteristic h (λ) of the biological tissue T acquired from the spectral image is used as an objective variable, and reduced hemoglobin is obtained. The estimated values of the coefficients α and β can be calculated by performing a multiple regression analysis using the spectral characteristic Hb (λ) of the above and the spectral characteristic HbO (λ) of oxyhemoglobin as explanatory variables.

本実施形態では、2つの波長帯(420nm帯、550nm帯)で生体組織Tの分光特性h(λ)が取得されているため、各帯域について重回帰分析を行うことができる。本実施形態では、係数α、βの高い推定精度を得るために、各波長帯について重回帰分析を行う。具体的には、各波長帯について、次の数式4(420nm帯)又は数式5(550nm帯)によって表わされる残差E(α、β)の大きさを最小にする係数α、βの推定値を求める。   In this embodiment, since the spectral characteristic h (λ) of the living tissue T is acquired in two wavelength bands (420 nm band and 550 nm band), multiple regression analysis can be performed for each band. In the present embodiment, multiple regression analysis is performed for each wavelength band in order to obtain high estimation accuracy of the coefficients α and β. Specifically, for each wavelength band, the estimated values of the coefficients α and β that minimize the magnitude of the residual E (α, β) represented by the following formula 4 (420 nm band) or formula 5 (550 nm band): Ask for.

理論上は、係数(α、β)の値は、420nm帯での値(α420、β420)も550nm帯での値(α550、β550)も同じ値になるが、実際には誤差の影響により、ほとんどの場合で両者は多少異なった値として得られる。本実施形態では、各波長帯の分光特性の重回帰分析によって得られた係数(α420、β420)、(α550、β550)及び残差E420(α420、β420)、E550(α550、β550)に基づいて、より推定精度の高い修正係数(αcorr、βcorr)を計算する。 Theoretically, the values of the coefficients (α, β) are the same in the values (α 420 , β 420 ) in the 420 nm band and the values (α 550 , β 550 ) in the 550 nm band. In most cases, the two values are obtained as slightly different values. In the present embodiment, coefficients (α 420 , β 420 ), (α 550 , β 550 ) and residuals E 420420 , β 420 ), E 550 obtained by multiple regression analysis of the spectral characteristics of each wavelength band. Based on (α 550 , β 550 ), a correction coefficient (α corr , β corr ) with higher estimation accuracy is calculated.

本実施形態では、各波長帯の分光特性から得られた係数の推定値(α420、β420)、(α550、β550)の値が異なる場合、両者の中間に真の値があると推定する。また、各波長帯の分光特性の重回帰分析によって得られた推定値(α420、β420)、(α550、β550)と真の値(α、β)との誤差が、数式4又は数式5により得られた残差E(α、β)に比例すると考える。 In this embodiment, when the estimated values (α 420 , β 420 ) and (α 550 , β 550 ) of the coefficients obtained from the spectral characteristics of each wavelength band are different, there is a true value between the two. presume. Further, the error between the estimated values (α 420 , β 420 ), (α 550 , β 550 ) and the true values (α, β) obtained by the multiple regression analysis of the spectral characteristics in each wavelength band is expressed by Equation 4 or It is considered that it is proportional to the residual E (α, β) obtained by Equation 5.

420nm帯及び550nm帯において取得された分光特性h(λ)のデータ数をそれぞれn420及びn550とすると、各波長帯の重回帰分析結果における1データ当たりの残差の大きさε420、ε550が次の数式6、7によって得られる。 Assuming that the number of data of the spectral characteristics h (λ) acquired in the 420 nm band and the 550 nm band is n 420 and n 550 , respectively, the magnitudes of residuals ε 420 and ε in the multiple regression analysis result of each wavelength band 550 is obtained by the following equations 6 and 7.

数式6、7によって得られた1データ当たりの残差ε420、ε550から、各係数(α420、β420)、(α550、β550)に対応する重みw420、w550を数式8、9により計算する。 Weights w 420 and w 550 corresponding to the coefficients (α 420 , β 420 ) and (α 550 , β 550 ) are calculated from the residuals ε 420 and ε 550 per data obtained by the equations 6 and 7, respectively. , 9 to calculate.

そして、修正係数(αcorr、βcorr)が、次の数式10、11により計算される。 Then, correction coefficients (α corr , β corr ) are calculated by the following equations 10 and 11.

このようにして、得られた修正係数(αcorr、βcorr)は、数式3の定義からも分かるように、それぞれ還元ヘモグロビンHb及び酸化ヘモグロビンHbOのモル濃度を示すパラメータである。従って、次の数式12により、酸素飽和度SatOが求められる。 The correction coefficients (α corr , β corr ) thus obtained are parameters indicating the molar concentrations of reduced hemoglobin Hb and oxidized hemoglobin HbO, as can be seen from the definition of Equation 3. Therefore, the oxygen saturation SatO 2 is obtained by the following formula 12.

また、次の数式13により、生体組織中の総ヘモグロビン濃度tHbが求められる。   Further, the total hemoglobin concentration tHb in the living tissue is obtained by the following mathematical formula 13.

分光内視鏡装置1のコントローラ530は、各画素について上述した酸素飽和度SatO及び総ヘモグロビン濃度tHbを計算して、内部メモリに記憶させる。そして、ユーザ操作によって、生体組織中の酸素飽和度SatOの分布画像を画面表示するよう指示が行われると、コントローラ530は、酸素飽和度SatOの値を画素値とする表示用画像データを生成して、ビデオメモリ540に記憶させる。その結果、生体組織中の酸素飽和度SatOの分布画像がモニタ300に表示される。図6に、酸素飽和度SatOの分布画像の例を示す。図6(a)は通常観察画像であり、図6(b)は対応する酸素飽和度SatOの分布画像である。 The controller 530 of the spectroscopic endoscope apparatus 1 calculates the oxygen saturation SatO 2 and the total hemoglobin concentration tHb described above for each pixel, and stores them in the internal memory. Then, when an instruction to display the distribution image of the oxygen saturation SatO 2 in the living tissue is displayed on the screen by the user operation, the controller 530 displays display image data whose pixel value is the value of the oxygen saturation SatO 2. Generated and stored in the video memory 540. As a result, a distribution image of the oxygen saturation SatO 2 in the living tissue is displayed on the monitor 300. FIG. 6 shows an example of a distribution image of the oxygen saturation SatO 2 . FIG. 6A is a normal observation image, and FIG. 6B is a distribution image of the corresponding oxygen saturation SatO 2 .

また、ユーザ操作によって、生体組織中の総ヘモグロビン濃度tHbの分布画像を画面表示するよう指示が行われると、コントローラ530は、総ヘモグロビン濃度tHbの値を画素値とする表示用画像データを生成して、ビデオメモリ540に記憶させる。その結果、生体組織中の総ヘモグロビン濃度tHbの分布画像がモニタ300に表示される。   Further, when an instruction is given to display a distribution image of the total hemoglobin concentration tHb in the living tissue by the user operation, the controller 530 generates display image data having the value of the total hemoglobin concentration tHb as a pixel value. And stored in the video memory 540. As a result, a distribution image of the total hemoglobin concentration tHb in the living tissue is displayed on the monitor 300.

また、コントローラ530は、通常観察画像と生体組織中の酸素飽和度SatO及び(又は)総ヘモグロビン濃度tHbの分布画像とを1画面中に並べて表示する表示用画像データを生成することもできる(図6)。通常観察画像と各種分析画像(生体組織中の酸素飽和度SatOや総ヘモグロビン濃度tHbの分布画像)を並べて表示することにより、医師が多角的な診断を容易に行うことができるようになる。 Further, the controller 530 can also generate display image data that displays the normal observation image and the distribution image of the oxygen saturation SatO 2 and / or the total hemoglobin concentration tHb in the living tissue side by side in one screen ( FIG. 6). By displaying the normal observation image and various analysis images (distribution images of the oxygen saturation SatO 2 and the total hemoglobin concentration tHb in the living tissue) side by side, a doctor can easily perform a multifaceted diagnosis.

次に、上述した本発明の実施形態に係る可変フィルタ410のフィルタ素子412の構成について、以下に実施例を示し、さらに詳細に説明する。   Next, the configuration of the filter element 412 of the variable filter 410 according to the embodiment of the present invention described above will be described in more detail with reference to examples.

<可変フィルタ410の製造方法>
各実施例フィルタ素子412の製造方法について説明する。先ず、光学ガラスを所定のサイズに加工し、基材(透明基板413s、414s)を製造する。基材には、BK7や合成石英等の各種光学ガラスの他、ポリメタクリル酸メチル(PMMA)樹脂、ポリカーボネート樹脂(PC)、シクロオレフィン系樹脂等の各種光学樹脂が使用される。次いで、基材の上面に、真空蒸着装置を用いて、高屈折率材料の薄膜と低屈折材料の薄膜を交互に積層してミラー413、414を得る。そして、一対の基材をDBR反射膜が対向するように配置し、ポリイミドフィルム等のフィルム材から切り出した枠状のスペーサ415を介して接着剤により固定する。高屈折率材料としては、酸化チタン(TiO)の他に酸化ジルコニウム(ZrO)や五酸化ニオブ(Nb)などを用いることができる。また、低屈折率材料としては、酸化ケイ素(SiO)やフッ化マグネシウム(MgF)などを用いることができる。
<Method for Manufacturing Variable Filter 410>
A manufacturing method of each example filter element 412 will be described. First, the optical glass is processed into a predetermined size to manufacture a base material (transparent substrates 413s, 414s). In addition to various optical glasses such as BK7 and synthetic quartz, various optical resins such as polymethyl methacrylate (PMMA) resin, polycarbonate resin (PC), and cycloolefin resin are used for the base material. Next, a thin film of a high refractive index material and a thin film of a low refractive material are alternately laminated on the upper surface of the substrate using a vacuum vapor deposition apparatus to obtain mirrors 413 and 414. And a pair of base material is arrange | positioned so that a DBR reflection film may oppose, and it fixes with an adhesive agent via the frame-shaped spacer 415 cut out from film materials, such as a polyimide film. As the high refractive index material, zirconium oxide (ZrO 2 ), niobium pentoxide (Nb 2 O 5 ), and the like can be used in addition to titanium oxide (TiO 2 ). As the low refractive index material, silicon oxide (SiO 2 ), magnesium fluoride (MgF 2 ), or the like can be used.

<実施例の説明> <Description of Examples>

実施例1のフィルタ素子412の構成は、表3に示す通りである。本実施例では、基材としてホウケイ酸塩クラウンガラス(HOYA株式会社製:BK7)が使用される。DBR反射膜は、基材(透明基板413s、414s)の上面に酸化チタンの薄膜とフッ化マグネシウムの薄膜を交互に3層ずつ蒸着して形成されている。ここで、基材の屈折率は1.519(λ=550nm)であり、酸化チタンの屈折率は2.320(λ=550nm)であり、フッ化マグネシウムの屈折率は1.384(λ=550nm)である。本実施例では、高屈折率層と低屈折率層との屈折率差が0.9以上確保されている。また、酸化チタンの各薄膜の膜厚は、53.89nmであり、フッ化マグネシウムの各薄膜の膜厚は、90.35nmである。 The configuration of the filter element 412 of Example 1 is as shown in Table 3. In this embodiment, borosilicate crown glass (manufactured by HOYA Corporation: BK7) is used as the base material. The DBR reflective film is formed by alternately depositing three layers of a thin film of titanium oxide and a thin film of magnesium fluoride on the upper surface of a base material (transparent substrates 413s, 414s). Here, the refractive index of the base material is 1.519 (λ 0 = 550 nm), the refractive index of titanium oxide is 2.320 (λ 0 = 550 nm), and the refractive index of magnesium fluoride is 1.384 ( λ 0 = 550 nm). In this embodiment, a difference in refractive index between the high refractive index layer and the low refractive index layer is ensured to be 0.9 or more. The thickness of each thin film of titanium oxide is 53.89 nm, and the thickness of each thin film of magnesium fluoride is 90.35 nm.

以上が本発明の実施形態および該実施形態の具体的実施例の説明であるが、本発明は、上記の構成に限定されるものではなく、本発明の技術的思想の範囲内において様々な変形が可能である。   The above is the description of the embodiment of the present invention and specific examples of the embodiment. However, the present invention is not limited to the above-described configuration, and various modifications are possible within the scope of the technical idea of the present invention. Is possible.

例えば、上記の実施形態の光源部400においては、可変フィルタ410が光路補償板417よりも光源430側に配置されているが、可変フィルタ410と光路補償板417の配置を入れ換えても良い。また、可変フィルタ410と光路補償板417は、光源430から出射した光が撮像素子141によって受光されるまでの光路中にあればよく、例えば、挿入管先端部111に内蔵する構成としてもよい。また、上記の実施形態では可変フィルタ410によって照明光をフィルタリングする構成が採用されているが、被写体からの戻り光をフィルタリングする構成としてもよい。   For example, in the light source unit 400 of the above embodiment, the variable filter 410 is disposed closer to the light source 430 than the optical path compensation plate 417, but the arrangement of the variable filter 410 and the optical path compensation plate 417 may be interchanged. Further, the variable filter 410 and the optical path compensation plate 417 may be provided in the optical path until the light emitted from the light source 430 is received by the image sensor 141, and may be configured to be incorporated in the insertion tube tip 111, for example. In the above-described embodiment, the configuration in which the illumination light is filtered by the variable filter 410 is employed. However, the configuration may be such that the return light from the subject is filtered.

また、上記の実施形態は、フィルタ素子412が2つの狭帯域光I、IIを透過し、2つの波長域の分光画像が同時に取得されるように構成されているが、本発明はこの構成に限定されるものではなく、フィルタ素子412が単一の狭帯域光を通過し、単一の波長域の分光画像が取得される構成としてもよい。この場合、カラーフィルタを備えていないグレースケール画像撮影用の撮像素子を使用してもよい。また、フィルタ素子412が3つ以上の狭帯域光を透過し、3つ以上の分光画像が同時に取得される構成としてもよい。この場合、例えば狭帯域光の数と同数(又はそれ以上)の色数のカラーフィルタを使用する構成としてもよい。また、DBR反射膜は実施例1の構成に限定されるものではなく、狭帯域光を透過し得るものであれば、種々の膜厚で構成されてもよい。例えば、実施例1では第1層、第3層、第5層の膜厚は同じであるが、異なる膜厚であってもよい。 In the above-described embodiment, the filter element 412 is configured to transmit the two narrowband lights I and II, and the spectral images in the two wavelength regions are acquired simultaneously. The configuration is not limited, and the filter element 412 may pass a single narrow-band light, and a spectral image in a single wavelength region may be acquired. In this case, an image sensor for photographing a gray scale image that does not include a color filter may be used. Alternatively, the filter element 412 may transmit three or more narrow-band lights, and three or more spectral images may be acquired simultaneously. In this case, for example, a color filter having the same number (or more) of colors as the number of narrowband light may be used. Further, the DBR reflective film is not limited to the configuration of the first embodiment, and may be configured with various film thicknesses as long as it can transmit narrowband light. For example, in Example 1, the first layer, the third layer, and the fifth layer have the same film thickness, but may have different film thicknesses.

また、本実施形態の撮像素子141は、その前面にR、G、Bの原色系カラーフィルタを備えたカラー画像撮像用の撮像素子であるとして説明したが、この構成に限定されるものではなく、例えば、Y、Cy、Mg、Gの補色系カラーフィルタを備えたカラー画像撮像用の撮像素子を用いてもよい。なお、補色系カラーフィルタを備えた撮像素子を用いる場合、一般的に補色系カラーフィルタの各色の分光特性は、原色系カラーフィルタの各色の分光特性に比較して広い特性(波長方向にブロードな特性)を有するため、フィルタ光FLに含まれる複数の狭帯域光が複数のカラーフィルタを通して撮像素子に入射されることとなる。このため、1つの狭帯域光による分光画像を得るためには各カラーフィルタを通して得られた画像データを用いて演算する必要がある。   The image sensor 141 of the present embodiment has been described as an image sensor for color image capturing provided with R, G, and B primary color filters on the front surface thereof, but is not limited to this configuration. For example, an image sensor for capturing a color image including a Y, Cy, Mg, G complementary color filter may be used. In the case of using an image sensor including a complementary color filter, the spectral characteristics of each color of the complementary color filter are generally wider than the spectral characteristics of each color of the primary color filter (broader in the wavelength direction). Characteristic), a plurality of narrow-band lights included in the filter light FL are incident on the image sensor through a plurality of color filters. For this reason, in order to obtain a spectral image by one narrow band light, it is necessary to perform an operation using image data obtained through each color filter.

また、本実施形態の撮像素子141は、オンチップのカラーフィルタ141aを備えたカラー画像撮像用の撮像素子であるとして説明したが、この構成に限定されるものではなく、例えば、白黒画像撮像用の撮像素子を用い、いわゆる面順次方式のカラーフィルタを備えた構成としてもよい。また、カラーフィルタ141aは、オンチップの構成に限定されるものではなく、光源430から撮像素子141までの光路中であれば、どこに配置されても構わない。   In addition, the image sensor 141 of the present embodiment has been described as an image sensor for color image imaging including the on-chip color filter 141a. However, the image sensor 141 is not limited to this configuration. It is good also as a structure provided with the color filter of what is called a field sequential system using this image pick-up element. In addition, the color filter 141a is not limited to an on-chip configuration, and may be disposed anywhere in the optical path from the light source 430 to the image sensor 141.

また、上記の実施形態では、フィルタ素子412を一定の速度で回転させながら、所定の時間間隔で撮像を行う構成が採用されているが、本発明はこの構成に限定されるものではなく、例えば、フィルタ素子412の回転位置を所定の時間間隔で段階的に変化させ、フィルタ素子が静止した状態で撮像を行う構成としてもよい。また、フィルタ素子412を1回転させずに、例えば角度位置φが0〜90°の範囲(あるいは±90°の範囲)で反復して揺動させながら波長掃引を行う構成としてもよい。
また、フィルタ素子の空気層は真空でもよい。
In the above embodiment, a configuration is adopted in which imaging is performed at predetermined time intervals while rotating the filter element 412 at a constant speed. However, the present invention is not limited to this configuration, for example, The rotational position of the filter element 412 may be changed stepwise at predetermined time intervals, and imaging may be performed while the filter element is stationary. Further, the wavelength sweep may be performed while the filter element 412 is repeatedly swung within a range of 0 to 90 ° (or a range of ± 90 °), for example, without rotating the filter element 412 once.
The air layer of the filter element may be a vacuum.

1 分光内視鏡装置
100 電子内視鏡
110 挿入管
111 挿入管先端部
121 対物光学系
131 ライトガイド
131a 先端部
131b 基端部
132 レンズ
141 撮像素子
141a カラーフィルタ
142 ケーブル
200 電子内視鏡用プロセッサ
300 モニタ
400 光源部
410 可変フィルタ
420 フィルタ制御部
430 光源
440 コリメータレンズ
450 集光レンズ
460 バンドパスフィルタ
500 画像処理部
510 A/D変換回路
520 一時記憶メモリ
530 コントローラ
540 ビデオメモリ
550 信号処理回路
DESCRIPTION OF SYMBOLS 1 Spectroscopic apparatus 100 Electronic endoscope 110 Insertion tube 111 Insertion tube front-end | tip part 121 Objective optical system 131 Light guide 131a Front-end | tip part 131b Base end part 132 Lens 141 Image pick-up element 141a Color filter 142 Cable 200 Processor for electronic endoscopes 300 Monitor 400 Light source unit 410 Variable filter 420 Filter control unit 430 Light source 440 Collimator lens 450 Condensing lens 460 Band pass filter 500 Image processing unit 510 A / D conversion circuit 520 Temporary storage memory 530 Controller 540 Video memory 550 Signal processing circuit

Claims (11)

医用分光画像の撮像に適した波長可変光バンドパスフィルタモジュールであって、
所定の間隔をあけて平行に配置された、ファブリ・ペロー共振器を構成する一対の反射面を備えており、前記一対の反射面の少なくとも一方が、誘電体多層膜を含む波長選択性の反射面であり、前記一対の反射膜の間に真空層又は気体層が配置されていて、所定の生体物質の吸収帯内に中心波長を有する狭帯域光を選択的に透過させ、入射角に応じて前記中心波長が変化するように構成された光学フィルタ素子と、
前記光学フィルタ素子の反射面と平行な回転軸の周りに前記光学フィルタ素子を回転駆動する素子駆動手段と、
前記素子駆動手段の駆動を制御するフィルタ制御部と、
を備えた、
波長可変光バンドパスフィルタモジュール
A tunable optical bandpass filter module suitable for imaging medical spectral images ,
A pair of reflecting surfaces constituting a Fabry-Perot resonator arranged in parallel at a predetermined interval are provided , and at least one of the pair of reflecting surfaces includes a wavelength-selective reflection including a dielectric multilayer film. A vacuum layer or a gas layer is disposed between the pair of reflective films, and selectively transmits narrow-band light having a center wavelength within an absorption band of a predetermined biological material, depending on an incident angle. An optical filter element configured to change the center wavelength ;
Element driving means for rotationally driving the optical filter element around a rotation axis parallel to the reflecting surface of the optical filter element;
A filter control unit for controlling the driving of the element driving means;
With
Tunable optical bandpass filter module .
前記所定の生体物質がヘモグロビンである、
請求項1に記載の波長可変光バンドパスフィルタモジュール
The predetermined biological material is hemoglobin;
The wavelength tunable optical bandpass filter module according to claim 1.
ヘモグロビンのソーレ帯又はQ帯に中心波長を有する狭帯域光を選択的に透過させる、
請求項2に記載の波長可変光バンドパスフィルタモジュール
Selectively transmits narrowband light having a central wavelength in the Sole band or Q band of hemoglobin,
The wavelength tunable optical bandpass filter module according to claim 2.
ヘモグロビンのソーレ帯及びQ帯にそれぞれ中心波長を有する2つの狭帯域光を選択的に透過させる、
請求項2に記載の波長可変光バンドパスフィルタモジュール
Selectively transmits two narrowband lights each having a central wavelength in the Sole band and Q band of hemoglobin,
The wavelength tunable optical bandpass filter module according to claim 2.
前記光学フィルタ素子を透過するフィルタ光の中心波長を検出する波長検出手段を備え、
前記フィルタ制御部が前記波長検出手段の検出結果に基づいて前記素子駆動手段の駆動をフィードバック制御する、
請求項1から請求項4の何れか一項に記載の波長可変光バンドパスフィルタモジュール。
Wavelength detecting means for detecting the center wavelength of the filter light transmitted through the optical filter element;
The filter control unit feedback-controls driving of the element driving unit based on a detection result of the wavelength detecting unit;
The wavelength tunable optical bandpass filter module according to any one of claims 1 to 4 .
前記光学フィルタ素子と同じ光路長を有し、光路上に前記光学フィルタ素子と直列に配置された光路補償板と、
前記光路補償板を回転駆動する補償板駆動手段と、を更に備え、
前記フィルタ制御部は、前記光路補償板が前記光学フィルタ素子と逆位相で回転するように前記補償板駆動手段の駆動を制御する、
請求項1から請求項5の何れか一項に記載の波長可変光バンドパスフィルタモジュール。
An optical path compensator having the same optical path length as the optical filter element and disposed in series with the optical filter element on the optical path;
Compensation plate driving means for rotationally driving the optical path compensation plate,
The filter control unit controls the driving of the compensation plate driving means so that the optical path compensation plate rotates in an opposite phase to the optical filter element;
The wavelength tunable optical bandpass filter module according to any one of claims 1 to 5 .
前記光学フィルタ素子の反射面が光軸と平行であるときに、入力された白色光のほとんどが、前記光学フィルタ素子を通過せずに、白色光として出力されるように構成された、
請求項1から請求項6の何れか一項に記載の波長可変光バンドパスフィルタモジュール。
When the reflecting surface of the optical filter element is parallel to the optical axis, most of the input white light is configured to be output as white light without passing through the optical filter element.
The wavelength tunable optical bandpass filter module according to any one of claims 1 to 6 .
白色光源と、
請求項1から請求項7の何れか一項に記載の波長可変光バンドパスフィルタモジュールと、
を備えた、
医用分光画像の撮像に適した波長可変光源装置。
A white light source,
The wavelength tunable optical bandpass filter module according to any one of claims 1 to 7 ,
With
A tunable light source device suitable for taking medical spectral images.
挿入部の先端に撮像素子を備えた電子内視鏡と、
請求項に記載の波長可変光源装置と、
前記撮像素子が生成した撮像データを処理してビデオ信号を生成する画像処理装置と
を備え、
中心波長の異なる前記狭帯域光を用いて撮像された複数の撮像データに基づいて分光画像データを生成する
分光内視鏡装置。
An electronic endoscope having an image sensor at the tip of the insertion portion;
The tunable light source device according to claim 8 ,
And an image processing apparatus for generating a video signal by processing the imaging data to which the imaging device is generated,
Spectral image data is generated based on a plurality of imaging data captured using the narrowband light having different center wavelengths .
Spectroscopic device.
前記フィルタ制御部が、前記ビデオ信号のフレームレートに同期して前記光学フィルタ素子を回転駆動する、
請求項に記載の分光内視鏡装置。
The filter control unit rotationally drives the optical filter element in synchronization with a frame rate of the video signal;
The spectroscopic endoscope apparatus according to claim 9 .
前記光学フィルタ素子の反射面が光軸と平行であるときに、前記波長可変光バンドパスフィルタモジュールを通過した白色光を用いて通常観察画像を撮像する、
請求項7を引用する請求項9又は請求項7を引用する請求項10に記載の分光内視鏡装置。
When the reflection surface of the optical filter element is parallel to the optical axis and imaging the normal observation image using a white light passing through the wavelength-tunable optical bandpass filter module,
The spectroscopic endoscope apparatus according to claim 9, which cites claim 7 or claim 10 which cites claim 7 .
JP2013115123A 2013-05-31 2013-05-31 Wavelength variable optical bandpass filter module, wavelength variable light source device, and spectroscopic endoscope device Active JP6257926B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013115123A JP6257926B2 (en) 2013-05-31 2013-05-31 Wavelength variable optical bandpass filter module, wavelength variable light source device, and spectroscopic endoscope device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013115123A JP6257926B2 (en) 2013-05-31 2013-05-31 Wavelength variable optical bandpass filter module, wavelength variable light source device, and spectroscopic endoscope device

Publications (2)

Publication Number Publication Date
JP2014233344A JP2014233344A (en) 2014-12-15
JP6257926B2 true JP6257926B2 (en) 2018-01-10

Family

ID=52136523

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013115123A Active JP6257926B2 (en) 2013-05-31 2013-05-31 Wavelength variable optical bandpass filter module, wavelength variable light source device, and spectroscopic endoscope device

Country Status (1)

Country Link
JP (1) JP6257926B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022025728A1 (en) * 2020-07-30 2022-02-03 주식회사 스킨어세이 Spectroscope

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014036759A (en) 2012-08-17 2014-02-27 Hoya Corp Electronic endoscope system and light source device for endoscope
WO2014192781A1 (en) 2013-05-30 2014-12-04 Hoya株式会社 Method and device for generating image showing concentration distribution of biological substances in biological tissue
JP6204314B2 (en) 2014-09-03 2017-09-27 Hoya株式会社 Electronic endoscope system
JP6356051B2 (en) 2014-11-21 2018-07-11 Hoya株式会社 Analytical apparatus and method of operating analytical apparatus
EP3428623B1 (en) 2016-03-08 2021-06-16 Terumo Kabushiki Kaisha Component measurement device, component measurement method, and component measurement program
FI126608B (en) * 2016-03-15 2017-03-15 Teknologian Tutkimuskeskus Vtt Oy Hyperspektrikuvausjärjestely
WO2018117451A1 (en) * 2016-12-20 2018-06-28 한국전기연구원 Optical image device provided with coupled-light source
JP6770587B2 (en) * 2017-01-16 2020-10-14 Hoya株式会社 Endoscope system and image display device
JP6960773B2 (en) * 2017-05-26 2021-11-05 池上通信機株式会社 Captured image processing system
WO2019130753A1 (en) * 2017-12-27 2019-07-04 オリンパス株式会社 Light source device
WO2020095739A1 (en) 2018-11-06 2020-05-14 ソニー株式会社 Information processing device, information processing method, and program
JP7012275B2 (en) * 2019-03-06 2022-01-28 パナソニックIpマネジメント株式会社 Photodetector, photodetection system, and filter array
US20240103267A1 (en) * 2022-09-14 2024-03-28 Viavi Solutions Inc. Optical assembly

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5846314A (en) * 1981-09-12 1983-03-17 Olympus Optical Co Ltd Filter optical system for microscope
JPS58153902A (en) * 1982-03-09 1983-09-13 Matsushita Electric Ind Co Ltd Fabry-perot type optical modulator
JPH0339712A (en) * 1989-07-06 1991-02-20 Nec Corp Light beam coupler
DE19902184C1 (en) * 1999-01-21 2000-09-21 Winter & Ibe Olympus Medical endoscope for viewing fluorescent marked areas
JP2011082886A (en) * 2009-10-09 2011-04-21 Hoya Corp Narrow band image system
JP5737899B2 (en) * 2010-10-07 2015-06-17 Hoya株式会社 Diagnostic system
JP5653260B2 (en) * 2011-03-10 2015-01-14 Hoya株式会社 Light source device and electronic endoscope system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022025728A1 (en) * 2020-07-30 2022-02-03 주식회사 스킨어세이 Spectroscope

Also Published As

Publication number Publication date
JP2014233344A (en) 2014-12-15

Similar Documents

Publication Publication Date Title
JP6257926B2 (en) Wavelength variable optical bandpass filter module, wavelength variable light source device, and spectroscopic endoscope device
JP5100457B2 (en) Endoscope observation system
CN105615894B (en) Analysis device and analysis method
CN110840379B (en) Image acquisition system and electronic endoscope system
WO2014192781A1 (en) Method and device for generating image showing concentration distribution of biological substances in biological tissue
JP5094730B2 (en) Spectroscopic endoscope and operating method of spectroscopic endoscope
JP6377181B2 (en) Imaging device
US8039816B2 (en) Fluorescence observation apparatus
JP2007097709A (en) Electronic endoscope apparatus
JP2012157383A (en) Endoscope apparatus
WO2017047140A1 (en) Endoscopic device
JP6284451B2 (en) Endoscope device
CN110087528B (en) Endoscope system and image display device
US11930128B2 (en) Dual camera module, electronic apparatus including the same, and method of operating electronic apparatus
JP2002272744A (en) Image diagnosing equipment
JP2009168597A (en) Spectroscopic instrument, electronic endoscope and electronic endoscope system
JP5489785B2 (en) Fluorescence endoscope device
US20140002710A1 (en) Spectroscopic image capturing apparatus
JP2008216479A (en) Wavelength variable filter spectroscopic device
JP6570484B2 (en) Analysis equipment
US20110124966A1 (en) Optical element, spectroscopic element, optical unit and optical device
JP6120770B2 (en) Spectral image acquisition device
JP2012040224A (en) Endoscope apparatus, and endoscopic diagnosis device
WO2009147715A1 (en) Fluorescence observation device
JP2013106692A (en) Spectrum endoscope device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170131

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170328

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171206

R150 Certificate of patent or registration of utility model

Ref document number: 6257926

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250