JP6733663B2 - 照明光伝送装置及び照明光伝送方法 - Google Patents

照明光伝送装置及び照明光伝送方法 Download PDF

Info

Publication number
JP6733663B2
JP6733663B2 JP2017509438A JP2017509438A JP6733663B2 JP 6733663 B2 JP6733663 B2 JP 6733663B2 JP 2017509438 A JP2017509438 A JP 2017509438A JP 2017509438 A JP2017509438 A JP 2017509438A JP 6733663 B2 JP6733663 B2 JP 6733663B2
Authority
JP
Japan
Prior art keywords
illumination light
speckle
transmission device
light transmission
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017509438A
Other languages
English (en)
Other versions
JPWO2016158194A1 (ja
Inventor
中尾 勇
勇 中尾
田中 英一
英一 田中
古川 昭夫
昭夫 古川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016158194A1 publication Critical patent/JPWO2016158194A1/ja
Application granted granted Critical
Publication of JP6733663B2 publication Critical patent/JP6733663B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00165Optical arrangements with light-conductive means, e.g. fibre optics
    • A61B1/00167Details of optical fibre bundles, e.g. shape or fibre distribution
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • G02B23/2469Illumination using optical fibres
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/48Laser speckle optics
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0005Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being of the fibre type
    • G02B6/0006Coupling light into the fibre
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24Coupling light guides
    • G02B6/26Optical coupling means
    • G02B6/35Optical coupling means having switching means
    • G02B6/3586Control or adjustment details, e.g. calibrating
    • G02B6/3588Control or adjustment details, e.g. calibrating of the processed beams, i.e. controlling during switching of orientation, alignment, or beam propagation properties such as intensity, size or shape
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0012Surgical microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24Coupling light guides
    • G02B6/26Optical coupling means
    • G02B6/34Optical coupling means utilising prism or grating

Description

本開示は、照明光伝送装置及び照明光伝送方法に関する。より詳しくは、スペックル照明光源から照射されるスペックル照明光を利用した照明光伝送装置及び照明光伝送方法に関する。
従来、内視鏡や顕微鏡など外科手術用にスペックルパターンの時間変化を用いた血管・血流造影法が提案されている(特許文献1参照)。なお以下では、当該造影法から得られる画像をスペックル血流イメージと称呼する。
また、スペックル血流イメージと通常の明視野像を手術用顕微鏡で同時に観察する技術がある(非特許文献1参照)。
米国特許公報第6944494号明細書
Neurophotonics 1(1),015006(Jul−Sep 2014)p.1−6
前記非特許文献1の技術では、照明光学系が明視野像とスペックル血流イメージとで異なる2系統の照明光路を有するため、観測装置としての筺体が大きくなり、ひいては手術時の作業環境を悪化させるといった課題も生ずる。
そこで、本開示では、装置を小型化し、手術時の作業環境を従来よりも改善することを主目的とする。
本願発明者らは、前記の目的を解決するために鋭意研究を行った結果、非スペックル照明光にとってはノイズとなるスペックルを利用し、非スペックル照明光とスペックル照明光とを組み合わせることに着目し、本発明を完成させるに至った。
即ち、本開示では、まず、非スペックル照明光を照射する非スペックル照明光源と、
スペックル照明光を照射するスペックル照明光源と、
光ファイバを複数本束ねてバンドル状としたバンドルファイバと、
前記非スペックル照明光と前記スペックル照明光の少なくともいずれか一方を前記バンドルファイバに導く光制御部とを備える、照明光伝送装置を提供する。
本開示に係る照明光伝送装置のバンドルファイバを構成する各光ファイバの中には、シングルモード型光ファイバが含まれていてもよい。
本開示に係る照明光伝送装置の光制御部は、バンドルファイバを構成する各光ファイバの中から選択された1本の光ファイバのみに前記スペックル照明光を導くことができる。
本開示に係る照明光伝送装置のバンドルファイバを構成する各光ファイバの中から選択された1本の光ファイバとしては、シングルモード型光ファイバを挙げることができる。
本開示に係る照明光伝送装置のバンドルファイバを構成する各光ファイバの中から選択された1本の光ファイバは偏波面が保持される光ファイバを挙げることができる。
本開示に係る照明光伝送装置の光制御部は、前記非スペックル照明光と前記スペックル照明光とを選択的に前記バンドルファイバに導くことができる。
本開示に係る照明光伝送装置の光制御部は、バンドルファイバの照度分布に基づいて、前記選択された1本の光ファイバにスペックル照明光を導くことができる。
本開示に係る照明光伝送装置には、前記非スペックル照明光の光路上に設けられ、前記非スペックル照明光を拡散する拡散板を更に備えることができる。
本開示に係る照明光伝送装置の非スペックル照明光源は明視野画像の取得に使用でき、スペックル照明光源はスペックル強調画像の取得に使用することができる。
本開示に係る照明光伝送装置では、前記スペックル強調画像としては、流体及び流路の少なくともいずれか一方の画像を挙げることができる。
本開示に係る照明光伝送装置では、前記明視野画像としては臓器画像を挙げることができ、前記スペックル強調画像としては血流画像を挙げることができる。
本開示では、次に、明視野画像の取得に使用される非スペックル照明光を照射する非スペックル照射光照射工程と、
スペックル強調画像の取得に使用されるスペックル照明光を照射するスペックル照射光照射工程と、
光ファイバを複数本束ねてバンドル状としたバンドルファイバに、前記非スペックル照明光と前記スペックル照明光の少なくともいずれか一方を出射する出射工程と、
を行う照明光伝送方法を提供する。
本開示に係る照明光伝送方法では、前記スペックル強調画像としては、流体及び流路の少なくともいずれか一方の画像を挙げることができる。
本開示に係る照明光伝送方法では、前記明視野画像としては臓器画像を挙げることができ、前記スペックル強調画像としては血流画像を挙げることができる。
本開示によれば、装置を小型化し、手術時の作業環境を従来よりも改善することができる。
なお、ここに記載された効果は、必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の第1実施形態に係る照明光伝送装置の構成を模式的に示す図である。 バンドルファイバの入射端面図である。 本開示の第2実施形態に係る照明光伝送装置の構成を模式的に示す図である。 本開示の第3実施形態に係る照明光伝送装置の構成を模式的に示す図である。 本開示の第4実施形態に係る照明光伝送装置の構成を模式的に示す図である。 本開示の第5実施形態に係る照明光伝送装置の構成を模式的に示す図である。 本開示の第6実施形態に係る照明光伝送装置の構成を模式的に示す図である。 疑似血液が流れている疑似血管の画像例や、疑似血液の血流の画像例を示す図面代用写真である。 疑似血液が流れている疑似血管の画像例や、疑似血液の血流の画像例を示す図面代用写真である。
以下、本開示を実施するための好適な形態について、図面を参照しながら説明する。以下に説明する実施形態は、本開示の代表的な実施形態の一例を示したものであり、これにより本開示の範囲が狭く解釈されることはない。なお、説明は以下の順序で行う。
・ 第1の実施形態
(RGBレーザ光源及び単芯光ファイバの組み合わせによって非スペックル照明光源を構成し、スペックル照明光の光路上に光偏向素子を配置した照明光伝送装置の例)
・ 第2の実施形態
(白色LED及びバンドルファイバの組み合わせによって非スペックル照明光源を構成し、スペックル照明光の光路上にアナモルフィックプリズムなどを配置した照明光伝送装置の例)
・ 第3の実施形態
(RGBレーザ光源及びバンドルファイバの組み合わせによって非スペックル照明光源を構成し、スペックル照明光の光路上にアナモルフィックプリズムなどを配置した照明光伝送装置の例)
・ 第4の実施形態
(RGBレーザ光源及びバンドルファイバの組み合わせによって非スペックル照明光源を構成し、スペックル照明光の光路上にアナモルフィックプリズムなどを配置した照明光伝送装置の例)
・ 第5の実施形態
(RGBレーザ光源及びバンドルファイバの組み合わせによって非スペックル照明光源を構成し、スペックル照明光の光路上にアナモルフィックプリズムなどを配置し、非スペックル照明光の光路上に拡散板を配置した照明光伝送装置の例)
・ 第6の実施形態
(RGBレーザ光源及びバンドルファイバの組み合わせによって非スペックル照明光源を構成し、スペックル照明光の光路上にアナモルフィックプリズムなどを配置し、非スペックル照明光の光路上に拡散板を配置し、信号発生器や遅延発生回路等を更に備えた照明光伝送装置の例)
・ 第1の実施形態)
先ず、本開示の第1実施形態に係る照明光伝送装置について説明する。
[全体構成]
図1は、本開示に係る照明光伝送装置10の第1実施形態を模式的に示す模式概念図である。本開示に係る照明光伝送装置10は、大別して、非スペックル照明光源1、スペックル照明光源2、バンドルファイバ3及び光制御部4を備える。また、必要に応じて、撮像系5などを更に備えることも可能である。以下、各部について詳細に説明する。
[非スペックル照明光源1]
非スペックル照明光源1では、非スペックル照明光の照射が行われる。非スペックル照明光とは、スペックルを発生しない光であり、例えば臓器などを照明するのに適した光の成分が分布する波長域を有する光が含まれる。非スペックル照明光には、紫外線、赤外線、可視光線が含まれ、単色光が含まれる。非スペックル照明光源1の照射条件は、本開示の効果を損なわない限り特に限定されないが、例えば、照射角度や照射位置等、又はこれらを組み合わせて設定できる。
非スペックル照明光源1は、例えば臓器画像などの明視野画像の取得に使用される。非スペックル照明光源1の具体的な構造は、本開示の効果を損なわない限り特に限定されず、非スペックル照明光の照射が可能な公知の装置又は機器を1種又は2種以上選択して、自由に組み合わせることができる。例えば、赤色、緑色および青色を混色した白色光を照射可能なRGBレーザ光源の照明光源デバイスや、単芯光ファイバの組み合わせによって非スペックル照明光源1を構成できる。本開示に係る照明光伝送装置10では、単芯光ファイバから射出された白色光が、2枚のレンズ25、26を介して、バンドルファイバ3に導かれる(図1参照)。
[スペックル照明光源2]
スペックル照明光源2では、スペックル照明光の照射が行われる。スペックル照明光とは、スペックルを発生させるような光であり、例えば血管などの流路や、血液などの流体などを照射するのに適した光の成分が分布する波長域を有する光が含まれる。スペックル照明光源2の照射条件は、本開示の効果を損なわない限り特に限定されないが、例えば、照射角度や照射位置等、又はこれらを組み合わせて設定することができる。
スペックル照明光源2はスペックル強調画像の取得に使用される。スペックル強調画像とは、「物体から得られる散乱光によって生じたスペックルが現れている画像」を意味し、「静止している物体(血管などの流路)からの散乱光によって生じた静的スペックルが現れている画像」や、「移動中の物体(血液などの流体)からの散乱光によって生じた動的スペックルが現れている画像」が含まれる。また、スペックル強調画像の測定手法には、公知のスペックル干渉法(ESPI)、公知のスペックル相関法、公知のスペックルコントラスト法などがある。
スペックル照明光源2は、スペックル照明光を照明可能なものであればよく、本開示の効果を損なわない限り特に限定されないが、例えば、半導体レーザ(LD)等の照明光源デバイスを使用できる。スペックル照明光源2からのスペックル照明光は、非球面レンズ21及び光偏向素子22を伝搬した後、ミラー23により折り返され、非スペックル照明光の入射方向とは垂直な方向からダイクロイックミラー24に入射される。ダイクロイックミラー24は、単芯光ファイバの射出端面とフーリエ変換の関係にある位置に配置することができる。
[バンドルファイバ3]
バンドルファイバ3では、光ファイバを複数本束ねてバンドル状とされる。バンドルファイバ3は、単芯光ファイバの射出端面と光学的に共役な位置に配置される。バンドルファイバ3の入射端面には、単芯光ファイバを伝搬してきた非スペックル照明光の光学像と、ダイクロイックミラー24で反射したスペックル照明光の光学像とが結像する。
図2は、バンドルファイバ3の入射端面図である。非スペックル照明光の光学像の像倍率は、非スペックル照明光がバンドルファイバ3の端面31の全面を照明するように設定可能である。また、スペックル照明光の光学像の像倍率は、各光ファイバのうちの1本の入射端面(例えば、図2中に塗り潰し部分として示す入射端面32)だけを照明するように設定されることが好ましい。これは、バンドルファイバ3を構成する各光ファイバの長さは全て同じとは限らないので、光路差によってスペックルが平均化されて低下してしまうことがあるからである。しかし、スペックル照明光を導く光ファイバが1本のみであれば、上記のような光路差は生じないので、スペックルを低下させることなく保つことができる。
なお、スペックル照明光の光学像の像倍率は、各光ファイバの一部だけを照明するように設定されてもよい。これにより、バンドルファイバ3において異なる照明位置で得られたスペックル強調画像が時間積算あるいは平均化されるので、スペックルによる空間的な粒子性ノイズが低減される。
バンドルファイバ3を構成する各光ファイバの中には、シングルモード型光ファイバやマルチモード型光ファイバが含まれ得るが、スペックル照明光を伝送する光ファイバは、スペックルパターンを変えずに維持する観点から、シングルモード型光ファイバとすることが好ましい。これは、スペックル照明光を伝送する光ファイバをマルチモード型光ファイバで構成した場合、バンドルファイバ3が折れ曲がった際に、スペックル照明光が多くのモードに分散されてしまい、スペックルパターンが変わってしまうことがあるからである。これに対し、スペックル照明光を伝送する光ファイバをシングルモード型光ファイバで構成した場合には、モードが一つしかないので、スペックルパターンは変わりようがない。また、スペックルは偏波の変化でもパターンが変化し得る。これを避けるために、偏波保持光ファイバを用いることもできる。
[光制御部4]
光制御部4では、非スペックル照明光とスペックル照明光の少なくともいずれか一方がバンドルファイバ3に導かれる。「非スペックル照明光とスペックル照明光の少なくともいずれか一方がバンドルファイバ3に導かれる」には、「非スペックル照明光とスペックル照明光の両方がバンドルファイバ3に導かれる」場合、「非スペックル照明光のみがバンドルファイバ3に導かれる」場合、及び「スペックル照明光のみがバンドルファイバ3に導かれる」場合、が含まれる。
光制御部4の具体的な構造は、本開示の効果を損なわない限り特に限定されず、公知の回路又は素子を1種又は2種以上選択して、自由に組み合わせることができる。例えば、CPU(Central Processing Unit)や光偏向素子22の組み合わせによって光制御部4を構成できる。
光制御部4では、バンドルファイバ3を構成する各光ファイバの中から選択された1本の光ファイバのみにスペックル照明光を導くことも可能である。この場合、選択された1本の光ファイバは、スペックルパターンを変えずに維持する観点から、シングルモード型光ファイバや、偏波面が保持される光ファイバであることが好ましい。また、光制御部4では、非スペックル照明光とスペックル照明光とを選択的にバンドルファイバ3に導くことも可能である。
[撮像系5]
撮像系5では、バンドルファイバ3の入射端面で反射された光を撮像することによって、バンドルファイバ3の入射端面における照度分布が観測される。
撮像系5が行う撮像方法は、本開示の効果が損なわれない限り特に限定されず、公知の撮像方法を1種又は2種以上選択して、自由に組み合わせて用いることができる。例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサー等の撮像素子を用いた撮像方法を挙げることができる。
撮像系5の具体的な構造は、本開示の効果を損なわない限り特に限定されず、公知の撮像素子又はレンズ51(図1参照)を1種又は2種以上選択して、自由に組み合わせることができる。
[照明対象]
本開示に係る照明光伝送装置10は、様々なものを照明対象とすることができるが、例えば、流体を含むものを対象とする照明に、好適に用いることができる。より具体的には、照明対象を血管とし、流体としては血液を挙げることができる。例えば、本開示に係る照明光伝送装置10を、手術用顕微鏡や手術用内視鏡などに搭載すれば、血管の位置を確認しながら手術を行うことが可能である。
[動作]
次に、前述した照明光伝送装置10の動作について説明する。
本実施形態の照明光伝送方法では、非スペックル照明光源1から非スペックル照明光が照射される(非スペックル照明光照射工程)。そして、非スペックル照明光の照射と同時に、スペックル照明光源2からスペックル照明光が照射される(スペックル照明光照射工程)。なお、スペックル照明光照射工程では、スペックル照明光の照射が非スペックル照明光の照射前に行われてもよく、非スペックル照明光の照射後に行われてもよい。そして、非スペックル照明光とスペックル照明光の両方がバンドルファイバ3に出射され(出射工程)、単一のバンドルファイバ3を伝送し、照明対象である臓器や血管へと導かれる。なお、出射工程では、非スペックル照明光のみがバンドルファイバ3に出射されてもよく、スペックル照明光のみがバンドルファイバ3に出射されてもよい。そして、非スペックル照明光が照射された臓器などの照明対象から得られる光の撮像が行われ、明視野画像(例えば臓器画像)が取得される(明視野画像撮像工程)。また、スペックル照明光が照射された血液などの照明対象から得られる散乱光の撮像が行われ、スペックル強調画像(例えば血流画像)が取得される(スペックル強調画像撮像工程)。なお、明視野画像撮像工程及びスペックル強調画像撮像工程では、明視野画像とスペックル強調画像とが交互に切り替えて撮像されてもよく、明視野画像とスペックル強調画像とが同時に撮像されてもよい。
また、本実施形態では、上記撮像系5によってバンドルファイバ3の入射端面が撮像され、当該撮像結果を基に、バンドルファイバ3の入射端面における照度分布が観測される。本実施形態では、当該観測結果を基に、光制御部4によって光偏向素子22が制御されることで、複数本の光ファイバのうち1本の光ファイバの照明位置、あるいは、複数本の光ファイバのうち一部の光ファイバの照明位置が順次に変わっていく。例えば、1本の光ファイバが照明される照明位置(図2中の入射端面32)は、光偏向素子22の制御によって、図2中の入射端面33や入射端面34に順次に変わっていく。
本実施形態では、それぞれの照明位置におけるスペックル照明光によって、臓器や血管などの照明対象物が撮像された後に、バンドルファイバ3において異なる照明位置で得られたスペックル強調画像が時間積算あるいは平均化されるので、スペックルによる空間的な粒子性ノイズを低減できる。
本実施形態では、非スペックル照明光とスペックル照明光が、単一のバンドルファイバ3を伝送するので、非スペックル照明光とスペックル照明光とで異なる2系統の照明光路を設ける必要がない。そのため、装置を従来よりも小型化できる。なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
・ 第2の実施形態)
次に、本開示の第2実施形態に係る照明光伝送装置について説明する。図3は、本開示の第2実施形態に係る照明光伝送装置の構成を模式的に示す図である。なお、図3においては、前述した第1の実施形態の照明光伝送装置の構成要素と同じものには、同じ符号を付し、その詳細な説明は省略する。
本実施形態の照明光伝送装置20は、白色LED及びバンドルファイバの組み合わせによって非スペックル照明光源1が構成される点、スペックル照明光の光路に、レンズ21、アナモルフィックプリズム27、偏向ビームスプリッタ28、及びλ/4板29が介装される点で、第1の実施形態の照明光伝送装置10と相違する。
本実施形態の照明光伝送装置20は、偏向ビームスプリッタ28を備えるので、光制御部4は、撮像系5で得られた画像を基にして、偏向ビームスプリッタ28の角度を調整することで、スペックル照明光がバンドルファイバ3の端面でどの光ファイバと結合させるか制御することができる。なお、本実施形態の照明光伝送装置における上記以外の構成及び効果は、前述した第1の実施形態と同じである。
・ 第3の実施形態)
次に、本開示の第3実施形態に係る照明光伝送装置について説明する。図4は、本開示の第3実施形態に係る照明光伝送装置の構成を模式的に示す図である。なお、図4においては、前述した第1の実施形態の照明光伝送装置の構成要素と同じものには、同じ符号を付し、その詳細な説明は省略する。
本実施形態の照明光伝送装置30は、RGBレーザ光源及びバンドルファイバの組み合わせによって非スペックル照明光源1が構成される点、スペックル照明光の光路に、レンズ21、アナモルフィックプリズム27、偏向ビームスプリッタ28、及びλ/4板29が介装される点で、第1の実施形態の照明光伝送装置10と相違する。
本実施形態の照明光伝送装置30は、偏向ビームスプリッタ28を備えるので、光制御部4は、撮像系5で得られた画像を基にして、偏向ビームスプリッタ28の角度を調整することで、スペックル照明光がバンドルファイバ3の端面でどの光ファイバと結合させるか制御することができる。なお、本実施形態の照明光伝送装置における上記以外の構成及び効果は、前述した第1の実施形態と同じである。
・ 第4の実施形態)
次に、本開示の第4実施形態に係る照明光伝送装置について説明する。図5は、本開示の第4実施形態に係る照明光伝送装置の構成を模式的に示す図である。なお、図5においては、前述した第1の実施形態の照明光伝送装置の構成要素と同じものには、同じ符号を付し、その詳細な説明は省略する。
本実施形態の照明光伝送装置40は、RGBレーザ光源及びバンドルファイバの組み合わせによって非スペックル照明光源1が構成される点、スペックル照明光の光路に、レンズ21、アナモルフィックプリズム27、空間光変調素子や音響光学素子などのように電子的に光偏向する光偏向素子35、及びλ/4板29が介装される点で、第1の実施形態の照明光伝送装置10と相違する。
本実施形態の照明光伝送装置40は、光偏向素子35を備えるので、光制御部4は、撮像系5で得られた画像を基にして、スペックル照明光を光偏向制御することで、スペックル照明光をバンドルファイバ3の端面でどの光ファイバと結合させるか制御することができる。なお、本実施形態の照明光伝送装置における上記以外の構成及び効果は、前述した第1の実施形態と同じである。
・ 第5の実施形態)
次に、本開示の第5実施形態に係る照明光伝送装置について説明する。図6は、本開示の第5実施形態に係る照明光伝送装置の構成を模式的に示す図である。なお、図6においては、前述した第1の実施形態の照明光伝送装置の構成要素と同じものには、同じ符号を付し、その詳細な説明は省略する。
本実施形態の照明光伝送装置50は、RGBレーザ光源及びバンドルファイバの組み合わせによって非スペックル照明光源1が構成される点、スペックル照明光の光路に、レンズ21、アナモルフィックプリズム27、偏向ビームスプリッタ28、及びλ/4板29が介装される点、非スペックル照明光の光路に、レンズ36と、非スペックル照明光を拡散する拡散板37とが介装される点で、第1の実施形態の照明光伝送装置10と相違する。
本実施形態の照明光伝送装置50は、非スペックル照明光の光路においてレンズ36とレンズ25との間に拡散板37が介装される。そして、開口数を上げることで、非スペックル照明光源1からの非スペックル照明光をバンドルファイバ3の端面に対して一様に照射することが可能になる。なお、本実施形態の照明光伝送装置における上記以外の構成及び効果は、前述した第1の実施形態と同じである。
・ 第6の実施形態)
次に、本開示の第6実施形態に係る照明光伝送装置について説明する。図7は、本開示の第6実施形態に係る照明光伝送装置の構成を模式的に示す図である。なお、図7においては、前述した第1の実施形態の照明光伝送装置の構成要素と同じものには、同じ符号を付し、その詳細な説明は省略する。
本実施形態の照明光伝送装置60は、RGBレーザ光源及びバンドルファイバの組み合わせによって非スペックル照明光源1が構成される点、スペックル照明光の光路にレンズ21、アナモルフィックプリズム27、偏向ビームスプリッタ28、及びλ/4板29が介装される点、非スペックル照明光の光路に、レンズ36と拡散板37とが介装される点、システムクロック信号を生成する信号発生器38、明視野画像の取得用のトリガー信号やスペックル強調画像の取得用のトリガー信号を生成する遅延発生回路39、非スペックル照明光源及びスペックル照明光源をそれぞれ駆動するためのドライバ41、42等を更に備える点で、第1の実施形態の照明光伝送装置と相違する。
本実施形態の照明光伝送装置60では、遅延発生回路39において、明視野画像の取得用のトリガー信号と、スペックル強調画像の取得用のトリガー信号のタイミングが調整されることで、明視野画像とスペックル強調画像を順次交互に照明・撮像する、いわゆるフィールドシーケンシャル撮像を実現できる。
また、本開示は、以下のような構成をとることもできる。
(1)
非スペックル照明光を照射する非スペックル照明光源と、
スペックル照明光を照射するスペックル照明光源と、
光ファイバを複数本束ねてバンドル状としたバンドルファイバと、
前記非スペックル照明光と前記スペックル照明光の少なくともいずれか一方を前記バンドルファイバに導く光制御部とを備える、照明光伝送装置。
(2)
前記バンドルファイバを構成する各光ファイバの中に、シングルモード型光ファイバが含まれる、(1)に記載の照明光伝送装置。
(3)
前記光制御部は、バンドルファイバを構成する各光ファイバの中から選択された1本の光ファイバのみに前記スペックル照明光を導く、(1)又は(2)に記載の照明光伝送装置。
(4)
前記選択された1本の光ファイバはシングルモード型光ファイバである、(3)に記載の照明光伝送装置。
(5)
前記選択された1本の光ファイバは偏波面が保持される光ファイバである、(3)に記載の照明光伝送装置。
(6)
前記光制御部は、前記非スペックル照明光と前記スペックル照明光とを選択的に前記バンドルファイバに導く、(1)から(5)のいずれかに記載の照明光伝送装置。
(7)
前記光制御部は、前記バンドルファイバの照度分布に基づいて、前記選択された1本の光ファイバに前記スペックル照明光を導く、(3)から(5)のいずれかに記載の照明光伝送装置。
(8)
前記非スペックル照明光の光路上に設けられ、前記非スペックル照明光を拡散する拡散板を更に備える、(1)から(7)のいずれかに記載の照明光伝送装置。
(9)
前記非スペックル照明光源は明視野画像の取得に使用され、前記スペックル照明光源はスペックル強調画像の取得に使用される、(1)から(8)のいずれかに記載の照明光伝送装置。
(10)
前記スペックル強調画像は、流体及び流路の少なくともいずれか一方の画像である、(9)に記載の照明光伝送装置。
(11)
前記明視野画像が臓器画像であり、前記スペックル強調画像は血流画像である、(9)又は(10)に記載の照明光伝送装置。
(12)
明視野画像の取得に使用される非スペックル照明光を照射する非スペックル照明光照射工程と、
スペックル強調画像の取得に使用されるスペックル照明光を照射するスペックル照明光照射工程と、
光ファイバを複数本束ねてバンドル状としたバンドルファイバに、前記非スペックル照明光と前記スペックル照明光の少なくともいずれか一方を出射する出射工程と、
を行う照明光伝送方法。
(13)
前記スペックル強調画像は、流体及び流路の少なくともいずれか一方の画像である、(12)に記載の照明光伝送方法。
(14)
前記明視野画像が臓器画像であり、前記スペックル強調画像は血流画像である、(12)又は(13)に記載の照明光伝送方法。
以下、本開示の実施例により、本開示の効果について具体的に説明する。なお、以下の各実施例では、レンズ21の開口数(NA)を0.5とし、焦点距離を30mmとした。レンズ25、26の開口数(NA)を0.25とし、焦点距離を50mmとした。また、レンズ51の開口数(NA)を0.125とし、焦点距離を100mmとした。また、バンドルファイバ3の射出端面とフーリエ変換の関係にある位置に、カットオフ波長750nmのショートパスダイクロイックミラー24(透過率99%)を設置した。また、スペックル照明光源2のレーザ光源には、波長780nm、横モードTEM00、縦マルチモード、出力200mWの半導体レーザ(LD)を使用した。
<第1実施例>
第1実施例では、第2の実施形態の照明光伝送装置20(図3参照)を用いて、豚心臓の冠静脈を撮像した。本実施例では、バンドル径100μmのバンドルファイバ1から射出された非スペックル照明光を、2枚のレンズ25、26を用いて、同じバンドル径100μmを有するバンドルファイバ3に導いた。
本実施例において、半導体レーザ(LD)から照射されたスペックル照明光は、レンズ21でコリメートされた後、アナモルフィックプリズム27により円形ビームに成形され、偏向ビームスプリッタ28(Tp=100%、Rs=100%)により反射し、ダイクロイックミラー24で非スペックル照明光と合波する。そして、レンズ26によりバンドルファイバ3の端面には拡大倍率1.667倍のレーザ光源の像が結像される。
スペックル照明光によるバンドルファイバ3の端面への結像位置の調整は、角度調整機構が備わっているダイクロイックミラー24の角度を調整することで実現することができる。本実施例において、バンドルファイバ3の端面には、大部分の光が光ファイバ中を伝播していくが、一部の結合していない光は反射する。反射した光のうち1%はダイクロイックミラー24で反射し、反射した光のうち50%は偏向ビームスプリッタ28を透過する。本実施例では、その光路後方に結像レンズ51とファイバ観察用イメージャー5を設置した。これにより、バンドルファイバ3の端面が観察可能になる。
本実施例では、ファイバ観察用イメージャー5で得られた画像を観察すれば、スペックル照明光がバンドルファイバ3の端面でどの光ファイバと結合しているか確認することができる。その情報をもとに、偏向ビームスプリッタ28の角度を調整すれば、スペックル照明光をどのファイバと結合させるか制御することができる。
<第2実施例>
第2実施例では、第3の実施形態の照明光伝送装置30(図4参照)を用いて、豚心臓の冠静脈を撮像した。本実施例と第1実施例との相違は以下の点1、2にある。その他は第1実施例と同じなので、詳細な説明を省略する。
1.RGBレーザ光源において、RGBの各光は、645nm、532nm、450nmの波長を有し、複数のエミッタから偏向を用いて合波されており、p偏向、s偏向の両方の独立した成分をもつ。
2.バンドルファイバ3の端面で反射したRGBレーザ光のうち1%はダイクロイックミラー24で反射する。反射した光は、p偏向、s偏向の両方の成分をもつことから、一定割合の光が偏向ビームスプリッタ28を透過する。
<第3実施例>
第3実施例では、第4の実施形態の照明光伝送装置40(図5参照)を用いて、豚心臓の冠静脈を撮像した。本実施例では、空間光変調素子35を用いて、スペックル照明光のバンドルファイバ3の端面への結像位置を調整した。その他は第1実施例と同じなので、詳細な説明を省略する。
<第4実施例>
第4実施例では、第5の実施形態の照明光伝送装置50(図6参照)を用いて、豚心臓の冠静脈を撮像した。本実施例では、バンドルファイバ3の端面を結像し、これを2次像として、この位置に、開口数を上げるための拡散板37、回折素子、及びホログラム光学素子などを設置した。その他は第1実施例と同じなので、詳細な説明を省略する。
<第5実施例>
第5実施例では、第6の実施形態の照明光伝送装置60(図7参照)を用いて、豚心臓の冠静脈を撮像した。本実施例では、明視野画像とスペックル強調画像とを順次交互に撮像することで、いわゆるフィールドシーケンシャル撮像を行った。本実施例では、信号発生器38においてシステムクロック信号を生成し、遅延発生回路39に出力した。そして、遅延発生回路39において、システムクロック信号を用いて、明視野画像用のトリガー信号と、スペックル強調画像用のトリガー信号を生成した。
実施例において、明視野画像用のトリガー信号のトリガータイミング(図7中のRGBタイミング)は、システムクロック信号に同期した状態に設定される。スペックル強調画像用のトリガー信号のトリガータイミング(図7中のスペックルタイミング)は、システムクロック信号に対して半周期遅れた状態に設定される。
本実施例において、各トリガー信号は、RGBレーザドライバ41やスペックルレーザドライバ42に導入される。本実施例において、RGBレーザ光源及び半導体レーザ(LD)は、それぞれ、非スペックル照明光とスペックル照明光を交互に出射する。本実施例において、RGBレーザ光源及び半導体レーザ(LD)は、半周期分だけずれたタイミングでパルスレーザ光を出射する。
なお、本実施例の光学系は第1実施例〜第4実施例で述べたいずれの形態も採用できる。また、非スペックル照明光とスペックル照明光を交互に出射するためのタイミング信号は、カメラ43側の撮像系トリガーとしても使用され、各照明光の照明のタイミングと同期して撮影が行われる。
例えば、図8や図9は、疑似血液が流れている疑似血管の画像例や、疑似血液の血流の画像例である。図8の画像例に示す通り、明視野画像として豚心臓の画像が得られ、スペックル強調画像として血流画像が得られた。スペックル強調画像に示す通り、血液が流れている部分には多くのスペックルが確認され、血液が流れていない部分との境界が鮮明になった。図9の画像例に示す通り、明視野画像として豚子宮の画像が得られ、スペックル強調画像として血流画像が得られた。図9においても同様に、血液が流れている部分(白い部分)には多くのスペックルが確認され、血液が流れていない部分(黒い部分)との境界が鮮明になった。
なお、本実施例では、明視野画像とスペックル強調画像とを交互に切り替えて照明・撮像したが、明視野画像とスペックル強調画像とを同時に照明・撮像してもよい。このような照明・撮像は、本開示の照明光伝送装置において、明視野画像とスペックル強調画像の両方を視認したい場合、あるいは、明視野画像とスペックル強調画像の両方を重ね合わせて視認する場合に好適である。
1 非スペックル照明光源
2 スペックル照明光源
3 バンドルファイバ
4 光制御部
5 撮像系
10、20、30、40、50、60 照明光伝送装置
21、25、26、36、51 レンズ
22 光偏向素子
23 ミラー
24 ダイクロイックミラー
27 アナモルフィックプリズム
28 偏向ビームスプリッタ
29 λ/4板
31 端面
32、33、34 入射端面
35 光偏向素子
37 拡散板
38 信号発生器
39 遅延発生回路
41、42 ドライバ
43 カメラ

Claims (14)

  1. 非スペックル照明光を照射する非スペックル照明光源と、
    スペックル照明光を照射するスペックル照明光源と、
    光ファイバを複数本束ねてバンドル状としたバンドルファイバと、
    前記非スペックル照明光と前記スペックル照明光の少なくともいずれか一方を前記バンドルファイバに導く光制御部と、を備え
    前記光制御部は、バンドルファイバを構成する各光ファイバの中から選択された1本の光ファイバのみに前記スペックル照明光を導き、
    前記選択された1本の光ファイバは偏波面が保持される光ファイバである、照明光伝送装置。
  2. 前記バンドルファイバを構成する各光ファイバの中に、シングルモード型光ファイバが含まれる、請求項1に記載の照明光伝送装置。
  3. 前記選択された1本の光ファイバはシングルモード型光ファイバである、請求項1に記載の照明光伝送装置。
  4. 前記光制御部は、前記非スペックル照明光と前記スペックル照明光とを選択的に前記バンドルファイバに導く、請求項1から3のいずれか一項に記載の照明光伝送装置。
  5. 前記光制御部は、前記バンドルファイバの照度分布に基づいて、前記選択された1本の光ファイバに前記スペックル照明光を導く、請求項1から4のいずれか一項に記載の照明光伝送装置。
  6. 非スペックル照明光を照射する非スペックル照明光源と、
    スペックル照明光を照射するスペックル照明光源と、
    光ファイバを複数本束ねてバンドル状としたバンドルファイバと、
    前記非スペックル照明光と前記スペックル照明光の少なくともいずれか一方を前記バンドルファイバに導く光制御部と、を備え
    前記光制御部は、バンドルファイバを構成する各光ファイバの中から選択された1本の光ファイバのみに前記スペックル照明光を導き、
    前記光制御部は、前記バンドルファイバの照度分布に基づいて、前記選択された1本の光ファイバに前記スペックル照明光を導く、照明光伝送装置。
  7. 前記バンドルファイバを構成する各光ファイバの中に、シングルモード型光ファイバが含まれる、請求項6に記載の照明光伝送装置。
  8. 前記選択された1本の光ファイバはシングルモード型光ファイバである、請求項6に記載の照明光伝送装置。
  9. 前記選択された1本の光ファイバは偏波面が保持される光ファイバである、請求項6又は8に記載の照明光伝送装置。
  10. 前記光制御部は、前記非スペックル照明光と前記スペックル照明光とを選択的に前記バンドルファイバに導く、請求項6から9のいずれか一項に記載の照明光伝送装置。
  11. 前記非スペックル照明光の光路上に設けられ、前記非スペックル照明光を拡散する拡散板を更に備える、請求項1から10のいずれか一項に記載の照明光伝送装置。
  12. 前記非スペックル照明光源は明視野画像の取得に使用され、前記スペックル照明光源はスペックル強調画像の取得に使用される、請求項1から11のいずれか一項に記載の照明光伝送装置。
  13. 前記スペックル強調画像は、流体及び流路の少なくともいずれか一方の画像である、請求項12に記載の照明光伝送装置。
  14. 前記明視野画像が臓器画像であり、前記スペックル強調画像は血流画像である、請求項12又は13に記載の照明光伝送装置。
JP2017509438A 2015-03-31 2016-02-26 照明光伝送装置及び照明光伝送方法 Expired - Fee Related JP6733663B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015070888 2015-03-31
JP2015070888 2015-03-31
PCT/JP2016/056690 WO2016158194A1 (ja) 2015-03-31 2016-02-26 照明光伝送装置及び照明光伝送方法

Publications (2)

Publication Number Publication Date
JPWO2016158194A1 JPWO2016158194A1 (ja) 2018-01-25
JP6733663B2 true JP6733663B2 (ja) 2020-08-05

Family

ID=57005626

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017509438A Expired - Fee Related JP6733663B2 (ja) 2015-03-31 2016-02-26 照明光伝送装置及び照明光伝送方法

Country Status (5)

Country Link
US (1) US20180110422A1 (ja)
EP (1) EP3260037A4 (ja)
JP (1) JP6733663B2 (ja)
CN (1) CN107427201A (ja)
WO (1) WO2016158194A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190293554A1 (en) * 2016-03-28 2019-09-26 Sony Corporation Imaging apparatus and imaging method
DE112019004340T5 (de) * 2018-08-28 2021-05-12 Sony Corporation Medizinisches system, informationsverarbeitungsvorrichtung und informationsverarbeitungsverfahren
US11284786B2 (en) * 2019-03-07 2022-03-29 ZSquare Ltd. Spatial encoding system decoding system imaging system and methods thereof

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2981700B2 (ja) * 1992-08-28 1999-11-22 富士写真フイルム株式会社 画像合成内視鏡
JPH11326826A (ja) * 1998-05-13 1999-11-26 Sony Corp 照明方法及び照明装置
JP4241038B2 (ja) * 2000-10-30 2009-03-18 ザ ジェネラル ホスピタル コーポレーション 組織分析のための光学的な方法及びシステム
CA2413483A1 (en) * 2001-12-26 2003-06-26 Kevin R. Forrester Motion measuring device
WO2008121844A1 (en) * 2007-03-30 2008-10-09 The General Hospital Corporation System and method providing intracoronary laser speckle imaging for the detection of vulnerable plaque
JP2010042153A (ja) * 2008-08-13 2010-02-25 Fujifilm Corp 照明装置およびこれを用いた内視鏡
WO2011078266A1 (ja) * 2009-12-22 2011-06-30 ジーニアルライト株式会社 生体内観察装置
US11206990B2 (en) * 2013-01-23 2021-12-28 Pedra Technology Pte Ltd Deep tissue flowmetry using diffuse speckle contrast analysis
JP6463903B2 (ja) * 2014-05-14 2019-02-06 オリンパス株式会社 内視鏡システム

Also Published As

Publication number Publication date
EP3260037A1 (en) 2017-12-27
US20180110422A1 (en) 2018-04-26
WO2016158194A1 (ja) 2016-10-06
EP3260037A4 (en) 2018-11-07
JPWO2016158194A1 (ja) 2018-01-25
CN107427201A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
US10842367B2 (en) Illumination apparatus, method and medical imaging system
JP5649911B2 (ja) 顕微鏡
KR101145974B1 (ko) 광섬유 조명 시스템
JP2010505588A5 (ja)
JPH0961132A (ja) 3次元形状計測装置
JP6733663B2 (ja) 照明光伝送装置及び照明光伝送方法
US20150362714A1 (en) Beam splitter apparatus, scanning observation apparatus, laser-scanning microscope, and laser-scanning endoscope
JP2015223463A (ja) 照明装置、照明方法及び内視鏡
US6925225B2 (en) Device for flat illumination of an object field
JP2009175441A (ja) 観察装置
JP4959590B2 (ja) 観察装置
TW201303364A (zh) 投影裝置及其分光單元以及合光單元
KR102059044B1 (ko) 측면조명을 이용한 홀로그래픽 3차원 내시경 시스템
US9069167B2 (en) Illumination apparatus for microscope and microscope using the same
JP6574101B2 (ja) 内視鏡システム
JP2006220953A5 (ja)
JP6642654B2 (ja) 照明装置、照明方法、内視鏡システム及び医療用観察システム
JP2012181341A (ja) 顕微鏡装置
JP4961359B2 (ja) 観察装置
CN111587395A (zh) 激光光源装置和检查装置
JP2013190760A (ja) 顕微鏡用照明装置
JP2019195520A (ja) 内視鏡装置、内視鏡装置における照明光学系の切り替え方法、プログラム、および記録媒体
JP6452523B2 (ja) 縞投影内視鏡の先端光学系及びそれを備えた内視鏡装置
JP2017146496A (ja) 照明用光源
WO2012117673A1 (ja) デジタル顕微鏡

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190110

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200622

R151 Written notification of patent or utility model registration

Ref document number: 6733663

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees