JP6841669B2 - 観察装置及び観察方法 - Google Patents

観察装置及び観察方法 Download PDF

Info

Publication number
JP6841669B2
JP6841669B2 JP2017007384A JP2017007384A JP6841669B2 JP 6841669 B2 JP6841669 B2 JP 6841669B2 JP 2017007384 A JP2017007384 A JP 2017007384A JP 2017007384 A JP2017007384 A JP 2017007384A JP 6841669 B2 JP6841669 B2 JP 6841669B2
Authority
JP
Japan
Prior art keywords
light
observation
irradiation
wavelength
projected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017007384A
Other languages
English (en)
Other versions
JP2018115977A (ja
Inventor
高橋 聡
聡 高橋
俊輔 松田
俊輔 松田
貴行 宮下
貴行 宮下
光春 三輪
光春 三輪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP2017007384A priority Critical patent/JP6841669B2/ja
Priority to DE112017006861.4T priority patent/DE112017006861T5/de
Priority to CN201780083962.XA priority patent/CN110192101A/zh
Priority to PCT/JP2017/037052 priority patent/WO2018135051A1/ja
Priority to US16/478,859 priority patent/US11513075B2/en
Priority to TW106138249A priority patent/TW201827914A/zh
Publication of JP2018115977A publication Critical patent/JP2018115977A/ja
Application granted granted Critical
Publication of JP6841669B2 publication Critical patent/JP6841669B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0012Surgical microscopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)

Description

本発明は、観察装置及び観察方法に関する。
従来の観察装置として、例えば特許文献1に記載の投影システムがある。この投影システムは、手術支援システムとして構成されており、患者の患部に向けて励起光を照射する赤外励起光源、励起光の照射によって患部で発生する蛍光を撮像する赤外カメラ、及び蛍光の撮像結果に基づく投影画像を患部に投影する投影部などを有している。
特開2016−27367号公報
上述した従来の観察装置では、赤外励起光源からの光を患部に向けて広域に照射していると考えられ、投影画像の調整のためにTOFセンサを配置し、患部との距離に応じて投影画像の制御を行っている。このため、装置の複雑化を招くほか、蛍光の撮像結果を投影画像に反映するために複雑な演算が必要になる。
本発明は、上記課題の解決のためになされたものであり、簡単な構成で、複雑な演算を必要とせずに投影画像を観察対象に表示できる観察装置及び観察方法を提供することを目的とする。
本発明の一側面に係る観察装置は、観察対象を観察する観察装置であって、照射光を発生する第1の光源と、投影光を発生する第2の光源と、観察対象に向けて照射光と投影光とを同一の光路で走査する光走査素子と、光走査素子を介さずに、照射光の照射に応じて観察対象で発生する被検出光を導光する導光光学系と、導光光学系によって導光された被検出光を検出する光検出器と、被検出光の検出結果に基づいて投影光の強度を制御する制御部と、を備える。
この観察装置では、観察対象に向けて照射光と投影光とを同一の光路で走査し、光走査素子を介さずに(デスキャンせずに)観察対象からの被検出光を検出する。照射光と投影光とを同一の光路とすることで、装置構成の簡単化が図られる。また、観察対象における照射光と投影光との照射位置が一致するため、被検出光の検出結果を投影画像に反映するための演算も簡単なものとなる。
また、光走査素子を含む光走査系の光軸と導光光学系の光軸とが一致していてもよい。この場合、装置構成の一層の簡単化が図られる。また、観察対象が光軸方向に動いた場合でも観察への影響を低減できる。
また、光走査素子を含む光走査系の光軸と導光光学系の光軸とが不一致となっていてもよい。この場合、照射光及び投影光と被検出光とを分離する光学素子が不要となるため、被検出光の光量を一層十分に確保できる。
また、照射光は、励起光であってもよい。この場合、照射光によって蛍光物質を励起し、観察対象の蛍光観察を行うことができる。
また、照射光の波長は、400nm〜810nmであってもよい。この波長帯域では、インドシアニングリーン、メチレンブルー、フルオレセイン、5−アミノレブリン酸といった代表的な蛍光物質を照射光によって励起することができる。
また、照射光の波長は、観察対象によって吸収される波長であってもよい。この場合、照射光の吸収に基づいた観察対象の観察を行うことができる。
また、照射光の波長は、735nm〜850nmであってもよい。この波長帯域では、例えば血管(血液)に照射光を吸収させることができる。
また、投影光の波長は、照射光の波長と異なる波長であってもよい。これにより、観察対象において照射光と投影光とを差別化できる。
また、投影光の波長は、380nm〜780nmであってもよい。この波長帯域では、投影光による投影画像を高い視認性をもって観察対象に表示させることができる。
また、光検出器は、シングルポイントセンサであってもよい。これにより、光検出器における検出レートを高めることができ、制御部における投影光のリアルタイム処理が可能となる。
また、観察装置は、被検出光の検出結果に基づいて画像を生成する画像生成部を更に備えてもよい。この場合、ディスプレイへの検出結果の表示、或いは外部記憶装置への検出結果の保存などを実施できる。
また、導光光学系の視野は、光走査素子による照射光の走査範囲を含んでいてもよい。これにより、光走査素子による照射光の走査範囲にわたって投影画像の投影が可能になる。
また、本発明の一側面に係る観察方法は、観察対象を観察する観察方法であって、照射光を発生する第1の光発生ステップと、投影光を発生する第2の光発生ステップと、光走査素子により、観察対象に向けて照射光と投影光とを同一の光路で走査する光走査ステップと、導光光学系により、照射光の照射に応じて観察対象で発生する被検出光を光走査素子を介さずに導光する導光ステップと、導光光学系によって導光された被検出光を光検出器によって検出する検出ステップと、検出ステップにおける被検出光の検出結果に基づいて投影光の強度を制御する制御ステップと、を備える。
この観察方法では、観察対象に向けて照射光と投影光とを同軸で走査し、光走査素子を介さずに(デスキャンせずに)観察対象からの被検出光を検出する。照射光と投影光とを同一の光路とすることで、装置構成の簡単化が図られる。また、観察対象における照射光と投影光との照射位置が一致するため、被検出光の検出結果を投影画像に反映するための演算も簡単なものとなる。
また、光走査素子を含む光走査系の光軸と導光光学系の光軸とを一致させてもよい。この場合、装置構成の一層の簡単化が図られる。また、観察対象が光軸方向に動いた場合でも観察への影響を低減できる。
また、光走査素子を含む光走査系の光軸と導光光学系の光軸とを不一致とさせてもよい。この場合、照射光及び投影光と被検出光とを分離する光学素子が不要となるため、被検出光の光量を一層十分に確保できる。
また、照射光を励起光としてもよい。この場合、照射光によって蛍光物質を励起し、観察対象の蛍光観察を行うことができる。
また、照射光の波長を400nm〜810nmとしてもよい。この波長帯域では、インドシアニングリーン、メチレンブルー、フルオレセイン、5−アミノレブリン酸といった代表的な蛍光物質を照射光によって励起することができる。
また、観察対象によって吸収を受ける波長を照射光の波長としてもよい。この場合、照射光の吸収に基づいた観察対象の観察を行うことができる。
また、照射光の波長を735nm〜850nmとしてもよい。この波長帯域では、例えば血管(血液)に照射光を吸収させることができる。
また、照射光の波長と異なる波長を投影光の波長としてもよい。これにより、観察対象において照射光と投影光とを差別化できる。
また、投影光の波長を380nm〜780nmとしてもよい。この波長帯域では、投影光による投影画像を高い視認性をもって観察対象に表示させることができる。
また、光検出器としてシングルポイントセンサを用いてもよい。これにより、光検出器における検出レートを高めることができ、制御部における投影光のリアルタイム処理が可能となる。
また、観察方法は、被検出光の検出結果に基づいて画像を生成する画像生成ステップを更に備えていてもよい。この場合、ディスプレイへの検出結果の表示、或いは外部記憶装置への検出結果の保存などを実施できる。
また、導光光学系の視野に光走査素子による照射光の走査範囲を含めてもよい。これにより、光走査素子による照射光の走査範囲にわたって投影画像の投影が可能になる。
本発明によれば、簡単な構成で、複雑な演算を必要とせずに投影画像を観察対象に表示できる。
第1実施形態に係る観察装置を示す概略構成図である。 図1に示した観察装置の動作を示すフローチャートである。 第2実施形態に係る観察装置を示す概略構成図である。 第3実施形態に係る観察装置を示す概略構成図である。 第4実施形態に係る観察装置を示す概略構成図である。 図5に示した観察装置の動作を示すフローチャートである。
以下、図面を参照しながら、本発明の一側面に係る観察装置及び観察方法の好適な実施形態について詳細に説明する。
[第1実施形態]
図1は、第1実施形態に係る観察装置を示す概略構成図である。同図に示す観察装置1は、観察対象Sに対する観察を行う装置である。本実施形態では、観察対象Sは、蛍光物質を注入した生体組織であり、観察装置1は、蛍光観察によって生体組織の状態をリアルタイムで観察する装置として構成されている。観察装置1の作動距離(適切な観察を行うための装置から観察対象Sまでの好適な距離)は、例えば10cm〜20cm程度となっているが、これに限られるものではない。また、観察装置1は、蛍光の検出結果に基づく投影画像Pを観察対象Sに表示することで、観察対象S上での観察結果の視認性を高める機能を有している。
蛍光観察に用いる蛍光物質としては、例えばインドシアニングリーンが挙げられる。インドシアニングリーンは、赤外光によって励起され、励起光とは異なる波長の赤外蛍光を発する。励起光及び赤外蛍光のいずれも生体組織を透過し易いため、生体組織の深部の蛍光観察に適している。他の蛍光色素としては、例えばメチレンブルー、フルオレセイン、5−アミノレブリン酸などが挙げられる。
図1に示すように、観察装置1は、照射光L1を発生する照射用光源(第1の光源)2と、投影光L2を発生する投影用光源(第2の光源)3と、照射光L1及び投影光L2を走査する光走査系4と、観察対象Sからの被検出光L3を導光する導光光学系Gと、導光された被検出光L3を検出する光検出器5と、装置の動作を制御する制御部6とを備えている。
照射用光源2は、蛍光を励起する波長を含む励起光を照射光L1として出射する光源である。上記蛍光物質の例では、インドシアニングリーンの励起波長は約775nm、メチレンブルーの励起波長は約670nm、フルオレセインの励起波長は約495nm、5−アミノレブリン酸の励起波長は約405nmとなっている。したがって、照射光L1の波長は、例えば400nm〜810nmの帯域から選択される。蛍光物質としてインドシアニングリーンを用いる場合、照射用光源2として、例えば波長785nmのレーザ光を出力する半導体レーザが用いられる。なお、照射用光源2として、レーザ等のコヒーレントな光源だけでなく、LEDやSLD(Super Luminescent Diode)等のインコヒーレントな光源を用いてもよい。
投影用光源3は、照射光L1とは異なる波長を含む可視光を投影光L2として出射する光源である。投影光L2の波長は、例えば可視域である380nm〜780nmの帯域から選択される。照射光L1として波長785nmのレーザ光を用いる場合、投影用光源3として、例えば波長580nmのレーザ光を出力する半導体レーザが用いられる。なお、投影用光源3として、レーザ等のコヒーレントな光源だけでなく、LEDやSLD等のインコヒーレントな光源を用いてもよい。
照射用光源2及び投影用光源3のそれぞれに対し、ビーム径の調整及び外部からの迷光防止のためのアパーチャを配置してもよい。アパーチャは、開口径が不変のものであってもよく、開口径が可変のものであってもよい。また、開口径が異なる複数のアパーチャを配置し、検出の条件によって異なる開口径のアパーチャを選択的に用いるようにしてもよい。また、照射用光源2及び投影用光源3のそれぞれに対し、コリメータレンズ7を配置してもよい。この場合、コリメータレンズ7により、照射光L1及び投影光L2は、平行光化された状態で光走査系4に導光される。
光走査系4は、観察対象Sに向けて照射光L1と投影光L2とを同一の光路で走査する光学系である。光走査系4は、例えばダイクロイックミラー8と、ミラー9と、走査ミラー(光走査素子)10と、集光レンズ11と、ビームスプリッタ12とによって構成されている。照射用光源2で発生した照射光L1は、ダイクロイックミラー8を通過し、走査ミラー10に入射する。投影用光源3で発生した投影光L2は、ダイクロイックミラー8及びミラー9でそれぞれ反射して照射光L1と同一の光路となり、走査ミラー10に入射する。
走査ミラー10は、同一の光路で入射した照射光L1及び投影光L2を観察対象Sに対して1軸或いは2軸で走査するミラーである。走査ミラー10の駆動は、制御部6からの制御信号に基づいて制御される。走査ミラー10としては、例えばMEMSミラー、ガルバノミラー、ポリゴンミラーなどを用いることができる。走査ミラー10の代わりに、空間光変調器などの他の光学素子を光走査素子として用いてもよい。また、ビームスプリッタ12は、照射光L1及び投影光L2を反射する一方、照射光L1の照射に応じて観察対象Sで発生する被検出光L3を透過する素子である。ビームスプリッタ12としては、例えばダイクロイックミラー、ハーフミラーを用いることができる。なお、光学配置によっては、ビームスプリッタ12は、照射光L1及び投影光L2を透過する一方、被検出光L3を反射してもよい。
走査ミラー10で反射した照射光L1及び投影光L2は、集光レンズ11によって集光すると共にビームスプリッタ12で反射し、同一の光路を維持したまま観察対象Sに対して入射する。すなわち、照射光L1と投影光L2とは、観察対象Sの同じ位置に入射する。本実施形態では、照射光L1及び投影光L2は、ビームスプリッタ12で反射した後、観察対象Sに対して略垂直に入射する。
導光光学系Gは、照射光L1の照射に応じて観察対象Sで生じる被検出光L3を光検出器5に導光する光学系である。導光光学系Gは、例えばビームスプリッタ12及び観察レンズ13によって構成されている。本実施形態においては、光走査系4の光軸と導光光学系Gの光軸とは、同軸となるように調整されている。観察レンズ13は、例えば複数の凸レンズによって構成されている。観察レンズ13は、観察対象Sでの発生位置から拡散する被検出光L3を集める。
観察レンズ13により被検出光L3を集めることで、光検出器5で検出される被検出光L3の光量を十分に確保できる。また、観察レンズ13により、導光光学系Gの視野の大きさを調整することができる。観察レンズ13は、被検出光L3の集光を補助できる構成であればよく、必ずしも観察レンズ13の焦点位置に光検出器5を配置する必要はない。また、導光光学系Gは、被検出光L3の波長域に対応した透過帯域を有するフィルタを有してもよい。このようなフィルタとしては、ロングパスフィルタ或いはバンドパスフィルタなどが挙げられる。
照射光L1の入射及び走査がなされると、観察対象S内において蛍光物質が存在する(含まれる)位置では、照射光L1によって蛍光物質が励起され、被検出光L3として蛍光が発生する。この場合、被検出光L3は、観察対象Sでの発生位置(照射光L1の照射位置)から放射状に拡散する。この被検出光L3は、ビームスプリッタ12を透過し、走査ミラー10を介さずに(走査ミラー10で再び反射することなく)光検出器5側に入射する。すなわち、導光光学系Gは、走査ミラー10を介さずに、被検出光L3を光検出器5に導光する。
また、投影光L2の照射及び走査により、観察対象Sの表面に投影画像Pが投影される。観察対象Sに投影画像Pが投影されることで、観察対象Sにおける蛍光の発生位置を視認することが可能となる。導光光学系Gの視野(観察範囲)は、光走査系4による照射光L1の走査範囲を含むように設定されることが好ましい。この場合、光走査系4による照射光L1の走査範囲にわたって投影画像Pの投影が可能になる。
光検出器5は、導光光学系Gによって導光された被検出光L3を検出する。光検出器5は、例えばフォトダイオード、アバランシェフォトダイオード、光電子増倍管、SiPM(Silicon Photomultipliers)などによって構成されている。光検出器5は、被検出光L3を検出し、検出信号(検出結果を示す情報)を制御部6に出力する。
本実施形態では、観察対象Sと光検出器5とは、結像関係を持たない配置となっている。このため、走査ミラー10によって観察対象Sでの被検出光L3の発生位置が移動した場合でも、被検出光L3は、光検出器5に導光される。したがって、本実施形態では、光検出器5として、検出レートの速いシングルポイントセンサが用いられることが好ましい。
制御部6は、物理的に、例えばRAM、ROM等のメモリ、CPU等のプロセッサ(演算回路)、通信インターフェイス、ハードディスク等の格納部、USBメモリ等の外部メディアに対してデータの入出力を行うデータ入出力部を備えて構成されたコンピュータである。コンピュータは、ディスプレイ等の表示部を更に備えて構成されていてもよい。かかるコンピュータとしては、例えばパーソナルコンピュータ、クラウドサーバ、スマートデバイス(スマートフォン、タブレット端末など)などが挙げられる。コンピュータは、メモリに格納されたプログラムをCPUで実行することにより、各種の制御機能を実行する。
制御部6は、外部からの動作開始の入力を受け付けると、照射用光源2、投影用光源3、及び走査ミラー10の駆動を開始させる。また、制御部6は、光検出器5から被検出光L3の検出結果を示す情報を受け取ると、被検出光L3の検出結果に基づいて投影用光源3から発生する投影光L2の強度を制御し、検出結果を反映した投影画像Pを観察対象Sの表面に形成する。投影光L2の強度の制御は、観察対象Sの種類、蛍光物質の種類、投影光L2の波長といった諸条件に応じて行われる。
制御部6は、被検出光L3の検出強度に対して投影光L2の強度が比例するように投影用光源3を制御してもよく、投影光L2の強度をγ補正し、被検出光L3の検出強度に対して投影光L2の強度が非線形となるように投影用光源3を制御してもよい。また、制御部6は、予め設定された閾値に対する被検出光L3の検出強度に基づいて投影用光源3のオン・オフを切り替えてもよく、2つの異なる閾値を設定し、被検出光L3の検出強度が2つの閾値の範囲内であるか否かに基づいて投影用光源3のオン・オフを切り替えてもよい。
制御部6は、投影光L2の強度の直接的な制御に代えて、投影光L2のパルスの繰り返し周波数を制御してもよい。人間の目では、複数のパルスが積算されることで投影光L2を捉えるため、強度を変えずに投影光L2のパルスの繰り返し周波数を変えた場合でも、投影光L2の強度を変化させた場合と同様の視覚効果が得られる。また、制御部6は、観察対象Sにおける一定の領域のみに投影光L2が照射されるように投影用光源3を制御してもよい。例えば蛍光が検出された領域の輪郭のみに投影光L2を照射することで、観察対象Sに照射されるレーザ光のエネルギー量を低減でき、観察対象Sへのダメージを軽減したり、観察装置1の消費電力を軽減したりすることができる。
制御部6は、投影光L2の強度の制御にあたり、被検出光L3のバックグラウンド減算処理を実行してもよい。バックグラウンド減算処理は、例えば照射用光源2をオフにした状態で観察対象Sのバックグラウンドの強度を検出し、被検出光L3の検出の際に被検出光L3の強度からバックグラウンドの強度を減算する処理である。この場合、バックグラウンドの検出は、例えば走査ミラー10による走査ライン毎に行ってもよい。
また、バックグラウンドの検出は、照射光L1のレーザ変調を行い、走査ミラー10による走査領域のピクセル毎に照射光L1がオンのときの検出強度から照射光L1がオフのときの検出強度を減算することによって行ってもよい。バックグラウンドの検出期間を走査ミラー10の走査の戻り期間としてもよい。これらの例では、投影光L2の照射を同時に行ってもよい。
次に、観察装置1の動作について説明する。
図2は、観察装置1の動作を示すフローチャートである。同図に示すように、観察装置1では、観察を開始する操作が入力されると、照射用光源2から照射光L1が発生すると共に、投影用光源3から投影光L2が発生する(ステップS01:照射光発生ステップ(第1の光発生ステップ)及び投影光発生ステップ(第2の光発生ステップ))。照射光L1及び投影光L2は、光走査系4において同一の光路に導光され、当該同一の光路を維持したまま走査ミラー10によって観察対象Sに向けて走査される(ステップS02:光走査ステップ)。照射光L1の入射及び走査により、観察対象Sでは、蛍光物質の励起によって蛍光が発生する。また、投影光L2の照射及び走査により、観察対象Sの表面に投影画像Pが形成される。
次に、観察装置1では、観察対象Sで発生した蛍光が被検出光L3として走査ミラー10を介さずに光検出器5に導光される(ステップS03:導光ステップ)。導光ステップS03で導光された被検出光L3は、光検出器によって検出される(ステップS04:検出ステップ)。そして、被検出光L3の検出結果を示す情報が制御部6に出力され、光検出器5による被検出光L3の検出結果に基づいて投影光L2の強度が制御される(ステップS05:制御ステップ)。これにより、被検出光L3の検出結果を反映した投影画像Pが観察対象Sの表面に形成される。
以上説明したように、この観察装置1では、観察対象Sに向けて照射光L1と投影光L2とを同軸で走査し、光走査系4を介さずに(デスキャンせずに)観察対象Sからの被検出光L3を検出する。このように、照射光L1と投影光L2とを同一の光路とすることで、装置構成の簡単化が図られると共に、照射光L1を観察対象Sに対して広域に照射する場合と比較して被検出光L3の光量を十分に確保した状態で投影画像Pを観察対象Sに表示できる。また、観察対象Sにおける照射光L1と投影光L2との照射位置が一致し、制御部6側で投影光L2の照射位置を決定する処理が不要となるため、被検出光L3の検出結果を投影画像Pに反映するための演算も簡単なものとなる。
また、観察装置1では、走査ミラー10を含む光走査系4の光軸と導光光学系Gの光軸とが一致している。このため、装置構成の一層の簡単化が図られる。また、観察対象が光軸方向に動いた場合でも観察への影響を低減できる。これにより、観察装置1の作動距離の範囲を広げることが可能となる。
また、本実施形態では、照射光L1の波長は、400nm〜810nmであり、蛍光物質を励起する波長となっている。このような波長を選択することにより、照射光L1によって蛍光物質を励起することができ、観察対象Sの蛍光観察を行うことができる。また、この波長帯域では、インドシアニングリーン、メチレンブルー、フルオレセイン、5−アミノレブリン酸といった代表的な蛍光物質を照射光L1によって励起することができる。
また、本実施形態では、光検出器5としてシングルポイントセンサが用いられている。これにより、光検出器5における検出レートを高めることができ、制御部6における投影光L2のリアルタイム処理が可能となる。
[第2実施形態]
図3は、第2実施形態に係る観察装置を示す概略構成図である。同図に示すように、第2実施形態に係る観察装置21は、走査ミラー10を含む光走査系4の光軸と導光光学系Gの光軸とが不一致となっている点で第1実施形態と異なっている。
より具体的には、観察装置21の光走査系4には、ビームスプリッタ12が配置されておらず、ダイクロイックミラー8及びミラー9で同一の光路に導光された照射光L1及び投影光L2は、集光レンズ22によって集光すると共にミラー23で反射し、走査ミラー10に入射する。走査ミラー10で反射した照射光L1及び投影光L2は、同一の光路を維持したまま観察対象Sに対して一定の傾きを持って入射する。そして、照射光L1の照射に応じて観察対象Sで発生した被検出光L3は、走査ミラー10を介さずに導光光学系Gの観察レンズ13によって光検出器5に導光される。
このような観察装置21においても、第1実施形態と同様に、装置構成の簡単化が図られると共に、被検出光L3の光量を十分に確保した状態で投影画像Pを観察対象Sに表示できる。また、被検出光L3の検出結果を投影画像Pに反映するための演算も簡単なものとなる。さらに、本実施形態では、走査ミラー10を含む光走査系4の光軸と導光光学系Gの光軸とが不一致となっている。これにより、照射光L1及び投影光L2と被検出光L3とを分離する光学素子が不要となるため、被検出光L3の光量を一層十分に確保できる。
なお、第2実施形態では、光走査系4の光軸と導光光学系Gの光軸とが一致していないことから、第1実施形態に比べて作動距離の範囲が狭くなることも考えられる。そこで、第2実施形態では、照射光L1及び投影光L2の照射前に、観察装置21と観察対象Sとの距離を作動距離の範囲内に調整する調整ステップを実施しておくことが好適である。この調整ステップでは、例えば観察装置21から観察対象Sに対して投影光L2を照射し、投影光L2がはっきりと視認できる位置となるように、観察装置21と観察対象Sとの距離を変化させる。この調整ステップの実施により、観察装置21の作動距離で観察対象Sに投影光L2を照射することができる。
[第3実施形態]
図4は、第3実施形態に係る観察装置を示す概略構成図である。同図に示す観察装置31は、上述した生体組織の蛍光観察に加え、生体組織内の血管位置の観測を同時に実施する装置として構成されている。より具体的には、観察装置31は、第1の投影用光源3A及び第2の投影用光源3Bと、第1の光検出器5A及び第2の光検出器5Bとを備えている点で、第1実施形態と異なっている。
血管位置の観測を実施する場合、照射光L1は、観察対象S内の血管(血液)によって吸収を受ける波長を有していることが好適である。この場合、照射光L1の波長は、例えば735nm〜850nmの帯域から選択される。蛍光観察と血管位置の観察を同時に実施する場合、照射光L1は、血管(血液)によって吸収を受け、かつ、蛍光物質を励起する波長を有していることが好適である。例えば、蛍光物質としてインドシアニングリーンを用いた蛍光観察と血管位置の観測とを同時に実施する場合、照射用光源2として、例えば波長785nmの光を出力する光源が用いられる。
第1の投影用光源3A及び第2の投影用光源3Bは、例えば可視域である380nm〜780nmの帯域の光として出力する。第1の投影用光源3Aは、蛍光物質の分布を投影するための投影光L2Aを出力し、一方、第2の投影用光源3Bは、血管(血流)を投影するための投影光L2Bを出力する。そのため、第1の投影用光源3Aから出力される投影光L2Aの波長と第2の投影用光源3Bから出力される投影光L2Bの波長とは、互いに異なっていることが好ましい。本実施形態では、第1の投影用光源3Aは、例えば緑色〜黄色の波長(例えば波長580nm)を含む光を出力する光源であり、第2の投影用光源3Bは、赤色(例えば波長650nm)を含む光を出力する光源である。
投影光L2A及び投影光L2Bは、ダイクロイックミラー8及びミラー9A,9Bによって照射光L1と同一の光路となり、その状態を維持したまま光走査系4によって観察対象Sに走査される。本実施形態では、照射光L1の入射によって観察対象S内の蛍光物質が励起されて蛍光が発生する。また、観察対象Sでの照射光L1の反射率は、照射光L1の照射位置における血管の存在の有無によって異なる。血管が存在する位置では、血管による吸収の影響で照射光L1の反射率が相対的に低くなり、血管が存在しない位置では、血管による吸収の影響がないので照射光L1の反射率が相対的に高くなる。
第1の光検出器5A及び第2の光検出器5Bは、例えばフォトダイオード、アバランシェフォトダイオード、光電子増倍管、SiPMなどによって構成されたシングルポイントセンサである。本実施形態では、照射光L1の照射に応じて観察対象Sで発生する蛍光と、観察対象Sで反射する照射光L1とが被検出光L3となる。導光光学系Gには、被検出光L3中の照射光L1と蛍光とを分離するビームスプリッタ32が配置されている。ビームスプリッタ32は、例えばダイクロイックミラーである。第1の光検出器5Aは、ビームスプリッタ32で分離された蛍光を検出し、検出信号(検出結果を示す情報)を制御部6に出力する。また、第2の光検出器5Bは、ビームスプリッタ32で分離された照射光L1を検出し、検出信号(検出結果を示す情報)を制御部6に出力する。
制御部6は、第1の光検出器5A及び第2の光検出器5Bから検出結果を示す情報をそれぞれ受け取ると、検出結果に基づいて第1の投影用光源3Aから発生する投影光L2Aの強度及び第2の投影用光源3Bから発生する投影光L2Bの強度をそれぞれ制御する。これにより、観察対象Sの表面には、蛍光の発生位置を示す投影画像PAと、血管の検出位置を示す投影画像PBとがそれぞれ投影される。
このような観察装置31においても、第1実施形態と同様に、装置構成の簡単化が図られると共に、被検出光L3の光量を十分に確保した状態で投影画像PA,PBを観察対象Sに表示できる。また、被検出光L3の検出結果を投影画像PA,PBに反映するための演算も簡単なものとなる。
なお、本実施形態では、第1実施形態を変形して蛍光観察及び血管位置の観察を同時実施する観察装置31を例示したが、同様の変形を第2実施形態に適用してもよい。また、第1実施形態及び第2実施形態では、観察対象Sは、蛍光物質を注入した生体組織であり、観察装置1及び観察装置21として、蛍光観察によって生体組織の状態をリアルタイムで観察する装置を例示したが、これに限定されるものではない。観察装置1,21は、蛍光観察をする構成に代えて、第3実施形態で説明したような観察対象S内の血管を検出する構成であってもよい。
[第4実施形態]
図5は、第4実施形態に係る観察装置を示す概略構成図である。同図に示す観察装置41は、被検出光L3の検出結果に基づく画像を作成し、作成した画像の表示等を行う装置として構成されている。より具体的には、観察装置41は、表示部42を備えている点、及び制御部6が画像を生成する画像生成部としての機能を有する点で、上記実施形態と異なっている。
従来の観察装置では、赤外励起光源からの光を患部に向けて広域に照射しながら、照射領域を撮像して画像を得るため、蛍光の検出感度が不十分となる場合がある。これに対し、本実施形態では、蛍光を高感度に検出し、その検出結果に基づいた画像を得ることができる。
表示部42は、例えばディスプレイであり、制御部6と電気的に接続されている。表示部42は、制御部6で生成された様々な画像を表示する。表示部42は、異なる種類の画像を同時に表示してもよく、異なる種類の画像を重畳させた重畳画像を表示してもよい。
画像生成部としての制御部6は、光検出器5から被検出光L3の検出結果を示す情報を受け取り、当該検出結果を走査ミラー10の角度に対応させて画像を生成する。そして、制御部6は、生成した画像を静止画或いは動画としてハードディスク等の格納部に保存し、必要に応じて表示部42に出力する。制御部6は、通信インターフェイスを介して、静止画や動画として保存したデータを外部の装置に送信したり、データ入出力部を介してUSBメモリ等の外部記憶媒体に保存したりしてもよい。
観察装置41は、他の実施形態と同様に、被検出光L3の検出結果に基づいて投影用光源3から発生する投影光L2の強度を制御し、検出結果を反映した投影画像Pを観察対象Sの表面に形成してもよい。投影光L2の強度の制御は、観察対象Sの種類、蛍光物質の種類、投影光L2の波長といった諸条件に応じて行われる。
図6は、観察装置41の動作を示すフローチャートである。同図に示すように、観察装置41では、観察を開始する操作が入力されると、照射用光源2から照射光L1が発生する(ステップS11:照射光発生ステップ(第1の光発生ステップ))。照射光L1は、光走査系4に導光され、走査ミラー10によって観察対象Sに向けて走査される(ステップS12:照射光走査ステップ(光走査ステップ))。照射光L1の照射及び走査により、観察対象Sでは、被検出光L3が発生する。
次に、観察装置1では、走査ミラー10を介さずに、観察対象Sで発生した被検出光L3が光検出器5に導光される(ステップS13:導光ステップ)。導光ステップS13で導光された被検出光L3は、光検出器5よって検出される(ステップS14:検出ステップ)。そして、被検出光L3の検出結果を示す情報が制御部6に出力され、光検出器5による被検出光L3の検出結果に基づいて画像が生成される(ステップS15:画像生成ステップ)。画像生成ステップS15で生成された様々な画像は、格納部に保存或いは表示部42に表示される。
次に、観察装置1では、投影用光源3から投影光L2が発生する(ステップS15:投影光発生ステップ(第2の光発生ステップ))。投影光L2は、光走査系4において照射光L1と同一の光路に導光される。投影光L2は、照射光L1と同一の光路を維持したまま走査ミラー10によって観察対象Sに向けて走査され、投影光L2の強度は、光検出器5による被検出光L3の検出結果に基づいて制御される(ステップS16:投影光走査ステップ(光走査ステップ)及び制御ステップ)。これにより、被検出光L3の検出結果を反映した投影画像Pが観察対象Sの表面に形成される。
このような観察装置41においても、上記実施形態と同様に、装置構成の簡単化が図られると共に、被検出光L3の光量を十分に確保した状態で投影画像Pを観察対象Sに表示できる。また、被検出光L3の検出結果を投影画像Pに反映するための演算も簡単なものとなる。さらに、観察装置41は、被検出光L3の検出結果に基づいて画像を生成する制御部(画像生成部)6を備えている。これにより、表示部42への検出結果の表示、或いは外部記憶装置への検出結果の保存などを実施できる。
第4実施形態においては、投影光L2の照射を行わずに、被検出光L3の検出結果に基づいた生成した画像を表示あるいは保存するだけの構成としてもよい。また、第4実施形態において、導光光学系Gの視野(観察範囲)は、光走査系4による照射光L1の走査範囲よりも小さくなるように設定されてもよい。
[その他の変形例]
本発明は、上記実施形態に限られるものではない。例えば上記実施形態では、照射光L1によって観察対象Sで可視外の波長の蛍光が発生することを例示しているが、本発明は、可視域の波長の蛍光が発生する場合、視認が困難な微弱な蛍光が発生する場合、或いは観察対象Sに複数の蛍光物質を注入する場合などにも適用できる。また、上記実施形態では、観察対象Sとして生体組織を例示し、観察対象Sから発生する蛍光の観察や観察対象S内部の血管に対する観察等を例示したが、観察対象及び観察例はこれに限定されるものではない。例えば観察対象Sは、内部に下絵が隠された絵画などであってもよい。この場合、例えば照射光L1の反射率の変化によって下絵の状態を検出することで、その検出結果に応じた投影画像Pを絵画に投影できる。
1,21,31,41…観察装置、2…照射用光源(第1の光源)、3,3A,3B…投影用光源(第2の光源)、4…光走査系、6…制御部、画像生成部、10…走査ミラー(光走査素子)、5,5A,5B…光検出器、G…導光光学系、L1…照射光、L2,L2A,L2B…投影光、L3…被検出光、S…観察対象。

Claims (22)

  1. 観察対象を観察する観察装置であって、
    照射光を発生する第1の光源と、
    投影光を発生する第2の光源と、
    前記観察対象に向けて前記照射光と前記投影光とを同一の光路で走査する光走査素子と、
    前記光走査素子を介さずに、前記照射光の照射に応じて前記観察対象で発生する被検出光を導光する導光光学系と、
    前記導光光学系によって導光された前記被検出光を検出する光検出器と、
    前記被検出光の検出結果に基づいて前記投影光の強度を制御する制御部と、を備え
    前記照射光は、励起光である観察装置。
  2. 前記光走査素子を含む光走査系の光軸と前記導光光学系の光軸とが一致している請求項1記載の観察装置。
  3. 前記光走査素子を含む光走査系の光軸と前記導光光学系の光軸とが不一致となっている請求項1記載の観察装置。
  4. 前記照射光の波長は、400nm〜810nmである請求項1〜3のいずれか一項記載の観察装置。
  5. 前記照射光の波長は、前記観察対象によって吸収される波長である請求項1〜のいずれか一項記載の観察装置。
  6. 前記照射光の波長は、735nm〜850nmである請求項記載の観察装置。
  7. 前記投影光の波長は、前記照射光の波長と異なる波長である請求項1〜のいずれか一項記載の観察装置。
  8. 前記投影光の波長は、380nm〜780nmである請求項記載の観察装置。
  9. 前記光検出器は、シングルポイントセンサである請求項1〜のいずれか一項記載の観察装置。
  10. 前記被検出光の検出結果に基づいて画像を生成する画像生成部を更に備える請求項1〜のいずれか一項記載の観察装置。
  11. 前記導光光学系の視野は、前記光走査素子による前記照射光の走査範囲を含む請求項1〜10のいずれか一項記載の観察装置。
  12. 観察対象を観察する観察方法であって、
    照射光を発生する第1の光発生ステップと、
    投影光を発生する第2の光発生ステップと、
    光走査素子により、前記観察対象に向けて前記照射光と前記投影光とを同一の光路で走査する光走査ステップと、
    導光光学系により、前記照射光の照射に応じて前記観察対象で発生する被検出光を前記光走査素子を介さずに導光する導光ステップと、
    前記導光光学系によって導光された前記被検出光を光検出器によって検出する検出ステップと、
    前記検出ステップにおける前記被検出光の検出結果に基づいて前記投影光の強度を制御する制御ステップと、を備え
    前記照射光を励起光とする観察方法。
  13. 前記光走査素子を含む光走査系の光軸と前記導光光学系の光軸とを一致させる請求項12記載の観察方法。
  14. 前記光走査素子を含む光走査系の光軸と前記導光光学系の光軸とを不一致とさせる請求項12記載の観察方法。
  15. 前記照射光の波長を400nm〜810nmとする請求項12〜14のいずれか一項記載の観察方法。
  16. 前記観察対象によって吸収を受ける波長を前記照射光の波長とする請求項1214のいずれか一項記載の観察方法。
  17. 前記照射光の波長を735nm〜850nmとする請求項16記載の観察方法。
  18. 前記照射光の波長と異なる波長を前記投影光の波長とする請求項1217のいずれか一項記載の観察方法。
  19. 前記投影光の波長を380nm〜780nmとする請求項18記載の観察方法。
  20. 前記光検出器としてシングルポイントセンサを用いる請求項1219のいずれか一項記載の観察方法。
  21. 前記被検出光の検出結果に基づいて画像を生成する画像生成ステップを更に備える請求項1220のいずれか一項記載の観察方法。
  22. 前記導光光学系の視野に前記光走査素子による前記照射光の走査範囲を含める請求項1221のいずれか一項記載の観察方法。
JP2017007384A 2017-01-19 2017-01-19 観察装置及び観察方法 Active JP6841669B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2017007384A JP6841669B2 (ja) 2017-01-19 2017-01-19 観察装置及び観察方法
DE112017006861.4T DE112017006861T5 (de) 2017-01-19 2017-10-12 Beobachtungsvorrichtung und Beobachtungsverfahren
CN201780083962.XA CN110192101A (zh) 2017-01-19 2017-10-12 观察装置及观察方法
PCT/JP2017/037052 WO2018135051A1 (ja) 2017-01-19 2017-10-12 観察装置及び観察方法
US16/478,859 US11513075B2 (en) 2017-01-19 2017-10-12 Observation device and observation method
TW106138249A TW201827914A (zh) 2017-01-19 2017-11-06 觀察裝置及觀察方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017007384A JP6841669B2 (ja) 2017-01-19 2017-01-19 観察装置及び観察方法

Publications (2)

Publication Number Publication Date
JP2018115977A JP2018115977A (ja) 2018-07-26
JP6841669B2 true JP6841669B2 (ja) 2021-03-10

Family

ID=62909297

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017007384A Active JP6841669B2 (ja) 2017-01-19 2017-01-19 観察装置及び観察方法

Country Status (6)

Country Link
US (1) US11513075B2 (ja)
JP (1) JP6841669B2 (ja)
CN (1) CN110192101A (ja)
DE (1) DE112017006861T5 (ja)
TW (1) TW201827914A (ja)
WO (1) WO2018135051A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020070749A1 (en) * 2018-10-05 2020-04-09 Ibrahim Abdulhalim An optical device capable of responding to a writing long-wave radiation
WO2020121744A1 (ja) 2018-12-14 2020-06-18 ホーコス株式会社 フィルタ、フィルタ装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6678398B2 (en) * 2000-09-18 2004-01-13 Sti Medical Systems, Inc. Dual mode real-time screening and rapid full-area, selective-spectral, remote imaging and analysis device and process
WO2005052668A1 (ja) 2003-11-26 2005-06-09 Olympus Corporation レーザ走査型蛍光顕微鏡
JP2006003747A (ja) 2004-06-18 2006-01-05 Olympus Corp 光走査型観察装置
JP4818634B2 (ja) 2005-04-25 2011-11-16 オリンパス株式会社 走査型蛍光観察装置
US8868161B2 (en) * 2007-09-13 2014-10-21 Jonathan Thierman Detection and display of measured subsurface data onto a surface
EP2107363B1 (en) * 2008-03-31 2012-07-11 Deutsches Krebsforschungszentrum Method of fluorescence-microscopically imaging a structure in a sample with high three-dimensional spatial resolution
US8027032B2 (en) * 2008-08-22 2011-09-27 President & Fellows Of Harvard College Microscopy imaging system and method employing stimulated raman spectroscopy as a contrast mechanism
JP2010125270A (ja) * 2008-12-01 2010-06-10 Hoya Corp 内視鏡装置
JP5342869B2 (ja) * 2008-12-22 2013-11-13 Hoya株式会社 内視鏡装置、内視鏡照明装置、画像形成装置、内視鏡照明装置の作動方法および画像形成装置の作動方法
JP2010175448A (ja) 2009-01-30 2010-08-12 Kowa Co 光学撮像装置
WO2010134351A1 (ja) 2009-05-21 2010-11-25 株式会社ニコン 走査型蛍光顕微鏡装置
JP2012008260A (ja) 2010-06-23 2012-01-12 Hamamatsu Photonics Kk 画像生成装置
JP2012008055A (ja) * 2010-06-25 2012-01-12 Olympus Corp 画像解析方法および画像解析装置
EP2874700B1 (en) 2012-07-18 2020-04-08 The Trustees of Princeton University Multiscale spectral nanoscopy
JPWO2014076993A1 (ja) 2012-11-14 2017-01-05 日本電気株式会社 インターフェース装置及び入力受付方法
US9723978B2 (en) 2014-03-31 2017-08-08 Nidek Co., Ltd. Fundus photography device
JP6534096B2 (ja) 2014-06-25 2019-06-26 パナソニックIpマネジメント株式会社 投影システム
US10052154B2 (en) * 2014-10-01 2018-08-21 Verily Life Sciences Llc System and method for fluorescence-based laser ablation
DE102015224522B4 (de) 2015-12-08 2018-06-21 Carl Zeiss Smt Gmbh Beleuchtungssystem einer mikrolithographischen Projektionsanlage und Verfahren zum Betreiben eines solchen Systems

Also Published As

Publication number Publication date
JP2018115977A (ja) 2018-07-26
TW201827914A (zh) 2018-08-01
US11513075B2 (en) 2022-11-29
US20190376893A1 (en) 2019-12-12
WO2018135051A1 (ja) 2018-07-26
CN110192101A (zh) 2019-08-30
DE112017006861T5 (de) 2019-10-24

Similar Documents

Publication Publication Date Title
US11439307B2 (en) Method for detecting fluorescence and ablating cancer cells of a target surgical area
US20190196172A1 (en) Systems and Methods for Three Dimensional Imaging
US7583380B2 (en) Spectroscopic analysis apparatus and method with excitation system and focus monitoring system
JP4202136B2 (ja) 組成分析
US8851673B2 (en) Imaging apparatus
EP1969996B1 (en) Scanning laser ophthalmoscope
US9119576B2 (en) Ophthalmic device
JP2017176811A5 (ja)
JP6841669B2 (ja) 観察装置及び観察方法
US10429353B2 (en) Photoacoustic microscope and photoacoustic signal detection method
JP6866132B2 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
EP2016889A1 (en) Fundus imaging apparatus
JP2008080066A (ja) 眼底撮影装置
JP2012225826A (ja) 干渉光計測装置
JP2010035950A (ja) 眼底撮影装置
WO2021039441A1 (ja) 生体組織の識別方法、生体組織識別装置、および生体組織識別プログラム
JP6535701B2 (ja) 撮像装置
JP2022157206A (ja) 眼科装置及びその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210218

R150 Certificate of patent or registration of utility model

Ref document number: 6841669

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250