JPWO2018008613A1 - 眼科撮影装置 - Google Patents

眼科撮影装置 Download PDF

Info

Publication number
JPWO2018008613A1
JPWO2018008613A1 JP2018526382A JP2018526382A JPWO2018008613A1 JP WO2018008613 A1 JPWO2018008613 A1 JP WO2018008613A1 JP 2018526382 A JP2018526382 A JP 2018526382A JP 2018526382 A JP2018526382 A JP 2018526382A JP WO2018008613 A1 JPWO2018008613 A1 JP WO2018008613A1
Authority
JP
Japan
Prior art keywords
image
light
scanning
unit
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018526382A
Other languages
English (en)
Other versions
JP6836212B2 (ja
Inventor
賢士朗 藤生
賢士朗 藤生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nidek Co Ltd
Original Assignee
Nidek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nidek Co Ltd filed Critical Nidek Co Ltd
Publication of JPWO2018008613A1 publication Critical patent/JPWO2018008613A1/ja
Application granted granted Critical
Publication of JP6836212B2 publication Critical patent/JP6836212B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

SLO1は、光源11からの光を走査部16によって走査しつつ,被検眼に照射する照射光学系10と、被検眼からの戻り光を少なくとも受光する受光素子25,27,29を有する受光光学系20と、を有する。SLO1の制御部70は、受光素子からの信号に基づいて被検眼の撮影画像を取得し、撮影画像と比べて画素数が少ない,又は,撮影画像と比べて1フレーム当たりの画像の形成に要する時間が短い第2画像を形成させ、撮影画像に関する条件の少なくとも1つを前記第2画像に基づいて設定し、設定された条件による撮影画像をキャプチャーする。

Description

本開示は、被検眼を撮影する眼科撮影装置に関する。
従来より、被検眼の画像を用いて、撮影条件などの各種条件の調整を行う眼科撮影装置が知られている。
例えば、特許文献1には、眼科撮影装置の一種である走査型レーザー検眼鏡として次のような装置が開示されている。即ち、視度の補正量を変えながら複数枚の眼底画像が取得され、各眼底画像の結像状態が比較された結果として、撮影画像を得る際の視度の補正量を好適な結像状態となる値に調整する装置、が開示されている。
また、例えば、特許文献2には、眼科撮影装置の一種である光干渉断層計として次のような装置が開示されている。即ち、測定光と,参照光と,の光路長差を変えながら複数枚の断層画像が取得され、各断層画像における深さ方向の信号分布が比較された結果として、深さ方向の撮影範囲に所期する組織が含まれるように、光路長差が調整される装置が開示されている。
特開2009−291253号公報 特開2012−213489号公報
上記の調整手法では、ある条件を調整する際に、その条件が互いに異なる複数枚の被検眼の画像を取得する必要がある。また、条件に関する情報を検出する処理が、複数枚の被検眼の画像それぞれに対して行われる。このため、条件の調整に要する時間が長引きやすい。
本開示は、従来技術の問題点に鑑みてなされたものであり、条件の調整に要する時間が抑制されやすい眼科撮影装置を提供することを技術課題とする。
上記技術課題を解決するために、本開示の第1態様に係る眼科撮影装置は、光源からの光を走査部によって走査しつつ,被検眼に照射する照射光学系と、前記被検眼からの戻り光を少なくとも受光する受光素子を有する受光光学系と、を有する撮影光学系と、前記受光素子からの信号に基づいて被検眼の撮影画像を取得する画像形成手段と、前記撮影画像と比べて画素数が少ない,又は,前記撮影画像と比べて1フレーム当たりの画像の形成に要する時間が短い第2画像を前記画像形成手段に形成させ、前記撮影画像に関する条件の少なくとも1つを前記第2画像に基づいて設定する条件設定手段と、設定された前記条件による前記撮影画像をキャプチャーする撮影実行手段と、を備える。
本開示によれば、条件の調整に要する時間が抑制されやすい。
実施例に係るSLOの外観を示した図である。 実施例に係るSLOの光学系を示した図である。 実施例に係るSLOの制御系を示した図である。 実施例に係るSLOの動作を示したフローチャートである。 実施例のSLOにおけるオートフォーカスで利用される画像輝度の微分値のヒストグラムを示したグラフである。
まずは、本開示の第1実施形態を説明する。第1実施形態に係る眼科撮影装置は、光源からの光を被検眼に照射し、その戻り光の受光結果として、被検眼の画像を撮影する。このような装置としては、例えば、前眼部撮影装置であってもよいし、眼底撮影装置であってもよいし、前眼部、眼底の両方を撮影可能な装置であってもよい。
また、眼科撮影装置は、例えば、被検眼の組織上で光を走査する走査型の装置であってもよいし、複数の画素が配列された受光素子によって被検眼からの戻り光を受光するカメラ型の装置であってもよいし、両者の特徴を併せ持つ装置であってもよい。走査型の装置としては、例えば、SLO(走査型レーザー検眼鏡:Scanning Laser Ophthalmoscope)、OCT(光干渉断層計:Optical Coherence Tomography)等が例示される。また、カメラ型の装置としては、眼底カメラ、前眼部カメラ、眼科用シャインプルークカメラ等が例示される。
以下、眼科撮影装置を、本装置と称する。本装置は、例えば、撮影光学系(照射光学系および受光光学系)と、画像形成部と、条件調整部と、条件設定部と、撮影実行部と、を有していてもよい。画像形成部,条件調整部,条件設定部,および,撮影実行部の少なくとも一部については、本装置に内蔵されたコンピュータ等の1つのユニットが兼用してもよい。
<撮影光学系>
撮影光学系は、被検眼の画像の取得に利用される,本装置の主要な光学系である。撮影光学系は、照射光学系と、受光光学系と、を少なくとも含む。
照射光学系は、光源からの光を被検眼に照射する。照射光学系は、例えば、光源と、光源からの光を被検眼に導くための光学部材(例えば、レンズ及びミラー等)と、の少なくとも一部を有する。また、走査型の装置(SLO及びOCT等)の場合、照射光学系には、走査部(光スキャナ)が設けられてもよい。走査部は、光源から発せられた光を、被検眼上(より詳細には、被検眼の観察面上)で走査するためのユニットである。
SLOとしては、スポット状の光を観察面の上で2次元的に走査(例えば、ラスタースキャン)する2次元スキャン方式と、ライン状の光を観察面の上で一方向に走査するラインスキャン方式とが知られている。何れの方式においても、少なくとも走査部には、副走査方向に光を走査するための光スキャナが含まれる。本実施形態は、2次元スキャン方式の装置と、ラインスキャン方式の装置と、のいずれに適用されてもよい。
受光光学系は、少なくとも受光素子を有する。受光光学系は、受光素子によって、被検眼からの戻り光を少なくとも受光する。例えば、OCTの場合、受光素子には、測定光の眼底反射光(戻り光の一種)そのものが受光素子で受光されるのではなく、眼底反射光と参照光とが干渉した状態の光が、受光素子で受光される場合がある。
本装置は、撮影光学系とは別に、又は、撮影光学系の少なくとも一部を共用して、他の光学系が設けられていてもよい。例えば、固視光学系が設けられていてもよい。また、OCTの場合、参照光を得るための参照光学系が設けられていてもよい。
<画像形成部,撮影実行部>
画像形成部は、受光素子からの信号に基づいて被検眼の画像を形成する。画像形成部によって形成される被検眼の画像は、正面画像であってもよいし、断面画像(又は、断層画像)であってもよい。画像形成部は、少なくとも画像処理プロセッサを含む。この画像処理プロセッサは、本装置全体の動作を司るプロセッサであってもよい。このことは、画像を取り扱う他の構成においても同様である。
撮影画像は、撮影トリガ信号に基づいてキャプチャーされる被検眼の画像である。キャプチャーの結果として、撮影画像は、メモリに格納される。撮影画像は、画像形成部によって形成される,被検眼の画像の生画像であってもよいし、生画像を加工、補正、又はその両方を行った画像であってもよい。キャプチャーは、撮影実行部によって行われる。
<条件調整部>
条件調整部は、撮影条件を得るうえで設定される条件の少なくとも1つを調整する。条件調整部によって調整される条件は、撮影光学系における各部の配置、動作に関するハード的な条件(まとめて、撮影条件と称す)であってもよいし、受光信号から撮影画像を形成する際のソフト処理における条件(本実施形態では、画像形成条件と称す)であってもよい。
撮影条件は、撮影光学系の各部についての調整可能な条件であって、撮影結果(つまり画像)に影響する条件であってもよい。例えば、光源からの出力、受光素子からの信号の増幅率(ゲイン)、視度の補正量(フォーカス)、光路上における,他の光学部材の配置,または,該光学部材の動作に関するパラメータ、等を挙げることができる。条件調整部は、このような撮影条件のうち、少なくとも一部を調整可能である。
また、画像形成条件は、例えば、画像形成部が、受光素子からの信号に基づいて画像(主には、被検眼の画像)を形成する処理における条件であってもよい。例えば、輝度の補正量(ブライトネス,及び,コントラストのうち少なくともいずれかの補正量)、画像の各部の位置補正量、等を条件として挙げることができる。つまり、条件調整部は、撮影光学系の一部を制御することにより、又は、画像形成部における画像形成処理の内容を調整することにより、各条件の調整を行う。
OCTに適用される場合では、フォーカス、測定光と参照光との光路長差、ポラライザによる偏光、等が、上記の条件として例示される。
<条件設定部>
条件設定部は、撮影画像と比べて画素数が少ない,又は,撮影画像と比べて1フレーム当たりの画像の形成に要する時間が短い第2画像を、画像形成部に形成させる。第2画像は、撮影画像のように被検眼を被写体とする画像であってもよいし、被検眼が被写体ではない画像であってもよい。
第2画像を撮影する際に設定されていた条件(撮影条件等の条件)は、第2画像に含まれる情報(例えば、輝度情報、位置情報等)に反映される。このため、例えば、第2画像を解析・評価することで、条件の適否を判定できる。解析・評価方法としては、第2画像の画質評価であってもよいし、ヒストグラムの評価であってもよい。この他、各種の条件のうち、少なくとも1つと相関のある要素が評価されてもよい。
撮影画像と、第2画像とにおける画素数の違いは、例えば、撮影範囲(撮影画角)の違い、画角に対する画素密度の違い、または、その両方が反映されたものであってもよい。本装置が走査型の装置である場合、条件設定部は、撮影画像を取得する場合と、第2画像を取得する場合と、で走査部の動作を互いに異ならせてもよい。
例えば、条件設定部は、走査部における走査範囲および走査速度のうち一方を、それぞれの場合で互いに異ならせてもよい。即ち、第2画像を取得する際における走査範囲を、撮影画像を取得する際と比べ、狭くしてもよいし、第2画像を取得する際における走査速度を、撮影画像を取得する際と比べ、速くしてもよい。走査速度が速くなるほど、被検眼上での画素の抽出点の間隔が拡がるので、1フレームあたりの画像の画素数が低減される。
また、撮影画像と、第2画像との間における、1フレーム当たりの画像の形成に要する時間の違いは、走査範囲および走査速度の違いの他、露光時間の違いが反映されたものであってもよい。
条件設定部は、撮影画像をキャプチャーする際に設定されるべき条件の少なくとも1つを、第2画像に基づいて設定する。例えば、少なくとも1つの条件を条件調整部によって変更しながら、画像形成部によって次々に第2画像が形成されることで、複数枚の第2画像が互いに異なる条件で生成されてもよい。そして、複数枚の第2画像を解析・評価することで、良好な撮影画像を得るための条件が探索されてもよい。なお、各々の第2画像には、その画像を生成する際の条件を示す情報が対応づけられていてもよい。
条件設定部は、探索した条件を、「撮影画像をキャプチャーする際に設定されるべき条件」として、設定してもよい。その結果として、撮影実行部は、撮影画像をキャプチャーする際に、条件設定部によって設定された条件による撮影画像を、キャプチャーする。
第2画像が、撮影画像と比べて画素数が少ないことにより、例えば、「撮影画像をキャプチャーするために設定されるべき条件」の検出動作に要する時間が抑制されやすくなる。より詳細には、撮影画像と同じ画素数で形成される,複数枚の画像の中から、「撮影画像をキャプチャーするために設定されるべき条件」を検出する場合と比べ、本実施形態のように、第2画像を利用する方が、画素数が少ない分、短時間で処理可能になる。
また、第2画像を生成する際に、1フレームあたりの画像の取得に要する時間が、撮影画像よりも第2画像の方が短くなるように走査部が制御された結果として、第2画像の画素数が撮影画像よりも少なくなっている場合では、上記の検出動作に要する時間のうち、第2画像の生成に要する時間が、好適に抑制される。
このとき、第2画像を取得する際における走査範囲が、撮影画像を取得する際と比べて狭くなるように走査部が制御されてもよい。この場合、狭くされた走査範囲は、撮影光軸の中心付近に設定されることが好ましい。撮影光軸の中心付近は、瞳によるケラレの影響が生じにくいので、第2画像を用いて、「撮影画像をキャプチャーするために設定されるべき条件」を良好に検出しやすくなる。
また、第2画像を取得する際における走査速度が、撮影画像を取得する際と比べて速くなるように走査部が制御されてもよい。例えば、条件設定部による条件の検出動作中、および,その前と後とにおいて、被検眼の画像を連続的に撮像し、撮像された被検眼の画像を、リアルタイムにモニタに表示する場合において、撮影画像の表示範囲を常に一定に維持できる。
条件設定部は、撮影条件または画像形成条件の調整開始トリガが発せられてから、「撮影画像をキャプチャーする際に設定されるべき条件」が検出されるまでの期間の少なくとも一部において、一時的に、第2画像を形成させる。
また、条件設定部の動作の前と後とにおいて、被検眼の画像が連続的に撮像され、撮像された被検眼の画像が、リアルタイムにモニタに表示される装置の場合、第2画像は、条件設定部の動作の前と後とにおいてリアルタイムに表示される被検眼の画像と比べ、画素数が少ないものであってもよい。
<実施例>
次に、上記実施形態の技術が適用された一実施例を示す。ここでは、SLOへ適用した例を示す。便宜上、実施例に係るSLO1は、スポット状の光を眼底上で2次元的にスキャンさせる構成として説明する。SLO1は、光干渉断層計(OCT:Optical Coherence Tomography)、視野計などの他の眼科装置と一体化された装置であってもよい。
<外観構成>
はじめに、図3から図8を参照して、SLO1の概略構成を説明する。図3に示すように、SLO1は、撮影ユニット4を、主に備える。撮影ユニット4には、SLO1における主要な光学系(図4参照)が、少なくとも含まれる。
SLO1は、アライメント機構を備えていてもよい。SLO1におけるアライメント機構は、例えば、レーザー光の旋回点が形成される位置を、被検眼Eに対して適正な位置に配置するために利用される。アライメント機構は、被検眼と撮影ユニット4(撮影光学系)との相対位置を調節する駆動機構である。アライメント機構は、X(左右),Y(上下),Z(前後)の各方向に関し、被検眼と撮影ユニット4(撮影光学系)との位置関係を調整してもよい。図3に示す具体例では、基台5,移動台6,および,Z駆動機構7が、水平方向(XZ方向)および上下方向(Y方向)に関するアライメント機構として利用される。即ち、移動台6は、撮影ユニット4を載せた状態で、基台5上をXZ方向に移動可能である。また、Y駆動機構7は、移動台6に載置されており、撮影ユニット4をZ方向に変位させる。これにより、被検眼と撮影ユニット4(撮影光学系)とのXYZ方向の位置関係が調整される。アライメント機構は、X,Y,Zの各方向に関し、制御信号に基づいて所定の動作を行うアクチュエータを持ち、アクチュエータの駆動制御によって、上記の動作を実現してもよい。
<光学構成>
次に、図4を参照して、SLO1に設けられた光学系を説明する。図4に示すように、SLO1は、照射光学系10と、受光光学系20と、を有する(まとめて、「撮影光学系」と称す)。SLO1は、これらの光学系10,20を用いて眼底画像を撮影する。
照射光学系10は、少なくとも走査部16と、対物光学系17と、を含む。また、図4に示すように、照射光学系10は、更に、レーザー光出射部11、コリメーティングレンズ12、穴開きミラー13、レンズ14(本実施例において、視度調節部40の一部)、および、レンズ15を有してもよい。
レーザー光出射部11は、照射光学系10の光源である。本実施例では、レーザー光出射部11からのレーザー光が、照射光学系10から眼底Erへ照射される照明光として利用される。レーザー光出射部11は、例えば、レーザーダイオード(LD)、および、スーパールミネッセントダイオード(SLD)等を含んでいてもよい。具体的な構造についての説明は省略するが、レーザー光出射部11は、少なくとも1種類以上の波長域の光を出射する。本実施例では、複数色の光が、同時に、又は選択的に、レーザー光出射部11から出射されるものとする。例えば、本実施例では、レーザー光出射部11から、青,緑,赤の可視域の3色と、赤外域の1色と、の計4色の光が出射される。各色の光は、同時に、又は、交互に出射可能である。青,緑,赤の可視域の3色は、例えば、カラー撮影に利用される。
レーザー光は、図4に示した光線の経路にて眼底Erに導かれる。つまり、レーザー光出射部11からのレーザー光は、コリメーティングレンズ12を経て穴開きミラー13に形成された開口部を通り、レンズ14およびレンズ15を介した後、走査部16に向かう。走査部16によって反射されたレーザー光は、対物光学系17を通過した後、被検眼Eの眼底Erに照射される。その結果、レーザー光は、眼底Erで反射・散乱される、或いは、眼底に存在する蛍光物質を励起させ、眼底からの蛍光を生じさせる。これらの光(つまり、反射・散乱光および蛍光等)が、戻り光として、瞳孔から出射される。
本実施例において、図4に示すレンズ14は、視度調節部40(本実施例におけるフォーカス調節部)の一部である。視度調節部40は、被検眼Eの視度の誤差を矯正(軽減)するために利用される。例えば、レンズ14は、駆動機構14aによって、照射光学系10の光軸方向へ移動可能である。レンズ14の位置に応じて、照射光学系10および受光光学系20の視度が変わる。このため、レンズ14の位置が調節されることで、被検眼Eの視度の誤差が軽減され、その結果として、レーザー光の集光位置が、眼底Erの観察部位(例えば、網膜表面)に設定可能となる。なお、視度調節部40は、例えば、バダール光学系など、図4とは異なる光学系が適用されてもよい。
走査部16(「光スキャナ」ともいう)は、光源(レーザー光出射部11)から発せられたレーザー光を、眼底上で走査するためのユニットである。本実施例において、走査部16は、レーザー光の走査方向が互いに異なる2つの光スキャナを含むものとする。即ち、主走査用(例えば、X方向への走査用)の光スキャナ16aと、副走査用(例えば、Y方向への走査用)の光スキャナ16bと、を含む。各光スキャナ16a,16bによる走査の周期、走査速度等は、変更可能であってもよい。
以下では、主走査用の光スキャナ16aはレゾナントスキャナであり、副走査用の光スキャナ16bはガルバノミラーであるものとして説明する。本実施例において、主走査用の光スキャナ16aであるレゾナントスキャナは、予め定められた一定の周期,一定の走査範囲(振り角)でミラー部を振動させるように設計されている。一方、副走査用の光スキャナ16bは、走査の速度、走査の範囲が可変である。但し、各光スキャナ16a,16bには、他の光スキャナが適用されてもよい。例えば、各光スキャナ16a,16bに対し、他の反射ミラー(ガルバノミラー、ポリゴンミラー、レゾナントスキャナ、および、MEMS等)の他、光の進行(偏向)方向を変化させる音響光学素子(AOM)等が適用されてもよい。
なお、SLO1にラインスキャンタイプの装置を適用した場合、走査部16は、ライン状のレーザー光をラインと交差する方向に走査する光スキャナに置き換えられてもよい。この光スキャナは、副走査用の光スキャナであり、例えば、ガルバノミラーおよび音響光学素子等のいずれかであってもよい。
対物光学系17は、SLO1の対物光学系である。対物光学系17は、走査部16によって走査されるレーザー光を、眼底Erに導くために利用される。そのために、対物光学系17は、走査部16を経たレーザー光が旋回される旋回点Pを形成する。旋回点Pは、照射光学系10の光軸L1上であって、対物光学系17に関して走査部16と光学的に共 役な位置に形成される。なお、本開示において「共役」とは、必ずしも完全な共役関係に限定されるものではなく、「略共役」を含むものとする。即ち、眼底画像の利用目的(例えば、観察、解析等)との関係で許容される範囲で、完全な共役位置からズレて配置される場合も、本開示における「共役」に含まれる。但し、SLO1の対物光学系は、レンズ系に限定されるものではなく、ミラー系であってもよいし、レンズ系とミラー系とを組み合わせたものでもあってもよいし、その他の光学系であってもよい。
走査部16を経たレーザー光は、対物光学系17を通過することによって、旋回点Pを経て、眼底Erに照射される。このため、対物光学系17を通過したレーザー光は、走査部16の動作に伴って旋回点Pを中心に旋回される。その結果として、本実施例では、眼底Er上でレーザー光が2次元的に走査される。眼底Erに照射されたレーザー光は、集光位置(例えば、網膜表面)にて反射される。また、レーザー光は、集光位置の前後の組織にて散乱される。反射光および散乱光は、平行光としてそれぞれ瞳孔から出射する。
次に、受光光学系20について説明する。受光光学系20は、1つ又は複数の受光素子を持つ。例えば、図4に示すように、複数の受光素子25,27,29を有してもよい。この場合、照射光学系10によって照射されたレーザー光による眼底Erからの光は、受光素子25,27,29によって受光される。
図4に示すように、本実施例における受光光学系20は、対物光学系17から穴開きミラー13までに配置された各部材を、照射光学系10と共用してもよい。この場合、眼底からの光は、照射光学系10の光路を遡って、穴開きミラー13まで導かれる。穴開きミラー13は、被検眼の角膜,および,装置内部の光学系(例えば対物光学系のレンズ面等)での反射によるノイズ光の少なくとも一部を取り除きつつ、眼底Erからの光を、受光光学系20の独立光路へ導く。
なお、照射光学系10と受光光学系20とを分岐させる光路分岐部材は、穴開きミラー13に限られるものではなく、その他のビームスプリッターが利用されてもよい。
本実施例の受光光学系20は、穴開きミラー13の反射光路に、レンズ21、ピンホール板23、および、光分離部(光分離ユニット)30を有する。また、光分離部30と各受光素子25,27,29との間に、レンズ24,26,28が設けられている。
ピンホール板23は、眼底共役面に配置されており、SLO1における共焦点絞りとして機能する。すなわち、視度調節部40によって視度が適正に補正される場合において、レンズ21を通過した眼底Erからの光は、ピンホール板23の開口において焦点を結ぶ。ピンホール板23によって、眼底Erの集光点(あるいは、焦点面)以外の位置からの光が取り除かれ、残り(集光点からの光)が主に受光素子25,27,29へ導かれる。
光分離部30は、眼底Erからの光を分離させる。本実施例では、光分離部30によって、眼底Erからの光が波長選択的に光分離される。また、光分離部30は、受光光学系20の光路を分岐させる光分岐部を兼用していてもよい。例えば、図4に示すように、光分離部30は、光分離特性(波長分離特性)が互いに異なる2つのダイクロイックミラー(ダイクロイックフィルター)31,32を含んでいてもよい。受光光学系20の光路は、2つのダイクロイックミラー31,32によって、3つに分岐される。また、それぞれの分岐光路の先には、受光素子25,27,29の1つがそれぞれ配置される。
例えば、光分離部30は、眼底Erからの光の波長を分離させ、3つの受光素子25,27,29に、互いに異なる波長域の光を受光させる。例えば、青,緑,赤の3色の光を、受光素子25,27,29に1色ずつ受光させてもよい。この場合、各受光素子25, 27,29の受光結果から、カラー画像を得ることができる。
また、光分離部30は、赤外撮影で使用される赤外域の光を、受光素子25,27,29の少なくとも1つに受光させる。この場合において、例えば、蛍光撮影で使用される蛍光と、赤外撮影で使用される赤外域の光とが、互いに異なる受光素子に受光されてもよい。なお、本実施例では、受光素子25において赤外光による眼底反射光が受光される。
<制御系の構成>
次に、図5を参照して、SLO1の制御系を説明する。SLO1は、制御部70によっての各部の制御が行われる。制御部70は、SLO1の各部の制御処理と、演算処理とを行う電子回路を有する処理装置(プロセッサ)である。制御部70は、CPU(Central Processing Unit)およびメモリ等で実現される。制御部70は、記憶部71と、バス等を介して電気的に接続されている。また、制御部70は、レーザー光出射部11、受光素子25,27,29、駆動部14a、走査部16、入力インターフェイス75、およびモニタ80等の各部とも電気的に接続されている。
記憶部71には、各種の制御プログラムおよび固定データ等が格納される。また、記憶部71には、一時データ等が記憶されてもよい。SLO1で得られた画像は、記憶部71に記憶されていてもよい。但し、必ずしもこれに限られるものではなく、外部の記憶装置(例えば、LANおよびWANで制御部70に接続される記憶装置)へSLO1で得られた画像が記憶されてもよい。
本実施例では、制御部70が画像処理部(画像形成部)を兼用する。画像処理部として、制御部70は、例えば、受光素子25,27,29から出力される受光信号を基に眼底画像を形成する。より詳細には、制御部70は、走査部16による光走査と同期して眼底画像を形成する。例えば、制御部70は、副走査用の光スキャナ16bがn回(nは、1以上の整数)往復する度に、少なくとも1フレーム(換言すれば、1枚)の眼底画像を、(受光素子毎に)形成する。なお、以下では、特段の断りが無い限り、便宜上、副走査用の光スキャナ16bの1往復につき、その1往復に基づく1フレームの眼底画像が形成されるものとする。本実施例では、3つの受光素子25,27,29が設けられているので、制御部70は、それぞれの受光素子25,27,29からの信号に基づく最大3種類の画像を、副走査用の光スキャナ16bが1往復する度に生成する。
制御部70は、上記のような装置の動作に基づいて逐次形成される複数フレームの眼底画像を、観察画像として時系列にモニタ80へ表示させてもよい。観察画像は、リアルタイムに取得された眼底画像からなる動画像である。また、制御部70は、逐次形成される複数の眼底画像のうち一部を、撮影画像(キャプチャ画像)として取り込む(キャプチャする)。その際、撮影画像は記憶媒体に記憶される。撮影画像が記憶される記憶媒体は、不揮発性の記憶媒体(例えば、ハードディスク,フラッシュメモリ等)であってもよい。本実施例では、例えば、トリガ信号(例えば、レリーズ操作信号等)の出力後、所定のタイミング(又は,期間)に形成される眼底画像がキャプチャされる。
制御部70は、眼底画像を、互いに異なる画素数で形成できる。例えば、4096×4096,2048×2048,1024×1024,512×512(いずれも、「主走査方向の画素数」×「副走査方向の画素数」)の4種類の画素数で、眼底画像を形成可能であってもよい。例えば、光スキャナ16a,16bの振り角が画素数に応じて変更されることで、眼底画像の画素数が切換えられてもよいが、本実施例では、いずれの画素数で眼底画像を得る場合においても、各光スキャナ16a,16bの振り角は一定であるものとする。
本実施例において、副走査用の光スキャナ16bの走査速度は、画素数に応じて調整さ れる。即ち、取得する眼底画像の画素数が少ないほど、副走査用の光スキャナ16bをより高速に動作させる。
本実施例では、主走査用の光スキャナ16a(レゾナントスキャナ)については、往復動作の周期,走査範囲(振り角)が略一定であり、走査速度,走査範囲の制御が難しい。このため、画素のサンプリング周期が調整されることで、主走査方向の画素数が切換えられてもよい。受光素子からの信号のサンプリングは、例えば、クロックと同期して行われる。クロックの周期が可変である場合は、受光素子からの信号のサンプリング周期そのものが切り替えられることで、主走査方向の画素数が切換えられてもよい。一方、クロックの周期が一定であり、受光素子からの信号のサンプリング周期が一定である場合は、一旦サンプリングした信号から、画素形成に利用する信号の抽出間隔(リサンプリングの間隔)が切換えられることによって、主走査方向の画素数が切換えられてもよい。
また、本実施例では、主走査用の光スキャナ16a(レゾナントスキャナ)のドライバから、各往路走査の周期と同期した信号(例えば、方形波)が出力される。この信号の発生タイミングが、或いは、該発生タイミングから所定時間経過したタイミングが、画素列(第1画素列,及び,第2画素列の一方)における先頭画素の取得タイミングとして利用される(換言すれば、水平同期が得られる)。また、例えば、該タイミングから、往復走査の半周期分が経過したタイミングが、更に、第1画素列,及び,第2画素列のうち、残り一方における先頭画素の取得タイミングとして利用される。その結果として、第1画素列と、第2画素列と、が区別され、眼底画像が構築される(詳細は後述する)。
入力インターフェイス75は、検者の操作を受け付ける操作部である。例えば、タッチパネル、マウス、および、キーボード等が、入力インターフェイス75として利用されてもよい。このような入力インターフェイス75は、SLO1とは別体のデバイスであってもよい。制御部70は、入力インターフェイス75(操作部)から出力される操作信号に基づいて、上記の各部材を制御する。
<動作説明>
次に、図6を参照しつつ、実施例に係るSLO1の動作を説明する。SLO1は、各種の調整が行われた後、眼底画像の撮影画像を取得(キャプチャー)する。便宜上、以下の説明では、特に断りが無い限り、撮影画像として画素数:2048×2048の静止画像を取得するものとする。また、観察画像として画素数1024×1024の画像を取得するものとする。但し、必ずしもこれに限られるものではなく、撮影モード、撮影画像の用途等に応じて、撮影画像の画素数を適宜選択可能であってもよい。
まず、本実施例では、装置と被検眼との位置関係が調整(アライメント)される。本実施例において、アライメントは、被検眼が検査窓の前に配置されるよう、被検者をSLO1に向き合わせた状態で行われる。アライメントは、種々の方法が考えられるが、ここでは、被検眼の観察画像(動画像)を利用する方法を紹介する。例えば、本実施例では、撮影光学系10を介して取得される画像(観察画像)がアライメントにおいて利用される。この場合、制御部70によって、観察画像の取得および表示が開始され(S2)、アライメントのための各種処理が実行される(S3)。この場合、例えば、角膜面にアライメント用の指標光束を投影するアライメント投影光学系が、SLO1に設けられていてもよい。指標光束の出射位置は、適正作動距離である場合において、角膜の曲率半径の中心,および,角膜面の中間点,と共役な位置であってもよい。そのような構成では、適正作動距離およびその前後で、撮影光学系を介して得られる画像に、指標光束による指標像が映り込む。観察画像上で指標像が形成される位置に応じて、装置と被検眼との位置関係を、作動距離方向と交差する方向に関して調整することで、上下左右方向のアライメントを行うことができる。また、指標像のぼけ具合に応じて、装置と被検眼との位置関係を、作動距離方向に関して調整することで、作動距離方向のアライメントを行うことができる。より詳細については、本出願人による「特開2016−022261号公報」等を参照されたい。制御部70は、作動距離方向,および,作動距離方向とは交差する方向の少なくともいずれかに関し、アライメント状態を、観察画像に含まれる指標像に基づいて検出してもよい。
なお、必ずしもこれに限定されるものではなく、アライメントには、図示無き前眼部観察系(前眼部カメラ)で取得される前眼部の観察画像が利用されてもよい。前眼部の観察画像を確認しながら、撮影光学系が内蔵された筐体を、被検眼Eに対して移動させることで、装置と被検眼とが、眼底撮影に適した位置関係に調整されてもよい。
以上のようなアライメントは、検者によって手動で調整が行われるマニュアルアライメントであってもよいし、制御部70によって自動的に調整が行われるオートアライメント方式であってもよい。オートアライメント方式では、撮影光学系10と被検眼Eとが撮影に適した位置関係となるように、撮影光学系10と被検眼Eとの位置関係を調整するためのアクチュエータが、観察画像に応じて制御部70によって駆動制御される。
次に、オートフォーカス(撮影光学系の視度補正)が行われる。まず、制御部70は、観察画像として形成する眼底画像の画素数を切換える。より詳細には、撮影画像よりも少ない画素数に設定する(S4)。ここでは、画素数:512×512の眼底画像が観察画像として得られるように設定される。これにより、1フレーム枚当たりの眼底画像が、撮影画像と比べて短時間で取得されるようになる。この状態で、視度補正処理が実行される(S5)。
視度補正処理(S5)において、制御部70は、レンズ14を駆動制御して視度の補正量を変化させながら、受光素子25,27,29からの信号に基づいて随時取得される観察画像の各々における結像状態を評価する。
例えば、制御部70は、観察画像の画像データを微分処理し、微分処理した結果に基づく微分ヒストグラム情報を利用して、結像状態を評価してもよい。微分ヒストグラム情報は、例えば、観察画像の画像データにエッジ抽出用(例えば、ラプラシアン変換、SOBEL等)のフィルタを掛けて輪郭画像に変換した後、輪郭画像のヒストグラムとして取得してもよい。
図8は、微分ヒストグラムの一例を示す図である。図8において、横軸は微分の絶対値(以下、微分値と省略する)d(d=1、2、・・・254)、縦軸は各微分値における対応する画素数H(d)を、それぞれ、画素数がピークを示した微分値における画素数H(dp)で正規化したもの((H(d)/H(dp))を百分率(%)で表記している。なお、図8のヒストグラムにおいては、端点(d=0、d=255)の2点のデータを除外している。ここで、微分値dは、輪郭画像における輝度値を255階調で表したものである。
ここで、制御部70は、前述のように取得されたヒストグラム情報において画像全体で所定の割合以上の画素数を持つ輝度値(微分値)の最大値を用いてSLO眼底像の結像状態(フォーカス状態)評価値を算出する。例えば、SLO眼底像の結像状態を評価するための結像状態評価値C1として、微分ヒストグラムにおける閾値S1(例えば、20%)以上での微分値の最大値Dmaxと最小値Dminの差を求める(C1=Dmax−Dmin)。なお、閾値S1は、ノイズによる影響を回避しつつ、SLO眼底像の結像状態の変化に対して評価値C1が敏感に変化するような値に設定される。また、上記において、閾値S1以上での微分値の最大値Dmaxのみを結像状態評価値C1として設定するようにしてもよい。
結像状態評価値C1は、レンズ14が合焦位置にあるとき(撮影光学系のフォーカスが合っているとき)に高い値を示し、レンズ14が合焦位置からずれるに従って低くなっていくため、SLO1におけるフォーカス状態(結像状態)の判定に用いることができる。
制御部70は、レンズ14の位置を移動させながら結像状態評価値C1をサンプリングし、サンプリング結果により合焦状態を判定し、レンズ14を合焦位置に駆動させる。
例えば、制御部70は、適正なフォーカス位置を探索するべく、駆動機構40aを駆動 制御して、レンズ14の移動可能範囲において離散的に設定された複数の移動位置にレンズ14を移動させ、各移動位置での眼底画像を取得する。例えば、−12Dから+12D
の範囲で、レンズ14を移動させる。そして、制御部70は、移動位置毎に取得された眼底画像のそれぞれの微分ヒストグラムを作成し、結像状態評価値C1をそれぞれ算出する。この場合、制御部70は、レンズ14を連続的に移動させていき、連続的に結像状態評価値C1を算出するようにしてもよい。
結像状態評価値C1は、サンプリングが行われたレンズ14の位置毎の飛び飛びの値である。制御部70は、サンプリングが実行されたレンズ14の位置の中から、結像状態評価値C1が最も大きな位置を、合焦位置として選択してもよい。但し、必ずしもこれに限られるものではない。例えば、サンプリングが行われた各レンズ14の位置の中間的な位置と対応する結像状態評価値C1を、サンプリング結果に対して曲線近似等の補間処理を行うことで導出してもよい。そして、補間処理の結果から、より正確な合焦位置を推定してもよい。なお、上記のような補間処理によって合焦位置を検出する手法としては、関数近似、重心、平均値の算出等を用いたものであってもよい。
以上のようにして、比較的少ない画素数からなる眼底画像を用いてオートフォーカスがラフに行われる。更に、本実施例では、その後、より多くの画素数からなる眼底画像を用いて、より精密なオートフォーカスが行われてもよい。即ち、制御部70は、ラフなオートフォーカスの実行時に対し、観察画像として形成する眼底画像の画素数を増大させる。本実施例の場合、ラフなオートフォーカスでは、画素数512×512の眼底画像が用いられたので、例えば、制御部70は、1024×1024,2048×2048,4096×4096のいずれかの画素数で眼底画像を形成させる。そして、ラフなオートフォーカスによって求められた合焦位置の近傍で、レンズ14を移動させつつ、レンズ14の移動に伴って得られる各眼底画像の結像状態を評価する(本実施例では、結像状態評価値C1を求める)。そして、例えば、レンズ14の各位置における眼底画像の結像状態を相互に比較することで、合焦位置を再度、検出してもよい。この合焦位置にレンズ14を移動させることによって、本実施形態におけるフォーカス調整が終了される。本実施例では、フォーカス調整の完了後、制御部70は、観察画像の画素数が、1024×1024に設定される(S7)。
なお、上記のように結像状態評価値C1をサンプリングする場合、結像状態評価値C1が上昇後、下降に転じた時点でレンズ14の移動を停止するようにしてもよい。
視度補正の開始トリガは、例えば、制御部70がアライメント完了を自動検出したことであってもよいし、所定の操作が検者によって入力されたことであってもよい。
その後、その他の撮影条件が設定される(S8)。例えば、撮影条件を指定するために検者の操作が入力される。例えば、赤外撮影、カラー撮影、IA(インドシアニングリーン蛍光造影)、FA(フルオレセイン蛍光造影)、FAF(眼底自発蛍光撮影)のいずれかの撮影方法が検者によって選択され、選択された撮影方法と対応する撮影条件を、制御部70が設定してもよい。撮影条件の具体例としては、レーザー光の波長、照明光の光量、受光信号のゲイン、等が例示される。
制御部70は、トリガ信号(例えば、レリーズ操作信号等)に基づいて、眼底画像をキャプチャーする。キャプチャー時の撮影条件および画像形成条件は、これまでの各種調整の結果が反映される。例えば、本実施例では、キャプチャー時における合焦位置は、S5の処理による調整によって設定された位置である。前述したように、本実施例では、画素数:2048×2048の静止画像が、 キャプチャーの結果として取得される。
なお、眼底画像において、往路走査による画素列と復路走査による画素列との間におけるズレが問題となる場合は、そのズレが補正された画像が、キャプチャーの結果として取得されてもよい。
以上、実施形態に基づいて説明を行ったが、本開示を実施するうえで、実施形態の内容を適宜変更することができる。
例えば、実施例では、フォーカス(装置の視度)が、第2画像に基づいて調整されるものとして説明したが、必ずしもこれに限られるものではなく、他の条件を調整する際に第2画像が利用されてもよい。例えば、往路走査による画素列と、復路走査による画素列と、の位置ズレが、第2画像に基づいて検出されてもよい。また、被検眼と撮影光学系との位置関係(SLO1のアライメント状態)が、第2画像に基づいて検出されてもよい。制御部70は、各々の検出を行う際に、一時的に第2画像が観察画像として取得されるように画像取得制御を切換えてもよい。これにより、各々の条件が短時間で調整されやすくなる。
また、例えば、上記実施例では、レンズの反射像を用いて、往路走査と復路走査との画素の読み取りタイミングを補正する際に、視度調節部40が駆動するので、その間、被検眼の観察および撮影が困難になる。そこで、例えば、第1画素列と、第2画素列と、のズレを、被検眼の画像に基づいて検出および補正する第2の補正制御処理を、SLO1は、更に有していてもよい。例えば、第2の補正制御処理は、観察画像の取得中に一定時間ごとに繰り返し実行されてもよい。一方、レンズの反射像を用いた補正処理は、装置起動時、被検者が交代される際、装置がスリープ状態から復帰する際、異なる撮影方法で続けて撮影が行われる場合の撮影方法の切換時、等に実行されてもよい。
第1画素列と、第2画素列と、のズレを、被検眼の画像に基づいて検出および補正する場合、ズレの検出および補正は、必ずしも被検眼の画像が取得される都度行われる必要は無い。例えば、取得された画像を表示したり、解析したりする際に、予め取得された被検眼の画像を処理して、ズレの検出および補正を行ってもよい。この場合において、各被検眼画像におけるズレの補正量は、時系列に得られた複数フレームの被検眼の画像に基づいて設定されてもよい。
例えば、前述したように、実施例に係るSLO1は、光干渉断層計(OCT)と一体化されていてもよい。この場合、制御部70は、上記したSLO1のフォーカス調整結果を、OCT光学系へ反映させてもよい。具体的には、SLO1の撮影光学系と、OCT光学系とにおいて、少なくとも視度調節部40が共用されていてもよい。また、これに限らず、OCT光学系における視度調節部は、SLO1の視度調節部40と別体であってもよい。この場合、例えば、OCT光学系における視度調節部は、SLO1の視度調節部40と、視度補正量が互いに同じ値となるように、SLO1の視度調節部40とメカニカルに連動する構造であってもよい。
10 照射光学系
11 光源
16 走査部
20 受光光学系
25,27,29 受光素子
70 制御部

Claims (8)

  1. 光源からの光を走査部によって走査しつつ,被検眼に照射する照射光学系と、前記被検眼からの戻り光を少なくとも受光する受光素子を有する受光光学系と、を有する撮影光学系と、
    前記受光素子からの信号に基づいて被検眼の撮影画像を取得する画像形成手段と、
    前記撮影画像と比べて画素数が少ない,又は,前記撮影画像と比べて1フレーム当たりの画像の形成に要する時間が短い第2画像を前記画像形成手段に形成させ、前記撮影画像に関する条件の少なくとも1つを前記第2画像に基づいて設定する条件設定手段と、
    設定された前記条件による前記撮影画像をキャプチャーする撮影実行手段と、を備える眼科撮影装置。
  2. 前記条件設定手段は、前記条件の調整開始トリガが発せられてから、一時的に、前記少なくとも1つの条件を異ならせながら複数枚の前記第2画像を形成させ、前記複数枚の前記第2画像に基づいて前記条件を設定する請求項1記載の眼科撮影装置。
  3. 前記条件設定手段は、前記走査部の動作を前記撮影画像の取得時に対して異ならせることにより,前記第2画像を前記画像形成手段に取得させる請求項1又は2記載の眼科撮影装置。
  4. 前記条件は、眼科撮影装置のフォーカス調整量であることを特徴とする請求項1から3のいずれかに記載の眼科撮影装置。
  5. 前記条件は、前記光源からの光の出力、および、前記受光素子からの信号の増幅率の少なくとも一方であることを特徴とする請求項1から3のいずれかに記載の眼科撮影装置。
  6. 前記条件設定手段は、前記走査部における走査範囲および走査速度の少なくとも一方を、前記撮影画像の取得時に対して異ならせることにより,前記第2画像を前記画像形成手段に取得させる請求項3記載の眼科撮影装置。
  7. 前記走査部は、前記被検眼上で前記光を副走査方向に走査するための光スキャナを少なくとも含み、
    前記条件設定手段は、副走査方向に関しての走査範囲および走査速度の少なくとも一方を調整することにより,前記第2画像を前記画像形成手段に取得させる請求項6記載の眼科撮影装置。
  8. 前記条件設定手段は、副走査方向に関しての走査速度を調整することにより,前記第2画像を形成させるものであって、
    更に、前記条件設定手段は、前記条件のラフな調整を、第2画像に基づいて行い、その後、微調整を、前記画像形成手段によって形成され,前記第2画像に対して画素数が多い第3画像に基づいて行う請求項7記載の眼科撮影装置。
JP2018526382A 2016-07-04 2017-07-03 眼科撮影装置 Active JP6836212B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016132693 2016-07-04
JP2016132693 2016-07-04
PCT/JP2017/024409 WO2018008613A1 (ja) 2016-07-04 2017-07-03 眼科撮影装置

Publications (2)

Publication Number Publication Date
JPWO2018008613A1 true JPWO2018008613A1 (ja) 2019-04-25
JP6836212B2 JP6836212B2 (ja) 2021-02-24

Family

ID=60912127

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018526382A Active JP6836212B2 (ja) 2016-07-04 2017-07-03 眼科撮影装置

Country Status (2)

Country Link
JP (1) JP6836212B2 (ja)
WO (1) WO2018008613A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011115301A (ja) * 2009-12-02 2011-06-16 Nidek Co Ltd 眼底撮影装置
JP2016016103A (ja) * 2014-07-08 2016-02-01 キヤノン株式会社 眼科装置及びその制御方法
JP2016198280A (ja) * 2015-04-10 2016-12-01 株式会社トーメーコーポレーション 眼科装置及びその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011115301A (ja) * 2009-12-02 2011-06-16 Nidek Co Ltd 眼底撮影装置
JP2016016103A (ja) * 2014-07-08 2016-02-01 キヤノン株式会社 眼科装置及びその制御方法
JP2016198280A (ja) * 2015-04-10 2016-12-01 株式会社トーメーコーポレーション 眼科装置及びその制御方法

Also Published As

Publication number Publication date
JP6836212B2 (ja) 2021-02-24
WO2018008613A1 (ja) 2018-01-11

Similar Documents

Publication Publication Date Title
JP5543254B2 (ja) レーザ走査型撮影装置
US9386920B2 (en) Ophthalmologic image processing apparatus
JP5179265B2 (ja) 眼科撮影装置
JP2019536500A (ja) 眼球画像撮影装置
JP7195769B2 (ja) 撮影装置及びその作動方法
JP2015066242A (ja) 眼科撮影装置
JP6531369B2 (ja) 眼底撮影装置
JP2019201951A (ja) 撮影装置及びその制御方法
JP6884995B2 (ja) 眼科撮影装置および画像処理プログム
WO2019172062A1 (ja) 眼底撮影装置
JP6319616B2 (ja) 走査型レーザー検眼鏡
EP3603487B1 (en) Fundus imaging apparatus and method of producing composite image composed of fundus images
JP7098964B2 (ja) 眼底撮影装置
JP2018000620A (ja) 眼科撮影装置
JP6866132B2 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP6739183B2 (ja) 眼科装置
JP6713297B2 (ja) 眼科装置
JP6836212B2 (ja) 眼科撮影装置
JP7056242B2 (ja) 眼底撮影装置
JP6848207B2 (ja) 眼科撮影装置
JP6957842B2 (ja) 眼底撮影装置
JP7355194B2 (ja) 眼底撮影装置
JP2018171326A (ja) 断層画像撮影装置、および断層画像撮影プログラム
JP2020044452A (ja) 眼科装置
JP2021062297A (ja) 眼科撮影装置および画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200601

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210119

R150 Certificate of patent or registration of utility model

Ref document number: 6836212

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250