JP6836212B2 - Ophthalmologic imaging equipment - Google Patents
Ophthalmologic imaging equipment Download PDFInfo
- Publication number
- JP6836212B2 JP6836212B2 JP2018526382A JP2018526382A JP6836212B2 JP 6836212 B2 JP6836212 B2 JP 6836212B2 JP 2018526382 A JP2018526382 A JP 2018526382A JP 2018526382 A JP2018526382 A JP 2018526382A JP 6836212 B2 JP6836212 B2 JP 6836212B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- optical system
- light receiving
- inspected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 47
- 230000003287 optical effect Effects 0.000 claims description 163
- 238000005259 measurement Methods 0.000 claims description 5
- 230000003321 amplification Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 230000010287 polarization Effects 0.000 claims description 3
- 102100023073 Calcium-activated potassium channel subunit alpha-1 Human genes 0.000 description 30
- 101710189782 Calcium-activated potassium channel subunit alpha-1 Proteins 0.000 description 30
- 238000000034 method Methods 0.000 description 22
- 238000011156 evaluation Methods 0.000 description 17
- 238000012937 correction Methods 0.000 description 16
- 238000012014 optical coherence tomography Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 16
- 230000007246 mechanism Effects 0.000 description 11
- 238000000926 separation method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 239000003086 colorant Substances 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 101100421668 Caenorhabditis elegans slo-1 gene Proteins 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000004907 flux Effects 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical compound O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 1
- 229960004657 indocyanine green Drugs 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Eye Examination Apparatus (AREA)
Description
本開示は、被検眼を撮影する眼科撮影装置に関する。 The present disclosure relates to an ophthalmologic imaging apparatus that images an eye to be examined.
従来より、被検眼の画像を用いて、撮影条件などの各種条件の調整を行う眼科撮影装置が知られている。 Conventionally, an ophthalmologic imaging apparatus has been known that adjusts various conditions such as imaging conditions using an image of an eye to be inspected.
例えば、特許文献1には、眼科撮影装置の一種である走査型レーザー検眼鏡として次のような装置が開示されている。即ち、視度の補正量を変えながら複数枚の眼底画像が取得され、各眼底画像の結像状態が比較された結果として、撮影画像を得る際の視度の補正量を好適な結像状態となる値に調整する装置、が開示されている。
For example,
また、例えば、特許文献2には、眼科撮影装置の一種である光干渉断層計として次のような装置が開示されている。即ち、測定光と,参照光と,の光路長差を変えながら複数枚の断層画像が取得され、各断層画像における深さ方向の信号分布が比較された結果として、深さ方向の撮影範囲に所期する組織が含まれるように、光路長差が調整される装置が開示されている。 Further, for example, Patent Document 2 discloses the following device as an optical interference tomography device which is a kind of ophthalmologic imaging device. That is, a plurality of tomographic images were acquired while changing the optical path length difference between the measurement light and the reference light, and as a result of comparing the signal distributions in the depth direction in each tomographic image, the imaging range in the depth direction was obtained. A device for adjusting the optical path length difference is disclosed so as to include the desired tissue.
上記の調整手法では、ある条件を調整する際に、その条件が互いに異なる複数枚の被検眼の画像を取得する必要がある。また、条件に関する情報を検出する処理が、複数枚の被検眼の画像それぞれに対して行われる。このため、条件の調整に要する時間が長引きやすい。 In the above adjustment method, when adjusting a certain condition, it is necessary to acquire a plurality of images of an eye to be inspected having different conditions. Further, the process of detecting the information regarding the condition is performed on each of the plurality of images of the eye to be inspected. Therefore, the time required for adjusting the conditions tends to be prolonged.
本開示は、従来技術の問題点に鑑みてなされたものであり、条件の調整に要する時間が抑制されやすい眼科撮影装置を提供することを技術課題とする。 The present disclosure has been made in view of the problems of the prior art, and it is a technical subject to provide an ophthalmologic imaging apparatus in which the time required for adjusting the conditions is easily suppressed.
上記技術課題を解決するために、本開示の第1態様に係る眼科撮影装置は、光源からの光を走査部によって走査しつつ,被検眼に照射する照射光学系と、前記被検眼からの戻り光を少なくとも受光する受光素子を有する受光光学系と、を有する撮影光学系と、前記受光素子からの信号に基づいて被検眼の正面画像を撮影画像として取得する画像形成手段と、前記撮影画像と比べて1フレーム当たりの画像の形成に要する時間が短い前記正面画像による第2画像を前記画像形成手段に前記受光素子からの信号に基づいて形成させ、前記撮影画像に関する条件の少なくとも1つを前記第2画像に基づいて設定する条件設定手段と、設定された前記条件による前記撮影画像をキャプチャーする撮影実行手段と、を備える。
また、本開示の第2態様に係る眼科撮影装置は、光源からの光を走査部によって走査しつつ,被検眼に照射する照射光学系と、前記被検眼からの戻り光を少なくとも受光する受光素子を有する受光光学系と、を有する撮影光学系と、前記受光素子からの信号に基づいて被検眼のOCT画像を撮影画像として取得する画像形成手段と、前記撮影画像と比べて1フレーム当たりの画像の形成に要する時間が短い前記OCT画像による第2画像を前記画像形成手段に前記受光素子からの信号に基づいて形成させ、前記撮影画像に関する条件として、フォーカス、測定光と参照光との光路長差、および、ポラライザによる偏光、の少なくとも1つを前記第2画像に基づいて設定する条件設定手段と、設定された前記条件による前記撮影画像をキャプチャーする撮影実行手段と、を備える。
また、本開示の第3態様に係る眼科撮影装置は、光源からの光を走査部によって走査しつつ,被検眼に照射する照射光学系と、前記被検眼からの戻り光を少なくとも受光する受光素子を有する受光光学系と、を有する撮影光学系と、前記受光素子からの信号に基づいて被検眼の撮影画像を取得する画像形成手段と、前記撮影画像と比べて1フレーム当たりの画像の形成に要する時間が短い第2画像を前記画像形成手段に前記受光素子からの信号に基づいて形成させ、前記撮影画像に関する条件の少なくとも1つを前記第2画像に基づいて設定する条件設定手段と、設定された前記条件による前記撮影画像をキャプチャーする撮影実行手段と、を備え、前記条件は、眼科撮影装置のフォーカス調整量である。
また、本開示の第4態様に係る眼科撮影装置は、光源からの光を走査部によって走査しつつ,被検眼に照射する照射光学系と、前記被検眼からの戻り光を少なくとも受光する受光素子を有する受光光学系と、を有する撮影光学系と、前記受光素子からの信号に基づいて被検眼の撮影画像を取得する画像形成手段と、前記撮影画像と比べて1フレーム当たりの画像の形成に要する時間が短い第2画像を前記画像形成手段に前記受光素子からの信号に基づいて形成させ、前記撮影画像に関する条件の少なくとも1つを前記第2画像に基づいて設定する条件設定手段と、設定された前記条件による前記撮影画像をキャプチャーする撮影実行手段と、を備え、前記条件は、前記光源からの出力、および、前記受光素子からの信号の増幅率の少なくとも一方である。
In order to solve the above technical problem, the ophthalmologic imaging apparatus according to the first aspect of the present disclosure includes an irradiation optical system that irradiates an eye to be inspected while scanning light from a light source by a scanning unit, and a return from the eye to be inspected. An imaging optical system having a light receiving optical system having at least a light receiving element that receives at least light, an image forming means for acquiring a front image of the eye to be inspected as a captured image based on a signal from the light receiving element, and the captured image. A second image based on the front image, which takes less time to form an image per frame than the other, is formed by the image forming means based on a signal from the light receiving element, and at least one of the conditions related to the captured image is satisfied. A condition setting means for setting based on the second image and a shooting execution means for capturing the shot image under the set conditions are provided .
Further, the ophthalmologic imaging apparatus according to the second aspect of the present disclosure includes an irradiation optical system that irradiates an eye to be inspected while scanning light from a light source by a scanning unit, and a light receiving element that at least receives return light from the eye to be inspected. An image forming means for acquiring an OCT image of an eye to be examined as a photographed image based on a signal from the light receiving element, and an image per frame as compared with the photographed image. A second image based on the OCT image, which takes a short time to form, is formed by the image forming means based on a signal from the light receiving element, and as a condition for the captured image, the optical path length between the focus, the measurement light, and the reference light. It includes a condition setting means for setting at least one of a difference and polarization by a polarizer based on the second image, and a shooting execution means for capturing the shot image under the set conditions.
Further, the ophthalmologic imaging apparatus according to the third aspect of the present disclosure includes an irradiation optical system that irradiates an eye to be inspected while scanning light from a light source by a scanning unit, and a light receiving element that at least receives return light from the eye to be inspected. An image forming optical system having a light receiving optical system, an image forming means for acquiring a photographed image of an eye to be inspected based on a signal from the light receiving element, and an image forming per frame as compared with the photographed image. A condition setting means for forming a second image having a short time required by the image forming means based on a signal from the light receiving element and setting at least one of the conditions related to the captured image based on the second image. The imaging execution means for capturing the captured image under the above-mentioned conditions is provided, and the above-mentioned condition is the focus adjustment amount of the optometry imaging apparatus.
Further, the ophthalmologic imaging apparatus according to the fourth aspect of the present disclosure includes an irradiation optical system that irradiates an eye to be inspected while scanning light from a light source by a scanning unit, and a light receiving element that at least receives return light from the eye to be inspected. A light receiving optical system having a light receiving optical system, an image forming means for acquiring a photographed image of an eye to be inspected based on a signal from the light receiving element, and an image forming per frame as compared with the photographed image. A condition setting means for forming a second image having a short time required by the image forming means based on a signal from the light receiving element and setting at least one of the conditions related to the captured image based on the second image. A photographing execution means for capturing the photographed image under the said condition is provided, and the condition is at least one of an output from the light source and an amplification factor of a signal from the light receiving element.
本開示によれば、条件の調整に要する時間が抑制されやすい。 According to the present disclosure, the time required for adjusting the conditions is likely to be suppressed.
まずは、本開示の第1実施形態を説明する。第1実施形態に係る眼科撮影装置は、光源からの光を被検眼に照射し、その戻り光の受光結果として、被検眼の画像を撮影する。このような装置としては、例えば、前眼部撮影装置であってもよいし、眼底撮影装置であってもよいし、前眼部、眼底の両方を撮影可能な装置であってもよい。 First, the first embodiment of the present disclosure will be described. The ophthalmologic imaging apparatus according to the first embodiment irradiates the eye to be inspected with light from a light source, and takes an image of the eye to be inspected as a result of receiving the return light. Such a device may be, for example, an anterior segment imaging device, a fundus imaging apparatus, or a device capable of photographing both the anterior segment and the fundus.
また、眼科撮影装置は、例えば、被検眼の組織上で光を走査する走査型の装置であってもよいし、複数の画素が配列された受光素子によって被検眼からの戻り光を受光するカメラ型の装置であってもよいし、両者の特徴を併せ持つ装置であってもよい。走査型の装置としては、例えば、SLO(走査型レーザー検眼鏡:Scanning Laser Ophthalmoscope)、OCT(光干渉断層計:Optical Coherence Tomography)等が例示される。また、カメラ型の装置としては、眼底カメラ、前眼部カメラ、眼科用シャインプルークカメラ等が例示される。 Further, the ophthalmologic imaging device may be, for example, a scanning type device that scans light on the tissue of the eye to be inspected, or a camera that receives the return light from the eye to be inspected by a light receiving element in which a plurality of pixels are arranged. It may be a type device or a device having both characteristics. Examples of the scanning type device include SLO (scanning laser ophthalmoscope: Scanning Laser Optics), OCT (optical coherence tomography), and the like. Examples of the camera-type device include a fundus camera, an anterior ocular segment camera, and an ophthalmic shine pluque camera.
以下、眼科撮影装置を、本装置と称する。本装置は、例えば、撮影光学系(照射光学系および受光光学系)と、画像形成部と、条件調整部と、条件設定部と、撮影実行部と、を有していてもよい。画像形成部,条件調整部,条件設定部,および,撮影実行部の少なくとも一部については、本装置に内蔵されたコンピュータ等の1つのユニットが兼用してもよい。 Hereinafter, the ophthalmologic imaging apparatus will be referred to as this apparatus. The apparatus may include, for example, a photographing optical system (irradiation optical system and a light receiving optical system), an image forming unit, a condition adjusting unit, a condition setting unit, and a photographing execution unit. At least a part of the image forming unit, the condition adjusting unit, the condition setting unit, and the photographing execution unit may be shared by one unit such as a computer built in the present apparatus.
<撮影光学系>
撮影光学系は、被検眼の画像の取得に利用される,本装置の主要な光学系である。撮影光学系は、照射光学系と、受光光学系と、を少なくとも含む。<Shooting optical system>
The photographing optical system is the main optical system of this device used for acquiring the image of the eye to be inspected. The photographing optical system includes at least an irradiation optical system and a light receiving optical system.
照射光学系は、光源からの光を被検眼に照射する。照射光学系は、例えば、光源と、光源からの光を被検眼に導くための光学部材(例えば、レンズ及びミラー等)と、の少なくとも一部を有する。また、走査型の装置(SLO及びOCT等)の場合、照射光学系には、走査部(光スキャナ)が設けられてもよい。走査部は、光源から発せられた光を、被検眼上(より詳細には、被検眼の観察面上)で走査するためのユニットである。 The irradiation optical system irradiates the eye to be inspected with light from a light source. The irradiation optical system includes, for example, at least a part of a light source and an optical member (for example, a lens and a mirror) for guiding the light from the light source to the eye to be inspected. Further, in the case of a scanning type device (SLO, OCT, etc.), the irradiation optical system may be provided with a scanning unit (optical scanner). The scanning unit is a unit for scanning the light emitted from the light source on the eye to be inspected (more specifically, on the observation surface of the eye to be inspected).
SLOとしては、スポット状の光を観察面の上で2次元的に走査(例えば、ラスタースキャン)する2次元スキャン方式と、ライン状の光を観察面の上で一方向に走査するラインスキャン方式とが知られている。何れの方式においても、少なくとも走査部には、副走査方向に光を走査するための光スキャナが含まれる。本実施形態は、2次元スキャン方式の装置と、ラインスキャン方式の装置と、のいずれに適用されてもよい。 The SLO is a two-dimensional scanning method in which spot-shaped light is two-dimensionally scanned (for example, raster scan) on the observation surface, and a line scanning method in which line-shaped light is scanned in one direction on the observation surface. Is known. In either method, at least the scanning unit includes an optical scanner for scanning light in the sub-scanning direction. The present embodiment may be applied to either a two-dimensional scan type device or a line scan type device.
受光光学系は、少なくとも受光素子を有する。受光光学系は、受光素子によって、被検眼からの戻り光を少なくとも受光する。例えば、OCTの場合、受光素子には、測定光の眼底反射光(戻り光の一種)そのものが受光素子で受光されるのではなく、眼底反射光と参照光とが干渉した状態の光が、受光素子で受光される場合がある。 The light receiving optical system has at least a light receiving element. The light receiving optical system receives at least the return light from the eye to be inspected by the light receiving element. For example, in the case of OCT, the light receiving element does not receive the light reflected from the fundus of the fundus (a type of return light) of the measurement light itself, but the light in a state where the reflected light of the fundus and the reference light interfere with each other. It may be received by a light receiving element.
本装置は、撮影光学系とは別に、又は、撮影光学系の少なくとも一部を共用して、他の光学系が設けられていてもよい。例えば、固視光学系が設けられていてもよい。また、OCTの場合、参照光を得るための参照光学系が設けられていてもよい。 The present device may be provided with another optical system separately from the photographing optical system or by sharing at least a part of the photographing optical system. For example, an optometry optical system may be provided. Further, in the case of OCT, a reference optical system for obtaining reference light may be provided.
<画像形成部,撮影実行部>
画像形成部は、受光素子からの信号に基づいて被検眼の画像を形成する。画像形成部によって形成される被検眼の画像は、正面画像であってもよいし、断面画像(又は、断層画像)であってもよい。画像形成部は、少なくとも画像処理プロセッサを含む。この画像処理プロセッサは、本装置全体の動作を司るプロセッサであってもよい。このことは、画像を取り扱う他の構成においても同様である。<Image formation part, shooting execution part>
The image forming unit forms an image of the eye to be inspected based on the signal from the light receiving element. The image of the eye to be inspected formed by the image forming portion may be a frontal image or a cross-sectional image (or tomographic image). The image forming unit includes at least an image processing processor. This image processing processor may be a processor that controls the operation of the entire apparatus. This also applies to other configurations that handle images.
撮影画像は、撮影トリガ信号に基づいてキャプチャーされる被検眼の画像である。キャプチャーの結果として、撮影画像は、メモリに格納される。撮影画像は、画像形成部によって形成される,被検眼の画像の生画像であってもよいし、生画像を加工、補正、又はその両方を行った画像であってもよい。キャプチャーは、撮影実行部によって行われる。 The captured image is an image of the eye to be inspected that is captured based on the captured trigger signal. As a result of the capture, the captured image is stored in memory. The captured image may be a raw image of the image of the eye to be inspected formed by the image forming unit, or may be an image obtained by processing, correcting, or both of the raw image. The capture is performed by the shooting execution unit.
<条件調整部>
条件調整部は、撮影条件を得るうえで設定される条件の少なくとも1つを調整する。条件調整部によって調整される条件は、撮影光学系における各部の配置、動作に関するハード的な条件(まとめて、撮影条件と称す)であってもよいし、受光信号から撮影画像を形成する際のソフト処理における条件(本実施形態では、画像形成条件と称す)であってもよい。<Condition adjustment unit>
The condition adjusting unit adjusts at least one of the conditions set for obtaining the shooting condition. The conditions adjusted by the condition adjusting unit may be hard conditions (collectively referred to as shooting conditions) related to the arrangement and operation of each part in the photographing optical system, or when forming a captured image from a received signal. It may be a condition in soft processing (referred to as an image forming condition in this embodiment).
撮影条件は、撮影光学系の各部についての調整可能な条件であって、撮影結果(つまり画像)に影響する条件であってもよい。例えば、光源からの出力、受光素子からの信号の増幅率(ゲイン)、視度の補正量(フォーカス)、光路上における,他の光学部材の配置,または,該光学部材の動作に関するパラメータ、等を挙げることができる。条件調整部は、このような撮影条件のうち、少なくとも一部を調整可能である。 The shooting conditions may be adjustable conditions for each part of the shooting optical system and may affect the shooting result (that is, an image). For example, the output from the light source, the amplification factor (gain) of the signal from the light receiving element, the correction amount (focus) of the diopter, the arrangement of other optical members on the optical path, or the parameters related to the operation of the optical member, etc. Can be mentioned. The condition adjusting unit can adjust at least a part of such shooting conditions.
また、画像形成条件は、例えば、画像形成部が、受光素子からの信号に基づいて画像(主には、被検眼の画像)を形成する処理における条件であってもよい。例えば、輝度の補正量(ブライトネス,及び,コントラストのうち少なくともいずれかの補正量)、画像の各部の位置補正量、等を条件として挙げることができる。つまり、条件調整部は、撮影光学系の一部を制御することにより、又は、画像形成部における画像形成処理の内容を調整することにより、各条件の調整を行う。 Further, the image forming condition may be, for example, a condition in the process in which the image forming unit forms an image (mainly an image of the eye to be inspected) based on a signal from the light receiving element. For example, the brightness correction amount (brightness and at least one of the contrast correction amounts), the position correction amount of each part of the image, and the like can be mentioned as conditions. That is, the condition adjusting unit adjusts each condition by controlling a part of the photographing optical system or by adjusting the content of the image forming process in the image forming unit.
OCTに適用される場合では、フォーカス、測定光と参照光との光路長差、ポラライザによる偏光、等が、上記の条件として例示される。 When applied to OCT, focus, optical path length difference between measurement light and reference light, polarization by a polarizer, and the like are exemplified as the above conditions.
<条件設定部>
条件設定部は、撮影画像と比べて画素数が少ない,又は,撮影画像と比べて1フレーム当たりの画像の形成に要する時間が短い第2画像を、画像形成部に形成させる。第2画像は、撮影画像のように被検眼を被写体とする画像であってもよいし、被検眼が被写体ではない画像であってもよい。<Condition setting unit>
The condition setting unit causes the image forming unit to form a second image in which the number of pixels is smaller than that of the captured image or the time required to form an image per frame is shorter than that of the captured image. The second image may be an image in which the eye to be inspected is the subject, such as a photographed image, or an image in which the eye to be inspected is not the subject.
第2画像を撮影する際に設定されていた条件(撮影条件等の条件)は、第2画像に含まれる情報(例えば、輝度情報、位置情報等)に反映される。このため、例えば、第2画像を解析・評価することで、条件の適否を判定できる。解析・評価方法としては、第2画像の画質評価であってもよいし、ヒストグラムの評価であってもよい。この他、各種の条件のうち、少なくとも1つと相関のある要素が評価されてもよい。 The conditions (conditions such as shooting conditions) set when the second image is taken are reflected in the information (for example, luminance information, position information, etc.) included in the second image. Therefore, for example, the suitability of the condition can be determined by analyzing and evaluating the second image. The analysis / evaluation method may be an evaluation of the image quality of the second image or an evaluation of a histogram. In addition, an element that correlates with at least one of various conditions may be evaluated.
撮影画像と、第2画像とにおける画素数の違いは、例えば、撮影範囲(撮影画角)の違い、画角に対する画素密度の違い、または、その両方が反映されたものであってもよい。本装置が走査型の装置である場合、条件設定部は、撮影画像を取得する場合と、第2画像を取得する場合と、で走査部の動作を互いに異ならせてもよい。 The difference in the number of pixels between the captured image and the second image may reflect, for example, a difference in the shooting range (shooting angle of view), a difference in the pixel density with respect to the angle of view, or both. When the present device is a scanning type device, the condition setting unit may make the operation of the scanning unit different from each other depending on whether the captured image is acquired or the second image is acquired.
例えば、条件設定部は、走査部における走査範囲および走査速度のうち一方を、それぞれの場合で互いに異ならせてもよい。即ち、第2画像を取得する際における走査範囲を、撮影画像を取得する際と比べ、狭くしてもよいし、第2画像を取得する際における走査速度を、撮影画像を取得する際と比べ、速くしてもよい。走査速度が速くなるほど、被検眼上での画素の抽出点の間隔が拡がるので、1フレームあたりの画像の画素数が低減される。 For example, the condition setting unit may make one of the scanning range and the scanning speed in the scanning unit different from each other in each case. That is, the scanning range when acquiring the second image may be narrower than when acquiring the captured image, and the scanning speed when acquiring the second image is compared with when acquiring the captured image. , May be faster. As the scanning speed increases, the distance between the pixel extraction points on the eye to be inspected increases, so that the number of pixels of the image per frame is reduced.
また、撮影画像と、第2画像との間における、1フレーム当たりの画像の形成に要する時間の違いは、走査範囲および走査速度の違いの他、露光時間の違いが反映されたものであってもよい。 Further, the difference in the time required to form the image per frame between the captured image and the second image reflects the difference in the scanning range and the scanning speed as well as the difference in the exposure time. May be good.
条件設定部は、撮影画像をキャプチャーする際に設定されるべき条件の少なくとも1つを、第2画像に基づいて設定する。例えば、少なくとも1つの条件を条件調整部によって変更しながら、画像形成部によって次々に第2画像が形成されることで、複数枚の第2画像が互いに異なる条件で生成されてもよい。そして、複数枚の第2画像を解析・評価することで、良好な撮影画像を得るための条件が探索されてもよい。なお、各々の第2画像には、その画像を生成する際の条件を示す情報が対応づけられていてもよい。 The condition setting unit sets at least one of the conditions to be set when capturing the captured image based on the second image. For example, a plurality of second images may be generated under different conditions by forming the second images one after another by the image forming unit while changing at least one condition by the condition adjusting unit. Then, by analyzing and evaluating a plurality of second images, conditions for obtaining a good captured image may be searched for. In addition, each second image may be associated with information indicating a condition for generating the image.
条件設定部は、探索した条件を、「撮影画像をキャプチャーする際に設定されるべき条件」として、設定してもよい。その結果として、撮影実行部は、撮影画像をキャプチャーする際に、条件設定部によって設定された条件による撮影画像を、キャプチャーする。 The condition setting unit may set the searched condition as "a condition to be set when capturing a captured image". As a result, when capturing the captured image, the shooting execution unit captures the captured image under the conditions set by the condition setting unit.
第2画像が、撮影画像と比べて画素数が少ないことにより、例えば、「撮影画像をキャプチャーするために設定されるべき条件」の検出動作に要する時間が抑制されやすくなる。より詳細には、撮影画像と同じ画素数で形成される,複数枚の画像の中から、「撮影画像をキャプチャーするために設定されるべき条件」を検出する場合と比べ、本実施形態のように、第2画像を利用する方が、画素数が少ない分、短時間で処理可能になる。 Since the number of pixels of the second image is smaller than that of the captured image, for example, the time required for the detection operation of "conditions to be set for capturing the captured image" can be easily suppressed. More specifically, as compared with the case of detecting "conditions to be set for capturing the captured image" from a plurality of images formed with the same number of pixels as the captured image, as in the present embodiment. In addition, using the second image enables processing in a shorter time because the number of pixels is smaller.
また、第2画像を生成する際に、1フレームあたりの画像の取得に要する時間が、撮影画像よりも第2画像の方が短くなるように走査部が制御された結果として、第2画像の画素数が撮影画像よりも少なくなっている場合では、上記の検出動作に要する時間のうち、第2画像の生成に要する時間が、好適に抑制される。 Further, as a result of controlling the scanning unit so that the time required to acquire the image per frame when generating the second image is shorter in the second image than in the captured image, the second image When the number of pixels is smaller than that of the captured image, the time required to generate the second image out of the time required for the detection operation is preferably suppressed.
このとき、第2画像を取得する際における走査範囲が、撮影画像を取得する際と比べて狭くなるように走査部が制御されてもよい。この場合、狭くされた走査範囲は、撮影光軸の中心付近に設定されることが好ましい。撮影光軸の中心付近は、瞳によるケラレの影響が生じにくいので、第2画像を用いて、「撮影画像をキャプチャーするために設定されるべき条件」を良好に検出しやすくなる。 At this time, the scanning unit may be controlled so that the scanning range when acquiring the second image is narrower than that when acquiring the captured image. In this case, the narrowed scanning range is preferably set near the center of the photographing optical axis. Since the influence of eclipse by the pupil is unlikely to occur near the center of the shooting optical axis, it becomes easier to satisfactorily detect "conditions to be set for capturing the shot image" using the second image.
また、第2画像を取得する際における走査速度が、撮影画像を取得する際と比べて速くなるように走査部が制御されてもよい。例えば、条件設定部による条件の検出動作中、および,その前と後とにおいて、被検眼の画像を連続的に撮像し、撮像された被検眼の画像を、リアルタイムにモニタに表示する場合において、撮影画像の表示範囲を常に一定に維持できる。 Further, the scanning unit may be controlled so that the scanning speed at the time of acquiring the second image is faster than that at the time of acquiring the captured image. For example, in the case where the image of the eye to be inspected is continuously imaged during the condition detection operation by the condition setting unit and before and after that, and the image of the eye to be inspected is displayed on the monitor in real time. The display range of the captured image can be kept constant at all times.
条件設定部は、撮影条件または画像形成条件の調整開始トリガが発せられてから、「撮影画像をキャプチャーする際に設定されるべき条件」が検出されるまでの期間の少なくとも一部において、一時的に、第2画像を形成させる。 The condition setting unit is temporarily used for at least a part of the period from the trigger for starting the adjustment of the shooting condition or the image forming condition to the detection of the "condition to be set when capturing the shot image". To form a second image.
また、条件設定部の動作の前と後とにおいて、被検眼の画像が連続的に撮像され、撮像された被検眼の画像が、リアルタイムにモニタに表示される装置の場合、第2画像は、条件設定部の動作の前と後とにおいてリアルタイムに表示される被検眼の画像と比べ、画素数が少ないものであってもよい。 Further, in the case of a device in which the image of the eye to be inspected is continuously captured before and after the operation of the condition setting unit and the image of the eye to be inspected is displayed on the monitor in real time, the second image is The number of pixels may be smaller than the image of the eye to be inspected that is displayed in real time before and after the operation of the condition setting unit.
<実施例>
次に、上記実施形態の技術が適用された一実施例を示す。ここでは、SLOへ適用した例を示す。便宜上、実施例に係るSLO1は、スポット状の光を眼底上で2次元的にスキャンさせる構成として説明する。SLO1は、光干渉断層計(OCT:Optical Coherence Tomography)、視野計などの他の眼科装置と一体化された装置であってもよい。<Example>
Next, an embodiment to which the technique of the above embodiment is applied will be shown. Here, an example applied to SLO is shown. For convenience, SLO1 according to the embodiment will be described as a configuration in which spot-shaped light is two-dimensionally scanned on the fundus. The SLO1 may be a device integrated with other ophthalmic devices such as an optical coherence tomography (OCT) and a perimeter.
<外観構成>
はじめに、図3から図8を参照して、SLO1の概略構成を説明する。図3に示すように、SLO1は、撮影ユニット4を、主に備える。撮影ユニット4には、SLO1における主要な光学系(図4参照)が、少なくとも含まれる。<Appearance configuration>
First, a schematic configuration of SLO1 will be described with reference to FIGS. 3 to 8. As shown in FIG. 3, the
SLO1は、アライメント機構を備えていてもよい。SLO1におけるアライメント機構は、例えば、レーザー光の旋回点が形成される位置を、被検眼Eに対して適正な位置に配置するために利用される。アライメント機構は、被検眼と撮影ユニット4(撮影光学系)との相対位置を調節する駆動機構である。アライメント機構は、X(左右),Y(上下),Z(前後)の各方向に関し、被検眼と撮影ユニット4(撮影光学系)との位置関係を調整してもよい。図3に示す具体例では、基台5,移動台6,および,Z駆動機構7が、水平方向(XZ方向)および上下方向(Y方向)に関するアライメント機構として利用される。即ち、移動台6は、撮影ユニット4を載せた状態で、基台5上をXZ方向に移動可能である。また、Y駆動機構7は、移動台6に載置されており、撮影ユニット4をZ方向に変位させる。これにより、被検眼と撮影ユニット4(撮影光学系)とのXYZ方向の位置関係が調整される。アライメント機構は、X,Y,Zの各方向に関し、制御信号に基づいて所定の動作を行うアクチュエータを持ち、アクチュエータの駆動制御によって、上記の動作を実現してもよい。
The SLO1 may include an alignment mechanism. The alignment mechanism in SLO1 is used, for example, to arrange the position where the turning point of the laser beam is formed at an appropriate position with respect to the eye E to be inspected. The alignment mechanism is a drive mechanism that adjusts the relative position between the eye to be inspected and the photographing unit 4 (photographing optical system). The alignment mechanism may adjust the positional relationship between the eye to be inspected and the imaging unit 4 (imaging optical system) in each of the X (left and right), Y (up and down), and Z (front and back) directions. In the specific example shown in FIG. 3, the
<光学構成>
次に、図4を参照して、SLO1に設けられた光学系を説明する。図4に示すように、SLO1は、照射光学系10と、受光光学系20と、を有する(まとめて、「撮影光学系」と称す)。SLO1は、これらの光学系10,20を用いて眼底画像を撮影する。<Optical configuration>
Next, the optical system provided in SLO1 will be described with reference to FIG. As shown in FIG. 4, the
照射光学系10は、少なくとも走査部16と、対物光学系17と、を含む。また、図4に示すように、照射光学系10は、更に、レーザー光出射部11、コリメーティングレンズ12、穴開きミラー13、レンズ14(本実施例において、視度調節部40の一部)、および、レンズ15を有してもよい。
The irradiation
レーザー光出射部11は、照射光学系10の光源である。本実施例では、レーザー光出射部11からのレーザー光が、照射光学系10から眼底Erへ照射される照明光として利用される。レーザー光出射部11は、例えば、レーザーダイオード(LD)、および、スーパールミネッセントダイオード(SLD)等を含んでいてもよい。具体的な構造についての説明は省略するが、レーザー光出射部11は、少なくとも1種類以上の波長域の光を出射する。本実施例では、複数色の光が、同時に、又は選択的に、レーザー光出射部11から出射されるものとする。例えば、本実施例では、レーザー光出射部11から、青,緑,赤の可視域の3色と、赤外域の1色と、の計4色の光が出射される。各色の光は、同時に、又は、交互に出射可能である。青,緑,赤の可視域の3色は、例えば、カラー撮影に利用される。
The laser
レーザー光は、図4に示した光線の経路にて眼底Erに導かれる。つまり、レーザー光出射部11からのレーザー光は、コリメーティングレンズ12を経て穴開きミラー13に形成された開口部を通り、レンズ14およびレンズ15を介した後、走査部16に向かう。走査部16によって反射されたレーザー光は、対物光学系17を通過した後、被検眼Eの眼底Erに照射される。その結果、レーザー光は、眼底Erで反射・散乱される、或いは、眼底に存在する蛍光物質を励起させ、眼底からの蛍光を生じさせる。これらの光(つまり、反射・散乱光および蛍光等)が、戻り光として、瞳孔から出射される。
The laser beam is guided to the fundus Er in the path of the light beam shown in FIG. That is, the laser light from the laser
本実施例において、図4に示すレンズ14は、視度調節部40(本実施例におけるフォーカス調節部)の一部である。視度調節部40は、被検眼Eの視度の誤差を矯正(軽減)するために利用される。例えば、レンズ14は、駆動機構14aによって、照射光学系10の光軸方向へ移動可能である。レンズ14の位置に応じて、照射光学系10および受光光学系20の視度が変わる。このため、レンズ14の位置が調節されることで、被検眼Eの視度の誤差が軽減され、その結果として、レーザー光の集光位置が、眼底Erの観察部位(例えば、網膜表面)に設定可能となる。なお、視度調節部40は、例えば、バダール光学系など、図4とは異なる光学系が適用されてもよい。
In this embodiment, the
走査部16(「光スキャナ」ともいう)は、光源(レーザー光出射部11)から発せられたレーザー光を、眼底上で走査するためのユニットである。本実施例において、走査部16は、レーザー光の走査方向が互いに異なる2つの光スキャナを含むものとする。即ち、主走査用(例えば、X方向への走査用)の光スキャナ16aと、副走査用(例えば、Y方向への走査用)の光スキャナ16bと、を含む。各光スキャナ16a,16bによる走査の周期、走査速度等は、変更可能であってもよい。
The scanning unit 16 (also referred to as an “optical scanner”) is a unit for scanning the laser beam emitted from the light source (laser light emitting unit 11) on the fundus. In this embodiment, the
以下では、主走査用の光スキャナ16aはレゾナントスキャナであり、副走査用の光スキャナ16bはガルバノミラーであるものとして説明する。本実施例において、主走査用の光スキャナ16aであるレゾナントスキャナは、予め定められた一定の周期,一定の走査範囲(振り角)でミラー部を振動させるように設計されている。一方、副走査用の光スキャナ16bは、走査の速度、走査の範囲が可変である。但し、各光スキャナ16a,16bには、他の光スキャナが適用されてもよい。例えば、各光スキャナ16a,16bに対し、他の反射ミラー(ガルバノミラー、ポリゴンミラー、レゾナントスキャナ、および、MEMS等)の他、光の進行(偏向)方向を変化させる音響光学素子(AOM)等が適用されてもよい。
In the following, the
なお、SLO1にラインスキャンタイプの装置を適用した場合、走査部16は、ライン状のレーザー光をラインと交差する方向に走査する光スキャナに置き換えられてもよい。この光スキャナは、副走査用の光スキャナであり、例えば、ガルバノミラーおよび音響光学素子等のいずれかであってもよい。
When a line scan type device is applied to the
対物光学系17は、SLO1の対物光学系である。対物光学系17は、走査部16によって走査されるレーザー光を、眼底Erに導くために利用される。そのために、対物光学系17は、走査部16を経たレーザー光が旋回される旋回点Pを形成する。旋回点Pは、照射光学系10の光軸L1上であって、対物光学系17に関して走査部16と光学的に共 役な位置に形成される。なお、本開示において「共役」とは、必ずしも完全な共役関係に限定されるものではなく、「略共役」を含むものとする。即ち、眼底画像の利用目的(例えば、観察、解析等)との関係で許容される範囲で、完全な共役位置からズレて配置される場合も、本開示における「共役」に含まれる。但し、SLO1の対物光学系は、レンズ系に限定されるものではなく、ミラー系であってもよいし、レンズ系とミラー系とを組み合わせたものでもあってもよいし、その他の光学系であってもよい。
The objective
走査部16を経たレーザー光は、対物光学系17を通過することによって、旋回点Pを経て、眼底Erに照射される。このため、対物光学系17を通過したレーザー光は、走査部16の動作に伴って旋回点Pを中心に旋回される。その結果として、本実施例では、眼底Er上でレーザー光が2次元的に走査される。眼底Erに照射されたレーザー光は、集光位置(例えば、網膜表面)にて反射される。また、レーザー光は、集光位置の前後の組織にて散乱される。反射光および散乱光は、平行光としてそれぞれ瞳孔から出射する。
The laser light that has passed through the
次に、受光光学系20について説明する。受光光学系20は、1つ又は複数の受光素子を持つ。例えば、図4に示すように、複数の受光素子25,27,29を有してもよい。この場合、照射光学系10によって照射されたレーザー光による眼底Erからの光は、受光素子25,27,29によって受光される。
Next, the light receiving
図4に示すように、本実施例における受光光学系20は、対物光学系17から穴開きミラー13までに配置された各部材を、照射光学系10と共用してもよい。この場合、眼底からの光は、照射光学系10の光路を遡って、穴開きミラー13まで導かれる。穴開きミラー13は、被検眼の角膜,および,装置内部の光学系(例えば対物光学系のレンズ面等)での反射によるノイズ光の少なくとも一部を取り除きつつ、眼底Erからの光を、受光光学系20の独立光路へ導く。
As shown in FIG. 4, in the light receiving
なお、照射光学系10と受光光学系20とを分岐させる光路分岐部材は、穴開きミラー13に限られるものではなく、その他のビームスプリッターが利用されてもよい。
The optical path branching member for branching the irradiation
本実施例の受光光学系20は、穴開きミラー13の反射光路に、レンズ21、ピンホール板23、および、光分離部(光分離ユニット)30を有する。また、光分離部30と各受光素子25,27,29との間に、レンズ24,26,28が設けられている。
The light receiving
ピンホール板23は、眼底共役面に配置されており、SLO1における共焦点絞りとして機能する。すなわち、視度調節部40によって視度が適正に補正される場合において、レンズ21を通過した眼底Erからの光は、ピンホール板23の開口において焦点を結ぶ。ピンホール板23によって、眼底Erの集光点(あるいは、焦点面)以外の位置からの光が取り除かれ、残り(集光点からの光)が主に受光素子25,27,29へ導かれる。
The
光分離部30は、眼底Erからの光を分離させる。本実施例では、光分離部30によって、眼底Erからの光が波長選択的に光分離される。また、光分離部30は、受光光学系20の光路を分岐させる光分岐部を兼用していてもよい。例えば、図4に示すように、光分離部30は、光分離特性(波長分離特性)が互いに異なる2つのダイクロイックミラー(ダイクロイックフィルター)31,32を含んでいてもよい。受光光学系20の光路は、2つのダイクロイックミラー31,32によって、3つに分岐される。また、それぞれの分岐光路の先には、受光素子25,27,29の1つがそれぞれ配置される。
The light separation unit 30 separates the light from the fundus Er. In this embodiment, the light from the fundus Er is wavelength-selectively separated by the light separation unit 30. Further, the optical separation unit 30 may also serve as an optical branching unit that branches the optical path of the light receiving
例えば、光分離部30は、眼底Erからの光の波長を分離させ、3つの受光素子25,27,29に、互いに異なる波長域の光を受光させる。例えば、青,緑,赤の3色の光を、受光素子25,27,29に1色ずつ受光させてもよい。この場合、各受光素子25, 27,29の受光結果から、カラー画像を得ることができる。
For example, the light separation unit 30 separates the wavelengths of light from the fundus Er, and causes the three
また、光分離部30は、赤外撮影で使用される赤外域の光を、受光素子25,27,29の少なくとも1つに受光させる。この場合において、例えば、蛍光撮影で使用される蛍光と、赤外撮影で使用される赤外域の光とが、互いに異なる受光素子に受光されてもよい。なお、本実施例では、受光素子25において赤外光による眼底反射光が受光される。
Further, the light separation unit 30 causes at least one of the
<制御系の構成>
次に、図5を参照して、SLO1の制御系を説明する。SLO1は、制御部70によっての各部の制御が行われる。制御部70は、SLO1の各部の制御処理と、演算処理とを行う電子回路を有する処理装置(プロセッサ)である。制御部70は、CPU(Central Processing Unit)およびメモリ等で実現される。制御部70は、記憶部71と、バス等を介して電気的に接続されている。また、制御部70は、レーザー光出射部11、受光素子25,27,29、駆動部14a、走査部16、入力インターフェイス75、およびモニタ80等の各部とも電気的に接続されている。<Control system configuration>
Next, the control system of SLO1 will be described with reference to FIG. Each unit of SLO1 is controlled by the
記憶部71には、各種の制御プログラムおよび固定データ等が格納される。また、記憶部71には、一時データ等が記憶されてもよい。SLO1で得られた画像は、記憶部71に記憶されていてもよい。但し、必ずしもこれに限られるものではなく、外部の記憶装置(例えば、LANおよびWANで制御部70に接続される記憶装置)へSLO1で得られた画像が記憶されてもよい。
Various control programs, fixed data, and the like are stored in the
本実施例では、制御部70が画像処理部(画像形成部)を兼用する。画像処理部として、制御部70は、例えば、受光素子25,27,29から出力される受光信号を基に眼底画像を形成する。より詳細には、制御部70は、走査部16による光走査と同期して眼底画像を形成する。例えば、制御部70は、副走査用の光スキャナ16bがn回(nは、1以上の整数)往復する度に、少なくとも1フレーム(換言すれば、1枚)の眼底画像を、(受光素子毎に)形成する。なお、以下では、特段の断りが無い限り、便宜上、副走査用の光スキャナ16bの1往復につき、その1往復に基づく1フレームの眼底画像が形成されるものとする。本実施例では、3つの受光素子25,27,29が設けられているので、制御部70は、それぞれの受光素子25,27,29からの信号に基づく最大3種類の画像を、副走査用の光スキャナ16bが1往復する度に生成する。
In this embodiment, the
制御部70は、上記のような装置の動作に基づいて逐次形成される複数フレームの眼底画像を、観察画像として時系列にモニタ80へ表示させてもよい。観察画像は、リアルタイムに取得された眼底画像からなる動画像である。また、制御部70は、逐次形成される複数の眼底画像のうち一部を、撮影画像(キャプチャ画像)として取り込む(キャプチャする)。その際、撮影画像は記憶媒体に記憶される。撮影画像が記憶される記憶媒体は、不揮発性の記憶媒体(例えば、ハードディスク,フラッシュメモリ等)であってもよい。本実施例では、例えば、トリガ信号(例えば、レリーズ操作信号等)の出力後、所定のタイミング(又は,期間)に形成される眼底画像がキャプチャされる。
The
制御部70は、眼底画像を、互いに異なる画素数で形成できる。例えば、4096×4096,2048×2048,1024×1024,512×512(いずれも、「主走査方向の画素数」×「副走査方向の画素数」)の4種類の画素数で、眼底画像を形成可能であってもよい。例えば、光スキャナ16a,16bの振り角が画素数に応じて変更されることで、眼底画像の画素数が切換えられてもよいが、本実施例では、いずれの画素数で眼底画像を得る場合においても、各光スキャナ16a,16bの振り角は一定であるものとする。
The
本実施例において、副走査用の光スキャナ16bの走査速度は、画素数に応じて調整さ れる。即ち、取得する眼底画像の画素数が少ないほど、副走査用の光スキャナ16bをより高速に動作させる。
In this embodiment, the scanning speed of the
本実施例では、主走査用の光スキャナ16a(レゾナントスキャナ)については、往復動作の周期,走査範囲(振り角)が略一定であり、走査速度,走査範囲の制御が難しい。このため、画素のサンプリング周期が調整されることで、主走査方向の画素数が切換えられてもよい。受光素子からの信号のサンプリングは、例えば、クロックと同期して行われる。クロックの周期が可変である場合は、受光素子からの信号のサンプリング周期そのものが切り替えられることで、主走査方向の画素数が切換えられてもよい。一方、クロックの周期が一定であり、受光素子からの信号のサンプリング周期が一定である場合は、一旦サンプリングした信号から、画素形成に利用する信号の抽出間隔(リサンプリングの間隔)が切換えられることによって、主走査方向の画素数が切換えられてもよい。
In this embodiment, with respect to the
また、本実施例では、主走査用の光スキャナ16a(レゾナントスキャナ)のドライバから、各往路走査の周期と同期した信号(例えば、方形波)が出力される。この信号の発生タイミングが、或いは、該発生タイミングから所定時間経過したタイミングが、画素列(第1画素列,及び,第2画素列の一方)における先頭画素の取得タイミングとして利用される(換言すれば、水平同期が得られる)。また、例えば、該タイミングから、往復走査の半周期分が経過したタイミングが、更に、第1画素列,及び,第2画素列のうち、残り一方における先頭画素の取得タイミングとして利用される。その結果として、第1画素列と、第2画素列と、が区別され、眼底画像が構築される(詳細は後述する)。
Further, in this embodiment, the driver of the
入力インターフェイス75は、検者の操作を受け付ける操作部である。例えば、タッチパネル、マウス、および、キーボード等が、入力インターフェイス75として利用されてもよい。このような入力インターフェイス75は、SLO1とは別体のデバイスであってもよい。制御部70は、入力インターフェイス75(操作部)から出力される操作信号に基づいて、上記の各部材を制御する。
The
<動作説明>
次に、図6を参照しつつ、実施例に係るSLO1の動作を説明する。SLO1は、各種の調整が行われた後、眼底画像の撮影画像を取得(キャプチャー)する。便宜上、以下の説明では、特に断りが無い限り、撮影画像として画素数:2048×2048の静止画像を取得するものとする。また、観察画像として画素数1024×1024の画像を取得するものとする。但し、必ずしもこれに限られるものではなく、撮影モード、撮影画像の用途等に応じて、撮影画像の画素数を適宜選択可能であってもよい。<Operation explanation>
Next, the operation of SLO1 according to the embodiment will be described with reference to FIG. After making various adjustments, the SLO1 acquires (captures) a captured image of the fundus image. For convenience, in the following description, unless otherwise specified, a still image having a pixel count of 2048 × 2048 is acquired as a captured image. Further, it is assumed that an image having 1024 × 1024 pixels is acquired as an observation image. However, the present invention is not limited to this, and the number of pixels of the captured image may be appropriately selected depending on the photographing mode, the intended use of the captured image, and the like.
まず、本実施例では、装置と被検眼との位置関係が調整(アライメント)される。本実施例において、アライメントは、被検眼が検査窓の前に配置されるよう、被検者をSLO1に向き合わせた状態で行われる。アライメントは、種々の方法が考えられるが、ここでは、被検眼の観察画像(動画像)を利用する方法を紹介する。例えば、本実施例では、撮影光学系10を介して取得される画像(観察画像)がアライメントにおいて利用される。この場合、制御部70によって、観察画像の取得および表示が開始され(S2)、アライメントのための各種処理が実行される(S3)。この場合、例えば、角膜面にアライメント用の指標光束を投影するアライメント投影光学系が、SLO1に設けられていてもよい。指標光束の出射位置は、適正作動距離である場合において、角膜の曲率半径の中心,および,角膜面の中間点,と共役な位置であってもよい。そのような構成では、適正作動距離およびその前後で、撮影光学系を介して得られる画像に、指標光束による指標像が映り込む。観察画像上で指標像が形成される位置に応じて、装置と被検眼との位置関係を、作動距離方向と交差する方向に関して調整することで、上下左右方向のアライメントを行うことができる。また、指標像のぼけ具合に応じて、装置と被検眼との位置関係を、作動距離方向に関して調整することで、作動距離方向のアライメントを行うことができる。より詳細については、本出願人による「特開2016−022261号公報」等を参照されたい。制御部70は、作動距離方向,および,作動距離方向とは交差する方向の少なくともいずれかに関し、アライメント状態を、観察画像に含まれる指標像に基づいて検出してもよい。
First, in this embodiment, the positional relationship between the device and the eye to be inspected is adjusted (aligned). In this embodiment, the alignment is performed with the subject facing SLO1 so that the subject is placed in front of the examination window. Various methods can be considered for alignment, but here, a method using an observation image (moving image) of the eye to be inspected will be introduced. For example, in this embodiment, an image (observation image) acquired via the photographing
なお、必ずしもこれに限定されるものではなく、アライメントには、図示無き前眼部観察系(前眼部カメラ)で取得される前眼部の観察画像が利用されてもよい。前眼部の観察画像を確認しながら、撮影光学系が内蔵された筐体を、被検眼Eに対して移動させることで、装置と被検眼とが、眼底撮影に適した位置関係に調整されてもよい。 The alignment is not necessarily limited to this, and an observation image of the anterior segment acquired by an anterior segment observation system (anterior segment camera) (not shown) may be used for alignment. By moving the housing with the built-in imaging optical system relative to the eye E to be inspected while checking the observation image of the anterior eye, the device and the eye to be inspected are adjusted to a positional relationship suitable for fundus photography. You may.
以上のようなアライメントは、検者によって手動で調整が行われるマニュアルアライメントであってもよいし、制御部70によって自動的に調整が行われるオートアライメント方式であってもよい。オートアライメント方式では、撮影光学系10と被検眼Eとが撮影に適した位置関係となるように、撮影光学系10と被検眼Eとの位置関係を調整するためのアクチュエータが、観察画像に応じて制御部70によって駆動制御される。
The alignment as described above may be a manual alignment in which the examiner manually adjusts the alignment, or an auto alignment method in which the
次に、オートフォーカス(撮影光学系の視度補正)が行われる。まず、制御部70は、観察画像として形成する眼底画像の画素数を切換える。より詳細には、撮影画像よりも少ない画素数に設定する(S4)。ここでは、画素数:512×512の眼底画像が観察画像として得られるように設定される。これにより、1フレーム枚当たりの眼底画像が、撮影画像と比べて短時間で取得されるようになる。この状態で、視度補正処理が実行される(S5)。
Next, autofocus (correction of diopter of the photographing optical system) is performed. First, the
視度補正処理(S5)において、制御部70は、レンズ14を駆動制御して視度の補正量を変化させながら、受光素子25,27,29からの信号に基づいて随時取得される観察画像の各々における結像状態を評価する。
In the diopter correction process (S5), the
例えば、制御部70は、観察画像の画像データを微分処理し、微分処理した結果に基づく微分ヒストグラム情報を利用して、結像状態を評価してもよい。微分ヒストグラム情報は、例えば、観察画像の画像データにエッジ抽出用(例えば、ラプラシアン変換、SOBEL等)のフィルタを掛けて輪郭画像に変換した後、輪郭画像のヒストグラムとして取得してもよい。
For example, the
図8は、微分ヒストグラムの一例を示す図である。図8において、横軸は微分の絶対値(以下、微分値と省略する)d(d=1、2、・・・254)、縦軸は各微分値における対応する画素数H(d)を、それぞれ、画素数がピークを示した微分値における画素数H(dp)で正規化したもの((H(d)/H(dp))を百分率(%)で表記している。なお、図8のヒストグラムにおいては、端点(d=0、d=255)の2点のデータを除外している。ここで、微分値dは、輪郭画像における輝度値を255階調で表したものである。 FIG. 8 is a diagram showing an example of a differential histogram. In FIG. 8, the horizontal axis represents the absolute value of the differential (hereinafter abbreviated as the differential value) d (d = 1, 2, ... 254), and the vertical axis represents the number of pixels H (d) corresponding to each differential value. , Each of which is normalized by the number of pixels H (dp) in the differential value showing the peak number of pixels ((H (d) / H (dp)) is expressed as a percentage (%). In the histogram of 8, the data of two points (d = 0, d = 255) are excluded. Here, the differential value d represents the brightness value in the contour image in 255 gradations. ..
ここで、制御部70は、前述のように取得されたヒストグラム情報において画像全体で所定の割合以上の画素数を持つ輝度値(微分値)の最大値を用いてSLO眼底像の結像状態(フォーカス状態)評価値を算出する。例えば、SLO眼底像の結像状態を評価するための結像状態評価値C1として、微分ヒストグラムにおける閾値S1(例えば、20%)以上での微分値の最大値Dmaxと最小値Dminの差を求める(C1=Dmax−Dmin)。なお、閾値S1は、ノイズによる影響を回避しつつ、SLO眼底像の結像状態の変化に対して評価値C1が敏感に変化するような値に設定される。また、上記において、閾値S1以上での微分値の最大値Dmaxのみを結像状態評価値C1として設定するようにしてもよい。
Here, the
結像状態評価値C1は、レンズ14が合焦位置にあるとき(撮影光学系のフォーカスが合っているとき)に高い値を示し、レンズ14が合焦位置からずれるに従って低くなっていくため、SLO1におけるフォーカス状態(結像状態)の判定に用いることができる。
The image formation state evaluation value C1 shows a high value when the
制御部70は、レンズ14の位置を移動させながら結像状態評価値C1をサンプリングし、サンプリング結果により合焦状態を判定し、レンズ14を合焦位置に駆動させる。
The
例えば、制御部70は、適正なフォーカス位置を探索するべく、駆動機構40aを駆動 制御して、レンズ14の移動可能範囲において離散的に設定された複数の移動位置にレンズ14を移動させ、各移動位置での眼底画像を取得する。例えば、−12Dから+12D
の範囲で、レンズ14を移動させる。そして、制御部70は、移動位置毎に取得された眼底画像のそれぞれの微分ヒストグラムを作成し、結像状態評価値C1をそれぞれ算出する。この場合、制御部70は、レンズ14を連続的に移動させていき、連続的に結像状態評価値C1を算出するようにしてもよい。For example, the
The
結像状態評価値C1は、サンプリングが行われたレンズ14の位置毎の飛び飛びの値である。制御部70は、サンプリングが実行されたレンズ14の位置の中から、結像状態評価値C1が最も大きな位置を、合焦位置として選択してもよい。但し、必ずしもこれに限られるものではない。例えば、サンプリングが行われた各レンズ14の位置の中間的な位置と対応する結像状態評価値C1を、サンプリング結果に対して曲線近似等の補間処理を行うことで導出してもよい。そして、補間処理の結果から、より正確な合焦位置を推定してもよい。なお、上記のような補間処理によって合焦位置を検出する手法としては、関数近似、重心、平均値の算出等を用いたものであってもよい。
The image formation state evaluation value C1 is a discrete value for each position of the sampled
以上のようにして、比較的少ない画素数からなる眼底画像を用いてオートフォーカスがラフに行われる。更に、本実施例では、その後、より多くの画素数からなる眼底画像を用いて、より精密なオートフォーカスが行われてもよい。即ち、制御部70は、ラフなオートフォーカスの実行時に対し、観察画像として形成する眼底画像の画素数を増大させる。本実施例の場合、ラフなオートフォーカスでは、画素数512×512の眼底画像が用いられたので、例えば、制御部70は、1024×1024,2048×2048,4096×4096のいずれかの画素数で眼底画像を形成させる。そして、ラフなオートフォーカスによって求められた合焦位置の近傍で、レンズ14を移動させつつ、レンズ14の移動に伴って得られる各眼底画像の結像状態を評価する(本実施例では、結像状態評価値C1を求める)。そして、例えば、レンズ14の各位置における眼底画像の結像状態を相互に比較することで、合焦位置を再度、検出してもよい。この合焦位置にレンズ14を移動させることによって、本実施形態におけるフォーカス調整が終了される。本実施例では、フォーカス調整の完了後、制御部70は、観察画像の画素数が、1024×1024に設定される(S7)。
As described above, autofocus is roughly performed using a fundus image having a relatively small number of pixels. Further, in this embodiment, more precise autofocus may be subsequently performed using a fundus image having a larger number of pixels. That is, the
なお、上記のように結像状態評価値C1をサンプリングする場合、結像状態評価値C1が上昇後、下降に転じた時点でレンズ14の移動を停止するようにしてもよい。
When the imaging state evaluation value C1 is sampled as described above, the movement of the
視度補正の開始トリガは、例えば、制御部70がアライメント完了を自動検出したことであってもよいし、所定の操作が検者によって入力されたことであってもよい。
The diopter correction start trigger may be, for example, that the
その後、その他の撮影条件が設定される(S8)。例えば、撮影条件を指定するために検者の操作が入力される。例えば、赤外撮影、カラー撮影、IA(インドシアニングリーン蛍光造影)、FA(フルオレセイン蛍光造影)、FAF(眼底自発蛍光撮影)のいずれかの撮影方法が検者によって選択され、選択された撮影方法と対応する撮影条件を、制御部70が設定してもよい。撮影条件の具体例としては、レーザー光の波長、照明光の光量、受光信号のゲイン、等が例示される。
After that, other shooting conditions are set (S8). For example, the examiner's operation is input to specify the shooting conditions. For example, one of infrared imaging, color imaging, IA (indocyanine green fluorescence contrast), FA (fluorescein fluorescence contrast), and FAF (fundus spontaneous fluorescence imaging) is selected by the examiner, and the selected imaging method is selected. The
制御部70は、トリガ信号(例えば、レリーズ操作信号等)に基づいて、眼底画像をキャプチャーする。キャプチャー時の撮影条件および画像形成条件は、これまでの各種調整の結果が反映される。例えば、本実施例では、キャプチャー時における合焦位置は、S5の処理による調整によって設定された位置である。前述したように、本実施例では、画素数:2048×2048の静止画像が、 キャプチャーの結果として取得される。
The
なお、眼底画像において、往路走査による画素列と復路走査による画素列との間におけるズレが問題となる場合は、そのズレが補正された画像が、キャプチャーの結果として取得されてもよい。 In addition, in the fundus image, when the deviation between the pixel array by the outward scan and the pixel array by the return scan becomes a problem, the image in which the deviation is corrected may be acquired as a result of the capture.
以上、実施形態に基づいて説明を行ったが、本開示を実施するうえで、実施形態の内容を適宜変更することができる。 Although the description has been given above based on the embodiment, the content of the embodiment can be appropriately changed in carrying out the present disclosure.
例えば、実施例では、フォーカス(装置の視度)が、第2画像に基づいて調整されるものとして説明したが、必ずしもこれに限られるものではなく、他の条件を調整する際に第2画像が利用されてもよい。例えば、往路走査による画素列と、復路走査による画素列と、の位置ズレが、第2画像に基づいて検出されてもよい。また、被検眼と撮影光学系との位置関係(SLO1のアライメント状態)が、第2画像に基づいて検出されてもよい。制御部70は、各々の検出を行う際に、一時的に第2画像が観察画像として取得されるように画像取得制御を切換えてもよい。これにより、各々の条件が短時間で調整されやすくなる。
For example, in the embodiment, the focus (diopter of the device) has been described as being adjusted based on the second image, but the present invention is not necessarily limited to this, and the second image is used when adjusting other conditions. May be used. For example, the positional deviation between the pixel sequence due to the outward scan and the pixel array due to the return scan may be detected based on the second image. Further, the positional relationship between the eye to be inspected and the photographing optical system (alignment state of SLO1) may be detected based on the second image. The
また、例えば、上記実施例では、レンズの反射像を用いて、往路走査と復路走査との画素の読み取りタイミングを補正する際に、視度調節部40が駆動するので、その間、被検眼の観察および撮影が困難になる。そこで、例えば、第1画素列と、第2画素列と、のズレを、被検眼の画像に基づいて検出および補正する第2の補正制御処理を、SLO1は、更に有していてもよい。例えば、第2の補正制御処理は、観察画像の取得中に一定時間ごとに繰り返し実行されてもよい。一方、レンズの反射像を用いた補正処理は、装置起動時、被検者が交代される際、装置がスリープ状態から復帰する際、異なる撮影方法で続けて撮影が行われる場合の撮影方法の切換時、等に実行されてもよい。
Further, for example, in the above embodiment, the
第1画素列と、第2画素列と、のズレを、被検眼の画像に基づいて検出および補正する場合、ズレの検出および補正は、必ずしも被検眼の画像が取得される都度行われる必要は無い。例えば、取得された画像を表示したり、解析したりする際に、予め取得された被検眼の画像を処理して、ズレの検出および補正を行ってもよい。この場合において、各被検眼画像におけるズレの補正量は、時系列に得られた複数フレームの被検眼の画像に基づいて設定されてもよい。 When the deviation between the first pixel row and the second pixel row is detected and corrected based on the image of the eye to be inspected, the deviation is not necessarily detected and corrected each time the image of the eye to be inspected is acquired. There is no. For example, when displaying or analyzing the acquired image, the image of the eye to be inspected acquired in advance may be processed to detect and correct the deviation. In this case, the amount of correction for the deviation in each image to be inspected may be set based on the images of the eyes to be inspected in a plurality of frames obtained in time series.
例えば、前述したように、実施例に係るSLO1は、光干渉断層計(OCT)と一体化されていてもよい。この場合、制御部70は、上記したSLO1のフォーカス調整結果を、OCT光学系へ反映させてもよい。具体的には、SLO1の撮影光学系と、OCT光学系とにおいて、少なくとも視度調節部40が共用されていてもよい。また、これに限らず、OCT光学系における視度調節部は、SLO1の視度調節部40と別体であってもよい。この場合、例えば、OCT光学系における視度調節部は、SLO1の視度調節部40と、視度補正量が互いに同じ値となるように、SLO1の視度調節部40とメカニカルに連動する構造であってもよい。
For example, as described above, the SLO1 according to the embodiment may be integrated with an optical coherence tomography (OCT). In this case, the
10 照射光学系
11 光源
16 走査部
20 受光光学系
25,27,29 受光素子
70 制御部
10 Irradiation
Claims (4)
前記受光素子からの信号に基づいて被検眼の正面画像を撮影画像として取得する画像形成手段と、
前記撮影画像と比べて1フレーム当たりの画像の形成に要する時間が短い前記正面画像による第2画像を前記画像形成手段に前記受光素子からの信号に基づいて形成させ、前記撮影画像に関する条件の少なくとも1つを前記第2画像に基づいて設定する条件設定手段と、
設定された前記条件による前記撮影画像をキャプチャーする撮影実行手段と、を備える眼底撮影装置。 An imaging optical system having an irradiation optical system that irradiates an eye to be inspected while scanning light from a light source by a scanning unit, and a light receiving optical system having a light receiving element that at least receives the return light from the eye to be inspected.
An image forming means for acquiring a front image of the eye to be inspected as a captured image based on a signal from the light receiving element, and an image forming means.
The time required to form an image per frame is shorter than that of the captured image. A second image based on the front image is formed by the image forming means based on a signal from the light receiving element, and at least the conditions relating to the captured image are met. A condition setting means for setting one based on the second image, and
A fundus photography apparatus including a photographing execution means for capturing the captured image under the set conditions.
前記受光素子からの信号に基づいて被検眼のOCT画像を撮影画像として取得する画像形成手段と、An image forming means for acquiring an OCT image of an eye to be inspected as a captured image based on a signal from the light receiving element, and an image forming means.
前記撮影画像と比べて1フレーム当たりの画像の形成に要する時間が短い前記OCT画像による第2画像を前記画像形成手段に前記受光素子からの信号に基づいて形成させ、前記撮影画像に関する条件として、フォーカス、測定光と参照光との光路長差、および、ポラライザによる偏光、の少なくとも1つを前記第2画像に基づいて設定する条件設定手段と、The time required to form an image per frame is shorter than that of the captured image. A second image based on the OCT image is formed by the image forming means based on a signal from the light receiving element, and as a condition for the captured image, A condition setting means for setting at least one of the focus, the optical path length difference between the measurement light and the reference light, and the polarization by the polarizer based on the second image.
設定された前記条件による前記撮影画像をキャプチャーする撮影実行手段と、を備える眼底撮影装置。A fundus photography apparatus including a photographing execution means for capturing the captured image under the set conditions.
前記受光素子からの信号に基づいて被検眼の撮影画像を取得する画像形成手段と、
前記撮影画像と比べて1フレーム当たりの画像の形成に要する時間が短い第2画像を前記画像形成手段に前記受光素子からの信号に基づいて形成させ、前記撮影画像に関する条件の少なくとも1つを前記第2画像に基づいて設定する条件設定手段と、
設定された前記条件による前記撮影画像をキャプチャーする撮影実行手段と、を備え、
前記条件は、眼科撮影装置のフォーカス調整量である眼科撮影装置。 An imaging optical system having an irradiation optical system that irradiates an eye to be inspected while scanning light from a light source by a scanning unit, and a light receiving optical system having a light receiving element that at least receives the return light from the eye to be inspected.
An image forming means for acquiring a photographed image of an eye to be inspected based on a signal from the light receiving element, and an image forming means.
A second image, which takes less time to form an image per frame than the captured image, is formed by the image forming means based on a signal from the light receiving element, and at least one of the conditions relating to the captured image is satisfied. Condition setting means to be set based on the second image,
A shooting execution means for capturing the shot image under the set conditions is provided.
The condition is a focus adjustment amount der Ru ophthalmology imaging apparatus of the ophthalmologic photographing apparatus.
前記受光素子からの信号に基づいて被検眼の撮影画像を取得する画像形成手段と、
前記撮影画像と比べて1フレーム当たりの画像の形成に要する時間が短い第2画像を前記画像形成手段に前記受光素子からの信号に基づいて形成させ、前記撮影画像に関する条件の少なくとも1つを前記第2画像に基づいて設定する条件設定手段と、
設定された前記条件による前記撮影画像をキャプチャーする撮影実行手段と、を備え、
前記条件は、前記光源からの出力、および、前記受光素子からの信号の増幅率の少なくとも一方である眼科撮影装置。 An imaging optical system having an irradiation optical system that irradiates an eye to be inspected while scanning light from a light source by a scanning unit, and a light receiving optical system having a light receiving element that at least receives the return light from the eye to be inspected.
An image forming means for acquiring a photographed image of an eye to be inspected based on a signal from the light receiving element, and an image forming means.
A second image, which takes less time to form an image per frame than the captured image, is formed by the image forming means based on a signal from the light receiving element, and at least one of the conditions relating to the captured image is satisfied. Condition setting means to be set based on the second image,
A shooting execution means for capturing the shot image under the set conditions is provided.
The condition is output from the light source, and, at least one Der Ru ophthalmology imaging apparatus of the amplification factor of the signal from the light receiving element.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016132693 | 2016-07-04 | ||
JP2016132693 | 2016-07-04 | ||
PCT/JP2017/024409 WO2018008613A1 (en) | 2016-07-04 | 2017-07-03 | Ophthalmic imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018008613A1 JPWO2018008613A1 (en) | 2019-04-25 |
JP6836212B2 true JP6836212B2 (en) | 2021-02-24 |
Family
ID=60912127
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018526382A Active JP6836212B2 (en) | 2016-07-04 | 2017-07-03 | Ophthalmologic imaging equipment |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6836212B2 (en) |
WO (1) | WO2018008613A1 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011115301A (en) * | 2009-12-02 | 2011-06-16 | Nidek Co Ltd | Fundus imaging apparatus |
JP6410498B2 (en) * | 2014-07-08 | 2018-10-24 | キヤノン株式会社 | Ophthalmic apparatus and control method thereof |
JP6606640B2 (en) * | 2015-04-10 | 2019-11-20 | 株式会社トーメーコーポレーション | Ophthalmic apparatus and control method thereof |
-
2017
- 2017-07-03 WO PCT/JP2017/024409 patent/WO2018008613A1/en active Application Filing
- 2017-07-03 JP JP2018526382A patent/JP6836212B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2018008613A1 (en) | 2018-01-11 |
JPWO2018008613A1 (en) | 2019-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6899632B2 (en) | Ophthalmologic imaging equipment | |
US9386920B2 (en) | Ophthalmologic image processing apparatus | |
JP2019536500A (en) | Eyeball imaging device | |
WO2019225290A1 (en) | Imaging device and method for controlling same | |
JP2015066242A (en) | Ophthalmology imaging apparatus | |
JP6531369B2 (en) | Fundus imaging device | |
JP6319616B2 (en) | Scanning laser ophthalmoscope | |
JPWO2019172062A1 (en) | Fundus photography device | |
EP3603487B1 (en) | Fundus imaging apparatus and method of producing composite image composed of fundus images | |
JP7183617B2 (en) | Fundus camera | |
JP7098964B2 (en) | Fundus photography device | |
JP2018000620A (en) | Ophthalmological imaging apparatus | |
JP6739183B2 (en) | Ophthalmic equipment | |
JP6713297B2 (en) | Ophthalmic equipment | |
JP6836212B2 (en) | Ophthalmologic imaging equipment | |
JP6464565B2 (en) | Fundus photographing device | |
JP7056242B2 (en) | Fundus photography device | |
JP6848207B2 (en) | Ophthalmologic imaging equipment | |
JP6957842B2 (en) | Fundus photography device | |
JP5306554B2 (en) | Ophthalmic imaging equipment | |
JP7421062B2 (en) | fundus imaging device | |
JP2018171326A (en) | Tomographic image capturing device and tomographic image capturing program | |
JP2020044452A (en) | Ophthalmic apparatus | |
JP6349879B2 (en) | Fundus photographing device | |
JP2023030467A (en) | Ophthalmology imaging apparatus and ophthalmology imaging program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200601 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200601 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201013 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6836212 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |