JP6691596B2 - Ophthalmic imaging device - Google Patents
Ophthalmic imaging device Download PDFInfo
- Publication number
- JP6691596B2 JP6691596B2 JP2018234007A JP2018234007A JP6691596B2 JP 6691596 B2 JP6691596 B2 JP 6691596B2 JP 2018234007 A JP2018234007 A JP 2018234007A JP 2018234007 A JP2018234007 A JP 2018234007A JP 6691596 B2 JP6691596 B2 JP 6691596B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- illumination light
- illumination
- eye
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 100
- 238000005286 illumination Methods 0.000 claims description 286
- 230000003287 optical effect Effects 0.000 claims description 70
- 210000004087 cornea Anatomy 0.000 claims description 9
- 206010025421 Macule Diseases 0.000 claims description 8
- 230000008878 coupling Effects 0.000 claims description 8
- 238000010168 coupling process Methods 0.000 claims description 8
- 238000005859 coupling reaction Methods 0.000 claims description 8
- 210000001525 retina Anatomy 0.000 claims description 8
- 210000000695 crystalline len Anatomy 0.000 description 38
- 230000004907 flux Effects 0.000 description 22
- 238000000034 method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 210000001747 pupil Anatomy 0.000 description 7
- 230000001788 irregular Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 206010027646 Miosis Diseases 0.000 description 3
- 230000003547 miosis Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 210000003733 optic disk Anatomy 0.000 description 2
- 241000519995 Stachys sylvatica Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000003161 choroid Anatomy 0.000 description 1
- 210000004240 ciliary body Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000649 photocoagulation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000004127 vitreous body Anatomy 0.000 description 1
Images
Landscapes
- Eye Examination Apparatus (AREA)
Description
この発明は、眼科撮影装置に関する。 This invention also relates to the ophthalmic imaging equipment.
眼科撮影装置は、被検眼の画像を取得するために用いられる。眼科撮影装置としては、細隙灯顕微鏡(スリットランプ)や眼底カメラなどが知られている。 The ophthalmologic photographing apparatus is used to acquire an image of an eye to be inspected. A slit lamp microscope (slit lamp), a fundus camera, and the like are known as ophthalmologic imaging apparatuses.
眼科撮影装置は、一般的に、照明系と、撮影系とを含んで構成されている。照明系は、照明光で被検眼を照明する。撮影系は、被検眼からの照明光の戻り光を撮像装置に導く。眼科撮影装置は、撮像装置を用いて被検眼の画像を取得する。 The ophthalmologic photographing apparatus is generally configured to include an illumination system and a photographing system. The illumination system illuminates the subject's eye with illumination light. The imaging system guides the return light of the illumination light from the subject's eye to the imaging device. The ophthalmologic imaging apparatus acquires an image of the eye to be inspected using the imaging device.
従来の眼科撮影装置において、照明系は、被検眼の部位にかかわらず、光束断面内で光量が均一な照明光(すなわち、空間的に均一な照明光)で被検眼を照明する。それにより、部位ごとの反射率の違いにより白飛びや黒潰れが発生し、観察に好適な画像を取得することができない場合がある。 In the conventional ophthalmologic imaging apparatus, the illumination system illuminates the subject's eye with illumination light having a uniform light amount within the light flux cross section (that is, spatially uniform illumination light) regardless of the site of the subject's eye. As a result, whiteout or blackout may occur due to the difference in reflectance between parts, and it may not be possible to acquire an image suitable for observation.
また、光束断面内で光量が均一な照明光で被検眼を照明するため、瞳孔に強い光が入射したときには被検者が眩しく感じ、被検者に不快感を与える場合がある。更に、縮瞳により被検眼の撮影や観察を続行することができなくなる場合がある。 Further, since the eye to be inspected is illuminated with illumination light having a uniform amount of light within the cross section of the light flux, when strong light enters the pupil, the subject may feel dazzled and may give discomfort to the subject. Further, due to the miosis, it may not be possible to continue photographing or observing the eye to be inspected.
この発明は、上記の課題を解決するためになされたものであり、その目的は、被検眼の画像を取得するための眼科撮影装置の新たな技術を提供することにある。 The present invention has been made to solve the above problems, and an object thereof is to provide a new technique of an ophthalmologic photographing apparatus for acquiring an image of an eye to be inspected.
実施形態に係る眼科撮影装置は、照明系と、撮影系と、制御部とを含む。照明系は、照明光生成部を備える。照明光生成部は、照明光を生成する。照明系は、照明光で被検眼を照明する。撮影系は、被検眼からの照明光の戻り光を撮像装置に導く。制御部は、撮像装置により取得された画像を解析することにより注目領域を特定し、少なくとも注目領域に対応する照明光の面内位置の光量を制御する。注目領域が角膜、または視神経乳頭に対応する画像中の領域であるとき、制御部は、注目領域に照射される照明光の光量を下げるように光量の制御を行う。注目領域が網膜または黄斑部に対応する画像中の領域であるとき、制御部は、注目領域に照射される照明光の光量を上げるように光量の制御を行う。
実施形態に係る眼科撮影装置の制御方法は、取得ステップと、制御ステップとを含む。眼科撮影装置は、照明系と、撮影系とを含む。照明系は、照明光生成部を含む。照明光生成部は、照明光を生成する。照明系は、照明光で被検眼を照明する。撮影系は、被検眼からの照明光の戻り光を撮像装置に導く。取得ステップでは、撮像装置により被検眼の画像が取得される。制御ステップでは、取得された画像を解析することにより瞳孔、角膜、または視神経乳頭に対応する画像中の注目領域が特定され、少なくとも注目領域に照射される照明光の光量を下げるように光量の制御が行われる。
The ophthalmologic photographing apparatus according to the embodiment includes an illumination system, a photographing system, and a control unit. The illumination system includes an illumination light generation unit. The illumination light generation unit generates illumination light. The illumination system illuminates the subject's eye with illumination light. The imaging system guides the return light of the illumination light from the subject's eye to the imaging device. The control unit specifies the attention area by analyzing the image acquired by the imaging device, and controls at least the light amount at the in-plane position of the illumination light corresponding to the attention area. When the attention area is an area in the image corresponding to the cornea or the optic disc, the control unit controls the light amount so as to reduce the light amount of the illumination light with which the attention area is irradiated. When the attention area is an area in the image corresponding to the retina or the macula, the control unit controls the light quantity so as to increase the light quantity of the illumination light with which the attention area is irradiated.
The control method of the ophthalmologic imaging apparatus according to the embodiment includes an acquisition step and a control step. The ophthalmologic photographing apparatus includes an illumination system and a photographing system. The illumination system includes an illumination light generation unit. The illumination light generation unit generates illumination light. The illumination system illuminates the subject's eye with illumination light. The imaging system guides the return light of the illumination light from the subject's eye to the imaging device. In the acquisition step, the image of the subject's eye is acquired by the imaging device. In the control step, the region of interest in the image corresponding to the pupil, cornea, or optic disc is identified by analyzing the acquired image, and the light amount is controlled so that at least the amount of illumination light irradiated to the region of interest is reduced. is Ru is carried out.
この発明によれば、被検眼の画像を取得するための眼科撮影装置の新たな技術を提供することが可能になる。 According to the present invention, it is possible to provide a new technique of an ophthalmologic imaging apparatus for acquiring an image of an eye to be inspected.
この発明に係る眼科撮影装置の実施形態の一例について、図面を参照しながら詳細に説明する。なお、この明細書に記載された文献の記載内容を、以下の実施形態の内容として適宜援用することが可能である。 An example of an embodiment of an ophthalmologic photographing apparatus according to the present invention will be described in detail with reference to the drawings. Note that the contents of the documents described in this specification can be appropriately incorporated as the contents of the following embodiments.
以下では、実施形態に係る眼科撮影装置として細隙灯顕微鏡を例に説明するが、実施形態に係る眼科撮影装置はこれに限定されない。この発明を適用可能な眼科撮影装置としては、細隙灯顕微鏡の他に、眼底カメラ、走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope:SLO)、レーザ光凝固装置などがある。また、実施形態に係る眼科撮影装置による撮影部位は、被検眼の任意の部位であってよく、たとえば、前眼部においては角膜や硝子体や水晶体や毛様体や隅角などであってよいし、後眼部においては網膜や脈絡膜や硝子体であってよい。また、撮影部位は、瞼や眼窩など眼の周辺部位であってもよい。 Hereinafter, a slit lamp microscope will be described as an example of the ophthalmologic imaging apparatus according to the embodiment, but the ophthalmologic imaging apparatus according to the embodiment is not limited to this. Examples of the ophthalmologic imaging apparatus to which the present invention can be applied include a slit lamp microscope, a fundus camera, a scanning laser ophthalmoscope (SLO), and a laser photocoagulation apparatus. Further, the imaged part by the ophthalmologic imaging apparatus according to the embodiment may be any part of the eye to be inspected, and for example, in the anterior ocular segment, it may be the cornea, vitreous body, crystalline lens, ciliary body, or corner angle. However, the posterior segment of the eye may be the retina, choroid, or vitreous. Further, the imaged region may be a region around the eye such as an eyelid or an orbit.
まず方向を定義しておく。装置光学系において最も被検者側に位置する光学素子から被検者に向かう方向を前方向とし、その逆方向を後方向とする。また、前方向に直交する水平方向を左右方向とする。更に、前後方向と左右方向の双方に直交する方向を上下方向とする。 First, the direction is defined. In the optical system of the apparatus, the direction from the optical element located closest to the subject to the subject is the front direction, and the opposite direction is the rear direction. The horizontal direction orthogonal to the front direction is defined as the left-right direction. Further, a direction orthogonal to both the front-rear direction and the left-right direction is defined as the up-down direction.
〔第1実施形態〕
[外観構成]
この実施形態に係る細隙灯顕微鏡の外観構成について、図1を参照しながら説明する。細隙灯顕微鏡1には、コンピュータ100が接続されている。コンピュータ100は、各種の制御処理や演算処理を行う。なお、顕微鏡本体(光学系等を格納する筐体)とは別にコンピュータ100を設ける代わりに、顕微鏡本体に同様のコンピュータを搭載した構成を適用することも可能である。
[First Embodiment]
[Appearance configuration]
The external configuration of the slit lamp microscope according to this embodiment will be described with reference to FIG. A
細隙灯顕微鏡1はテーブル2上に載置される。なお、コンピュータ100は他のテーブル上またはその他の場所に設置されていてもよい。基台4は、移動機構部3を介して水平方向に移動可能に構成されている。基台4は、操作ハンドル5を傾倒操作することにより移動される。
The
基台4の上面には、観察系6および照明系8を支持する支持部15が設けられている。支持部15には、観察系6を支持する支持アーム16が左右方向に回動可能に取り付けられている。支持アーム16の上部には、照明系8を支持する支持アーム17が左右方向に回動可能に取り付けられている。支持アーム16、17は、それぞれ独立に同軸で回動可能とされている。
A
観察系6は、支持アーム16を手動で回動させることで移動される。照明系8は、支持アーム17を手動で回動させることで移動される。なお、各支持アーム16、17は、電気的な機構によって回動されるように構成されていてもよい。その場合、各支持アーム16、17を回動させるための駆動力を発生するアクチュエータと、この駆動力を伝達する伝達機構とが設けられる。アクチュエータは、たとえばパルスモータにより構成される。伝達機構は、たとえば歯車の組み合わせやラック・アンド・ピニオンなどによって構成される。
The
照明系8は、照明光を生成し、生成された照明光で被検眼Eを照明する。照明系8は、前述のように、回動軸を中心に左右方向に振ることができる。それにより被検眼Eに対する照明光の照射方向が変更される。照明系8は上下方向にも振れるように構成されていてもよい。つまり、照明光の仰角や俯角を変更できるように構成されていてもよい。
The
観察系6は、被検眼Eからの照明光の反射光を案内する左右一対の光学系を有する。また、観察系6は、撮影系を含んで構成されている。この光学系は鏡筒本体9内に収納されている。撮影系の光路は、鏡筒本体9内で観察系6の光路に結合される。鏡筒本体9の終端は接眼部9aである。検者は接眼部9aをのぞき込むことで被検眼Eを肉眼で観察する。前述のように、支持アーム16を回動させることにより鏡筒本体9を左右方向に回動させることができる。それにより被検眼Eに対する観察系6の向きを変更することができる。なお、照明光の反射光には、たとえば散乱光のように被検眼Eを経由した各種の光が含まれるが、これら各種の光を含めて「反射光」または「戻り光」と呼ぶことにする。また、照明光を励起光として用いる蛍光造影撮影や蛍光造影観察においては、励起光により発せられた蛍光が「反射光」または「戻り光」に含まれる。
The
鏡筒本体9に対峙する位置には顎受け台10が配置されている。顎受け台10には、被検者の顔を安定配置させるための顎受部10aと額当て10bが設けられている。
A
鏡筒本体9の側面には、観察倍率を変更するための観察倍率操作ノブ11が配置されている。更に、鏡筒本体9には、被検眼Eを撮影するための撮像装置13が接続されている。撮像装置13は撮像素子を含んで構成されている。撮像素子は、光を検出して電気信号(画像信号)を出力する光電変換素子である。画像信号はコンピュータ100に入力される。撮像素子としては、たとえばCCD(Charge Coupled Device)イメージセンサや、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサが用いられる。照明系8の下方位置には、照明系8から出力される照明光束を被検眼Eに向けて反射するミラー12が配置されている。
An observation
[光学系の構成]
細隙灯顕微鏡1の光学系の構成について、図2を参照しながら説明する。細隙灯顕微鏡1は、観察系6と、撮影系7と、照明系8とを有する。前述のように、観察系6は、撮影系7を含んで構成されている。
[Structure of optical system]
The configuration of the optical system of the
〔観察系〕
観察系6は左右一対の光学系を備えている。左右の光学系は、ほぼ同様の構成を有する。検者は、この左右の光学系により被検眼Eを双眼で観察することができる。なお、図2には、観察系6の左右の光学系の一方のみが示されている。符号O1は観察系6の光軸(観察光軸)、撮影系7の光軸(撮影光軸)である。
[Observation system]
The
観察系6の左右の各光学系は、対物レンズ31、変倍光学系32、絞り33、リレーレンズ35、プリズム36および接眼レンズ37を有する。ビームスプリッタ34は、左右の光学系の一方のみにまたは双方に設けられる。接眼レンズ37は接眼部9a内に設けられている。符号Pは、接眼レンズ37に導かれる光の結像位置を示している。符号Ecは被検眼Eの角膜を、符号Epは虹彩を、符号Erは眼底をそれぞれ示している。符号Eoは検者眼を示している。
Each of the left and right optical systems of the
変倍光学系32は、複数(たとえば2枚)の変倍レンズ32a、32bを含んで構成される。この実施形態では、観察系6の光路に対して選択的に挿入可能な複数の変倍レンズ群が設けられている。これら変倍レンズ群は、それぞれ異なる倍率を付与するように構成されている。観察系6の光路に配置された変倍レンズ群が変倍レンズ32a、32bとして用いられる。それにより、被検眼Eの肉眼観察像や撮影画像の倍率(画角)を変更できる。倍率の変更、つまり観察系6の光路に配置される変倍レンズ群の切り替えは、観察倍率操作ノブ11を操作することにより行われる。また、図示しないスイッチ等を用いて電動で倍率を変更するように構成してもよい。
The variable power
ビームスプリッタ34は、光軸O1に沿って進む光を二分割する。ビームスプリッタ34を透過した光は、リレーレンズ35、プリズム36および接眼レンズ37を介して検者眼Eoに導かれる。プリズム36は、2つの光学素子36a、36bを含み、光の進行方向を上方に平行移動させる。他方、ビームスプリッタ34により反射された光は、撮影系7に導かれる。
The
〔撮影系〕
撮影系7は、リレーレンズ41、ミラー42、および撮像装置13を有する。撮影系7は、ビームスプリッタ34を更に含んで構成されていてもよい。前述のように、撮像装置13は、撮像素子43を含む。撮像素子43の撮像面は、被検眼Eの撮影部位(観察部位)(すなわち、照明系8による照明光の照明位置)と光学的に略共役な位置に配置されている。
[Shooting system]
The
ビームスプリッタ34により反射された光は、リレーレンズ41およびミラー42を介して、撮像装置13の撮像素子43に導かれる。撮像素子43は、この反射光を検出して画像信号を生成する。
The light reflected by the
〔照明系〕
照明系8は、照明光生成部51と、集光レンズ55とを有する。符号O2は照明系8の光軸(照明光軸)を示す。
[Illumination system]
The
照明光生成部51は、被検眼Eの撮影部位(すなわち、照明系8による照明光の照明位置)と光学的に略共役な位置に配置されている。たとえば、照明光生成部51において生成される照明光の光源の瞳位置は、被検眼Eの撮影部位と光学的に略共役な位置に配置されている。
The illumination
照明光生成部51は、任意に形状を変更可能な照明光を生成する。照明光の形状は、光束の断面形状や投影像の形状により特定可能である。照明光生成部51は、制御部101による制御に基づいて、スリット幅、細隙光の向き(スリットの向き)、細隙光の長さ、形状を任意に変更可能な照明光を細隙光として生成する。すなわち、照明光生成部51は、所望の形状の照明光を細隙光として生成することができる。
The
照明光生成部51は、たとえば、プロジェクタを含んで構成されている。プロジェクタは、任意に変更可能な照明パターンの光を照明光として出力可能である。照明パターンは、光束断面の形状、光束断面における光量の分布や色の分布などを表す。プロジェクタは、制御部101による制御に基づいてあらかじめ設定された照明パターンの光を出力する。それにより、プロジェクタは、スリット幅、細隙光の向き、細隙光の長さ、形状を任意に変更可能な照明光を細隙光として出力することができる。
The
照明パターンは、たとえば、後述の操作部104を用いてユーザが設定可能である。ユーザが操作部104を用いて、たとえば、形状パターン、外形、サイズなどを指定すると、制御部101は、指定された形状パターンなどに基づいて照明パターンを特定し、特定された照明パターンに基づいてプロジェクタを制御することが可能である。
The illumination pattern can be set by the user using the
プロジェクタは、デジタルマイクロミラーデバイスを用いた公知のプロジェクタであってよい。プロジェクタは、更に、光源を含んで構成されていてもよい。光源には、LED(Light Emitting Diode)光源やRGBの各色成分の光を出力可能な光源などがある。プロジェクタは、更に、リレー光学系や、コリメータレンズや、投影レンズなどを含んで構成されてもよい。 The projector may be a known projector that uses a digital micromirror device. The projector may further include a light source. Examples of the light source include an LED (Light Emitting Diode) light source and a light source capable of outputting light of RGB color components. The projector may further include a relay optical system, a collimator lens, a projection lens, and the like.
また、プロジェクタは、LCoS(Liquid Crystal on Silicon)や、MEMS(Micro Electro Mechanical Systems)を用いたものであってもよい。更に、プロジェクタは、液晶ディスプレイ(Liquid Crystal Display:以下、LCD)(透過型、反射型)を用いたものであってもよい。このような構成は公知であるため、詳細な説明を省略する。プロジェクタは、形状などを任意に変更可能な照明パターンに対応した照明光を出力可能なものであればよい。 Further, the projector may be one that uses LCoS (Liquid Crystal on Silicon) or MEMS (Micro Electro Mechanical Systems). Further, the projector may use a liquid crystal display (hereinafter, LCD) (transmissive type, reflective type). Since such a configuration is publicly known, detailed description will be omitted. The projector may be any one that can output illumination light corresponding to an illumination pattern whose shape and the like can be arbitrarily changed.
なお、照明光生成部51に、複数の光源を設けてもよい。この場合、照明光生成部51は、複数の光源の点灯および非点灯を制御することにより、任意に形状を変更可能な照明光を生成することが可能である。それにより、照明光生成部51は、所望の形状の照明光を細隙光として生成することができる。
Note that the
制御部101は、撮像装置13により取得された被検眼Eの画像における輝度分布に基づいて照明光生成部51を制御することにより、光束断面内で照明光の光量分布を制御することが可能である。
The
制御部101は、特定部60と、光量制御部70とを含んで構成されている。特定部60は、照明光生成部51により生成された照明光の照明位置と、撮像装置13を用いて取得された被検眼Eの画像との対応関係を特定する。光量制御部70は、特定部60によって特定された対応関係に基づいて照明光生成部51を制御することにより照明光の光束断面内位置ごとに光量を制御する。特定部60および光量制御部70については、後述する。
The
ビームスプリッタ34は、この実施形態に係る「第1光路結合部材」の一例である。
The
[制御系の構成]
細隙灯顕微鏡1の制御系について、図3を参照しながら説明する。細隙灯顕微鏡1の制御系は、制御部101を中心に構成されている。なお、図3には、この実施形態で特に注目する構成部位のみが記載されており、それ以外の構成部位は省略されている。
[Control system configuration]
The control system of the
〔制御部〕
制御部101は、細隙灯顕微鏡1の各部を制御する。たとえば、制御部101は、観察系6の制御、撮影系7の制御、照明系8の制御、データ処理部110の制御などを行う。観察系6の制御としては、変倍光学系32の制御、絞り33の制御などがある。撮影系7の制御としては、撮像素子43の電荷蓄積時間、感度、フレームレート等の制御などがある。照明系8の制御としては、照明光生成部51の制御などがある。データ処理部110の制御としては、撮像素子43により得られた画像信号に基づく画像の生成処理の制御、生成された画像の解析処理の制御などがある。また、制御部101は、記憶部102に記憶されたデータの読み出し処理や、記憶部102に対するデータの書き込み処理を行う。
[Control part]
The
前述のように、制御部101は、特定部60と、光量制御部70とを含む。
As described above, the
<特定部>
特定部60は、照明光生成部51により生成された照明光によって照明される位置と、被検眼Eに対して実際に照射された照明光による照明位置との対応関係を特定する。具体的には、特定部60は、照明光生成部51により生成された照明光の光束断面内位置(面内位置)と被検眼Eの画像における照明光の照明位置との対応関係を特定する。
<Specification part>
The identifying
特定部60は、後述の面内パターン情報102aにより表された面内パターン(ランドマーク、位置特定用パターン)を用いて前述の対応関係を特定することが可能である。面内パターンは、照明光による照明領域における照明光の強度情報の分布を示す。具体的には、面内パターンは、照明領域を分割することにより得られた複数の部分領域のそれぞれに強度情報が割り当てられた情報である。各部分領域は1以上の単位領域(1ピクセル、デジタルマイクロミラー1枚など)に対応する領域である。この実施形態に係る面内パターンは、矩形領域になるように分割された各部分領域に対して照明光のオンまたはオフを示す2値パターンであるものとする。
The specifying
<光量制御部>
光量制御部70は、特定部60によって特定された対応関係に基づいて照明光生成部51を制御することにより照明光の光束断面内位置ごと(単位領域ごと)に光量を制御する。たとえば、光量制御部70は、特定部60によって特定された対応関係に基づいて画像における照明光の照明位置ごとに制御情報を決定する。光量制御部70は、決定された制御情報に基づいて照明光生成部51を制御することにより光束断面内位置ごとに光量の制御を行う。
<Light intensity controller>
The light
光量制御部70は、制御テーブル情報102bにより表された制御情報を用いて前述の光量の制御を行うことが可能である。
The light
図4に、この実施形態に係る制御テーブル情報102bの説明図を示す。図4において、横軸は被検眼Eの画像における階調値を示し、縦軸は照明光に対する制御情報を示す。階調値は、たとえば、面内パターンの各部分領域内の複数の画素の階調値の平均値を示す。階調値は、最小値「0」から最大値「M」(M>0、Mは整数)の範囲の値である。この実施形態において、階調値は輝度値に対応している。階調値が大きい領域は明部であり、階調値が小さい領域は暗部である。
FIG. 4 shows an explanatory diagram of the
縦軸の「1倍」は、あらかじめ決められた基準光量の照明光を出力するための制御情報を示す。縦軸の「0.5倍」は、基準光量の0.5倍の光量の照明光を出力するための制御情報を示す。縦軸の「1.5倍」は、基準光量の1.5倍の光量の照明光を出力するための制御情報を示す。 “1 ×” on the vertical axis indicates control information for outputting illumination light having a predetermined reference light amount. “0.5 times” on the vertical axis represents control information for outputting illumination light having a light quantity of 0.5 times the reference light quantity. “1.5 times” on the vertical axis represents control information for outputting illumination light having a light amount of 1.5 times the reference light amount.
また、縦軸は、現に適用されている照明光量を基準とした制御係数を表すものであってもよい。つまり、縦軸の「1倍」は、現在の照明光量の照明光を出力するための制御係数を制御情報として示すものであってもよい。この場合、縦軸の「0.5倍」は、現在の照明光量の0.5倍の光量の照明光を出力するための制御係数を示す。縦軸の「1.5倍」は、現在の照明光量の1.5倍の光量の照明光を出力するための制御係数を示す。すなわち、縦軸の「1倍」を超えた範囲は現在の照明光量を上げるための制御係数を示し、縦軸の「1倍」未満の範囲は現在の照明光量を下げるための制御係数を示す。 Further, the vertical axis may represent a control coefficient based on the currently applied illumination light amount. That is, “1 ×” on the vertical axis may indicate the control coefficient for outputting the illumination light of the current illumination light amount as the control information. In this case, “0.5 times” on the vertical axis indicates a control coefficient for outputting illumination light having a light amount of 0.5 times the current illumination light amount. “1.5 times” on the vertical axis indicates a control coefficient for outputting the illumination light whose light amount is 1.5 times the current illumination light amount. That is, a range exceeding "1 times" on the vertical axis shows a control coefficient for increasing the current illumination light amount, and a range less than "1 times" on the vertical axis shows a control coefficient for decreasing the current illumination light amount. .
制御テーブル情報102bは、階調値がm1(0<m1<M)以上である領域(すなわち、明部)の照明位置に対する照明光の光量を下げるように照明光生成部51を制御するための制御情報を含む。したがって、階調値がm1未満で且つM以下の範囲では、照明光の光量が下がるように制御される。階調値m1は、操作部104を用いてユーザが設定可能である。
The
また、制御テーブル情報102bは、階調値がm2(0<m2≦m1<M)以下である領域(すなわち、暗部)の照明位置に対する照明光の光量を上げるように照明光生成部51を制御するための制御情報を含む。したがって、階調値が0以上で且つm2未満の範囲では、照明光の光量が上がるように制御される。階調値m2は、操作部104を用いてユーザが設定可能である。
Further, the
なお、図4において、階調値m1は実施形態に係る「輝度値の第1閾値」の一例であり、階調値m2は実施形態に係る「輝度値の第2閾値」の一例である。 In FIG. 4, the gradation value m1 is an example of the “first threshold value of the brightness value” according to the embodiment, and the gradation value m2 is an example of the “second threshold value of the brightness value” according to the embodiment.
制御部101は、マイクロプロセッサ、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスクドライブ等のハードウェアを含んで構成される。このハードディスクドライブには、制御プログラムがあらかじめ記憶されている。制御部101の動作は、この制御プログラムと上記ハードェアとが協働することによって実現される。
The
制御部101は、細隙灯顕微鏡1の装置本体(たとえば基台4内)やコンピュータ100に配置される。
The
〔データ処理部〕
データ処理部110は、撮像素子43により得られた画像信号に基づいて画像を生成する。データ処理部110による画像の生成処理は公知の処理であるため、詳細な説明を省略する。データ処理部110は、画像信号に基づいて生成された画像に対して所定の解析処理を施すように構成されていてもよい。データ処理部110は、制御部101とともに細隙灯顕微鏡1の装置本体やコンピュータ100に配置される。
[Data processing unit]
The
〔記憶部〕
記憶部102には各種の情報が記憶される。特に、記憶部102には、面内パターン情報102aと、制御テーブル情報102bとがあらかじめ記憶されている。
[Memory]
Various information is stored in the
面内パターン情報102aは、1以上の面内パターンを指定するための情報を含む。面内パターン情報102aは、あらかじめ記憶部102に記憶されている。面内パターン情報102aは、操作部104を用いることによりユーザが設定可能である。
The in-
制御テーブル情報102bは、光量制御部70を制御するための1以上の制御情報を含む。制御テーブル情報102bは、あらかじめ記憶部102に記憶されている。制御テーブル情報102bは、操作部104を用いることによりユーザが設定可能である。
The
〔表示部〕
表示部103は、制御部101の制御を受けて各種の情報を表示する。表示部103は、LCD等のフラットパネルディスプレイ、CRTディスプレイなどの任意の表示デバイスを含んで構成される。表示部103は、細隙灯顕微鏡1の装置本体に設けられていてもよいし、コンピュータ100に設けられていてもよい。
[Display]
The
〔操作部〕
操作部104は、操作デバイスや入力デバイスを含んで構成される。操作部104には、装置本体に設けられたボタンやスイッチ(たとえば操作ハンドル5等)や、コンピュータ100のマウス、キーボードなどが含まれる。また、トラックボール、専用の操作パネル、スイッチ、ボタン、ダイアルなど、任意の操作デバイスや入力デバイスを用いることも可能である。
[Operation part]
The
図3では、表示部103と操作部104とを別々に表しているが、これらを一体的に構成することも可能である。その具体例として、タッチパネル式のLCDを用いることができる。
Although the
〔特定部60および光量制御部70による制御について〕
図5に、特定部60および光量制御部70の動作説明図を示す。図5では、説明の便宜上、照明光の照明領域を分割することにより得られた部分領域の座標位置を示すための座標情報が図示されている。ここで、複数の部分領域は、座標位置(1,1)〜(8,6)に配置されているものとする。以下、説明の便宜上、被検眼Eの眼底Erを照明する照明光に面内パターンが適用された場合について説明するが、細隙光に面内パターンが適用された場合も同様である。
[Regarding Control by Identifying
FIG. 5 shows an operation explanatory diagram of the identifying
被検眼Eの部位に応じて、当該部位に対する照明光の反射率が異なる。たとえば、図5に示すように、眼底Erでは、視神経乳頭が位置する視神経乳頭部P1に対する照明光の反射率は高く、網膜P2に対する照明光の反射率や中心窩が位置する黄斑部P3に対する照明光の反射率は低い。したがって、均一な光量分布を有する照明光で被検眼Eを照明すると、視神経乳頭部P1において白飛びや、網膜P2や黄斑部P3において黒潰れが発生し、観察に好適な画像を取得することができない場合がある。そこで、制御部101は、特定部60および光量制御部70において、次のように、被検眼Eの撮影部位に対する照明光の反射率を考慮して照明光の光量分布を制御する。
Depending on the part of the eye E to be examined, the reflectance of the illumination light with respect to the part differs. For example, as shown in FIG. 5, in the fundus Er, the reflectance of the illumination light to the optic disc P1 where the optic disc is located is high, and the reflectance of the illumination light to the retina P2 and the macular portion P3 where the fovea is located are illuminated. Light reflectance is low. Therefore, when the eye E to be inspected is illuminated with illumination light having a uniform light amount distribution, white spots occur in the optic papilla P1 and black crushing occurs in the retina P2 and the macula P3, and an image suitable for observation can be obtained. Sometimes you can't. Therefore, the
まず、光量制御部70は、光束断面内で光量が均一な照明光L1で被検眼Eを照明する。たとえば、光量制御部70は、光束断面内で光量が均一になるような面内パターンを用いて照明光生成部51を制御することにより光束断面位置ごとに光量を制御する。それにより、照明光生成部51は、座標位置(1,1)〜(8,6)の部分領域に対応する領域を均一の光量を有する照明光L1で照明する。撮像装置13を用いて被検眼Eを撮影することにより、光量が均一な照明光L1で照明された被検眼Eの画像G1が取得される。
First, the light
次に、光量制御部70は、たとえば、図5に示すような面内パターンを用いて照明光生成部51を制御することにより光束断面内位置ごとに光量を制御する。図5に示す面内パターンには、照明光で照明されない部分領域(白塗り領域)と、所定の基準光量の照明光で照明される部分領域(黒塗り領域)とが指定されている。それにより、照明光生成部51は、図5に示すような光量分布を有する照明光L2で被検眼Eを照明する。撮像装置13を用いて被検眼Eを撮影することにより、図5に示すような面内パターンが適用された照明光L2で照明された被検眼Eの画像G2が取得される。
Next, the light
画像G1は実施形態に係る「第1画像」の一例であり、画像G2は実施形態に係る「第2画像」の一例である。 The image G1 is an example of the “first image” according to the embodiment, and the image G2 is an example of the “second image” according to the embodiment.
画像G1の撮影条件および撮影部位は、画像G2の撮影条件および撮影部位と略一致することが望ましい。すなわち、画像G2は、画像G1が取得されたときと光束断面内で同一の光量分布を有する照明光を用いて同一の撮影部位について取得された画像であることが望ましい。 It is desirable that the image capturing conditions and the imaged region of the image G1 substantially match the image capturing conditions and the imaged region of the image G2. That is, it is desirable that the image G2 is an image acquired for the same imaging site using the illumination light having the same light amount distribution in the light flux cross section as when the image G1 was acquired.
特定部60は、照明光L1を用いて取得された画像G1と、既定の面内パターンを有する照明光L2を用いて取得された画像G2とに基づいて、前述の対応関係を特定する。画像G1と画像G2との差分は照明光L2に適用された面内パターンにほぼ相当するため、特定部60は、画像G1と画像G2との差分を求め、求められた差分と前述の面内パターンとの位置関係を特定することにより、前述の対応関係を特定することが可能である。それにより、撮像装置13を用いて取得された被検眼Eの画像を解析して画像中の特徴部位の位置を特定し、特定された特徴部位の位置に基づいて前述の対応関係を特定する場合に比べて、処理負荷を大幅に軽減することができる。
The identifying
なお、前述の対応関係を特定するために、画像G1および画像G2について撮影条件および撮影部位を一致させた場合について説明するが、前述の対応関係が特定可能であれば、画像G1および画像G2について少なくとも撮影部位だけを一致させることが望ましい。 It should be noted that, in order to specify the above-mentioned correspondence, a case will be described in which the image capturing conditions and the imaged parts of the images G1 and G2 are matched. However, if the above-described corresponding relationship can be identified, the image G1 and the image G2 It is desirable to match at least the imaged parts.
照明光L2に適用された面内パターンは、図5に示すように、少なくとも空間的に不規則的なパターン(不均一パターン、一様ではないパターン)を含む。それにより、画像G1と画像G2との差分と照明光L2に適用された面内パターンとの位置関係の特定を、容易に、且つ、高精度に行うことが可能になる。なお、面内パターンは、更に、時間的に不規則的なパターンであってもよい。 The in-plane pattern applied to the illumination light L2 includes at least a spatially irregular pattern (nonuniform pattern, nonuniform pattern), as shown in FIG. This makes it possible to easily and highly accurately specify the positional relationship between the difference between the images G1 and G2 and the in-plane pattern applied to the illumination light L2. The in-plane pattern may be a temporally irregular pattern.
制御部101は、少なくとも所定の期間だけ面内パターンを有する照明光で被検眼Eを照明するように照明光生成部51を制御することが可能である。所定の期間は、被検者が感知できない期間である。所定の期間は、操作部104を用いることによりユーザが設定可能である。それにより、被検者が面内パターンを感知することなく、前述の対応関係を特定することができる。この場合、制御部101は、被検眼Eに対する照明光の照明タイミングに同期して撮像装置13を制御することにより、照明光で照明された被検眼Eの画像を取得することが可能である。
The
また、面内パターンを含む照明光は、不可視光であってよい。少なくとも面内パターンは、不可視光(たとえば、赤外光)により被検眼Eに投影されればよい。この場合でも、被検者が面内パターンを感知することなく、前述の対応関係を特定することができる。この場合、撮像装置13は、前述の不可視光からの戻り光を検知可能な撮像素子を含んで構成される。
The illumination light including the in-plane pattern may be invisible light. At least the in-plane pattern may be projected on the eye E by invisible light (for example, infrared light). Even in this case, the subject can specify the above-mentioned correspondence without sensing the in-plane pattern. In this case, the
光量制御部70は、特定部60により特定された対応関係に基づいて、図4に示すような制御テーブル情報102bから部分領域ごとに制御情報を決定する。光量制御部70は、決定された制御情報に基づいて照明光生成部51を制御することにより光束断面内位置ごとに光量の制御を行う。
The light
たとえば、視神経乳頭部P1に対応する座標位置(2,4)の近傍領域では照明光の反射率が高く白飛びが発生する場合がある。この実施形態では、図4に示すような制御テーブル情報102bから部分領域ごとに制御情報が決定されるので、図6に示すように座標位置(2,4)の近傍領域では光量を下げるように照明光生成部51が制御される。
For example, in a region near the coordinate position (2, 4) corresponding to the optic papilla P1, the reflectance of the illumination light may be high and whiteout may occur. In this embodiment, since the control information is determined for each partial area from the
一方、黄斑部P3に対応する座標位置(5,4)の近傍領域では照明光の反射率が低く黒潰れが発生する場合がある。この実施形態では、図4に示すような制御テーブル情報102bから部分領域ごとに制御情報が決定されるので、図5に示すように座標位置(5,4)の近傍領域では光量を上げるように照明光生成部51が制御される。撮像装置13を用いて被検眼Eを撮影することにより、白飛びや黒潰れの発生を抑えつつ、観察に好適な被検眼Eの画像G3が取得される。画像G1に代えて画像G3を用いて上記の光量の制御を行うことにより、観察に好適なライブ画像の取得が可能になる。この場合、画像G3は実施形態に係る「第1画像」の一例である。
On the other hand, in the region near the coordinate position (5, 4) corresponding to the macula P3, the reflectance of the illumination light is low and black crushing may occur. In this embodiment, since the control information is determined for each partial area from the
[動作例]
細隙灯顕微鏡1の動作について説明する。
[Operation example]
The operation of the
図6に、細隙灯顕微鏡1の動作例のフロー図を示す。
FIG. 6 shows a flow chart of an operation example of the
(S1)
まず、制御部101は、記憶部102に記憶された面内パターン情報102aを読み出す。光量制御部70は、記憶部102から読み出された面内パターン情報102aから光束断面内で光量が均一となるような面内パターンを特定する。光量制御部70は、特定された面内パターンを用いて照明光生成部51を制御することにより光束断面内位置ごとに光量を制御する。それにより、照明光生成部51は、座標位置(1,1)〜(8,6)の部分領域に対応する領域を均一の光量を有する照明光L1で照明する。なお、面内パターンを適用することなく、複数の部分領域を光量が均一な照明光L1で照明してもよい。
(S1)
First, the
(S2)
制御部101は、撮像装置13を制御して被検眼Eを撮影させる。それにより、S1において光量が均一な照明光で照明された被検眼Eの画像G1が取得される。
(S2)
The
(S3)
次に、光量制御部70は、S1において記憶部102から読み出された面内パターン情報102aから既定の面内パターンを特定する。この面内パターンには、照明光で照明されない部分領域と、所定の基準光量の照明光で照明される部分領域とが指定されている。たとえば、図5では、座標位置(2,1)の部分領域に対応する領域は照明されず、座標位置(3,1)の部分領域に対応する領域は基準光量の照明光で照明される。
(S3)
Next, the light
光量制御部70は、特定された面内パターンを用いて照明光生成部51を制御することにより光束断面内位置ごとに光量を制御する。それにより、照明光生成部51は、図6に示すような光量分布を有する照明光L2で被検眼Eを照明する。
The light
(S4)
制御部101は、撮像装置13を制御して被検眼Eを撮影させる。それにより、S3において面内パターンに対応した光量分布を有する照明光で照明された被検眼Eの画像G2が取得される。
(S4)
The
(S5)
特定部60は、照明光L1を用いて取得された画像G1と、既定の面内パターンを有する照明光L2を用いて取得された画像G2とに基づいて、前述の対応関係を特定する。
(S5)
The identifying
(S6)
光量制御部70は、特定部60により特定された対応関係に基づいて、図4に示すような制御テーブル情報102bから部分領域ごとに制御情報を決定する。
(S6)
The light
(S7)
光量制御部70は、S6において決定された制御情報に基づいて照明光生成部51を制御することにより光束断面内位置ごとに光量の制御を行う。
(S7)
The light
(S8)
制御部101は、撮像装置13を制御して被検眼Eを撮影させる。それにより、S7において光量の制御が行われた照明光で照明されたことにより、白飛びや黒潰れの発生を抑えつつ、観察に好適な被検眼Eの画像G3が取得される。
(S8)
The
(S9)
制御部101は、細隙灯顕微鏡1の動作を終了するか否かを判定する。たとえば、動作の終了は、操作部104を用いてユーザにより指示される。制御部101は、操作部104に対するユーザの操作内容に基づいて、細隙灯顕微鏡1の動作を終了するか否かを判定することが可能である。細隙灯顕微鏡1の動作を終了しないと判定されたとき(S9:N)、細隙灯顕微鏡1の動作はS3に移行する。したがって、その後のS5では、特定部60は、S4において取得された画像G2とS8において取得された画像G3とを用いて前述の対応関係を特定することが可能である。それにより、被検眼Eのライブ画像に対する光量の制御をリアルタイムで実行することができる。
(S9)
The
細隙灯顕微鏡1の動作を終了すると判定されたとき(S9:Y)、細隙灯顕微鏡1の動作は終了する(エンド)。
When it is determined to end the operation of the slit lamp microscope 1 (S9: Y), the operation of the
図6において、S2、S4、S8は実施形態に係る「取得ステップ」の一例である。S5は実施形態に係る「特定ステップ」の一例である。S7は実施形態に係る「制御ステップ」の一例である。 In FIG. 6, S2, S4, and S8 are examples of the “acquisition step” according to the embodiment. S5 is an example of a “specification step” according to the embodiment. S7 is an example of a "control step" according to the embodiment.
[効果]
この実施形態に係る眼科撮影装置の効果について説明する。
[effect]
The effects of the ophthalmologic imaging apparatus according to this embodiment will be described.
実施形態に係る眼科撮影装置(たとえば、細隙灯顕微鏡1)は、照明系(たとえば、照明系8)と、撮影系(たとえば、撮影系7)と、制御部(たとえば、制御部101)とを含む。照明系は、照明光生成部(たとえば、照明光生成部51)を備える。照明光生成部は、照明光を生成する。照明系は、照明光で被検眼(たとえば、被検眼E)を照明する。撮影系は、被検眼からの照明光の戻り光を撮像装置(たとえば、撮像装置13)に導く。制御部は、撮像装置により取得された画像における輝度分布に基づいて照明光生成部を制御する。 The ophthalmologic imaging apparatus (eg, slit lamp microscope 1) according to the embodiment includes an illumination system (eg, illumination system 8), an imaging system (eg, imaging system 7), a control unit (eg, control unit 101). including. The illumination system includes an illumination light generation unit (for example, illumination light generation unit 51). The illumination light generation unit generates illumination light. The illumination system illuminates an eye to be inspected (for example, eye E to be inspected) with illumination light. The imaging system guides the return light of the illumination light from the subject's eye to the imaging device (for example, the imaging device 13). The control unit controls the illumination light generation unit based on the brightness distribution in the image acquired by the imaging device.
このような構成によれば、撮像装置により取得された被検眼の画像の輝度分布に基づいて照明光制御部を制御するようにしたので、被検眼の画像の輝度分布に対応した光量分布を有する照明光で被検眼を照明することができる。それにより、被検眼の撮影部位に応じた照明光の反射に違いを考慮して変更された光量分布を有する照明光で被検眼を照明することで、観察に好適な被検眼の画像を取得することが可能になる。 According to such a configuration, since the illumination light control unit is controlled based on the brightness distribution of the image of the eye to be inspected acquired by the imaging device, it has a light amount distribution corresponding to the brightness distribution of the image of the eye to be inspected. The eye to be inspected can be illuminated with the illumination light. Thereby, by illuminating the eye to be inspected with the illumination light having the light amount distribution changed in consideration of the difference in the reflection of the illumination light according to the imaging region of the eye to be inspected, an image of the eye to be observed suitable for observation is acquired. It will be possible.
また、制御部は、特定部(たとえば、特定部60)と、光量制御部(たとえば、光量制御部70)とを含んでもよい。特定部は、照明光生成部により生成された照明光の面内位置(たとえば、光束断面内位置)と画像における照明光の照明位置との対応関係を特定する。光量制御部は、特定部によって特定された対応関係に基づいて照明位置ごとに制御情報を決定し、決定された制御情報に基づいて照明光生成部を制御することにより面内位置ごとに光量を制御する。 Further, the control unit may include a specifying unit (for example, the specifying unit 60) and a light amount control unit (for example, the light amount control unit 70). The specifying unit specifies a correspondence relationship between the in-plane position of the illumination light generated by the illumination light generation unit (for example, the position within the light flux cross section) and the illumination position of the illumination light in the image. The light amount control unit determines the control information for each illumination position based on the correspondence specified by the identification unit, and controls the illumination light generation unit based on the determined control information to control the light amount for each in-plane position. Control.
このような構成によれば、上記の対応関係に基づいて照明光の面内位置ごとに光量を制御することで、照明系と撮影系との位置にかかわらず、被検眼の部位に対応した最適な光量で同時に被検眼を照明することができる。 According to such a configuration, by controlling the light amount for each in-plane position of the illumination light based on the above correspondence, the optimum amount corresponding to the site of the eye to be examined regardless of the position of the illumination system and the imaging system. It is possible to illuminate the eye to be inspected at the same time with various light amounts.
また、光量制御部は、画像において輝度値が第1閾値以上である明部の照明位置に対する照明光の光量を下げるように光量の制御を行ってもよい。 Further, the light amount control unit may control the light amount so as to reduce the light amount of the illumination light with respect to the illumination position of the bright part having a brightness value of the first threshold value or more in the image.
このような構成によれば、被検眼の画像の明部に対応する照明位置に対する照明光の光量を下げるようにしたので、撮影系のダイナミックレンジを広げることができる。 With such a configuration, the light amount of the illumination light with respect to the illumination position corresponding to the bright part of the image of the eye to be inspected is reduced, so that the dynamic range of the imaging system can be widened.
また、光量制御部は、画像において輝度値が第2閾値以下である暗部の照明位置に対する照明光の光量を上げるように光量の制御を行ってもよい。 Further, the light amount control unit may control the light amount so as to increase the light amount of the illumination light with respect to the illumination position of the dark portion whose brightness value is equal to or less than the second threshold in the image.
このような構成によれば、被検眼の画像の暗部に対応する照明位置に対する照明光の光量を上げるようにしたので、撮影系のダイナミックレンジを広げることができる。 With such a configuration, the light amount of the illumination light with respect to the illumination position corresponding to the dark part of the image of the eye to be inspected is increased, so that the dynamic range of the imaging system can be widened.
また、特定部は、照明光を用いて取得された第1画像(たとえば、画像G1、G3)と、既定の面内パターンを有する照明光を用いて取得された第2画像(たとえば、画像G2)とに基づいて、対応関係を特定してもよい。 In addition, the specifying unit includes a first image (for example, images G1 and G3) acquired by using the illumination light and a second image (for example, image G2) acquired by using the illumination light having a predetermined in-plane pattern. ) And the correspondence may be specified.
このような構成によれば、面内パターンを用いて上記の対応関係を特定するようにしたので、被検眼の画像を解析することにより対応関係を特定する場合に比べて、処理負荷を大幅に軽減することができる。 According to such a configuration, since the correspondence is specified by using the in-plane pattern, the processing load is significantly increased as compared with the case where the correspondence is specified by analyzing the image of the eye to be inspected. Can be reduced.
また、面内パターンは、少なくとも空間的に不規則的なパターンを含んでもよい。 Further, the in-plane pattern may include at least a spatially irregular pattern.
このような構成によれば、面内パターンとして少なくとも空間的に不規則的なパターンを用いるようにしたので、上記の対応関係を高精度に特定することが可能になる。たとえば、面内パターンが適用された照明光で照明された被検眼の画像と、面内パターンが適用されない照明光で照明された被検眼との画像との差分は、面内パターンにほぼ相当する。当該差分と面内パターンとの位置関係の特定は、規則的な部分については一意に特定できない可能性があるが、不規則的な部分については一意に特定することが可能になる。そのため、面内パターンとして少なくとも空間的に不規則的なパターンを用いることにより、上記の対応関係を高精度に特定することができる。 According to such a configuration, since the at least spatially irregular pattern is used as the in-plane pattern, it is possible to specify the above correspondence with high accuracy. For example, the difference between the image of the eye to be inspected illuminated with the illumination light to which the in-plane pattern is applied and the image of the eye to be inspected illuminated with the illumination light to which the in-plane pattern is not applied is substantially equivalent to the in-plane pattern. . The positional relationship between the difference and the in-plane pattern may not be uniquely specified for the regular part, but it is possible to uniquely specify the irregular part. Therefore, by using at least a spatially irregular pattern as the in-plane pattern, the above correspondence can be specified with high accuracy.
また、制御部は、少なくとも所定の期間だけ面内パターンを有する照明光で被検眼を照明するように照明光生成部を制御してもよい。 Further, the control unit may control the illumination light generation unit so as to illuminate the subject's eye with the illumination light having the in-plane pattern for at least a predetermined period.
このような構成によれば、少なくとも所定の期間だけ面内パターンを有する照明光で被検眼を照明するようにしたので、被検者に負担をかけることなく、上記の対応関係を特定することが可能になる。 According to such a configuration, since the eye to be inspected is illuminated with the illumination light having the in-plane pattern for at least the predetermined period, it is possible to specify the above correspondence without burdening the subject. It will be possible.
また、面内パターンを含む照明光は、不可視光であってもよい。 Further, the illumination light including the in-plane pattern may be invisible light.
このような構成によれば、面内パターンを有する照明光として不可視光で被検眼を照明するようにしたので、被検者に負担をかけることなく、上記の対応関係を特定することが可能になる。 According to such a configuration, since the eye to be inspected is illuminated with the invisible light as the illumination light having the in-plane pattern, it is possible to specify the above correspondence without burdening the subject. Become.
また、照明光生成部は、任意に形状を変更可能な照明光を生成してもよい。 Further, the illumination light generation unit may generate illumination light whose shape can be arbitrarily changed.
このような構成によれば、任意の形状に変更可能な照明光を細隙光として用いることができ、上記の効果を有する細隙灯顕微鏡の機能を実現することが可能になる。 With such a configuration, the illumination light that can be changed into an arbitrary shape can be used as the slit light, and the function of the slit lamp microscope having the above-described effect can be realized.
また、照明光生成部は、任意に変更可能な照明パターンの光を出力可能なプロジェクタを含んでもよい。 Further, the illumination light generation unit may include a projector that can output light having an illumination pattern that can be changed arbitrarily.
このような構成によれば、プロジェクタにより照明光を出力するようにしたので、眼科撮影装置の構成および制御を簡素化することができる。 According to such a configuration, since the projector outputs the illumination light, the configuration and control of the ophthalmologic imaging apparatus can be simplified.
また、実施形態に係る眼科撮影装置は、観察系(たとえば、観察系6)と、第1光路結合部材(たとえば、ビームスプリッタ34)とを含んでもよい。観察系は、接眼レンズ(たとえば、接眼レンズ37)を備える。観察系は、被検眼からの照明光の戻り光を接眼レンズに導く。第1光路結合部材は、観察系の光路に撮影系の光路を結合する。 Moreover, the ophthalmologic imaging apparatus according to the embodiment may include an observation system (for example, the observation system 6) and a first optical path coupling member (for example, the beam splitter 34). The observation system includes an eyepiece lens (for example, eyepiece lens 37). The observation system guides the return light of the illumination light from the subject's eye to the eyepiece lens. The first optical path coupling member couples the optical path of the imaging system to the optical path of the observation system.
このような構成によれば、撮影系の光路と観察系の光路とを略同軸に配置できるので、接眼レンズで観察可能な被検眼と、撮像装置により取得された被検眼の画像とを略一致させることができる。 According to such a configuration, since the optical path of the imaging system and the optical path of the observation system can be arranged substantially coaxially, the eye to be observed with the eyepiece and the image of the eye to be acquired by the imaging device are substantially matched. Can be made.
また、実施形態に係る眼科撮影装置(たとえば、細隙灯顕微鏡1)の制御方法は、取得ステップ(たとえば、S2、S4、S8)と、制御ステップ(たとえば、S7)とを含む。眼科撮影装置は、照明系(たとえば、照明系8)と、撮影系(たとえば、撮影系7)とを含む。照明系は、照明光生成部(たとえば、照明光生成部51)を備える。照明光生成部は、照明光を生成する。照明系は、照明光で被検眼(たとえば、被検眼E)を照明する。撮影系は、被検眼からの照明光の戻り光を撮像装置(たとえば、撮像装置13)に導く。取得ステップでは、撮像装置により被検眼の画像が取得される。制御ステップでは、取得された画像における輝度分布に基づいて照明光生成部が制御される。 The control method of the ophthalmologic imaging apparatus (for example, the slit lamp microscope 1) according to the embodiment includes an acquisition step (for example, S2, S4, S8) and a control step (for example, S7). The ophthalmologic photographing apparatus includes an illumination system (for example, illumination system 8) and a photographing system (for example, photography system 7). The illumination system includes an illumination light generation unit (for example, illumination light generation unit 51). The illumination light generation unit generates illumination light. The illumination system illuminates an eye to be inspected (for example, eye E to be inspected) with illumination light. The imaging system guides the return light of the illumination light from the subject's eye to the imaging device (for example, the imaging device 13). In the acquisition step, the image of the subject's eye is acquired by the imaging device. In the control step, the illumination light generation unit is controlled based on the brightness distribution in the acquired image.
〔第2実施形態〕
第1実施形態に係る細隙灯顕微鏡では撮影系の光路が観察系の光路に結合されている場合について説明したが、実施形態に係る細隙灯顕微鏡はこれに限定されるものではない。第2実施形態に係る細隙灯顕微鏡では、撮影系の光路が照明系の光路に結合されている。
[Second Embodiment]
In the slit lamp microscope according to the first embodiment, the case where the optical path of the imaging system is coupled to the optical path of the observation system has been described, but the slit lamp microscope according to the embodiment is not limited to this. In the slit lamp microscope according to the second embodiment, the optical path of the imaging system is coupled to the optical path of the illumination system.
第2実施形態に係る細隙灯顕微鏡の構成は、第1実施形態とほぼ同様である。以下では、第2実施形態について、第1実施形態との相違点を中心に説明する。 The configuration of the slit lamp microscope according to the second embodiment is almost the same as that of the first embodiment. In the following, the second embodiment will be described focusing on the differences from the first embodiment.
図7に、この実施形態に係る細隙灯顕微鏡の光学系の構成例を示す。図7において、図2と同様の部分には同一符号を付し、適宜説明を省略する。 FIG. 7 shows a configuration example of the optical system of the slit lamp microscope according to this embodiment. 7, the same parts as those in FIG. 2 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
この実施形態に係る細隙灯顕微鏡1Aの構成が図2に示す細隙灯顕微鏡1の構成と異なる点は、撮影系の光路が照明系の光路に結合された点である。細隙灯顕微鏡1Aは、観察系6Aと、撮影系7Aと、照明系8Aとを含んで構成されている。
The configuration of the
観察系6Aは、観察系6と同様に左右一対の光学系を備えている。観察系6Aの左右の各光学系は、対物レンズ31、変倍光学系32、絞り33、リレーレンズ35、プリズム36および接眼レンズ37を有する。なお、図7には、観察系6Aの左右の光学系の一方のみが示されている。符号O1Aは観察系6Aの光軸(観察光軸)である。観察系6Aは、鏡筒本体9A内に配置されている。
The
撮影系7Aは、撮影系7と同様に、リレーレンズ41、および撮像装置13を有する。撮影系7Aは、ビームスプリッタ34Aを更に含んで構成されていてもよい。符号O2Aは撮影系7Aの光軸(撮影光軸)、照明系8Aの光軸(照明光軸)を示す。
The image capturing system 7A includes the
ビームスプリッタ34Aは、光軸O2Aに沿って進む光を二分割する。ビームスプリッタ34Aにより反射された光は、リレーレンズ41を介して、撮像装置13の撮像素子43に導かれる。撮像素子43は、この反射光を検出して画像信号を生成する。ビームスプリッタ34Aに代えて、ダイクロイックミラーやハーフミラーが配置されていてもよい。
The
照明系8Aは、照明光生成部51と、集光レンズ55とを有する。照明系8Aは、更にビームスプリッタ34Aを含んで構成されていてもよい。
The
この実施形態に係る細隙灯顕微鏡1Aの動作は、第1実施形態と同様であるため、説明を省略する。
Since the operation of the
ビームスプリッタ34Aは、実施形態に係る「第2光路結合部材」の一例である。
The
[効果]
この実施形態に係る眼科撮影装置の効果について説明する。
[effect]
The effects of the ophthalmologic imaging apparatus according to this embodiment will be described.
実施形態に係る眼科撮影装置(たとえば、細隙灯顕微鏡1A)は、第2光路結合部材(たとえば、ビームスプリッタ34A)を含む。第2光路結合部材は、照明系(たとえば、照明系8A)の光路に撮影系(たとえば、撮影系7A)の光路を結合する。
The ophthalmologic imaging apparatus (eg, slit
このような構成によれば、撮影系の光路と照明系の光路とを略同軸に配置できるので、照明光の面内位置と被検眼の画像における照明光の照明位置との対応関係を精度よく特定可能となる。また、撮影系と照明系との位置を固定することができるので、この対応関係が一定となり、対応関係を特定する処理が不要になる。 According to such a configuration, since the optical path of the imaging system and the optical path of the illumination system can be arranged substantially coaxially, the correspondence between the in-plane position of the illumination light and the illumination position of the illumination light in the image of the eye to be inspected can be accurately determined. It becomes possible to specify. Further, since the positions of the photographing system and the illumination system can be fixed, this correspondence becomes constant, and the process of identifying the correspondence becomes unnecessary.
〔第3実施形態〕
第1実施形態または第2実施形態に係る細隙灯顕微鏡では、被検眼の画像の輝度分布に基づいて照明光の光量分布を制御する場合について説明したが、実施形態に係る細隙灯顕微鏡はこれに限定されるものではない。第3実施形態では、被検眼の画像における注目領域を特定し、特定された注目領域に対する照明光の光量を制御する。
[Third Embodiment]
In the slit lamp microscope according to the first embodiment or the second embodiment, the case where the light amount distribution of the illumination light is controlled based on the brightness distribution of the image of the eye to be examined has been described. It is not limited to this. In the third embodiment, the attention area in the image of the eye to be inspected is specified, and the light amount of the illumination light for the specified attention area is controlled.
第3実施形態に係る細隙灯顕微鏡の構成は、第1実施形態または第2実施形態と同様である。以下では、第2実施形態について、第1実施形態との相違点を中心に説明する。 The configuration of the slit lamp microscope according to the third embodiment is similar to that of the first embodiment or the second embodiment. In the following, the second embodiment will be described focusing on the differences from the first embodiment.
この実施形態に係る制御部は、特定部において、撮像装置13を用いて取得された被検眼Eの画像を解析することにより注目領域を特定する。注目領域は、あらかじめ決められている。注目領域は、操作部104を用いてユーザにより設定可能である。注目領域としては、瞳孔に対応する領域、角膜に対応する領域、視神経乳頭に対応する領域、網膜に対応する領域、黄斑部に対応する領域などがある。
The control unit according to this embodiment specifies the attention area by analyzing the image of the eye E to be inspected acquired by using the
たとえば、特定部は、被検眼Eの画像に対してあらかじめ設定された1以上の特徴部位の位置情報に基づいて注目領域を特定することが可能である。特徴部位としては、虹彩、血管の走行状態、黄斑部などがある。特徴部位の位置情報は、あらかじめ決められていてもよいし、操作部104を用いてユーザにより設定されてもよい。また、特定部は、あらかじめ設定された形状パターンに基づくパターンマッチングにより被検眼Eの画像を探索することにより注目領域を特定するようにしてもよい。
For example, the specifying unit can specify the attention area based on the position information of one or more characteristic parts set in advance for the image of the eye E to be inspected. The characteristic parts include the iris, the running state of blood vessels, and the macula. The position information of the characteristic part may be determined in advance, or may be set by the user using the
この実施形態に係る制御部は、光量制御部において、少なくとも特定部により特定された注目領域に対応する照明光の光束断面内位置(面内位置)の光量を制御する。 The control unit according to this embodiment controls the light amount at the light beam cross-section position (in-plane position) of the illumination light corresponding to at least the attention area specified by the specifying unit in the light amount control unit.
たとえば、光量制御部は、注目領域に照射される照明光の光量を下げるように光量の制御を行う。それにより、特定部により特定された注目領域が瞳孔に対応する領域である場合、瞳孔に入射する照明光の光量を下げることができる。したがって、被検者に不快感を与えることがなくなる。また、縮瞳により観察を続行できなくなる事態を回避することができる。 For example, the light amount control unit controls the light amount so as to reduce the light amount of the illumination light with which the attention area is irradiated. Thereby, when the attention area specified by the specifying unit is the area corresponding to the pupil, the light amount of the illumination light incident on the pupil can be reduced. Therefore, the subject does not feel uncomfortable. Further, it is possible to avoid a situation in which the observation cannot be continued due to miosis.
また、特定部により特定された注目領域が角膜や視神経乳頭に対応する領域である場合、観察に不要な角膜や視神経乳頭による照明光の反射に起因したアーチファクトを除去することが可能になる。 Further, when the region of interest specified by the specifying unit is the region corresponding to the cornea or the optic disc, it is possible to remove the artifacts caused by the reflection of the illumination light by the cornea or the optic disc that is not necessary for observation.
また、光量制御部は、注目領域に照射される照明光の光量を上げるように光量の制御を行ってもよい。それにより、特定部により特定された注目領域が網膜や黄斑部に対応する領域である場合、網膜や黄斑部に照射される照明光の光量を上げることができる。したがって、画像の黒潰れの発生を防ぎ、観察に好適な画像の取得が可能になる。 The light amount control unit may control the light amount so as to increase the light amount of the illumination light with which the attention area is irradiated. Thereby, when the attention area specified by the specifying unit is an area corresponding to the retina or the macula, the light amount of the illumination light applied to the retina or the macula can be increased. Therefore, it is possible to prevent the image from being blackened and obtain an image suitable for observation.
[効果]
この実施形態に係る眼科撮影装置の効果について説明する。
[effect]
The effects of the ophthalmologic imaging apparatus according to this embodiment will be described.
実施形態に係る眼科撮影装置では、制御部は、特定部と、光量制御部とを含んでもよい。特定部は、画像を解析することにより注目領域を特定する。光量制御部は、少なくとも注目領域に対応する照明光の面内位置の光量を制御する。 In the ophthalmologic imaging apparatus according to the embodiment, the control unit may include a specifying unit and a light amount control unit. The specifying unit specifies the attention area by analyzing the image. The light amount control unit controls at least the light amount at the in-plane position of the illumination light corresponding to the attention area.
このような構成によれば、被検眼の画像において特定された注目領域に対する照明光の光量を制御するようにしたので、照明系と撮影系との位置にかかわらず、被検眼の部位に対応した最適な光量で同時に被検眼を照明することができる。 According to such a configuration, since the light amount of the illumination light for the attention area specified in the image of the eye to be inspected is controlled, it corresponds to the site of the eye to be inspected regardless of the positions of the illumination system and the imaging system. It is possible to illuminate the eye to be inspected at the same time with an optimum light amount.
また、注目領域は、瞳孔、角膜、または視神経乳頭に対応する画像中の領域であってもよい。光量制御部は、注目領域に照射される照明光の光量を下げるように光量の制御を行ってもよい。 The region of interest may be a region in the image corresponding to the pupil, cornea, or optic disc. The light quantity control unit may control the light quantity so as to reduce the light quantity of the illumination light with which the attention area is irradiated.
このような構成によれば、被検者に不快感を与えることがなくなる。また、縮瞳により観察を続行できなくなる事態を回避することができる。また、観察に不要な照明光の反射に起因したアーチファクトを除去することが可能になる。 With such a configuration, the subject does not feel uncomfortable. Further, it is possible to avoid a situation in which the observation cannot be continued due to miosis. Further, it becomes possible to remove the artifacts caused by the reflection of the illumination light which is unnecessary for observation.
以上に説明した実施形態は、本発明を実施するための例示に過ぎない。本発明を実施しようとする者は、本発明の要旨の範囲内において任意の変形、省略、追加、置換等を施すことが可能である。 The embodiments described above are merely examples for implementing the present invention. A person who intends to implement the present invention can make arbitrary modifications, omissions, additions, substitutions, etc. within the scope of the gist of the present invention.
1、1A 細隙灯顕微鏡
6、6A 観察系
7、7A 撮影系
8、8A 照明系
12、42 ミラー
13 撮像装置
31 対物レンズ
32 変倍光学系
33 絞り
35、41 リレーレンズ
36 プリズム
37 接眼レンズ
34、34A ビームスプリッタ
43 撮像素子
51 照明光生成部
60 特定部
70 光量制御部
100 コンピュータ
101 制御部
102 記憶部
102a 面内パターン情報
102b 制御テーブル情報
103 表示部
104 操作部
110 データ処理部
E 被検眼
1, 1A
Claims (5)
前記被検眼からの前記照明光の戻り光を撮像装置に導く撮影系と、
前記撮像装置により取得された画像を解析することにより注目領域を特定し、少なくとも前記注目領域に対応する照明光の面内位置の光量を制御する制御部と、
を含み、
前記注目領域が角膜、または視神経乳頭に対応する前記画像中の領域であるとき、前記制御部は、前記注目領域に照射される照明光の光量を下げるように前記光量の制御を行い、
前記注目領域が網膜または黄斑部に対応する前記画像中の領域であるとき、前記制御部は、前記注目領域に照射される照明光の光量を上げるように前記光量の制御を行う、眼科撮影装置。 An illumination system that includes an illumination light generation unit that generates illumination light, and illuminates an eye to be inspected with the illumination light,
An imaging system that guides the return light of the illumination light from the eye to be examined to an imaging device,
A control unit that specifies the attention area by analyzing the image acquired by the imaging device, and controls at least the light amount of the in-plane position of the illumination light corresponding to the attention area,
Including,
When the region of interest is the cornea, or a region in the image corresponding to the optic disc, the control unit performs the control of the light amount so as to reduce the light amount of the illumination light irradiated to the attention region,
When the attention area is an area in the image corresponding to the retina or the macula, the control unit controls the light amount so as to increase the light amount of the illumination light with which the attention area is irradiated. .
ことを特徴とする請求項1に記載の眼科撮影装置。 The ophthalmic imaging apparatus according to claim 1, wherein the illumination light generation unit generates illumination light whose shape can be arbitrarily changed.
ことを特徴とする請求項1又は請求項2に記載の眼科撮影装置。 The ophthalmic imaging apparatus according to claim 1 or 2, wherein the illumination light generation unit includes a projector that can output light of an illumination pattern that can be changed arbitrarily.
前記観察系の光路に前記撮影系の光路を結合する第1光路結合部材と
を含む
ことを特徴とする請求項1〜請求項3のいずれか一項に記載の眼科撮影装置。 An observation system including an eyepiece, which guides return light of the illumination light from the eye to be examined to the eyepiece,
The 1st optical-path coupling member which couple | bonds the optical path of the said imaging system with the optical path of the said observation system. The ophthalmologic imaging apparatus as described in any one of Claims 1-3.
ことを特徴とする請求項1〜請求項3のいずれか一項に記載の眼科撮影装置。 The ophthalmologic photographing apparatus according to any one of claims 1 to 3, further comprising a second optical path coupling member that couples an optical path of the imaging system with an optical path of the illumination system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018234007A JP6691596B2 (en) | 2018-12-14 | 2018-12-14 | Ophthalmic imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018234007A JP6691596B2 (en) | 2018-12-14 | 2018-12-14 | Ophthalmic imaging device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015066506A Division JP6490472B2 (en) | 2015-03-27 | 2015-03-27 | Ophthalmic imaging apparatus and control method thereof |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019206358A Division JP6860637B2 (en) | 2019-11-14 | 2019-11-14 | Ophthalmologic imaging equipment and its control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019037881A JP2019037881A (en) | 2019-03-14 |
JP6691596B2 true JP6691596B2 (en) | 2020-04-28 |
Family
ID=65724994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018234007A Active JP6691596B2 (en) | 2018-12-14 | 2018-12-14 | Ophthalmic imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6691596B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4250721B2 (en) * | 1999-03-15 | 2009-04-08 | カール ツアイス メディテック アクチエンゲゼルシャフト | Illumination apparatus and method for stereoscopic microscope for ophthalmic examination |
JP2001112716A (en) * | 1999-10-20 | 2001-04-24 | Canon Inc | Ophthalmic examination apparatus |
JP5371472B2 (en) * | 2009-02-16 | 2013-12-18 | キヤノン株式会社 | Ophthalmic equipment |
JP6490472B2 (en) * | 2015-03-27 | 2019-03-27 | 株式会社トプコン | Ophthalmic imaging apparatus and control method thereof |
-
2018
- 2018-12-14 JP JP2018234007A patent/JP6691596B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019037881A (en) | 2019-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5606813B2 (en) | Ophthalmic equipment | |
US8488895B2 (en) | Laser scanning digital camera with pupil periphery illumination and potential for multiply scattered light imaging | |
US7831106B2 (en) | Laser scanning digital camera with simplified optics and potential for multiply scattered light imaging | |
US5568208A (en) | Modified scanning laser opthalmoscope for psychophysical applications | |
JP5748268B2 (en) | Meibomian gland observation device | |
JP6518126B2 (en) | Slit lamp microscope | |
WO2011064943A1 (en) | Eye surgery microscope | |
US20240008741A1 (en) | Ophthalmic observation apparatus | |
JP6003234B2 (en) | Fundus photographing device | |
JP6490472B2 (en) | Ophthalmic imaging apparatus and control method thereof | |
US20160089027A1 (en) | Method for photographically observing and/or documenting the fundus of an eye, and fundus camera | |
JP6691596B2 (en) | Ophthalmic imaging device | |
JP2013244363A (en) | Fundus photographing apparatus | |
JP6860637B2 (en) | Ophthalmologic imaging equipment and its control method | |
JP2016174759A (en) | Slit lamp microscope | |
JP6739183B2 (en) | Ophthalmic equipment | |
JP6713297B2 (en) | Ophthalmic equipment | |
CN115297761A (en) | Ophthalmologic apparatus, control method therefor, and program | |
JP2016174758A (en) | Slit lamp microscope | |
JP7460406B2 (en) | Ophthalmological device, its control method, and program | |
JP2019062981A (en) | Ophthalmologic apparatus and optometry system | |
JP7524959B2 (en) | Ophthalmic Optical Devices | |
WO2021182321A1 (en) | Ophthalmic device, and control method and program therefor | |
WO2021187162A1 (en) | Ophthalmology device, and control method and program therefor | |
JP7171162B2 (en) | ophthalmic camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191015 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200324 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200410 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6691596 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |