WO2023238729A1 - 眼科装置、眼科装置を制御する方法、プログラム、及び記録媒体 - Google Patents
眼科装置、眼科装置を制御する方法、プログラム、及び記録媒体 Download PDFInfo
- Publication number
- WO2023238729A1 WO2023238729A1 PCT/JP2023/020003 JP2023020003W WO2023238729A1 WO 2023238729 A1 WO2023238729 A1 WO 2023238729A1 JP 2023020003 W JP2023020003 W JP 2023020003W WO 2023238729 A1 WO2023238729 A1 WO 2023238729A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- eye
- illumination
- scheimpflug
- imaging system
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 138
- 238000005286 illumination Methods 0.000 claims abstract description 357
- 238000003384 imaging method Methods 0.000 claims abstract description 312
- 230000007246 mechanism Effects 0.000 claims abstract description 70
- 238000011156 evaluation Methods 0.000 claims description 247
- 238000012545 processing Methods 0.000 claims description 236
- 230000008859 change Effects 0.000 claims description 53
- 230000001360 synchronised effect Effects 0.000 claims description 14
- 238000007667 floating Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 abstract description 11
- 210000001508 eye Anatomy 0.000 description 243
- 210000004027 cell Anatomy 0.000 description 217
- 238000013528 artificial neural network Methods 0.000 description 194
- 230000011218 segmentation Effects 0.000 description 145
- 210000002159 anterior chamber Anatomy 0.000 description 110
- 230000008569 process Effects 0.000 description 104
- 230000003287 optical effect Effects 0.000 description 98
- 238000010801 machine learning Methods 0.000 description 92
- 238000012549 training Methods 0.000 description 46
- 210000000695 crystalline len Anatomy 0.000 description 43
- 210000004969 inflammatory cell Anatomy 0.000 description 42
- 238000004458 analytical method Methods 0.000 description 33
- 238000006243 chemical reaction Methods 0.000 description 32
- 238000010276 construction Methods 0.000 description 31
- 230000006870 function Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 22
- 230000002757 inflammatory effect Effects 0.000 description 19
- 210000004087 cornea Anatomy 0.000 description 16
- 238000011176 pooling Methods 0.000 description 12
- 230000002411 adverse Effects 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000010191 image analysis Methods 0.000 description 9
- 230000001413 cellular effect Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 208000034699 Vitreous floaters Diseases 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 206010052127 Anterior chamber flare Diseases 0.000 description 5
- 206010046851 Uveitis Diseases 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 210000002294 anterior eye segment Anatomy 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 210000000554 iris Anatomy 0.000 description 4
- 230000002911 mydriatic effect Effects 0.000 description 4
- 230000002787 reinforcement Effects 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 206010053781 Anterior chamber cell Diseases 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000009266 disease activity Effects 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 3
- 238000012014 optical coherence tomography Methods 0.000 description 3
- 231100000812 repeated exposure Toxicity 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 208000002177 Cataract Diseases 0.000 description 2
- 208000032544 Cicatrix Diseases 0.000 description 2
- 206010024214 Lenticular opacities Diseases 0.000 description 2
- 206010027646 Miosis Diseases 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010339 medical test Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 231100000241 scar Toxicity 0.000 description 2
- 230000037387 scars Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 210000004127 vitreous body Anatomy 0.000 description 2
- 240000004260 Garcinia hombroniana Species 0.000 description 1
- 208000010412 Glaucoma Diseases 0.000 description 1
- 206010025421 Macule Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000003161 choroid Anatomy 0.000 description 1
- 210000004240 ciliary body Anatomy 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000004175 meibomian gland Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/13—Ophthalmic microscopes
- A61B3/135—Slit-lamp microscopes
Definitions
- the present invention relates to an ophthalmologic apparatus, a method for controlling an ophthalmologic apparatus, a program, and a recording medium.
- Ophthalmological equipment includes slit lamp microscopes, fundus cameras, scanning laser ophthalmoscopes (SLO), and optical coherence tomography (OCT).
- SLO scanning laser ophthalmoscopes
- OCT optical coherence tomography
- various inspection and measurement devices such as refractometers, keratometers, tonometers, specular microscopes, wavefront analyzers, and microperimeters are also equipped with functions for photographing the anterior segment and fundus of the eye.
- slit lamp microscope which is also called a stethoscope for ophthalmologists.
- a slit lamp microscope is an ophthalmological device that illuminates a subject's eye with slit light and observes or photographs the illuminated cross section from the side with a microscope (see, for example, Patent Documents 1 and 2).
- a slit lamp microscope is known that can scan a three-dimensional area of the eye to be examined at high speed by using an optical system configured to satisfy Scheimpflug conditions (for example, see Patent Document 3). reference).
- a rolling shutter camera is also known as an imaging method that scans an object with slit light.
- JP 2016-159073 Publication Japanese Patent Application Publication No. 2016-179004 JP2019-213733A
- One object of the present invention is to improve the image quality of an ophthalmological apparatus that uses an imaging method using optical scanning.
- the ophthalmologic apparatus includes an illumination system, an imaging system, a movement mechanism, and a control unit.
- the illumination system projects illumination light onto the eye to be examined.
- the imaging system photographs the eye to be examined.
- the photographing system includes an image sensor.
- the illumination system and photographing system are configured to satisfy Scheimpflug conditions.
- the moving mechanism moves the illumination system and the imaging system.
- the control unit controls the illumination system, the imaging system, and the movement mechanism to cause the imaging system to collect a series of images.
- control unit controls the projection time of the illumination light to the eye to be examined to be shorter than the exposure time of the image sensor, and At least one of the illumination system and the photographing system is controlled so that at least part of the projection period and at least part of the exposure period of the image sensor overlap.
- FIG. 2 is a diagram for explaining the background of the embodiment.
- FIG. 2 is a diagram for explaining an overview of an embodiment.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmological device according to an exemplary embodiment.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmological device according to an exemplary embodiment.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmological device according to an exemplary embodiment.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmological device according to an exemplary embodiment.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmological device according to an exemplary embodiment.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmological device according to an exemplary embodiment.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmological device according to an exemplary embodiment.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmological device according to an exemplary embodiment.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmological device according to an exemplary embodiment.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmological device according to an exemplary embodiment.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmological device according to an exemplary embodiment.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmological device according to an exemplary embodiment.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmological device according to an exemplary embodiment.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmological device according to an exemplary embodiment.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmological device according to
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmological device according to an exemplary embodiment.
- FIG. 2 is a flow diagram illustrating processing performed by an ophthalmologic apparatus according to an exemplary embodiment.
- FIG. 2 is a flow diagram illustrating processing performed by an ophthalmologic apparatus according to an exemplary embodiment. It is a schematic diagram for explaining processing performed by an ophthalmologic apparatus according to an exemplary embodiment. It is a schematic diagram for explaining processing performed by an ophthalmologic apparatus according to an exemplary embodiment.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmological device according to an exemplary embodiment.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmological device according to an exemplary embodiment.
- any known technology can be combined with any aspect of the present disclosure.
- any matter disclosed in the documents cited herein can be combined with any aspect of the present disclosure.
- any known technology in the technical field related to the present disclosure can be combined with any aspect of the present disclosure.
- One idea to solve this problem is to shorten the exposure time of the camera, but since the illumination light is continuously projected onto the patient's eye even when the exposure is not in progress, it puts a heavy burden on the patient. . It is also possible to synchronize scan position movement control and camera exposure control to move the scan position in a stepwise manner, that is, to move the optical system intermittently. Repeated starting and sudden stopping causes vibration, which adversely affects the quality of the image.
- the embodiments of the present disclosure were created based on at least such a background, and control is performed so that the projection time of illumination light to the eye to be examined is shorter than the exposure time of the camera (imaging device). configured.
- This control includes control of an optical system (illumination system) that projects illumination light onto the eye to be examined, and/or control of an optical system (imaging system) that photographs the eye to be examined using an image sensor.
- Exemplary aspects described below include aspects of the ophthalmological apparatus, aspects of the method for controlling the ophthalmological apparatus, aspects of the program, aspects of the recording medium, etc., but the aspects of the embodiments are not limited to these. .
- FIG. 3 shows the configuration of an ophthalmological apparatus according to one aspect of the embodiment.
- the ophthalmologic apparatus 1000 of this example includes an image collection section 1010 and a control section 1020.
- the image collection unit 1010 collects Scheimpflug images of the eye to be examined.
- the image acquisition unit 1010 includes an optical system that satisfies Scheimpflug conditions for projecting illumination light onto the subject's eye and photographing it with an image sensor, and performs a series of Scheimpflug tests while changing the illumination light projection position and photographing position. Collect images. That is, the image collection unit 1010 collects a series of Scheimpflug images while moving the scan position (the illumination light projection position and the photographing position). In other words, the image collecting unit 1010 collects a series of Scheimpflug images by scanning the subject's eye while maintaining the state in which the optical system satisfies Scheimpflug conditions.
- FIGS. 4A to 4C Several configuration examples of such an image collection unit 1010 are shown in FIGS. 4A to 4C.
- the image collection unit 1010A shown in FIG. 4A will be described.
- the image collection unit 1010A includes an illumination system 1011 and an imaging system 1012.
- the illumination system 1011 is configured to project illumination light onto the eye to be examined.
- the illumination light may be slit light.
- the slit light is, for example, light whose beam cross-sectional shape is defined by a mechanism that forms a slit (slit) of a predetermined shape or another mechanism.
- the photographing system 1012 is configured to photograph the eye to be examined, and includes an image sensor 1013 and an optical system (not shown) that guides light from the eye to the image sensor 1013.
- the illumination system 1011 and the photographing system 1012 are configured to satisfy Scheimpflug conditions and function as a Scheimpflug camera. More specifically, the plane passing through the optical axis of the illumination system 1011 (the plane including the object plane), the principal plane of the imaging system 1012, and the imaging plane of the image sensor 1013 intersect on the same straight line. An illumination system 1011 and an imaging system 1012 are configured. By using the illumination system 1011 and photographing system 1012 that satisfy the Scheimpflug condition, the photographing system 1012 can focus on all positions in the object plane (all positions along the optical axis of the illumination system 1011). You can take pictures in this condition.
- the image collection unit 1010A shown in FIG. 4A is configured to scan a three-dimensional region of the subject's eye with illumination light (e.g., slit light) to collect a series of Scheimpflug images.
- illumination light e.g., slit light
- the image collecting unit 1010A of this example is configured to collect a series of Scheimpflug images by repeatedly performing imaging while moving the projection position of the slit light onto a three-dimensional region of the eye to be examined.
- the image collection unit 1010A may be configured to scan a three-dimensional region of the eye to be examined by translating the slit light in a direction orthogonal to the longitudinal direction of the slit light. Such a scanning mode is different from that of a conventional anterior eye imaging device that scans the anterior eye segment by rotating a slit light.
- the longitudinal direction of the slit light is the longitudinal direction of the beam cross section of the slit light at the projection position to the subject's eye, in other words, the longitudinal direction of the image of the slit light formed on the subject's eye, and is aligned with the body axis of the subject. It may be substantially coincident with the direction along the body axis (body axis direction).
- the dimension of the slit light in the longitudinal direction may be arbitrary. In some exemplary embodiments, the dimension of the slit light in the longitudinal direction may be greater than or equal to the corneal diameter in the body axis direction of the subject, and the distance of parallel movement of the slit light may be greater than or equal to the corneal diameter in the body axis direction of the subject. The corneal diameter may be greater than or equal to the corneal diameter in the direction orthogonal to the corneal diameter. Note that it may be possible to change the conditions (length, width, etc.) of the slit light depending on the applied photographing mode.
- the series of Scheimpflug images collected by the image collection unit 1010A of this example are a group of images (a group of frames) collected temporally continuously (along a time series), they are a three-dimensional area of the eye to be examined. Since the images are a group of images collected sequentially from a plurality of different positions in the image, they are spatially distributed, unlike general moving images.
- the illumination system 1011 projects the slit light onto a three-dimensional region of the eye to be examined
- the imaging system 1012 projects the slit light from the illumination system 1011 onto the three-dimensional region of the eye to be examined. to photograph.
- the image acquisition unit 1010A of this example scans the eye to be examined while maintaining the state in which the illumination system 1011 and the imaging system 1012 satisfy the Scheimpflug condition, thereby obtaining a series of images representing a three-dimensional region of the eye to be examined. Collect Scheimpflug images.
- the control unit 1020 of the ophthalmological apparatus 1000 to which the image collection unit 1010A of the present example is applied controls the projection time of the slit light onto the eye to be examined so that it is shorter than the exposure time of the image sensor 1013, and the slit light to the eye to be examined.
- the image collecting unit 1010A is controlled so that at least part of the projection period and at least part of the exposure period of the image sensor 1013 overlap.
- the control of the image collection unit 1010A includes either or both of the control of the illumination system 1011 and the control of the photographing system 1012.
- repeated exposure can be achieved by using continuous light as illumination light, providing a shutter in the imaging system 1012, and switching the opening and closing of the shutter at high speed by the control unit 1020.
- the advantages of this example include low cost and easy control.
- a light source with a relatively large amount of light is used, but it is difficult to perform pulse control (pulse driving) of a large amount of light source with high precision.
- pulse control pulse driving
- This example is considered advantageous.
- continuous light is used as the illumination light, there is a disadvantage that the burden on the subject increases.
- a person who intends to apply this example to a specific patient should consider whether or not to apply this example by comparing and contrasting the advantages and disadvantages of this example and taking into account the necessity of testing. considered desirable.
- the control unit 1020 may be configured to control the illumination system 1011 to modulate the intensity of illumination light in parallel with the control of the imaging system 1012 to repeat the exposure of the image sensor 1013.
- control unit 1020 repeats on/off (projection/non-projection) of the illumination light (that is, the illumination light is intermittently projected onto the subject's eye), as in the operation mode of FIG. control of the illumination system 1011 so as to
- control unit 1020 controls the illumination system 1011 to switch the intensity of illumination light between two different values. Both of these two values are positive values. In some other examples, the control unit 1020 may control the illumination system 1011 to switch the intensity of the illumination light to three or more different values.
- the control unit 1020 may be configured to perform synchronous control of the illumination system 1011 and the imaging system 1012 in controlling the image collection unit 1010 to collect a series of Scheimpflug images. That is, the control unit 1020 can cause the image collection unit 1010 to collect a series of Scheimpflug images by synchronously controlling the illumination system 1011 and the imaging system 1012.
- This synchronous control may be performed by synchronizing the control of the photographing system 1012 with the control of the illumination system 1011, by synchronizing the control of the illumination system 1011 with the control of the photographing system 1012, or by synchronizing the control of the illumination system 1011 with the control of the photographing system 1012, or by synchronizing the control of the illumination system 1011 with the control of the photographing system 1012.
- the control of the illumination system 1011 and the control of the imaging system 1012 may be synchronized with respect to the above. This specific operation may be, for example, an operation of a moving mechanism that moves the illumination system 1011 and the imaging system 1012.
- Such synchronous control makes it possible to perform control for collecting a series of Scheimpflug images with high precision.
- at least part of the period during which the illumination light is projected onto the eye to be examined is controlled while controlling to make the projection time of the illumination light onto the eye to be examined shorter than the exposure time of the image sensor 1013 with high precision. It becomes possible to perform control to overlap with at least a part of the exposure period of the image sensor 1013 with high precision. For example, by such synchronous control, a scan like the operation mode shown in FIG. 2 can be performed with high accuracy.
- the control unit 1020 controls the illumination light projection time so that the illumination light projection time is shorter than the exposure time of the image sensor 1013, and
- the illumination system 1011 and the imaging system 1012 may be synchronously controlled so that the total projection time and the total exposure time and non-exposure time of the image sensor 1013 are equal.
- the projection time of the illumination light is the length of the period during which the illumination light is projected onto the subject's eye (projection period), for example, the length of the period during which the pulse-controlled illumination light source is turned on (1 or the length of a period in which a shutter is open that allows continuous light from an illumination source to pass intermittently (the length of a single shutter open period).
- the non-projection time of illumination light is the length of the period during which the illumination light is not projected onto the subject's eye (non-projection period), for example, the length of the period during which the pulse-controlled illumination light source is turned off ( The length of a period in which a shutter is closed, which intermittently passes continuous light from an illumination light source (the length of a period in which the shutter is closed). good.
- the exposure time of the image sensor 1013 is the length of the period during which the image sensor 1013 can receive light (exposure period), and the non-exposure time of the image sensor 1013 is the length of the period during which the image sensor 1013 can receive light. This is the length of the non-exposure period (non-exposure period).
- the image sensor 1013 performs operations such as charge transfer and exposure standby.
- one upper side (top side) of the rectangular pulse train representing the light emission operation mode of the light source represents the projection period, and its length represents the projection time.
- one lower side (base) of the rectangular pulse train representing the operation mode of light emission of the light source represents a non-projection period, and its length represents the non-projection time.
- one upper side (top side) of the rectangular pulse train representing the exposure operation mode of the camera represents the exposure period, and the length represents the exposure time.
- one lower side (bottom side) of the rectangular pulse train representing the exposure operation mode of the camera represents a non-exposure period, and its length represents the non-exposure time.
- the illumination system 1011 and the photographing system 1012 are synchronously controlled so that the projection time is shorter than the exposure time, and the total time of the projection time and non-projection time is equal to the total time of the exposure time and non-exposure time.
- an operation mode as illustrated in FIG. 2 that is, a scan in which the projection time is shorter than the exposure time and at least part of the projection period overlaps with at least part of the exposure period.
- the control unit 1020 may be configured to control the illumination system 1011 to change the projection time of illumination light to the eye to be examined.
- This projection time change control is, for example, a light source control that changes the frequency of a control pulse signal applied to a pulse-controlled illumination light source, or a change in the opening/closing frequency of a shutter that intermittently passes continuous light from an illumination light source. Includes shutter control.
- projection time change control it becomes possible to set the projection time of illumination light according to various conditions regarding the eye to be examined, the type of examination, the camera (imaging device 1013), and the like.
- the control unit 1020 may be configured to execute projection time change control based on the speed of the scan executed by the image acquisition unit 1010. That is, the control unit 1020 may be configured to execute projection time change control based on the movement speed of the scan position with respect to the eye to be examined in the scan executed by the image acquisition unit 1010.
- control unit 1020 controls the illumination system 1011 to change the projection time of the illumination light based on the speed of the illumination system 1011 and the imaging system 1012 that are moved by the aforementioned moving mechanism.
- the control unit 1020 in some exemplary embodiments may be configured to perform projection time change control depending on the content of control over the moving mechanism.
- projection time change control is performed in accordance with the content of control over mechanisms other than the moving mechanism (the above-mentioned illumination scanner, movable illumination mirror, photographing scanner, movable photographing mirror, etc.). It may be configured as follows.
- the control unit 1020 may be configured to execute projection time change control according to the applied shooting mode.
- the control unit 1020 is configured to determine the moving speed of the scanning position with respect to the eye to be examined (for example, the speed of the illumination system 1011 and the imaging system 1012 moved by the moving mechanism) based on the applied imaging mode. You can leave it there.
- the photographing mode is a preset operation content for each type of examination (photographing, scanning).
- the number of photographing modes to be prepared is arbitrary (one or more), in this example, it is assumed that two or more photographing modes are prepared.
- the user or the control unit 1020 selects a shooting mode to be applied to the eye to be examined from among the two or more prepared shooting modes.
- the number of selected shooting modes may be arbitrary (one or more).
- two or more imaging modes are selected, for example, two or more scans corresponding to the selected two or more imaging modes are sequentially applied to the eye to be examined.
- the ophthalmological apparatus 1000 of this example holds photographing mode information in which a plurality of photographing modes are recorded in, for example, a storage device within the control unit 1020.
- the ophthalmological apparatus 1000 of this example can refer to imaging mode information stored in an external device.
- the premise is that there is a limit to how long humans can endure blinking (how long they can keep their eyes open).
- This time limit is defined as "T0".
- the limit time T0 may be a predetermined value or may be a value set for each subject (eye to be examined).
- the time taken for scanning (scan time) that is, the time from the start of scanning to the end of scanning, is defined as "ST”.
- the scan time ST is set to the limit time T0 or less (ST ⁇ T0).
- a scan range for each photographing mode is set.
- the scan range corresponding to any shooting mode is defined as "SD”.
- the scan speed corresponding to this shooting mode is defined as "SS”.
- the photographing mode information may include the scan speed value determined in this manner.
- Photographing mode information 1210 shown in FIG. 6 is obtained by adding scan speed to photographing mode information 1200 shown in FIG. 5.
- the premises and calculation method for determining the scan speed value are not limited to the examples described above. Furthermore, the types of parameters whose values are determined by the control unit 1020 are not limited to scan speed.
- the control unit 1020 may be configured to control the imaging system 1012 to change the exposure time of the image sensor 1013.
- This exposure time change control is, for example, an image sensor control that changes the frequency of a control pulse signal applied to the image sensor 1013, or a shutter that changes the opening/closing frequency of a shutter that intermittently allows light guided to the image sensor 1013 to pass through. Contains control.
- exposure time change control it becomes possible to set the exposure time of the image sensor 1013 according to various conditions regarding the eye to be examined, the type of examination, illumination light, and the like.
- the control unit 1020 may be configured to execute exposure time change control based on the speed of the scan executed by the image acquisition unit 1010. That is, the control unit 1020 may be configured to perform exposure time change control based on the movement speed of the scan position with respect to the eye to be examined in the scan performed by the image collection unit 1010.
- the control unit 1020 may be configured to execute exposure time change control according to the applied shooting mode.
- the control unit 1020 is configured to determine the moving speed of the scanning position with respect to the eye to be examined (for example, the speed of the illumination system 1011 and the imaging system 1012 moved by the moving mechanism) based on the applied imaging mode. You can leave it there.
- the control unit 1020 of the ophthalmological apparatus 1000 that can execute exposure time change control refers to the shooting mode information 1200 in FIG. 5 and/or the shooting mode information 1210 in FIG. It may be configured to specify parameter values (value of illumination control pulse height, value of illumination control pulse width, value of scan range, value of scan speed) corresponding to the selected imaging mode.
- the inclination angle of the optical axis of the first imaging system 1014 with respect to the optical axis of the illumination system 1011 and the inclination angle of the optical axis of the second imaging system 1015 with respect to the optical axis of the illumination system 1011 may be equal to each other or may be different from each other. You may. Further, these inclination angles may be fixed or variable.
- the process of identifying the corneal apex image includes detecting an image corresponding to the corneal surface from each Scheimpflug image included in the first Scheimpflug image group, and detecting the pixels of these detected images.
- the process may include a process of specifying the pixel closest to the ophthalmologic apparatus 1000 of this example based on the Z coordinate of the image, and a process of setting the Scheimpflug image including the specified pixel as the first corneal vertex image. Setting of the second corneal vertex image may be performed in the same manner.
- the image selection unit 1110 may perform any image analysis other than threshold processing, such as pattern recognition, segmentation, and edge detection, for artifact determination.
- image analysis other than threshold processing
- edge detection for artifact determination.
- any information processing technology such as image analysis, image processing, machine learning, artificial intelligence, and cognitive computing, can be applied to artifact determination.
- the medical test may be a test for floaters present within the subject's eye.
- floating substances include inflammatory cells (anterior chamber cells), proteins (anterior chamber flare), and other floating substances within the anterior chamber, as well as vitreous fibers, detached retinal cells, and other floating substances within the vitreous body. There is.
- the present embodiment can be applied to evaluation of any part of the eyeball, evaluation of artificial objects (intraocular lenses, intraocular contact lenses, minimally invasive glaucoma surgery (MIGS) devices, etc.).
- MIGS minimally invasive glaucoma surgery
- the evaluation processing unit 1030 executes a process of processing a series of Scheimpflug images collected by the image collection unit 1010 to generate processed image data, and a process of generating evaluation information based on the generated processed image data. It may be configured to do so. For example, the evaluation processing unit 1030 performs a process of constructing a three-dimensional image (an example of processed image data) from a plurality of Scheimpflug images included in a series of Scheimpflug images, and a process of constructing evaluation information based on this three-dimensional image. It may be configured to execute the process of generating the data.
- the evaluation processing unit 1030 also performs processing to construct a three-dimensional image from a plurality of Scheimpflug images included in a series of Scheimpflug images, and generates a rendered image (an example of processed image data) from this three-dimensional image. and a process of generating evaluation information based on this rendered image. Furthermore, the evaluation processing unit 1030 may perform arbitrary digital image processing such as correction, editing, and emphasis as processing of the Scheimpflug image.
- the evaluation information generated in this example may include any information related to the inflammatory state of the subject's eye (inflammatory state information).
- inflammatory status information includes information regarding inflammatory cells (anterior chamber cells) present in the anterior chamber, information regarding proteins (anterior chamber flare) present within the anterior chamber, information regarding clouding of the crystalline lens, and information regarding the onset and course of the disease. and information regarding disease activity.
- the inflammatory state information may include comprehensive information based on two or more pieces of information.
- Information regarding inflammatory cells includes information on arbitrary parameters such as density (concentration), number, position, and distribution of inflammatory cells, and evaluation information based on information on predetermined parameters. Evaluation information regarding inflammatory cells may be referred to as cell evaluation information.
- Information regarding anterior chamber flare includes information on arbitrary parameters such as the concentration, number, position, and distribution of flares, and evaluation information based on information on predetermined parameters.
- Information regarding lens opacity includes information on arbitrary parameters such as concentration, number, position, and distribution of opacity, and evaluation information based on information on predetermined parameters.
- Information regarding the onset and progress of a disease includes information on arbitrary parameters such as the presence or absence of onset, the state of onset, the period of disease, and the state of progress, and evaluation information based on information on predetermined parameters.
- Information regarding disease activity includes information on arbitrary parameters such as the state of disease activity, evaluation information based on information on predetermined parameters, and the like.
- the evaluation processor 1030 includes information generated by the ophthalmic device 1500 as well as information input externally to the ophthalmic device 1500 (e.g., information acquired by another ophthalmic device, The evaluation information may also be generated based on the information inputted by the user.
- the information referenced to generate the inflammatory status information exemplified above may be arbitrary, and may include, for example, the classification criteria for uveitis diseases proposed by The Standardization of Uveitis Nomenclature (SUN) Working Group. Good (“Standardization of uveitis nomenclature for reporting clinical data. Results of the First I International Workshop”, American Journal of Ophthalmology, Volume 140, Issue 3, September 2005, Pages 509-516).
- the inflammatory state information is not limited to the above example. Furthermore, the information referred to in order to generate the inflammatory state information is not limited to the above example.
- the projection time of the illumination light to the subject's eye is set to be shorter than the exposure time of the image sensor, and at least part of the illumination light projection period to the subject's eye and at least part of the exposure period of the image sensor are set.
- a series of Scheimpflug images are acquired by controlling the image acquisition unit 1010 so that the images overlap.
- the region of the eye to be examined to which this slit scan is applied includes at least a portion or the entire region to which a slit scan is applied for acquiring data used to generate inflammatory status information. For example, when generating inflammatory status information including information regarding inflammatory cells and/or information regarding anterior chamber flare, a slit scan is applied to a region including at least a portion of the anterior chamber.
- a slit scan is applied to a region including at least a portion of the lens.
- the area (site) of the eye to be examined to which a slit scan is applied is at least a portion of the anterior segment (e.g. cornea, iris, anterior chamber, angle, ciliary body, zonules, crystalline lens, nerves, blood vessels). lesions; treatment scars; artificial objects such as intraocular lenses, intraocular contact lenses, and MIGS devices); and/or at least a portion of the posterior segment of the eye (e.g., vitreous body, retina, choroid, sclera). , tissues such as the optic disc, lamina cribrosa, macula, nerves, and blood vessels; lesions; treatment scars; and artificial objects such as artificial retinas).
- the anterior segment e.g. cornea, iris, anterior chamber, angle, ciliary body, zonules, crystalline lens, nerves, blood vessels.
- lesions; treatment scars; artificial objects such as intraocular lenses, intraocular contact lenses, and MIGS devices
- the posterior segment of the eye e
- a slit scan may be applied to at least a portion of the near-ocular tissue, such as the eyelids or meibomian glands.
- the three-dimensional region includes any two or all of at least a portion of the anterior segment, at least a portion of the posterior segment, and at least a portion of the near-ocular tissue. Slit scanning may be applied to a three-dimensional region.
- Embodiments capable of generating inflammatory status information that includes cellular assessment information may be configured to perform at least one of the following three processes: (1) in the anterior chamber of the subject's eye; Segmentation (referred to as first segmentation or anterior chamber segmentation) to identify the corresponding image region (referred to as the anterior chamber region); (2) Segmentation to identify the image region (referred to as the cell region) corresponding to inflammatory cells; Segmentation (referred to as second segmentation or cell segmentation); (3) Processing for generating cell evaluation information (referred to as cell evaluation information generation processing).
- Some exemplary aspects of such embodiments are described below.
- the evaluation processing unit 1030 performs a first segmentation for identifying an anterior chamber region from a Scheimpflug image, and a first segmentation for identifying a cell region from the anterior chamber region identified by the first segmentation.
- the present invention is configured to perform at least one of two segmentations and a cell evaluation information generation process for generating cell evaluation information from the cell region specified by the second segmentation.
- the first segmentation in this aspect may be performed using a neural network trained by machine learning, but is not limited thereto.
- the second segmentation in this aspect may be performed using a neural network trained by machine learning, but is not limited thereto.
- the cell evaluation information generation process of this aspect may be executed using a neural network trained by machine learning, but is not limited thereto. Details of this aspect will be described later.
- the evaluation processing unit 1030 can obtain cell evaluation information from the Scheimpflug image without performing the first segmentation for identifying the anterior chamber region and the second segmentation for identifying the cell region.
- the cell evaluation information generation process is configured to generate cell evaluation information.
- the cell evaluation information generation process of this aspect may be executed using a neural network trained by machine learning, but is not limited thereto. Details of this aspect will be described later.
- the evaluation processing unit 1030 is executed without using a neural network trained by machine learning.
- This aspect includes a first segmentation for analyzing a Scheimpflug image to identify an anterior chamber region, and a second segmentation for analyzing an anterior chamber region identified by this first segmentation to identify a cell region. , and a cell evaluation information generation process for generating cell evaluation information based on the cell region specified by the second segmentation. Details of this aspect will be described later.
- the first segmentation may be a machine learning-based process, a non-machine learning-based process, or a combination of a machine learning-based process and a non-machine learning-based process.
- the second segmentation may also be a machine learning-based process, a non-machine learning-based process, or a combination of a machine learning-based process and a non-machine learning-based process.
- the cell evaluation information generation process may be a machine learning-based process or a non-machine learning-based process, or may be a combination of a machine learning-based process and a non-machine learning-based process.
- the type of data input into the first segmentation, the type of data input into the second segmentation, and the type of data input into the cell evaluation information generation process may all be arbitrary.
- some examples of possible combinations of a plurality of processes including the first segmentation, the second segmentation, and the cell evaluation information generation process will be described.
- the evaluation processing section 1030A of this example includes a first segmentation section 1031, a second segmentation section 1032, and a cell evaluation information generation processing section 1033.
- the first segmentation unit 1031 includes a processor that performs first segmentation to identify the anterior chamber region, and is configured to identify the anterior chamber region from the Scheimpflug image acquired by the image acquisition unit 1010.
- the first segmentation unit 1031 When performing the first segmentation using machine learning, the first segmentation unit 1031 is configured to perform the first segmentation using a previously constructed inference model (first inference model).
- the first inference model is trained to include at least an eye image (e.g., a Scheimpflug image of the eye, an eye image acquired by another modality, or a Scheimpflug image of the eye and an eye image acquired by another modality). It includes a neural network (first neural network) constructed by machine learning using data.
- the data input to the first neural network is the Scheimpflug image
- the data output from the first neural network is the anterior chamber region. That is, the first segmentation unit 1031 selects the Scheimpflug images acquired by the image collecting unit 1010 (for example, one or more Scheimpflug images, one or more processed image data, or one or more Scheimpflug images and one Scheimpflug image).
- This Scheimpflug image is input to the first neural network of the first inference model, and the output data from the first neural network (anterior chamber region in the input Scheimpflug image) is obtained. is configured to do so.
- the device for constructing the first inference model may be provided in the ophthalmological device 1500, in a peripheral device (such as a computer) of the ophthalmological device 1500, or in another device. It may also be a computer.
- the inference model construction device includes a learning processing section and a neural network.
- the neural network provided in the inference model construction device typically includes a convolutional neural network (CNN).
- This convolutional neural network has a known structure and may include an input layer, a convolution layer, a pooling layer, a fully connected layer, an output layer, etc.
- An image is input to the input layer. After the input layer, multiple pairs of convolution layers and pooling layers are arranged. The number of pairs of convolutional layers and pooling layers may be arbitrary.
- the convolution layer convolution operations are performed to understand features (contours, etc.) from the image.
- the convolution operation is a product-sum operation of a filter function (weighting coefficient, filter kernel) of the same dimension as the input image.
- the convolution layer applies convolution operations to multiple parts of the input image. More specifically, the convolution layer calculates the product by multiplying the value of each pixel of the partial image to which the filter function has been applied by the value (weight) of the filter function corresponding to that pixel, and calculates the product of this partial image. Find the sum of products over multiple pixels. The product-sum value thus obtained is substituted into the corresponding pixel in the output image.
- a convolution result for the entire input image can be obtained.
- a convolution operation a large number of images in which various features are extracted using a large number of weighting coefficients can be obtained.
- a large number of filtered images such as smoothed images and edge images are obtained.
- the multiple images generated by the convolutional layers are called feature maps.
- the feature map generated by the immediately preceding convolution layer is compressed (data thinned out, etc.). More specifically, the pooling layer calculates statistical values at predetermined neighboring pixels of the pixel of interest in the feature map at predetermined pixel intervals, and outputs an image smaller in size than the input feature map.
- the statistical value applied to the pooling calculation is, for example, a maximum value (max pooling) or an average value (average pooling).
- the pixel interval applied to the pooling operation is called a stride.
- a convolutional neural network can extract many features from an input image by performing processing using multiple pairs of convolutional layers and pooling layers.
- a convolutional neural network may not include fully connected layers (e.g., a full-layer convolutional network (FCN)), a support vector machine, a recurrent neural network (RNN), etc. It's okay to stay.
- the machine learning that the inference model construction device applies to the neural network may include transfer learning. That is, this neural network may include a neural network in which learning using other training data (training images) has already been performed and parameters have been adjusted. Further, the inference model construction device may be configured to be able to apply fine tuning to a trained neural network. Further, the neural network to which machine learning is applied by the inference model construction device may be constructed using a known open source neural network architecture.
- the inference model construction device applies machine learning using training data to a neural network.
- the parameters of the neural network adjusted by the inference model construction device include, for example, filter coefficients of the convolutional layer and connection weights and offsets of the fully connected layer.
- the training data may include one or more Scheimpflug images acquired for one or more eyes. Since the Scheimpflug image of the eye is the same type of image as the image input to the first neural network, the first neural network It is possible to improve the quality (accuracy, precision, etc.) of the network output.
- the types of images included in the training data are not limited to Scheimpflug images; for example, the training data may include images acquired by other ophthalmological modalities (fundus camera, OCT device, SLO, surgical microscope, etc.) or arbitrary images. Generated by processing images acquired by the medical department's image diagnostic modalities (ultrasound diagnostic equipment, X-ray diagnostic equipment, X-ray CT equipment, magnetic resonance imaging (MRI) equipment, etc.) or actual eye images. It may also include images (processed image data), pseudo images, and the like. Furthermore, the number of images, etc. included in the training data may be increased using techniques such as data expansion and data augmentation.
- the training method (machine learning method) for constructing the first neural network may be arbitrary, for example, any one of supervised learning, unsupervised learning, and reinforcement learning, or a combination of two or more of them. It may be.
- supervised learning is performed using training data generated by annotations that label input images.
- this annotation for example, for each image included in the training data, the anterior chamber region in the image is identified and labeled. Identification of the anterior chamber region is performed, for example, by at least one of a physician, a computer, and other inference models.
- the inference model construction device can construct the first neural network by applying supervised learning using such training data to the neural network.
- the first inference model including the first neural network constructed in this manner takes as input a Scheimpflug image (for example, a Scheimpflug image acquired by the image collection unit 1010 and its processed image data), and This is a trained model whose output is the anterior chamber region (for example, information indicating the range or position of the anterior chamber region) in the Scheimpflug image.
- a Scheimpflug image for example, a Scheimpflug image acquired by the image collection unit 1010 and its processed image data
- This is a trained model whose output is the anterior chamber region (for example, information indicating the range or position of the anterior chamber region) in the Scheimpflug image.
- the inference model construction device randomly selects and disables some units of the neural network and performs learning using the remaining units. Good (dropout).
- the method used to construct an inference model is not limited to the example shown here.
- any method such as support vector machine, Bayesian classifier, boosting, k-means, kernel density estimation, principal component analysis, independent component analysis, self-organizing mapping, random forest, generative adversarial network (GAN), etc. It can be used to build inference models.
- the first segmentation unit 1031 of this example executes the process of identifying the anterior chamber region from the Scheimpflug image of the eye to be examined by using such a first inference model (first neural network).
- the second segmentation unit 1032 includes a processor that performs second segmentation to identify a cell region, and is configured to identify a cell region from the anterior chamber region identified by the first segmentation unit 1031.
- the second segmentation unit 1032 is configured to perform the second segmentation using a pre-built inference model (second inference model).
- the second inference model is trained to include at least an eye image (e.g., a Scheimpflug image of the eye, an eye image acquired by another modality, or a Scheimpflug image of the eye and an eye image acquired by another modality). It includes a neural network (second neural network) constructed by machine learning using data.
- the eye images included in the training data of this example include an image corresponding to at least a part of the anterior chamber of the eye (referred to as an anterior chamber image).
- the eye images included in the training data of this example may include the results of manual segmentation or automatic segmentation on anterior segment images (e.g., Scheimpflug images, images acquired with other modalities), such as
- the information may be information indicating the range or position of the anterior chamber image extracted from the anterior segment image, or the anterior chamber image in the anterior segment image.
- the data input to the second neural network is the anterior chamber region identified from the Scheimpflug image by the first segmentation unit 1031 (or the identified and extracted anterior chamber region (the same applies hereinafter)), and the data is input to the second neural network.
- the data output from is the cell area. That is, the second segmentation unit 1032 receives the anterior chamber region specified by the first segmentation unit 1031, inputs this anterior chamber region to the second neural network of the second inference model, and outputs the output data from the second neural network. (cell area in the input anterior chamber area).
- the construction of the second inference model may be performed in the same manner as the construction of the first inference model (first neural network). For example, construction of the second inference model (second neural network) is executed by the above-mentioned inference model construction device.
- the inference model construction device learning processing unit and neural network of this example may be the same as the inference model construction device in constructing the first inference model (first neural network).
- the training data used to construct the second neural network includes one or more Scheimpflug images acquired for one or more eyes (e.g., an anterior segment image in which an anterior chamber region is identified, an anterior chamber image). good.
- the types of images included in the training data are not limited to Scheimpflug images; for example, the training data may include images acquired by other ophthalmology modalities, images acquired by an image diagnostic modality in any clinical department, or images acquired in actual practice.
- the image may include an image generated by processing an eye image, a pseudo image, or the like.
- supervised learning is performed using training data generated by annotations that label input images.
- this annotation for example, for each image included in the training data, a cell region in the image is identified and labeled. Identification of the cellular region is performed, for example, by at least one of a physician, a computer, and other inference models.
- the inference model construction device can construct the second neural network by applying supervised learning using such training data to the neural network.
- the second inference model including the second neural network constructed in this way takes as input the anterior chamber region specified by the first segmentation unit 1031, and uses the cell region in the input anterior chamber region (for example, This is a trained model whose output is information indicating the range or position of the cell area.
- the second segmentation unit 1032 of this example executes a process of identifying a cell region from the anterior chamber region in the Scheimpflug image of the subject's eye by using such a second inference model (second neural network).
- the cell evaluation information generation processing unit 1033 includes a processor that executes cell evaluation information generation processing to generate cell evaluation information, and generates cell evaluation information from the cell region specified by the second segmentation unit 1032.
- the cell evaluation information generation processing unit 1033 executes the cell evaluation information generation process using a previously constructed inference model (third inference model). It is configured as follows.
- the third inference model is trained to include at least an eye image (e.g., a Scheimpflug image of the eye, an eye image acquired by another modality, or a Scheimpflug image of the eye and an eye image acquired by another modality). It includes a neural network (third neural network) constructed by machine learning using data.
- the eye images included in the training data of this example include at least an anterior chamber image in which images of inflammatory cells are depicted, and may further include anterior chamber images in which images of inflammatory cells are not depicted.
- the eye images included in the training data of this example may include the results of manual segmentation or automatic segmentation on anterior segment images (e.g., Scheimpflug images, images acquired with other modalities), such as
- the information may be a cell image extracted from an anterior chamber image in a partial image, or information indicating the range or position of a cell region in an anterior chamber image.
- the data input to the third neural network is the output from the second segmentation unit 1032 or data generated based thereon (for example, data indicating the range, position, distribution, etc. of the cell region, or data indicating the identification result of the cell region).
- the data output from the third neural network is cell evaluation information. That is, the cell evaluation information generation processing unit 1033 receives the cell region identification results from the second segmentation unit 1032 or the data generated based thereon, and applies the cell region identification results or the data generated based thereon to the third inference model. It is configured to input into the third neural network and obtain output data (cell evaluation information) from the third neural network.
- the cell evaluation information is evaluation information regarding predetermined parameters regarding inflammatory cells (for example, the density, number, position, distribution, etc. of inflammatory cells).
- the construction of the third inference model (third neural network) may be performed in the same manner as the construction of the first inference model (first neural network). For example, construction of the third inference model (third neural network) is executed by the above-mentioned inference model construction device.
- the inference model construction device (learning processing unit and neural network) of this example may be the same as the inference model construction device in constructing the first inference model (first neural network).
- the training data used to construct the third neural network includes one or more Scheimpflug images acquired for one or more eyes (e.g., an anterior segment image including an anterior chamber region in which a cell region has been identified, an anterior segment image including an anterior chamber region in which a cell region has been identified, (anterior chamber image).
- the types of images included in the training data are not limited to Scheimpflug images; for example, the training data may include images acquired by other ophthalmology modalities, images acquired by an image diagnostic modality in any clinical department, or images acquired in actual practice.
- the image may include an image generated by processing an eye image, a pseudo image, or the like.
- the training method (machine learning method) for constructing the third neural network may be arbitrary, for example, any one of supervised learning, unsupervised learning, and reinforcement learning, or a combination of two or more of them. It may be.
- supervised learning is performed using training data generated by annotations that label input images.
- cell evaluation information generated from the image is attached as a label to each image (in which a cell region is specified) included in the training data.
- Generation of cell evaluation information from images is performed, for example, by at least one of a physician, a computer, and other inference models.
- the inference model construction device can construct the third neural network by applying supervised learning using such training data to the neural network.
- the third inference model including the third neural network constructed in this way takes as input the cell region identification result by the second segmentation unit 1032 or the data generated based thereon, and specifies the input cell region.
- This is a trained model that outputs cell evaluation information based on the results or data generated based on the results.
- the cell evaluation information generation processing unit 1033 of this example generates cell evaluation information from the cell region in the anterior chamber region in the Scheimpflug image of the subject's eye by using such a third inference model (third neural network). Execute the processing to be performed.
- a third inference model third neural network
- the evaluation processing section 1030B of this example includes a first segmentation section 1041, a conversion processing section 1042, a second segmentation section 1043, and a cell evaluation information generation processing section 1044.
- the conversion processing unit 1042 converts the anterior chamber region specified by the first segmentation unit 1041 into data having a structure according to the second segmentation performed by the second segmentation unit 1043.
- the second segmentation unit 1043 of this example is configured to perform the second segmentation using a neural network (second neural network) constructed by machine learning, like the second segmentation unit 1032 of the evaluation processing unit 1030A. has been done.
- the conversion processing unit 1042 performs conversion for converting the anterior chamber region specified from the Scheimpflug image by the first segmentation unit 1041 into image data having a structure corresponding to the input layer of the second neural network of the second segmentation unit 1043. configured to perform processing.
- the input layer of the second neural network (convolutional neural network) of the second segmentation unit 1043 may be configured to accept data with a predetermined structure (form, format).
- This predetermined data structure may be, for example, a predetermined image size (e.g., number of vertical pixels and number of horizontal pixels), a predetermined image shape (e.g., square or rectangle), and the like.
- the image size and image shape of the anterior chamber region specified by the first segmentation unit 1041 vary depending on the specifications of the ophthalmological device, the conditions and settings at the time of imaging, and individual differences in the size and shape of the eye to be examined.
- the conversion processing unit 1042 allows the input layer of the second neural network of the second segmentation unit 1043 to accept the structure (for example, image size and/or image shape) of the anterior chamber region specified by the first segmentation unit 1041. Convert to structure.
- Image size conversion may be performed using any known image size conversion technique, for example, converting the anterior chamber region identified by the first segmentation unit 1041 into a plurality of partial images with image sizes according to the input layer. It may include a process of dividing or a process of resizing the anterior chamber region specified by the first segmentation unit 1041 into a single image with an image size according to the input layer. Image shape transformation may be performed using any known image transformation technique. The same may be applied to conversion processing of other data structures.
- the image input to the neural network is a Scheimpflug image
- the image input to the neural network is arbitrary processed image data of Scheimpflug images, it is possible to adopt a configuration to apply similar conversion processing to the input processed image data. .
- the arrangement of the elements that execute the conversion process may also be arbitrary.
- the conversion processing unit may be used at a stage before the target neural network (for example, at a stage before the inference model including this neural network) in a series of processes executed based on the obtained Scheimpflug image. , or inside this inference model and at a stage before this neural network), or it may be placed inside the target neural network.
- the conversion processing unit is placed at a stage before the input layer that receives input that directly corresponds to the output of this neural network.
- the second segmentation unit 1043 has the same configuration and function as the second segmentation unit 1032 of the evaluation processing unit 1030A, and is used to specify a cell region from the anterior chamber region whose data structure has been converted by the conversion processing unit 1042. 2 is configured to perform segmentation.
- the second neural network of the second segmentation unit 1043 is configured to receive input of the image data (anterior chamber area whose data structure has been converted) generated by the conversion processing unit 1042 and output a cell area.
- the machine learning for constructing the second neural network of this example may be performed in the same manner as the machine learning for constructing the second neural network of the evaluation processing unit 1030A.
- the cell evaluation information generation processing section 1044 has the same configuration and function as the cell evaluation information generation processing section 1033 of the evaluation processing section 1030A, and is used to generate cell evaluation information from the cell region specified by the second segmentation section 1043.
- the cell evaluation information generating process is configured to execute the cell evaluation information generation process.
- the evaluation processing section 1030B of this example may have a configuration in which the conversion processing section 1042 is arranged between the first segmentation section 1031 and the second segmentation section 1032 of the evaluation processing section 1030A.
- the configuration of the evaluation processing unit 1030B is not limited to this.
- the evaluation processing section 1030C of this example includes a second segmentation section 1051 and a cell evaluation information generation processing section 1052.
- the second segmentation unit 1051 includes a processor that performs second segmentation to identify a cell area, and is configured to identify the cell area from the Scheimpflug image acquired by the image acquisition unit 1010.
- the second segmentation unit 1051 is configured to perform the second segmentation using a previously constructed inference model (fourth inference model).
- the fourth inference model is trained to include at least an eye image (e.g., a Scheimpflug image of the eye, an eye image acquired by another modality, or a Scheimpflug image of the eye and an eye image acquired by another modality). It includes a neural network (fourth neural network) constructed by machine learning using data.
- the fourth neural network may include at least a portion of the first neural network and at least a portion of the second neural network in the evaluation processing unit 1030A.
- the fourth neural network may be a neural network in which a first neural network and a second neural network are arranged in series.
- the fourth neural network having such a configuration has a function of specifying the anterior chamber region from the Scheimpflug image and a function of specifying the cell region from the anterior chamber region.
- the fourth neural network may be subjected to machine learning so as to directly identify the cell area from the Scheimpflug image without identifying the anterior chamber area.
- the aspect of the fourth neural network is not limited to these, and may include a neural network to which any machine learning for identifying a cell region from a Scheimpflug image is applied.
- the data input to the fourth neural network is a Scheimpflug image
- the data output from the fourth neural network is a cell region. That is, the second segmentation unit 1051 receives the Scheimpflug image, inputs the Scheimpflug image into the fourth neural network of the fourth inference model, and outputs the output data from the fourth neural network (cells in the input Scheimpflug image). area).
- the construction of the fourth inference model (fourth neural network) may be performed in the same manner as the construction of the first inference model (first neural network) of the evaluation processing unit 1030A.
- construction of the fourth inference model (fourth neural network) is executed by the above-mentioned inference model construction device.
- the inference model construction device (learning processing unit and neural network) of this example may be the same as the inference model construction device in constructing the first inference model (first neural network) of the evaluation processing unit 1030A. .
- the training data used to construct the fourth neural network may include one or more Scheimpflug images acquired for one or more eyes.
- the types of images included in the training data are not limited to Scheimpflug images; for example, the training data may include images acquired by other ophthalmology modalities, images acquired by an image diagnostic modality in any clinical department, or images acquired in actual practice.
- the image may include an image generated by processing an eye image, a pseudo image, or the like.
- any of the images included in the training data may be attached with information to assist the processing performed by the fourth neural network.
- the anterior chamber region in the image may be labeled by prior annotation.
- the training method (machine learning method) for constructing the fourth neural network may be arbitrary, for example, any one of supervised learning, unsupervised learning, and reinforcement learning, or a combination of two or more of them. It may be.
- supervised learning is performed using training data generated by annotations that label input images.
- this annotation for example, for each image included in the training data, a cell region in the image is identified and labeled. Identification of the cellular region is performed, for example, by at least one of a physician, a computer, and other inference models.
- the inference model construction device can construct the fourth neural network by applying supervised learning using such training data to the neural network.
- the fourth inference model including the fourth neural network constructed in this way takes as input the Scheimpflug image (or its processed image data, etc.) acquired by the image collection unit 1010, and also uses the input Scheimpflug image as input.
- This is a trained model whose output is a cell region in an image (for example, information indicating the range or position of a cell region).
- the second segmentation unit 1051 of this example executes the process of identifying a cell region from the Scheimpflug image of the eye to be examined by using such a fourth inference model (fourth neural network).
- the cell evaluation information generation processing unit 1052 includes a processor that executes cell evaluation information generation processing for generating cell evaluation information, and generates cell evaluation information from the cell area specified by the second segmentation unit 1051.
- the cell evaluation information generation processing unit 1052 executes the cell evaluation information generation process using a previously constructed inference model (fifth inference model). It is configured as follows.
- the fifth inference model is trained to include at least an eye image (e.g., a Scheimpflug image of the eye, an eye image acquired by another modality, or a Scheimpflug image of the eye and an eye image acquired by another modality). It includes a neural network (fifth neural network) constructed by machine learning using data.
- the data input to the fifth neural network is the output from the second segmentation unit 1051 or data generated based thereon (for example, data indicating the range, position, distribution, etc. of the cell region, or data containing the identification results of the cell region).
- the data output from the fifth neural network is cell evaluation information. That is, the cell evaluation information generation processing unit 1052 receives the cell region identification result from the second segmentation unit 1051 or the data generated based on it, and applies the cell region identification result or the data generated based thereon to the fifth inference model. It is configured to input into the fifth neural network and obtain output data (cell evaluation information) from the fifth neural network.
- the machine learning method for constructing the fifth inference model (fifth neural network) is the same as the machine learning method for constructing the third neural network of the cell evaluation information generation processing section 1033 of the evaluation processing section 1030A. It's good. Further, the training data used for machine learning to construct the fifth inference model (fifth neural network) is similar to the training data used for machine learning to construct the third neural network of the evaluation processing unit 1030A. It's good.
- the fifth inference model including the fifth neural network receives as input the result of identifying the cell region by the second segmentation unit 1051 or the data generated based thereon, and the result of identifying the cell region inputted or the data generated based thereon. This is a trained model that outputs cell evaluation information based on data.
- the cell evaluation information generation processing unit 1052 of this example executes the process of generating cell evaluation information from the cell region in the Scheimpflug image of the eye to be examined by using such a fifth inference model (fifth neural network). do.
- the evaluation processing section 1030D of this example includes a cell evaluation information generation processing section 1061.
- the cell evaluation information generation processing unit 1061 includes a processor that executes cell evaluation information generation processing to generate cell evaluation information, and generates cell evaluation information from the Scheimpflug image acquired by the image collection unit 1010.
- the cell evaluation information generation processing unit 1061 executes the cell evaluation information generation process using a previously constructed inference model (sixth inference model). It is configured as follows.
- the sixth inference model is trained to include at least an eye image (e.g., a Scheimpflug image of the eye, an eye image acquired by another modality, or a Scheimpflug image of the eye and an eye image acquired by another modality). It includes a neural network (sixth neural network) constructed by machine learning using data.
- the sixth neural network includes at least a portion of the first neural network, at least a portion of the second neural network, and at least a portion of the third neural network in the evaluation processing unit 1030A. You can stay there.
- the sixth neural network may be a neural network in which a first neural network, a second neural network, and a third neural network are arranged in series.
- the sixth neural network having such a configuration has a function of specifying an anterior chamber region from a Scheimpflug image, a function of specifying a cell region from the anterior chamber region, and a function of generating cell evaluation information from the cell region.
- the sixth neural network is machine learned to generate cellular assessment information directly from the Scheimpflug image without identifying anterior chamber regions and/or identifying cellular regions. may have been done.
- the aspect of the sixth neural network is not limited to these, and may include a neural network to which any machine learning for identifying cell evaluation information from a Scheimpflug image is applied.
- the data input to the sixth neural network is the output from the image collection unit 1010 or data generated based on it, and the data output from the sixth neural network is cell evaluation information. That is, the cell evaluation information generation processing unit 1061 receives the Scheimpflug image acquired by the image collection unit 1010 (and/or data generated based on this Scheimpflug image), and receives the Scheimpflug image or data generated based on this Scheimpflug image. The data is input to the sixth neural network of the sixth inference model, and output data (cell evaluation information) from the sixth neural network is obtained.
- the machine learning method for constructing the sixth inference model is the same as the machine learning method for constructing the third neural network of the cell evaluation information generation processing section 1033 of the evaluation processing section 1030A. It's good. Further, the training data used for machine learning to construct the sixth inference model (sixth neural network) is the same as the training data used for machine learning to construct the third neural network of the evaluation processing unit 1030A. It's good.
- the sixth inference model including the sixth neural network takes as input the Scheimpflug image acquired by the image collection unit 1010 (and/or data generated based on this Scheimpflug image), and uses the input Scheimpflug image as input.
- This is a trained model that outputs cell evaluation information based on an image (and/or data generated based on this Scheimpflug image).
- the cell evaluation information generation processing unit 1061 of this example uses the sixth inference model (sixth neural network) to generate the Scheimpflug image of the eye to be examined (and/or the Scheimpflug image generated based on this Scheimpflug image). data) to generate cell evaluation information.
- the evaluation processing section 1030E of this example includes a first segmentation section 1071 and a cell evaluation information generation processing section 1072.
- the first segmentation unit 1071 includes a processor that performs first segmentation to identify the anterior chamber region, and is configured to identify the anterior chamber region from the Scheimpflug image acquired by the image acquisition unit 1010.
- the first segmentation unit 1071 is configured to perform the first segmentation using a previously constructed inference model (seventh inference model).
- the seventh inference model is trained to include at least an eye image (e.g., a Scheimpflug image of the eye, an eye image acquired by another modality, or a Scheimpflug image of the eye and an eye image acquired by another modality). It includes a neural network (seventh neural network) constructed by machine learning using data.
- the machine learning method for constructing the seventh inference model is the same as the machine learning method for constructing the first neural network of the first segmentation unit 1031 of the evaluation processing unit 1030A. good. Further, the training data used for machine learning to construct the seventh inference model (seventh neural network) is the same as the training data used for machine learning to construct the first neural network of the evaluation processing unit 1030A. It's good.
- the seventh neural network may be the same as or similar to the first neural network, and the seventh inference model may be the same as or similar to the first inference model.
- the seventh inference model including the seventh neural network takes as input the Scheimpflug image (or its processed image data, etc.) acquired by the image acquisition unit 1010, and also uses the anterior chamber region ( For example, it is a trained model whose output is information indicating the range or position of the anterior chamber region.
- the first segmentation unit 1071 of this example executes the process of identifying the anterior chamber region from the Scheimpflug image of the eye to be examined by using such a seventh inference model (seventh neural network).
- the cell evaluation information generation processing unit 1072 includes a processor that executes cell evaluation information generation processing for generating cell evaluation information, and generates cell evaluation information from the anterior chamber region specified by the first segmentation unit 1071.
- the cell evaluation information generation processing unit 1072 executes the cell evaluation information generation process using a previously constructed inference model (eighth inference model). It is configured as follows.
- the eighth inference model is trained to include at least an eye image (e.g., a Scheimpflug image of the eye, an eye image acquired by another modality, or a Scheimpflug image of the eye and an eye image acquired by another modality). It includes a neural network (eighth neural network) constructed by machine learning using data.
- the eighth neural network may include at least a portion of the second neural network and at least a portion of the third neural network of the evaluation processing unit 1030A.
- the eighth neural network may be a neural network in which a second neural network and a third neural network are arranged in series.
- the eighth neural network having such a configuration has a function of specifying a cell region from the anterior chamber region and a function of generating cell evaluation information from the cell region.
- the eighth neural network may be subjected to machine learning so as to directly generate cell evaluation information from the anterior chamber region without specifying the cell region.
- the aspect of the eighth neural network is not limited to these, and may include a neural network to which any machine learning for identifying cell evaluation information from the anterior chamber region is applied.
- the data input to the eighth neural network is the output from the first segmentation unit 1071 or data generated based on it, and the data output from the eighth neural network is cell evaluation information. That is, the cell evaluation information generation processing unit 1072 receives the anterior chamber region specified from the Scheimpflug image by the first segmentation unit 1071 (and/or data generated based on this anterior chamber region), and Alternatively, data generated based thereon is input to the eighth neural network of the eighth inference model, and output data (cell evaluation information) from the eighth neural network is acquired.
- the machine learning method for constructing the eighth inference model is similar to the machine learning method for constructing the third neural network of the cell evaluation information generation processing section 1033 of the evaluation processing section 1030A. It's good. Further, the training data used for machine learning to construct the eighth inference model (eighth neural network) is the same as the training data used for machine learning to construct the third neural network of the evaluation processing unit 1030A. It's good.
- the eighth inference model including the eighth neural network takes as input the anterior chamber region specified by the first segmentation unit 1071 (and/or data generated based on this anterior chamber region), and uses the input anterior chamber region as input. This is a trained model that outputs cell evaluation information based on the chamber region (and/or data generated based on the anterior chamber region).
- the cell evaluation information generation processing unit 1072 of this example uses such an eighth inference model (eighth neural network) to calculate the anterior chamber region (and/or this anterior chamber region) in the Scheimpflug image of the subject's eye.
- the process of generating cell evaluation information from the data generated based on the above data is executed.
- the evaluation processing section 1030F of this example includes a first segmentation section 1081, a conversion processing section 1082, and a cell evaluation information generation processing section 1083.
- the first segmentation unit 1081 has the same configuration and function as the first segmentation unit 1031 of the evaluation processing unit 1030A, and performs first segmentation for identifying the anterior chamber region from the Scheimpflug image acquired by the image acquisition unit 1010. is configured to run.
- the conversion processing unit 1082 converts the anterior chamber region specified by the first segmentation unit 1081 into data having a structure according to the cell evaluation information generation process executed by the cell evaluation information generation processing unit 1083.
- the cell evaluation information generation processing unit 1083 of this example like the cell evaluation information generation processing unit 1072 of the evaluation processing unit 1030E, performs cell evaluation information generation processing using a neural network (eighth neural network) constructed by machine learning. is configured to run.
- the conversion processing unit 1082 converts the anterior chamber region specified from the Scheimpflug image by the first segmentation unit 1081 into image data having a structure corresponding to the input layer of the eighth neural network of the cell evaluation information generation processing unit 1083. is configured to perform the conversion process.
- the input layer of the eighth neural network (convolutional neural network) of the cell evaluation information generation processing unit 1083 may be configured to accept data with a predetermined structure (form, format).
- This predetermined data structure may be, for example, a predetermined image size (e.g., number of vertical pixels and number of horizontal pixels), a predetermined image shape (e.g., square or rectangle), and the like.
- the image size and image shape of the anterior chamber region specified by the first segmentation unit 1081 vary depending on the specifications of the ophthalmological equipment, the conditions and settings at the time of imaging, and individual differences in the size and shape of the eye to be examined. .
- the conversion processing unit 1082 causes the input layer of the eighth neural network of the cell evaluation information generation processing unit 1083 to receive the structure (for example, image size and/or image shape) of the anterior chamber region specified by the first segmentation unit 1081. Convert it to a possible structure.
- Image size conversion may be performed using any known image size conversion technique, for example, converting the anterior chamber region identified by the first segmentation unit 1081 into a plurality of partial images with image sizes according to the input layer. It may include a process of dividing or a process of resizing the anterior chamber region specified by the first segmentation unit 1081 into a single image with an image size according to the input layer. Image shape transformation may be performed using any known image transformation technique. The same may be applied to conversion processing of other data structures.
- the cell evaluation information generation processing section 1083 has the same configuration and functions as the cell evaluation information generation processing section 1072 of the evaluation processing section 1030E, and processes the anterior chamber region specified by the first segmentation section 1081 using the conversion processing section 1082.
- the cell evaluation information generating process is configured to execute cell evaluation information generation processing for generating cell evaluation information from data obtained by performing the following steps.
- the evaluation processing section 1030F of this example may have a configuration in which the conversion processing section 1082 is arranged between the first segmentation section 1071 and the cell evaluation information generation processing section 1072 of the evaluation processing section 1030E.
- the configuration of the evaluation processing unit 1030F is not limited to this.
- the evaluation processing unit 1030 including an inference model (neural network) constructed using machine learning have been mainly described.
- the evaluation processing unit 1030 is not limited to such a machine learning-based configuration.
- the evaluation processing unit 1030 according to the present disclosure may be implemented using only a machine learning-based configuration, a combination of a machine learning-based configuration and a non-machine learning-based configuration, or a non-machine learning It may also be implemented by only the base configuration.
- evaluation processing unit 1030 having only a non-machine learning-based configuration will be described. Those skilled in the art will be able to understand aspects of the evaluation processing unit 1030 based on a combination of a machine learning-based configuration and a non-machine learning-based configuration, as well as the various examples of the machine learning-based configuration described above and the non-machine learning-based configuration described below.
- the evaluation processing unit 1030 can be understood based on some examples of the evaluation processing unit 1030 having only the configuration shown in FIG.
- the evaluation processing section 1030G in this example includes a first analysis processing section 1091, a second analysis processing section 1092, and a third analysis processing section 1093.
- the first analysis processing unit 1091 includes a processor that performs first segmentation to identify the anterior chamber region, and applies a predetermined function to the Scheimpflug image (and/or its processed image data) acquired by the image acquisition unit 1010. It is configured to apply an analysis process (referred to as a first analysis process) to identify the anterior chamber region in this Scheimpflug image.
- a first analysis process an analysis process
- the first analysis process may include any known segmentation for identifying the anterior chamber region in the Scheimpflug image.
- segmentation for identifying the anterior chamber region is different from segmentation for identifying the image region corresponding to the cornea (especially the posterior corneal surface), and segmentation for identifying the image region corresponding to the lens (especially the anterior surface of the lens). It includes segmentation.
- the image area corresponding to the cornea is called the corneal area
- the image area corresponding to the posterior surface of the cornea is called the posterior corneal area
- the image area corresponding to the crystalline lens is called the crystalline lens area
- the image area corresponding to the anterior surface of the crystalline lens is called the anterior lens area. call.
- Segmentation of the posterior corneal region may include any known segmentation. Segmentation of the posterior corneal region poses problems such as artifacts in Scheimpflug images and saturation of pixel values. In order to solve these problems, for example, the configuration shown in FIG. 4C can be adopted. That is, by combining the photographing method using the first photographing system 1014 and the second photographing system 1015 and the Scheimpflug image selection process using the image selection unit 1110, a Scheimpflug image free of artifacts and saturation is selected. In addition, it becomes possible to specify the posterior corneal area from the selected Scheimpflug image.
- Segmentation of the anterior lens region may include any known segmentation.
- the expression state of the Scheimpflug image (how the Scheimpflug image looks) changes depending on the state of the pupil of the eye being examined (e.g., mydriatic state, non-mydriatic state, small pupil state, etc.). becomes a problem. For example, when the eye to be examined has a non-mydriatic state or a small pupil, the range of the crystalline lens to be imaged becomes smaller than when the eye to be examined has a mydriatic state.
- the position and shape of the part of the front surface of the lens that is not imaged can be estimated based on the front surface area of the crystalline lens depicted in the Scheimpflug image. It is possible to apply processing to equalize the expression state of the Scheimpflug image, such as processing to uniformize the expression state of the Scheimpflug image.
- the processing for uniformizing the representation state of the Scheimpflug image may be performed on a machine learning basis or on a non-machine learning basis. Further, the process of estimating the position and shape of the front surface of the crystalline lens may include, for example, any known extrapolation process.
- the image collection unit 1010 collects a series of Scheimpflug images by slit scanning
- images with and without artifacts or saturation may coexist, or several images may contain artifacts in various different states (position, size, shape, etc.).
- These phenomena may adversely affect the quality (eg, stability, robustness, reproducibility, accuracy, precision, etc.) of the processing executed by the evaluation processing unit 1030G.
- steps can be taken to prevent these phenomena from occurring or to reduce the negative effects caused by these phenomena.
- a photographing method using the first photographing system 1014 and the second photographing system 1015 and Scheimpflug image selection processing using the image selection unit 1110 can be combined.
- Examples of the latter measures include image correction, noise removal, noise reduction, and adjustment of image parameters.
- the second analysis processing unit 1092 includes a processor that executes second segmentation to identify cell regions, and applies the second analysis processing to the anterior chamber region identified from the Scheimpflug image by the first analysis processing unit 1091.
- the system is configured to identify cell regions using
- the second analysis processing unit 1092 performs analysis based on the value of each pixel in the anterior chamber region (e.g., at least one of a luminance value, an R value, a G value, and a B value). may be configured to identify a cell region.
- the second analysis processor 1092 may be configured to apply segmentation to the anterior chamber region to identify cellular regions. This segmentation is performed, for example, according to a program created based on the standard morphology (eg, size, shape, etc.) of inflammatory cells (cell regions).
- the second analysis processing unit 1092 may be configured to identify the cell region by at least a partial combination of these two techniques.
- Measures that can be taken when the image collection unit 1010 collects a series of Scheimpflug images by slit scanning may be the same as those for the first analysis processing unit 1091. Further, considering that a cell region is generally a minute image region, measures may be taken to distinguish between a cell region and a minute artifact. For example, by performing processing to remove artifacts (ghosts, etc.), it is possible to prevent artifacts from being erroneously detected in cell region detection.
- the third analysis processing unit 1093 includes a processor that executes a cell evaluation information generation process for generating cell evaluation information, and the third analysis processing unit 1093 includes a processor that performs cell evaluation information generation processing to generate cell evaluation information, and the third analysis processing unit 1093 applies a 3 analysis processing is applied to generate cell evaluation information.
- the cell evaluation information may be any evaluation information regarding inflammatory cells, and may include, for example, information representing the state of inflammatory cells (for example, arbitrary parameters such as density, number, position, distribution, etc.).
- the evaluation information may include evaluation information generated based on information on predetermined parameters regarding the state of inflammatory cells.
- the third analysis processing unit 1093 can determine the density, number, position, distribution, etc. of one or more cell regions specified by the second analysis processing unit 1092.
- the process of determining the density of inflammatory cells includes, for example, a process of setting an image area of a predetermined size (for example, an image area of 1 mm square), and a process of determining the cell area detected by the second analysis processing unit 1092 in the set image area. This includes a process of counting the number of items.
- the dimensions of the image area are, for example, the specifications of the optical system of the ophthalmological apparatus 1500 (for example, the design data of the optical system and/or the actual measurement data of the optical system). ), and is typically defined as a correspondence between pixels and dimensions in real space (for example, dot pitch).
- the cell evaluation information may include information on the density of inflammatory cells determined in this manner, or may include evaluation information obtained from the information on this density.
- This evaluation information may include, for example, evaluation results using classification criteria for uveitis diseases proposed by the SUN Working Group.
- This classification standard defines grades according to the number of inflammatory cells (i.e., the density (concentration) of inflammatory cells) present in one visual field (a visual field of 1 mm square size), and grade "0" is less than 1 cell, grade "0.5+” is 1 to 5 cells, grade "1+” is 6 to 15 cells, grade “2+” is 16 to 25 cells, grade “3+” is The number of cells is 26 to 50, and grade "4+” is defined as the number of cells 50 or more. Note that the grade classification of this classification standard may be made finer or coarser. Furthermore, cell evaluation information may be generated based on other classification criteria.
- the evaluation processing unit 1030G calculates a partial area (for example, 1 mm square) of the anterior chamber region identified from the Scheimpflug image by the first analysis processing unit 1091. the image region), the process of determining the number of cell regions belonging to this partial region, and the processing of calculating the density of inflammatory cells based on this number and the dimensions of the partial region. It's okay to stay.
- the evaluation processing section 1030G selects a cell region located within the partial region from among the cell regions detected from the entire anterior chamber region by the second analysis processing section 1092, and based on the selected cell region.
- the third analysis processing unit 1093 may be configured to calculate the density using the third analysis processing unit 1093.
- the evaluation processing unit 1030G causes the second analysis processing unit 1092 to analyze the partial area to identify the cell area, and the third analysis processing unit 1093 determines the density based on the cell area specified from the partial area. It may be configured as follows.
- the process of determining the number of inflammatory cells includes, for example, the process of counting the number of cell regions detected by the second analysis processing unit 1092.
- the cell evaluation information may include information on the number of inflammatory cells determined in this manner, or may include evaluation information obtained from information on this number.
- cell evaluation information can be calculated by calculating the average density of inflammatory cells in the entire anterior chamber region by dividing the number of cell regions detected in the entire anterior chamber region by the dimensions (e.g., area, volume, etc.) of the anterior chamber region. You can ask for it.
- the cell evaluation information may include an evaluation result (e.g., grade) based on the number of cell areas detected from the entire anterior chamber area, or the number of cell areas and/or the number of cell areas in a partial area of the anterior chamber area. It may also include evaluation results based on it.
- an evaluation result e.g., grade
- the process of determining the position of the inflammatory cells may include, for example, the process of specifying the position of the cell area detected by the second analysis processing unit 1092.
- the position of the cell region may be expressed, for example, as a coordinate in the defined coordinate system of the Scheimpflug image, or it may be expressed as a relative position (for example, a distance , direction, etc.).
- This reference area may be, for example, the cornea area, the posterior corneal area, the crystalline lens area, the anterior lens area, or the image area corresponding to the axis of the eye (for example, a straight line connecting the apex position of the cornea and the apex position of the anterior surface of the crystalline lens). It's fine.
- the cell evaluation information may include information on the position of the inflammatory cells determined in this manner, or may include evaluation information obtained from the information on this position.
- the cell evaluation information may include information representing the distribution of inflammatory cells (distribution of multiple cell regions), or may include evaluation results (e.g., grade) based on the location of one or more inflammatory cells. It may also include evaluation results (for example, grade) based on the location (distribution) of a plurality of inflammatory cells.
- evaluation information can be generated based on the Scheimpflug image in which blurring of the image of intraocular floaters (inflammatory cells, etc.) is reduced, so in any of the examples described above, It becomes possible to perform evaluations with higher quality. It should be noted that those skilled in the art will understand that even when other evaluation information generation processing is adopted, evaluation can be performed with higher quality than before.
- steps S1 and S2 in FIG. 15 can also be executed by the ophthalmologic apparatus 1000.
- Preparatory operations include adjusting the table on which the ophthalmological device 1500 is installed, adjusting the chair used by the patient, adjusting the face rest (chin rest, forehead rest, etc.) of the ophthalmological device 1500, and performing ophthalmology on the eye to be examined. There is alignment of the device 1500, etc.
- condition setting conditions for scanning the subject's eye
- S1 conditions for scanning the subject's eye
- At least a part of the condition setting may be performed manually, or at least a part of the condition setting may be performed automatically. Exemplary methods and operations for setting conditions will be described later.
- scan conditions include conditions related to the illumination system 1011, conditions related to the imaging system 1012, and conditions related to the moving mechanism (or an element having the same function as the moving mechanism: an illumination scanner, a movable illumination mirror, a photographing scanner, a movable photographing mirror, etc.) , the illumination system 1011, the photographing system 1012, and the conditions regarding coordination (synchronization) of any two or three of the moving mechanisms.
- Examples of conditions related to the illumination system 1011 include intensity of illumination light (light amount: illumination control pulse height in FIGS. 5 and 6), pulse width of illumination light (projection time: illumination control pulse width in FIGS. 5 and 6), and slit. These include the dimensions of the light and the direction of the slit light.
- Examples of conditions related to the imaging system 1012 include the exposure time of the image sensor 1013 and the gain (sensitivity) of the image sensor 1013.
- Examples of conditions related to the moving mechanism include the moving distance of the illumination light (scan range in FIGS. 5 and 6), the moving speed of the illumination light (scan speed in FIG. 6), etc.
- Examples of conditions regarding the coordination (synchronization) of any two or three of the illumination system 1011, the photographing system 1012, and the moving mechanism include the coordination (synchronization) of the projection time of the illumination light and the exposure time of the image sensor 1013; There is a linkage (synchronization) between the projection period and the exposure period of the image sensor 1013.
- the illumination light projection time is set to be shorter than the exposure time of the image sensor 1013, and at least a part of the illumination light projection period and at least a part of the exposure period of the image sensor 1013 overlap.
- the conditions are set as follows.
- a part of the exposure period of the image sensor 1013 corresponds to a period of illumination light projection
- the total time of the illumination light projection time and non-projection time and the exposure time and non-exposure time of the image sensor 1013 are Conditions are set so that the total time of
- a sequence of illumination light projection multiple projections of illumination light arranged in chronological order
- a sequence of camera exposure multiple exposures of the image sensor 1013 arranged in chronological order
- control unit 1020 of the ophthalmologic apparatus 1500 controls the image acquisition unit 1010 to execute a scan of the eye to be examined based on the scan conditions set in step S1. Through this scan, a series of Scheimpflug images of the eye to be examined are collected (S2).
- the evaluation processing unit 1030 of the ophthalmological apparatus 1500 generates evaluation information for the eye to be examined based on the series of Scheimpflug images acquired in step S2 (S3).
- the imaging system 1012 of the ophthalmological apparatus 1500 includes a first imaging system 1014 and a second imaging system 1015, and the ophthalmological apparatus 1500 includes or can use an image selection section 1110
- the ophthalmological apparatus 1500 collects the first Scheimpflug image group and the second Scheimpflug image group by the first imaging system 1014 and the second imaging system 1015, respectively, in step S2
- the image selection unit 1110 collects the first Scheimpflug image group and the second Scheimpflug image group.
- a series of Scheimpflug images may be generated from the Scheimpflug image group, and evaluation information may be generated from the series of Scheimpflug images by the evaluation processing unit 1030 in step S3.
- the ophthalmological apparatus 1500 can display the Scheimpflug image acquired in step S2 and/or the evaluation information generated in step S3 on a display device.
- the display device may be an element of the ophthalmological apparatus 1500 or may be an external device connected to the ophthalmic apparatus 1500. Further, control for displaying information on the display device is executed by a display control processor (not shown).
- this display control processor may be included in the control unit 1020, may be an element of the ophthalmological apparatus 1500 separate from the control unit 1020, or may be provided in a separate device from the ophthalmological apparatus 1500. You can leave it there.
- information display that can be executed by the ophthalmologic apparatus 1500 will be described.
- the form of information display is not limited to these examples. It is possible to at least partially combine at least two of these examples.
- the ophthalmological apparatus 1500 causes the Scheimpflug image acquired in step S2 and/or the evaluation information generated in step S3 to be displayed as is on the display device.
- the ophthalmological apparatus 1500 may display other information (additional information) along with the Scheimpflug image and/or evaluation information.
- the additional information may be any type of information that is useful for medical treatment of the eye to be examined when referenced together with the Scheimpflug image and/or evaluation information.
- the ophthalmological apparatus 1500 generates an image that simulates an eye image (slit lamp image) acquired by a conventional slit lamp microscope from the Scheimpflug image, and displays the generated simulated image. is displayed on the display device. This makes it possible to provide an image that imitates the slit lamp image that has been conventionally used to observe the subject's eye and that many doctors are accustomed to seeing.
- the process of generating a simulated image from a slit lamp image is formed by machine learning-based processing and/or non-machine learning-based processing.
- Machine learning-based processing is performed using, for example, a neural network constructed by machine learning using training data including multiple pairs of Scheimpflug images and slit lamp images.
- This neural network includes a convolutional neural network.
- This convolutional neural network is configured to receive input of a Scheimpflug image and output a simulated image.
- the non-machine learning-based processing may include, for example, processing for generating a simulated blur, processing for converting the appearance of an image, such as color conversion and image quality conversion.
- Exemplary aspects of non-machine learning-based processing include constructing a three-dimensional image (e.g., an 8-bit grayscale volume) from a series of Scheimpflug images collected with a slit scan and determining the maximum value of the pixel value range. (for example, processing to reduce 256 gradations to 10 gradations) and a region of interest (for example, a rectangular parallelepiped region of a predetermined size) of a 3D image whose gradation has been converted. It includes a setting process and a process (for example, maximum intensity projection process (MIP)) of constructing an enface image of the set region of interest.
- MIP maximum intensity projection process
- the simulated image may be an image that represents the same area as the Scheimpflug image that is in focus over a wide range, or it may be an image that represents a partial area of the area that the Scheimpflug image represents.
- This partial area may be, for example, one visual field, which is the evaluation range in the uveitis disease classification criteria proposed by the SUN Working Group, that is, a visual field with a size of 1 mm square.
- the ophthalmologic apparatus 1500 can, for example, highlight a portion of interest in a simulated image.
- this portion of interest include an image region corresponding to inflammatory cells, an image region corresponding to anterior chamber flare, and an image region corresponding to opacity of the crystalline lens.
- the ophthalmological apparatus 1500 causes the display device to display information that visualizes the evaluation information generated in step S3.
- This visualization information may be, for example, a map representing the distribution of a predetermined object or a map representing the distribution of values of a predetermined parameter.
- An example of such a map is a map representing the inflammatory state of the subject's eye (inflammatory state map).
- this inflammatory state map include an inflammatory cell map that shows the location (distribution) of inflammatory cells in the anterior chamber, and an inflammatory cell density map that shows the distribution of the density (or number) of inflammatory cells in the anterior chamber. number map).
- the process of creating a map regarding these inflammatory cells is, for example, a process of identifying an image area (cell area) corresponding to an inflammatory cell from each of a series of Scheimpflug images obtained using a slit scan (second segmentation).
- the process includes a process of creating a map based on the determined positions of each cell area.
- the ophthalmological device 1500 can display an inflammatory state map along with the Scheimpflug image and/or inflammatory state information.
- the ophthalmologic apparatus 1500 can display a frontal image based on a series of Scheimpflug images collected by slit scanning and an inflammatory state map generated based on the same series of Scheimpflug images.
- the inflammatory state map can be displayed superimposed on the frontal image, or the frontal image and the inflammatory state map can be displayed side by side.
- this display control processor may be included in the evaluation processing unit 1030, may be an element of the ophthalmological apparatus 1500 separate from the evaluation processing unit 1030, or may be a separate element from the ophthalmological apparatus 1500. may be provided. This concludes the explanation of the operation example in FIG. 15.
- FIG. 16 An example of the operation of the ophthalmologic apparatus 1500 is shown in FIG. 16.
- This operation example provides a specific example of step S1 (condition setting) and step S2 (scan) of the operation example of FIG. 15 described above.
- this operation example can also be executed by the ophthalmologic apparatus 1000.
- the ophthalmological apparatus 1500 can refer to imaging mode information (for example, imaging mode information 1200 in FIG. 5 or imaging mode information 1210 in FIG. 6).
- a shooting mode is specified (S11).
- the shooting mode is designated manually or automatically.
- Manual specification is performed using a user interface (not shown).
- Automatic designation is performed based on predetermined reference information such as diagnosis name (disease name), test type, test record, etc., for example. This reference information is obtained, for example, from medical records regarding the subject (eye to be examined).
- control unit 1020 of the ophthalmological apparatus 1500 controls the pulse height of the control pulse signal applied to the pulse-driven illumination light source (illumination control pulse high) and pulse width (illumination control pulse width) (S12).
- control unit 1020 of the ophthalmological apparatus 1500 controls the optical systems (illumination system 1011, imaging system 1012) that are moved by the movement mechanism for scanning based on the imaging mode specified in step S11 and the imaging mode information.
- the moving distance (scan range) and moving speed (scan speed) are set (S13).
- control unit 1020 of the ophthalmological apparatus 1500 selects one of the imaging mode specified in step S11, the conditions related to the illumination system 1011 set in step S12, and the conditions related to the movement mechanism set in step S13.
- the exposure time of the image sensor 1013 is set based on the above information (S14).
- steps S12 to S13 is not limited to this example, and the conditions to be set are not limited to this example.
- conditions regarding coordination (synchronization) of any two or three of the illumination system 1011, the imaging system 1012, and the movement mechanism may be set.
- the condition setting in this example is executed so as to satisfy the following two conditions: (1) the projection time of the illumination light to the subject's eye is shorter than the exposure time of the image sensor 1013; (2) At least a portion of the period during which the illumination light is projected onto the eye to be examined overlaps with at least a portion of the exposure period of the image sensor.
- condition settings in this example may be executed so as to satisfy the following arbitrary conditions: (3) The total time of the illumination light projection time and non-projection time to the subject's eye, and the exposure time and non-projection time of the image sensor 1013. be equal to the total non-exposure time.
- alignment of the optical system (illumination system 1011, imaging system 1012) of the ophthalmological apparatus 1500 with respect to the eye to be examined is performed (S15).
- This alignment may be automatic alignment or manual alignment.
- Patent Document 3 Japanese Patent Application Laid-Open No. 2019-213733.
- the optical system of the ophthalmological apparatus 1500 is placed at a predetermined scan start position (S16). This process may be performed automatically or manually.
- step S15 If the alignment in step S15 is performed to guide the optical system to the scan start position, there is no need to perform step S16, but the results of the alignment in step S15 may be checked and adjusted in step S16. . This confirmation and adjustment may be performed automatically or manually. Note that for details of the alignment for guiding the optical system to the scan start position, please refer to Patent Document 3 (Japanese Patent Application Laid-Open No. 2019-213733).
- the image acquisition unit 1010 After the optical system is placed at the scan start position, the image acquisition unit 1010 starts scanning the subject's eye (slit scan) (S17). For example, scanning is started in response to a user's instruction operation, or in response to detection that the optical system is placed at a scan start position.
- control unit 1020 When scanning is started, the control unit 1020 first causes the image sensor 1013 to start exposure based on the scan conditions set in steps S12 to S14 (see FIG. 2) (S18). This step corresponds to the start of one exposure period.
- control unit 1020 causes the illumination light source to emit pulsed illumination light based on the scan conditions set in steps S12 to S14 (see FIG. 2) (S19). This step corresponds to one pulse emission.
- control unit 1020 causes the image sensor 1013 to complete exposure based on the scan conditions set in steps S12 to S14 (see FIG. 2) (S20). This step corresponds to the end of one exposure period started in step S18.
- one entire projection period corresponds to a part of one exposure period (temporally overlapping , parallel in time).
- a partial period of one projection time corresponds to a partial period of one exposure period.
- the projection time of the illumination light is shorter than the exposure time of the image sensor, and at least a part of the period of projection of the illumination light to the eye to be examined overlaps with at least a part of the exposure period of the image sensor.
- the condition is, for example, "the projection time of the illumination light is shorter than the exposure time of the image sensor, and at least a part of the period of projection of the illumination light to the eye to be examined overlaps with a part of the exposure period of the image sensor".
- the projection time of the illumination light is shorter than the exposure time of the image sensor, and part of the period of illumination light projection to the eye to be examined overlaps with part of the exposure period of the image sensor, or the illumination light to the eye to be examined is shorter than the exposure time of the image sensor.
- the entire projection period and a part of the exposure period of the image sensor overlap "At least a part of the projection period of the illumination light to the eye to be examined and a part of the exposure period of the image sensor overlap", "The whole projection period and a part of the exposure period of the image sensor overlap” A part of the illumination light projection period for the eye to be examined overlaps with a part of the exposure period of the image sensor, or a part of the illumination light projection period (total) for the eye to be examined overlaps with a part of the image sensor exposure period. ”, etc.
- Steps S18 to S20 are repeated until a predetermined condition for ending the scan is satisfied (S21: No).
- the scan termination conditions include, for example, that a predetermined number of Scheimpflug images have been acquired, that the number of repetitions of steps S18 to S20 has reached a predetermined number, that the execution time of steps S18 to S20 has reached a predetermined time, It may be that the user has performed a predetermined instruction operation (scan end operation), or the like.
- Step S22 corresponds to the end of step S2 in FIG.
- the ophthalmologic apparatus 1500 may be configured to perform any processing such as the evaluation information generation process, information display process, information storage process, and information analysis process in step S3 of FIG. This concludes the explanation of the operation example in FIG. 16.
- FIG. 18 shows an example of a specific configuration of an ophthalmologic apparatus that can function as the ophthalmologic apparatus 1000 or 1500 described above.
- FIG. 18 is a top view, in which the direction along the axis of the eye E to be examined is defined as the Z direction, and among the directions orthogonal to this, the left and right directions for the subject are defined as the X direction, which is orthogonal to both the X direction and the Z direction.
- the direction (vertical direction, body axis direction) is defined as the Y direction.
- the ophthalmological apparatus of this example is a slit lamp microscope system 1 having a configuration similar to that disclosed in Patent Document 3 (Japanese Patent Application Laid-open No. 2019-213733), and includes an illumination system 2, an imaging system 3, and a video camera system. It includes an imaging system 4, an optical path coupling element 5, a moving mechanism 6, a control section 7, a data processing section 8, a communication section 9, and a user interface 10.
- the cornea of the eye E to be examined is indicated by the symbol C
- the crystalline lens is indicated by the symbol CL.
- the anterior chamber corresponds to the area between the cornea C and the crystalline lens CL (the area between the cornea C and the iris).
- Patent Document 3 Japanese Patent Application Laid-Open No. 2019-213733.
- the combination of the illumination system 2, imaging system 3, and movement mechanism 6 is an example of the image collection unit 1010 of the ophthalmological apparatus 1000 (1500).
- Illumination system 2 is an example of illumination system 1011
- imaging system 3 is an example of imaging system 1012.
- the illumination system 2 projects a slit light onto the anterior segment of the eye E to be examined.
- Reference numeral 2a indicates the optical axis (illumination optical axis) of the illumination system 2.
- the photographing system 3 photographs the anterior segment of the eye onto which the slit light from the illumination system 2 is projected.
- Reference numeral 3a indicates the optical axis (photographing optical axis) of the photographing system 3.
- the optical system 3A guides light from the anterior segment of the subject's eye E onto which the slit light is projected to the image sensor 3B.
- the image sensor 3B receives the light guided by the optical system 3A on its imaging surface.
- the image sensor 3B includes an area sensor (CCD area sensor, CMOS area sensor, etc.) having a two-dimensional imaging area.
- the image sensor 3B is an example of the image sensor 1013 of the ophthalmological apparatus 1000 (1500).
- the illumination system 2 and the photographing system 3 function as a Scheimpflug camera, and are arranged so that the object plane along the illumination optical axis 2a, the optical system 3A, and the imaging surface of the image sensor 3B satisfy Scheimpflug conditions. That is, it is configured such that the YZ plane (including the object plane) passing through the illumination optical axis 2a, the main surface of the optical system 3A, and the imaging surface of the image sensor 3B intersect on the same straight line. Thereby, imaging can be performed in a state where at least the range from the back surface of the cornea C to the front surface of the crystalline lens CL (anterior chamber) is in focus.
- the video shooting system 4 is a video camera, and takes a video of the anterior segment of the eye E to be examined in parallel with the imaging of the eye by the illumination system 2 and the imaging system 3.
- the optical path coupling element 5 couples the optical path of the illumination system 2 (illumination optical path) and the optical path of the video shooting system 4 (video shooting optical path).
- FIG. 19 A specific example of an optical system including the illumination system 2, photographing system 3, video photographing system 4, and optical path coupling element 5 is shown in FIG.
- the optical system shown in FIG. 19 includes an illumination system 20 which is an example of the illumination system 2, and a left photographing system 30L and a right photographing system 30R which are examples of the photographing system 3 (first photographing system 1014 and second photographing system 1015). , a moving image shooting system 40 which is an example of the moving image shooting system 4, and a beam splitter 47 which is an example of the optical path coupling element 5.
- Reference numeral 20a indicates the optical axis (illumination optical axis) of the illumination system 20
- reference numeral 30La indicates the optical axis (left imaging optical axis) of the left imaging system 30L
- reference numeral 30Ra indicates the optical axis (right imaging optical axis) of the right imaging system 30R. axis).
- the angle ⁇ L indicates the angle between the illumination optical axis 20a and the left photographing optical axis 30La
- the angle ⁇ R indicates the angle between the illumination optical axis 20a and the right photographing optical axis 30Ra.
- the moving mechanism 6 moves the illumination system 20, left imaging system 30L, and right imaging system 30R in the direction shown by arrow 49 (X direction).
- the illumination light source 21 of the illumination system 20 outputs illumination light (for example, visible light), and the positive lens 22 refracts the illumination light.
- the slit forming section 23 forms a slit to allow part of the illumination light to pass through.
- the generated slit light is refracted by the objective lens groups 24 and 25, reflected by the beam splitter 47, and projected onto the anterior segment of the eye E to be examined.
- the reflector 31L and the imaging lens 32L of the left imaging system 30L guide light from the anterior segment of the eye onto which the slit light is projected by the illumination system 20 (light traveling in the direction of the left imaging system 30L) to the imaging device 33L. .
- the image sensor 33L receives the guided light at an image pickup surface 34L.
- the left photographing system 30L repeatedly performs photographing in parallel with the movement of the illumination system 20, the left photographing system 30L, and the right photographing system 30R by the moving mechanism 6. As a result, a plurality of anterior segment images (a series of Scheimpflug images) are obtained.
- the object surface along the illumination optical axis 20a, the optical system including the reflector 31L and the imaging lens 32L, and the imaging surface 34L satisfy the Scheimpflug condition.
- the right photographing system 30R also has a similar configuration and function.
- Scheimpflug image collection by the left imaging system 30L and Scheimpflug image collection by the right imaging system 30R are performed in parallel with each other.
- the combination of the series of Scheimpflug images collected by the left imaging system 30L and the series of Scheimpflug images collected by the right imaging system 30R corresponds to the combination of the first Scheimpflug image group and the second Scheimpflug image group. do.
- the control unit 7 can synchronize the repeated imaging by the left imaging system 30L and the repeated imaging by the right imaging system 30R. Thereby, a correspondence relationship between a series of Scheimpflug images obtained by the left imaging system 30L and a series of Scheimpflug images obtained by the right imaging system 30R is obtained. Note that the process of determining the correspondence between the plurality of anterior eye segment images obtained by the left imaging system 30L and the plurality of anterior eye segment images obtained by the right imaging system 30R is performed by the control unit 7 or the data processing unit. 8 may be executed.
- the video shooting system 40 shoots a video of the anterior segment of the eye E from a fixed position in parallel with the shooting by the left shooting system 30L and the shooting by the right shooting system 30R.
- the light transmitted through the beam splitter 47 is reflected by a reflector 48 and enters the moving image shooting system 40.
- the light incident on the moving image photographing system 40 is refracted by an objective lens 41 and then imaged by an imaging lens 42 on an imaging surface of an image sensor 43 (area sensor).
- the video shooting system 40 is used for monitoring the movement of the eye E to be examined, alignment, tracking, processing of collected Scheimpflug images, and the like.
- the moving mechanism 6 moves the illumination system 2 and the photographing system 3 integrally in the X direction.
- the control unit 7 controls each part of the slit lamp microscope system 1.
- the control unit 7 controls the illumination system 2, the imaging system 3, and the moving mechanism 6, and controls the video imaging system 4 in parallel, so that the image acquisition unit 1010 of the ophthalmological apparatus 1000 (1500) Slit scanning (collecting a series of Scheimpflug images) and video shooting (collecting a series of time-series images) can be performed in parallel.
- the control unit 7 synchronizes the slit scan and video shooting by controlling the illumination system 2, the imaging system 3, and the moving mechanism 6, and controlling the video imaging system 4 in synchronization with each other. be able to.
- the control unit 7 controls repeated imaging by the left imaging system 30L (collection of the first Scheimpflug image group) and repeated imaging by the right imaging system 30R (collection of the first Scheimpflug image group). (collection of two Scheimpflug image groups) can be synchronized with each other.
- the control unit 7 includes a processor, a storage device, and the like.
- the storage device stores computer programs such as various control programs.
- the functions of the control unit 7 are realized by cooperation between software such as a control program and hardware such as a processor.
- the control unit 7 controls the illumination system 2, the imaging system 3, and the movement mechanism 6 in order to scan a three-dimensional region of the eye E to be examined with slit light.
- Patent Document 3 Japanese Unexamined Patent Publication No. 2019-213733.
- the data processing unit 8 executes various data processing.
- the data processing unit 8 includes a processor, a storage device, and the like.
- the storage device stores computer programs such as various data processing programs.
- the functions of the data processing section 8 are realized by cooperation between software such as a data processing program and hardware such as a processor.
- the data processing section 8 may have the functions of the image selection section 1110 and/or the evaluation processing section 1030 of the ophthalmological apparatus 1000 (1500).
- the communication unit 9 performs data communication between the slit lamp microscope system 1 and other devices.
- the user interface 10 includes any user interface devices such as a display device and an operation device.
- the slit lamp microscope system 1 shown in FIGS. 18 and 19 is merely an example, and the configuration for implementing the ophthalmologic apparatus 1000 or 1500 is not limited to the slit lamp microscope system 1.
- An ophthalmologic apparatus (1000, 1500) according to one embodiment includes an image collection section (1010) and a control section (1020).
- the image collecting unit includes an optical system (illumination system 1011, photographing system 1012) that satisfies Scheimpflug conditions and projects illumination light onto the subject's eye to take an image with an image sensor (1013).
- the image collection unit collects a series of images (a series of Scheimpflug images) while changing the illumination light projection position and photographing position under the control of the control unit.
- the image collecting section collects a series of images by scanning the subject's eye while maintaining the state in which the optical system satisfies Scheimpflug conditions under the control of the control section.
- the control unit is configured such that the projection time of the illumination light to the eye to be examined is shorter than the exposure time of the image sensor, and at least part of the period of time the illumination light is projected to the eye to be examined and at least part of the exposure period of the image sensor.
- the image collection unit (optical system) is controlled so that the images overlap.
- the ophthalmologic apparatus according to the embodiment contributes to improving the image quality of an ophthalmologic apparatus that uses an imaging method using optical scanning.
- the ophthalmological apparatus according to the embodiment can perform image analysis such as corneal detection and cell detection with high quality.
- the time during which the illumination light is projected onto the eye to be examined can be shortened, so there is an advantage that it does not impose a large burden on the examinee.
- the optical system does not repeatedly start and stop suddenly for scanning, so vibrations caused by this do not occur during scanning, which adversely affects imaging quality. It also has the advantage of not giving any
- An ophthalmologic apparatus (1) includes an illumination system (2), an imaging system (3), a movement mechanism (6), and a control section (7).
- the illumination system is configured to project illumination light onto the eye to be examined.
- the photographing system is configured to photograph the eye to be examined.
- the photographing system includes an image sensor (3B).
- the illumination system and photographing system are configured to satisfy Scheimpflug conditions.
- the moving mechanism is configured to move the illumination system and the imaging system.
- the control unit is configured to control the illumination system, the imaging system, and the movement mechanism to cause the imaging system to collect a series of images.
- control unit controls the projection time of the illumination light to the eye to be examined to be shorter than the exposure time of the image sensor, and At least one of the illumination system and the photographing system is controlled so that at least part of the projection period and at least part of the exposure period of the image sensor overlap.
- the effects of the embodiment with such a configuration include improving the image quality of an ophthalmological device that uses an imaging method using optical scanning, performing image analysis with high quality, and not placing a large burden on the patient. , vibrations that adversely affect shooting quality do not occur.
- control unit controls the imaging system (image collection unit) to repeat exposure of the image sensor in controlling the imaging system (image collection unit) to collect a series of images of the eye to be examined. It may be configured to do so.
- the control unit may further be configured to control the illumination system to modulate the intensity of the illumination light in parallel with the control of the imaging system to repeat the exposure of the image sensor.
- the control unit may further be configured to control the illumination system so that the illumination light is intermittently projected onto the eye to be examined.
- control unit may be configured to perform synchronous control between the illumination system and the imaging system in controlling the imaging system (image collection unit) to collect a series of images of the eye to be examined. .
- the control unit further performs synchronization control between the illumination system and the imaging system so that the total time of the illumination light projection time and non-projection time is equal to the total time of the exposure time and non-exposure time of the image sensor. It may be configured to do so.
- control unit may be configured to control the illumination system (image collection unit) to change the projection time of the illumination light.
- control unit may further be configured to control the illumination system (image collection unit) and change the projection time of the illumination light based on the speed of the illumination system and imaging system moved by the moving mechanism.
- control unit may further be configured to determine the speed of the illumination system and the imaging system to be moved by the moving mechanism based on the imaging mode selected from two or more preset imaging modes. good.
- control unit may be configured to control the illumination system (image acquisition unit) to change the projection time of the illumination light, and further control two or more preset shooting modes.
- the illumination system (image collection unit) may be controlled based on the photographing mode selected from the above, and the projection time of the illumination light may be changed.
- control unit may be configured to control the imaging system (image collection unit) to change the exposure time of the image sensor.
- control unit may further be configured to control the imaging system (image acquisition unit) based on the speed of the illumination system and imaging system moved by the moving mechanism, and change the exposure time of the image sensor.
- control unit may further be configured to determine the speed of the illumination system and the imaging system to be moved by the moving mechanism based on the imaging mode selected from two or more preset imaging modes. good.
- control unit may be configured to control the imaging system (image acquisition unit) to change the exposure time of the image sensor, and further control two or more preset imaging modes.
- the camera may be configured to control the imaging system (image acquisition unit) based on the imaging mode selected from the imaging mode to change the exposure time of the image sensor.
- the ophthalmologic apparatus (1500) may further include an evaluation processing section (1030).
- the evaluation processing unit is configured to generate evaluation information of the eye to be examined based on a series of images of the eye to be examined collected by the imaging system (image collection unit).
- the evaluation processing unit may further be configured to generate evaluation information of floating objects present in the eye to be examined as evaluation information for the eye to be examined.
- the illumination light projected onto the subject's eye by the illumination system may be slit light.
- Embodiments other than ophthalmological devices include a method for controlling an ophthalmological device, a program, a recording medium, and the like. Similar to the embodiments of the ophthalmological device, these embodiments also aim to improve the image quality of an ophthalmological device that uses an imaging method using optical scanning, perform image analysis with high quality, and avoid placing a large burden on the patient. Effects such as the absence of vibrations that adversely affect photographic quality are achieved.
- a method for controlling an ophthalmologic apparatus is a method for controlling an ophthalmologic apparatus including an illumination system, an imaging system, a movement mechanism, and a processor.
- the illumination system projects illumination light onto the eye to be examined, and the imaging system photographs the eye to be examined using an image sensor.
- the illumination system and photographing system are configured to satisfy Scheimpflug conditions.
- the moving mechanism moves the illumination system and the imaging system.
- the method according to the present embodiment causes the processor to execute the following three controls in parallel: (1) Illumination system and imaging to make the illumination light projection time to the subject's eye shorter than the exposure time of the image sensor; Control of at least one of the systems; (2) Control of at least one of the illumination system and the imaging system so that at least part of the period of illumination light projected onto the eye to be examined overlaps with at least part of the exposure period of the image sensor; (3) Control of the illumination system, imaging system, and movement mechanism in order to cause the imaging system to collect a series of images of the eye to be examined.
- a method for controlling an ophthalmologic apparatus is a method for controlling an ophthalmologic apparatus including an image acquisition unit and a processor.
- the image collection unit includes an optical system that projects illumination light onto the eye to be examined and photographs the eye with an image sensor, which satisfies Scheimpflug conditions.
- the image collection unit further collects a series of images while changing the illumination light projection position and photographing position. In other words, the image collecting unit collects a series of images by scanning the subject's eye while maintaining the state in which the optical system satisfies Scheimpflug conditions.
- the program according to the present embodiment causes the processor to execute the following two controls in parallel in order to cause the image collection unit to collect a series of images of the eye to be examined: (1) the time period for which illumination light is projected onto the eye to be examined; Control of the image collection unit (optical system) to make the exposure time shorter than the exposure time of the image sensor; (2) Overlap at least part of the period of illumination light projection onto the eye to be examined and at least part of the exposure period of the image sensor; Control of the image acquisition unit (optical system) for
- a program is a program that causes a computer to control an ophthalmologic apparatus.
- the ophthalmologic apparatus includes an illumination system, an imaging system, and a movement mechanism.
- the illumination system projects illumination light onto the eye to be examined, and the imaging system photographs the eye to be examined using an image sensor.
- the illumination system and photographing system are configured to satisfy Scheimpflug conditions.
- the moving mechanism moves the illumination system and the imaging system.
- the program according to this embodiment causes the computer to execute the following three controls in parallel: (1) Illumination system and imaging to make the projection time of illumination light to the subject's eye shorter than the exposure time of the image sensor; Control of at least one of the systems; (2) Control of at least one of the illumination system and the imaging system so that at least part of the period of illumination light projected onto the eye to be examined overlaps with at least part of the exposure period of the image sensor; (3) Control of the illumination system, imaging system, and movement mechanism in order to cause the imaging system to collect a series of images of the eye to be examined.
- a program is a program that causes a computer to control an ophthalmologic apparatus.
- the ophthalmological device includes an image acquisition section.
- the image collection unit includes an optical system that projects illumination light onto the eye to be examined and photographs the eye with an image sensor, which satisfies Scheimpflug conditions.
- the image collection unit further collects a series of images while changing the illumination light projection position and photographing position. In other words, the image collecting unit collects a series of images by scanning the subject's eye while maintaining the state in which the optical system satisfies Scheimpflug conditions.
- the program according to the present embodiment causes the computer to execute the following two controls in parallel in order to cause the image collection unit to collect a series of images of the eye to be examined: (1) the time of illumination light projection to the eye to be examined; Control of the image collection unit (optical system) to make the exposure time shorter than the exposure time of the image sensor; (2) Overlap at least part of the period of illumination light projection onto the eye to be examined and at least part of the exposure period of the image sensor; Control of the image acquisition unit (optical system) for
- the recording medium is a computer-readable non-temporary recording medium in which a program for causing a computer to control an ophthalmological apparatus is recorded.
- the ophthalmologic apparatus includes an illumination system, an imaging system, and a movement mechanism.
- the illumination system projects illumination light onto the eye to be examined, and the imaging system photographs the eye to be examined using an image sensor.
- the illumination system and photographing system are configured to satisfy Scheimpflug conditions.
- the moving mechanism moves the illumination system and the imaging system.
- the program recorded on the recording medium causes the computer to execute the following three controls in parallel: (1) make the projection time of illumination light on the subject's eye shorter than the exposure time of the image sensor; (2) Control of at least one of the illumination system and the imaging system for the purpose of overlapping at least a part of the illumination light projection period to the eye to be examined and at least a part of the exposure period of the image sensor; Control of at least one of the systems; (3) Control of the illumination system, the imaging system, and the movement mechanism in order to cause the imaging system to collect a series of images of the eye to be examined.
- the recording medium is a computer-readable non-temporary recording medium in which a program for causing a computer to control an ophthalmological apparatus is recorded.
- the ophthalmological device includes an image acquisition section.
- the image collection unit includes an optical system that satisfies Scheimpflug conditions for projecting illumination light onto the eye to be examined and photographing the eye using an image sensor.
- the image collection unit further collects a series of images while changing the illumination light projection position and photographing position. In other words, the image collecting unit collects a series of images by scanning the subject's eye while maintaining the state in which the optical system satisfies Scheimpflug conditions.
- the program recorded on the recording medium causes the computer to execute the following two controls in parallel in order to cause the image collection unit to collect a series of images of the eye to be examined: (1) the eye to be examined; (2) Control of the image collection unit (optical system) to make the projection time of the illumination light shorter than the exposure time of the image sensor; Control of the image acquisition unit (optical system) to overlap at least a portion of the image.
- the computer-readable non-temporary recording medium that can be used as the recording medium according to the embodiments may be any type of recording medium, such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory. It may be any type of recording medium, such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory. It may be any type of recording medium, such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory. It may be any type of recording medium, such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory. It may be any type of recording medium, such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory. It may be any type of recording medium, such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory. It may be any type of recording medium, such as a magnetic disk, an optical disk,
- any of the items described in the ophthalmological device embodiments can be combined in non-ophthalmological device embodiments.
- any of the items described above as optional aspects of the ophthalmologic apparatus according to the embodiments can be combined with the embodiment of the ophthalmologic apparatus control method, the program embodiment, the recording medium embodiment, and the like.
- any of the matters described in the present disclosure can be combined with an embodiment of a method for controlling an ophthalmologic apparatus, an embodiment of a program, an embodiment of a recording medium, and the like.
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Eye Examination Apparatus (AREA)
Abstract
一実施形態に係る眼科装置は、照明系、撮影系、移動機構、及び制御部を含む。照明系は、被検眼に照明光を投射する。撮影系は、被検眼を撮影する。撮影系は、撮像素子を含む。照明系及び撮影系は、シャインプルーフの条件を満足するように構成されている。移動機構は、照明系及び撮影系を移動する。制御部は、照明系、撮影系、及び移動機構の制御を行って撮影系に一連の画像を収集させる。制御部は、被検眼の一連の画像を撮影系に収集させるための制御において、被検眼に対する照明光の投射時間が撮像素子の露光時間よりも短くなるように、且つ、被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とが重複するように、照明系及び撮影系の少なくとも一方を制御する。
Description
本発明は、眼科装置、眼科装置を制御する方法、プログラム、及び記録媒体に関する。
眼科分野において画像診断は重要な位置を占める。眼科画像診断では、各種の眼科装置が用いられる。眼科装置には、スリットランプ顕微鏡、眼底カメラ、走査型レーザー検眼鏡(SLO)、光干渉断層計(OCT)などがある。また、レフラクトメータ、ケラトメータ、眼圧計、スペキュラーマイクロスコープ、ウェーブフロントアナライザ、マイクロペリメータなどの各種の検査装置や測定装置にも、前眼部や眼底を撮影する機能が搭載されている。
これら様々な眼科装置のうち最も広く且つ頻繁に使用される装置の1つが、眼科医にとっての聴診器とも呼ばれるスリットランプ顕微鏡である。スリットランプ顕微鏡は、スリット光で被検眼を照明し、照明された断面を側方から顕微鏡で観察したり撮影したりするための眼科装置である(例えば、特許文献1、2を参照)。また、シャインプルーフの条件を満足するように構成された光学系を用いることにより被検眼の3次元領域を高速でスキャンすることが可能なスリットランプ顕微鏡も知られている(例えば、特許文献3を参照)。なお、スリットランプ顕微鏡の他にも、スリット光で対象物をスキャンする撮像方式としてはローリングシャッターカメラなどが知られている。
本発明の1つの目的は、光スキャンを用いた撮像方式の眼科装置の画質向上を図ることにある。
例示的な実施形態に係る眼科装置は、照明系、撮影系、移動機構、及び制御部を含む。照明系は、被検眼に照明光を投射する。撮影系は、被検眼を撮影する。撮影系は、撮像素子を含む。照明系及び撮影系は、シャインプルーフの条件を満足するように構成されている。移動機構は、照明系及び撮影系を移動する。制御部は、照明系、撮影系、及び移動機構の制御を行って撮影系に一連の画像を収集させる。制御部は、被検眼の一連の画像を撮影系に収集させるための制御において、被検眼に対する照明光の投射時間が撮像素子の露光時間よりも短くなるように、且つ、被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とが重複するように、照明系及び撮影系の少なくとも一方を制御する。
例示的な実施形態によれば、光スキャンを用いた撮像方式の眼科装置の画質向上を図ることができる。
実施形態の幾つかの例示的な態様について、図面を参照しながら詳細に説明する。
本開示に係るいずれかの態様に任意の公知技術を組み合わせることができる。例えば、本明細書で引用する文献に開示されている任意の事項を、本開示に係るいずれかの態様に組み合わせることができる。更に、本開示に関連する技術分野における任意の公知技術を、本開示に係るいずれかの態様に組み合わせることができる。
特許文献3(特開2019-213733号公報)に開示されている全ての内容は、参照によって本開示に援用される。また、本開示に関連する技術について本願の出願人により開示された任意の技術事項(特許出願、論文などにおいて開示された事項)を、本開示に係るいずれかの態様に組み合わせることができる。
本開示に係る様々な態様のうちのいずれか2つ以上の態様を、少なくとも部分的に組み合わせることが可能である。
本開示において説明される要素の機能の少なくとも一部は、回路構成(circuitry)又は処理回路構成(processing circuitry)を用いて実装される。回路構成又は処理回路構成は、開示された機能の少なくとも一部を実行するように構成及び/又はプログラムされた、汎用プロセッサ、専用プロセッサ、集積回路、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)、従来の回路構成、及びそれらの任意の組み合わせのいずれかを含む。プロセッサは、トランジスタ及び/又は他の回路構成を含む、処理回路構成又は回路構成とみなされる。本開示において、回路構成、ユニット、手段、又はこれらに類する用語は、開示された機能の少なくとも一部を実行するハードウェア、又は、開示された機能の少なくとも一部を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されたハードウェアであってよく、或いは、記載された機能の少なくとも一部を実行するようにプログラム及び/又は構成された既知のハードウェアであってもよい。ハードウェアが或るタイプの回路構成とみなされ得るプロセッサである場合、回路構成、ユニット、手段、又はこれらに類する用語は、ハードウェアとソフトウェアとの組み合わせであり、このソフトウェアはハードウェア及び/又はプロセッサを構成するために使用される。
<実施形態の背景>
実施形態は、シャインプルーフの条件を満足する光学系を移動しつつ画像収集を行う眼科イメージングの向上を図るものである。従来の技術では、図1に示す動作態様で画像収集が行われる。図1に示す動作態様は、光源の発光(照明光の出力、被検眼に対する照明光の投射)と、カメラの露光(撮影)と、スキャン位置(移動される光学系の位置)との連係的な制御(同期制御)を示している。より具体的には、図1に示す動作態様は、照明光の連続的な発光と、カメラによる反復的な撮影(露光)と、スキャン開始位置からスキャン終了位置までの光学系の連続的な移動とを組み合わせたものである。カメラの反復的な露光は、露光と電荷転送(及び露光待機)とを交互に繰り返すことによって行われる。
実施形態は、シャインプルーフの条件を満足する光学系を移動しつつ画像収集を行う眼科イメージングの向上を図るものである。従来の技術では、図1に示す動作態様で画像収集が行われる。図1に示す動作態様は、光源の発光(照明光の出力、被検眼に対する照明光の投射)と、カメラの露光(撮影)と、スキャン位置(移動される光学系の位置)との連係的な制御(同期制御)を示している。より具体的には、図1に示す動作態様は、照明光の連続的な発光と、カメラによる反復的な撮影(露光)と、スキャン開始位置からスキャン終了位置までの光学系の連続的な移動とを組み合わせたものである。カメラの反復的な露光は、露光と電荷転送(及び露光待機)とを交互に繰り返すことによって行われる。
このような従来の眼科イメージング技術においては、カメラの露光中のスキャン位置の移動や、被検眼の眼球運動によって、ぼやけた像が得られることがある。像のぼやけは、画像品質を劣化させるだけでなく、角膜検出や細胞検出などの画像解析の品質にも悪影響を与える。
この問題を解消するためにカメラの露光時間を短くすることが考えられるが、露光中でない間にも被検眼に照明光が連続的に投射されるため、被検者に大きな負担を与えてしまう。また、スキャン位置の移動制御とカメラの露光制御とを同期することによって、スキャン位置の移動を階段状に行うこと、つまり光学系の移動を断続的に行うことも考えられるが、光学系の急発進及び急停止の繰り返しが振動を生じ、撮影品質に悪影響を与えてしまう。
<実施形態の概要>
本開示に係る実施形態は、少なくともこのような背景に基づき創出されたものであり、被検眼に対する照明光の投射時間がカメラ(撮像素子)の露光時間よりも短くなるように制御を行うように構成される。この制御は、被検眼に照明光を投射する光学系(照明系)の制御、及び/又は、撮像素子によって被検眼を撮影する光学系(撮影系)の制御を含んでいる。
本開示に係る実施形態は、少なくともこのような背景に基づき創出されたものであり、被検眼に対する照明光の投射時間がカメラ(撮像素子)の露光時間よりも短くなるように制御を行うように構成される。この制御は、被検眼に照明光を投射する光学系(照明系)の制御、及び/又は、撮像素子によって被検眼を撮影する光学系(撮影系)の制御を含んでいる。
照明系の制御は、任意の方式の制御であってよく、例えば、光源の制御(点灯/消灯)や電子シャッターの制御などの電気的制御でもよいし、機械式シャッターの制御や回転式シャッターの制御などの機械的制御でもよいし、電気的制御と機械的制御との組み合わせでもよい。なお、これらのシャッターは、照明系に設けられており、光源から出力された照明光の通過と遮蔽とを切り替えるように(つまり、被検眼に対する照明光の投射と不投射とを切り替えるように)構成されている。
照明系の制御は、被検眼に対して照明光が投射されている状態(投射状態)と投射されていない状態(不投射状態)とを切り替えるための制御に限定されず、被検眼に投射される照明光の強度(光量)を変調するための制御であってよい。なお、投射状態と不投射状態との切り替えは、被検眼に投射される照明光の強度を正値とゼロとに切り替えることに相当する。一方、強度変調は、被検眼に投射される照明光の強度を、互いに異なる第1の値と第2の値とに切り替えることに相当する。ここで、第1の値及び第2の値はいずれも非負値であり、第1の値及び第2の値の一方又は双方は正値である。したがって、投射状態と不投射状態との切り替えは、強度変調の例に相当する。
撮影系の制御は、任意の方式の制御であってよく、例えば、撮像素子の制御や電子シャッターの制御などの電気的制御でもよいし、機械式シャッターの制御や回転式シャッターの制御などの機械的制御でもよいし、電気的制御と機械的制御との組み合わせでもよい。
実施形態は、シャインプルーフの条件を満足する照明系及び撮影系を移動させながら被検眼を複数回撮影することによって一連のデジタル画像(シャインプルーフ画像と呼ぶ)を生成する技術に関するものであり、この一連のシャインプルーフ画像を収集するために、被検眼に対する照明光の投射時間が撮影系(撮像素子)の露光時間よりも短くなるように照明系及び撮影系の少なくとも一方を制御するように構成されている。
照明光の投射時間及び撮像素子の露光時間の双方が可変である場合、実施形態は、照明系のみを制御することによって固定又はプリセットの露光時間よりも投射時間を短くするように構成されてもよいし、撮影系のみを制御することによって固定又はプリセットの投射時間よりも露光時間を長くするように構成されてもよいし、照明系及び撮影系の双方を制御することによって投射時間を露光時間よりも短くなるように(換言すると、露光時間を投射時間よりも長くするように)構成されてもよい。
照明光の投射時間が可変であり且つ撮像素子の露光時間が固定又はプリセットである場合、実施形態は、照明系を制御することによって投射時間を露光時間よりも短くするように構成される。逆に、照明光の投射時間が固定又はプリセットであり且つ撮像素子の露光時間が可変である場合、実施形態は、撮影系を制御することによって露光時間を投射時間よりも長くするように構成される。
実施形態は、被検眼に照明光が投射されている期間(投射期間)の長さ(投射時間)が、撮像素子が光を受けることが可能な期間(露光期間)の長さ(露光時間)よりも短くなるように制御を行うことに加えて、投射期間の少なくとも一部と露光期間の少なくとも一部とが重複するように制御を行うように構成される。
このような制御に基づく動作態様の例を図2に示す。図2の動作態様は、図1に示す従来の動作態様と同様に、光源の発光と、カメラの露光と、スキャン位置との連係的な制御(同期制御)を示すものであるが、照明光を連続発光する図1に示す動作態様とは異なり、照明光を断続的に出力(パルス発光)している。図2に示す照明光の発光(投射)のシーケンス(時系列に並ぶ複数回の発光)と、カメラの露光のシーケンス(時系列に並ぶ複数回の露光)とが、互いに同期されている。
照明光のシーケンスにおけるそれぞれの発光の期間が投射期間に相当し、その長さが投射時間に相当する。同様に、露光のシーケンスにおけるそれぞれの露光の期間が露光期間に相当し、その長さが露光時間に相当する。投射時間は一定でも非一定でもよい。露光時間は一定でも非一定でもよい。
図2の動作態様では、露光のシーケンスにおける各露光期間について、その露光期間の一部の期間と1つの投射期間とが一致している。すなわち、露光のシーケンスにおける各露光期間について、その露光期間の長さ(露光時間)よりも投射期間の長さ(投射時間)が短くなっており、且つ、この露光期間の一部とこの投射期間の全体とが重複している。
このような図2の動作態様を採用することで、露光のシーケンスにおける各露光期間において、その露光期間よりも短い投射期間にのみ実質的に露光(撮像素子による受光、電荷蓄積)が行われるため、露光中のスキャン位置の移動や眼球運動に起因する像のぼやけを、従来の眼科イメージング技術よりも低減することができる。したがって、従来の眼科イメージング技術よりも高い品質の画像を提供することが可能になる。また、従来の眼科画像解析技術よりも高い品質で角膜検出や細胞検出などの画像解析を行うことが可能になる。しかも、被検眼に照明光が投射されている時間を短くすることができるため、被検者に大きな負担を与えることもない。更に、光学系の急発進及び急停止を繰り返すことが無いため、それに起因する振動がスキャン中に発生することがなく、撮影品質に悪影響を与えることもない。
以上に概要を説明した実施形態について幾つかの例示的な態様を説明する。以下に説明する例示的な態様は、眼科装置の態様、眼科装置を制御する方法の態様、プログラムの態様、記録媒体の態様などであるが、実施形態の態様はこれらに限定されるものではない。
<眼科装置>
実施形態に係る眼科装置の幾つかの例示的な態様を提供する。
実施形態に係る眼科装置の幾つかの例示的な態様を提供する。
実施形態の一態様に係る眼科装置の構成を図3に示す。本例の眼科装置1000は、画像収集部1010と、制御部1020とを含んでいる。
画像収集部1010は、被検眼のシャインプルーフ画像を収集する。画像収集部1010は、被検眼に照明光を投射して撮像素子で撮影を行うシャインプルーフの条件を満足する光学系を含んでおり、照明光の投射位置及び撮影位置を変えつつ一連のシャインプルーフ画像を収集する。つまり、画像収集部1010は、スキャン位置(照明光の投射位置及び撮影位置)を移動しつつ一連のシャインプルーフ画像を収集する。換言すると、画像収集部1010は、光学系がシャインプルーフの条件を満足している状態を維持しつつ被検眼をスキャンすることによって一連のシャインプルーフ画像を収集する。このような画像収集部1010の幾つかの構成例を図4A~図4Cに示す。
図4Aに示す画像収集部1010Aについて説明する。画像収集部1010Aは、照明系1011及び撮影系1012を含む。照明系1011は、被検眼に照明光を投射するように構成されている。照明光は、スリット光であってよい。スリット光は、例えば、所定形状のスリット(細隙)を形成する機構又は他の機構によってビーム断面形状が画成された光である。撮影系1012は、被検眼の撮影を行うように構成されており、撮像素子1013と、被検眼からの光を撮像素子1013に導く光学系(図示せず)とを含んでいる。
照明系1011と撮影系1012とは、シャインプルーフの条件を満足するように構成されており、シャインプルーフカメラとして機能する。より具体的には、照明系1011の光軸を通る平面(物面を含む平面)と、撮影系1012の主面と、撮像素子1013の撮像面とが、同一の直線上にて交差するように、照明系1011及び撮影系1012が構成されている。シャインプルーフの条件を満足した照明系1011及び撮影系1012を用いることにより、物面内の全ての位置(照明系1011の光軸に沿う方向における全ての位置)に撮影系1012のピントが合った状態で撮影を行うことができる。
幾つかの例示的な態様において、図4Aに示す画像収集部1010Aは、被検眼の3次元領域を照明光(例えばスリット光)でスキャンして一連のシャインプルーフ画像を収集するように構成されている。本例の画像収集部1010Aは、被検眼の3次元領域に対するスリット光の投射位置を移動しながら繰り返し撮影を行うことによって一連のシャインプルーフ画像を収集するように構成されている。
幾つかの例示的な態様において、画像収集部1010Aは、スリット光の長手方向に直交する方向にスリット光を平行移動することによって被検眼の3次元領域をスキャンするように構成されてよい。このようなスキャン態様は、スリット光を回転させて前眼部をスキャンする従来の前眼部撮影装置のそれとは異なっている。
スリット光の長手方向は、被検眼への投射位置におけるスリット光のビーム断面の長手方向、換言すると、被検眼上に形成されたスリット光の像の長手方向であり、被検者の体軸に沿う方向(体軸方向)に略一致していてよい。長手方向におけるスリット光の寸法は、任意であってよい。幾つかの例示的な態様において、長手方向におけるスリット光の寸法は、被検体の体軸方向における角膜径以上であってよく、且つ、スリット光の平行移動の距離は、被検体の体軸方向に直交する方向における角膜径以上であってよい。なお、適用される撮影モードに応じてスリット光の条件(長さ、幅など)を変更することが可能であってもよい。
本例の画像収集部1010Aにより収集された一連のシャインプルーフ画像は、時間的に連続して(時系列に沿って)収集された画像群(フレーム群)ではあるが、被検眼の3次元領域における異なる複数の位置から逐次に収集された画像群であるから、一般的な動画像とは異なり、空間的に分布する画像群である。
本例の画像収集部1010Aにおいて、照明系1011は、スリット光を被検眼の3次元領域に投射し、撮影系1012は、照明系1011からのスリット光が投射されている被検眼の3次元領域を撮影する。更に、本例の画像収集部1010Aは、照明系1011及び撮影系1012がシャインプルーフの条件を満足している状態を維持しつつ被検眼をスキャンすることによって、被検眼の3次元領域を表す一連のシャインプルーフ画像を収集する。
画像収集部1010により実行されるスキャンにおいて被検眼に対するスキャン位置を移動するために、本例の画像収集部1010Aは、例えば、照明系1011及び撮影系1012を移動するための機構(移動機構)、又は、他の機構を含んでいてよい。移動機構以外の機構としては、例えば、照明光(スリット光)を偏向することによって照明位置を移動する機構(照明スキャナー、可動照明ミラー)、被検眼から撮像素子に向かう光を偏向することによって撮影位置を移動する機構(撮影スキャナー、可動撮影ミラー)などがある。
本例の画像収集部1010Aが適用された眼科装置1000の制御部1020は、被検眼に対するスリット光の投射時間が撮像素子1013の露光時間よりも短くなるように、且つ、被検眼に対するスリット光の投射期間の少なくとも一部と撮像素子1013の露光期間の少なくとも一部とが重複するように、画像収集部1010Aの制御を実行する。この画像収集部1010Aの制御は、照明系1011の制御及び撮影系1012の制御のいずれか一方又は双方を含んでいる。
更に、本例の画像収集部1010Aが適用された眼科装置1000の制御部1020は、一連のシャインプルーフ画像を画像収集部1010A(撮影系1012)に収集させるための制御において、撮像素子1013の露光を反復するための撮影系1012の制御を実行するように構成されてもよい。この反復的な露光におけるそれぞれの露光は、1枚のシャインプルーフ画像に相当する。
前述した図2の動作態様には、反復的な露光の例が示されている(「カメラの露光」)。このような反復的な露光により、一連のシャインプルーフ画像が収集される。図2の動作態様では、照明光として複数のパルス光が用いられているが、照明光はこれに限定されない。
例えば、照明光として連続光を用いるとともに、撮影系1012にシャッターを設け、制御部1020によりシャッターの開閉を高速で切り替えることによって、反復的な露光を実現することができる。本例のメリットは、低コストであること、制御が容易であることなどである。また、眼内に存在する浮遊物のイメージングを目的とする場合には、比較的大きな光量の光源が用いられるが、大光量光源のパルス制御(パルス駆動)を高い精度で行うことは難しいため、本例は有利と考えられる。ただし、連続光を照明光に使用するため、被検者への負担が大きくなるというデメリットがある。特定の患者に本例を適用しようとする者は、本例のメリットとデメリットとを比較対照するとともに、検査の必要性などを勘案することによって、本例を適用するか否か検討することが望ましいと考えられる。
制御部1020は、撮像素子1013の露光を反復するための撮影系1012の制御と並行して、照明光の強度を変調するための照明系1011の制御を実行するように構成されてもよい。
幾つかの例において、制御部1020は、図2の動作態様のように、照明光のオン/オフ(投射/不投射)を繰り返すように(つまり、被検眼に照明光が断続的に投射されるように)照明系1011の制御を実行する。
他の幾つかの例において、制御部1020は、照明光の強度を、互いに異なる2つの値に切り替えるように照明系1011の制御を実行する。これら2つの値はいずれも正値である。更に他の幾つかの例では、制御部1020は、照明光の強度を、互いに異なる3つ以上の値に切り替えるように照明系1011の制御を実行してもよい。
制御部1020は、一連のシャインプルーフ画像を画像収集部1010に収集させるための制御において、照明系1011と撮影系1012との同期制御を実行するように構成されてもよい。つまり、制御部1020は、照明系1011の制御と撮影系1012の制御とを同期的に実行することによって、画像収集部1010に一連のシャインプルーフ画像を収集させることができる。この同期制御は、照明系1011の制御に対して撮影系1012の制御を同期させてもよいし、撮影系1012の制御に対して照明系1011の制御を同期させてもよいし、特定の動作に対して照明系1011の制御及び撮影系1012の制御を同期させてもよい。この特定の動作は、例えば、照明系1011及び撮影系1012を移動する移動機構の動作であってよい。
このような同期制御により、一連のシャインプルーフ画像を収集するための制御を高い精度で行うことが可能になる。すなわち、このような同期制御により、被検眼に対する照明光の投射時間を撮像素子1013の露光時間よりも短くするための制御を高い精度で行いつつ、被検眼に対する照明光の投射期間の少なくとも一部と撮像素子1013の露光期間の少なくとも一部とを重複させるための制御を高い精度で行うことが可能になる。例えば、このような同期制御により、図2の動作態様のようなスキャンを高い精度で行うことができる。
照明系1011と撮影系1012との同期制御を実行する場合において、制御部1020は、照明光の投射時間が撮像素子1013の露光時間よりも短くなるように、且つ、照明光の投射時間及び不投射時間の合計時間と、撮像素子1013の露光時間及び不露光時間の合計時間とが等しくなるように、照明系1011と撮影系1012との同期制御を実行してもよい。
ここで、照明光の投射時間は、照明光が被検眼に投射されている期間(投射期間)の長さであり、例えば、パルス制御される照明光源が点灯している期間の長さ(1回の点灯の期間の長さ)、又は、照明光源からの連続光を断続的に通過させるシャッターが開いている期間の長さ(1回のシャッター開状態の期間の長さ)であってよい。また、照明光の不投射時間は、照明光が被検眼に投射されていない期間(不投射期間)の長さであり、例えば、パルス制御される照明光源が消灯している期間の長さ(1回の消灯の期間の長さ)、又は、照明光源からの連続光を断続的に通過させるシャッターが閉じている期間の長さ(1回のシャッター閉状態の期間の長さ)であってよい。
撮像素子1013の露光時間は、撮像素子1013が光を受けることが可能な期間(露光期間)の長さであり、撮像素子1013の不露光時間は、撮像素子1013が光を受けることが可能ではない期間(不露光期間)の長さである。不露光期間において、撮像素子1013は、電荷の転送、露光の待機などの動作を実行する。
図2の動作態様では、光源の発光の動作態様を表す矩形パルス列における1つの上辺(頂辺)が投射期間を表し、その長さが投射時間を表している。更に、光源の発光の動作態様を表す矩形パルス列における1つの下辺(底辺)が不投射期間を表し、その長さが不投射時間を表している。また、カメラの露光の動作態様を表す矩形パルス列における1つの上辺(頂辺)が露光期間を表し、その長さが露光時間を表している。更に、カメラの露光の動作態様を表す矩形パルス列における1つの下辺(底辺)が不露光期間を表し、その長さが不露光時間を表している。
照明系1011と撮影系1012との同期制御を、投射時間が露光時間よりも短くなるように、且つ、投射時間及び不投射時間の合計時間と露光時間及び不露光時間の合計時間とが等しくなるように実行することにより、図2に示す例示するような動作態様(つまり、投射時間が露光時間よりも短く、且つ、投射期間の少なくとも一部と露光期間の少なくとも一部とが重複したスキャン)を高い精度で行うことが可能になる。
制御部1020は、被検眼に対する照明光の投射時間を変更するための照明系1011の制御を実行するように構成されていてもよい。この投射時間変更制御は、例えば、パルス制御される照明光源に印可する制御パルス信号の周波数を変更する光源制御、又は、照明光源からの連続光を断続的に通過させるシャッターの開閉周波数を変更するシャッター制御を含んでいる。投射時間変更制御を採用することにより、被検眼や検査種別やカメラ(撮像素子1013)などに関する各種の条件に応じて照明光の投射時間を設定することが可能になる。
制御部1020は、画像収集部1010により実行されるスキャンのスピード(速さ)に基づいて投射時間変更制御を実行するように構成されていてもよい。すなわち、制御部1020は、画像収集部1010により実行されるスキャンにおける、被検眼に対するスキャン位置の移動スピードに基づいて投射時間変更制御を実行するように構成されていてもよい。
幾つかの例示的な態様では、制御部1020は、前述した移動機構により移動される照明系1011及び撮影系1012のスピードに基づき照明系1011を制御して照明光の投射時間を変更するように構成されていてもよい。換言すると、幾つかの例示的な態様の制御部1020は、移動機構に対する制御の内容に応じて投射時間変更制御を実行するように構成されていてもよい。
また、幾つかの例示的な態様では、移動機構以外の機構(前述した、照明スキャナー、可動照明ミラー、撮影スキャナー、可動撮影ミラーなど)に対する制御の内容に応じて投射時間変更制御を実行するように構成されていてもよい。
スキャンスピードに基づく投射時間変更制御を採用することにより、スキャンスピードに適合した照明光の投射時間を設定してシャインプルーフ画像収集を実行することが可能になる。
制御部1020は、適用される撮影モードに応じて投射時間変更制御を実行するように構成されていてもよい。例えば、制御部1020は、適用される撮影モードに基づいて、被検眼に対するスキャン位置の移動スピード(例えば、移動機構により移動される照明系1011及び撮影系1012のスピード)を決定するように構成されていてもよい。
撮影モードは、検査(撮影、スキャン)の種別ごとの動作内容を予め設定したものである。準備される撮影モードの個数は任意(1つ以上)であるが、本例では2つ以上の撮影モードが準備されるものとする。ユーザー又は制御部1020は、準備された2つ以上の撮影モードのうちから、被検眼に適用される撮影モードを選択する。選択される撮影モードの個数は任意(1つ以上)であってよい。2つ以上の撮影モードが選択された場合には、例えば、選択された2つ以上の撮影モードに対応する2回以上のスキャンが逐次に被検眼に適用される。
本例の眼科装置1000は、複数の撮影モードが記録された撮影モード情報を、例えば制御部1020内の記憶装置に保持している。或いは、本例の眼科装置1000は、外部装置に格納されている撮影モード情報を参照することが可能である。
撮影モード情報の例を図5に示す。本例の撮影モード情報1200には、撮影モードとして、前眼部形状撮影モード、炎症細胞撮影モード、眼内レンズ(IOL)撮影モード、及び、眼内コンタクトレンズ(ICL)撮影モードが設けられている。なお、撮影モードの種類はこれらに限定されない。
また、本例の撮影モード情報1200には、撮影動作の種類、つまりスキャンに関するパラメータの種類として、照明制御パルス高、照明制御パルス幅、及びスキャン範囲が設けられている。照明制御パルス高は、パルス制御される照明光源に印可される制御パルス信号における各パルスの高さである。照明制御パルス幅は、パルス制御される照明光源に印可される制御パルス信号における各パルスの幅である。スキャン範囲は、スキャンにおける照明光の移動距離である。本例の撮影モード情報1200は、パルス制御される照明光源(パルス光を発する照明光源)が使用される場合に適用されるものであるが、他の場合においても同様のパラメータを設けられることは当業者であれば理解することができるであろう。
前眼部形状撮影モードは、角膜、隅角、虹彩、水晶体などの前眼部組織の形状を観察・解析するために使用される撮影モードである。前眼部形状撮影モードでは、前眼部の広い範囲にわたって画像を収集するために、スキャン範囲は比較的大きく設定されている(20ミリメートル)。また、角膜での光反射が大きいこと、スキャンスピードが早いことなどを考慮して、照明制御パルス高は比較的大きく設定されており(0.1ミリワット)、照明制御パルス幅は比較的小さく設定されている(10ミリ秒)。
炎症細胞撮影モードは、前房内に存在する炎症細胞(前房セル)を観察・解析するために使用される撮影モードである。炎症細胞撮影モードでは、炎症細胞による光反射が小さいこと、炎症細胞は前房内を浮遊しており動きを伴うことなどを考慮して、照明制御パルス高は比較的大きく設定されており(1ミリワット)、照明制御パルス幅は十分に小さく設定されている(5ミリ秒)。スキャン範囲については、比較的小さく設定されている(2ミリメートル)。
IOL撮影モードは、被検眼に移植された眼内レンズを観察・解析するために使用される撮影モードである。IOL撮影モードでは、瞳孔や角膜に対する眼内レンズの位置を正確に求めることが要求されること、眼内レンズによる光反射は比較的小さいことなどを考慮して、照明制御パルス高は比較的小さく設定されており(0.1ミリワット)、照明制御パルス幅は中程度に設定されている(20ミリ秒)。また、IOL撮影モードでは、虹彩の後方に位置する眼内レンズを瞳孔を介して撮影するため、瞳孔の範囲を十分にカバーできるようにスキャン範囲は比較的大きく設定されている(15ミリメートル)。
ICL撮影モードは、被検眼に移植された眼内コンタクトレンズを観察・解析するために使用される撮影モードである。ICL撮影モードでは、眼内コンタクトレンズの中心部に形成されたホールを撮影することが要求されること、その位置を高い精度で検出するために狭いスキャン間隔が要求されること、眼内コンタクトレンズ自体が移動するものではなくことなどを考慮して、照明制御パルス幅は大きく設定されており(30ミリ秒)、それに応じて照明制御パルス高は比較的小さく設定されている(0.1ミリワット)。スキャン範囲については中程度に設定されている(10ミリメートル)。
このような撮影モード情報1200を参照することにより、制御部1020は、選択された撮影モードに対応するパラメータ値(照明制御パルス高の値、照明制御パルス幅の値、スキャン範囲の値)を特定することができる。
制御部1020は、撮影モードに応じてスキャンスピードを決定するように構成されていてもよい。例えば、制御部1020は、予め設定された2つ以上の撮影モードから選択された撮影モードに基づいてスキャンスピードを決定するように構成されていてもよい。幾つかの例示的な態様において、制御部1020は、撮影モード情報1200を参照して特定されたパラメータ値に基づいてスキャンスピードを決定するように構成されていてもよい。
スキャンスピードを決定する処理の例を説明する。前提として、ヒトが瞬目を我慢できる時間(眼を開け続けていられる時間)には限度がある。この限度時間を「T0」とする。限度時間T0は、既定値でもよいし、被検者(被検眼)ごとに設定された値でもよい。更に、スキャンに掛ける時間(スキャン時間)、つまりスキャン開始からスキャン終了までの時間を「ST」とする。スキャン時間STは、限度時間T0又はそれ未満に設定される(ST≦T0)。撮影モード情報1200には、撮影モードごとのスキャン範囲が設定されている。任意の撮影モードに対応するスキャン範囲を「SD」とする。この撮影モードに対応するスキャンスピードを「SS」とする。このとき、スキャンスピードSSを次式により決定することができる:SS=SD/ST。
このような前提及び演算によって、各撮影モードに対応するスキャンスピードを決定することができる。撮影モード情報は、この要領で決定されたスキャンスピードの値を含んでいてもよい。図6に示す撮影モード情報1210は、図5の撮影モード情報1200にスキャンスピードを付加したものである。撮影モード情報1210における各撮影モードに対応するスキャンスピードは、「スキャン時間ST=2秒」を前提として算出されたものである。
スキャンスピードの値を決定するための前提や演算方法は、以上に説明した例に限定されるものではない。また、制御部1020により値が決定されるパラメータの種類は、スキャンスピードに限定されるものではない。
幾つかの例示的な態様において、スキャンで収集されるシャインプルーフ画像の枚数(画像枚数)を前提条件とすることができる。換言すると、既定の枚数のシャインプルーフ画像が収集されるように所定のパラメータを設定することができる。画像枚数を前提として設定されるパラメータは、例えば、照明制御パルス幅、パルス間隔(隣接する2つのパルスの間隔)、スキャン範囲、スキャンスピード、及び他のパラメータのうちの1つ以上であってよい。
制御部1020は、撮像素子1013の露光時間を変更するための撮影系1012の制御を実行するように構成されていてもよい。この露光時間変更制御は、例えば、撮像素子1013に印可する制御パルス信号の周波数を変更する撮像素子制御、又は、撮像素子1013に導かれる光を断続的に通過させるシャッターの開閉周波数を変更するシャッター制御を含んでいる。露光時間変更制御を採用することにより、被検眼や検査種別や照明光などに関する各種の条件に応じて撮像素子1013の露光時間を設定することが可能になる。
制御部1020は、画像収集部1010により実行されるスキャンのスピードに基づいて露光時間変更制御を実行するように構成されていてもよい。すなわち、制御部1020は、画像収集部1010により実行されるスキャンにおける、被検眼に対するスキャン位置の移動スピードに基づいて露光時間変更制御を実行するように構成されていてもよい。
幾つかの例示的な態様では、制御部1020は、前述した移動機構により移動される照明系1011及び撮影系1012のスピードに基づき撮影系1012を制御して撮像素子1013の露光時間を変更するように構成されていてもよい。換言すると、幾つかの例示的な態様の制御部1020は、移動機構に対する制御の内容に応じて露光時間変更制御を実行するように構成されていてもよい。
また、幾つかの例示的な態様では、移動機構以外の機構(前述した、照明スキャナー、可動照明ミラー、撮影スキャナー、可動撮影ミラーなど)に対する制御の内容に応じて露光時間変更制御を実行するように構成されていてもよい。
スキャンスピードに基づく露光時間変更制御を採用することにより、スキャンスピードに適合した撮像素子1013の露光時間を設定してシャインプルーフ画像収集を実行することが可能になる。
制御部1020は、適用される撮影モードに応じて露光時間変更制御を実行するように構成されていてもよい。例えば、制御部1020は、適用される撮影モードに基づいて、被検眼に対するスキャン位置の移動スピード(例えば、移動機構により移動される照明系1011及び撮影系1012のスピード)を決定するように構成されていてもよい。
投射時間変更制御に係る撮影モードと同様に、露光時間変更制御に係る撮影モードは、検査(撮影、スキャン)の種別ごとの動作内容を予め設定したものであり、1つ以上の任意個数の撮影モードが準備される。2つ以上の撮影モードが準備される場合、ユーザー又は制御部1020は、これらの撮影モードのうちから、被検眼に適用される撮影モードを選択する。選択される撮影モードの個数は、1つ以上の任意個数であってよい。2つ以上の撮影モードが選択された場合には、例えば、選択された2つ以上の撮影モードに対応する2回以上のスキャンが逐次に被検眼に適用される。
投射時間変更制御の場合と同様に、露光時間変更制御を実行可能な眼科装置1000は、複数の撮影モードが記録された撮影モード情報を、例えば制御部1020内の記憶装置に保持しており、或いは、外部装置に格納されている撮影モード情報を参照することが可能である。
投射時間変更制御の場合と同様に、露光時間変更制御を実行可能な眼科装置1000の制御部1020は、図5の撮影モード情報1200及び/又は図6の撮影モード情報1210を参照することにより、選択された撮影モードに対応するパラメータ値(照明制御パルス高の値、照明制御パルス幅の値、スキャン範囲の値、スキャンスピードの値)を特定するように構成されていてもよい。
投射時間変更制御の場合と同様に、露光時間変更制御を実行可能な眼科装置1000の制御部1020は、撮影モードに基づいてスキャンスピードを算出するように構成されていてもよい。スキャンスピードの算出方法は、投射時間変更制御の場合と同様であってよい。
投射時間変更制御の場合と同様に、露光時間変更制御を実行可能な眼科装置1000の制御部1020は、画像枚数などの任意のパラメータを前提条件として露光時間変更制御を実行するように構成されていてもよい。
投射時間変更制御と露光時間変更制御とは、別々に実行されてもよいし、少なくとも部分的に協働して(少なくとも部分的に連係して)実行されてもよい。後者の例として、投射時間変更制御において得られた任意の情報(最終生成情報、中間生成情報)を利用して露光時間変更制御を実行することが可能であり、逆に、露光時間変更制御において得られた任意の情報(最終生成情報、中間生成情報)を利用して投射時間変更制御を実行することも可能である。また、投射時間変更制御と露光時間変更制御とを少なくとも部分的に並行して実行することも可能である。
幾つかの例示的な態様において、図4Aの画像収集部1010Aの撮影系1012は、2つ以上の撮影系を含んでいてよい。その例を図4Bに示す。以下、特に言及しない限り、図4Aの画像収集部1010Aに関する任意の事項を本例の画像収集部1010Bに組み合わせることができる。
画像収集部1010Bの撮影系1012Aは、第1撮影系1014及び第2撮影系1015を含んでいる。第1撮影系1014及び第2撮影系1015は、互いに異なる方向から被検眼を撮影するように配置されている。
本例の画像収集部1010Bは、一連のシャインプルーフ画像を収集するためのスリット光を用いたスキャン(スリットスキャン)において被検眼の3次元領域を互いに異なる2つの方向からそれぞれ第1撮影系1014及び第2撮影系1015で撮影するように構成されていてよい。例えば、被検眼への入射位置におけるスリット光のビーム断面の長手方向が上下方向(Y方向)であり、且つ、スリット光の移動方向が水平方向(左右方向、X方向)であるように画像収集部1010Bが構成されている場合において、第1撮影系1014及び第2撮影系1015は、一方が左斜方から被検眼を撮影し、且つ、他方が右斜方から被検眼を撮影するように配置されていてよい。
第1撮影系1014により収集される一連のシャインプルーフ画像を第1シャインプルーフ画像群と呼び、第2撮影系1015により収集される一連のシャインプルーフ画像を第2シャインプルーフ画像群と呼ぶ。このような画像収集部1010Bにより収集される一連のシャインプルーフ画像は、第1シャインプルーフ画像群と第2シャインプルーフ画像群とを含んでいる。
なお、スリットスキャンを行うことなく、第1撮影系1014により1枚のシャインプルーフ画像(第1シャインプルーフ画像)を取得し、第2撮影系1015により1枚のシャインプルーフ画像(第2シャインプルーフ画像)を取得する場合においても、用語の便宜上、第1撮影系1014により取得された1枚のシャインプルーフ画像を第1シャインプルーフ画像群と呼ぶことがあり、第2撮影系1015により取得された1枚のシャインプルーフ画像を第2シャインプルーフ画像群と呼ぶことがある。このように、本開示において、用語「群」は、複数の要素が含まれる場合だけでなく、1つの要素のみが含まれる場合にも使用されることがある。
本例の画像収集部1010Bがスリットスキャンを実行する場合において、第1撮影系1014による被検眼の撮影と第2撮影系1015による被検眼の撮影とは、互いに並行して実行される。すなわち、画像収集部1010Bは、被検眼の3次元領域に対するスリット光の投射位置を移動しつつ、第1撮影系1014による撮影と第2撮影系1015による撮影とを並行して行う。
更に、本例の画像収集部1010Bは、第1撮影系1014による撮影(シャインプルーフ画像の収集)と第2撮影系1015による撮影(シャインプルーフ画像の収集)とを互いに同期して実行するように構成されていてよい。この同期関係を参照することで、第1シャインプルーフ画像群と第2シャインプルーフ画像群との間の関連付けを、画像処理等を用いることなく、容易に行うことができる。この関連付けは、例えば、互いの取得時間の差が小さいシャインプルーフ画像同士を対応付けるように実行される。
このような態様において、眼科装置1000は、第1撮影系1014による撮影と第2撮影系1015による撮影との相互同期関係を参照して、当該スリットスキャンに対応する一連のシャインプルーフ画像を第1シャインプルーフ画像群及び第2シャインプルーフ画像群から再構成することができる。
図4Bに示す画像収集部1010Bが適用されている眼科装置1000の構成例を図4Cに示す。本例の画像収集部1010Bにおいて、第1撮影系1014の光軸と第2撮影系1015の光軸とは、照明系1011の光軸に対して互いに反対の方向に傾斜して配置されている。
本例の撮影系1012Aにより収集された一連のシャインプルーフ画像は、データ処理装置1100に直接的又は間接的に送られる。データ処理装置1100は、画像処理などのデータ処理を実行可能に構成されており、本例の眼科装置1000の要素であってもよいし、本例の眼科装置1000との間でデータ通信が可能なコンピュータ又はシステムに設けられていてもよい。
データ処理装置1100は、画像選択部1110を含んでいる。画像選択部1110は、第1撮影系1014により取得された第1シャインプルーフ画像群及び第2撮影系1015により取得された第2シャインプルーフ画像群のうちから画像を選択するように構成されている。例えば、画像選択部1110は、第1撮影系1014により取得された第1シャインプルーフ画像及び第2撮影系1015により取得された第2シャインプルーフ画像の一方を選択するように構成されていてよい。
画像選択部1110は、第1撮影系1014による撮影と第2撮影系1015による撮影との同期に基づきそれぞれ収集された第1シャインプルーフ画像群と第2シャインプルーフ画像群との間の対応関係に基づいて、第1シャインプルーフ画像群及び第2シャインプルーフ画像群を収集したスリットスキャンに対応する新たな一連のシャインプルーフ画像を第1シャインプルーフ画像群及び第2シャインプルーフ画像群から選択するように構成されている。すなわち、画像選択部1110は、第1撮影系1014及び第2撮影系1015によりそれぞれ収集された第1シャインプルーフ画像群及び第2シャインプルーフ画像群から一連のシャインプルーフ画像を再構成するように構成されている。
画像選択部1110が実行する画像選択処理の手法は任意であってよい。例えば、第1撮影系1014及び第2撮影系1015の構成及び/又は配置や、画像選択の目的及び/又は用途など、所定の条件や所定のパラメータに基づいて、画像選択処理の手法を決定及び/又は選択することができる。
画像収集部1010Bは、第1撮影系1014による撮影と第2撮影系1015による撮影とを相互同期的に実行する。また、前述したように、第1撮影系1014の光軸と第2撮影系1015の光軸とが、照明系1011の光軸に対して互いに反対の方向に傾斜して配置されている。例えば、第1撮影系1014の光軸は、照明系1011の光軸に対して左方に傾斜して配置されており、且つ、第2撮影系1015の光軸は、照明系1011の光軸に対して右方に傾斜して配置されている。このように配置された第1撮影系1014及び第2撮影系1015をそれぞれ左撮影系及び右撮影系と呼ぶことがある。
照明系1011の光軸に対する第1撮影系1014の光軸の傾斜角度と、照明系1011の光軸に対する第2撮影系1015の光軸の傾斜角度とは、互いに等しくてもよいし、互いに相違してもよい。また、これらの傾斜角度は固定されていてもよいし、可変であってもよい。
本例では、例えば、照明系1011は、断面の長手方向がY方向に配向されたスリット光を被検眼に対して正面方向から投射するように構成及び配置されており、画像収集部1010Bは、照明系1011、第1撮影系1014、及び第2撮影系1015を一体的にX方向に移動することによって、被検眼の前眼部の3次元領域に対してスリットスキャンを適用する。
本例の画像選択部1110は、第1撮影系1014により収集された第1シャインプルーフ画像群と第2撮影系1015により収集された第2シャインプルーフ画像群との間の対応関係に基づき、アーティファクトを含まない複数のシャインプルーフ画像を第1シャインプルーフ画像群及び第2シャインプルーフ画像群から選択することによって、第1シャインプルーフ画像群及び第2シャインプルーフ画像群を収集したスリットスキャンに対応する新たな一連のシャインプルーフ画像の選択を行う。このアーティファクトは、任意の種類のアーティファクトであってよい。本例のように前眼部スキャンを行う場合、このアーティファクトは、角膜反射に起因するアーティファクト(角膜反射アーティファクトと呼ぶ)であってよい。以下、画像選択部1110が実行する処理について幾つかの例を説明する。
角膜反射アーティファクトが生じるスリット光の投射位置(シャインプルーフ画像、フレーム)は、左撮影系と右撮影系とで異なる。例えば、本例のように、断面の長手方向がY方向に配向されたスリット光を被検眼に対して正面方向から投射しつつ、照明系1011、第1撮影系1014、及び第2撮影系1015を一体的にX方向に移動することによってスリットスキャンを行う場合、スリット光の角膜反射光は、角膜頂点よりも左方の位置にスリット光が投射されているときには左撮影系に入射しやすく、角膜頂点よりも右方の位置にスリット光が投射されているときには右撮影系に入射しやすい。
このような事情を考慮し、幾つかの例示的な態様の画像選択部1110は、まず、左撮影系としての第1撮影系1014により収集された第1シャインプルーフ画像群のうちから角膜頂点に対応するシャインプルーフ画像(第1角膜頂点画像)を特定するとともに、右撮影系としての第2撮影系1015により収集された第2シャインプルーフ画像群のうちから角膜頂点に対応するシャインプルーフ画像(第2角膜頂点画像)を特定する。
幾つかの例示的な態様において、角膜頂点画像を特定する処理は、第1シャインプルーフ画像群に含まれる各シャインプルーフ画像から角膜表面に相当する画像を検出する処理と、これらの検出画像のピクセルのZ座標に基づき本例の眼科装置1000に最も近いピクセルを特定する処理と、特定されたピクセルを含むシャインプルーフ画像を第1角膜頂点画像に設定する処理とを含んでいてよい。第2角膜頂点画像の設定も同じ要領で実行されてよい。
次に、画像選択部1110は、第1シャインプルーフ画像群のうちから第1角膜頂点画像よりも右方に位置するシャインプルーフ画像群を選択するとともに、第2シャインプルーフ画像群のうちから第2角膜頂点画像よりも左方に位置するシャインプルーフ画像群を選択し、選択された2つのシャインプルーフ画像群(並びに、第1角膜頂点画像及び/又は第2角膜頂点画像)からなる一連のシャインプルーフ画像を形成する。これにより、スリットスキャンが適用された前眼部の3次元領域にわたり、且つ、角膜反射アーティファクトを含まない(その可能性が高い)一連のシャインプルーフ画像が得られる。
角膜頂点画像を特定する処理の他の例を説明する。幾つかの例示的な態様の画像選択部1110は、第1撮影系1014(例えば左撮影系)及び第2撮影系1015(例えば右撮影系)により実質的に同時に取得された2つの画像のいずれかに角膜反射アーティファクトが含まれているか判定する。この角膜反射アーティファクト判定処理は、所定の画像解析を含んでおり、例えば、ピクセルに割り当てられた輝度情報に関する閾値処理を含む。なお、実質的に同時に取得された2つの画像を決定する処理は、第1撮影系1014による撮影と第2撮影系1015による撮影との間の同期関係に基づき実行することができる。
アーティファクト判定処理に用いられる閾値処理は、例えば、予め設定された閾値を超える輝度値が割り当てられたピクセルを特定するように実行される。典型的には、閾値は、画像中のスリット光像(スリット光の投射領域)の輝度値よりも高く設定されてよい。これにより、画像選択部1110は、スリット光像をアーティファクトとして判定することなく、スリット光像よりも明るい像をアーティファクトとして判定するように構成される。シャインプルーフ画像においてスリット光像よりも明るい像は、角膜での正反射に起因する像である可能性が高いことを考慮すると、このように構成された画像選択部1110により検出されるアーティファクトは、角膜反射アーティファクトである可能性が高いと考えることができる。
画像選択部1110は、アーティファクト判定のために、例えば、パターン認識、セグメンテーション、エッジ検出など、閾値処理以外の任意の画像解析を実行してもよい。一般に、画像解析、画像処理、機械学習、人工知能、コグニティブ・コンピューティングなど、任意の情報処理技術を、アーティファクト判定に適用することが可能である。
アーティファクト判定の結果、第1撮影系1014及び第2撮影系1015により実質的に同時に取得された2つの画像の一方の画像にアーティファクトが含まれると判定されたとき、画像選択部1110は、他方の画像を選択する。つまり、画像選択部1110は、第1撮影系1014及び第2撮影系1015により実質的に同時に取得された2つの画像のうち、アーティファクトが含まれると判定された一方の画像ではない他方の画像を選択する。
双方の画像にアーティファクトが含まれると判定される場合を想定し、画像選択部1110は、例えば、アーティファクトが観察や診断に与える悪影響の大きさを評価する処理と、悪影響が小さい側の画像を選択する処理とを実行するように構成されていてもよい。この評価処理は、例えば、アーティファクトの寸法、強度、形状、及び位置のいずれか1つ以上の条件に基づき実行されてよい。典型的には、寸法が大きいアーティファクト、強度が高いアーティファクト、スリット光像などの注目領域やその近傍に位置するアーティファクトなどは、悪影響が大きいと評価される。
なお、双方の画像にアーティファクトが含まれる場合などにおいて、特許文献3(特開2019-213733号公報)に開示されているアーティファクト除去を適用してもよい。
以上に説明したような画像選択部1110を設けることにより、観察や解析や診断の妨げになるアーティファクトを含まない、被検眼の3次元領域の画像を提供することが可能になる。更に、アーティファクトを含まない被検眼の3次元領域の画像を後段の処理に提供することが可能になる。例えば、アーティファクトを含まない画像群に基づいて被検眼の3次元画像やレンダリング画像を構築することが可能になる。
実質的に同一の位置を撮影して得られた画像であっても、左撮影系で得られた画像と右撮影系で得られた画像とでは、描出された所定部位の寸法が互いに異なる場合がある。例えば、実質的に同一の位置を左撮影系及び右撮影系でそれぞれ撮影して得られた左画像及び右画像において、描出されている角膜の厚さや炎症細胞の寸法が互いに異なる場合がある。このような場合においても、画像選択部1110を用いることによって対象物の寸法合わせを行うことが可能になる。
実施形態の一態様に係る眼科装置の構成を図7に示す。本例の眼科装置1500は、画像収集部1010及び制御部1020に加えて評価処理部1030を含んでいる。本例の画像収集部1010は、少なくとも部分的に、図3の眼科装置1000の画像収集部1010と同様に構成されていてよい。また、本例の制御部1020は、少なくとも部分的に、図3の眼科装置1000の制御部1020と同様に構成されていてよい。
評価処理部1030は、画像収集部1010により収集された一連のシャインプルーフ画像に基づいて被検眼の評価情報を生成する。評価情報は、被検眼の医学的検査(臨床検査)で得られたデータの評価により生成された情報を含む。この医学的検査は、眼の画像を利用する任意の眼科検査であってよい。
幾つかの例示的な態様では、医学的検査は、被検眼内に存在する浮遊物に関する検査であってよい。この浮遊物の例として、炎症細胞(前房セル)、蛋白質(前房フレア)などの前房内に存在する浮遊物や、硝子体繊維、剥離した網膜細胞などの硝子体内に存在する浮遊物がある。
眼内浮遊物は動き(移動)を伴うため、従来の撮影で得られた眼内浮遊物の像はぼやけていることが多く、その評価を高い品質(確度、精度、再現性など)で行うことは難しかった。これに対し、本態様に係る撮影によれば、前述したように像のぼやけを低減できるため、眼内浮遊物に関する検査の品質向上を図ることが可能になる。
なお、本態様に係る撮影によれば、眼球運動、体動、脈動などが画像に与える悪影響も低減することもできる。したがって、眼内浮遊物以外の対象に関する評価の品質向上を図ることも可能である。例えば、眼球の任意の部位に関する評価、人工物(眼内レンズ、眼内コンタクトレンズ、低侵襲緑内障手術(MIGS)デバイスなど)に関する評価に、本態様を適用することが可能である。
評価処理部1030は、画像収集部1010により収集された一連のシャインプルーフ画像を加工して加工画像データを生成する処理と、生成された加工画像データに基づいて評価情報を生成する処理とを実行するように構成されていてよい。例えば、評価処理部1030は、一連のシャインプルーフ画像に含まれる複数のシャインプルーフ画像から3次元画像(加工画像データの例である)を構築する処理と、この3次元画像に基づいて評価情報を生成する処理とを実行するように構成されていてよい。また、評価処理部1030は、一連のシャインプルーフ画像に含まれる複数のシャインプルーフ画像から3次元画像を構築する処理と、この3次元画像からレンダリング画像(加工画像データの例である)を生成する処理と、このレンダリング画像に基づいて評価情報を生成する処理とを実行するように構成されていてよい。また、評価処理部1030は、シャインプルーフ画像の加工として、補正、編集、強調などの任意のデジタル画像処理を実行してもよい。
本例で生成される評価情報は、被検眼の炎症状態に関連した任意の情報(炎症状態情報)を含んでいてもよい。例えば、炎症状態情報は、前房内に存在する炎症細胞(前房セル)に関する情報、前房内に存在する蛋白質(前房フレア)に関する情報、水晶体の混濁に関する情報、疾患の発症・経過に関する情報、及び、疾患の活動性に関する情報のうちのいずれか1つ以上を含んでいてよい。また、炎症状態情報は、2つ以上の情報に基づく総合的な情報を含んでいてもよい。
炎症細胞に関する情報としては、炎症細胞の密度(濃度)、個数、位置、分布などの任意のパラメータの情報や、所定のパラメータの情報に基づく評価情報などがある。炎症細胞に関する評価情報を細胞評価情報と呼ぶことがある。前房フレアに関する情報としては、フレアの濃度、個数、位置、分布などの任意のパラメータの情報や、所定のパラメータの情報に基づく評価情報などがある。水晶体混濁に関する情報としては、混濁の濃度、個数、位置、分布などの任意のパラメータの情報や、所定のパラメータの情報に基づく評価情報などがある。疾患の発症・経過に関する情報としては、発症の有無、発症の状態、罹患期間、経過の状態などの任意のパラメータの情報や、所定のパラメータの情報に基づく評価情報などがある。疾患の活動性に関する情報としては、疾患の活動の状態などの任意のパラメータの情報や、所定のパラメータの情報に基づく評価情報などがある。
幾つかの例示的な態様において、評価処理部1030は、眼科装置1500により生成された情報に加え、眼科装置1500に外部から入力された情報(例えば、他の眼科装置により取得された情報、医師により入力された情報)にも基づいて、評価情報を生成するように構成されていてもよい。
以上に例示した炎症状態情報を生成するために参照される情報は任意であってよく、例えば、The Standardization of Uveitis Nomenclature(SUN) Working Groupにより提案されたぶどう膜炎疾患の分類基準を含んでいてもよい(“Standardization of uveitis nomenclature for reporting clinical data. Results of the First International Workshop”、American Journal of Ophthalmology、Volume 140、Issue 3、September 2005、Page 509-516)。
なお、炎症状態情報は、上記の例に限定されるものはない。また、炎症状態情報を生成するために参照される情報も、上記の例に限定されるものではない。
本例では、被検眼に対する照明光の投射時間が撮像素子の露光時間よりも短くなるように、且つ、被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とが重複するように画像収集部1010を制御することによって、一連のシャインプルーフ画像が収集される。このスリットスキャンが適用される被検眼の部位は、炎症状態情報の生成に使用されるデータを取得するためのスリットスキャンが適用される部位の一部又は全体を少なくとも含む。例えば、炎症細胞に関する情報及び/又は前房フレアに関する情報を含む炎症状態情報を生成する場合、前房の少なくとも一部を含む領域に対してスリットスキャンが適用される。その一例が、前述した炎症細胞撮影モードである。水晶体混濁に関する情報を含む炎症状態情報を生成する場合、水晶体の少なくとも一部を含む領域に対してスリットスキャンが適用される。スリットスキャン以外の手法で2つ以上のシャインプルーフ画像を取得する場合や、シャインプルーフ画像を1つのみ取得する場合においても同様である。
一般に、スリットスキャンが適用される被検眼の領域(部位)は、前眼部の少なくとも一部(例:角膜、虹彩、前房、隅角、毛様体、チン小帯、水晶体、神経、血管などの組織;病変部;治療痕;眼内レンズ、眼内コンタクトレンズ、MIGSデバイスなどの人工物)、及び/又は、後眼部の少なくとも一部(例:硝子体、網膜、脈絡膜、強膜、視神経乳頭、篩状板、黄斑、神経、血管などの組織;病変部;治療痕;人工網膜などの人工物)を含む。幾つかの例示的な態様では、瞼やマイボーム腺などの眼球近傍組織の少なくとも一部にスリットスキャンを適用してもよい。幾つかの例示的な態様では、前眼部の少なくとも一部、後眼部の少なくとも一部、及び、眼球近傍組織の少なくとも一部のうちのいずれか2つを含む3次元領域又は全てを含む3次元領域に対してスリットスキャンを適用してもよい。
細胞評価情報を含む炎症状態情報を生成することが可能な実施形態は、次の3つの処理のうちの少なくとも1つを実行するように構成されていてよい:(1)被検眼の前房に相当する画像領域(前房領域と呼ぶ)を特定するためのセグメンテーション(第1セグメンテーション又は前房セグメンテーションと呼ぶ);(2)炎症細胞に相当する画像領域(細胞領域と呼ぶ)を特定するためのセグメンテーション(第2セグメンテーション又は細胞セグメンテーションと呼ぶ);(3)細胞評価情報を生成するための処理(細胞評価情報生成処理と呼ぶ)。このような実施形態の幾つかの例示的な態様を以下に説明する。
第1の例示的な態様において、評価処理部1030は、シャインプルーフ画像から前房領域を特定するための第1セグメンテーションと、この第1セグメンテーションにより特定された前房領域から細胞領域を特定する第2セグメンテーションと、この第2セグメンテーションにより特定された細胞領域から細胞評価情報を生成する細胞評価情報生成処理とのうちの少なくとも1つの処理を実行するように構成される。本態様の第1セグメンテーションは、機械学習により訓練されたニューラルネットワークを用いて実行されてよいが、これに限定されない。本態様の第2セグメンテーションは、機械学習により訓練されたニューラルネットワークを用いて実行されてよいが、これに限定されない。本態様の細胞評価情報生成処理は、機械学習により訓練されたニューラルネットワークを用いて実行されてよいが、これに限定されない。本態様の詳細については後述する。
第2の例示的な態様において、評価処理部1030は、前房領域を特定するための第1セグメンテーションを実行することなく、シャインプルーフ画像から細胞領域を特定するための第2セグメンテーションと、この第2セグメンテーションにより特定された細胞領域から細胞評価情報を生成する細胞評価情報生成処理とのうちの少なくとも1つの処理を実行するように構成される。本態様の第2セグメンテーションは、機械学習により訓練されたニューラルネットワークを用いて実行されてよいが、これに限定されない。本態様の細胞評価情報生成処理は、機械学習により訓練されたニューラルネットワークを用いて実行されてよいが、これに限定されない。本態様の詳細については後述する。
第3の例示的な態様において、評価処理部1030は、前房領域を特定するための第1セグメンテーション及び細胞領域を特定するための第2セグメンテーションを実行することなく、シャインプルーフ画像から細胞評価情報を生成するための細胞評価情報生成処理を実行するように構成される。本態様の細胞評価情報生成処理は、機械学習により訓練されたニューラルネットワークを用いて実行されてよいが、これに限定されない。本態様の詳細については後述する。
第4の例示的な態様において、評価処理部1030は、細胞領域を特定するための第2セグメンテーションを実行することなく、シャインプルーフ画像から前房領域を特定するための第1セグメンテーションと、この第1セグメンテーションにより特定された前房領域から細胞評価情報を生成するための細胞評価情報生成処理とのうちの少なくとも1つを実行するように構成される。本態様の第1セグメンテーションは、機械学習により訓練されたニューラルネットワークを用いて実行されてよいが、これに限定されない。本態様の細胞評価情報生成処理は、機械学習により訓練されたニューラルネットワークを用いて実行されてよいが、これに限定されない。本態様の詳細については後述する。
第5の例示的な態様において、評価処理部1030は、機械学習により訓練されたニューラルネットワークを用いることなく実行される。本態様は、シャインプルーフ画像を解析して前房領域を特定するための第1セグメンテーションと、この第1セグメンテーションにより特定された前房領域を解析して細胞領域を特定するための第2セグメンテーションと、第2セグメンテーションにより特定された細胞領域に基づいて細胞評価情報を生成するための細胞評価情報生成処理とを実行するように構成されている。本態様の詳細については後述する。
第6の例示的な態様において、評価処理部1030は、第1セグメンテーションの少なくとも一部、第2セグメンテーションの少なくとも一部、及び、細胞評価情報生成処理の少なくとも一部のうちのいずれか1つ以上を機械学習ベースの構成で実行するとともに、機械学習ベースの構成で実行される処理以外の処理を非機械学習ベースの構成で実行するように構成されている。本態様は、例えば、上記した第1~第4の例示的な態様のいずれかと、第5の例示的な態様とを部分的に組み合わせることによって実現されるものであるから、その詳細な説明については省略する。
前述したように、第1セグメンテーションは、機械学習ベースの処理若しくは非機械学習ベースの処理であってよく、又は、機械学習ベースの処理及び非機械学習ベースの処理の組み合わせであってもよい。また、第2セグメンテーションは、機械学習ベースの処理若しくは非機械学習ベースの処理であってよく、又は、機械学習ベースの処理及び非機械学習ベースの処理の組み合わせであってもよい。更に、細胞評価情報生成処理は、機械学習ベースの処理若しくは非機械学習ベースの処理であってよく、又は、機械学習ベースの処理及び非機械学習ベースの処理の組み合わせであってもよい。
第1セグメンテーションに投入されるデータの種類、第2セグメンテーションに投入されるデータの種類、及び、細胞評価情報生成処理に投入されるデータの種類は、いずれも任意であってよい。以下、第1セグメンテーション、第2セグメンテーション、及び細胞評価情報生成処理を含む複数の処理の可能な組み合わせの幾つかの例について説明する。
評価処理部1030の一構成例を図8に示す。本例の評価処理部1030Aは、第1セグメンテーション部1031、第2セグメンテーション部1032、及び細胞評価情報生成処理部1033を含んでいる。
第1セグメンテーション部1031は、前房領域を特定するための第1セグメンテーションを実行するプロセッサを含み、画像収集部1010により取得されたシャインプルーフ画像から前房領域を特定するように構成されている。
機械学習を用いて第1セグメンテーションを実行する場合、第1セグメンテーション部1031は、予め構築された推論モデル(第1推論モデル)を用いて第1セグメンテーションを実行するように構成されている。第1推論モデルは、眼画像(例えば、眼のシャインプルーフ画像、他のモダリティで取得した眼の画像、又は、眼のシャインプルーフ画像及び他のモダリティで取得された眼の画像)を少なくとも含む訓練データを用いた機械学習により構築されたニューラルネットワーク(第1ニューラルネットワーク)を含んでいる。
第1ニューラルネットワークに入力されるデータはシャインプルーフ画像であり、第1ニューラルネットワークから出力されるデータは前房領域である。すなわち、第1セグメンテーション部1031は、画像収集部1010により取得されたシャインプルーフ画像(例えば、1つ以上のシャインプルーフ画像、1つ以上の加工画像データ、又は、1つ以上のシャインプルーフ画像及び1つ以上の加工画像データ)を受け、このシャインプルーフ画像を第1推論モデルの第1ニューラルネットワークに入力し、第1ニューラルネットワークからの出力データ(入力されたシャインプルーフ画像における前房領域)を取得するように構成されている。
第1推論モデルを構築するための装置(推論モデル構築装置)は、眼科装置1500に設けられていてもよいし、眼科装置1500の周辺機器(コンピュータなど)に設けられてもよいし、他のコンピュータであってもよい。推論モデル構築装置は、学習処理部とニューラルネットワークとを含む。
推論モデル構築装置に設けられたニューラルネットワークは、典型的には、畳み込みニューラルネットワーク(CNN)を含む。この畳み込みニューラルネットワークは公知の構造を備えており、入力層、畳み込み層、プーリング層、全結合層、出力層などを含んでいてよい。
入力層には画像が入力される。入力層の後ろには、畳み込み層とプーリング層とのペアが複数配置されている。畳み込み層とプーリング層とのペアの個数は任意であってよい。
畳み込み層では、画像から特徴(輪郭など)を把握するための畳み込み演算が行われる。畳み込み演算は、入力された画像に対する、この画像と同じ次元のフィルタ関数(重み係数、フィルタカーネル)の積和演算である。畳み込み層では、入力された画像の複数の部分にそれぞれ畳み込み演算を適用する。より具体的には、畳み込み層では、フィルタ関数が適用された部分画像の各ピクセルの値に、そのピクセルに対応するフィルタ関数の値(重み)を乗算して積を算出し、この部分画像の複数のピクセルにわたって積の総和を求める。このように得られた積和値は、出力される画像における対応ピクセルに代入される。フィルタ関数を適用する箇所(部分画像)を移動させながら積和演算を行うことで、入力された画像の全体についての畳み込み演算結果が得られる。このような畳み込み演算によれば、多数の重み係数を用いて様々な特徴が抽出された画像が多数得られる。つまり、平滑化画像やエッジ画像などの多数のフィルタ処理画像が得られる。畳み込み層により生成される多数の画像は特徴マップと呼ばれる。
プーリング層では、直前の畳み込み層により生成された特徴マップの圧縮(データの間引きなど)が行われる。より具体的には、プーリング層では、特徴マップ内の注目ピクセルの所定の近傍ピクセルにおける統計値を所定のピクセル間隔ごとに算出し、入力された特徴マップよりも小さな寸法の画像を出力する。なお、プーリング演算に適用される統計値は、例えば、最大値(max pooling)又は平均値(average pooling)である。また、プーリング演算に適用されるピクセル間隔は、ストライド(stride)と呼ばれる。
畳み込みニューラルネットワークは、畳み込み層とプーリング層との複数のペアによって処理を行うことにより、入力された画像から多くの特徴を抽出することができる。
畳み込み層とプーリング層との最後のペアの後ろには、全結合層が設けられている。全結合層の個数は任意であってよい。全結合層では、畳み込みとプーリングとの組み合わせによって圧縮された特徴量を用いて、画像分類、画像セグメンテーション、回帰などの処理を行う。最後の全結合層の後ろには、出力結果を提供する出力層が設けられている。
幾つかの例示的な態様において、畳み込みニューラルネットワークは、全結合層を含まなくてもよいし(例えば、全層畳み込みネットワーク(FCN))、サポートベクターマシンや再帰型ニューラルネットワーク(RNN)などを含んでいてもよい。また、推論モデル構築装置がニューラルネットワークに対して適用する機械学習は、転移学習を含んでいてもよい。すなわち、このニューラルネットワークは、他の訓練データ(訓練画像)を用いた学習が既に行われてパラメータ調整が為されたニューラルネットワークを含んでいてもよい。また、推論モデル構築装置は、学習済みのニューラルネットワークにファインチューニングを適用可能に構成されてもよい。また、推論モデル構築装置により機械学習が適用されるニューラルネットワークは、公知のオープンソースのニューラルネットワークアーキテクチャを用いて構築されたものであってもよい。
推論モデル構築装置は、訓練データを用いた機械学習をニューラルネットワークに適用する。ニューラルネットワークが畳み込みニューラルネットワークを含んでいる場合、推論モデル構築装置によって調整されるニューラルネットワークのパラメータは、例えば、畳み込み層のフィルタ係数と、全結合層の結合重み及びオフセットとを含む。
前述したように、訓練データは、1以上の眼について取得された1以上のシャインプルーフ画像を含んでいてよい。眼のシャインプルーフ画像は、第1ニューラルネットワークに入力される画像と同種の画像であるから、他の種類の画像のみを含む訓練データを用いて機械学習を行う場合と比較して、第1ニューラルネットワークの出力の品質(正確度、精度など)の向上を図ることができる。
訓練データに含まれる画像の種類はシャインプルーフ画像に限定されず、例えば、訓練データは、他の眼科モダリティ(眼底カメラ、OCT装置、SLO、手術用顕微鏡など)により取得された画像や、任意の診療科の画像診断モダリティ(超音波診断装置、X線診断装置、X線CT装置、磁気共鳴イメージング(MRI)装置など)により取得された画像や、実際の眼の画像を加工して生成された画像(加工画像データ)や、擬似的な画像などを含んでいてもよい。また、データ拡張、データオーギュメンテーションなどの技術を利用して、訓練データに含まれる画像等の個数を増加させてもよい。
第1ニューラルネットワークを構築するための訓練の手法(機械学習の手法)は任意であってよく、例えば、教師あり学習、教師なし学習、及び強化学習のいずれか、又は、いずれか2以上の組み合わせであってよい。
幾つかの例示的な態様では、入力画像に対してラベルを付すアノテーションによって生成された訓練データを用いて教師あり学習が実施される。このアノテーションでは、例えば、訓練データに含まれる各画像について、その画像中の前房領域を特定してラベルを付す。前房領域の特定は、例えば、医師、コンピュータ、及び、他の推論モデルのうちの少なくとも1つによって実行される。推論モデル構築装置は、このような訓練データを用いた教師あり学習をニューラルネットワークに適用することによって第1ニューラルネットワークを構築することができる。
このようにして構築された第1ニューラルネットワークを含む第1推論モデルは、シャインプルーフ画像(例えば、画像収集部1010により取得されたシャインプルーフ画像、その加工画像データ)を入力とし、且つ、入力されたシャインプルーフ画像中の前房領域(例えば、前房領域の範囲又は位置を示す情報)を出力とした学習済みモデルである。
第1ニューラルネットワークの特定のユニットに処理が集中することを避けるために、推論モデル構築装置は、ニューラルネットワークの幾つかのユニットをランダムに選んで無効化し、残りのユニットを用いて学習を行ってもよい(ドロップアウト)。
推論モデル構築に用いられる手法は、ここに示した例に限定されない。例えば、サポートベクターマシン、ベイズ分類器、ブースティング、k平均法、カーネル密度推定、主成分分析、独立成分分析、自己組織化写像、ランダムフォレスト、敵対的生成ネットワーク(GAN)といった任意の手法を、推論モデルを構築するために利用することが可能である。
本例の第1セグメンテーション部1031は、このような第1推論モデル(第1ニューラルネットワーク)を用いることによって、被検眼のシャインプルーフ画像から前房領域を特定する処理を実行する。
第2セグメンテーション部1032は、細胞領域を特定するための第2セグメンテーションを実行するプロセッサを含み、第1セグメンテーション部1031により特定された前房領域から細胞領域を特定するように構成されている。
機械学習を用いて本例の第2セグメンテーションを実行する場合、第2セグメンテーション部1032は、予め構築された推論モデル(第2推論モデル)を用いて第2セグメンテーションを実行するように構成されている。第2推論モデルは、眼画像(例えば、眼のシャインプルーフ画像、他のモダリティで取得した眼の画像、又は、眼のシャインプルーフ画像及び他のモダリティで取得された眼の画像)を少なくとも含む訓練データを用いた機械学習により構築されたニューラルネットワーク(第2ニューラルネットワーク)を含んでいる。
本例の訓練データに含まれる眼画像は、眼の前房の少なくとも一部に相当する画像(前房画像と呼ぶ)を含んでいる。本例の訓練データに含まれる眼画像は、前眼部画像(例えば、シャインプルーフ画像、他のモダリティで取得された画像)に対する手動セグメンテーション又は自動セグメンテーションの結果を含んでいてよく、例えば、前眼部画像から抽出された前房画像、又は、前眼部画像中の前房画像の範囲若しくは位置を示す情報であってよい。
第2ニューラルネットワークに入力されるデータは、第1セグメンテーション部1031によりシャインプルーフ画像から特定された前房領域(又は、特定及び抽出された前房領域(以下同様))であり、第2ニューラルネットワークから出力されるデータは、細胞領域である。すなわち、第2セグメンテーション部1032は、第1セグメンテーション部1031により特定された前房領域を受け、この前房領域を第2推論モデルの第2ニューラルネットワークに入力し、第2ニューラルネットワークからの出力データ(入力された前房領域における細胞領域)を取得するように構成されている。
第2推論モデル(第2ニューラルネットワーク)の構築は、第1推論モデル(第1ニューラルネットワーク)の構築と同じ要領で実行されてよい。例えば、第2推論モデル(第2ニューラルネットワーク)の構築は、前述した推論モデル構築装置によって実行される。特に言及しない限り、本例の推論モデル構築装置(学習処理部及びニューラルネットワーク)は、第1推論モデル(第1ニューラルネットワーク)の構築における推論モデル構築装置と同じであってよい。
第2ニューラルネットワークの構築に用いられる訓練データは、1以上の眼について取得された1以上のシャインプルーフ画像(例えば、前房領域が特定された前眼部画像、前房画像)を含んでいてよい。訓練データに含まれる画像の種類はシャインプルーフ画像に限定されず、例えば、訓練データは、他の眼科モダリティにより取得された画像や、任意の診療科の画像診断モダリティにより取得された画像や、実際の眼の画像を加工して生成された画像や、擬似的な画像などを含んでいてもよい。
第2ニューラルネットワークを構築するための訓練の手法(機械学習の手法)は任意であってよく、例えば、教師あり学習、教師なし学習、及び強化学習のいずれか、又は、いずれか2以上の組み合わせであってよい。
幾つかの例示的な態様では、入力画像に対してラベルを付すアノテーションによって生成された訓練データを用いて教師あり学習が実施される。このアノテーションでは、例えば、訓練データに含まれる各画像について、その画像中の細胞領域を特定してラベルを付す。細胞領域の特定は、例えば、医師、コンピュータ、及び、他の推論モデルのうちの少なくとも1つによって実行される。推論モデル構築装置は、このような訓練データを用いた教師あり学習をニューラルネットワークに適用することによって第2ニューラルネットワークを構築することができる。
このようにして構築された第2ニューラルネットワークを含む第2推論モデルは、第1セグメンテーション部1031により特定された前房領域を入力とし、且つ、入力された前房領域中の細胞領域(例えば、細胞領域の範囲又は位置を示す情報)を出力とした学習済みモデルである。
本例の第2セグメンテーション部1032は、このような第2推論モデル(第2ニューラルネットワーク)を用いることによって、被検眼のシャインプルーフ画像中の前房領域から細胞領域を特定する処理を実行する。
細胞評価情報生成処理部1033は、細胞評価情報を生成するための細胞評価情報生成処理を実行するプロセッサを含み、第2セグメンテーション部1032により特定された細胞領域から細胞評価情報を生成する。
機械学習を用いて本例の細胞評価情報生成処理を実行する場合、細胞評価情報生成処理部1033は、予め構築された推論モデル(第3推論モデル)を用いて細胞評価情報生成処理を実行するように構成されている。第3推論モデルは、眼画像(例えば、眼のシャインプルーフ画像、他のモダリティで取得した眼の画像、又は、眼のシャインプルーフ画像及び他のモダリティで取得された眼の画像)を少なくとも含む訓練データを用いた機械学習により構築されたニューラルネットワーク(第3ニューラルネットワーク)を含んでいる。
本例の訓練データに含まれる眼画像は、炎症細胞の画像が描出されている前房画像を少なくとも含み、炎症細胞の画像が描出されていない前房画像を更に含んでいてもよい。本例の訓練データに含まれる眼画像は、前眼部画像(例えば、シャインプルーフ画像、他のモダリティで取得された画像)に対する手動セグメンテーション又は自動セグメンテーションの結果を含んでいてよく、例えば、前眼部画像中の前房画像から抽出された細胞画像、又は、前房画像中の細胞領域の範囲若しくは位置を示す情報であってよい。
第3ニューラルネットワークに入力されるデータは、第2セグメンテーション部1032からの出力又はそれに基づき生成されたデータ(例えば、細胞領域の範囲、位置、分布などを示すデータ、又は、細胞領域の特定結果が付された前房領域)であり、第3ニューラルネットワークから出力されるデータは、細胞評価情報である。すなわち、細胞評価情報生成処理部1033は、第2セグメンテーション部1032による細胞領域の特定結果又はそれに基づき生成されたデータを受け、細胞領域の特定結果又はそれに基づき生成されたデータを第3推論モデルの第3ニューラルネットワークに入力し、第3ニューラルネットワークからの出力データ(細胞評価情報)を取得するように構成されている。なお、前述したように、細胞評価情報は、炎症細胞に関する所定のパラメータ(例えば、炎症細胞の密度、個数、位置、分布など)についての評価情報である。
第3推論モデル(第3ニューラルネットワーク)の構築は、第1推論モデル(第1ニューラルネットワーク)の構築と同じ要領で実行されてよい。例えば、第3推論モデル(第3ニューラルネットワーク)の構築は、前述した推論モデル構築装置によって実行される。特に言及しない限り、本例の推論モデル構築装置(学習処理部及びニューラルネットワーク)は、第1推論モデル(第1ニューラルネットワーク)の構築における推論モデル構築装置と同じであってよい。
第3ニューラルネットワークの構築に用いられる訓練データは、1以上の眼について取得された1以上のシャインプルーフ画像(例えば、細胞領域が特定された前房領域を含む前眼部画像、細胞領域が特定された前房画像)を含んでいてよい。訓練データに含まれる画像の種類はシャインプルーフ画像に限定されず、例えば、訓練データは、他の眼科モダリティにより取得された画像や、任意の診療科の画像診断モダリティにより取得された画像や、実際の眼の画像を加工して生成された画像や、擬似的な画像などを含んでいてもよい。
第3ニューラルネットワークを構築するための訓練の手法(機械学習の手法)は任意であってよく、例えば、教師あり学習、教師なし学習、及び強化学習のいずれか、又は、いずれか2以上の組み合わせであってよい。
幾つかの例示的な態様では、入力画像に対してラベルを付すアノテーションによって生成された訓練データを用いて教師あり学習が実施される。このアノテーションでは、例えば、訓練データに含まれる各画像(細胞領域が特定されている)に対して、その画像から生成された細胞評価情報がラベルとして付される。画像からの細胞評価情報の生成は、例えば、医師、コンピュータ、及び、他の推論モデルのうちの少なくとも1つによって実行される。推論モデル構築装置は、このような訓練データを用いた教師あり学習をニューラルネットワークに適用することによって第3ニューラルネットワークを構築することができる。
このようにして構築された第3ニューラルネットワークを含む第3推論モデルは、第2セグメンテーション部1032による細胞領域の特定結果又はそれに基づき生成されたデータを入力とし、且つ、入力された細胞領域の特定結果又はそれに基づき生成されたデータに基づく細胞評価情報を出力とした学習済みモデルである。
本例の細胞評価情報生成処理部1033は、このような第3推論モデル(第3ニューラルネットワーク)を用いることによって、被検眼のシャインプルーフ画像中の前房領域における細胞領域から細胞評価情報を生成する処理を実行する。
評価処理部1030の一構成例を図9に示す。本例の評価処理部1030Bは、第1セグメンテーション部1041、変換処理部1042、第2セグメンテーション部1043、及び細胞評価情報生成処理部1044を含んでいる。
第1セグメンテーション部1041は、評価処理部1030Aの第1セグメンテーション部1031と同様の構成及び機能を有し、画像収集部1010により取得されたシャインプルーフ画像から前房領域を特定するための第1セグメンテーションを実行するように構成されている。
変換処理部1042は、第1セグメンテーション部1041により特定された前房領域を、第2セグメンテーション部1043が実行する第2セグメンテーションに応じた構造のデータに変換する。本例の第2セグメンテーション部1043は、評価処理部1030Aの第2セグメンテーション部1032のように、機械学習で構築されたニューラルネットワーク(第2ニューラルネットワーク)を用いて第2セグメンテーションを実行するように構成されている。変換処理部1042は、第1セグメンテーション部1041によりシャインプルーフ画像から特定された前房領域を、第2セグメンテーション部1043の第2ニューラルネットワークの入力層に対応した構造の画像データに変換するための変換処理を実行するように構成されている。
例えば、第2セグメンテーション部1043の第2ニューラルネットワーク(畳み込みニューラルネットワーク)の入力層が既定の構造(形態、形式)のデータを受け付けるように構成されている場合がある。この既定のデータ構造は、例えば、既定の画像サイズ(例えば、縦方向のピクセル数及び横方向のピクセル数)、既定の画像形状(例えば、正方形又は長方形)などであってよい。一方、眼科装置の仕様、撮影時の条件や設定、被検眼の寸法や形態の個人差などの影響により、第1セグメンテーション部1041によって特定される前房領域の画像サイズや画像形状は様々である。変換処理部1042は、第1セグメンテーション部1041により特定された前房領域の構造(例えば、画像サイズ及び/又は画像形状)を、第2セグメンテーション部1043の第2ニューラルネットワークの入力層が受け付け可能な構造に変換する。
画像サイズの変換は、任意の公知の画像サイズ変換技術を用いて実行されてよく、例えば、第1セグメンテーション部1041により特定された前房領域を入力層に応じた画像サイズの複数の部分画像に分割する処理、又は、第1セグメンテーション部1041により特定された前房領域を入力層に応じた画像サイズの単一の画像にリサイズする処理を含んでいてよい。画像形状の変換は、任意の公知の画像変形技術を用いて実行されてよい。他のデータ構造の変換処理についても同様であってよい。
なお、本開示では、ニューラルネットワークの構造に対応した変換処理をシャインプルーフ画像の前房領域に適用する場合について幾つかの例を詳細に説明しているが、変換処理の態様やそのための構成はそれらに限定されない。
例えば、ニューラルネットワークに入力される画像がシャインプルーフ画像である場合には、入力されるシャインプルーフ画像に同様の変換処理を適用する構成を採用することが可能である。また、ニューラルネットワークに入力される画像がシャインプルーフ画像の任意の加工画像データである場合には、入力される加工画像データに同様の変換処理を適用するように構成を採用することが可能である。
また、変換処理を実行する要素(変換処理を実行するプロセッサを含む要素であり、変換処理部と呼ぶ)の配置も任意であってよい。例えば、変換処理部は、取得されたシャインプルーフ画像に基づき実行される一連の処理の流れにおいて、対象となるニューラルネットワークよりも前の段階(例えば、このニューラルネットワークを含む推論モデルよりも前の段階、又は、この推論モデルの内部であってこのニューラルネットワークよりも前の段階)に配置されていてよく、又は、対象となるニューラルネットワークの内部に配置されていてよい。対象となるニューラルネットワークの内部に配置される場合、このニューラルネットワークの出力に直接に対応する入力を受け付ける入力層よりも前の段階に変換処理部が配置される。
第2セグメンテーション部1043は、評価処理部1030Aの第2セグメンテーション部1032と同様の構成及び機能を有し、変換処理部1042によりデータ構造が変換された前房領域から細胞領域を特定するための第2セグメンテーションを実行するように構成されている。第2セグメンテーション部1043の第2ニューラルネットワークは、変換処理部1042により生成された画像データ(データ構造が変換された前房領域)の入力を受け、細胞領域を出力するように構成されている。本例の第2ニューラルネットワークを構築するための機械学習は、評価処理部1030Aの第2ニューラルネットワークを構築するための機械学習と同じ要領で実行されてよい。
細胞評価情報生成処理部1044は、評価処理部1030Aの細胞評価情報生成処理部1033と同様の構成及び機能を有し、第2セグメンテーション部1043により特定された細胞領域から細胞評価情報を生成するための細胞評価情報生成処理を実行するように構成されている。
このように、本例の評価処理部1030Bは、評価処理部1030Aの第1セグメンテーション部1031と第2セグメンテーション部1032との間に変換処理部1042を配置した構成であってもよい。しかしながら、評価処理部1030Bの構成はこれに限定されない。
評価処理部1030の一構成例を図10に示す。本例の評価処理部1030Cは、第2セグメンテーション部1051と細胞評価情報生成処理部1052とを含んでいる。
第2セグメンテーション部1051は、細胞領域を特定するための第2セグメンテーションを実行するプロセッサを含み、画像収集部1010により取得されたシャインプルーフ画像から細胞領域を特定するように構成されている。
機械学習を用いて本例の第2セグメンテーションを実行する場合、第2セグメンテーション部1051は、予め構築された推論モデル(第4推論モデル)を用いて第2セグメンテーションを実行するように構成されている。第4推論モデルは、眼画像(例えば、眼のシャインプルーフ画像、他のモダリティで取得した眼の画像、又は、眼のシャインプルーフ画像及び他のモダリティで取得された眼の画像)を少なくとも含む訓練データを用いた機械学習により構築されたニューラルネットワーク(第4ニューラルネットワーク)を含んでいる。
幾つかの例示的な態様において、第4ニューラルネットワークは、評価処理部1030Aにおける第1ニューラルネットワークの少なくとも一部と第2ニューラルネットワークの少なくとも一部とを含んでいてもよい。例えば、第4ニューラルネットワークは、第1ニューラルネットワークと第2ニューラルネットワークとを直列に配置したニューラルネットワークであってよい。このような構成の第4ニューラルネットワークは、シャインプルーフ画像から前房領域を特定する機能と、前房領域から細胞領域を特定する機能とを有する。
幾つかの例示的な態様において、第4ニューラルネットワークは、前房領域の特定を行うことなく、シャインプルーフ画像から細胞領域を直接に特定するように機械学習が施されていてもよい。第4ニューラルネットワークの態様はこれらに限定されるものではなく、シャインプルーフ画像から細胞領域を特定するための任意の機械学習が適用されたニューラルネットワークを含んでいてよい。
第4ニューラルネットワークに入力されるデータはシャインプルーフ画像であり、第4ニューラルネットワークから出力されるデータは細胞領域である。すなわち、第2セグメンテーション部1051は、シャインプルーフ画像を受け、このシャインプルーフ画像を第4推論モデルの第4ニューラルネットワークに入力し、第4ニューラルネットワークからの出力データ(入力されたシャインプルーフ画像における細胞領域)を取得するように構成されている。
第4推論モデル(第4ニューラルネットワーク)の構築は、評価処理部1030Aの第1推論モデル(第1ニューラルネットワーク)の構築と同じ要領で実行されてよい。例えば、第4推論モデル(第4ニューラルネットワーク)の構築は、前述した推論モデル構築装置によって実行される。特に言及しない限り、本例の推論モデル構築装置(学習処理部及びニューラルネットワーク)は、評価処理部1030Aの第1推論モデル(第1ニューラルネットワーク)の構築における推論モデル構築装置と同じであってよい。
第4ニューラルネットワークの構築に用いられる訓練データは、1以上の眼について取得された1以上のシャインプルーフ画像を含んでいてよい。訓練データに含まれる画像の種類はシャインプルーフ画像に限定されず、例えば、訓練データは、他の眼科モダリティにより取得された画像や、任意の診療科の画像診断モダリティにより取得された画像や、実際の眼の画像を加工して生成された画像や、擬似的な画像などを含んでいてもよい。
訓練データに含まれるいずれかの画像は、第4ニューラルネットワークにより実行される処理を補助するための情報が付されていてもよい。例えば、事前のアノテーションによって画像中の前房領域にラベルが付されていてもよい。
第4ニューラルネットワークを構築するための訓練の手法(機械学習の手法)は任意であってよく、例えば、教師あり学習、教師なし学習、及び強化学習のいずれか、又は、いずれか2以上の組み合わせであってよい。
幾つかの例示的な態様では、入力画像に対してラベルを付すアノテーションによって生成された訓練データを用いて教師あり学習が実施される。このアノテーションでは、例えば、訓練データに含まれる各画像について、その画像中の細胞領域を特定してラベルを付す。細胞領域の特定は、例えば、医師、コンピュータ、及び、他の推論モデルのうちの少なくとも1つによって実行される。推論モデル構築装置は、このような訓練データを用いた教師あり学習をニューラルネットワークに適用することによって第4ニューラルネットワークを構築することができる。
このようにして構築された第4ニューラルネットワークを含む第4推論モデルは、画像収集部1010により取得されたシャインプルーフ画像(又は、その加工画像データなど)を入力とし、且つ、入力されたシャインプルーフ画像中の細胞領域(例えば、細胞領域の範囲又は位置を示す情報)を出力とした学習済みモデルである。
本例の第2セグメンテーション部1051は、このような第4推論モデル(第4ニューラルネットワーク)を用いることによって、被検眼のシャインプルーフ画像から細胞領域を特定する処理を実行する。
細胞評価情報生成処理部1052は、細胞評価情報を生成するための細胞評価情報生成処理を実行するプロセッサを含み、第2セグメンテーション部1051により特定された細胞領域から細胞評価情報を生成する。
機械学習を用いて本例の細胞評価情報生成処理を実行する場合、細胞評価情報生成処理部1052は、予め構築された推論モデル(第5推論モデル)を用いて細胞評価情報生成処理を実行するように構成されている。第5推論モデルは、眼画像(例えば、眼のシャインプルーフ画像、他のモダリティで取得した眼の画像、又は、眼のシャインプルーフ画像及び他のモダリティで取得された眼の画像)を少なくとも含む訓練データを用いた機械学習により構築されたニューラルネットワーク(第5ニューラルネットワーク)を含んでいる。
第5ニューラルネットワークに入力されるデータは第2セグメンテーション部1051からの出力又はそれに基づき生成されたデータ(例えば、細胞領域の範囲、位置、分布などを示すデータ、又は、細胞領域の特定結果が付された前房領域)であり、第5ニューラルネットワークから出力されるデータは細胞評価情報である。すなわち、細胞評価情報生成処理部1052は、第2セグメンテーション部1051による細胞領域の特定結果又はそれに基づき生成されたデータを受け、細胞領域の特定結果又はそれに基づき生成されたデータを第5推論モデルの第5ニューラルネットワークに入力し、第5ニューラルネットワークからの出力データ(細胞評価情報)を取得するように構成されている。
第5推論モデル(第5ニューラルネットワーク)を構築するための機械学習の手法は、評価処理部1030Aの細胞評価情報生成処理部1033の第3ニューラルネットワークを構築するための機械学習の手法と同様であってよい。また、第5推論モデル(第5ニューラルネットワーク)を構築するための機械学習に用いられる訓練データは、評価処理部1030Aの第3ニューラルネットワークを構築するための機械学習に用いられる訓練データと同様であってよい。
第5ニューラルネットワークを含む第5推論モデルは、第2セグメンテーション部1051による細胞領域の特定結果又はそれに基づき生成されたデータを入力とし、且つ、入力された細胞領域の特定結果又はそれに基づき生成されたデータに基づく細胞評価情報を出力とした学習済みモデルである。
本例の細胞評価情報生成処理部1052は、このような第5推論モデル(第5ニューラルネットワーク)を用いることによって、被検眼のシャインプルーフ画像中の細胞領域から細胞評価情報を生成する処理を実行する。
評価処理部1030の一構成例を図11に示す。本例の評価処理部1030Dは、細胞評価情報生成処理部1061を含んでいる。
細胞評価情報生成処理部1061は、細胞評価情報を生成するための細胞評価情報生成処理を実行するプロセッサを含み、画像収集部1010により取得されたシャインプルーフ画像から細胞評価情報を生成する。
機械学習を用いて本例の細胞評価情報生成処理を実行する場合、細胞評価情報生成処理部1061は、予め構築された推論モデル(第6推論モデル)を用いて細胞評価情報生成処理を実行するように構成されている。第6推論モデルは、眼画像(例えば、眼のシャインプルーフ画像、他のモダリティで取得した眼の画像、又は、眼のシャインプルーフ画像及び他のモダリティで取得された眼の画像)を少なくとも含む訓練データを用いた機械学習により構築されたニューラルネットワーク(第6ニューラルネットワーク)を含んでいる。
幾つかの例示的な態様において、第6ニューラルネットワークは、評価処理部1030Aにおける第1ニューラルネットワークの少なくとも一部と第2ニューラルネットワークの少なくとも一部と第3ニューラルネットワークの少なくとも一部とを含んでいてもよい。例えば、第6ニューラルネットワークは、第1ニューラルネットワークと第2ニューラルネットワークと第3ニューラルネットワークとを直列に配置したニューラルネットワークであってよい。このような構成の第6ニューラルネットワークは、シャインプルーフ画像から前房領域を特定する機能と、前房領域から細胞領域を特定する機能と、細胞領域から細胞評価情報を生成する機能とを有する。
幾つかの例示的な態様において、第6ニューラルネットワークは、前房領域の特定及び/又は細胞領域の特定を行うことなく、シャインプルーフ画像から細胞評価情報を直接に生成するように機械学習が施されていてもよい。第6ニューラルネットワークの態様はこれらに限定されるものではなく、シャインプルーフ画像から細胞評価情報を特定するための任意の機械学習が適用されたニューラルネットワークを含んでいてよい。
第6ニューラルネットワークに入力されるデータは画像収集部1010からの出力又はそれに基づき生成されたデータであり、第6ニューラルネットワークから出力されるデータは細胞評価情報である。すなわち、細胞評価情報生成処理部1061は、画像収集部1010により取得されたシャインプルーフ画像(及び/又は、このシャインプルーフ画像に基づき生成されたデータ)を受け、このシャインプルーフ画像又はそれに基づき生成されたデータを第6推論モデルの第6ニューラルネットワークに入力し、第6ニューラルネットワークからの出力データ(細胞評価情報)を取得するように構成されている。
第6推論モデル(第6ニューラルネットワーク)を構築するための機械学習の手法は、評価処理部1030Aの細胞評価情報生成処理部1033の第3ニューラルネットワークを構築するための機械学習の手法と同様であってよい。また、第6推論モデル(第6ニューラルネットワーク)を構築するための機械学習に用いられる訓練データは、評価処理部1030Aの第3ニューラルネットワークを構築するための機械学習に用いられる訓練データと同様であってよい。
第6ニューラルネットワークを含む第6推論モデルは、画像収集部1010により取得されたシャインプルーフ画像(及び/又は、このシャインプルーフ画像に基づき生成されたデータ)を入力とし、且つ、入力されたシャインプルーフ画像(及び/又は、このシャインプルーフ画像に基づき生成されたデータ)に基づく細胞評価情報を出力とした学習済みモデルである。
本例の細胞評価情報生成処理部1061は、このような第6推論モデル(第6ニューラルネットワーク)を用いることによって、被検眼のシャインプルーフ画像(及び/又は、このシャインプルーフ画像に基づき生成されたデータ)から細胞評価情報を生成する処理を実行する。
評価処理部1030の一構成例を図12に示す。本例の評価処理部1030Eは、第1セグメンテーション部1071と細胞評価情報生成処理部1072とを含んでいる。
第1セグメンテーション部1071は、前房領域を特定するための第1セグメンテーションを実行するプロセッサを含み、画像収集部1010により取得されたシャインプルーフ画像から前房領域を特定するように構成されている。
機械学習を用いて本例の第1セグメンテーションを実行する場合、第1セグメンテーション部1071は、予め構築された推論モデル(第7推論モデル)を用いて第1セグメンテーションを実行するように構成されている。第7推論モデルは、眼画像(例えば、眼のシャインプルーフ画像、他のモダリティで取得した眼の画像、又は、眼のシャインプルーフ画像及び他のモダリティで取得された眼の画像)を少なくとも含む訓練データを用いた機械学習により構築されたニューラルネットワーク(第7ニューラルネットワーク)を含んでいる。
第7推論モデル(第7ニューラルネットワーク)を構築するための機械学習の手法は、評価処理部1030Aの第1セグメンテーション部1031の第1ニューラルネットワークを構築するための機械学習の手法と同様であってよい。また、第7推論モデル(第7ニューラルネットワーク)を構築するための機械学習に用いられる訓練データは、評価処理部1030Aの第1ニューラルネットワークを構築するための機械学習に用いられる訓練データと同様であってよい。幾つかの例示的な態様において、第7ニューラルネットワークは第1ニューラルネットワークと同一又は類似であってよく、第7推論モデルは第1推論モデルと同一又は類似であってよい。
第7ニューラルネットワークを含む第7推論モデルは、画像収集部1010により取得されたシャインプルーフ画像(又は、その加工画像データなど)を入力とし、且つ、入力されたシャインプルーフ画像中の前房領域(例えば、前房領域の範囲又は位置を示す情報)を出力とした学習済みモデルである。
本例の第1セグメンテーション部1071は、このような第7推論モデル(第7ニューラルネットワーク)を用いることによって、被検眼のシャインプルーフ画像中から前房領域を特定する処理を実行する。
細胞評価情報生成処理部1072は、細胞評価情報を生成するための細胞評価情報生成処理を実行するプロセッサを含み、第1セグメンテーション部1071により特定された前房領域から細胞評価情報を生成する。
機械学習を用いて本例の細胞評価情報生成処理を実行する場合、細胞評価情報生成処理部1072は、予め構築された推論モデル(第8推論モデル)を用いて細胞評価情報生成処理を実行するように構成されている。第8推論モデルは、眼画像(例えば、眼のシャインプルーフ画像、他のモダリティで取得した眼の画像、又は、眼のシャインプルーフ画像及び他のモダリティで取得された眼の画像)を少なくとも含む訓練データを用いた機械学習により構築されたニューラルネットワーク(第8ニューラルネットワーク)を含んでいる。
幾つかの例示的な態様において、第8ニューラルネットワークは、評価処理部1030Aの第2ニューラルネットワークの少なくとも一部と第3ニューラルネットワークの少なくとも一部とを含んでいてもよい。例えば、第8ニューラルネットワークは、第2ニューラルネットワークと第3ニューラルネットワークとを直列に配置したニューラルネットワークであってよい。このような構成の第8ニューラルネットワークは、前房領域から細胞領域を特定する機能と、細胞領域から細胞評価情報を生成する機能とを有する。
幾つかの例示的な態様において、第8ニューラルネットワークは、細胞領域の特定を行うことなく、前房領域から細胞評価情報を直接に生成するように機械学習が施されていてもよい。第8ニューラルネットワークの態様はこれらに限定されるものではなく、前房領域から細胞評価情報を特定するための任意の機械学習が適用されたニューラルネットワークを含んでいてよい。
第8ニューラルネットワークに入力されるデータは第1セグメンテーション部1071からの出力又はそれに基づき生成されたデータであり、第8ニューラルネットワークから出力されるデータは細胞評価情報である。すなわち、細胞評価情報生成処理部1072は、第1セグメンテーション部1071によりシャインプルーフ画像から特定された前房領域(及び/又は、この前房領域に基づき生成されたデータ)を受け、この前房領域又はそれに基づき生成されたデータを第8推論モデルの第8ニューラルネットワークに入力し、第8ニューラルネットワークからの出力データ(細胞評価情報)を取得するように構成されている。
第8推論モデル(第8ニューラルネットワーク)を構築するための機械学習の手法は、評価処理部1030Aの細胞評価情報生成処理部1033の第3ニューラルネットワークを構築するための機械学習の手法と同様であってよい。また、第8推論モデル(第8ニューラルネットワーク)を構築するための機械学習に用いられる訓練データは、評価処理部1030Aの第3ニューラルネットワークを構築するための機械学習に用いられる訓練データと同様であってよい。
第8ニューラルネットワークを含む第8推論モデルは、第1セグメンテーション部1071により特定された前房領域(及び/又は、この前房領域に基づき生成されたデータ)を入力とし、且つ、入力された前房領域(及び/又は、この前房領域に基づき生成されたデータ)に基づく細胞評価情報を出力とした学習済みモデルである。
本例の細胞評価情報生成処理部1072は、このような第8推論モデル(第8ニューラルネットワーク)を用いることによって、被検眼のシャインプルーフ画像中の前房領域(及び/又は、この前房領域に基づき生成されたデータ)から細胞評価情報を生成する処理を実行する。
評価処理部1030の一構成例を図13に示す。本例の評価処理部1030Fは、第1セグメンテーション部1081、変換処理部1082、及び細胞評価情報生成処理部1083を含んでいる。
第1セグメンテーション部1081は、評価処理部1030Aの第1セグメンテーション部1031と同様の構成及び機能を有し、画像収集部1010により取得されたシャインプルーフ画像から前房領域を特定するための第1セグメンテーションを実行するように構成されている。
変換処理部1082は、第1セグメンテーション部1081により特定された前房領域を、細胞評価情報生成処理部1083が実行する細胞評価情報生成処理に応じた構造のデータに変換する。本例の細胞評価情報生成処理部1083は、評価処理部1030Eの細胞評価情報生成処理部1072のように、機械学習で構築されたニューラルネットワーク(第8ニューラルネットワーク)を用いて細胞評価情報生成処理を実行するように構成されている。変換処理部1082は、第1セグメンテーション部1081によりシャインプルーフ画像から特定された前房領域を、細胞評価情報生成処理部1083の第8ニューラルネットワークの入力層に対応した構造の画像データに変換するための変換処理を実行するように構成されている。
例えば、細胞評価情報生成処理部1083の第8ニューラルネットワーク(畳み込みニューラルネットワーク)の入力層が既定の構造(形態、形式)のデータを受け付けるように構成されている場合がある。この既定のデータ構造は、例えば、既定の画像サイズ(例えば、縦方向のピクセル数及び横方向のピクセル数)、既定の画像形状(例えば、正方形又は長方形)などであってよい。一方、眼科装置の仕様、撮影時の条件や設定、被検眼の寸法や形態の個人差などの影響により、第1セグメンテーション部1081によって特定される前房領域の画像サイズや画像形状は様々である。変換処理部1082は、第1セグメンテーション部1081により特定された前房領域の構造(例えば、画像サイズ及び/又は画像形状)を、細胞評価情報生成処理部1083の第8ニューラルネットワークの入力層が受け付け可能な構造に変換する。
画像サイズの変換は、任意の公知の画像サイズ変換技術を用いて実行されてよく、例えば、第1セグメンテーション部1081により特定された前房領域を入力層に応じた画像サイズの複数の部分画像に分割する処理、又は、第1セグメンテーション部1081により特定された前房領域を入力層に応じた画像サイズの単一の画像にリサイズする処理を含んでいてよい。画像形状の変換は、任意の公知の画像変形技術を用いて実行されてよい。他のデータ構造の変換処理についても同様であってよい。
細胞評価情報生成処理部1083は、評価処理部1030Eの細胞評価情報生成処理部1072と同様の構成及び機能を有し、第1セグメンテーション部1081により特定された前房領域を変換処理部1082により加工することによって得られたデータから細胞評価情報を生成するための細胞評価情報生成処理を実行するように構成されている。
このように、本例の評価処理部1030Fは、評価処理部1030Eの第1セグメンテーション部1071と細胞評価情報生成処理部1072との間に変換処理部1082を配置した構成であってよい。しかしながら、評価処理部1030Fの構成はこれに限定されない。
ここまでは、主に、機械学習を用いて構築された推論モデル(ニューラルネットワーク)を含む評価処理部1030の幾つかの例について説明した。しかし、評価処理部1030は、このような機械学習ベースの構成に限定されない。本開示に係る評価処理部1030は、機械学習ベースの構成のみによって実施されてもよいし、機械学習ベースの構成と非機械学習ベースの構成との組み合わせによって実施されてもよいし、非機械学習ベースの構成のみによって実施されてもよい。
以下、非機械学習ベースの構成のみによる評価処理部1030の幾つかの例について説明する。機械学習ベースの構成と非機械学習ベースの構成との組み合わせによる評価処理部1030の態様については、当業者であれば、前述した機械学習ベースの構成の様々な例と、後述する非機械学習ベースの構成のみによる評価処理部1030の幾つかの例とに基づいて理解することができるであろう。
評価処理部1030の一構成例を図14に示す。本例の評価処理部1030Gは、第1解析処理部1091と、第2解析処理部1092と、第3解析処理部1093とを含んでいる。
第1解析処理部1091は、前房領域を特定するための第1セグメンテーションを実行するプロセッサを含み、画像収集部1010により取得されたシャインプルーフ画像(及び/又は、その加工画像データ)に所定の解析処理(第1解析処理と呼ぶ)を適用して、このシャインプルーフ画像中の前房領域を特定するように構成されている。
第1解析処理は、シャインプルーフ画像中の前房領域を特定するための任意の公知のセグメンテーションを含んでいてよい。例えば、前房領域を特定するためのセグメンテーションは、角膜(特に、角膜後面)に相当する画像領域を特定するためのセグメンテーションと、水晶体(特に、水晶体前面)に相当する画像領域を特定するためのセグメンテーションとを含んでいる。角膜に相当する画像領域を角膜領域と呼び、角膜後面に相当する画像領域を角膜後面領域と呼び、水晶体に相当する画像領域を水晶体領域と呼び、水晶体前面に相当する画像領域を水晶体前面領域と呼ぶ。
角膜後面領域のセグメンテーションは、任意の公知のセグメンテーションを含んでいてよい。角膜後面領域のセグメンテーションでは、シャインプルーフ画像中のアーティファクトや、ピクセル値のサチュレーションなどが問題となる。これらの問題を解消するために、例えば、図4Cに示す構成を採用することができる。すなわち、第1撮影系1014及び第2撮影系1015を用いた撮影手法と、画像選択部1110を用いたシャインプルーフ画像の選択処理とを組み合わせることによって、アーティファクトやサチュレーションの無いシャインプルーフ画像を選択すること、及び、選択されたシャインプルーフ画像から角膜後面領域を特定することが可能になる。
水晶体前面領域のセグメンテーションは、任意の公知のセグメンテーションを含んでいてよい。水晶体前面領域のセグメンテーションでは、被検眼の瞳孔の状態(例えば、散瞳状態、無散瞳状態、小瞳孔眼など)によってシャインプルーフ画像の表現状態(シャインプルーフ画像の見え方)が変化することなどが問題となる。例えば、被検眼が無散瞳状態又は小瞳孔眼である場合、被検眼が散瞳状態である場合と比較して、画像化される水晶体の範囲が小さくなってしまう。このような問題を解消するために、例えば、シャインプルーフ画像に描出されている水晶体前面領域に基づいて画像化されていない水晶体前面の部分(瞳孔に覆われている部分)の位置や形状を推測する処理など、シャインプルーフ画像の表現状態を均一化するための処理を適用することができる。シャインプルーフ画像の表現状態を均一化するための処理は、機械学習ベースで実行されてもよいし、非機械学習ベースで実行されてもよい。また、水晶体前面の位置や形状を推測する処理は、例えば、任意の公知の外挿処理を含んでいてよい。
画像収集部1010がスリットスキャンによって一連のシャインプルーフ画像を収集する場合、問題の有る画像と問題の無い画像とが混在していたり、画像間において問題の程度にばらつきがあったりすることがある。例えば、アーティファクトやサチュレーションが有る画像と無い画像とが混在していたり、様々な異なる状態のアーティファクト(位置、寸法、形状など)が幾つかの画像に混入していたりすることがある。これらの現象は、評価処理部1030Gが実行する処理の品質(例えば、安定性、ロバスト性、再現性、正確度、精度など)に悪影響を与えるおそれがある。幾つかの例示的な態様では、これらの現象を発生させないための対策を講じたり、これらの現象に起因する悪影響を小さくするための対策を講じたりすることができる。前者の対策の例として、第1撮影系1014及び第2撮影系1015を用いた撮影手法と、画像選択部1110を用いたシャインプルーフ画像の選択処理とを組み合わせることができる。後者の対策の例として、画像の補正・ノイズ除去・ノイズ低減、画像パラメータの調整などを実行することができる。
第2解析処理部1092は、細胞領域を特定するための第2セグメンテーションを実行するプロセッサを含み、第1解析処理部1091によりシャインプルーフ画像から特定された前房領域に第2解析処理を適用して細胞領域を特定するように構成されている。
幾つかの例示的な態様において、第2解析処理部1092は、前房領域内の各ピクセルの値(例えば、輝度値、R値、G値、及びB値のうちの少なくとも1つ)に基づいて、細胞領域を特定するように構成されていてよい。幾つかの例示的な態様において、第2解析処理部1092は、細胞領域を特定するためのセグメンテーションを前房領域に適用するように構成されていてよい。このセグメンテーションは、例えば、炎症細胞(細胞領域)の標準的な形態(例えば、寸法、形状など)に基づき作成されたプログラムにしたがって実行される。幾つかの例示的な態様において、第2解析処理部1092は、これら2つの手法の少なくとも部分的な組み合わせによって細胞領域を特定するように構成されていてよい。
画像収集部1010がスリットスキャンによって一連のシャインプルーフ画像を収集する場合に講じうる対策については、第1解析処理部1091の場合と同様であってよい。また、一般的に細胞領域は微小な画像領域であることを考慮し、細胞領域と微小なアーティファクトとを識別するための対策を講じてもよい。例えば、アーティファクト(ゴーストなど)を除去するための処理を実行することで、細胞領域の検出においてアーティファクトが誤検出されることを防止することができる。
第3解析処理部1093は、細胞評価情報を生成するための細胞評価情報生成処理を実行するプロセッサを含み、第2解析処理部1092によりシャインプルーフ画像の前房領域から特定された細胞領域に第3解析処理を適用して細胞評価情報を生成するように構成されている。
前述したように、細胞評価情報は炎症細胞に関する任意の評価情報であってよく、例えば、炎症細胞の状態(例えば、密度、個数、位置、分布などの任意のパラメータ)を表す情報を含んでいてもよいし、炎症細胞の状態に関する所定のパラメータの情報に基づき生成された評価情報を含んでいてもよい。
幾つかの例示的な態様において、第3解析処理部1093は、第2解析処理部1092により特定された1つ以上の細胞領域について、密度、個数、位置、分布などを求めることができる。
炎症細胞の密度を求める処理は、例えば、所定寸法の画像領域(例えば、1ミリメートル四方の画像領域)を設定する処理と、設定された画像領域において第2解析処理部1092により検出された細胞領域の個数をカウントする処理とを含んでいる。ここで、画像領域の寸法(例えば「1ミリメートル」のように、実空間における寸法)は、例えば、眼科装置1500の光学系の仕様(例えば、光学系の設計データ及び/又は光学系の実測データ)に基づいて定義され、典型的にはピクセルと実空間における寸法との対応関係(例えば、ドットピッチ)として定義される。細胞評価情報は、このようにして求められた炎症細胞の密度の情報を含んでいてもよいし、この密度の情報から得られる評価情報を含んでいてもよい。この評価情報は、例えば、SUN Working Groupにより提案されたぶどう膜炎疾患の分類基準を用いた評価結果を含んでいてよい。この分類基準は、1視野(1ミリメートル四方の大きさの視野)に存在する炎症細胞の個数(すなわち、炎症細胞の密度(濃度))に応じたグレードを定義したものであり、グレード「0」は細胞数1個未満、グレード「0.5+」は細胞数1~5個、グレード「1+」は細胞数6~15個、グレード「2+」は細胞数16~25個、グレード「3+」は細胞数26~50個、グレード「4+」は細胞数50個以上として定義されている。なお、この分類基準のグレード区分をより細かくしてもよいし、より粗くしてもよい。また、他の分類基準に基づいて細胞評価情報を生成してもよい。
幾つかの例示的な態様において、評価処理部1030G(第3解析処理部1093)は、第1解析処理部1091によりシャインプルーフ画像から特定された前房領域の部分領域(例えば、1ミリメートル四方の画像領域)を特定する処理と、この部分領域に属する細胞領域の個数を求める処理と、この個数と部分領域の寸法とに基づいて炎症細胞の密度を算出する処理とを実行するように構成されていてよい。ここで、評価処理部1030Gは、第2解析処理部1092により前房領域全体から検出された細胞領域のうち当該部分領域内に位置している細胞領域を選択し、選択された細胞領域に基づいて第3解析処理部1093により密度を求めるように構成されていてもよい。或いは、評価処理部1030Gは、第2解析処理部1092により当該部分領域を解析して細胞領域を特定し、当該部分領域から特定された細胞領域に基づいて第3解析処理部1093により密度を求めるように構成されていてもよい。
炎症細胞の個数を求める処理は、例えば、第2解析処理部1092により検出された細胞領域の個数をカウントする処理を含んでいる。細胞評価情報は、このようにして求められた炎症細胞の個数の情報を含んでいてもよいし、この個数の情報から得られる評価情報を含んでいてもよい。例えば、細胞評価情報は、前房領域全体から検出された細胞領域の個数を前房領域の寸法(例えば、面積、体積など)で除算することによって、前房領域全体における炎症細胞の平均密度を求めることができる。また、細胞評価情報は、前房領域全体から検出された細胞領域の個数に基づく評価結果(例えば、グレード)を含んでいてもよいし、前房領域の部分領域における細胞領域の個数及び/又はそれに基づく評価結果を含んでいてもよい。
炎症細胞の位置を求める処理は、例えば、第2解析処理部1092により検出された細胞領域の位置を特定する処理を含んでいてよい。細胞領域の位置は、例えば、シャインプルーフ画像の定義座標系の座標として表現されてもよいし、又は、シャインプルーフ画像に描出されている所定の画像領域(基準領域)に対する相対位置(例えば、距離、方向など)として表現されてもよい。この基準領域は、例えば、角膜領域、角膜後面領域、水晶体領域、水晶体前面領域、眼の軸に相当する画像領域(例えば、角膜の頂点位置と水晶体前面の頂点位置とを結ぶ直線)などであってよい。細胞評価情報は、このようにして求められた炎症細胞の位置の情報を含んでいてもよいし、この位置の情報から得られる評価情報を含んでいてもよい。例えば、細胞評価情報は、炎症細胞の分布(複数の細胞領域の分布)を表す情報を含んでいてもよいし、1つ以上の炎症細胞の位置に基づく評価結果(例えば、グレード)を含んでいてもよいし、複数の炎症細胞の位置(分布)に基づく評価結果(例えば、グレード)を含んでいてもよい。
本態様によれば、眼内浮遊物(炎症細胞など)の像のぼやけが低減されたシャインプルーフ画像に基づいて評価情報を生成することができるので、以上に説明したいずれの例においても、従来よりも高い品質で評価を実行することが可能になる。なお、他の評価情報生成処理が採用される場合においても従来よりも高い品質で評価を実行できることは、当業者であれば理解できるであろう。
実施形態に係る眼科装置(1000、1500)の動作について、幾つかの例を説明する。本開示に係る任意の事項、本開示において引用された文献に係る任意の事項、本開示に係る実施形態が属する技術分野に係る任意の事項、本開示に係る実施形態に関連する技術分野に係る任意の事項などを、以下の動作例に組み合わせることができる。
眼科装置1500の動作の一例を図15に示す。なお、下記の説明から分かるように、図15のステップS1及びS2は、眼科装置1000によっても実行可能である。
被検眼の撮影(スキャン)の前に眼科装置1500により実行される幾つかの動作(準備的動作)は済んでいるものとする。準備的動作としては、眼科装置1500が設置されたテーブルの調整、被検者が使用している椅子の調整、眼科装置1500の顔受け(顎受け、額当てなど)の調整、被検眼に対する眼科装置1500の位置合わせ(アライメント)などがある。
本動作例では、まず、被検眼をスキャンするための条件(スキャン条件)の設定が行われる(S1)。条件設定の少なくとも一部が手動で行われてもよいし、条件設定の少なくとも一部が自動で実行されてもよい。条件設定の例示的な方法や例示的な動作については後述する。
スキャン条件の例として、照明系1011に関する条件、撮影系1012に関する条件、移動機構(又は、移動機構と同様の機能を有する要素:照明スキャナー、可動照明ミラー、撮影スキャナー、可動撮影ミラーなど)に関する条件、照明系1011、撮影系1012、及び移動機構のいずれか2つ又は3つの連係(同期)に関する条件などがある。
照明系1011に関する条件の例として、照明光の強度(光量:図5、図6の照明制御パルス高)、照明光のパルス幅(投射時間:図5、図6の照明制御パルス幅)、スリット光の寸法、スリット光の向きなどがある。
撮影系1012に関する条件の例として、撮像素子1013の露光時間、撮像素子1013のゲイン(感度)などがある。
移動機構に関する条件の例として、照明光の移動距離(図5、図6のスキャン範囲)、照明光の移動スピード(図6のスキャンスピード)などがある。
照明系1011、撮影系1012、及び移動機構のいずれか2つ又は3つの連係(同期)に関する条件の例として、照明光の投射時間と撮像素子1013の露光時間との連係(同期)、照明光の投射期間と撮像素子1013の露光期間との連係(同期)などがある。本動作例では、照明光の投射時間が撮像素子1013の露光時間よりも短くなるように、且つ、照明光の投射期間の少なくとも一部と撮像素子1013の露光期間の少なくとも一部とが重複するように、条件設定が行われる。例えば、撮像素子1013の露光期間の一部期間と照明光の投射期間とが対応するように、且つ、照明光の投射時間及び不投射時間の合計時間と撮像素子1013の露光時間及び不露光時間の合計時間とが等しくなるように条件設定が行われる。これにより、図2に示すように、照明光の投射のシーケンス(時系列に並ぶ照明光の複数回の投射)と、カメラの露光のシーケンス(時系列に並ぶ複数回の撮像素子1013の露光)とが、互いに同期される。
撮影開始の指示を受けて、眼科装置1500の制御部1020は、ステップS1で設定されたスキャン条件に基づき画像収集部1010を制御することによって被検眼のスキャンを実行させる。このスキャンにより、被検眼の一連のシャインプルーフ画像が収集される(S2)。
続いて、眼科装置1500の評価処理部1030は、ステップS2で取得された一連のシャインプルーフ画像に基づいて被検眼の評価情報を生成する(S3)。
図4に示すように、眼科装置1500の撮影系1012が第1撮影系1014及び第2撮影系1015を含み、且つ、眼科装置1500が画像選択部1110を含む又は使用可能である場合、眼科装置1500は、ステップS2において第1撮影系1014及び第2撮影系1015によりそれぞれ第1シャインプルーフ画像群及び第2シャインプルーフ画像群を収集し、画像選択部1110によって第1シャインプルーフ画像群及び第2シャインプルーフ画像群から一連のシャインプルーフ画像を生成し、ステップS3において評価処理部1030により当該一連のシャインプルーフ画像から評価情報を生成してもよい。
眼科装置1500は、ステップS2で取得されたシャインプルーフ画像及び/又はステップS3で生成された評価情報を表示装置に表示させることができる。表示装置は、眼科装置1500の要素であってもよいし、眼科装置1500に接続された外部機器であってもよい。また、表示装置に情報を表示させるための制御は、図示しない表示制御プロセッサにより実行される。この表示制御プロセッサは、例えば、制御部1020に含まれていてもよいし、制御部1020とは別の眼科装置1500の要素であってもよいし、眼科装置1500とは別の装置に設けられていてもよい。
以下、眼科装置1500により実行可能な情報表示の幾つかの例について説明する。情報表示の態様はこれらの例に限定されない。これらの例のうちの少なくとも2つを少なくとも部分的に組み合わせることが可能である。
情報表示の第1の例において、眼科装置1500は、ステップS2で取得されたシャインプルーフ画像及び/又はステップS3で生成された評価情報をそのまま表示装置に表示させる。眼科装置1500は、シャインプルーフ画像及び/又は評価情報とともに他の情報(付加情報)を表示させてもよい。付加情報は、シャインプルーフ画像及び/又は評価情報と併せて参照することによって被検眼の診療のために有用な任意の種類の情報であってよい。
情報表示の第2の例において、眼科装置1500は、従来のスリットランプ顕微鏡により取得された眼の画像(スリットランプ画像)を摸擬した画像をシャインプルーフ画像から生成し、生成された摸擬画像を表示装置に表示させる。これにより、被検眼の観察に従来から使用されてきており多くの医師が見慣れているスリットランプ画像を模した画像を提供することが可能になる。
スリットランプ画像から摸擬画像を生成する処理は、機械学習ベースの処理及び/又は非機械学習ベースの処理によって形成される。
機械学習ベースの処理は、例えば、シャインプルーフ画像とスリットランプ画像との複数のペアを含む訓練データを用いた機械学習によって構築されたニューラルネットワークを用いて実行される。このニューラルネットワークは、畳み込みニューラルネットワークを含む。この畳み込みニューラルネットワークは、シャインプルーフ画像の入力を受け、摸擬画像を出力するように構成されている。
非機械学習ベースの処理は、例えば、摸擬的なボケを生成する処理や色変換や画質変換など、画像の見え方を変換する処理を含んでいてよい。非機械学習ベースの処理の例示的な態様は、スリットスキャンで収集された一連のシャインプルーフ画像から3次元画像(例えば、8ビットのグレースケールボリューム)を構築する処理と、ピクセル値レンジの最大値(ピクセル値の階調)を低下させる処理(例えば、256階調を10階調に低下させる処理)と、階調が変換された3次元画像の関心領域(例えば、所定寸法の直方体領域)を設定する処理と、設定された関心領域の正面画像(enface画像)を構築する処理(例えば、最大値投影処理(MIP))とを含んでいる。
摸擬画像は、広範囲にピントが合ったシャインプルーフ画像と同じ領域を表す画像であってもよいし、シャインプルーフ画像が表現している領域の部分領域を表す画像であってもよい。この部分領域は、例えば、SUN Working Groupにより提案されたぶどう膜炎疾患の分類基準における評価範囲である1視野、すなわち1ミリメートル四方の大きさの視野、であってよい。
眼科装置1500は、例えば、摸擬画像中の注目部分を強調表示させることができる。この注目部分の例として、炎症細胞に相当する画像領域、前房フレアに相当する画像領域、水晶体の混濁に相当する画像領域などがある。
情報表示の第3の例において、眼科装置1500は、ステップS3で生成された評価情報を視覚化した情報を表示装置に表示させる。この視覚化情報は、例えば、所定の対象物の分布を表すマップや、所定のパラメータの値の分布を表すマップであってよい。
このようなマップの例として、被検眼の炎症状態を表すマップ(炎症状態マップ)がある。この炎症状態マップの例として、前房内における炎症細胞の位置(分布)を表す炎症細胞マップや、前房内における炎症細胞の密度(又は、個数)の分布を表す炎症細胞密度マップ(炎症細胞個数マップ)などがある。これらの炎症細胞に関するマップを作成する処理は、例えば、スリットスキャンを用いて得られた一連のシャインプルーフ画像のそれぞれから炎症細胞に相当する画像領域(細胞領域)を特定する処理(第2セグメンテーション)と、特定された各細胞領域の位置(例えば、シャインプルーフ画像の定義座標系における2次元座標、又は、一連のシャインプルーフに基づく3次元画像の定義座標系における3次元座標)を求める処理と、求められた各細胞領域の位置に基づきマップを作成する処理とを含んでいる。
眼科装置1500は、シャインプルーフ画像及び/又は炎症状態情報とともに炎症状態マップを表示させることができる。例えば、眼科装置1500は、スリットスキャンで収集された一連のシャインプルーフ画像に基づく正面画像と、同じ一連のシャインプルーフ画像に基づき生成された炎症状態マップとを表示させることができる。その具体例として、正面画像に炎症状態マップを重ねて表示させることや、正面画像と炎症状態マップとを並べて表示させることができる。
表示装置に表示させる情報を生成する処理は、図示しない情報生成プロセッサにより実行される。この表示制御プロセッサは、例えば、評価処理部1030に含まれていてもよいし、評価処理部1030とは別の眼科装置1500の要素であってもよいし、眼科装置1500とは別の装置に設けられていてもよい。以上で、図15の動作例の説明を終了する。
眼科装置1500の動作の一例を図16に示す。本動作例は、上記した図15の動作例のステップS1(条件設定)及びステップS2(スキャン)の一具体例を提供するものである。図15の動作例の場合と同様に、本動作例は、眼科装置1000によっても実行可能である。また、図15の動作例の場合と同様に、幾つかの準備的動作は済んでいるものとする。また、眼科装置1500は、撮影モード情報(例えば、図5の撮影モード情報1200又は図6の撮影モード情報1210)を参照可能であるとする。
本動作例では、まず、撮影モードの指定が行われる(S11)。撮影モードの指定は、手動又は自動で行われる。手動指定は、図示しないユーザーインターフェイスを用いて行われる。自動指定は、例えば、診断名(疾患名)、検査種別、検査記録などの所定の参照情報に基づき実行される。この参照情報は、例えば、被検者(被検眼)に関する医療記録から取得される。
次に、眼科装置1500の制御部1020は、ステップS11で指定された撮影モードと、撮影モード情報とに基づいて、パルス駆動される照明光源に印可される制御パルス信号のパルス高(照明制御パルス高)及びパルス幅(照明制御パルス幅)を設定する(S12)。
更に、眼科装置1500の制御部1020は、ステップS11で指定された撮影モードと、撮影モード情報とに基づいて、スキャンのために移動機構によって移動される光学系(照明系1011、撮影系1012)の移動距離(スキャン範囲)及び移動スピード(スキャンスピード)を設定する(S13)。
加えて、眼科装置1500の制御部1020は、ステップS11で指定された撮影モードと、ステップS12で設定された照明系1011に関する条件と、ステップS13で設定された移動機構に関する条件とのうちの1つ以上に基づいて、撮像素子1013の露光時間を設定する(S14)。
ステップS12~S13の順序は本例に限定されず、設定される条件も本例に限定されない。例えば、照明系1011、撮影系1012、及び移動機構のいずれか2つ又は3つの連係(同期)に関する条件を設定してもよい。なお、本例の条件設定は、次の2つ条件を満足するように実行される:(1)被検眼に対する照明光の投射時間が撮像素子1013の露光時間よりも短くなること;(2)被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とが重複すること。本例の条件設定は、次の任意的条件を満足するように実行されてもよい:(3)被検眼に対する照明光の投射時間及び不投射時間の合計時間と、撮像素子1013の露光時間及び不露光時間の合計時間とが等しいこと。
条件設定の完了後、被検眼に対する眼科装置1500の光学系(照明系1011、撮影系1012)のアライメントが行われる(S15)。このアライメントは、オートアライメントでもマニュアルアライメントでもよい。アライメントの詳細については、特許文献3(特開2019-213733号公報)を参照されたい。
次に、眼科装置1500の光学系を所定のスキャン開始位置に配置させる(S16)。この処理は、自動又は手動で実行されてよい。
ステップS15のアライメントが光学系をスキャン開始位置に導くように行われる場合には、ステップS16を行う必要はないが、ステップS15のアライメントの結果の確認や調整をステップS16で行うようにしてもよい。この確認や調整は、自動又は手動で実行されてよい。なお、光学系をスキャン開始位置に導くアライメントの詳細については、特許文献3(特開2019-213733号公報)を参照されたい。
光学系がスキャン開始位置に配置された後、画像収集部1010による被検眼のスキャン(スリットスキャン)が開始される(S17)。例えば、ユーザーの指示操作を受けてスキャンが開始され、又は、光学系がスキャン開始位置に配置されたことが検出されたことを受けてスキャンが開始される。
スキャンが開始されると、制御部1020は、まず、ステップS12~S14で設定されたスキャン条件に基づいて、撮像素子1013に露光を開始させる(図2を参照)(S18)。本ステップは、1つの露光期間の開始に相当する。
次に、制御部1020は、ステップS12~S14で設定されたスキャン条件に基づいて、照明光源に照明光をパルス発光させる(図2を参照)(S19)。本ステップは、1回のパルス発光に相当する。
次に、制御部1020は、ステップS12~S14で設定されたスキャン条件に基づいて、撮像素子1013に露光を終了させる(図2を参照)(S20)。本ステップは、ステップS18で開始された1つの露光期間の終了に相当する。
このように、本動作例(ステップS18~S20)では、図17Aに示すように、1つの投影期間の全体が1つの露光期間の一部期間に対応している(時間的に重複している、時間的に並行している)。
一般に、実施形態に係るスキャンは、被検眼に対する照明光の投射時間が撮像素子1013の露光時間よりも短いことに加えて、被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とが重複することを条件としている。図17Bに示す例においては、1つの投射時間の一部期間が1つの露光期間の一部期間に対応している。
なお、1つの投射期間の長さ(投射時間)が1つの露光期間の長さ(露光時間)よりも短いという条件も満足する必要があるため、投射期間の少なくとも一部と露光期間の少なくとも一部とが重複するという条件のうち、投射期間の一部と露光期間の全部とが重複するケース、及び、投射期間の全部と露光期間の全部とが重複するケースは、論理的に除外されることになる。
したがって、実施形態の「照明光の投射時間が撮像素子の露光時間よりも短く、且つ、被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とが重複する」という条件は、例えば、「照明光の投射時間が撮像素子の露光時間よりも短く、且つ、被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の一部とが重複する」、「照明光の投射時間が撮像素子の露光時間よりも短く、且つ、被検眼に対する照明光の投射期間の一部と撮像素子の露光期間の一部とが重複する又は被検眼に対する照明光の投射期間(全体)と撮像素子の露光期間の一部とが重複する」、「被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の一部とが重複する」、「被検眼に対する照明光の投射期間の一部と撮像素子の露光期間の一部とが重複する、又は、被検眼に対する照明光の投射期間(全体)と撮像素子の露光期間の一部とが重複する」などと言い換えることができる。
ステップS18~S20は、スキャン終了となる所定の条件が満足されるまで反復される(S21:No)。このスキャン終了条件は、例えば、既定個数のシャインプルーフ画像が取得されたこと、ステップS18~S20の反復回数が既定回数に達したこと、ステップS18~S20の実行時間が既定時間に達したこと、ユーザーが所定の指示操作(スキャン終了操作)を行ったこと、などであってよい。
スキャン終了条件が満足されると(S21:Yes)、ステップS17で開始された被検眼に対するスキャンは終了となる(S22)。ステップS22は、図15のステップS2の終了に相当する。
ステップS22の後、眼科装置1500は、図15のステップS3の評価情報生成処理、情報表示処理、情報保存処理、情報解析処理など、任意の処理を実行するように構成されていてもよい。以上で、図16の動作例の説明を終了する。
以上に説明した眼科装置1000又は1500として機能することが可能な眼科装置の具体的構成の例を図18に示す。図18は上面図であり、被検眼Eの軸に沿う方向をZ方向とし、これに直交する方向のうち被検者にとって左右の方向をX方向とし、X方向及びZ方向の双方に直交する方向(上下方向、体軸方向)をY方向とする。
本例の眼科装置は、特許文献3(特開2019-213733号公報)に開示されているものと同様の構成を有するスリットランプ顕微鏡システム1であり、照明系2と、撮影系3と、動画撮影系4と、光路結合素子5と、移動機構6と、制御部7と、データ処理部8と、通信部9と、ユーザーインターフェイス10とを含む。被検眼Eの角膜を符号Cで示し、水晶体を符号CLで示す。前房は、角膜Cと水晶体CLとの間の領域(角膜Cと虹彩との間の領域)に相当する。スリットランプ顕微鏡システム1の各要素の詳細については、特許文献3(特開2019-213733号公報)を参照されたい。
照明系2、撮影系3、及び移動機構6の組み合わせは、眼科装置1000(1500)の画像収集部1010の例である。照明系2は照明系1011の例であり、撮影系3は撮影系1012の例である。
照明系2は、被検眼Eの前眼部にスリット光を投射する。符号2aは、照明系2の光軸(照明光軸)を示す。撮影系3は、照明系2からのスリット光が投射されている前眼部を撮影する。符号3aは、撮影系3の光軸(撮影光軸)を示す。光学系3Aは、スリット光が投射されている被検眼Eの前眼部からの光を撮像素子3Bに導く。撮像素子3Bは、光学系3Aにより導かれた光を撮像面にて受光する。撮像素子3Bは、2次元の撮像エリアを有するエリアセンサ(CCDエリアセンサ、CMOSエリアセンサなど)を含む。撮像素子3Bは、眼科装置1000(1500)の撮像素子1013の例である。
照明系2及び撮影系3は、シャインプルーフカメラとして機能するものであり、照明光軸2aに沿う物面と光学系3Aと撮像素子3Bの撮像面とがシャインプルーフの条件を満足するように、すなわち照明光軸2aを通るYZ面(物面を含む)と光学系3Aの主面と撮像素子3Bの撮像面とが同一の直線上にて交差するように、構成されている。これにより、少なくとも角膜Cの後面から水晶体CLの前面までの範囲(前房)にピントが合っている状態で、撮影を行える。また、照明系2及び撮影系3は、少なくとも角膜Cの前面の頂点(Z=Z1)から水晶体CLの後面の頂点(Z=Z2)までの範囲にピントが合っている状態で、撮影を行える。なお、座標Z=Z0は照明光軸2aと撮影光軸3aとの交点を示す。
動画撮影系4は、ビデオカメラであり、照明系2及び撮影系3による被検眼の撮影と並行して被検眼Eの前眼部を動画撮影する。光路結合素子5は、照明系2の光路(照明光路)と、動画撮影系4の光路(動画撮影光路)とを結合している。
照明系2、撮影系3、動画撮影系4、及び光路結合素子5を含む光学系の具体例を図19に示す。図19に示す光学系は、照明系2の例である照明系20と、撮影系3(第1撮影系1014及び第2撮影系1015)の例である左撮影系30L及び右撮影系30Rと、動画撮影系4の例である動画撮影系40と、光路結合素子5の例であるビームスプリッタ47とを含んでいる。
符号20aは照明系20の光軸(照明光軸)を示し、符号30Laは左撮影系30Lの光軸(左撮影光軸)を示し、符号30Raは右撮影系30Rの光軸(右撮影光軸)を示す。角度θLは照明光軸20aと左撮影光軸30Laとがなす角度を示し、角度θRは照明光軸20aと右撮影光軸30Raとがなす角度を示す。座標Z=Z0は、照明光軸20aと左撮影光軸30Laと右撮影光軸30Raとの交点を示す。
移動機構6は、照明系20、左撮影系30L、及び右撮影系30Rを、矢印49で示す方向(X方向)に移動する。
照明系20の照明光源21は照明光(例えば可視光)を出力し、正レンズ22は照明光を屈折する。スリット形成部23はスリットを形成して照明光の一部を通過させる。生成されたスリット光は、対物レンズ群24及び25により屈折され、ビームスプリッタ47により反射され、被検眼Eの前眼部に投射される。
左撮影系30Lの反射器31L及び結像レンズ32Lは、照明系20によりスリット光が投射されている前眼部からの光(左撮影系30Lの方向に進行する光)を撮像素子33Lに導く。撮像素子33Lは、導かれた光を撮像面34Lにて受光する。左撮影系30Lは、移動機構6による照明系20、左撮影系30L及び右撮影系30Rの移動と並行して繰り返し撮影を行う。これにより複数の前眼部画像(一連のシャインプルーフ画像)が得られる。照明光軸20aに沿う物面と反射器31L及び結像レンズ32Lを含む光学系と撮像面34Lとは、シャインプルーフの条件を満足する。右撮影系30Rも同様の構成及び機能を有する。
左撮影系30Lによるシャインプルーフ画像収集と右撮影系30Rによるシャインプルーフ画像収集とは、互いに並行して行われる。左撮影系30Lにより収集される一連のシャインプルーフ画像と右撮影系30Rにより収集される一連のシャインプルーフ画像との組み合わせは、第1シャインプルーフ画像群と第2シャインプルーフ画像群との組み合わせに相当する。
制御部7は、左撮影系30Lによる繰り返し撮影と右撮影系30Rによる繰り返し撮影とを同期させることができる。これにより、左撮影系30Lにより得られた一連のシャインプルーフ画像と、右撮影系30Rにより得られた一連のシャインプルーフ画像との間の対応関係が得られる。なお、左撮影系30Lにより得られた複数の前眼部画像と、右撮影系30Rにより得られた複数の前眼部画像との間の対応関係を求める処理を、制御部7又はデータ処理部8により実行してもよい。
動画撮影系40は、左撮影系30Lによる撮影及び右撮影系30Rによる撮影と並行して、被検眼Eの前眼部を固定位置から動画撮影する。ビームスプリッタ47を透過した光は、反射器48により反射されて動画撮影系40に入射する。動画撮影系40に入射した光は、対物レンズ41により屈折された後、結像レンズ42によって撮像素子43(エリアセンサ)の撮像面に結像される。動画撮影系40は、被検眼Eの動きのモニタ、アライメント、トラッキング、収集されたシャインプルーフ画像の処理などに利用される。
図18の参照に戻る。移動機構6は、照明系2及び撮影系3を一体的にX方向に移動する。制御部7は、スリットランプ顕微鏡システム1の各部を制御する。制御部7は、照明系2、撮影系3及び移動機構6の制御と、動画撮影系4の制御とを、互いに並行して実行することにより、眼科装置1000(1500)の画像収集部1010によるスリットスキャン(一連のシャインプルーフ画像の収集)と、動画撮影(一連の時系列画像の収集)とを互いに並行して実行させることができる。また、制御部7は、照明系2、撮影系3及び移動機構6の制御と、動画撮影系4の制御とを、互いに同期して実行することにより、スリットスキャンと動画撮影とを互いに同期させることができる。
撮影系3が左撮影系30L及び右撮影系30Rを含む場合、制御部7は、左撮影系30Lによる繰り返し撮影(第1シャインプルーフ画像群の収集)と、右撮影系30Rによる繰り返し撮影(第2シャインプルーフ画像群の収集)とを互いに同期させることができる。
制御部7は、プロセッサ、記憶装置などを含む。記憶装置には、各種の制御プログラム等のコンピュータプログラムが記憶されている。制御部7の機能は、制御プログラム等のソフトウェアと、プロセッサ等のハードウェアとの協働によって実現される。制御部7は、被検眼Eの3次元領域をスリット光でスキャンするために、照明系2、撮影系3及び移動機構6の制御を実行する。この制御の詳細については、特許文献3(特開2019-213733号公報)を参照されたい。
データ処理部8は、各種のデータ処理を実行する。データ処理部8は、プロセッサ、記憶装置などを含む。記憶装置には、各種のデータ処理プログラム等のコンピュータプログラムが記憶されている。データ処理部8の機能は、データ処理プログラム等のソフトウェアと、プロセッサ等のハードウェアとの協働によって実現される。データ処理部8は、眼科装置1000(1500)の画像選択部1110の機能、及び/又は、評価処理部1030の機能を有していてもよい。
通信部9は、スリットランプ顕微鏡システム1と他の装置との間におけるデータ通信を行う。ユーザーインターフェイス10は、表示デバイス、操作デバイスなど、任意のユーザーインターフェイスデバイスを含む。
図18及び図19に示すスリットランプ顕微鏡システム1は例示に過ぎず、眼科装置1000又は1500を実施するための構成はスリットランプ顕微鏡システム1に限定されない。
実施形態に係る眼科装置の幾つかの作用及び幾つかの効果について説明する。
一実施形態に係る眼科装置(1000、1500)は、画像収集部(1010)及び制御部(1020)を含む。画像収集部は、被検眼に照明光を投射して撮像素子(1013)で撮影を行う、シャインプルーフの条件を満足する光学系(照明系1011、撮影系1012)を含む。画像収集部は、制御部の制御の下に、照明光の投射位置及び撮影位置を変えつつ一連の画像(一連のシャインプルーフ画像)を収集する。換言すると、画像収集部は、制御部の制御の下に、光学系がシャインプルーフの条件を満足している状態を維持しつつ被検眼をスキャンすることによって一連の画像を収集する。制御部は、被検眼に対する照明光の投射時間が撮像素子の露光時間よりも短くなるように、且つ、被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とが重複するように、画像収集部(光学系)の制御を行う。
このような構成の実施形態によれば、露光期間よりも短い投射期間にのみ実質的に露光が行われるため、露光中におけるスキャン位置の移動や眼球運動に起因する像のぼやけを低減することができ、高品質の画像を提供することが可能になる。このように、実施形態に係る眼科装置は、光スキャンを用いた撮像方式の眼科装置の画質向上に寄与するものである。これにより、実施形態に係る眼科装置は、角膜検出や細胞検出などの画像解析を高い品質で行うことが可能である。更に、実施形態に係る眼科装置によれば、被検眼に照明光が投射されている時間を短くできるため、被検者に大きな負担を与えることがないという利点もある。加えて、実施形態に係る眼科装置によれば、スキャンのために光学系の急発進及び急停止を繰り返すことが無いため、それに起因する振動がスキャン中に発生することがなく、撮影品質に悪影響を与えることもないという利点もある。
一実施形態に係る眼科装置(1)は、照明系(2)と、撮影系(3)と、移動機構(6)と、制御部(7)とを含む。照明系は、被検眼に照明光を投射するように構成されている。撮影系は、被検眼を撮影するように構成されている。撮影系は、撮像素子(3B)を含んでいる。照明系及び撮影系は、シャインプルーフの条件を満足するように構成されている。移動機構は、照明系及び撮影系を移動するように構成されている。制御部は、照明系、撮影系、及び移動機構の制御を行って撮影系に一連の画像を収集させるように構成されている。制御部は、被検眼の一連の画像を撮影系に収集させるための制御において、被検眼に対する照明光の投射時間が撮像素子の露光時間よりも短くなるように、且つ、被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とが重複するように、照明系及び撮影系の少なくとも一方を制御する。
このような構成の実施形態の効果には、光スキャンを用いた撮像方式の眼科装置の画質向上を図ること、画像解析を高い品質で行うこと、被検者に大きな負担を与えることがないこと、撮影品質に悪影響を与える振動が発生しないことなどがある。
実施形態の幾つかの任意的な態様を以下に説明する。なお、任意的な態様に係る事項は、以下に説明する事項に限定されず、本開示に含まれている事項、本開示に含まれている事項から導かれる事項などであってもよい。また、2つ以上の任意的な態様を組み合わせることができる。
実施形態において、制御部は、被検眼の一連の画像を撮影系(画像収集部)に収集させるための制御において、撮像素子の露光を反復するように撮影系(画像収集部)の制御を実行するように構成されていてもよい。制御部は、更に、撮像素子の露光を反復するための撮影系の制御と並行して、照明光の強度を変調するための照明系の制御を実行するように構成されていてもよい。制御部は、更に、被検眼に照明光が断続的に投射されるように照明系の制御を実行するように構成されていてもよい。
実施形態において、制御部は、被検眼の一連の画像を撮影系(画像収集部)に収集させるための制御において、照明系と撮影系との同期制御を実行するように構成されていてもよい。制御部は、更に、照明光の投射時間及び不投射時間の合計時間と、撮像素子の露光時間及び不露光時間の合計時間とが等しくなるように、照明系と撮影系との同期制御を実行するように構成されていてもよい。
実施形態において、制御部は、照明光の投射時間を変更するための照明系(画像収集部)の制御を実行するように構成されていてもよい。制御部は、更に、移動機構により移動される照明系及び撮影系の速さに基づき照明系(画像収集部)を制御して照明光の投射時間を変更するように構成されていてもよい。制御部は、更に、予め設定された2つ以上の撮影モードから選択された撮影モードに基づいて、移動機構により移動される照明系及び撮影系の速さを決定するように構成されていてもよい。
実施形態において、制御部は、照明光の投射時間を変更するための照明系(画像収集部)の制御を実行するように構成されていてよく、更に、予め設定された2つ以上の撮影モードから選択された撮影モードに基づき照明系(画像収集部)を制御して照明光の投射時間を変更するように構成されていてもよい。
実施形態において、制御部は、撮像素子の露光時間を変更するための撮影系(画像収集部)の制御を実行するように構成されていてもよい。制御部は、更に、移動機構により移動される照明系及び撮影系の速さに基づき撮影系(画像収集部)を制御して撮像素子の露光時間を変更するように構成されていてもよい。制御部は、更に、予め設定された2つ以上の撮影モードから選択された撮影モードに基づいて、移動機構により移動される照明系及び撮影系の速さを決定するように構成されていてもよい。
実施形態において、制御部は、撮像素子の露光時間を変更するための撮影系(画像収集部)の制御を実行するように構成されていてよく、更に、予め設定された2つ以上の撮影モードから選択された撮影モードに基づき撮影系(画像収集部)を制御して撮像素子の露光時間を変更するように構成されていてもよい。
実施形態において、眼科装置(1500)は、評価処理部(1030)を更に含んでいてもよい。評価処理部は、撮影系(画像収集部)により収集された被検眼の一連の画像に基づいて被検眼の評価情報を生成するように構成されている。評価処理部は、更に、被検眼の評価情報として、被検眼内に存在する浮遊物の評価情報を生成するように構成されていてもよい。
実施形態において、照明系(画像収集部)により被検眼に投射される照明光は、スリット光であってもよい。
これらの任意的な態様によって、光スキャンを用いた撮像方式の眼科装置の更なる画質向上を図ることや、光スキャンを用いた撮像方式の眼科装置の応用を提供することが可能であることは、当業者であれば理解できるであろう。
<他の実施形態>
ここまで眼科装置の実施形態について説明したが、本開示に係る実施形態は眼科装置に限定されない。眼科装置以外の実施形態として、眼科装置の制御方法、プログラム、記録媒体などがある。眼科装置の実施形態と同様に、これらの実施形態によっても、光スキャンを用いた撮像方式の眼科装置の画質向上を図ること、画像解析を高い品質で行うこと、被検者に大きな負担を与えることがないこと、撮影品質に悪影響を与える振動が発生しないことなどの効果が奏される。
ここまで眼科装置の実施形態について説明したが、本開示に係る実施形態は眼科装置に限定されない。眼科装置以外の実施形態として、眼科装置の制御方法、プログラム、記録媒体などがある。眼科装置の実施形態と同様に、これらの実施形態によっても、光スキャンを用いた撮像方式の眼科装置の画質向上を図ること、画像解析を高い品質で行うこと、被検者に大きな負担を与えることがないこと、撮影品質に悪影響を与える振動が発生しないことなどの効果が奏される。
一実施形態に係る眼科装置の制御方法は、照明系と撮影系と移動機構とプロセッサとを含む眼科装置を制御する方法である。照明系は被検眼に照明光を投射し、撮影系は撮像素子によって被検眼を撮影する。照明系及び撮影系はシャインプルーフの条件を満足するように構成されている。移動機構は照明系及び撮影系を移動する。本実施形態に係る方法は、プロセッサに次の3つの制御を並行して実行させる:(1)被検眼に対する照明光の投射時間を撮像素子の露光時間よりも短くするための、照明系及び撮影系の少なくとも一方の制御;(2)被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とを重複させるための、照明系及び撮影系の少なくとも一方の制御;(3)撮影系に被検眼の一連の画像を収集させるための、照明系、撮影系、及び移動機構の制御。
一実施形態に係る眼科装置の制御方法は、画像収集部とプロセッサとを含む眼科装置を制御する方法である。画像収集部は、被検眼に照明光を投射して撮像素子で撮影を行う、シャインプルーフの条件を満足する光学系を含んでいる。画像収集部は、更に、照明光の投射位置及び撮影位置を変えつつ一連の画像を収集する。換言すると、画像収集部は、当該光学系がシャインプルーフの条件を満足している状態を維持しつつ被検眼をスキャンすることによって一連の画像を収集する。本実施形態に係るプログラムは、画像収集部に被検眼の一連の画像を収集させるために、プロセッサに次の2つの制御を並行して実行させる:(1)被検眼に対する照明光の投射時間を撮像素子の露光時間よりも短くするための画像収集部(光学系)の制御;(2)被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とを重複させるための画像収集部(光学系)の制御。
一実施形態に係るプログラムは、眼科装置の制御をコンピュータに実行させるプログラムである。眼科装置は、照明系と撮影系と移動機構とを含む。照明系は被検眼に照明光を投射し、撮影系は撮像素子によって被検眼を撮影する。照明系及び撮影系はシャインプルーフの条件を満足するように構成されている。移動機構は照明系及び撮影系を移動する。本実施形態に係るプログラムは、コンピュータに次の3つの制御を並行して実行させる:(1)被検眼に対する照明光の投射時間を撮像素子の露光時間よりも短くするための、照明系及び撮影系の少なくとも一方の制御;(2)被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とを重複させるための、照明系及び撮影系の少なくとも一方の制御;(3)撮影系に被検眼の一連の画像を収集させるための、照明系、撮影系、及び移動機構の制御。
一実施形態に係るプログラムは、眼科装置の制御をコンピュータに実行させるプログラムである。眼科装置は画像収集部を含む。画像収集部は、被検眼に照明光を投射して撮像素子で撮影を行う、シャインプルーフの条件を満足する光学系を含んでいる。画像収集部は、更に、照明光の投射位置及び撮影位置を変えつつ一連の画像を収集する。換言すると、画像収集部は、当該光学系がシャインプルーフの条件を満足している状態を維持しつつ被検眼をスキャンすることによって一連の画像を収集する。本実施形態に係るプログラムは、画像収集部に被検眼の一連の画像を収集させるために、コンピュータに次の2つの制御を並行して実行させる:(1)被検眼に対する照明光の投射時間を撮像素子の露光時間よりも短くするための画像収集部(光学系)の制御;(2)被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とを重複させるための画像収集部(光学系)の制御。
一実施形態に係る記録媒体は、眼科装置の制御をコンピュータに実行させるプログラムが記録された、コンピュータ可読な非一時的記録媒体である。眼科装置は、照明系と撮影系と移動機構とを含む。照明系は被検眼に照明光を投射し、撮影系は撮像素子によって被検眼を撮影する。照明系及び撮影系はシャインプルーフの条件を満足するように構成されている。移動機構は照明系及び撮影系を移動する。本実施形態に係る記録媒体に記録されているプログラムは、コンピュータに次の3つの制御を並行して実行させる:(1)被検眼に対する照明光の投射時間を撮像素子の露光時間よりも短くするための、照明系及び撮影系の少なくとも一方の制御;(2)被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とを重複させるための、照明系及び撮影系の少なくとも一方の制御;(3)撮影系に被検眼の一連の画像を収集させるための、照明系、撮影系、及び移動機構の制御。
一実施形態に係る記録媒体は、眼科装置の制御をコンピュータに実行させるプログラムが記録された、コンピュータ可読な非一時的記録媒体である。眼科装置は画像収集部を含んでいる。画像収集部は、被検眼に照明光を投射して撮像素子で撮影を行うシャインプルーフの条件を満足する光学系を含んでいる。画像収集部は、更に、照明光の投射位置及び撮影位置を変えつつ一連の画像を収集する。換言すると、画像収集部は、当該光学系がシャインプルーフの条件を満足している状態を維持しつつ被検眼をスキャンすることによって一連の画像を収集する。本実施形態に係る記録媒体に記録されているプログラムは、画像収集部に被検眼の一連の画像を収集させるために、コンピュータに次の2つの制御を並行して実行させる:(1)被検眼に対する照明光の投射時間を撮像素子の露光時間よりも短くするための画像収集部(光学系)の制御;(2)被検眼に対する照明光の投射期間の少なくとも一部と撮像素子の露光期間の少なくとも一部とを重複させるための画像収集部(光学系)の制御。
なお、実施形態に係る記録媒体として使用可能な、コンピュータ可読な非一時的記録媒体は、任意の形態の記録媒体であってよく、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリのいずれかであってよい。
眼科装置の実施形態において説明された任意の事項を、眼科装置以外の実施形態に組み合わせることができる。例えば、実施形態に係る眼科装置の任意的な態様として前述したいずれかの事項を、眼科装置の制御方法の実施形態、プログラムの実施形態、記録媒体の実施形態などに組み合わせることができる。更に、本開示において説明した任意の事項を、眼科装置の制御方法の実施形態、プログラムの実施形態、記録媒体の実施形態などに組み合わせることができる。
本開示は、幾つかの実施形態及びその幾つかの例示的な態様を提示するものである。これらの実施形態及び態様は、本発明の例示に過ぎない。したがって、本発明の要旨の範囲内における任意の変形(省略、置換、付加など)を、本開示において提示された実施形態や態様に適用することが可能である。
1 スリットランプ顕微鏡システム(眼科装置)
2 照明系
3 撮影系
3B 撮像素子
6 移動機構
7 制御部
1000、1500 眼科装置
1010 画像収集部
1011 照明系
1012 撮影系
1013 撮像素子
1020 制御部
1030 評価処理部
2 照明系
3 撮影系
3B 撮像素子
6 移動機構
7 制御部
1000、1500 眼科装置
1010 画像収集部
1011 照明系
1012 撮影系
1013 撮像素子
1020 制御部
1030 評価処理部
Claims (20)
- 被検眼に照明光を投射する照明系と、
前記被検眼を撮影する撮影系と、
前記照明系及び前記撮影系を移動する移動機構と、
前記照明系、前記撮影系、及び前記移動機構の制御を行って前記撮影系に一連の画像を収集させる制御部と
を含み、
前記撮影系は、撮像素子を含み、
前記照明系及び前記撮影系は、シャインプルーフの条件を満足するように構成されており、
前記制御部は、前記一連の画像を前記撮影系に収集させるための前記制御において、前記被検眼に対する前記照明光の投射時間が前記撮像素子の露光時間よりも短くなるように、且つ、前記被検眼に対する前記照明光の投射期間の少なくとも一部と前記撮像素子の露光期間の少なくとも一部とが重複するように、前記照明系及び前記撮影系の少なくとも一方を制御する、
眼科装置。 - 前記制御部は、前記一連の画像を前記撮影系に収集させるための前記制御において、前記撮像素子の露光を反復するように前記撮影系の制御を実行する、
請求項1の眼科装置。 - 前記制御部は、前記撮像素子の前記露光を反復するための前記撮影系の前記制御と並行して、前記照明光の強度を変調するための前記照明系の制御を実行する、
請求項2の眼科装置。 - 前記制御部は、前記被検眼に前記照明光が断続的に投射されるように前記照明系の前記制御を実行する、
請求項3の眼科装置。 - 前記制御部は、前記一連の画像を前記撮影系に収集させるための前記制御において、前記照明系と前記撮影系との同期制御を実行する、
請求項1の眼科装置。 - 前記制御部は、前記照明光の前記投射時間及び不投射時間の合計時間と前記撮像素子の前記露光時間及び不露光時間の合計時間とが等しくなるように前記同期制御を実行する、
請求項5の眼科装置。 - 前記制御部は、前記照明光の前記投射時間を変更するための前記照明系の制御を実行する、
請求項1の眼科装置。 - 前記制御部は、前記移動機構により移動される前記照明系及び前記撮影系の速さに基づき前記照明系を制御して前記照明光の前記投射時間を変更する、
請求項7の眼科装置。 - 前記制御部は、予め設定された2つ以上の撮影モードから選択された撮影モードに基づいて前記照明系及び前記撮影系の前記速さを決定する、
請求項8の眼科装置。 - 前記制御部は、予め設定された2つ以上の撮影モードから選択された撮影モードに基づき前記照明系を制御して前記照明光の前記投射時間を変更する、
請求項7の眼科装置。 - 前記制御部は、前記撮像素子の前記露光時間を変更するための前記撮影系の制御を実行する、
請求項1の眼科装置。 - 前記制御部は、前記移動機構により移動される前記照明系及び前記撮影系の速さに基づき前記撮影系を制御して前記撮像素子の前記露光時間を変更する、
請求項11の眼科装置。 - 前記制御部は、予め設定された2つ以上の撮影モードから選択された撮影モードに基づいて前記照明系及び前記撮影系の前記速さを決定する、
請求項12の眼科装置。 - 前記制御部は、予め設定された2つ以上の撮影モードから選択された撮影モードに基づき前記撮影系を制御して前記撮像素子の前記露光時間を変更する、
請求項11の眼科装置。 - 前記撮影系により収集された前記一連の画像に基づいて前記被検眼の評価情報を生成する評価処理部を更に含む、
請求項1の眼科装置。 - 前記評価処理部は、前記被検眼の前記評価情報として、前記被検眼内に存在する浮遊物の評価情報を生成する、
請求項15の眼科装置。 - 前記照明光はスリット光である、
請求項1の眼科装置。 - 被検眼に照明光を投射する照明系と、撮像素子によって前記被検眼を撮影する撮影系と、前記照明系及び前記撮影系を移動する移動機構と、プロセッサとを含み、前記照明系及び前記撮影系がシャインプルーフの条件を満足するように構成された眼科装置を制御する方法であって、
前記プロセッサに、前記被検眼に対する前記照明光の投射時間が前記撮像素子の露光時間よりも短くなるように、且つ、前記被検眼に対する前記照明光の投射期間の少なくとも一部と前記撮像素子の露光期間の少なくとも一部とが重複するように前記照明系及び前記撮影系の少なくとも一方を制御させつつ、前記照明系、前記撮影系、及び前記移動機構の制御を行って前記撮影系に一連の画像を収集させる、
方法。 - 被検眼に照明光を投射する照明系と、撮像素子によって前記被検眼を撮影する撮影系と、前記照明系及び前記撮影系を移動する移動機構とを含み、前記照明系及び前記撮影系がシャインプルーフの条件を満足するように構成された眼科装置の制御をコンピュータに実行させるプログラムであって、
前記コンピュータに、前記被検眼に対する前記照明光の投射時間が前記撮像素子の露光時間よりも短くなるように、且つ、前記被検眼に対する前記照明光の投射期間の少なくとも一部と前記撮像素子の露光期間の少なくとも一部とが重複するように前記照明系及び前記撮影系の少なくとも一方を制御させつつ、前記照明系、前記撮影系、及び前記移動機構の制御を行って前記撮影系に一連の画像を収集させる、
プログラム。 - 被検眼に照明光を投射する照明系と、撮像素子によって前記被検眼を撮影する撮影系と、前記照明系及び前記撮影系を移動する移動機構とを含み、前記照明系及び前記撮影系がシャインプルーフの条件を満足するように構成された眼科装置の制御をコンピュータに実行させるプログラムが記録された、コンピュータ可読な非一時的記録媒体であって、
前記コンピュータに、前記被検眼に対する前記照明光の投射時間が前記撮像素子の露光時間よりも短くなるように、且つ、前記被検眼に対する前記照明光の投射期間の少なくとも一部と前記撮像素子の露光期間の少なくとも一部とが重複するように前記照明系及び前記撮影系の少なくとも一方を制御させつつ、前記照明系、前記撮影系、及び前記移動機構の制御を行って前記撮影系に一連の画像を収集させる、
記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022093390A JP2023180265A (ja) | 2022-06-09 | 2022-06-09 | 眼科装置、眼科装置を制御する方法、プログラム、及び記録媒体 |
JP2022-093390 | 2022-06-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023238729A1 true WO2023238729A1 (ja) | 2023-12-14 |
Family
ID=89118206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/020003 WO2023238729A1 (ja) | 2022-06-09 | 2023-05-30 | 眼科装置、眼科装置を制御する方法、プログラム、及び記録媒体 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023180265A (ja) |
WO (1) | WO2023238729A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012169416A1 (ja) * | 2011-06-09 | 2012-12-13 | 株式会社トプコン | 細隙灯顕微鏡装置 |
JP2022050738A (ja) * | 2020-09-18 | 2022-03-31 | 株式会社トプコン | スリットランプ顕微鏡システム |
-
2022
- 2022-06-09 JP JP2022093390A patent/JP2023180265A/ja active Pending
-
2023
- 2023-05-30 WO PCT/JP2023/020003 patent/WO2023238729A1/ja unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012169416A1 (ja) * | 2011-06-09 | 2012-12-13 | 株式会社トプコン | 細隙灯顕微鏡装置 |
JP2022050738A (ja) * | 2020-09-18 | 2022-03-31 | 株式会社トプコン | スリットランプ顕微鏡システム |
Also Published As
Publication number | Publication date |
---|---|
JP2023180265A (ja) | 2023-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20210041046A (ko) | 의료용 화상 처리 장치, 의료용 화상 처리 방법, 컴퓨터 판독가능 매체, 및 학습 완료 모델 | |
JP6940349B2 (ja) | 眼科装置 | |
JP7343331B2 (ja) | 眼科装置、その制御方法、プログラム、及び、記録媒体 | |
JP2022040372A (ja) | 眼科装置 | |
JP7348374B2 (ja) | 眼科情報処理装置、眼科撮影装置、眼科情報処理方法、及びプログラム | |
JP2024028448A (ja) | スリットランプ顕微鏡 | |
JP2023138577A (ja) | スリットランプ顕微鏡 | |
JP7104516B2 (ja) | 断層画像撮影装置 | |
JP2022027879A (ja) | 眼科撮影装置、その制御方法、プログラム、及び記録媒体 | |
JP7096116B2 (ja) | 血流計測装置 | |
WO2020050308A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7560303B2 (ja) | スリットランプ顕微鏡システム | |
US20220409046A1 (en) | Ophthalmic imaging apparatus and ophthalmic image processing appratus | |
WO2022145129A1 (ja) | 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム | |
WO2023238729A1 (ja) | 眼科装置、眼科装置を制御する方法、プログラム、及び記録媒体 | |
JP2022173339A (ja) | 眼科撮影装置、その制御方法、プログラム、及び記録媒体 | |
JP7517903B2 (ja) | スリットランプ顕微鏡システム | |
WO2021261103A1 (ja) | スリットランプ顕微鏡 | |
JP7446730B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2022132898A (ja) | 眼科データ処理方法、眼科データ処理装置、その制御方法、眼科検査装置、その制御方法、プログラム、及び記録媒体 | |
WO2023037658A1 (ja) | 眼科装置、眼科装置を制御する方法、眼画像を処理する方法、プログラム、及び記録媒体 | |
WO2024004455A1 (ja) | 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム | |
JP7560300B2 (ja) | スリットランプ顕微鏡システム | |
WO2022085501A1 (ja) | 眼科装置、その制御方法、プログラム、及び記録媒体 | |
WO2024034298A1 (ja) | 眼科装置、眼科装置を制御する方法、及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23819709 Country of ref document: EP Kind code of ref document: A1 |