WO2021049104A1 - スリットランプ顕微鏡、眼科情報処理装置、眼科システム、スリットランプ顕微鏡の制御方法、及び記録媒体 - Google Patents
スリットランプ顕微鏡、眼科情報処理装置、眼科システム、スリットランプ顕微鏡の制御方法、及び記録媒体 Download PDFInfo
- Publication number
- WO2021049104A1 WO2021049104A1 PCT/JP2020/021726 JP2020021726W WO2021049104A1 WO 2021049104 A1 WO2021049104 A1 WO 2021049104A1 JP 2020021726 W JP2020021726 W JP 2020021726W WO 2021049104 A1 WO2021049104 A1 WO 2021049104A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- image
- lamp microscope
- slit lamp
- transmission information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 77
- 230000010365 information processing Effects 0.000 title claims description 54
- 238000009877 rendering Methods 0.000 claims abstract description 104
- 238000004891 communication Methods 0.000 claims description 123
- 210000000695 crystalline len Anatomy 0.000 claims description 96
- 230000005540 biological transmission Effects 0.000 claims description 92
- 238000003384 imaging method Methods 0.000 claims description 87
- 238000012545 processing Methods 0.000 claims description 87
- 238000005286 illumination Methods 0.000 claims description 75
- 230000011218 segmentation Effects 0.000 claims description 59
- 230000003287 optical effect Effects 0.000 claims description 54
- 238000003860 storage Methods 0.000 claims description 35
- 230000007246 mechanism Effects 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 22
- 230000006870 function Effects 0.000 description 42
- 210000004087 cornea Anatomy 0.000 description 21
- 238000009826 distribution Methods 0.000 description 17
- 238000012546 transfer Methods 0.000 description 14
- 238000005259 measurement Methods 0.000 description 10
- 210000001747 pupil Anatomy 0.000 description 10
- 238000012937 correction Methods 0.000 description 9
- 201000010099 disease Diseases 0.000 description 9
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 9
- 238000013473 artificial intelligence Methods 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 6
- 208000002177 Cataract Diseases 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000000386 microscopy Methods 0.000 description 4
- 238000012014 optical coherence tomography Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 239000013078 crystal Substances 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 210000000554 iris Anatomy 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 230000004304 visual acuity Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 210000000399 corneal endothelial cell Anatomy 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000003560 epithelium corneal Anatomy 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004410 intraocular pressure Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000008685 targeting Effects 0.000 description 2
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000002159 anterior chamber Anatomy 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000009530 blood pressure measurement Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000004045 bowman membrane Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 210000000871 endothelium corneal Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004175 meibomian gland Anatomy 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000649 photocoagulation Effects 0.000 description 1
- 238000002428 photodynamic therapy Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000004127 vitreous body Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/13—Ophthalmic microscopes
- A61B3/135—Slit-lamp microscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0041—Operational features thereof characterised by display arrangements
- A61B3/0058—Operational features thereof characterised by display arrangements for multiple images
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0083—Apparatus for testing the eyes; Instruments for examining the eyes provided with means for patient positioning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Definitions
- the present disclosure relates to a slit lamp microscope, an ophthalmic information processing device, an ophthalmic system, a control method of the slit lamp microscope, and a recording medium.
- Diagnostic imaging occupies an important position in the field of ophthalmology.
- Various ophthalmologic imaging devices are used for diagnostic imaging.
- Types of ophthalmologic imaging devices include slit lamp microscopes, fundus cameras, scanning laser ophthalmoscopes (SLOs), optical coherence tomography (OCTs), and the like.
- the slit lamp microscope is used to illuminate the eye to be inspected with slit light and to observe or photograph the illuminated cross section with the microscope from an oblique or side view (for example, JP-A-2016-159073). (Refer to JP-A-2016-179004 and JP-A-2009-56149).
- slit lamp microscopes One of the main uses of slit lamp microscopes is observation of the anterior segment of the eye. In anterior segment observation, the doctor observes the entire anterior segment while moving the illumination field and the focus position by the slit light to determine the presence or absence of an abnormality.
- a slit lamp microscope may be used in the prescription of a visual acuity correction device such as confirmation of the fitting state of a contact lens.
- the transillumination method may be used for observation of the anterior segment of the eye (see, for example, Japanese Patent Application Laid-Open No. 2009-56149).
- the transillumination method is an observation method that uses the retinal reflection of the illumination light to depict the state in the eye, and is typically a method that depict the opaque part of the crystalline lens as the shadow of the reverting rays from the retina. ..
- the image obtained by the transillumination method is called a transillumination image.
- the transillumination method is a general method widely used for observing cataract eyes, but has the following problems.
- the transillumination image is a planar image (projected image, projected image) using the fundus as a secondary light source, and has no information in the depth direction (depth direction, Z direction), so that it is three-dimensional.
- the turbidity distribution cannot be grasped. That is, the transillumination image only provides a turbidity distribution in the XY plane orthogonal to the Z direction, and cannot provide a turbidity distribution in the Z direction.
- One purpose of the present disclosure is to provide a novel ophthalmologic observation method in which the drawbacks of the transillumination method are eliminated.
- Some exemplary embodiments of the slit lamp microscope apply rendering to a scanning unit that scans the anterior segment of the eye to be inspected with slit light to collect multiple cross-sectional images and a three-dimensional image based on multiple cross-sectional images. It may include a rendering unit to be used. In some exemplary embodiments of the slit lamp microscope, the renderer may apply projections on a given plane to the 3D image. In some exemplary embodiments of the slit lamp microscope, the predetermined plane may be orthogonal to the depth direction of the eye to be inspected. Slit lamp microscopes of some exemplary embodiments are constructed by a reconstruction unit that applies 3D reconstruction to a plurality of cross-sectional images collected by the scanning unit and a reconstruction unit to set the 3D image.
- the segmentation section may identify the crystalline lens region from the 3D reconstructed image, and the 3D image may include at least a portion of the crystalline lens region.
- the rendering unit may apply rendering to the crystalline lens region.
- the segmentation section may apply segmentation to the crystalline lens region to identify a partial region in the depth direction of the eye to be inspected, and the rendering portion applies rendering to the partial region. You can do it.
- the segmentation section may identify at least one region from the lens region to the sac region and the nuclear region, and may further identify a partial region based on this region. ..
- the scanning unit includes an illumination system that irradiates the anterior segment of light with slit light, an imaging system that photographs the anterior segment from a direction different from the illumination system, an illumination system, and an illumination system. It may include a moving mechanism for moving the imaging system.
- the imaging system is an optical system that guides light from the anterior segment irradiated with slit light and an imaging element that receives the light guided by the optical system on the imaging surface.
- the slit lamp microscope of some exemplary embodiments further includes a display unit that displays a rendered image constructed by the rendering unit.
- Some exemplary embodiments of the ophthalmic information processing apparatus include a reception unit that receives a plurality of cross-sectional images collected by scanning the anterior segment of the eye to be inspected with slit light, and a three-dimensional image based on the plurality of cross-sectional images. It may include a rendering section to which rendering is applied.
- Some exemplary embodiments of the ophthalmic system may include a slit lamp microscope, an information processing device, and an image interpretation terminal.
- the slit lamp microscope scans the anterior segment of the eye to be inspected with slit light to collect a plurality of cross-sectional images, and first transmission information including a plurality of cross-sectional images collected by the scanning unit is transmitted through a communication line. It may include a transmission unit that transmits to an information processing device.
- the information processing device transmits the receiving unit that receives the first transmission information, the storage unit that stores the first transmission information, and the second transmission information including at least a plurality of cross-sectional images included in the first transmission information through a communication line. It may include a transmitter for transmitting to an image interpretation terminal.
- the image interpretation terminal uses a receiving unit that receives the second transmission information, a rendering unit that applies rendering to a three-dimensional image based on a plurality of cross-sectional images included in the second transmission information, and a rendered image constructed by the rendering unit.
- a receiving unit that receives the second transmission information
- a rendering unit that applies rendering to a three-dimensional image based on a plurality of cross-sectional images included in the second transmission information
- a rendered image constructed by the rendering unit May include a user interface for rendering the image and a transmission unit that transmits the third transmission information including the information input using the user interface to the information processing apparatus through the communication line.
- the information processing device may receive the third transmission information by the receiving unit, associate the third transmission information with the first transmission information, and store the third transmission information in the storage unit.
- Some exemplary embodiments of the ophthalmic system may include a slit lamp microscope, an information processing device, and an image interpreting device.
- the slit lamp microscope scans the anterior segment of the eye to be inspected with slit light to collect a plurality of cross-sectional images, and first transmission information including a plurality of cross-sectional images collected by the scanning unit is transmitted through a communication line. It may include a transmission unit that transmits to an information processing device.
- the information processing device transmits the receiving unit that receives the first transmission information, the storage unit that stores the first transmission information, and the second transmission information including at least a plurality of cross-sectional images included in the first transmission information through a communication line. It may include a transmitter to transmit to the image interpreter.
- the image interpretation device interprets a receiving unit that receives the second transmission information, a rendering unit that applies rendering to a three-dimensional image based on a plurality of cross-sectional images included in the second transmission information, and a rendered image constructed by the rendering unit.
- the image interpretation processing unit may include a transmission unit that transmits the fourth transmission information including the information acquired by the image interpretation processing unit to the information processing apparatus through the communication line.
- the information processing apparatus may receive the fourth transmission information by the receiving unit, associate the fourth transmission information with the first transmission information, and store the fourth transmission information in the storage unit.
- a method of some exemplary embodiments is a method of controlling a slit lamp microscope that includes a processor and a scanning unit that scans the anterior segment of the eye to be inspected with slit light to collect multiple cross-sectional images.
- the processor may be allowed to perform a process of applying rendering to a three-dimensional image based on a plurality of cross-sectional images collected by the scanning unit.
- the recording medium of some exemplary aspects is a computer-readable non-temporary recording medium on which the program of any aspect is recorded.
- the slit lamp microscope according to the exemplary embodiment may be an stationary type or a portable type.
- the slit lamp microscope according to the exemplary embodiment has an (automatic) scanning function of scanning the anterior segment of the eye with slit light to acquire a plurality of cross-sectional images, and typically has a technical skill holder (typically) related to the device. Used in situations and environments where there is no expert) on the side.
- the slit lamp microscope according to the exemplary embodiment may be used in a situation or environment in which an expert is on the side, or in a situation or environment in which the expert can monitor, instruct, and operate from a remote location. May be used.
- Examples of facilities where slit lamp microscopes are installed include opticians, optometrists, medical institutions, health examination venues, examination venues, patients' homes, welfare facilities, public facilities, examination vehicles, etc.
- the slit lamp microscope according to the exemplary embodiment is an ophthalmologic imaging apparatus having at least a function as a slit lamp microscope, and may further have other imaging functions (modality). Examples of other modality include anterior segment camera, fundus camera, SLO, OCT and the like.
- the slit lamp microscope according to the exemplary embodiment may further include a function of measuring the characteristics of the eye to be inspected. Examples of measurement functions include visual acuity measurement, refraction measurement, intraocular pressure measurement, corneal endothelial cell measurement, aberration measurement, and visual field measurement.
- the slit lamp microscope according to the exemplary embodiment may further include an application for analyzing captured images and measurement data.
- the slit lamp microscope according to the exemplary embodiment may further include functions for treatment and surgery. Examples include photocoagulation therapy and photodynamic therapy.
- the ophthalmologic information processing apparatus includes a processor (circuit) that processes a plurality of cross-sectional images collected by a slit lamp microscope having the above scanning function.
- the ophthalmic information processing apparatus of the exemplary embodiment may be a peripheral device of the slit lamp microscope, may be connected to the slit lamp microscope via a LAN, or may be connected to the slit lamp microscope via a wide area network. You may.
- the ophthalmic information processing apparatus of the exemplary embodiment may have a function of accepting input of a plurality of cross-sectional images recorded on a recording medium.
- An ophthalmic system may include one or more slit lamp microscopes, one or more information processing devices, and one or more image interpretation terminals, for example for telemedicine. Can be used for.
- the slit lamp microscope may be a slit lamp microscope according to any exemplary embodiment, or may be a slit lamp microscope including at least a part thereof.
- the information processing device receives the image acquired by the slit lamp microscope and transmits it to the image interpretation terminal. Further, the information processing device may have a function of managing an image acquired by a slit lamp microscope.
- the image interpretation terminal is used by a doctor (typically, an ophthalmologist or a specialist such as an image interpretation doctor) to interpret an image acquired by a slit lamp microscope (observing the image to obtain clinical findings). It is a computer to be used.
- the information input by the image interpreter to the image interpretation terminal may be converted into an image interpretation report or electronic medical record information by the image interpretation terminal or another computer and transmitted to the information processing apparatus.
- the information input by the image reader to the image interpretation terminal can be transmitted to the information processing device.
- the information processing device or other computer can convert the information input by the image reader into an image interpretation report or electronic medical record information.
- the information processing device may manage the interpretation report or the electronic medical record information by itself, or may transfer it to another medical system (for example, an electronic medical record system).
- the ophthalmic system may include one or more slit lamp microscopes, one or more information processing devices, and one or more image interpretation devices. At least one of the slit lamp microscope and the information processing device may be similar to that of the first ophthalmic system.
- the image interpretation device is a computer that interprets an image acquired by a slit lamp microscope using, for example, an image processor and / or an artificial intelligence engine.
- the information derived from the image by the image interpretation device may be converted into an image interpretation report or electronic medical record information by the image interpretation device or another computer and transmitted to the information processing device.
- the information derived from the image by the image interpreting device can be transmitted to the information processing device.
- the information processing device or other computer can convert the information derived from the image by the image interpretation device into an image interpretation report or electronic medical record information.
- the information processing device may manage the interpretation report or the electronic medical record information by itself, or may transfer it to another medical system.
- the slit lamp microscope, the ophthalmic information processing device, and the ophthalmic system according to the exemplary embodiment can be used for telemedicine.
- it can be said that effective telemedicine using a slit lamp microscope has not been realized.
- An exemplary embodiment can be provided that contributes to its realization. It is also possible to apply exemplary embodiments for other uses.
- the "processor” is, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an ASIC (Application Specific Integrated Circuit), a programmable logic device (for example, a SPLD Digital), a programmable logic device (for example, a SPLD). It includes a circuit (cycle) and a circuit configuration (cycle) such as a CPLD (Complex Programmable Logical Device) and an FPGA (Field ProgramGate Array).
- a processor realizes a function related to the mode by reading and executing a program or data stored in a storage circuit or a storage device.
- the processor may include circuits used in artificial intelligence and cognitive computing, typically including computer systems to which machine learning has been applied.
- FIG. 1 An example of a slit lamp microscope according to the first aspect is shown in FIG. 1
- the slit lamp microscope 1 is used for photographing the anterior segment of the eye to be inspected E, and includes an illumination system 2, an imaging system 3, a moving mechanism 6, a control unit 7, a data processing unit 8, and an output unit 9. .
- the reference numeral C indicates the cornea
- the reference numeral CL indicates the crystalline lens.
- the slit lamp microscope 1 may be a single device or a system including two or more devices.
- the slit lamp microscope 1 includes a main unit including an illumination system 2, an imaging system 3, and a moving mechanism 6, a computer including a control unit 7, a data processing unit 8, and an output unit 9, and a main unit.
- the slit lamp microscope 1 includes a main unit including an illumination system 2, a photographing system 3, and a moving mechanism 6, a computer including a control unit 7 and a data processing unit 8, and an output including an output unit 9.
- the computer may be installed together with the main unit, for example, or may be installed on the network. The same applies to the output device.
- the illumination system 2 irradiates the anterior segment of the eye E to be inspected with slit light.
- Reference numeral 2a indicates an optical axis (illumination optical axis) of the illumination system 2.
- the illumination system 2 may have the same configuration as the illumination system of a conventional slit lamp microscope.
- the illumination system 2 includes an illumination light source, a positive lens, a slit forming portion, and an objective lens in order from the side farther from the eye E to be inspected.
- the illumination light source outputs illumination light.
- the lighting system 2 may include a plurality of lighting light sources.
- the illumination system 2 may include an illumination light source that outputs continuous light and an illumination light source that outputs flash light.
- the illumination system 2 may include an illumination light source for the anterior segment and an illumination light source for the posterior segment.
- the illumination system 2 may include two or more illumination light sources having different output wavelengths.
- a typical illumination system 2 includes a visible light source as an illumination light source.
- the illumination system 2 may include an infrared light source. The illumination light output from the illumination light source passes through the positive lens and is projected onto the slit forming portion.
- the slit forming portion passes a part of the illumination light to generate the slit light.
- a typical slit forming portion has a pair of slit blades. By changing the interval (slit width) of these slit blades, the width of the region (slit) through which the illumination light passes is changed, and the width of the slit light is changed accordingly.
- the slit forming portion may be configured so that the length of the slit light can be changed.
- the length of the slit light is the cross-sectional dimension of the slit light in a direction orthogonal to the cross-sectional width direction of the slit light corresponding to the slit width.
- the width of the slit light and the length of the slit light are typically expressed as the dimensions of the projected image of the slit light onto the anterior segment of the eye, but are not limited thereto, for example, the slit light at an arbitrary position. It is also possible to express it as the dimension in the cross section of the above, or as the dimension of the slit formed by the slit forming portion.
- the slit light generated by the slit forming portion is refracted by the objective lens and irradiated to the anterior segment of the eye E to be inspected.
- the lighting system 2 may further include a focusing mechanism for changing the focus position of the slit light.
- the focusing mechanism for example, moves the objective lens along the illumination optical axis 2a.
- the movement of the objective lens can be performed automatically and / or manually.
- a focusing lens is arranged at a position on the illumination optical axis 2a between the objective lens and the slit forming portion, and the focus position of the slit light is changed by moving this focusing lens along the illumination optical axis 2a. It may be possible.
- FIG. 1 is a top view, and as shown in the figure, in this embodiment, the direction along the axis of the eye E to be inspected is the Z direction, and of the directions orthogonal to this, the left and right directions for the subject are X.
- the direction is defined as the Y direction, and the direction orthogonal to both the X direction and the Z direction is defined as the Y direction.
- the X direction is the arrangement direction of the left eye and the right eye
- the Y direction is the direction along the body axis of the subject (body axis direction).
- the photographing system 3 photographs the anterior segment of the eye that is irradiated with the slit light from the lighting system 2.
- Reference numeral 3a indicates an optical axis (photographing optical axis) of the photographing system 3.
- the photographing system 3 of this aspect includes an optical system 4 and an image pickup device 5.
- the optical system 4 guides the light from the anterior segment of the eye E to be inspected, which is irradiated with the slit light, to the image sensor 5.
- the image sensor 5 receives the light guided by the optical system 4 on the image pickup surface.
- the light guided by the optical system 4 (that is, the light from the anterior segment of the eye E to be inspected) includes the return light of the slit light irradiating the anterior segment of the eye, and may further include other light. Examples of return light are reflected light, scattered light, and fluorescence. As another example of light, there is light (indoor light, sunlight, etc.) from the installation environment of the slit lamp microscope 1. When the anterior segment illumination system for illuminating the entire anterior segment is provided separately from the illumination system 2, even if the return light of the anterior segment illumination light is included in the light guided by the optical system 4. Good.
- the image sensor 5 is an area sensor having a two-dimensional image pickup area, and may be, for example, a charge-coupled device (CCD) image sensor or a complementary metal oxide semiconductor (CMOS) image sensor.
- CCD charge-coupled device
- CMOS complementary metal oxide semiconductor
- the optical system 4 may have, for example, the same configuration as the imaging system of a conventional slit lamp microscope.
- the optical system 4 includes an objective lens, a variable magnification optical system, and an imaging lens in order from the side closest to the eye E to be inspected.
- the light from the anterior segment of the eye to be inspected E irradiated with the slit light passes through the objective lens and the variable magnification optical system, and is imaged on the image pickup surface of the image pickup device 5 by the image pickup lens.
- the photographing system 3 may include, for example, a first photographing system and a second photographing system. Typically, the first imaging system and the second imaging system have the same configuration. The case where the photographing system 3 includes the first photographing system and the second photographing system will be described in another embodiment.
- the shooting system 3 may further include a focusing mechanism for changing the focus position.
- the focusing mechanism for example, moves the objective lens along the photographing optical axis 3a.
- the movement of the objective lens can be performed automatically and / or manually. Even if the focusing lens is arranged at a position on the photographing optical axis 3a between the objective lens and the imaging lens and the focusing lens is moved along the photographing optical axis 3a, the focus position can be changed. Good.
- the lighting system 2 and the shooting system 3 function as a Shineproof camera. That is, the illumination system 2 and the imaging system 3 are configured so that the object surface along the illumination optical axis 2a, the optical system 4, and the image pickup surface of the image pickup element 5 satisfy the so-called Scheimpflug condition. More specifically, the YZ surface (including the object surface) passing through the illumination optical axis 2a, the main surface of the optical system 4, and the image pickup surface of the image pickup element 5 intersect on the same straight line. As a result, it is possible to focus on all positions in the object surface (all positions in the direction along the illumination optical axis 2a) and perform shooting.
- the parameter indicating the relative position between the illumination system 2 and the photographing system 3 includes, for example, the angle ⁇ formed by the illumination optical axis 2a and the photographing optical axis 3a.
- the angle ⁇ is set to, for example, 17.5 degrees, 30 degrees, or 45 degrees.
- the angle ⁇ may be variable.
- the moving mechanism 6 moves the lighting system 2 and the photographing system 3.
- the moving mechanism 6 includes, for example, a movable stage on which the lighting system 2 and the photographing system 3 are mounted, an actuator that operates according to a control signal input from the control unit 7, and a movable stage based on the driving force generated by the actuator. Including a mechanism to move.
- the moving mechanism 6 includes a movable stage on which the lighting system 2 and the photographing system 3 are mounted, and a mechanism for moving the movable stage based on a force applied to an operation device (not shown).
- the operating device is, for example, a lever.
- the movable stage may be movable at least in the X direction and may be further movable in the Y direction and / or the Z direction.
- the moving mechanism 6 integrally moves the lighting system 2 and the photographing system 3 in the X direction, for example. That is, the moving mechanism 6 moves the lighting system 2 and the photographing system 3 in the X direction while maintaining the state in which the above-mentioned Scheimpflug condition is satisfied.
- the shooting system 3 shoots a moving image at a predetermined time interval (shooting rate), for example.
- shooting rate a predetermined time interval
- the three-dimensional region of the anterior segment of the eye E to be inspected is scanned by the slit light, and a plurality of images (cross-section image group) corresponding to the plurality of cross-sections in the three-dimensional region are collected.
- the control unit 7 controls each unit of the slit lamp microscope 1.
- the control unit 7 includes elements of the illumination system 2 (illumination light source, slit forming unit, focusing mechanism, etc.), elements of the photographing system 3 (focusing mechanism, image sensor, etc.), moving mechanism 6, data processing unit 8, and so on.
- the output unit 9 and the like are controlled.
- the control unit 7 may be able to execute control for changing the relative positions of the lighting system 2 and the photographing system 3.
- the control unit 7 includes a processor, a main storage device, an auxiliary storage device, and the like.
- a control program or the like is stored in the auxiliary storage device.
- the control program and the like may be stored in a computer or a storage device accessible to the slit lamp microscope 1.
- the function of the control unit 7 is realized by the cooperation between software such as a control program and hardware such as a processor.
- the control unit 7 can apply the following controls to the lighting system 2, the photographing system 3, and the moving mechanism 6 in order to scan the three-dimensional region of the anterior segment of the eye E to be inspected with the slit light. ..
- the control unit 7 controls the moving mechanism 6 so as to arrange the lighting system 2 and the photographing system 3 at a predetermined scan start position (alignment control).
- the scan start position is, for example, a position corresponding to the end portion (first end portion) of the cornea C in the X direction, or a position further away from the axis of the eye E to be inspected.
- Reference numeral X0 in FIG. 2A shows an example of a scan start position corresponding to the first end portion of the cornea C in the X direction.
- reference numeral X0'in FIG. 2B shows an example of a scan start position farther from the axis EA of the eye E to be inspected than the position corresponding to the first end portion of the cornea C in the X direction.
- the control unit 7 controls the illumination system 2 to start irradiating the anterior segment of the eye E to be examined with slit light (slit light irradiation control).
- the slit light irradiation control may be performed before the execution of the alignment control or during the execution of the alignment control.
- the slit light is typically continuous light, but may be intermittent light (pulse light).
- the lighting control of the pulsed light is synchronized with the shooting rate of the shooting system 3.
- the slit light is typically visible light, but may be infrared light or a mixed light of visible light and infrared light.
- the control unit 7 controls the imaging system 3 to start imaging of the anterior segment of the eye to be inspected E (imaging control).
- the imaging control may be performed before the execution of the alignment control or during the execution of the alignment control.
- the imaging control is executed at the same time as the slit light irradiation control or after the slit light irradiation control.
- the control unit 7 controls the moving mechanism 6 to start the movement of the lighting system 2 and the photographing system 3 (movement control).
- the lighting system 2 and the photographing system 3 are integrally moved by the movement control. That is, the lighting system 2 and the photographing system 3 are moved while maintaining the relative positions (angle ⁇ , etc.) between the lighting system 2 and the photographing system 3.
- the lighting system 2 and the photographing system 3 are moved while maintaining the state in which the above-mentioned Scheimpflug condition is satisfied.
- the illumination system 2 and the photographing system 3 are moved from the above-mentioned scan start position to a predetermined scan end position.
- the scan end position is, for example, a position corresponding to the end (second end) of the cornea C on the opposite side of the first end in the X direction, as in the scan start position, or a position of the eye E to be inspected. It is a position away from the axis. In such a case, the range from the scan start position to the scan end position is the scan range.
- the imaging system 3 is irradiated with slit light having the X direction as the width direction and the Y direction as the longitudinal direction while moving the illumination system 2 and the imaging system 3 in the X direction. Movie shooting is executed.
- the length of the slit light (that is, the dimension of the slit light in the Y direction) is set to, for example, the diameter of the cornea C or more on the surface of the eye E to be inspected. That is, the length of the slit light is set to be equal to or larger than the corneal diameter in the Y direction.
- the moving distance (that is, the scanning range) of the illumination system 2 and the photographing system 3 by the moving mechanism 6 is set to be equal to or larger than the corneal diameter in the X direction. As a result, at least the entire cornea C can be scanned with slit light.
- a plurality of anterior segment images having different irradiation positions of the slit light can be obtained.
- a moving image is obtained in which the irradiation position of the slit light moves in the X direction.
- a plurality of cross-sectional images in which the slit light irradiation region (cross-section) at the time of shooting (capture) is depicted in high definition can be obtained.
- An example of such a plurality of anterior segment images (that is, a group of frames constituting a moving image) is shown in FIG.
- FIG. 3 shows a plurality of anterior segment images (frame group, cross-sectional image group) F1, F2, F3, ..., FN.
- the anterior segment image Fn includes a slit light irradiation region An. As shown in FIG. 3, the slit light irradiation regions A1, A2, A3, ..., AN move to the right in chronological order.
- the scan start position and the scan end position correspond to both ends of the cornea C in the X direction.
- the scan start position and / or the scan end position is not limited to this example, and may be, for example, a position farther from the axis of the eye E to be inspected than the edge of the cornea.
- the direction and number of scans can be set arbitrarily.
- the data processing unit 8 executes various data processing.
- the data to be processed may be either the data acquired by the slit lamp microscope 1 or the data input from the outside.
- the data processing unit 8 can process the image acquired by the photographing system 3.
- the configuration and function of the data processing unit 8 will be described in other embodiments in addition to the description in this embodiment.
- the data processing unit 8 includes a processor, a main storage device, an auxiliary storage device, and the like.
- a data processing program or the like is stored in the auxiliary storage device.
- the data processing program and the like may be stored in a computer or a storage device accessible to the slit lamp microscope 1.
- the function of the data processing unit 8 is realized by the cooperation between software such as a data processing program and hardware such as a processor.
- 4A and 4B show data processing units 8A and 8B, which are first and second examples of the data processing unit 8, respectively.
- the configuration of the data processing unit 8 is not limited to these. For example, any element for obtaining the same result or a similar result can be provided in the data processing unit 8.
- the data processing unit 8A shown in FIG. 4A includes a rendering unit 81.
- the rendering unit 81 applies rendering to a three-dimensional image based on the plurality of anterior segment images collected by the above scan.
- the three-dimensional image to be rendered is an image in which the pixel positions are defined using the three-dimensional coordinate system, and is, for example, a part or all of the three-dimensional reconstructed images of a plurality of anterior segment images.
- the three-dimensional reconstructed image is, for example, stack data or volume data.
- the stack data is constructed by expressing a plurality of anterior segment images defined by different two-dimensional coordinate systems (two-dimensional image space) in a single three-dimensional coordinate system (three-dimensional image space). To. In other words, the stack data is constructed by embedding a plurality of anterior segment images in the same three-dimensional image space. For example, the embedding position of each anterior segment image is determined based on the relative positional relationship of the plurality of anterior segment images.
- the relative positional relationship of the plurality of anterior segment images is determined, for example, from the contents of the above-mentioned scan control (slit light irradiation control, imaging control, movement control, etc.). As an example, it is possible to obtain the relative positional relationship (arrangement interval, etc.) of a plurality of anterior segment images based on the content of movement control (scan range) and the content of imaging control (imaging rate).
- the frontal image of the anterior segment is collected in parallel with the scan for collecting a plurality of cross-sectional images (plural anterior segment images) of the anterior segment.
- the anterior segment frontal imaging is synchronized with the scan, and the relative positional relationship of the plurality of cross-sectional images can be obtained from the slit light irradiation region in each of the plurality of frontal images.
- Volume data is also called voxel data, and is typically constructed by applying a known voxelization process to stack data.
- the three-dimensional image of this embodiment is not limited to stack data and volume data.
- the rendering unit 81 applies rendering to such a three-dimensional image.
- Rendering methods include volume rendering, surface rendering, maximum value projection (MIP), minimum value projection (MinIP), and multi-section reconstruction (MPR), but projection is mainly adopted in this embodiment.
- Projection includes image processing that projects (integrates, integrates) a group of pixels included in a three-dimensional image in a predetermined direction.
- projection includes image processing that projects a group of images included in a three-dimensional image onto a predetermined plane.
- the rendering unit 81 can construct a two-dimensional image (projection image) defined in the XY coordinate system by projecting the three-dimensional image defined in the XYZ coordinate system in the Z direction.
- a rendering unit 81 capable of executing a plurality of rendering methods may be prepared, and these may be selectively executed.
- the data processing unit 8B shown in FIG. 4B includes a reconstruction unit 82 and a segmentation unit 83 in addition to the rendering unit 81 similar to the data processing unit 8A.
- the reconstruction unit 82 applies the three-dimensional reconstruction to the plurality of anterior segment images collected by the above-mentioned scan. As a result, a three-dimensional reconstructed image based on a plurality of anterior segment images is constructed.
- a typical 3D reconstructed image is stack data or volume data.
- the 3D reconstruction method applied to the generation of the 3D reconstruction image is arbitrary.
- the reconstruction unit 82 applies a known three-dimensional reconstruction method to a plurality of anterior segment images in order to construct stack data. Further, the reconstruction unit 82 applies a known voxelization process to the stack data in order to construct the volume data.
- the reconstruction unit 82 can execute either a known process that can be executed in the three-dimensional reconstruction or a known process that can be executed together with the three-dimensional reconstruction.
- the reconstruction unit 82 applies arbitrary correction processing such as noise removal, luminance correction, distortion correction, contrast correction, color correction, and gamma correction to a plurality of anterior segment images and / or three-dimensional reconstruction images. can do.
- the reconstruction unit 82 uses an arbitrary filter such as a moving average filter, a Gaussian filter, a median filter, a sobel filter, a smoothing filter, a sharpening filter, and a thinning filter to perform a plurality of anterior segment images and / or 3 It can be applied to a dimensionally reconstructed image.
- the segmentation unit 83 applies the segmentation to the three-dimensional reconstructed image (stack data, volume data, etc.) constructed by the reconstructing unit 82. Segmentation is a technique for dividing an image into a plurality of regions, and is used in this embodiment to specify a partial region of a three-dimensional reconstructed image.
- the segmentation unit 83 includes a processor that operates according to a program for executing a known segmentation algorithm.
- the segmentation unit 83 may include an artificial intelligence engine.
- This artificial intelligence engine typically includes a convolutional neural network (CNN), which uses training data containing a large number of images acquired by a slit lamp microscope and their segmentation results. Be trained in advance.
- CNN convolutional neural network
- the segmentation unit 83 may be configured to specify an image region corresponding to a predetermined tissue (predetermined part) from the three-dimensional reconstructed image constructed by the reconstructing unit 82.
- the tissue of the specific target may generally be any tissue that can be photographed by the slit lamp microscope 1.
- specific target tissues include the cornea, corneal sub-tissues (anterior cornea, posterior cornea, corneal epithelium, Bowman's membrane, intrinsic layer, dual layer, desme, corneal endothelium, etc.), iris, anterior iris, pupil, anterior chamber.
- the lens, a sub-tissue of the lens anterior lens, posterior lens, corneal epithelium, lens sac, etc.
- the vitreous body lesions, blood vessels, and any of the other ocular tissues.
- the segmentation unit 83 may be configured to specify an image region corresponding to an arbitrary part of the eye tissue from the three-dimensional reconstructed image constructed by the reconstructing unit 82.
- the specific target portion may be, for example, any of the front portion, the central portion, the rear portion, the edge portion, the end portion, and other portions.
- the transillumination method has the disadvantages that the brightness of the image cannot be controlled and that three-dimensional information cannot be provided.
- One of the purposes of the slit lamp microscope 1 is to provide a novel lens observation method in which such drawbacks are eliminated.
- the segmentation unit 83 may be configured to specify an image region (lens region) corresponding to the crystalline lens from the three-dimensional reconstructed image constructed by the reconstruction unit 82.
- the crystalline lens region is specified by the segmentation unit 83, at least a part of the crystalline lens region is set to the three-dimensional image to which the rendering is applied by the rendering unit 81.
- the rendering unit 81 may be configured to apply rendering to the entire crystalline lens region specified by the segmentation unit 83. In this case, a rendered image representing the entire crystalline lens region in the three-dimensional reconstructed image constructed by the reconstructed unit 82 is obtained.
- the slit light is typically visible light, and the area behind the iris is not depicted in the plurality of anterior segment images collected by scanning. Therefore, the crystalline lens region in the three-dimensional reconstructed image is only the image region corresponding to the portion of the crystalline lens of the eye E to be inspected located behind the pupil.
- the slit lamp microscope 1 is configured to photograph a cross section illuminated by the slit light (for example, a YZ cross section) from an oblique direction
- the anterior segment image obtained by photographing this cross section may be included.
- the state of this cross section is depicted, and in particular, the two-dimensional distribution of opacity in the crystalline body (for example, the distribution in the YZ direction) is depicted.
- a three-dimensional representation of the three-dimensional distribution of opacity in the crystal body is expressed.
- a reconstructed image is obtained.
- segmentation to this three-dimensional reconstructed image, a crystalline lens region containing information on the three-dimensional opacity distribution can be obtained.
- the rendering unit 81 can apply a projection in the Z direction (projection on the XY plane) to such a crystalline lens region.
- the projection image defined in the XY coordinate system is constructed. Since the projection in the Z direction includes the integration of the pixel values of the pixel groups arranged along the Z direction, the projection image constructed thereby includes information regarding the position and state of opacity in the crystal body.
- the projection image constructed in this way not only represents the two-dimensional turbidity distribution (distribution in the XY plane) like the transillumination image, but also the depth direction (Z direction, depth inherited from the three-dimensional reconstructed image). It also includes turbidity distribution information (direction).
- the depth information of each turbid part can be expressed by the display color, the display density, and the display pattern. For example, when expressing the depth in color, information (color bar) indicating the correspondence between the depth and the color can be displayed together with the projection image.
- the depth information of the turbid part may include information indicating an arbitrary position of the turbid part, such as the position of the front part (the position on the most corneal side) of the turbid part, the position of the rearmost part, and the center position. Further, the depth information of the turbid portion may include information indicating the dimensions of the turbid portion in the depth direction.
- the depth information of these turbid parts may be displayed together, or the depth information of these turbid parts may be selectively displayed.
- the degree of turbidity may include information such as density, severity, and dimensions of turbidity.
- the degree of such turbidity is expressed by, for example, a display color, a display density, and a display pattern.
- a part of the rendered image corresponding to the entire crystalline lens region can be extracted and displayed.
- the process of extracting a part of the rendered image is performed by, for example, the same segmentation as the segmentation unit 83.
- rendering may be applied to a part (partial area) of the crystalline lens region in the three-dimensional reconstructed image.
- the segmentation unit 83 applies the first segmentation to the three-dimensional reconstructed image to specify the crystalline lens region, and further applies the second segmentation to the crystalline lens region to specify the partial region. It may be configured. Alternatively, the segmentation unit 83 may be configured to apply segmentation to the three-dimensional reconstructed image to identify a partial region of the crystalline lens region.
- the segmentation unit 83 may be configured to specify a partial region of the crystalline lens in the depth direction (Z direction) of the eye E to be inspected from the crystalline lens region (or a three-dimensional reconstructed image).
- This subregion is, for example, a nuclear region, an anterior region of the nucleus, a posterior region of the nucleus, a sac region, a region shallower than a predetermined depth position, a region deeper than a predetermined depth position, a first depth position and a second depth. It may be a region sandwiched between the positions and other partial regions.
- the rendering unit 81 can apply the rendering to the partial area specified by the segmentation unit 83. This makes it possible to provide a turbidity distribution in the partial region. For example, it can provide a distribution of turbidity in the depth range desired by the user.
- the segmentation unit 83 identifies a partial region of the crystalline lens in a direction orthogonal to the depth direction (Z direction) of the eye E to be inspected (for example, the X direction, the Y direction, and the XY direction) from the crystalline lens region (or a three-dimensional reconstructed image). It may be configured to do so. For example, it is possible to divide the crystalline lens region into a plurality of sectors having an equal angle and obtain the state of opacity (distribution, amount, ratio, degree, etc.) for each sector.
- the partial region of the crystalline lens can be identified based on the region.
- the partial region can be specified with reference to the contour of this nuclear region. Specifically, the nuclear region may be enlarged or reduced by a predetermined dimension to set a partial region.
- the sac region of the crystalline lens is specified, the partial region can be set according to the shape of the sac region (curved surface shape). For example, a partial region may be set with a curved surface that is the same as or similar to the anterior capsule region as the front surface.
- the output unit 9 outputs information from the slit lamp microscope 1.
- the output unit 9 is typically one of a communication device (communication unit) that performs data communication between the slit lamp microscope 1 and another device, and a display device (display unit) that displays information. Including both. Further, the output unit 9 may include a recording device (data writer, drive device, etc.) for writing information on a recording medium, a printer for recording information on a print medium, and the like.
- the communication unit included in the output unit 9 performs data communication between the slit lamp microscope 1 and another device. That is, the communication unit transmits data to another device and receives data transmitted from the other device.
- the data communication method executed by the communication unit is arbitrary.
- the communication unit includes one or more of various communication interfaces such as an Internet-compliant communication interface, a dedicated line-compliant communication interface, a LAN-compliant communication interface, and a short-range communication-compliant communication interface.
- Data communication may be wired communication or wireless communication.
- the data sent and received by the communication unit may be encrypted.
- control unit 7 and / or the data processing unit 8 is an encryption processing unit that encrypts the data transmitted by the communication unit and a decryption processing unit that decrypts the data received by the communication unit. Includes at least one of.
- the display unit included in the output unit 9 displays various information under the control of the control unit 7.
- the display unit may include a flat panel display such as a liquid crystal display (LCD).
- the display unit may be a peripheral device of the slit lamp microscope 1.
- the slit lamp microscope 1 may include an operating device.
- the operating device may be a peripheral device of the slit lamp microscope 1.
- the operation device includes a device for operating the slit lamp microscope 1 and a device for inputting information.
- Operating devices include, for example, buttons, switches, levers, dials, handles, knobs, mice, keyboards, trackballs, operating panels and the like.
- a device in which a display device and an operation device are integrated, such as a touch screen, may be used. The subject and the assistant can operate the slit lamp microscope 1 by using the display device and the operation device.
- alignment is an operation of arranging the device optical system at a position suitable for photographing or measuring the eye E to be inspected.
- the alignment of this aspect is an operation of arranging the illumination system 2 and the photographing system 3 at suitable positions for acquiring a moving image (a plurality of anterior segment images) as shown in FIG.
- Stereo alignment As an alignment method applicable to this aspect. Stereo alignment can be applied to an ophthalmic apparatus capable of photographing the anterior segment from two or more different directions, and a specific method thereof is disclosed in Japanese Patent Application Laid-Open No. 2013-248376 by the present applicant.
- Stereo alignment includes, for example, the following steps: a step in which two or more anterior segment cameras capture the anterior segment from different directions to obtain two or more captured images; a processor analyzes these captured images to be inspected. Step of obtaining the three-dimensional position of the above; a step in which the processor controls the movement of the optical system based on the obtained three-dimensional position.
- the optical system (illumination system 2 and imaging system 3 in this example) is arranged at a position suitable for the eye to be inspected.
- the position of the pupil (center or center of gravity of the pupil) of the eye to be inspected is used as a reference.
- any known alignment method such as a method using a Purkinje image obtained by alignment light, a method using an optical lever, or a method using an alignment index can be adopted. It is possible. In the method using the Purkinje image and the method using the optical beam and the alignment index, the position of the corneal apex of the eye to be inspected is used as a reference.
- the conventional typical alignment method including the above examples is performed for the purpose of aligning the axis of the eye to be inspected with the optical axis of the optical system, but in this embodiment, the position corresponds to the scan start position. Alignment can be performed so that the illumination system 2 and the photographing system 3 are arranged.
- the standard value of the preset corneal radius is set.
- the illumination system 2 and the photographing system 3 can be moved (in the X direction) by a corresponding distance.
- the measured value of the corneal radius of the eye E to be inspected may be used.
- the image of the anterior segment of the eye E to be inspected is analyzed to obtain the corneal radius. Is measured, and the illumination system 2 and the photographing system 3 can be moved (in the X direction) by a distance corresponding to this measured value.
- the image of the anterior segment analyzed in this example is, for example, an anterior segment image obtained by the photographing system 3 or another image.
- the other image may be any image such as an image obtained by the anterior segment camera and an image obtained by the anterior segment OCT.
- the image of the anterior segment obtained by the anterior segment camera for stereo alignment or the imaging system 3 is analyzed to obtain the first end portion of the cornea, and stereo alignment is applied to this first end portion.
- the lighting system 2 and the photographing system 3 can be moved to a position corresponding to the unit.
- any of the above alignment methods is applied to perform alignment with reference to the pupil or corneal apex of the eye E to be inspected, and the anterior segment scan with slit light is started from the position determined by this. May be good.
- the scan sequence can be set to scan the entire cornea C. For example, the scan sequence is set so that the scan is performed to the left from the position determined by the alignment and then the scan is performed to the right.
- the slit lamp microscope 1 may include a fixation system that outputs light (fixation light) for fixing the eye E to be inspected.
- the fixation system typically includes at least one visible light source (fixation light source) or a display device that displays an image such as a landscape chart or fixation target.
- the fixation system is arranged coaxially or non-coaxially with, for example, the illumination system 2 or the photographing system 3.
- the fixation system includes an internal fixation system that presents the fixation target to the subject through the optical path of the optical path of the device, and / or an external fixation system that presents the fixation target to the subject from outside the optical path. May include.
- the types of images that can be acquired by the slit lamp microscope 1 are not limited to the above-mentioned moving images of the anterior segment (plural images of the anterior segment).
- the slit lamp microscope 1 is a three-dimensional image based on this moving image, a rendered image based on this moving image, a transillumination image, a moving image showing the movement of a contact lens worn on an eye to be inspected, and a contact by applying a fluorescent agent.
- fundus photography, corneal endothelial cell photography, meibomian gland photography, and the like may be possible.
- the transillumination image can be acquired, for example, the above-mentioned rendered image and transillumination image can be displayed, the rendered image and transillumination image can be combined, and one of the rendered image and the transillumination image can be used as the other. It is possible to process based on the above, or to analyze one of the rendered image and the transillumination image based on the other.
- the user inputs the examinee information into the slit lamp microscope 1 at an arbitrary stage.
- the input subject information is stored in the control unit 7.
- the subject information typically includes subject identification information (subject ID).
- background information can be input.
- the background information is arbitrary information about the subject, and examples thereof include interview information of the subject, information entered by the subject on a predetermined sheet, information recorded in the electronic medical record of the subject, and the like. There is.
- background information includes gender, age, height, weight, disease name, candidate disease name, test results (visual acuity, optical power, intraocular pressure, etc.), refractive power correctors (glasses, contact lenses, etc.) ) Wearing history, frequency, examination history, treatment history, etc. These are examples, and the background information is not limited to these.
- the table on which the slit lamp microscope 1 is installed, the chair on which the subject sits, and the jaw cradle of the slit lamp microscope 1 are adjusted (all of which are not shown).
- the height of the table, chair, and chin rest is adjusted.
- the chin rest is provided with a chin rest and a forehead pad for stable placement of the subject's face.
- the subject When the preparation is completed, the subject sits on a chair, puts his chin on the chin rest, and puts his forehead on the forehead.
- the user performs an instruction operation for starting the imaging of the eye to be inspected. This operation may be, for example, pressing a shooting start trigger button (not shown), inputting an instruction voice, or the like.
- the control unit 7 may detect the completion of the preparation phase and automatically shift to the shooting phase.
- an optotype (not shown) may be presented to the subject (optometry E or his companion eye).
- step S1 Alignment
- the alignment in step S1 is the alignment of the illumination system 2 and the imaging system at the start position of the anterior segment scan performed in step S2. It is executed to arrange 3.
- the alignment mode of step S1 may be arbitrary, for example, stereo alignment, manual or automatic alignment using a Purkinje image, manual or automatic alignment using an optical lever, and manual or automatic alignment using an alignment index. It may be one of them.
- such conventional techniques perform alignments targeting the apex of the cornea or the center of the pupil. Further, the control unit 7 further moves the illumination system 2 and the imaging system 3 that have been moved by alignment targeting the apex of the cornea and the center of the pupil to the scan start position (position corresponding thereto).
- alignment is performed from the beginning with the scan start position as the target.
- This alignment analyzes, for example, an image of the anterior segment of the eye (eg, an image from the front or an oblique view) and scan start position (eg, with respect to the first end or the first end of the cornea described above. It includes a process of specifying a position (a position separated by a predetermined distance in a direction opposite to the axis of the eye E to be inspected) and a process of moving the illumination system 2 and the photographing system 3 to a position corresponding to the specified scan start position.
- a predetermined operation may be executed before, during, and / or after the alignment is started. For example, adjustment of illumination light amount (slit light intensity), slit adjustment (slit width adjustment, slit length adjustment, slit direction adjustment), image sensor 5 adjustment (sensitivity adjustment, gain adjustment, etc.), focus adjustment. May be done.
- illumination light amount slit light intensity
- slit adjustment slit width adjustment, slit length adjustment, slit direction adjustment
- image sensor 5 adjustment sensitivity adjustment, gain adjustment, etc.
- focus adjustment May be done.
- the slit lamp microscope 1 combines the irradiation of slit light by the illumination system 2, the moving image shooting by the imaging system 3, and the movement of the illumination system 2 and the imaging system 3 by the moving mechanism 6 in the same manner as described above. Scan the anterior segment of E.
- FIG. 6 shows some images obtained by continuously photographing the anterior segment scan actually performed from the front. From these images, it can be understood that the slit light irradiating the anterior segment of the eye moves.
- the image groups (plurality of anterior segment images) F1 to FN shown in FIG. 3 can be obtained.
- the data processing unit 8 may perform a predetermined process on the image obtained by scanning. For example, it is possible to apply arbitrary signal processing or arbitrary image processing such as noise removal, contrast adjustment, brightness adjustment, and color correction.
- the reconstruction unit 82 applies the three-dimensional reconstruction to the plurality of anterior segment images collected in step S2. As a result, a three-dimensional reconstructed image is constructed.
- the segmentation unit 83 applies segmentation to the three-dimensional reconstructed image constructed in step S3 to identify the crystalline lens region.
- segmentation unit 83 can apply further segmentation to this crystalline lens region to specify an image region corresponding to a predetermined partial region of the crystalline lens.
- the crystalline lens region identified in step S4 is a three-dimensional image defined in the XYZ coordinate system.
- the rendering unit 81 applies projection to the XY plane to this crystalline lens region.
- a projection image showing a turbid state in the crystal body which is similar to the transillumination image, is constructed.
- the control unit 7 displays the projection image constructed in step S5 on the display unit of the output unit 9.
- control unit 7 displays information acquired from a plurality of anterior segment images and / or three-dimensional reconstructed images, such as depth information of the opaque portion and information indicating the degree of opacity, together with the projection image. Can be made to.
- the opaque portion is identified, for example, by applying segmentation to the crystalline lens region (or a three-dimensional reconstructed image or a plurality of anterior segment images).
- a projection image and / or other rendered image can be used to identify the turbid part.
- segmentation is applied to the projection image to obtain the XY distribution of the opaque portion, and the crystalline lens region (or three-dimensional reconstructed image or multiple anterior segment images) is analyzed with reference to this to obtain the three-dimensional opaque portion. The distribution can be obtained.
- control unit 7 can control the communication unit of the output unit 9 to transmit information such as a plurality of anterior segment images, a three-dimensional reconstructed image, and a projection image to another device.
- Information processing devices and storage devices are examples of devices to which information is transmitted.
- the information processing device is, for example, a server on a wide area line, a server on a LAN, a computer terminal, or the like.
- the storage device is a storage device provided on a wide area line, a storage device provided on a LAN, or the like.
- the information displayed and / or transmitted may include the background information described above.
- the background information may be incidental information of the image.
- the data structure of the information displayed and / or transmitted is arbitrary.
- the information displayed and / or transmitted typically includes an image of the subject's right eye and an image of the left eye.
- the image of the right eye and the image of the left eye are obtained by applying the operation of this example to the right eye and the left eye, respectively.
- the above-mentioned eye examination information is attached to the image of the right eye and the image of the left eye, respectively, thereby distinguishing the image of the right eye from the image of the left eye.
- the identification information of the subject is transmitted together with the image acquired by the slit lamp microscope 1.
- This identification information may be the subject ID input to the slit lamp microscope 1 or the identification information generated based on the subject ID.
- the subject ID internal identification information
- the subject ID used for personal identification in the facility where the slit lamp microscope 1 is installed can be converted into external identification information used outside the facility. This makes it possible to improve the information security of personal information such as images and background information.
- the slit lamp microscope 1 of this embodiment includes a scanning unit (illumination system 2, photographing system 3, and moving mechanism 6) and a rendering unit 81.
- the scanning unit scans the anterior segment of the eye E to be inspected with slit light and collects a plurality of cross-sectional images F1 to FN.
- the rendering unit 81 applies rendering to a three-dimensional image based on a plurality of cross-sectional images collected by the scanning unit.
- the 3D image to which the rendering is applied is, for example, all or a part of a 3D reconstructed image of a plurality of cross-sectional images collected by the scanning unit.
- the cross section obtained by scanning the anterior segment of the eye with slit light instead of the transillumination method in which the opaque portion of the crystalline lens is visualized as the shadow of the reverting light from the retina. It is possible to carry out a new observation method that visualizes the turbid part from the image group. Therefore, the amount of illumination light (and the shooting sensitivity) can be adjusted. Thereby, the brightness of the image can be managed, and the image quality can be managed.
- the image obtained by the slit lamp microscope 1 of this embodiment can be used for quantitative diagnosis. For example, it can be used for objective evaluation in addition to subjective evaluation of cataract grade. Further, it is possible to apply automatic image analysis using an analysis program or machine learning to the image obtained by the slit lamp microscope 1 of the present embodiment.
- the slit lamp microscope 1 of this embodiment it is possible to provide the three-dimensional distribution, unlike the transillumination method, which can provide only the two-dimensional distribution of the opaque portion of the crystalline lens.
- the slit lamp microscope 1 of this embodiment can provide a novel ophthalmologic observation method in which the drawbacks of the transillumination method are eliminated.
- the rendering unit 81 may be configured to apply projections on a predetermined plane to a three-dimensional image based on a plurality of cross-sectional images collected by the scanning unit.
- the predetermined plane may be set so as to be orthogonal to the depth direction (Z direction) of the eye E to be inspected (XY plane).
- This configuration can be used, for example, to construct a planar image (two-dimensional image) similar to a transillumination image.
- the slit lamp microscope 1 of this embodiment may further include a reconstruction unit 82 and a segmentation unit 83.
- the reconstruction unit 82 applies the three-dimensional reconstruction to a plurality of cross-sectional images collected by the scanning unit.
- the segmentation unit 83 applies the segmentation to the three-dimensional reconstructed image constructed by the reconstructing unit 82 in order to set the three-dimensional image to which the rendering is applied by the rendering unit 81.
- the segmentation unit 83 may be configured to specify the crystalline lens region from the three-dimensional reconstructed image constructed by the reconstructed unit 82.
- the three-dimensional image to which rendering is applied by the rendering unit 81 includes at least a part of the crystalline lens region specified by the segmentation unit 83.
- This configuration can be used, for example, to construct a planar image (two-dimensional image) similar to a transillumination image.
- the rendering unit 81 may be configured to apply rendering to the crystalline lens region specified by the segmentation unit 83.
- the segmentation unit 83 applies further segmentation to the crystalline lens region identified from the three-dimensional reconstructed image constructed by the reconstruction unit 82, and a partial region in the depth direction (Z direction) of the eye E to be inspected. May be configured to identify. Further, the rendering unit 81 may be configured to apply rendering to the relevant partial region of the crystalline lens region.
- a rendered image of the crystalline lens region can be constructed.
- the segmentation unit 83 identifies at least one region of the sac region and the nuclear region from the crystalline lens region identified from the three-dimensional reconstructed image constructed by the reconstruction unit 82, and a partial region based on this region. May be configured to identify.
- the main structure (sac, nucleus) of the crystalline lens can be referred to in order to set the partial region of the crystalline lens to which the rendering is applied by the rendering unit 81.
- the region can be set along the layered structure of the crystalline lens.
- the slit lamp microscope 1 of this aspect realizes scanning of the anterior segment by slit light by the following configuration. That is, the scanning unit includes the lighting system 2, the photographing system 3, and the moving mechanism 6.
- the illumination system 2 irradiates the anterior segment of the eye E to be inspected with slit light.
- the photographing system 3 photographs the anterior segment of the eye from a direction different from that of the lighting system 2.
- the moving mechanism 6 moves the lighting system 2 and the photographing system 3.
- the photographing system 3 repeatedly performs photographing in parallel with the movement of the lighting system 2 and the photographing system 3 by the moving mechanism 6. This repetitive shooting is, for example, moving image shooting at a predetermined shooting rate.
- the moving mechanism 6 moves the illumination system 2 and the photographing system 3 in the X direction in scanning the anterior segment of the eye with slit light. Further, the moving mechanism 6 may be able to move the lighting system 2 and the photographing system 3 three-dimensionally in the alignment.
- the slit lamp microscope 1 of this embodiment may have a function as a Scheimpflug camera, for example, in order to photograph a range from the anterior surface of the cornea to the posterior surface of the crystalline lens at one time. Therefore, the photographing system 3 may include an optical system 4 that guides the light from the anterior segment irradiated with the slit light, and an image pickup element 5 that receives the light guided by the optical system 4 on the imaging surface. .. Further, the slit lamp microscope 1 may be configured such that the object surface along the optical axis of the illumination system 2, the optical system 4 and the image pickup element 5 (imaging surface) satisfy the Scheimpflug condition.
- the ophthalmic information processing device 500 includes a control unit 510, a reception unit 520, and a data processing unit 530.
- the control unit 510 controls each unit of the ophthalmic information processing apparatus 500.
- the reception unit 520 receives a plurality of cross-sectional images collected by scanning the anterior segment of the eye to be inspected with slit light.
- the plurality of cross-sectional images are acquired by, for example, an ophthalmologic imaging apparatus having the same configuration as the scanning unit of the first slit lamp microscope 1.
- the reception unit 520 receives a plurality of cross-sectional images from the outside (for example, an ophthalmic apparatus, an image archiving system, a recording medium).
- the reception unit 520 may include, for example, a communication device or a drive device.
- the data processing unit 530 includes a rendering unit 531.
- the rendering unit 531 applies rendering to a three-dimensional image based on a plurality of cross-sectional images received by the reception unit 520.
- the rendering unit 531 has, for example, the same function and configuration as the rendering unit 81 of the first aspect. The same may apply to the three-dimensional image to which the rendering is applied as in the first aspect.
- the ophthalmic information processing device 500A includes a control unit 510, a reception unit 520, and a data processing unit 530A.
- the control unit 510 and the reception unit 520 are the same as those in FIG. 7.
- the data processing unit 530A includes a reconstruction unit 532 and a segmentation unit 533 in addition to the rendering unit 531 similar to the example of FIG.
- the reconstruction unit 532 has, for example, the same function and configuration as the reconstruction unit 82 in the first aspect.
- the segmentation unit 533 has, for example, the same function and configuration as the segmentation unit 83 in the first aspect.
- the transillumination method can be performed. It is possible to provide a novel ophthalmologic observation method that eliminates the drawbacks.
- an ophthalmic system including an ophthalmic imaging device, an information processing device, and an image interpretation terminal
- the ophthalmologic imaging apparatus has at least a function as a slit lamp microscope (scanning unit of the first aspect).
- the slit lamp microscope included in the ophthalmologic imaging apparatus may be the slit lamp microscope of the first aspect.
- the ophthalmology imaging device does not have to have a rendering unit.
- the ophthalmic system 1000 illustrated in FIG. 9 is a communication path (communication line) 1100 connecting each of T facilities (first facility to T facility) where ophthalmic imaging is performed, a server 4000, and an image interpretation terminal 5000 m. It is built using.
- ophthalmologic imaging includes at least anterior ocular imaging using a slit lamp microscope.
- This anterior segment imaging includes at least an anterior segment scan using slit light as described in the first aspect.
- Ophthalmic imaging apparatus 2000-i t constitutes a part of an ophthalmic system 1000.
- the ophthalmology system 1000 may include an examination device capable of performing examinations other than ophthalmology.
- Ophthalmic imaging apparatus 2000-i t of this embodiment is provided with both the function as a "computer” as a function of a "photographing apparatus” for implementing the imaging of the eye, to communicate with various data processing and an external apparatus There is.
- the imaging device and the computer can be provided separately.
- the photographing device and the computer may be configured to be able to communicate with each other.
- the number of photographing devices and the number of computers are arbitrary, and for example, a single computer and a plurality of photographing devices can be provided.
- Imaging device in the ophthalmologic photographing apparatus 2000-i t comprises at least a slit lamp microscope.
- This slit lamp microscope may be the slit lamp microscope of the first aspect.
- each facility (t facility) is equipped with an information processing device (terminal 3000-t) that can be used by an assistant or a subject.
- the terminal 3000-t is a computer used in the facility, and may be, for example, a mobile terminal such as a tablet terminal or a smartphone, a server installed in the facility, or the like. Further, the terminal 3000-t may include a wearable device such as wireless earphones.
- the terminal 3000-t may be a computer (cloud server or the like) installed outside the facility, as long as it is a computer whose function can be used in the facility.
- the network Institutional LAN, etc.
- Internet wide area network
- Ophthalmic imaging apparatus 2000-i t may have a function as a communication device such as a server. In this case, it is possible and ophthalmologic photographing apparatus 2000-i t and the terminal 3000-t is configured to communicate directly. Thus, it is possible to perform via an ophthalmologic imaging apparatus 2000-i t a communication between the server 4000 and the terminal 3000-t, necessary to provide a function for communicating with the terminals 3000-t and the server 4000 Is gone.
- the server 4000 is typically installed in a facility different from any of the first to T facilities, for example, in a management center.
- Server 4000 for example, the function of relaying communication between the ophthalmologic photographing apparatus 2000-i t and the interpretation terminal 5000 m, the function of recording the contents of the communication, which is acquired by the ophthalmic photographing apparatus 2000-i t data It has a function of storing data and information, and a function of storing data and information acquired by the image interpretation terminal 5000 m.
- the server 4000 may have a data processing function.
- Interpretation terminal 5000m is interpretation of the eye of the image obtained by the ophthalmic photographing apparatus 2000-i t (e.g., a plurality of cross-sectional images obtained by the anterior segment scan, or rendering image of a three-dimensional image based on these) And includes computers that can be used for reporting.
- the image interpretation terminal 5000 m may have a data processing function.
- the server 4000 will be explained.
- the server 4000 illustrated in FIG. 10 includes a control unit 4010, a communication establishment unit 4100, and a communication unit 4200.
- the control unit 4010 executes control of each unit of the server 4000.
- the control unit 4010 may be capable of executing other arithmetic processing.
- the control unit 4010 includes a processor.
- the control unit 4010 may further include a RAM, a ROM, a hard disk drive, a solid state drive, and the like.
- the control unit 4010 includes a communication control unit 4011 and a transfer control unit 4012.
- the communication control unit 4011 executes control related to establishment of communication between a plurality of devices including a plurality of ophthalmologic imaging apparatus 2000-i t and a plurality of terminals 3000-t and a plurality of the interpretation terminal 5000 m. For example, the communication control unit 4011 sends a control signal for establishing communication to each of two or more devices selected by the selection unit 4120 described later from the plurality of devices included in the ophthalmology system 1000.
- the transfer control unit 4012 controls the exchange of information between two or more devices for which communication has been established by the communication establishment unit 4100 (and the communication control unit 4011). For example, the transfer control unit 4012 functions to transfer information transmitted from one of at least two devices for which communication has been established by the communication establishment unit 4100 (and communication control unit 4011) to the other device. To do.
- transfer control unit 4012 information transmitted from the ophthalmologic photographing apparatus 2000-i t (e.g., a plurality of cross-sectional The image) can be transferred to the image interpretation terminal 5000 m.
- the transfer control unit 4012, information transmitted from the interpretation terminal 5000 m e.g., instructions to the ophthalmologic photographing apparatus 2000-i t, etc. interpretation report
- the ophthalmologic photographing apparatus 2000-i t can be transferred to the ophthalmologic photographing apparatus 2000-i t.
- the transfer control unit 4012 may have a function of processing the information received from the transmission source device. In this case, the transfer control unit 4012 can transmit at least one of the received information and the information obtained by the processing to the transfer destination device.
- the transfer control unit 4012 can be transmitted to the interpretation terminal 5000m etc. by extracting a part of the information transmitted from the ophthalmologic photographing apparatus 2000-i t like.
- the information transmitted from the ophthalmologic photographing apparatus 2000-i t like (e.g., a plurality of cross-sectional images) or processed information which was analyzed by the server 4000, or other device, the analysis result (and original information) It may be transmitted to an image interpretation terminal 5000 m or the like.
- the ophthalmologic imaging apparatus 2000-i t plurality of cross-sectional images transmitted from (or 3-dimensional image or a rendering image based on them) interpretation was performed using artificial intelligence engine or the like, resulting a plurality of cross It can be transmitted to the image interpretation terminal 5000 m together with the image.
- the transfer control unit 4012 can be configured to transmit the constructed three-dimensional image to the image interpretation terminal 5000 m.
- the transfer control unit 4012 a volume data built interpretation terminal 5000m It can be configured to transmit.
- the data processing process that can be executed by the server 4000 or another device is not limited to the above example, and may include arbitrary data processing.
- the server 4000 or other device may be capable of rendering a 3D image, removing artifacts, correcting distortion, measuring, and so on.
- Communication establishing unit 4100 establishes communication between at least two devices selected from among a plurality of devices including a plurality of ophthalmologic imaging apparatus 2000-i t and a plurality of terminals 3000-t and a plurality of interpretation terminal 5000m Execute the process to do.
- "establishment of communication” means, for example, (1) establishing one-way communication from a state in which communication is disconnected, (2) establishing two-way communication from a state in which communication is disconnected, ( The concept includes at least one of 3) switching from a state in which only reception is possible to a state in which transmission is possible, and (4) switching from a state in which only transmission is possible to a state in which reception is also possible.
- disconnecting communication means, for example, (1) disconnecting communication from a state in which one-way communication is established, (2) disconnecting communication from a state in which two-way communication is established, ( 3) Switching from a state in which two-way communication is established to one-way communication, (4) Switching from a state in which transmission and reception are possible to a state in which only reception is possible, and (5) From a state in which transmission and reception are possible It is a concept that includes at least one of switching to a state in which only transmission is possible.
- At least one of the communication request (interrupt request) for interrupting can be transmitted to the server 4000. Call requests and interrupt requests are issued manually or automatically.
- Server 4000 (communication unit 4200) receives ophthalmologic imaging apparatus 2000-i t, the terminal 3000-t, or the communication request transmitted from the interpretation terminal 5000 m.
- the communication establishment unit 4100 may include a selection unit 4120.
- Selecting unit 4120 for example, the ophthalmologic imaging apparatus 2000-i t, based on the transmitted communication request from the terminal 3000-t, or the interpretation terminal 5000 m, ophthalmologic photographing apparatus 2000-i t, the terminal 3000-t, and the interpretation terminal From 5000 m, one or more devices other than the device that transmitted the communication request are selected.
- Ophthalmologic photographing apparatus communication request from 2000-i t or terminals 3000-t (e.g., a request for interpretation of images acquired by the ophthalmic photographing apparatus 2000-i t) when subjected to the selection unit 4120, for example, a plurality of Select one of the image interpretation terminals 5000 m.
- Communication establishing unit 4100 establishes a interpretation terminal 5000m selected, the communication between at least one of the ophthalmologic photographing apparatus 2000-i t and the terminal 3000-t.
- the selection of the device according to the communication request is executed based on, for example, preset attributes.
- this attribute include the type of examination (for example, the type of imaging modality, the type of image, the type of disease, the type of candidate disease, etc.), the required degree of specialization / proficiency, and the type of language.
- the specialty field and skill level of the interpreter are referred to.
- the communication establishment unit 4100 may include a storage unit 4110 in which the attribute information created in advance is stored. In the attribute information, the attributes of the image interpretation terminal 5000 m and / or its user (doctor, optometrist, etc.) are recorded.
- User identification is performed by a pre-assigned user ID.
- the image interpretation terminal 5000m is identified by, for example, a device ID or a network address assigned in advance.
- the attribute information includes a specialized field (for example, a clinical department, a specialized disease, etc.), a degree of specialization / proficiency, a type of language that can be used, and the like as attributes of each user.
- the ophthalmologic imaging apparatus 2000-i t, the terminal 3000-t, or the communication request transmitted from the interpretation terminal 5000m may include information about the attributes.
- interpretation is transmitted from the ophthalmologic photographing apparatus 2000-i t request may include any information the following: (1) information indicating the type of imaging modality; (2) the type of image the illustrated information; (3) information indicating the disease name and candidate disease name; (4) information indicating the difficulty of interpretation; (5) the user's language of the ophthalmologic photographing apparatus 2000-i t and / or the terminal 3000-t Information that indicates.
- the selection unit 4120 can select one of the image interpretation terminals 5000 m based on the image interpretation request and the attribute information stored in the storage unit 4110. At this time, the selection unit 4120 collates the information regarding the attributes included in the image interpretation request with the information recorded in the attribute information stored in the storage unit 4110. As a result, the selection unit 4120 selects, for example, an image interpretation terminal 5000 m corresponding to a doctor (or optometrist) corresponding to any of the following attributes: (1) a doctor specializing in the imaging modality; (2). ) A doctor who specializes in the image type; (3) A doctor who specializes in the disease (the candidate disease); (4) A doctor who can interpret the difficulty level; (5) A doctor who can use the language.
- the association between the doctor or optometrist and the image interpretation terminal 5000 m is made by, for example, the user ID entered when logging in to the image interpretation terminal 5000 m (or ophthalmology system 1000).
- the communication unit 4200 performs data communication with other devices (e.g., ophthalmic imaging apparatus 2000-i t, the terminal 3000-t, and one of the interpretation terminal 5000 m) performs data communication with.
- ophthalmic imaging apparatus 2000-i t the terminal 3000-t
- one of the interpretation terminal 5000 m performs data communication with.
- scheme and encryption of the data communication may be similar to the communication unit provided in the ophthalmologic photographing apparatus 2000-i t (communication unit of the output unit 9 in the first embodiment).
- the server 4000 includes a data processing unit 4300.
- the data processing unit 4300 executes various data processing.
- the data processing unit 4300 is capable of processing ophthalmic imaging apparatus 2000-i t (in particular, slit lamp microscope) a plurality of cross-sectional images or three-dimensional images obtained by.
- the data processing unit 4300 includes a processor, a main storage device, an auxiliary storage device, and the like.
- a data processing program or the like is stored in the auxiliary storage device.
- the function of the data processing unit 4300 is realized by the cooperation between software such as a data processing program and hardware such as a processor.
- the server 4000 can provide the data obtained by the data processing unit 4300 to another device.
- the data processing unit 4300 when constructing a 3-dimensional image from a plurality of cross-sectional images obtained by the ophthalmic photographing apparatus 2000-i t, server 4000, the communication unit 4200, the 3-dimensional image on the interpretation terminal 5000m Can be sent.
- Data processing unit 4300 when rendering a three-dimensional image constructed by the ophthalmologic photographing apparatus 2000-i t or the data processing unit 4300, the server 4000, transmitted by the communication unit 4200, a rendering image built interpretation terminal 5000m can do.
- the server 4000 can transmit the obtained measurement data to the image interpretation terminal 5000m by the communication unit 4200.
- the server 4000 can transmit the corrected image to the image interpretation terminal 5000m by the communication unit 4200.
- the image interpretation terminal 5000m illustrated in FIG. 11 includes a control unit 5010, a data processing unit 5100, a communication unit 5200, and an operation unit 5300.
- the data processing unit 5100 may have the same functions and configurations as the data processing unit 8 of the first aspect.
- the data processing unit 5100 may have at least the function and configuration of the rendering unit 81 of the first aspect, and may further have the function and configuration of the reconstruction unit 82 and the function and configuration of the segmentation unit 83.
- the control unit 5010 controls each unit of the image interpretation terminal 5000 m.
- the control unit 5010 may be capable of executing other arithmetic processing.
- the control unit 5010 includes a processor, RAM, ROM, a hard disk drive, a solid state drive, and the like.
- the control unit 5010 includes the display control unit 5011.
- the display control unit 5011 controls the display device 6000 m.
- the display device 6000 m may be included in the image interpretation terminal 5000 m, or may be a peripheral device connected to the image interpretation terminal 5000 m.
- the display control unit 5011 causes the display device 6000 m to display an image of the anterior eye portion of the eye E to be inspected.
- the display control unit 5011 can display a rendered image of a three-dimensional image based on a plurality of cross-sectional images of the anterior segment of the eye to be inspected on the display device 6000 m.
- the control unit 5010 includes the report creation control unit 5012.
- the report creation control unit 5012 executes various controls for creating a report regarding the information displayed by the display control unit 5011.
- the report creation control unit 5012 causes the display device 6000 m to display a screen for creating a report and a graphical user interface (GUI).
- GUI graphical user interface
- the report creation control unit 5012 inputs information input by the user, an image of the anterior segment of the eye, measurement data, analysis data, and the like into a predetermined report template.
- the data processing unit 5100 executes various data processing.
- the data processing unit 5100 is capable of processing ophthalmic imaging apparatus 2000-i t (in particular, slit lamp microscope) a plurality of cross-sectional images or three-dimensional images obtained by.
- the data processing unit 5100 can process a three-dimensional image or a rendered image constructed by another information processing device such as the server 4000.
- the data processing unit 5100 includes a processor, a main storage device, an auxiliary storage device, and the like.
- a data processing program or the like is stored in the auxiliary storage device.
- the function of the data processing unit 5100 is realized by the cooperation between software such as a data processing program and hardware such as a processor.
- the communication unit 5200 other devices (e.g., ophthalmic imaging apparatus 2000-i t, the terminal 3000-t, and one of the servers 4000) performs data communication with.
- ophthalmic imaging apparatus 2000-i t the terminal 3000-t
- the servers 4000 performs data communication with.
- For scheme and encryption of the data communication may be similar to the communication unit of the ophthalmologic photographing apparatus 2000-i t.
- the operation unit 5300 is used for operating the image interpretation terminal 5000 m, inputting information to the image interpretation terminal 5000 m, and the like. In this aspect, the operating unit 5300 is used to create a report.
- the operation unit 5300 includes an operation device and an input device.
- the operation unit 5300 includes, for example, a mouse, a keyboard, a trackball, an operation panel, switches, buttons, dials, and the like.
- the operation unit 5300 may include a touch screen.
- the ophthalmic system 1000 of this aspect can perform the following operations.
- the ophthalmologic imaging apparatus 2000-i t (slit lamp microscope) collects a plurality of cross-sectional images of the anterior segment of the eye scans a slit light.
- Ophthalmic imaging apparatus 2000-i t is the first transmission information which includes a plurality of sectional images acquired, and transmits via the communication line 1100 to the server 4000. Operation of the ophthalmologic photographing apparatus 2000-i t may be performed in the same manner as the first embodiment. Further, the ophthalmologic imaging apparatus 2000-i t may be capable of executing any process in the first embodiment.
- the server 4000 uses the communication unit 4200 (transmission unit) to transmit the second transmission information including at least a plurality of cross-sectional images included in the first transmission information to the image interpretation terminal 5000m through the communication line 1100.
- the image interpretation terminal 5000m receives the second transmission information transmitted from the server 4000 by the communication unit 5200 (reception unit).
- a user (interpreter) of the image interpretation terminal 5000 m uses a user interface (operation unit 5300, display device 6000 m, report creation control unit 5012, etc.) to perform image interpretation based on a plurality of cross-sectional images.
- the data processing unit 5100 applies rendering to a three-dimensional image based on a plurality of cross-sectional images.
- the rendered image constructed thereby is displayed on the display device 6000 m by the display control unit 5011. This rendered image is, for example, a frontal image similar to a transillumination image.
- the user By reading this front image, the user evaluates, for example, the grade of cataract, and inputs the result to the reading terminal 5000 m.
- the image interpretation terminal 5000m transmits the third transmission information including the information (interpretation report and the like) input using the user interface to the server 4000 through the communication line 1100 by the communication unit 5200 (transmission unit).
- the server 4000 receives the third transmission information transmitted from the image interpretation terminal 5000m by the communication unit 4200 (reception unit), and stores the third transmission information in the storage unit 4110 in association with the first transmission information.
- image interpretation can be suitably performed based on a pre-acquired image of the anterior segment of the eye.
- the acquisition of the image of the anterior segment of the eye may be performed at a remote location.
- a doctor performs a medical examination while operating from a remote location, but in this embodiment, the doctor only needs to perform image interpretation based on a pre-acquired image. That is, in this aspect, the doctor can be freed from the trouble and time of photographing, and it becomes possible to concentrate on the interpretation. Therefore, this aspect contributes to the expansion of the range of providing high-quality slit lamp microscopy.
- ⁇ Fourth aspect> an ophthalmic system including an ophthalmologic imaging device, an information processing device, and an image interpretation device will be described.
- the difference from the third aspect is that an image interpretation device is provided instead of the image interpretation terminal.
- the description will be given while appropriately applying the elements, configurations, and symbols of any one of the first, second, and third aspects.
- the ophthalmic system 1000A illustrated in FIG. 12 replaces the reading terminal 5000m of the ophthalmic system 1000 of the third aspect with the reading device 7000m.
- Interpretation unit 7000m for example an image processor and / or by using an artificial intelligence engine, a computer for interpretation of a plurality of cross-sectional images obtained by the ophthalmic photographing apparatus 2000-i t (slit lamp microscope).
- the image interpretation device 7000 m of this example includes an image interpretation processing unit 7100, a communication unit 7200, and a data processing unit 7300.
- the communication unit 7200, other devices e.g., ophthalmic imaging apparatus 2000-i t, the terminal 3000-t, and one of the servers 4000 performs data communication with.
- the data processing unit 7300 may have the same functions and configurations as the data processing unit 8 of the first aspect.
- the data processing unit 7300 may have at least the function and configuration of the rendering unit 81 of the first aspect, and may further have the function and configuration of the reconstruction unit 82 and the function and configuration of the segmentation unit 83.
- the image interpretation processing unit 7100 includes, for example, an image interpretation processor that operates according to a program for image interpretation, and analyzes a plurality of cross-sectional images (images based on them) to obtain findings.
- the interpretation processing unit 7100 may include the artificial intelligence engine of the first aspect in order to obtain findings from a plurality of cross-sectional images (images based on them).
- the data processing unit 7300 constructs a rendered image of a three-dimensional image based on a plurality of cross-sectional images, and the image interpretation processing unit 7100 interprets the rendered image to obtain findings. Further, the image interpretation processing unit 7100 creates a report based on the acquired findings.
- the ophthalmic system 1000A of this aspect can perform the following operations.
- the ophthalmologic imaging apparatus 2000-i t (slit lamp microscope) collects a plurality of cross-sectional images of the anterior segment of the eye scans a slit light.
- Ophthalmic imaging apparatus 2000-i t is the first transmission information which includes a plurality of sectional images acquired, and transmits via the communication line 1100 to the server 4000. Operation of the ophthalmologic photographing apparatus 2000-i t may be performed in the same manner as the first embodiment. Further, the ophthalmologic imaging apparatus 2000-i t may be capable of executing any process in the first embodiment.
- the server 4000 uses the communication unit 4200 (transmission unit) to transmit the second transmission information including at least a plurality of cross-sectional images included in the first transmission information to the image interpretation device 7000m through the communication line 1100.
- the image interpretation device 7000m receives the second transmission information transmitted from the server 4000 by the communication unit 7200 (reception unit).
- the image interpretation device 7000m constructs a rendered image by applying rendering to a three-dimensional image based on a plurality of cross-sectional images included in the second transmission information by the data processing unit 7300.
- This rendered image is, for example, a frontal image similar to a transilluminated image.
- the image interpretation processing unit 7100 interprets the rendered image. For example, the image interpretation processing unit 7100 evaluates, for example, the grade of cataract by interpreting a front image similar to a transillumination image.
- the image interpretation device 7000m transmits the fourth transmission information including the information acquired by the image interpretation processing unit 7100 to the server 4000 through the communication line 1100 by the communication unit 7200 (transmission unit).
- the server 4000 receives the fourth transmission information transmitted from the image interpretation device 7000m by the communication unit 4200 (reception unit), and stores the fourth transmission information in the storage unit 4110 in association with the first transmission information.
- automatic image interpretation can be preferably performed based on the image of the anterior segment acquired in advance.
- the acquisition of the image of the anterior segment of the eye may be performed at a remote location.
- a doctor performs a medical examination while operating from a remote location, but in this embodiment, the doctor only needs to perform the interpretation while referring to the result of the automatic interpretation based on the image acquired in advance. That is, in this aspect, the doctor can be freed from the trouble and time of photographing, and the result of automatic image interpretation can be provided to the doctor, so that the efficiency of the image interpretation work can be greatly improved. It is also expected to improve the accuracy of interpretation. Therefore, this aspect contributes to the expansion of the range of providing high-quality slit lamp microscopy.
- FIG. 14 shows an example of rendering for constructing a projection image defined on the XY plane.
- Reference numeral K indicates a three-dimensional reconstructed image (for example, stack data) of the plurality of anterior segment images F1 to FN shown in FIG.
- the rendering unit of the exemplary embodiment applies projection in the Z direction to the three-dimensional reconstructed image K.
- a rendered image (projection image) G defined on the XY plane orthogonal to the Z direction is constructed.
- FIG. 15 shows another example of rendering for constructing a projection image defined on the XY plane.
- the segmentation section of the exemplary embodiment extracts the crystalline lens region H1 from the three-dimensional reconstructed images of the plurality of anterior segment images F1 to FN.
- the crystalline lens region H1 is a three-dimensional image.
- the rendering section of the exemplary embodiment applies projection in the Z direction to the lens region H1.
- the rendered image (projection image) H2 of the crystalline lens region H1 defined on the XY plane orthogonal to the Z direction is constructed.
- the slit lamp microscope includes a processor and a scanning unit that scans the anterior segment of the eye to be inspected with slit light to collect a plurality of cross-sectional images.
- the processor is made to execute a process of applying rendering to a three-dimensional image based on a plurality of cross-sectional images collected by the scanning unit.
- This non-temporary recording medium may be in any form, and examples thereof include a magnetic disk, an optical disk, a magneto-optical disk, and a semiconductor memory.
- any control method disclosed in any of the first to fourth aspects can be provided.
- any processing method (calculation method, image processing method, image analysis method, etc.) disclosed in any one of the first to fourth aspects can be provided.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Computer Graphics (AREA)
- Eye Examination Apparatus (AREA)
Abstract
例示的な態様のスリットランプ顕微鏡は、スキャン部と、レンダリング部とを含む。スキャン部は、被検眼の前眼部をスリット光でスキャンして複数の断面画像を収集する。レンダリング部は、スキャン部により収集された複数の断面画像に基づく3次元画像にレンダリングを適用する。
Description
本開示は、スリットランプ顕微鏡、眼科情報処理装置、眼科システム、スリットランプ顕微鏡の制御方法、及び記録媒体に関する。
眼科分野において画像診断は重要な位置を占める。画像診断には、様々な眼科撮影装置が用いられる。眼科撮影装置の種類には、スリットランプ顕微鏡、眼底カメラ、走査型レーザー検眼鏡(SLO)、光干渉断層計(OCT)などがある。
これら様々な眼科装置のうち最も広く且つ頻繁に使用される装置がスリットランプ顕微鏡である。スリットランプ顕微鏡は、スリット光で被検眼を照明し、照明された断面を斜方や側方から顕微鏡で観察したり撮影したりするために使用される(例えば、特開2016-159073号公報、特開2016-179004号公報、特開2009-56149号公報を参照)。
スリットランプ顕微鏡の主な用途の1つに前眼部観察がある。前眼部観察において、医師は、スリット光による照明野やフォーカス位置を移動させつつ前眼部全体を観察して異常の有無を判断する。また、コンタクトレンズのフィッティング状態の確認など、視力補正器具の処方において、スリットランプ顕微鏡が用いられることもある。
前眼部観察に徹照法を用いることがある(例えば、特開2009-56149号公報を参照)。徹照法は、照明光の網膜反射を利用して眼内の状態を描出する観察法であり、典型的には、水晶体の混濁部を網膜からの反帰光線の影として描出する手法である。徹照法により得られる像は徹照像と呼ばれる。徹照法は白内障眼の観察などに広く利用されている一般的な手法であるが、次のような問題を有している。
第1に、網膜からの反射光を利用することから徹照像の明るさを管理することは困難であり、画質の管理(制御、調整)も困難であるため、定量的な診断に適していないという問題がある。したがって、徹照法を用いた診断は読影者の主観に大きく依存し、例えば白内障のグレードを客観的に評価することができない。また、解析プログラムや機械学習を用いた自動画像解析が近年急速に発展しているが、画質管理の困難性は、徹照像に対する自動画像解析の適用を妨げる要因の1つとなっている。
第2に、徹照像は、眼底を2次光源とする平面画像(投影画像、射影画像)であり、奥行き方向(深さ方向、Z方向)の情報を有さないため、3次元的な混濁分布を把握できないという問題がある。すなわち、徹照像は、Z方向に直交するXY平面における混濁分布を提供するに過ぎず、Z方向における混濁分布を提供することができない。
本開示の1つの目的は、徹照法の欠点が解消された新規な眼科観察法を提供することにある。
幾つかの例示的な態様のスリットランプ顕微鏡は、被検眼の前眼部をスリット光でスキャンして複数の断面画像を収集するスキャン部と、複数の断面画像に基づく3次元画像にレンダリングを適用するレンダリング部とを含んでいてよい。幾つかの例示的な態様のスリットランプ顕微鏡において、レンダリング部は、所定の平面に対するプロジェクションを3次元画像に適用してよい。幾つかの例示的な態様のスリットランプ顕微鏡において、所定の平面は、被検眼の奥行き方向に直交していてよい。幾つかの例示的な態様のスリットランプ顕微鏡は、スキャン部により収集された複数の断面画像に3次元再構成を適用する再構成部と、3次元画像を設定するために、再構成部により構築された3次元再構成画像にセグメンテーションを適用するセグメンテーション部とを更に含んでいてよい。幾つかの例示的な態様のスリットランプ顕微鏡において、セグメンテーション部は、3次元再構成画像から水晶体領域を特定してよく、3次元画像は、水晶体領域の少なくとも一部を含んでいてよい。幾つかの例示的な態様のスリットランプ顕微鏡において、レンダリング部は、水晶体領域にレンダリングを適用してよい。幾つかの例示的な態様のスリットランプ顕微鏡において、セグメンテーション部は、水晶体領域にセグメンテーションを適用して、被検眼の奥行き方向における部分領域を特定してよく、レンダリング部は、部分領域にレンダリングを適用してよい。幾つかの例示的な態様のスリットランプ顕微鏡において、セグメンテーション部は、水晶体領域から嚢領域及び核領域の少なくとも一方の領域を特定してよく、更に、この領域に基づいて部分領域を特定してよい。幾つかの例示的な態様のスリットランプ顕微鏡において、スキャン部は、前眼部にスリット光を照射する照明系と、照明系とは異なる方向から前眼部を撮影する撮影系と、照明系及び撮影系を移動する移動機構とを含んでいてよい。幾つかの例示的な態様のスリットランプ顕微鏡において、撮影系は、スリット光が照射された前眼部からの光を導く光学系と、光学系により導かれた光を撮像面で受光する撮像素子とを含んでいてよく、照明系の光軸に沿う物面と光学系と撮像面とがシャインプルーフの条件を満足していてよい。幾つかの例示的な態様のスリットランプ顕微鏡は、レンダリング部により構築されたレンダリング画像を表示する表示部を更に含む。
幾つかの例示的な態様の眼科情報処理装置は、被検眼の前眼部をスリット光でスキャンして収集された複数の断面画像を受け付ける受付部と、複数の断面画像に基づく3次元画像にレンダリングを適用するレンダリング部とを含んでいてよい。
幾つかの例示的な態様の眼科システムは、スリットランプ顕微鏡と情報処理装置と読影端末とを含んでいてよい。スリットランプ顕微鏡は、被検眼の前眼部をスリット光でスキャンして複数の断面画像を収集するスキャン部と、スキャン部により収集された複数の断面画像を含む第1送信情報を、通信回線を通じて情報処理装置に送信する送信部とを含んでいてよい。情報処理装置は、第1送信情報を受信する受信部と、第1送信情報を記憶する記憶部と、第1送信情報に含まれる複数の断面画像を少なくとも含む第2送信情報を、通信回線を通じて読影端末に送信する送信部とを含んでいてよい。読影端末は、第2送信情報を受信する受信部と、第2送信情報に含まれる複数の断面画像に基づく3次元画像にレンダリングを適用するレンダリング部と、レンダリング部により構築されたレンダリング画像をユーザーが読影するためのユーザーインターフェイスと、ユーザーインターフェイスを用いて入力された情報を含む第3送信情報を、通信回線を通じて情報処理装置に送信する送信部とを含んでいてよい。情報処理装置は、受信部により第3送信情報を受信し、第3送信情報を第1送信情報に関連付けて記憶部に記憶してよい。
幾つかの例示的な態様の眼科システムは、スリットランプ顕微鏡と情報処理装置と読影装置とを含んでいてよい。スリットランプ顕微鏡は、被検眼の前眼部をスリット光でスキャンして複数の断面画像を収集するスキャン部と、スキャン部により収集された複数の断面画像を含む第1送信情報を、通信回線を通じて情報処理装置に送信する送信部とを含んでいてよい。情報処理装置は、第1送信情報を受信する受信部と、第1送信情報を記憶する記憶部と、第1送信情報に含まれる複数の断面画像を少なくとも含む第2送信情報を、通信回線を通じて読影装置に送信する送信部とを含んでいてよい。読影装置は、第2送信情報を受信する受信部と、第2送信情報に含まれる複数の断面画像に基づく3次元画像にレンダリングを適用するレンダリング部と、レンダリング部により構築されたレンダリング画像を読影する読影処理部と、読影処理部により取得された情報を含む第4送信情報を、通信回線を通じて情報処理装置に送信する送信部とを含んでいてよい。情報処理装置は、受信部により第4送信情報を受信し、第4送信情報を第1送信情報に関連付けて記憶部に記憶してよい。
幾つかの例示的な態様の方法は、プロセッサと、被検眼の前眼部をスリット光でスキャンして複数の断面画像を収集するスキャン部とを含むスリットランプ顕微鏡を制御する方法であって、スキャン部により収集された複数の断面画像に基づく3次元画像にレンダリングを適用する処理を、プロセッサに実行させてよい。
幾つかの例示的な態様のプログラムは、いずれかの態様の方法をコンピュータに実行させる。幾つかの例示的な態様の記録媒体は、いずれかの態様のプログラムが記録された、コンピュータ可読な非一時的記録媒体である。
幾つかの例示的な態様について図面を参照しながら詳細に説明する。なお、本明細書にて引用した文献に開示された事項などの任意の公知技術を例示的な態様に組み合わせることができる。
例示的な態様に係るスリットランプ顕微鏡は、設置型でも可搬型でもよい。例示的な態様に係るスリットランプ顕微鏡は、スリット光で前眼部をスキャンして複数の断面画像を取得する(自動)スキャン機能を有し、典型的には、同装置に関する専門技術保持者(熟練者)が側にいない状況や環境で使用される。なお、例示的な態様に係るスリットランプ顕微鏡は、熟練者が側にいる状況や環境で使用されてもよいし、熟練者が遠隔地から監視、指示、操作することが可能な状況や環境で使用されてもよい。
スリットランプ顕微鏡が設置される施設の例として、眼鏡店、オプトメトリスト、医療機関、健康診断会場、検診会場、患者の自宅、福祉施設、公共施設、検診車などがある。
例示的な態様に係るスリットランプ顕微鏡は、少なくともスリットランプ顕微鏡としての機能を有する眼科撮影装置であり、他の撮影機能(モダリティ)を更に備えていてもよい。他のモダリティの例として、前眼部カメラ、眼底カメラ、SLO、OCTなどがある。例示的な態様に係るスリットランプ顕微鏡は、被検眼の特性を測定する機能を更に備えていてもよい。測定機能の例として、視力測定、屈折測定、眼圧測定、角膜内皮細胞測定、収差測定、視野測定などがある。例示的な態様に係るスリットランプ顕微鏡は、撮影画像や測定データを解析するためのアプリケーションを更に備えていてもよい。例示的な態様に係るスリットランプ顕微鏡は、治療や手術のための機能を更に備えていてもよい。その例として光凝固治療や光線力学的療法がある。
例示的な態様に係る眼科情報処理装置は、上記のスキャン機能を有するスリットランプ顕微鏡により収集された複数の断面画像を処理するプロセッサ(回路)を含む。例示的な態様の眼科情報処理装置は、スリットランプ顕微鏡の周辺機器であってもよいし、スリットランプ顕微鏡とLANを介して接続されてもよいし、スリットランプ顕微鏡と広域ネットワークを介して接続されてもよい。或いは、例示的な態様の眼科情報処理装置は、記録媒体に記録された複数の断面画像の入力を受け付ける機能を有していてもよい。
例示的な態様に係る眼科システム(第1の眼科システム)は、1以上のスリットランプ顕微鏡と、1以上の情報処理装置と、1以上の読影端末とを含んでいてよく、例えば遠隔医療のために使用可能である。スリットランプ顕微鏡は、いずれかの例示的な態様に係るスリットランプ顕微鏡であってもよいし、その少なくとも一部を具備したスリットランプ顕微鏡であってもよい。
情報処理装置は、スリットランプ顕微鏡により取得された画像を受けてこれを読影端末に送信する。また、情報処理装置は、スリットランプ顕微鏡により取得された画像を管理する機能を有していてよい。
読影端末は、医師(典型的には、眼科医又は読影医等の専門医)がスリットランプ顕微鏡により取得された画像の読影(画像を観察して診療上の所見を得ること)を行うために使用されるコンピュータである。読影者が読影端末に入力した情報は、例えば、読影端末又は他のコンピュータにより読影レポート又は電子カルテ情報に変換されて情報処理装置に送信されてよい。他の例において、読影者が読影端末に入力した情報を情報処理装置に送信することができる。この場合、情報処理装置又は他のコンピュータは、読影者が入力した情報を読影レポート又は電子カルテ情報に変換することができる。情報処理装置は、読影レポート又は電子カルテ情報を自身で管理してもよいし、他の医療システム(例えば電子カルテシステム)に転送してもよい。
他の例示的な態様に係る眼科システム(第2の眼科システム)は、1以上のスリットランプ顕微鏡と、1以上の情報処理装置と、1以上の読影装置とを含んでいてよい。スリットランプ顕微鏡及び情報処理装置の少なくとも一方は、第1の眼科システムのそれと同様であってよい。
読影装置は、例えば画像処理プロセッサ及び/又は人工知能エンジンを利用して、スリットランプ顕微鏡により取得された画像の読影を行うコンピュータである。読影装置が画像から導出した情報は、例えば、読影装置又は他のコンピュータにより読影レポート又は電子カルテ情報に変換されて情報処理装置に送信されてよい。他の例において、読影装置が画像から導出した情報を情報処理装置に送信することができる。この場合、情報処理装置又は他のコンピュータは、読影装置が画像から導出した情報を読影レポート又は電子カルテ情報に変換することができる。情報処理装置は、読影レポート又は電子カルテ情報を自身で管理してもよいし、他の医療システムに転送してもよい。
このように例示的な態様に係るスリットランプ顕微鏡、眼科情報処理装置及び眼科システムは遠隔医療に使用可能である。一方、従来のスリットランプ顕微鏡を用いて良好な画像を得ることは容易ではなく、また、読影や診断を有効に行うには前眼部の広い範囲の画像を「予め」取得する必要がある。このような事情から、スリットランプ顕微鏡を用いた有効な遠隔医療は実現されていないと言える。その実現に寄与する技術を例示的な態様は提供可能である。なお、他の用途のために例示的な態様を応用することも可能である。
以下、幾つかの例示的な態様について説明する。これら態様のうちのいずれか2つ又はそれ以上を少なくとも部分的に組み合わせることが可能である。また、このような組み合わせに対して任意の公知技術に基づく変形(付加、置換、省略等)を施すことが可能である。
以下に例示する態様において、「プロセッサ」は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array))等の回路(circuit)や回路構成(circuitry)を含む。例えば、プロセッサは、記憶回路や記憶装置に格納されているプログラムやデータを読み出し実行することで、その態様に係る機能を実現する。或いは、プロセッサは、人工知能やコグニティブ・コンピューティングにおいて用いられる回路を含んでいてよく、典型的には機械学習が適用されたコンピュータシステムを含む。
<第1の態様>
第1の態様に係るスリットランプ顕微鏡の例を図1に示す。
第1の態様に係るスリットランプ顕微鏡の例を図1に示す。
スリットランプ顕微鏡1は、被検眼Eの前眼部撮影に用いられ、照明系2と、撮影系3と、移動機構6と、制御部7と、データ処理部8と、出力部9とを含む。なお、符号Cは角膜を示し、符号CLは水晶体を示す。
スリットランプ顕微鏡1は、単一の装置であってもよいし、2以上の装置を含むシステムであってもよい。システムの例として、スリットランプ顕微鏡1は、照明系2、撮影系3、及び移動機構6を含む本体装置と、制御部7、データ処理部8、及び出力部9を含むコンピュータと、本体装置とコンピュータとの間の通信を担う通信デバイスとを含む。システムの他の例として、スリットランプ顕微鏡1は、照明系2、撮影系3、及び移動機構6を含む本体装置と、制御部7及びデータ処理部8を含むコンピュータと、出力部9を含む出力装置と、本体装置とコンピュータと出力装置との間の通信を担う通信デバイスとを含む。コンピュータは、例えば、本体装置とともに設置されてもよいし、ネットワーク上に設置されていてもよい。出力装置についても同様である。
<照明系2>
照明系2は、被検眼Eの前眼部にスリット光を照射する。符号2aは、照明系2の光軸(照明光軸)を示す。照明系2は、従来のスリットランプ顕微鏡の照明系と同様の構成を備えていてよい。例えば、図示は省略するが、照明系2は、被検眼Eから遠い側から順に、照明光源と、正レンズと、スリット形成部と、対物レンズとを含む。
照明系2は、被検眼Eの前眼部にスリット光を照射する。符号2aは、照明系2の光軸(照明光軸)を示す。照明系2は、従来のスリットランプ顕微鏡の照明系と同様の構成を備えていてよい。例えば、図示は省略するが、照明系2は、被検眼Eから遠い側から順に、照明光源と、正レンズと、スリット形成部と、対物レンズとを含む。
照明光源は照明光を出力する。照明系2は複数の照明光源を備えていてよい。例えば、照明系2は、連続光を出力する照明光源と、フラッシュ光を出力する照明光源とを含んでいてよい。また、照明系2は、前眼部用照明光源と後眼部用照明光源とを含んでいてよい。また、照明系2は、出力波長が異なる2以上の照明光源を含んでいてよい。典型的な照明系2は、照明光源として可視光源を含む。照明系2は、赤外光源を含んでいてもよい。照明光源から出力された照明光は、正レンズを通過してスリット形成部に投射される。
スリット形成部は、照明光の一部を通過させてスリット光を生成する。典型的なスリット形成部は、一対のスリット刃を有する。これらスリット刃の間隔(スリット幅)を変更することで照明光が通過する領域(スリット)の幅を変更し、これによりスリット光の幅が変更される。また、スリット形成部は、スリット光の長さを変更可能に構成されてもよい。スリット光の長さとは、スリット幅に対応するスリット光の断面幅方向に直交する方向におけるスリット光の断面寸法である。スリット光の幅やスリット光の長さは、典型的には、スリット光の前眼部への投影像の寸法として表現されるが、これには限定されず、例えば、任意の位置におけるスリット光の断面における寸法として表現することや、スリット形成部により形成されるスリットの寸法として表現することも可能である。
スリット形成部により生成されたスリット光は、対物レンズにより屈折されて被検眼Eの前眼部に照射される。
照明系2は、スリット光のフォーカス位置を変更するための合焦機構を更に含んでいてもよい。合焦機構は、例えば、対物レンズを照明光軸2aに沿って移動させる。対物レンズの移動は、自動及び/又は手動で実行可能である。なお、対物レンズとスリット形成部との間の照明光軸2a上の位置に合焦レンズを配置し、この合焦レンズを照明光軸2aに沿って移動させることによってスリット光のフォーカス位置を変更可能としてもよい。
なお、図1は上面図であり、同図に示すように、本態様では、被検眼Eの軸に沿う方向をZ方向とし、これに直交する方向のうち被検者にとって左右の方向をX方向とし、X方向及びZ方向の双方に直交する方向をY方向とする。典型的には、X方向は左眼と右眼との配列方向であり、Y方向は被検者の体軸に沿う方向(体軸方向)である。
<撮影系3>
撮影系3は、照明系2からのスリット光が照射されている前眼部を撮影する。符号3aは、撮影系3の光軸(撮影光軸)を示す。本態様の撮影系3は、光学系4と、撮像素子5とを含む。
撮影系3は、照明系2からのスリット光が照射されている前眼部を撮影する。符号3aは、撮影系3の光軸(撮影光軸)を示す。本態様の撮影系3は、光学系4と、撮像素子5とを含む。
光学系4は、スリット光が照射されている被検眼Eの前眼部からの光を撮像素子5に導く。撮像素子5は、光学系4により導かれた光を撮像面にて受光する。
光学系4により導かれる光(つまり、被検眼Eの前眼部からの光)は、前眼部に照射されているスリット光の戻り光を含み、他の光を更に含んでいてよい。戻り光の例として、反射光、散乱光、蛍光がある。他の光の例として、スリットランプ顕微鏡1の設置環境からの光(室内光、太陽光など)がある。前眼部全体を照明するための前眼部照明系が照明系2とは別に設けられている場合、この前眼部照明光の戻り光が、光学系4により導かれる光に含まれてもよい。
撮像素子5は、2次元の撮像エリアを有するエリアセンサであり、例えば、電荷結合素子(CCD)イメージセンサや相補型金属酸化膜半導体(CMOS)イメージセンサであってよい。
光学系4は、例えば、従来のスリットランプ顕微鏡の撮影系と同様の構成を備えていてよい。例えば、光学系4は、被検眼Eに近い側から順に、対物レンズと、変倍光学系と、結像レンズとを含む。スリット光が照射されている被検眼Eの前眼部からの光は、対物レンズ及び変倍光学系を通過し、結像レンズにより撮像素子5の撮像面に結像される。
撮影系3は、例えば、第1撮影系と第2撮影系とを含んでいてよい。典型的には、第1撮影系と第2撮影系とは同じ構成を有する。撮影系3が第1撮影系と第2撮影系とを含む場合については他の態様において説明する。
撮影系3は、そのフォーカス位置を変更するための合焦機構を更に含んでいてもよい。合焦機構は、例えば、対物レンズを撮影光軸3aに沿って移動させる。対物レンズの移動は、自動及び/又は手動で実行可能である。なお、対物レンズと結像レンズとの間の撮影光軸3a上の位置に合焦レンズを配置し、この合焦レンズを撮影光軸3aに沿って移動させることによってフォーカス位置を変更可能としてもよい。
照明系2及び撮影系3は、シャインプルーフカメラとして機能する。すなわち、照明光軸2aに沿う物面と、光学系4と、撮像素子5の撮像面とが、いわゆるシャインプルーフの条件を満足するように、照明系2及び撮影系3が構成される。より具体的には、照明光軸2aを通るYZ面(物面を含む)と、光学系4の主面と、撮像素子5の撮像面とが、同一の直線上にて交差する。これにより、物面内の全ての位置(照明光軸2aに沿う方向における全ての位置)にピントを合わせて撮影を行うことができる。
本態様では、例えば、少なくとも角膜Cの前面と水晶体CLの後面とによって画成される範囲に撮影系3のピントが合うように、照明系2及び撮影系3が構成される。つまり、図1に示す角膜Cの前面の頂点(Z=Z1)から水晶体CLの後面の頂点(Z=Z2)までの範囲全体に撮影系3のピントが合っている状態で、撮影を行うことが可能である。なお、Z=Z0は、照明光軸2aと撮影光軸3aとの交点のZ座標を示す。
このような条件は、典型的には、照明系2に含まれる要素の構成及び配置、撮影系3に含まれる要素の構成及び配置、並びに、照明系2と撮影系3との相対位置によって実現される。照明系2と撮影系3との相対位置を示すパラメータは、例えば、照明光軸2aと撮影光軸3aとがなす角度θを含む。角度θは、例えば、17.5度、30度、又は45度に設定される。なお、角度θは可変であってもよい。
<移動機構6>
移動機構6は、照明系2及び撮影系3を移動する。移動機構6は、例えば、照明系2及び撮影系3が搭載された可動ステージと、制御部7から入力される制御信号にしたがって動作するアクチュエータと、このアクチュエータにより発生された駆動力に基づき可動ステージを移動する機構とを含む。他の例において、移動機構6は、照明系2及び撮影系3が搭載された可動ステージと、図示しない操作デバイスに印加された力に基づき可動ステージを移動する機構とを含む。操作デバイスは、例えばレバーである。可動ステージは、少なくともX方向に移動可能であり、更にY方向及び/又はZ方向に移動可能であってよい。
移動機構6は、照明系2及び撮影系3を移動する。移動機構6は、例えば、照明系2及び撮影系3が搭載された可動ステージと、制御部7から入力される制御信号にしたがって動作するアクチュエータと、このアクチュエータにより発生された駆動力に基づき可動ステージを移動する機構とを含む。他の例において、移動機構6は、照明系2及び撮影系3が搭載された可動ステージと、図示しない操作デバイスに印加された力に基づき可動ステージを移動する機構とを含む。操作デバイスは、例えばレバーである。可動ステージは、少なくともX方向に移動可能であり、更にY方向及び/又はZ方向に移動可能であってよい。
本態様において、移動機構6は、例えば、照明系2及び撮影系3を一体的にX方向に移動する。つまり、移動機構6は、上記したシャインプルーフの条件が満足された状態を保持しつつ照明系2及び撮影系3をX方向に移動する。この移動と並行して、撮影系3は、例えば所定の時間間隔(撮影レート)で動画撮影を行う。これにより、被検眼Eの前眼部の3次元領域がスリット光でスキャンされ、この3次元領域内の複数の断面に対応する複数の画像(断面画像群)が収集される。
<制御部7>
制御部7は、スリットランプ顕微鏡1の各部を制御する。例えば、制御部7は、照明系2の要素(照明光源、スリット形成部、合焦機構など)、撮影系3の要素(合焦機構、撮像素子など)、移動機構6、データ処理部8、出力部9などを制御する。また、制御部7は、照明系2と撮影系3との相対位置を変更するための制御を実行可能であってもよい。
制御部7は、スリットランプ顕微鏡1の各部を制御する。例えば、制御部7は、照明系2の要素(照明光源、スリット形成部、合焦機構など)、撮影系3の要素(合焦機構、撮像素子など)、移動機構6、データ処理部8、出力部9などを制御する。また、制御部7は、照明系2と撮影系3との相対位置を変更するための制御を実行可能であってもよい。
制御部7は、プロセッサ、主記憶装置、補助記憶装置などを含む。補助記憶装置には、制御プログラム等が記憶されている。制御プログラム等は、スリットランプ顕微鏡1がアクセス可能なコンピュータや記憶装置に記憶されていてもよい。制御部7の機能は、制御プログラム等のソフトウェアと、プロセッサ等のハードウェアとの協働によって実現される。
制御部7は、被検眼Eの前眼部の3次元領域をスリット光でスキャンするために、照明系2、撮影系3及び移動機構6に対して次のような制御を適用することができる。
まず、制御部7は、照明系2及び撮影系3を所定のスキャン開始位置に配置するように移動機構6を制御する(アライメント制御)。スキャン開始位置は、例えば、X方向における角膜Cの端部(第1端部)に相当する位置、又は、それよりも被検眼Eの軸から離れた位置である。図2Aの符号X0は、X方向における角膜Cの第1端部に相当するスキャン開始位置の例を示している。また、図2Bの符号X0’は、X方向における角膜Cの第1端部に相当する位置よりも被検眼Eの軸EAから離れたスキャン開始位置の例を示している。
制御部7は、照明系2を制御して、被検眼Eの前眼部に対するスリット光の照射を開始させる(スリット光照射制御)。なお、アライメント制御の実行前に、又は、アライメント制御の実行中に、スリット光照射制御を行ってもよい。スリット光は、典型的には連続光であるが、断続光(パルス光)であってもよい。パルス光の点灯制御は、撮影系3の撮影レートに同期される。また、スリット光は、典型的には可視光であるが、赤外光であってもよいし、可視光と赤外光との混合光であってもよい。
制御部7は、撮影系3を制御して、被検眼Eの前眼部の動画撮影を開始させる(撮影制御)。なお、アライメント制御の実行前に、又は、アライメント制御の実行中に、撮影制御を行ってもよい。典型的には、スリット光照射制御と同時に、又は、スリット光照射制御よりも後に、撮影制御が実行される。
アライメント制御、スリット光照射制御、及び撮影制御の実行後、制御部7は、移動機構6を制御して、照明系2及び撮影系3の移動を開始する(移動制御)。移動制御により、照明系2及び撮影系3が一体的に移動される。つまり、照明系2と撮影系3との相対位置(角度θなど)を維持しつつ照明系2及び撮影系3が移動される。典型的には、前述したシャインプルーフの条件が満足された状態を維持しつつ照明系2及び撮影系3が移動される。照明系2及び撮影系3の移動は、前述したスキャン開始位置から所定のスキャン終了位置まで行われる。スキャン終了位置は、例えば、スキャン開始位置と同様に、X方向において第1端部の反対側の角膜Cの端部(第2端部)に相当する位置、又は、それよりも被検眼Eの軸から離れた位置である。このような場合、スキャン開始位置からスキャン終了位置までの範囲がスキャン範囲となる。
典型的には、X方向を幅方向とし且つY方向を長手方向とするスリット光を前眼部に照射しつつ、且つ、照明系2及び撮影系3をX方向に移動しつつ、撮影系3による動画撮影が実行される。
ここで、スリット光の長さ(つまり、Y方向におけるスリット光の寸法)は、例えば、被検眼Eの表面において角膜Cの径以上に設定される。すなわち、スリット光の長さは、Y方向における角膜径以上に設定されている。また、前述のように、移動機構6による照明系2及び撮影系3の移動距離(つまり、スキャン範囲)は、X方向における角膜径以上に設定されている。これにより、少なくとも角膜C全体をスリット光でスキャンすることができる。
このようなスキャンにより、スリット光の照射位置が異なる複数の前眼部画像が得られる。換言すると、スリット光の照射位置がX方向に移動する様が描写された動画像が得られる。本態様においては、シャインプルーフの条件が満足されているため、撮影時(キャプチャ時)におけるスリット光照射領域(断面)が高精細に描出された複数の断面画像が得られる。このような複数の前眼部画像(つまり、動画像を構成するフレーム群)の例を図3に示す。
図3は、複数の前眼部画像(フレーム群、断面画像群)F1、F2、F3、・・・、FNを示す。これら前眼部画像Fn(n=1、2、・・・、N)の添字nは、時系列順序を表している。つまり、第n番目に取得された前眼部画像が符号Fnで表される。前眼部画像Fnには、スリット光照射領域Anが含まれている。図3に示すように、スリット光照射領域A1、A2、A3、・・・、ANは、時系列に沿って右方向に移動している。図3に示す例では、スキャン開始位置及びスキャン終了位置は、X方向における角膜Cの両端に対応する。なお、スキャン開始位置及び/又はスキャン終了位置は本例に限定されず、例えば、角膜端部よりも被検眼Eの軸から離れた位置であってよい。また、スキャンの向きや回数についても任意に設定することが可能である。
<データ処理部8>
データ処理部8は、各種のデータ処理を実行する。処理されるデータは、スリットランプ顕微鏡1により取得されたデータ、及び、外部から入力されたデータのいずれでもよい。例えば、データ処理部8は、撮影系3によって取得された画像を処理することができる。なお、データ処理部8の構成や機能については、本態様での説明に加え、他の態様においても説明する。
データ処理部8は、各種のデータ処理を実行する。処理されるデータは、スリットランプ顕微鏡1により取得されたデータ、及び、外部から入力されたデータのいずれでもよい。例えば、データ処理部8は、撮影系3によって取得された画像を処理することができる。なお、データ処理部8の構成や機能については、本態様での説明に加え、他の態様においても説明する。
データ処理部8は、プロセッサ、主記憶装置、補助記憶装置などを含む。補助記憶装置には、データ処理プログラム等が記憶されている。データ処理プログラム等は、スリットランプ顕微鏡1がアクセス可能なコンピュータや記憶装置に記憶されていてもよい。データ処理部8の機能は、データ処理プログラム等のソフトウェアと、プロセッサ等のハードウェアとの協働によって実現される。
データ処理部8の幾つかの例を説明する。図4A及び図4Bは、それぞれ、データ処理部8の第1及び第2の例であるデータ処理部8A及び8Bを示す。なお、データ処理部8の構成はこれらに限定されない。例えば、同じ結果又は類似の結果を得るための任意の要素をデータ処理部8に設けることが可能である。
図4Aに示すデータ処理部8Aは、レンダリング部81を含む。レンダリング部81は、上記のスキャンによって収集された複数の前眼部画像に基づく3次元画像にレンダリングを適用する。
レンダリングの対象となる3次元画像は、3次元座標系を用いて画素位置が定義された画像であり、例えば、複数の前眼部画像の3次元再構成画像の一部又は全部である。3次元再構成画像は、例えば、スタックデータ又はボリュームデータである。
スタックデータは、それぞれが別々の2次元座標系(2次元画像空間)により定義された複数の前眼部画像を、単一の3次元座標系(3次元画像空間)で表現することによって構築される。換言すると、スタックデータは、複数の前眼部画像を同じ3次元画像空間に埋め込むことによって構築される。例えば、各前眼部画像の埋め込み位置は、複数の前眼部画像の相対位置関係に基づき決定される。
複数の前眼部画像の相対位置関係は、例えば、前述のスキャン制御(スリット光照射制御、撮影制御、移動制御など)の内容から決定される。その例として、移動制御の内容(スキャン範囲)と撮影制御の内容(撮影レート)とに基づいて複数の前眼部画像の相対位置関係(配置間隔など)を求めることが可能である。
他の例では、前眼部の複数の断面画像(複数の前眼部画像)を収集するためのスキャンと並行して前眼部の正面画像を収集する。典型的には、前眼部正面撮影はスキャンに同期され、複数の正面画像のそれぞれにおけるスリット光照射領域から複数の断面画像の相対位置関係を求めることができる。
ボリュームデータはボクセルデータとも呼ばれ、典型的には、公知のボクセル化処理をスタックデータに適用することによって構築される。なお、本態様の3次元画像はスタックデータ及びボリュームデータに限定されない。
レンダリング部81は、このような3次元画像に対してレンダリングを適用する。レンダリング法としては、ボリュームレンダリング、サーフェスレンダリング、最大値投影(MIP)、最小値投影(MinIP)、多断面再構成(MPR)などがあるが、本態様では主としてプロジェクションが採用される。
プロジェクションは、3次元画像に含まれる画素群を所定方向に投影する(積算する、積分する)画像処理を含む。換言すると、プロジェクションは、3次元画像に含まれる画像群を所定の平面に投影する画像処理を含む。典型的には、レンダリング部81は、XYZ座標系で定義された3次元画像をZ方向に投影することによって、XY座標系で定義された2次元画像(プロジェクション画像)を構築することができる。
言うまでも無いが、プロジェクション以外のレンダリング法を採用することも可能である。また、複数のレンダリング法を実行可能なレンダリング部81を準備し、これらを選択的に実行可能としてもよい。
図4Bに示すデータ処理部8Bは、データ処理部8Aと同様のレンダリング部81に加え、再構成部82とセグメンテーション部83とを含む。
再構成部82は、前述したスキャンによって収集された複数の前眼部画像に3次元再構成を適用する。これにより、複数の前眼部画像に基づく3次元再構成画像が構築される。典型的な3次元再構成画像は、スタックデータ又はボリュームデータである。
3次元再構成画像の生成に適用される3次元再構成法は任意である。典型的には、再構成部82は、スタックデータを構築するために、複数の前眼部画像に公知の3次元再構成法を適用する。また、再構成部82は、ボリュームデータを構築するために、スタックデータに公知のボクセル化処理を適用する。
再構成部82は、3次元再構成において実行可能な公知の処理、及び、3次元再構成とともに実行可能な公知の処理のいずれかを実行することができる。例えば、再構成部82は、ノイズ除去、輝度補正、歪み補正、コントラスト補正、色補正、ガンマ補正、などの任意の補正処理を、複数の前眼部画像及び/又は3次元再構成画像に適用することができる。また、再構成部82は、移動平均フィルタ、ガウシアンフィルタ、メディアンフィルタ、ソーベルフィルタ、平滑化フィルタ、鮮鋭化フィルタ、細線化フィルタなどの任意のフィルタを、複数の前眼部画像及び/又は3次元再構成画像に適用することができる。
セグメンテーション部83は、再構成部82により構築された3次元再構成画像(スタックデータ、ボリュームデータなど)にセグメンテーションを適用する。セグメンテーションは画像を複数の領域に分割するための技術であり、本態様では3次元再構成画像の部分領域を特定するために利用される。
本態様に適用可能なセグメンテーション法は任意である。例えば、セグメンテーション部83は、公知のセグメンテーションアルゴリズムを実行するためのプログラムにしたがって動作するプロセッサを含む。或いは、セグメンテーション部83は、人工知能エンジンを含んでいてよい。この人工知能エンジンは、典型的には、畳み込みニューラルネットワーク(CNN)を含み、この畳み込みニューラルネットワークは、スリットランプ顕微鏡により取得された多数の画像とそれらのセグメンテーション結果とを含む訓練データを用いて、事前に訓練される。
例えば、セグメンテーション部83は、再構成部82により構築された3次元再構成画像から、所定の組織(所定の部位)に対応する画像領域を特定するように構成されてよい。特定対象の組織は、一般に、スリットランプ顕微鏡1により撮影可能な任意の組織であってよい。例えば、特定対象の組織は、角膜、角膜のサブ組織(角膜前面、角膜後面、角膜上皮、ボーマン膜、固有層、デュア層、デスメ膜、角膜内皮など)、虹彩、虹彩前面、瞳孔、前房、水晶体、水晶体のサブ組織(水晶体前面、水晶体後面、水晶体上皮、水晶体嚢など)、硝子体、病変部、血管、及び、他の眼組織のうちのいずれかであってよい。
また、セグメンテーション部83は、再構成部82により構築された3次元再構成画像から、眼組織の任意の部分に対応する画像領域を特定するように構成されてよい。例えば、特定対象の部分は、例えば、前部、中央部、後部、縁部、端部、及び、他の部分のいずれかであってよい。
前述したように、徹照法には、画像の明るさを管理できないこと、そして、3次元的情報を提供できないこと、という欠点がある。スリットランプ顕微鏡1は、このような欠点が解消された新規な水晶体観察法を提供することを1つの目的としている。
そのために、セグメンテーション部83は、再構成部82により構築された3次元再構成画像から、水晶体に対応する画像領域(水晶体領域)を特定するように構成されてよい。
セグメンテーション部83により水晶体領域が特定された場合、この水晶体領域の少なくとも一部が、レンダリング部81によりレンダリングが適用される3次元画像に設定される。
例えば、レンダリング部81は、セグメンテーション部83により特定された水晶体領域の全体にレンダリングを適用するように構成されてよい。この場合、再構成部82により構築された3次元再構成画像中の水晶体領域の全体を表すレンダリング画像が得られる。
なお、本態様において、典型的には、スリット光は可視光であり、スキャンで収集される複数の前眼部画像には虹彩の裏側の領域は描出されない。よって、3次元再構成画像中の水晶体領域は、被検眼Eの水晶体のうち瞳孔後方に位置する部分に対応する画像領域のみである。
また、スリットランプ顕微鏡1は、スリット光により照明されている断面(例えばYZ断面)を斜方から撮影するように構成されているため、この断面を撮影して得られた前眼部画像にはこの断面の状態が描出されており、特に水晶体内の混濁の2次元的な分布(例えばYZ方向における分布)が描出されている。そして、このような断面を移動しつつ撮影を繰り返すことにより(例えば、YZ断面をX方向に移動しつつ動画撮影を行うことにより)、水晶体内の混濁の3次元的な分布を表現した3次元再構成画像が得られる。この3次元再構成画像にセグメンテーションを適用することにより、3次元的混濁分布の情報を含む水晶体領域が得られる。
レンダリング部81は、このような水晶体領域にZ方向への投影(XY平面への投影)を適用することができる。これにより、XY座標系で定義されたプロジェクション画像が構築される。Z方向への投影は、Z方向に沿って配列された画素群の画素値の積算を含むので、これにより構築されるプロジェクション画像は、水晶体内の混濁の位置及び状態に関する情報を含む。
このようにして構築されたプロジェクション画像は、徹照像と同様に2次元的混濁分布(XY平面における分布)を表すだけでなく、3次元再構成画像から受け継いだ深さ方向(Z方向、奥行き方向)の混濁分布情報も含んでいる。
徹照像と同様の2次元画像(平面画像)としてプロジェクション画像を表示する場合、深さ方向の情報を空間的に表示することはできない。そこで、各混濁部の深さ情報を表示色や表示濃度や表示パターンで表現することができる。例えば、深さを色で表現する場合、深さと色との対応関係を示す情報(カラーバー)をプロジェクション画像とともに表示することができる。
混濁部の深さ情報は、この混濁部の最前部の位置(最も角膜側の位置)、最後部の位置、中央位置など、この混濁部の任意の位置を示す情報を含んでいてよい。また、混濁部の深さ情報は、この混濁部の深さ方向の寸法を示す情報を含んでいてよい。
深さ方向に2以上の混濁部が重なっている場合、これら混濁部の深さ情報を共に表示してもよいし、これら混濁部の深さ情報を選択的に表示してもよい。
また、混濁の程度を示す情報を表示してもよい。混濁の程度は、混濁の密度、重症度、寸法などの情報を含んでいてよい。このような混濁の程度は、例えば、表示色、表示濃度、表示パターンによって表現される。
3次元再構成画像中の水晶体領域の全体にレンダリングを適用した場合、水晶体領域全体に対応するレンダリング画像の一部を抽出して表示することができる。レンダリング画像の一部を抽出する処理は、例えば、セグメンテーション部83と同様のセグメンテーションによって行われる。
また、3次元再構成画像中の水晶体領域の一部(部分領域)にレンダリングを適用してもよい。この場合、セグメンテーション部83は、3次元再構成画像に第1のセグメンテーションを適用して水晶体領域を特定し、更に、この水晶体領域に第2のセグメンテーションを適用してその部分領域を特定するように構成されてよい。或いは、セグメンテーション部83は、3次元再構成画像にセグメンテーションを適用して水晶体領域の部分領域を特定するように構成されてもよい。
例えば、セグメンテーション部83は、被検眼Eの深さ方向(Z方向)における水晶体の部分領域を水晶体領域(又は3次元再構成画像)から特定するように構成されてよい。この部分領域は、例えば、核領域、核の前方領域、核の後方領域、嚢領域、所定深さ位置よりも浅い領域、所定深さ位置よりも深い領域、第1深さ位置と第2深さ位置とに挟まれた領域、及び、他の部分領域であってよい。レンダリング部81は、セグメンテーション部83により特定された部分領域にレンダリングを適用することができる。これにより、当該部分領域における混濁の分布を提供することが可能となる。例えば、ユーザーが所望する深さ範囲における混濁の分布を提供することができる。
セグメンテーション部83は、被検眼Eの深さ方向(Z方向)に直交する方向(例えば、X方向、Y方向、XY方向)における水晶体の部分領域を水晶体領域(又は3次元再構成画像)から特定するように構成されてよい。例えば、水晶体領域を等角度の複数のセクタに分割し、セクタ毎の混濁の状態(分布、量、割合、程度など)を求めることが可能である。
セグメンテーションにより水晶体の核領域及び嚢領域の少なくとも一方が特定された場合、当該領域に基づいて水晶体の部分領域の特定を行うことができる。例えば、水晶体の核領域が特定された場合、この核領域の輪郭を基準として部分領域を特定することができる。具体的には、核領域を所定寸法だけ拡大又は縮小して部分領域を設定してもよい。また、水晶体の嚢領域が特定された場合、嚢領域の形状(曲面形状)に合わせて部分領域を設定することができる。例えば、前嚢領域と同一又は類似の曲面を前面とする部分領域を設定してもよい。
<出力部9>
出力部9は、スリットランプ顕微鏡1から情報を出力する。出力部9は、典型的には、スリットランプ顕微鏡1と他の装置との間におけるデータ通信を行う通信デバイス(通信部)、及び、情報を表示する表示デバイス(表示部)のいずれか一方又は双方を含む。また、出力部9は、記録媒体に情報を書き込む記録デバイス(データライター、ドライブ装置等)、印刷媒体に情報を記録するプリンターなどを含んでもよい。
出力部9は、スリットランプ顕微鏡1から情報を出力する。出力部9は、典型的には、スリットランプ顕微鏡1と他の装置との間におけるデータ通信を行う通信デバイス(通信部)、及び、情報を表示する表示デバイス(表示部)のいずれか一方又は双方を含む。また、出力部9は、記録媒体に情報を書き込む記録デバイス(データライター、ドライブ装置等)、印刷媒体に情報を記録するプリンターなどを含んでもよい。
出力部9に含まれる通信部は、スリットランプ顕微鏡1と他の装置との間におけるデータ通信を行う。すなわち、通信部は、他の装置へのデータの送信と、他の装置から送信されたデータの受信とを行う。通信部が実行するデータ通信の方式は任意である。例えば、通信部は、インターネットに準拠した通信インターフェイス、専用線に準拠した通信インターフェイス、LANに準拠した通信インターフェイス、近距離通信に準拠した通信インターフェイスなど、各種の通信インターフェイスのうちの1以上を含む。データ通信は有線通信でも無線通信でもよい。通信部により送受信されるデータは暗号化されていてよい。その場合、例えば、制御部7及び/又はデータ処理部8は、通信部により送信されるデータを暗号化する暗号化処理部、及び、通信部により受信されたデータを復号化する復号化処理部の少なくとも一方を含む。
出力部9に含まれる表示部は、制御部7の制御を受けて各種の情報を表示する。表示部は、液晶ディスプレイ(LCD)などのフラットパネルディスプレイを含んでいてよい。なお、表示部は、スリットランプ顕微鏡1の周辺機器であってもよい。
<他の要素>
図1に示す要素に加え、スリットランプ顕微鏡1は操作デバイスを備えていてよい。或いは、操作デバイスは、スリットランプ顕微鏡1の周辺機器であってもよい。操作デバイスは、スリットランプ顕微鏡1を操作するためのデバイスや、情報を入力するためのデバイスを含む。操作デバイスは、例えば、ボタン、スイッチ、レバー、ダイアル、ハンドル、ノブ、マウス、キーボード、トラックボール、操作パネルなどを含む。タッチスクリーンのように、表示デバイスと操作デバイスとが一体化したデバイスが用いられてもよい。被検者や補助者は、表示デバイス及び操作デバイスを用いることで、スリットランプ顕微鏡1の操作を行うことができる。
図1に示す要素に加え、スリットランプ顕微鏡1は操作デバイスを備えていてよい。或いは、操作デバイスは、スリットランプ顕微鏡1の周辺機器であってもよい。操作デバイスは、スリットランプ顕微鏡1を操作するためのデバイスや、情報を入力するためのデバイスを含む。操作デバイスは、例えば、ボタン、スイッチ、レバー、ダイアル、ハンドル、ノブ、マウス、キーボード、トラックボール、操作パネルなどを含む。タッチスクリーンのように、表示デバイスと操作デバイスとが一体化したデバイスが用いられてもよい。被検者や補助者は、表示デバイス及び操作デバイスを用いることで、スリットランプ顕微鏡1の操作を行うことができる。
<アライメント>
被検眼Eに対するスリットランプ顕微鏡1のアライメントについて説明する。一般に、アライメントは、被検眼Eの撮影や測定のために好適な位置に装置光学系を配置させる動作である。本態様のアライメントは、図3に示すような動画像(複数の前眼部画像)を取得するために好適な位置に照明系2及び撮影系3を配置させる動作である。
被検眼Eに対するスリットランプ顕微鏡1のアライメントについて説明する。一般に、アライメントは、被検眼Eの撮影や測定のために好適な位置に装置光学系を配置させる動作である。本態様のアライメントは、図3に示すような動画像(複数の前眼部画像)を取得するために好適な位置に照明系2及び撮影系3を配置させる動作である。
眼科装置のアライメントには様々な手法がある。以下、幾つかのアライメント手法を例示するが、本態様に適用可能な手法はこれらに限定されない。
本態様に適用可能なアライメント手法としてステレオアライメントがある。ステレオアライメントは、2以上の異なる方向から前眼部を撮影可能な眼科装置において適用可能であり、その具体的な手法は、本出願人による特開2013-248376号公報などに開示されている。ステレオアライメントは、例えば次の工程を含む:2以上の前眼部カメラが前眼部を異なる方向から撮影して2以上の撮影画像を取得する工程;プロセッサがこれら撮影画像を解析して被検眼の3次元位置を求める工程;求められた3次元位置に基づいてプロセッサが光学系の移動制御を行う工程。これにより、光学系(本例では照明系2及び撮影系3)が、被検眼に対して好適な位置に配置される。典型的なステレオアライメントでは、被検眼の瞳孔(瞳孔の中心又は重心)の位置が基準とされる。
このようなステレオアライメントの他にも、アライメント光により得られるプルキンエ像を利用した手法や、光テコを利用した手法や、アライメント指標を利用した手法など、任意の公知のアライメント手法を採用することが可能である。プルキンエ像を利用した手法や光テコやアライメント指標を利用した手法では、被検眼の角膜頂点の位置が基準とされる。
なお、以上の例示を含む従来の典型的なアライメント手法は、被検眼の軸と光学系の光軸とを一致させることを目的として行われるが、本態様では、スキャン開始位置に対応する位置に照明系2及び撮影系3を配置させるようにアライメントを実行することが可能である。
本態様におけるアライメントの第1の例として、上記したアライメント手法のいずれかを適用して被検眼Eの瞳孔又は角膜頂点を基準としたアライメントを行った後、予め設定された角膜半径の標準値に相当する距離だけ照明系2及び撮影系3を(X方向に)移動することができる。なお、標準値を用いる代わりに、被検眼Eの角膜半径の測定値を用いてもよい。
第2の例として、上記したアライメント手法のいずれかを適用して被検眼Eの瞳孔又は角膜頂点を基準としたアライメントを行った後、被検眼Eの前眼部の画像を解析して角膜半径を測定し、この測定値に相当する距離だけ照明系2及び撮影系3を(X方向に)移動することができる。本例で解析される前眼部の画像は、例えば、撮影系3により得られた前眼部画像、又は、他の画像である。他の画像は、前眼部カメラにより得られた画像、前眼部OCTにより得られた画像など、任意の画像であってよい。
第3の例として、ステレオアライメント用の前眼部カメラ又は撮影系3により得られた前眼部の画像を解析して角膜の第1端部を求め、ステレオアライメントを適用してこの第1端部に対応する位置に照明系2及び撮影系3を移動することができる。
なお、上記したアライメント手法のいずれかを適用して被検眼Eの瞳孔又は角膜頂点を基準としたアライメントを実行し、これにより決定された位置からスリット光による前眼部スキャンを開始するようにしてもよい。この場合においても、角膜Cの全体をスキャンするようにスキャンシーケンスを設定することができる。例えば、当該アライメントにより決定された位置から左方にスキャンを行った後、右方にスキャンを行うように、スキャンシーケンスが設定される。
<その他の事項>
スリットランプ顕微鏡1は、被検眼Eを固視させるための光(固視光)を出力する固視系を備えていてよい。固視系は、典型的には、少なくとも1つの可視光源(固視光源)、又は、風景チャートや固視標等の画像を表示する表示デバイスを含む。固視系は、例えば、照明系2又は撮影系3と同軸又は非同軸に配置される。固視系は、装置光学系の光路を通じて固視標を被検者に提示する内部固視系、及び/又は、当該光路の外から固視標を被検者に提示する外部固視系を含んでいてよい。
スリットランプ顕微鏡1は、被検眼Eを固視させるための光(固視光)を出力する固視系を備えていてよい。固視系は、典型的には、少なくとも1つの可視光源(固視光源)、又は、風景チャートや固視標等の画像を表示する表示デバイスを含む。固視系は、例えば、照明系2又は撮影系3と同軸又は非同軸に配置される。固視系は、装置光学系の光路を通じて固視標を被検者に提示する内部固視系、及び/又は、当該光路の外から固視標を被検者に提示する外部固視系を含んでいてよい。
スリットランプ顕微鏡1により取得可能な画像の種別は、前述した前眼部の動画像(複数の前眼部画像)に限定されない。例えば、スリットランプ顕微鏡1は、この動画像に基づく3次元画像、この3次元画像に基づくレンダリング画像、徹照像、被検眼に装用されたコンタクトレンズの動きを表す動画像、蛍光剤適用によるコンタクトレンズと角膜表面との隙間を表す画像などがある。また、眼底撮影、角膜内皮細胞撮影、マイボーム腺撮影などが可能であってもよい。徹照像を取得可能である場合、例えば、前述のレンダリング画像と徹照像とを表示することや、レンダリング画像と徹照像とを合成することや、レンダリング画像及び徹照像の一方を他方に基づき加工することや、レンダリング画像及び徹照像の一方を他方に基づき解析することなどが可能である。
<動作>
スリットランプ顕微鏡1の動作を説明する。動作の一例を図5に示す。
スリットランプ顕微鏡1の動作を説明する。動作の一例を図5に示す。
図示は省略するが、任意の段階において、ユーザー(被検者、検者、補助者など)は、スリットランプ顕微鏡1に被検者情報を入力する。入力された被検者情報は、制御部7に保存される。被検者情報は、典型的には、被検者の識別情報(被検者ID)を含む。
更に、背景情報の入力を行うことができる。背景情報は、被検者に関する任意の情報であって、その例として、被検者の問診情報、所定のシートに被検者が記入した情報、被検者の電子カルテに記録された情報などがある。典型的には、背景情報は、性別、年齢、身長、体重、疾患名、候補疾患名、検査結果(視力値、眼屈折力値、眼圧値など)、屈折矯正具(眼鏡、コンタクトレンズなど)の装用歴や度数、検査歴、治療歴などがある。これらは例示であって、背景情報はこれらに限定されない。
また、撮影の準備として、スリットランプ顕微鏡1が設置されているテーブル、被検者が座るイス、スリットランプ顕微鏡1の顎受け台の調整が行われる(いずれも図示を省略する)。例えば、テーブル、イス、顎受け台の高さ調整が行われる。顎受け台には、被検者の顔を安定配置させるための顎受け部及び額当てが設けられている。
準備が完了したら、被検者は、イスに腰掛け、顎受けに顎を載せ、額当てに額を当接させる。これらの動作の前又は後に、ユーザーは、被検眼の撮影を開始するための指示操作を行う。この操作は、例えば、図示しない撮影開始トリガーボタンの押下、指示音声の入力などであってよい。或いは、制御部7が準備フェーズの完了を検知して撮影フェーズに自動で移行してもよい。また、図示しない固視標を被検者(被検眼E又はその僚眼)に提示してもよい。
(S1:アライメント)
撮影開始に対応し、スリットランプ顕微鏡1は、まず、被検眼Eに対する照明系2及び撮影系3のアライメントを行う。被検眼Eの角膜頂点や瞳孔中心に光学系光軸を合わせるための一般的なアライメントと異なり、ステップS1のアライメントは、ステップS2で行われる前眼部スキャンの開始位置に照明系2及び撮影系3を配置させるために実行される。
撮影開始に対応し、スリットランプ顕微鏡1は、まず、被検眼Eに対する照明系2及び撮影系3のアライメントを行う。被検眼Eの角膜頂点や瞳孔中心に光学系光軸を合わせるための一般的なアライメントと異なり、ステップS1のアライメントは、ステップS2で行われる前眼部スキャンの開始位置に照明系2及び撮影系3を配置させるために実行される。
ステップS1のアライメントの態様は任意であってよく、例えば、ステレオアライメント、プルキンエ像を用いた手動又は自動アライメント、光テコを用いた手動又は自動アライメント、及び、アライメント指標を用いた手動又は自動アライメントのうちのいずれかであってよい。
幾つかの態様では、このような従来の手法により、角膜頂点又は瞳孔中心を目標としたアライメントが実行される。更に、制御部7は、角膜頂点や瞳孔中心を目標としたアライメントにより移動された照明系2及び撮影系3を、スキャン開始位置(これに対応する位置)まで更に移動する。
他の幾つかの態様では、初めからスキャン開始位置を目標としてアライメントが実行される。このアライメントは、例えば、前眼部の画像(例えば、正面又は斜方からの画像)を解析してスキャン開始位置(例えば、前述した角膜の第1端部、又は、第1端部に対して被検眼Eの軸とは反対の方向に所定距離だけ離れた位置)を特定する処理と、特定されたスキャン開始位置に対応する位置に照明系2及び撮影系3を移動する処理とを含む。
アライメントの開始前、実行中、及び/又は終了後に、所定の動作を実行するようにしてもよい。例えば、照明光量(スリット光の強度)の調整、スリットの調整(スリット幅の調整、スリット長の調整、スリットの向きの調整)、撮像素子5の調整(感度調整、ゲイン調整など)、フォーカス調整を行ってもよい。
(S2:前眼部スキャン)
スリットランプ顕微鏡1は、前述した要領で、照明系2によるスリット光の照射と、撮影系3による動画撮影と、移動機構6による照明系2及び撮影系3の移動とを組み合わせることで、被検眼Eの前眼部をスキャンする。
スリットランプ顕微鏡1は、前述した要領で、照明系2によるスリット光の照射と、撮影系3による動画撮影と、移動機構6による照明系2及び撮影系3の移動とを組み合わせることで、被検眼Eの前眼部をスキャンする。
図6は、実際に行われた前眼部スキャンを正面から連続撮影して得られた幾つかの画像を示す。これらの画像により、前眼部に照射されているスリット光が移動する様が理解できよう。
1回のスキャン(スキャン開始位置からスキャン終了位置までのスキャン)により、例えば、図3に示す画像群(複数の前眼部画像)F1~FNが得られる。
データ処理部8は、スキャンで得られた画像に所定の処理を施してもよい。例えば、ノイズ除去、コントラスト調整、輝度調整、色補正など、任意の信号処理や任意の画像処理を適用することが可能である。
(S3:3次元再構成画像を構築)
再構成部82は、ステップS2で収集された複数の前眼部画像に3次元再構成を適用する。これにより、3次元再構成画像が構築される。
再構成部82は、ステップS2で収集された複数の前眼部画像に3次元再構成を適用する。これにより、3次元再構成画像が構築される。
(S4:水晶体領域を特定)
セグメンテーション部83は、ステップS3で構築された3次元再構成画像にセグメンテーションを適用して水晶体領域を特定する。
セグメンテーション部83は、ステップS3で構築された3次元再構成画像にセグメンテーションを適用して水晶体領域を特定する。
なお、セグメンテーション部83は、この水晶体領域に更なるセグメンテーションを適用して水晶体の所定の部分領域に対応する画像領域を特定することができる。
(S5:XY平面へのプロジェクション)
ステップS4で特定された水晶体領域は、XYZ座標系で定義された3次元画像である。レンダリング部81は、この水晶体領域に対してXY平面へのプロジェクションを適用する。これにより、徹照像に類似した、水晶体内の混濁状態を表すプロジェクション画像が構築される。
ステップS4で特定された水晶体領域は、XYZ座標系で定義された3次元画像である。レンダリング部81は、この水晶体領域に対してXY平面へのプロジェクションを適用する。これにより、徹照像に類似した、水晶体内の混濁状態を表すプロジェクション画像が構築される。
(S6:プロジェクション画像を表示)
制御部7は、ステップS5で構築されたプロジェクション画像を、出力部9の表示部に表示させる。
制御部7は、ステップS5で構築されたプロジェクション画像を、出力部9の表示部に表示させる。
前述したように、制御部7は、混濁部の深さ情報、混濁の程度を示す情報など、複数の前眼部画像及び/又は3次元再構成画像から取得された情報を、プロジェクション画像とともに表示させることができる。
ここで、混濁部は、例えば、水晶体領域(又は、3次元再構成画像若しくは複数の前眼部画像)にセグメンテーションを適用することによって特定される。また、混濁部の特定のために、プロジェクション画像及び/又は他のレンダリング画像を利用することができる。例えば、プロジェクション画像にセグメンテーションを適用して混濁部のXY分布を求め、これを参照して水晶体領域(又は、3次元再構成画像若しくは複数の前眼部画像)を解析して混濁部の3次元分布を求めることができる。
また、制御部7は、出力部9の通信部を制御して、複数の前眼部画像、3次元再構成画像、プロジェクション画像などの情報を、他の装置に送信することができる。
情報の送信先となる装置の例として情報処理装置や記憶装置がある。情報処理装置は、例えば、広域回線上のサーバ、LAN上のサーバ、コンピュータ端末などである。記憶装置は、広域回線上に設けられた記憶装置、LAN上に設けられた記憶装置などである。
表示及び/又は送信される情報は、前述した背景情報を含んでいてよい。或いは、背景情報は画像の付帯情報であってもよい。一般に、表示及び/又は送信される情報のデータ構造は任意である。
また、表示及び/又は送信される情報は、典型的には、被検者の右眼の画像と、左眼の画像とを含む。右眼の画像及び左眼の画像は、本例の動作を右眼及び左眼にそれぞれ適用することにより得られる。右眼の画像及び左眼の画像には前述の被検眼情報がそれぞれ付帯され、それにより右眼の画像と左眼の画像とが識別される。
スリットランプ顕微鏡1により取得された画像とともに被検者の識別情報が送信される。この識別情報は、スリットランプ顕微鏡1に入力された被検者IDでもよいし、被検者IDに基づき生成された識別情報でもよい。例えば、スリットランプ顕微鏡1が設置されている施設内での個人識別に用いられる被検者ID(内部識別情報)を、当該施設外にて用いられる外部識別情報に変換することができる。これにより、画像や背景情報などの個人情報に関する情報セキュリティの向上を図ることができる。
以上で、本例に係る動作の説明を終える。
<効果>
本態様のスリットランプ顕微鏡1が奏する幾つかの効果について説明する。
本態様のスリットランプ顕微鏡1が奏する幾つかの効果について説明する。
本態様のスリットランプ顕微鏡1は、スキャン部(照明系2、撮影系3、及び移動機構6)と、レンダリング部81とを含む。スキャン部は、被検眼Eの前眼部をスリット光でスキャンして複数の断面画像F1~FNを収集する。レンダリング部81は、スキャン部により収集された複数の断面画像に基づく3次元画像にレンダリングを適用する。レンダリングが適用される3次元画像は、例えば、スキャン部により収集された複数の断面画像の3次元再構成画像の全体又は一部である。
このような本態様のスリットランプ顕微鏡1によれば、水晶体の混濁部を網膜からの反帰光線の影として描出する徹照法ではなく、前眼部をスリット光でスキャンして得られた断面画像群から混濁部を描出する新規な観察法を実施することが可能である。したがって、照明光量(及び撮影感度)を調整することができる。これにより、像の明るさを管理することができ、画質を管理することが可能である。
このような利点により、本態様のスリットランプ顕微鏡1で得た画像を定量的な診断に用いることが可能となる。例えば、白内障のグレードの主観的な評価に加え、客観的な評価にも用いることができる。また、本態様のスリットランプ顕微鏡1で得た画像に、解析プログラムや機械学習を用いた自動画像解析を適用することが可能となる。
また、本態様のスリットランプ顕微鏡1によれば、水晶体の混濁部の2次元的な分布しか提供できない徹照法とは異なり、その3次元的な分布を提供することが可能である。
このように、本態様のスリットランプ顕微鏡1は、徹照法の欠点が解消された新規な眼科観察法を提供することが可能である。
本態様において、レンダリング部81は、所定の平面に対するプロジェクションを、スキャン部により収集された複数の断面画像に基づく3次元画像に適用するように構成されてよい。ここで、所定の平面は、被検眼Eの奥行き方向(Z方向)に直交するように設定されてよい(XY平面)。この構成は、例えば、徹照像に類似した平面画像(2次元画像)の構築に利用可能である。
本態様のスリットランプ顕微鏡1は、再構成部82とセグメンテーション部83とを更に含んでいてよい。再構成部82は、スキャン部により収集された複数の断面画像に3次元再構成を適用する。セグメンテーション部83は、レンダリング部81によりレンダリングが適用される3次元画像を設定するために、再構成部82により構築された3次元再構成画像にセグメンテーションを適用する。
この構成によれば、スリット光でスキャンされた領域のうちの所望の部分にレンダリングを施すことが可能となる。
本態様において、セグメンテーション部83は、再構成部82により構築された3次元再構成画像から水晶体領域を特定するように構成されてよい。この場合、レンダリング部81によりレンダリングが適用される3次元画像は、セグメンテーション部83により特定された水晶体領域の少なくとも一部を含む。この構成は、例えば、徹照像に類似した平面画像(2次元画像)の構築に利用可能である。
本態様において、レンダリング部81は、セグメンテーション部83により特定された水晶体領域にレンダリングを適用するように構成されてよい。
この構成によれば、スリット光を用いたスキャンにより画像化された水晶体の全領域についてレンダリング画像を構築することが可能である。
本態様において、セグメンテーション部83は、再構成部82により構築された3次元再構成画像から特定された水晶体領域に更なるセグメンテーションを適用して、被検眼Eの奥行き方向(Z方向)における部分領域を特定するように構成されてよい。更に、レンダリング部81は、水晶体領域の当該部分領域にレンダリングを適用するように構成されてよい。
この構成によれば、水晶体領域の部分のレンダリング画像を構築することができる。例えば、水晶体領域内の所望の部分についてレンダリング画像を構築することが可能である。
本態様において、セグメンテーション部83は、再構成部82により構築された3次元再構成画像から特定された水晶体領域から嚢領域及び核領域の少なくとも一方の領域を特定し、この領域に基づいて部分領域を特定するように構成されてよい。
この構成によれば、レンダリング部81によりレンダリングが適用される水晶体の部分領域を設定するために、水晶体の主要な構造(嚢、核)を参照することができる。それにより、レンダリングが適用される領域を好適に設定することが可能になる。例えば、水晶体の層構造に沿って領域設定を行うことができる。
本態様のスリットランプ顕微鏡1は、次のような構成によって、スリット光による前眼部のスキャンを実現している。すなわち、スキャン部は、照明系2と、撮影系3と、移動機構6とを含む。照明系2は、被検眼Eの前眼部にスリット光を照射する。撮影系3は、照明系2とは異なる方向から前眼部を撮影する。移動機構6は、照明系2及び撮影系3を移動する。撮影系3は、移動機構6による照明系2及び撮影系3の移動と並行して繰り返し撮影を行う。この繰り返し撮影は、例えば、所定の撮影レートの動画撮影である。
本態様では、移動機構6は、スリット光による前眼部のスキャンにおいて、照明系2及び撮影系3をX方向に移動している。また、移動機構6は、アライメントにおいて、照明系2及び撮影系3を3次元的に移動可能であってよい。
更に、本態様のスリットランプ顕微鏡1は、例えば角膜前面から水晶体後面までの範囲を一度に撮影するために、シャインプルーフカメラとしての機能を有していてよい。そのために、撮影系3は、スリット光が照射された前眼部からの光を導く光学系4と、光学系4により導かれた光を撮像面で受光する撮像素子5とを含んでいてよい。更に、スリットランプ顕微鏡1は、照明系2の光軸に沿う物面と光学系4と撮像素子5(撮像面)とがシャインプルーフの条件を満足するように構成されていてよい。
<第2の態様>
本態様では、眼科情報処理装置について説明する。第1の態様において説明された事項のいずれかを本態様に組み合わせることが可能である。
本態様では、眼科情報処理装置について説明する。第1の態様において説明された事項のいずれかを本態様に組み合わせることが可能である。
本態様の一例を図7に示す。眼科情報処理装置500は、制御部510と、受付部520と、データ処理部530とを含む。制御部510は、眼科情報処理装置500の各部の制御を行う。
受付部520は、被検眼の前眼部をスリット光でスキャンして収集された複数の断面画像を受け付ける。複数の断面画像は、例えば、第1のスリットランプ顕微鏡1のスキャン部と同様の構成を有する眼科撮影装置によって取得される。受付部520は、複数の断面画像を外部(例えば、眼科装置、画像アーカイビングシステム、記録媒体)から受け付ける。受付部520は、例えば通信デバイス又はドライブ装置を含んでいてよい。
データ処理部530はレンダリング部531を含む。レンダリング部531は、受付部520により受け付けられた複数の断面画像に基づく3次元画像にレンダリングを適用する。レンダリング部531は、例えば、第1の態様のレンダリング部81と同様の機能及び構成を有する。レンダリングが適用される3次元画像についても第1の態様におけるそれと同様であってよい。
本態様の他の例を図8に示す。眼科情報処理装置500Aは、制御部510と、受付部520と、データ処理部530Aとを含む。制御部510及び受付部520は、図7の例と同様である。
データ処理部530Aは、図7の例と同様のレンダリング部531に加えて、再構成部532とセグメンテーション部533とを含む。再構成部532は、例えば、第1の態様における再構成部82と同様の機能及び構成を有する。セグメンテーション部533は、例えば、第1の態様におけるセグメンテーション部83と同様の機能及び構成を有する。
このような本態様の眼科情報処理装置500(500A)によれば、例えば、第1の態様のスリットランプ顕微鏡1のスキャン部と同様の構成を有する眼科撮影装置との組み合わせにより、徹照法の欠点が解消された新規な眼科観察法を提供することが可能である。
第1の態様で説明した事項のいずれかを本態様に組み合わせた場合、組み合わせられた事項に応じた効果が奏される。
<第3の態様>
本態様では、眼科撮影装置と情報処理装置と読影端末とを含む眼科システムについて説明する。眼科撮影装置は、少なくともスリットランプ顕微鏡(第1の態様のスキャン部)としての機能を有する。眼科撮影装置に含まれるスリットランプ顕微鏡は、第1の態様のスリットランプ顕微鏡であってよい。なお、眼科撮影装置は、レンダリング部を有していなくてよい。以下、第1の態様の要素や構成や符号を適宜に準用しつつ説明を行う。
本態様では、眼科撮影装置と情報処理装置と読影端末とを含む眼科システムについて説明する。眼科撮影装置は、少なくともスリットランプ顕微鏡(第1の態様のスキャン部)としての機能を有する。眼科撮影装置に含まれるスリットランプ顕微鏡は、第1の態様のスリットランプ顕微鏡であってよい。なお、眼科撮影装置は、レンダリング部を有していなくてよい。以下、第1の態様の要素や構成や符号を適宜に準用しつつ説明を行う。
図9に例示された眼科システム1000は、眼科撮影が行われるT個の施設(第1施設~第T施設)のそれぞれと、サーバ4000と、読影端末5000mとを結ぶ通信路(通信回線)1100を利用して構築されている。
ここで、眼科撮影は、スリットランプ顕微鏡を用いた前眼部撮影を少なくとも含む。この前眼部撮影は、少なくとも、第1の態様で説明した、スリット光を用いた前眼部スキャンを含む。
各施設(第t施設:t=1~T、Tは1以上の整数)には、眼科撮影装置2000-it(it=1~Kt、Ktは1以上の整数)が設置されている。つまり、各施設(第t施設)には、1以上の眼科撮影装置2000-itが設置されている。眼科撮影装置2000-itは、眼科システム1000の一部を構成する。なお、眼科以外の検査を実施可能な検査装置が眼科システム1000に含まれていてもよい。
本例の眼科撮影装置2000-itは、被検眼の撮影を実施する「撮影装置」としての機能と、各種データ処理や外部装置との通信を行う「コンピュータ」としての機能の双方を備えている。他の例において、撮影装置とコンピュータとを別々に設けることが可能である。この場合、撮影装置とコンピュータとは互いに通信可能に構成されてよい。更に、撮影装置の数とコンピュータの数とはそれぞれ任意であり、例えば単一のコンピュータと複数の撮影装置とを設けることができる。
眼科撮影装置2000-itにおける「撮影装置」は、少なくともスリットランプ顕微鏡を含む。このスリットランプ顕微鏡は、第1の態様のスリットランプ顕微鏡であってよい。
更に、各施設(第t施設)には、補助者や被検者により使用可能な情報処理装置(端末3000-t)が設置されている。端末3000-tは、当該施設において使用されるコンピュータであり、例えば、タブレット端末やスマートフォン等のモバイル端末、当該施設に設置されたサーバなどであってよい。更に、端末3000-tは、無線型イヤフォン等のウェアラブルデバイスを含んでいてもよい。なお、端末3000-tは、当該施設においてその機能を使用可能なコンピュータであれば十分であり、例えば、当該施設の外に設置されたコンピュータ(クラウドサーバ等)であってもよい。
眼科撮影装置2000-itと端末3000-tとは、第t施設内に構築されたネットワーク(施設内LAN等)や、広域ネットワーク(インターネット等)や、近距離通信技術を利用して通信を行えるように構成されてよい。
眼科撮影装置2000-itは、サーバ等の通信機器としての機能を備えていてよい。この場合、眼科撮影装置2000-itと端末3000-tとが直接に通信を行うように構成することができる。これにより、サーバ4000と端末3000-tとの間の通信を眼科撮影装置2000-itを介して行うことができるので、端末3000-tとサーバ4000との間で通信を行う機能を設ける必要がなくなる。
サーバ4000は、典型的には、第1~第T施設のいずれとも異なる施設に設置され、例えば管理センタに設置されている。サーバ4000は、ネットワーク(LAN、広域ネットワーク等)を介して、読影端末5000m(m=1~M、Mは1以上の整数)と通信が可能である。更に、サーバ4000は、第1~第T施設に設置された眼科撮影装置2000-itの少なくとも一部との間で、広域ネットワークを介して通信が可能である。
サーバ4000は、例えば、眼科撮影装置2000-itと読影端末5000mとの間の通信を中継する機能と、この通信の内容を記録する機能と、眼科撮影装置2000-itにより取得されたデータや情報を記憶する機能と、読影端末5000mにより取得されたデータや情報を記憶する機能とを備える。サーバ4000は、データ処理機能を備えてもよい。
読影端末5000mは、眼科撮影装置2000-itによって取得された被検眼の画像(例えば、前眼部スキャンで得られた複数の断面画像、又は、これらに基づく3次元画像のレンダリング画像)の読影と、レポート作成とに使用可能なコンピュータを含む。読影端末5000mは、データ処理機能を備えてもよい。
サーバ4000について説明する。図10に例示されたサーバ4000は、制御部4010と、通信確立部4100と、通信部4200とを備える。
制御部4010は、サーバ4000の各部の制御を実行する。制御部4010は、その他の演算処理を実行可能であってよい。制御部4010はプロセッサを含む。制御部4010は、更に、RAM、ROM、ハードディスクドライブ、ソリッドステートドライブなどを含んでいてよい。
制御部4010は、通信制御部4011と転送制御部4012とを含む。
通信制御部4011は、複数の眼科撮影装置2000-itと複数の端末3000-tと複数の読影端末5000mとを含む複数の装置の間における通信の確立に関する制御を実行する。例えば、通信制御部4011は、眼科システム1000に含まれる複数の装置のうちから後述の選択部4120によって選択された2以上の装置のそれぞれに向けて、通信を確立するための制御信号を送る。
転送制御部4012は、通信確立部4100(及び通信制御部4011)により通信が確立された2以上の装置の間における情報のやりとりに関する制御を行う。例えば、転送制御部4012は、通信確立部4100(及び通信制御部4011)により通信が確立された少なくとも2つの装置のうちの一方の装置から送信された情報を他の装置に転送するように機能する。
具体例として、眼科撮影装置2000-itと読影端末5000mとの間の通信が確立された場合、転送制御部4012は、眼科撮影装置2000-itから送信された情報(例えば、複数の断面画像)を読影端末5000mに転送することができる。逆に、転送制御部4012は、読影端末5000mから送信された情報(例えば、眼科撮影装置2000-itへの指示、読影レポートなど)を眼科撮影装置2000-itに転送することができる。
転送制御部4012は、送信元の装置から受信した情報を加工する機能を有していてもよい。この場合、転送制御部4012は、受信した情報と、加工処理により得られた情報との少なくとも一方を転送先の装置に送信することができる。
例えば、転送制御部4012は、眼科撮影装置2000-it等から送信された情報の一部を抽出して読影端末5000m等に送信することができる。
また、眼科撮影装置2000-it等から送信された情報(例えば、複数の断面画像)又はそれを加工した情報をサーバ4000又は他の装置によって解析し、その解析結果(及び元の情報)を読影端末5000m等に送信するようにしてもよい。例えば、眼科撮影装置2000-itから送信された複数の断面画像(又は、それらに基づく3次元画像若しくはそのレンダリング画像)の読影を人工知能エンジン等を用いて実行し、その結果を複数の断面画像とともに読影端末5000mに送信することができる。
眼科撮影装置2000-itから複数の断面画像が送信された場合、サーバ4000又は他の装置が、複数の断面画像から3次元画像(例えば、スタックデータ又はボリュームデータ等の3次元再構成画像)を構築し、転送制御部4012が、構築された3次元画像を読影端末5000mに送信するように構成することが可能である。
眼科撮影装置2000-itからスタックデータが送信された場合、サーバ4000又は他の装置が、このスタックデータからボリュームデータを構築し、転送制御部4012が、構築されたボリュームデータを読影端末5000mに送信するように構成することが可能である。
サーバ4000又は他の装置により実行可能なデータ加工処理は、上記した例には限定されず、任意のデータ処理を含んでいてよい。例えば、サーバ4000又は他の装置は、3次元画像のレンダリング、アーティファクト除去、歪み補正、計測などを実行可能であってよい。
通信確立部4100は、複数の眼科撮影装置2000-itと複数の端末3000-tと複数の読影端末5000mとを含む複数の装置のうちから選択された少なくとも2つの装置の間における通信を確立するための処理を実行する。本態様において「通信の確立」とは、例えば、(1)通信が切断された状態から一方向通信を確立すること、(2)通信が切断された状態から双方向通信を確立すること、(3)受信のみが可能な状態から送信も可能な状態に切り替えること、(4)送信のみが可能な状態から受信も可能な状態に切り替えること、のうちの少なくとも1つを含む概念である。
更に、通信確立部4100は、確立されている通信を切断する処理を実行可能である。本態様において「通信の切断」とは、例えば、(1)一方向通信が確立された状態から通信を切断すること、(2)双方向通信が確立された状態から通信を切断すること、(3)双方向通信が確立された状態から一方向通信に切り替えること、(4)送信及び受信が可能な状態から受信のみが可能な状態に切り替えること、(5)送信及び受信が可能な状態から送信のみが可能な状態に切り替えること、のうちの少なくとも1つを含む概念である。
眼科撮影装置2000-it、端末3000-t、及び読影端末5000mのそれぞれは、他の装置(そのユーザー)を呼び出すための通信要求(呼び出し要求)と、他の2つの装置の間の通信に割り込むための通信要求(割り込み要求)とのうちの少なくとも一方をサーバ4000に送信することができる。呼び出し要求及び割り込み要求は、手動又は自動で発信される。サーバ4000(通信部4200)は、眼科撮影装置2000-it、端末3000-t、又は読影端末5000mから送信された通信要求を受信する。
本態様において、通信確立部4100は選択部4120を含んでいてよい。選択部4120は、例えば、眼科撮影装置2000-it、端末3000-t、又は読影端末5000mから送信された通信要求に基づいて、眼科撮影装置2000-it、端末3000-t、及び読影端末5000mのうちから、当該通信要求を送信した装置以外の1以上の装置を選択する。
選択部4120が実行する処理の具体例を説明する。眼科撮影装置2000-it又は端末3000-tからの通信要求(例えば、眼科撮影装置2000-itにより取得された画像の読影の要求)を受けた場合、選択部4120は、例えば、複数の読影端末5000mのうちのいずれかを選択する。通信確立部4100は、選択された読影端末5000mと、眼科撮影装置2000-it及び端末3000-tの少なくとも一方との間の通信を確立する。
通信要求に応じた装置の選択は、例えば、予め設定された属性に基づいて実行される。この属性の例として、検査の種別(例えば、撮影モダリティの種別、画像の種別、疾患の種別、候補疾患の種別など)や、要求される専門度・熟練度や、言語の種別などがある。本例では、例えば、読影者の専門分野や熟練度が参照される。本例に係る処理を実現するために、通信確立部4100は、予め作成された属性情報が記憶された記憶部4110を含んでいてよい。属性情報には、読影端末5000m及び/又はそのユーザー(医師、オプトメトリスト等)の属性が記録されている。
ユーザーの識別は、事前に割り当てられたユーザーIDによって行われる。また、読影端末5000mの識別は、例えば、事前に割り当てられた装置IDやネットワークアドレスによって行われる。典型的な例において、属性情報は、各ユーザーの属性として、専門分野(例えば、診療科、専門とする疾患など)、専門度・熟練度、使用可能な言語の種別などを含む。
選択部4120が属性情報を参照する場合、眼科撮影装置2000-it、端末3000-t、又は読影端末5000mから送信される通信要求は、属性に関する情報を含んでいてよい。例えば、眼科撮影装置2000-itから送信される読影要求(診断要求)は、次のいずれかの情報を含んでいてよい:(1)撮影モダリティの種別を示す情報;(2)画像の種別を示す情報;(3)疾患名や候補疾患名を示す情報;(4)読影の難易度を示す情報;(5)眼科撮影装置2000-it及び/又は端末3000-tのユーザーの使用言語を示す情報。
このような読影要求を受信した場合、選択部4120は、この読影要求と記憶部4110に記憶された属性情報とに基づいて、いずれかの読影端末5000mを選択することができる。このとき、選択部4120は、読影要求に含まれる属性に関する情報と、記憶部4110に記憶された属性情報に記録された情報とを照合する。それにより、選択部4120は、例えば、次のいずれかの属性に該当する医師(又はオプトメトリスト)に対応する読影端末5000mを選択する:(1)当該撮影モダリティを専門とする医師;(2)当該画像種別を専門とする医師;(3)当該疾患(当該候補疾患)を専門とする医師;(4)当該難易度の読影が可能な医師;(5)当該言語を使用可能な医師。
なお、医師やオプトメトリストと、読影端末5000mとの間の対応付けは、例えば、読影端末5000m(又は眼科システム1000)へのログイン時に入力されたユーザーIDによってなされる。
通信部4200は、他の装置(例えば、眼科撮影装置2000-it、端末3000-t、及び読影端末5000mのいずれか)との間でデータ通信を行う。データ通信の方式や暗号化については、眼科撮影装置2000-itに設けられた通信部(第1の態様における出力部9の通信部)と同様であってよい。
サーバ4000は、データ処理部4300を含む。データ処理部4300は、各種のデータ処理を実行する。データ処理部4300は、眼科撮影装置2000-it(特に、スリットランプ顕微鏡)により取得された複数の断面画像又は3次元画像を処理することができる。データ処理部4300は、プロセッサ、主記憶装置、補助記憶装置などを含む。補助記憶装置には、データ処理プログラム等が記憶されている。データ処理部4300の機能は、データ処理プログラム等のソフトウェアと、プロセッサ等のハードウェアとの協働によって実現される。
サーバ4000は、データ処理部4300により得られたデータを他の装置に提供することができる。例えば、データ処理部4300が、眼科撮影装置2000-itにより取得された複数の断面画像から3次元画像を構築した場合、サーバ4000は、通信部4200により、この3次元画像を読影端末5000mに送信することができる。データ処理部4300が、眼科撮影装置2000-it又はデータ処理部4300により構築された3次元画像をレンダリングした場合、サーバ4000は、通信部4200により、構築されたレンダリング画像を読影端末5000mに送信することができる。データ処理部4300が、1以上の断面画像又は3次元画像に計測処理を適用した場合、サーバ4000は、得られた計測データを通信部4200によって読影端末5000mに送信することができる。データ処理部4300が、1以上の断面画像又は3次元画像に歪み補正を適用した場合、サーバ4000は、通信部4200により、補正された画像を読影端末5000mに送信することができる。
続いて、読影端末5000mについて説明する。図11に例示された読影端末5000mは、制御部5010と、データ処理部5100と、通信部5200と、操作部5300とを備える。
データ処理部5100は、第1の態様のデータ処理部8と同様の機能及び構成を有していてよい。例えば、データ処理部5100は、第1の態様のレンダリング部81の機能及び構成を少なくとも有し、再構成部82の機能及び構成並びにセグメンテーション部83の機能及び構成を更に有していてもよい。
制御部5010は、読影端末5000mの各部の制御を実行する。制御部5010は、その他の演算処理を実行可能であってよい。制御部5010は、プロセッサ、RAM、ROM、ハードディスクドライブ、ソリッドステートドライブなどを含む。
制御部5010は表示制御部5011を含む。表示制御部5011は、表示装置6000mを制御する。表示装置6000mは、読影端末5000mに含まれてもよいし、読影端末5000mに接続された周辺機器であってもよい。表示制御部5011は、被検眼Eの前眼部の画像を表示装置6000mに表示させる。例えば、表示制御部5011は、被検眼の前眼部の複数の断面画像に基づく3次元画像のレンダリング画像を表示装置6000mに表示させることができる。
制御部5010はレポート作成制御部5012を含む。レポート作成制御部5012は、表示制御部5011により表示された情報に関するレポートを作成するための各種の制御を実行する。例えば、レポート作成制御部5012は、レポートを作成するための画面やグラフィカルユーザーインターフェイス(GUI)を表示装置6000mに表示させる。また、レポート作成制御部5012は、ユーザーが入力した情報や、前眼部の画像や、計測データや、解析データなどを、所定のレポートテンプレートに入力する。
データ処理部5100は、各種のデータ処理を実行する。データ処理部5100は、眼科撮影装置2000-it(特に、スリットランプ顕微鏡)により取得された複数の断面画像又は3次元画像を処理することができる。また、データ処理部5100は、サーバ4000等の他の情報処理装置により構築された3次元画像又はレンダリング画像を処理することができる。データ処理部5100は、プロセッサ、主記憶装置、補助記憶装置などを含む。補助記憶装置には、データ処理プログラム等が記憶されている。データ処理部5100の機能は、データ処理プログラム等のソフトウェアと、プロセッサ等のハードウェアとの協働によって実現される。
通信部5200は、他の装置(例えば、眼科撮影装置2000-it、端末3000-t、及びサーバ4000のいずれか)との間でデータ通信を行う。データ通信の方式や暗号化については、眼科撮影装置2000-itの通信部と同様であってよい。
操作部5300は、読影端末5000mの操作、読影端末5000mへの情報入力などに使用される。本態様では、操作部5300はレポートの作成に使用される。操作部5300は、操作デバイスや入力デバイスを含む。操作部5300は、例えば、マウス、キーボード、トラックボール、操作パネル、スイッチ、ボタン、ダイアルなどを含む。操作部5300は、タッチスクリーンを含んでもよい。
本態様の眼科システム1000は、次のような動作を実行可能である。
まず、眼科撮影装置2000-it(スリットランプ顕微鏡)が、被検眼の前眼部をスリット光でスキャンして複数の断面画像を収集する。眼科撮影装置2000-itは、収集された複数の断面画像を含む第1送信情報を、通信回線1100を通じてサーバ4000に送信する。このような眼科撮影装置2000-itの動作は、第1の態様と同じ要領で実行されてよい。また、眼科撮影装置2000-itは、第1の態様における任意の処理を実行可能であってよい。
サーバ4000は、眼科撮影装置2000-itから送信された第1送信情報を通信部4200(受信部)によって受信し、この第1送信情報を記憶部4110に記憶する。更に、サーバ4000は、通信部4200(送信部)を用いて、第1送信情報に含まれる複数の断面画像を少なくとも含む第2送信情報を、通信回線1100を通じて読影端末5000mに送信する。
読影端末5000mは、サーバ4000から送信された第2送信情報を通信部5200(受信部)によって受信する。読影端末5000mのユーザー(読影者)は、ユーザーインターフェイス(操作部5300、表示装置6000m、レポート作成制御部5012等)を利用して、複数の断面画像に基づく読影を行う。例えば、データ処理部5100は、複数の断面画像に基づく3次元画像にレンダリングを適用する。これにより構築されたレンダリング画像は、表示制御部5011によって表示装置6000mに表示される。このレンダリング画像は、例えば、徹照像に類似した正面画像である。ユーザーは、この正面画像を読影することで、例えば白内障のグレードを評価し、その結果を読影端末5000mに入力する。読影端末5000mは、通信部5200(送信部)によって、ユーザーインターフェイスを用いて入力された情報(読影レポート等)を含む第3送信情報を、通信回線1100を通じてサーバ4000に送信する。
サーバ4000は、読影端末5000mから送信された第3送信情報を通信部4200(受信部)により受信し、この第3送信情報を第1送信情報に関連付けて記憶部4110に記憶する。
このような眼科システム1000によれば、第1の態様の効果から分かるように、予め取得された前眼部の画像に基づいて読影を好適に行うことができる。前眼部の画像の取得は、遠隔地にて行われてもよい。従来においては、医師が遠隔地から操作を行いつつ診察を行っているが、本態様では、医師は、事前に取得された画像に基づく読影を行うだけでよい。つまり、本態様では、撮影の手間や時間から医師を解放することができ、読影に集中することが可能となる。よって、本態様は、高品質なスリットランプ顕微鏡検査の提供範囲の拡大に寄与する。
<第4の態様>
本態様では、眼科撮影装置と情報処理装置と読影装置とを含む眼科システムについて説明する。第3の態様との相違は、読影端末の代わりに読影装置が設けられている点である。なお、第3の態様と第4の態様とを組み合わせ、読影端末及び読影装置の双方を含む眼科システムを構築することも可能である。以下、第1、第2及び第3の態様のいずれかの要素や構成や符号を適宜に準用しつつ説明を行う。
本態様では、眼科撮影装置と情報処理装置と読影装置とを含む眼科システムについて説明する。第3の態様との相違は、読影端末の代わりに読影装置が設けられている点である。なお、第3の態様と第4の態様とを組み合わせ、読影端末及び読影装置の双方を含む眼科システムを構築することも可能である。以下、第1、第2及び第3の態様のいずれかの要素や構成や符号を適宜に準用しつつ説明を行う。
図12に例示された眼科システム1000Aは、前述したように、第3の態様の眼科システム1000の読影端末5000mを読影装置7000mに置き換えたものである。読影装置7000mは、例えば画像処理プロセッサ及び/又は人工知能エンジンを利用して、眼科撮影装置2000-it(スリットランプ顕微鏡)により取得された複数の断面画像の読影を行うコンピュータである。
読影装置7000mの構成例を図13に示す。本例の読影装置7000mは、読影処理部7100と通信部7200とデータ処理部7300とを含む。通信部7200は、他の装置(例えば、眼科撮影装置2000-it、端末3000-t、及びサーバ4000のいずれか)との間でデータ通信を行う。
データ処理部7300は、第1の態様のデータ処理部8と同様の機能及び構成を有していてよい。例えば、データ処理部7300は、第1の態様のレンダリング部81の機能及び構成を少なくとも有し、再構成部82の機能及び構成並びにセグメンテーション部83の機能及び構成を更に有していてもよい。
読影処理部7100は、例えば、読影用のプログラムにしたがって動作する読影プロセッサを含み、複数の断面画像(それらに基づく画像)を解析して所見を得る。幾つかの態様において、読影処理部7100は、複数の断面画像(それらに基づく画像)から所見を得るために、第1の態様における人工知能エンジンを含んでいてもよい。本態様では、データ処理部7300が、複数の断面画像に基づく3次元画像のレンダリング画像を構築し、読影処理部7100が、このレンダリング画像の読影を行って所見を得る。更に、読影処理部7100は、取得された所見に基づきレポートを作成する。
本態様の眼科システム1000Aは、次のような動作を実行可能である。
まず、眼科撮影装置2000-it(スリットランプ顕微鏡)が、被検眼の前眼部をスリット光でスキャンして複数の断面画像を収集する。眼科撮影装置2000-itは、収集された複数の断面画像を含む第1送信情報を、通信回線1100を通じてサーバ4000に送信する。このような眼科撮影装置2000-itの動作は、第1の態様と同じ要領で実行されてよい。また、眼科撮影装置2000-itは、第1の態様における任意の処理を実行可能であってよい。
サーバ4000は、眼科撮影装置2000-itから送信された第1送信情報を通信部4200(受信部)によって受信し、この第1送信情報を記憶部4110に記憶する。更に、サーバ4000は、通信部4200(送信部)を用いて、第1送信情報に含まれる複数の断面画像を少なくとも含む第2送信情報を、通信回線1100を通じて読影装置7000mに送信する。
読影装置7000mは、サーバ4000から送信された第2送信情報を通信部7200(受信部)によって受信する。読影装置7000mは、データ処理部7300によって、第2送信情報に含まれる複数の断面画像に基づく3次元画像にレンダリングを適用し、レンダリング画像を構築する。このレンダリング画像は、例えば、徹照像に類似した正面画像である。読影処理部7100によりこのレンダリング画像の読影を行う。例えば、読影処理部7100は、徹照像に類似した正面画像を読影することで、例えば白内障のグレードを評価する。読影装置7000mは、通信部7200(送信部)によって、読影処理部7100により取得された情報を含む第4送信情報を、通信回線1100を通じてサーバ4000に送信する。
サーバ4000は、読影装置7000mから送信された第4送信情報を通信部4200(受信部)により受信し、この第4送信情報を第1送信情報に関連付けて記憶部4110に記憶する。
このような眼科システム1000Aによれば、第1の態様の効果から分かるように、予め取得された前眼部の画像に基づいて自動読影を好適に行うことができる。前眼部の画像の取得は、遠隔地にて行われてもよい。従来においては、医師が遠隔地から操作を行いつつ診察を行っているが、本態様では、医師は、事前に取得された画像に基づく自動読影の結果を参照しながら読影を行うだけでよい。つまり、本態様では、撮影の手間や時間から医師を解放することができるとともに、自動読影の結果を医師に提供することができるので、読影作業の大幅な効率化を図ることが可能となる。また、読影の正確性向上も期待される。よって、本態様は、高品質なスリットランプ顕微鏡検査の提供範囲の拡大に寄与する。
〈その他の事項〉
例示的な態様において実行されるレンダリングの幾つかの例を説明する。図14は、XY平面に定義されたプロジェクション画像を構築するためのレンダリングの例を示す。符号Kは、図3に示す複数の前眼部画像F1~FNの3次元再構成画像(例えばスタックデータ)を示す。例示的な態様のレンダリング部は、Z方向へのプロジェクションを3次元再構成画像Kに適用する。それにより、Z方向に直交するXY平面に定義されたレンダリング画像(プロジェクション画像)Gが構築される。
例示的な態様において実行されるレンダリングの幾つかの例を説明する。図14は、XY平面に定義されたプロジェクション画像を構築するためのレンダリングの例を示す。符号Kは、図3に示す複数の前眼部画像F1~FNの3次元再構成画像(例えばスタックデータ)を示す。例示的な態様のレンダリング部は、Z方向へのプロジェクションを3次元再構成画像Kに適用する。それにより、Z方向に直交するXY平面に定義されたレンダリング画像(プロジェクション画像)Gが構築される。
図15は、XY平面上に定義されたプロジェクション画像を構築するためのレンダリングの他の例を示す。例示的な態様のセグメンテーション部は、複数の前眼部画像F1~FNの3次元再構成画像から水晶体領域H1を抽出する。水晶体領域H1は3次元画像である。例示的な態様のレンダリング部は、Z方向へのプロジェクションを水晶体領域H1に適用する。それにより、Z方向に直交するXY平面に定義された、水晶体領域H1のレンダリング画像(プロジェクション画像)H2が構築される。
いずれかの態様に係るスリットランプ顕微鏡を制御する方法を提供することができる。スリットランプ顕微鏡は、プロセッサと、被検眼の前眼部をスリット光でスキャンして複数の断面画像を収集するスキャン部とを含む。本制御方法は、スキャン部により収集された複数の断面画像に基づく3次元画像にレンダリングを適用する処理を、プロセッサに実行させる。
この制御方法をコンピュータに実行させるプログラムを構成することが可能である。更に、このプログラムを記録したコンピュータ可読な非一時的記録媒体を作成することが可能である。この非一時的記録媒体は任意の形態であってよく、その例として、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどがある。
同様に、第1~第4の態様のいずれかにおいて開示された任意の制御方法を提供することができる。また、第1~第4の態様のいずれかにおいて開示された任意の処理方法(演算方法、画像処理方法、画像解析方法等)を提供することができる。更に、この処理方法をコンピュータに実行させるプログラムを構成することが可能である。加えて、このプログラムを記録したコンピュータ可読な非一時的記録媒体を作成することが可能である。
以上に説明した幾つかの態様は本発明の例示に過ぎない。したがって、本発明の要旨の範囲内における任意の変形(省略、置換、付加等)を上記の態様に対して適宜に施すことが可能である。
Claims (16)
- 被検眼の前眼部をスリット光でスキャンして複数の断面画像を収集するスキャン部と、
前記複数の断面画像に基づく3次元画像にレンダリングを適用するレンダリング部と
を含む、スリットランプ顕微鏡。 - 前記レンダリング部は、所定の平面に対するプロジェクションを前記3次元画像に適用する、
請求項1のスリットランプ顕微鏡。 - 前記所定の平面は、前記被検眼の奥行き方向に直交する、
請求項2のスリットランプ顕微鏡。 - 前記スキャン部により収集された前記複数の断面画像に3次元再構成を適用する再構成部と、
前記3次元画像を設定するために、前記再構成部により構築された3次元再構成画像にセグメンテーションを適用するセグメンテーション部と
を更に含む、請求項1~3のいずれかのスリットランプ顕微鏡。 - 前記セグメンテーション部は、前記3次元再構成画像から水晶体領域を特定し、
前記3次元画像は、前記水晶体領域の少なくとも一部を含む、
請求項4のスリットランプ顕微鏡。 - 前記レンダリング部は、前記水晶体領域に前記レンダリングを適用する、
請求項5のスリットランプ顕微鏡。 - 前記セグメンテーション部は、前記水晶体領域にセグメンテーションを適用して、前記被検眼の奥行き方向における部分領域を特定し、
前記レンダリング部は、前記部分領域に前記レンダリングを適用する、
請求項5のスリットランプ顕微鏡。 - 前記セグメンテーション部は、前記水晶体領域から嚢領域及び核領域の少なくとも一方の領域を特定し、この領域に基づいて前記部分領域を特定する、
請求項7のスリットランプ顕微鏡。 - 前記スキャン部は、
前記前眼部に前記スリット光を照射する照明系と、
前記照明系とは異なる方向から前記前眼部を撮影する撮影系と、
前記照明系及び前記撮影系を移動する移動機構と
を含む、
請求項1~8のいずれかのスリットランプ顕微鏡。 - 前記撮影系は、
前記スリット光が照射された前記前眼部からの光を導く光学系と、
前記光学系により導かれた前記光を撮像面で受光する撮像素子と
を含み、
前記照明系の光軸に沿う物面と前記光学系と前記撮像面とがシャインプルーフの条件を満足する、
請求項9のスリットランプ顕微鏡。 - 前記レンダリング部により構築されたレンダリング画像を表示する表示部を更に含む、
請求項1~10のいずれかのスリットランプ顕微鏡。 - 被検眼の前眼部をスリット光でスキャンして収集された複数の断面画像を受け付ける受付部と、
前記複数の断面画像に基づく3次元画像にレンダリングを適用するレンダリング部と
を含む、眼科情報処理装置。 - スリットランプ顕微鏡と情報処理装置と読影端末とを含む眼科システムであって、
前記スリットランプ顕微鏡は、
被検眼の前眼部をスリット光でスキャンして複数の断面画像を収集するスキャン部と、
前記スキャン部により収集された前記複数の断面画像を含む第1送信情報を、通信回線を通じて前記情報処理装置に送信する送信部と
を含み、
前記情報処理装置は、
前記第1送信情報を受信する受信部と、
前記第1送信情報を記憶する記憶部と、
前記第1送信情報に含まれる前記複数の断面画像を少なくとも含む第2送信情報を、通信回線を通じて前記読影端末に送信する送信部と
を含み、
前記読影端末は、
前記第2送信情報を受信する受信部と、
前記第2送信情報に含まれる前記複数の断面画像に基づく3次元画像にレンダリングを適用するレンダリング部と、
前記レンダリング部により構築されたレンダリング画像をユーザーが読影するためのユーザーインターフェイスと、
前記ユーザーインターフェイスを用いて入力された情報を含む第3送信情報を、通信回線を通じて前記情報処理装置に送信する送信部と
を含み、
前記情報処理装置は、前記受信部により前記第3送信情報を受信し、前記第3送信情報を前記第1送信情報に関連付けて前記記憶部に記憶する、
眼科システム。 - スリットランプ顕微鏡と情報処理装置と読影装置とを含む眼科システムであって、
前記スリットランプ顕微鏡は、
被検眼の前眼部をスリット光でスキャンして複数の断面画像を収集するスキャン部と、
前記スキャン部により収集された前記複数の断面画像を含む第1送信情報を、通信回線を通じて前記情報処理装置に送信する送信部と
を含み、
前記情報処理装置は、
前記第1送信情報を受信する受信部と、
前記第1送信情報を記憶する記憶部と、
前記第1送信情報に含まれる前記複数の断面画像を少なくとも含む第2送信情報を、通信回線を通じて前記読影装置に送信する送信部と
を含み、
前記読影装置は、
前記第2送信情報を受信する受信部と、
前記第2送信情報に含まれる前記複数の断面画像に基づく3次元画像にレンダリングを適用するレンダリング部と、
前記レンダリング部により構築されたレンダリング画像を読影する読影処理部と、
前記読影処理部により取得された情報を含む第4送信情報を、通信回線を通じて前記情報処理装置に送信する送信部と
を含み、
前記情報処理装置は、前記受信部により前記第4送信情報を受信し、前記第4送信情報を前記第1送信情報に関連付けて前記記憶部に記憶する、
眼科システム。 - プロセッサと、被検眼の前眼部をスリット光でスキャンして複数の断面画像を収集するスキャン部とを含むスリットランプ顕微鏡を制御する方法であって、
前記スキャン部により収集された前記複数の断面画像に基づく3次元画像にレンダリングを適用する処理を、前記プロセッサに実行させる、
スリットランプ顕微鏡の制御方法。 - 請求項15の方法をコンピュータに実行させるためのプログラムが記録された、コンピュータ可読な非一時的記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202080062719.1A CN114364306A (zh) | 2019-09-10 | 2020-06-02 | 裂隙灯显微镜、眼科信息处理装置、眼科系统、裂隙灯显微镜的控制方法以及记录介质 |
US17/637,082 US20220280036A1 (en) | 2019-09-10 | 2020-06-02 | Slit lamp microscope, ophthalmic information processing apparatus, ophthalmic system, method of controlling slit lamp microscope, and recording medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019164262A JP2021040855A (ja) | 2019-09-10 | 2019-09-10 | スリットランプ顕微鏡、眼科情報処理装置、眼科システム、スリットランプ顕微鏡の制御方法、プログラム、及び記録媒体 |
JP2019-164262 | 2019-09-10 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021049104A1 true WO2021049104A1 (ja) | 2021-03-18 |
Family
ID=74864604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/021726 WO2021049104A1 (ja) | 2019-09-10 | 2020-06-02 | スリットランプ顕微鏡、眼科情報処理装置、眼科システム、スリットランプ顕微鏡の制御方法、及び記録媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220280036A1 (ja) |
JP (1) | JP2021040855A (ja) |
CN (1) | CN114364306A (ja) |
WO (1) | WO2021049104A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023039046A (ja) * | 2021-09-08 | 2023-03-20 | 株式会社トプコン | 眼科装置、眼科装置を制御する方法、眼画像を処理する方法、プログラム、及び記録媒体 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000197607A (ja) * | 1998-12-30 | 2000-07-18 | Canon Inc | 検眼装置 |
JP2004507296A (ja) * | 2000-08-21 | 2004-03-11 | ザ ジェネラル ホスピタル コーポレーション | 神経変性状態の診断方法 |
JP2019024738A (ja) * | 2017-07-27 | 2019-02-21 | 株式会社トプコン | 眼科システム及び眼科情報処理装置 |
JP2019024618A (ja) * | 2017-07-26 | 2019-02-21 | 株式会社トプコン | 眼科システム及び眼科情報処理装置 |
WO2019176231A1 (ja) * | 2018-03-14 | 2019-09-19 | 株式会社トプコン | 眼科システム、眼科情報処理装置、プログラム、及び記録媒体 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013105915A1 (en) * | 2011-12-01 | 2013-07-18 | University Of Miami | System for ophthalmic imaging |
JP6498398B2 (ja) * | 2014-08-27 | 2019-04-10 | 株式会社トプコン | 眼科装置 |
US20190209006A1 (en) * | 2017-01-11 | 2019-07-11 | University Of Miami | Segmentation-based corneal mapping |
JP7148113B2 (ja) * | 2018-06-04 | 2022-10-05 | 株式会社トーメーコーポレーション | 眼科装置 |
-
2019
- 2019-09-10 JP JP2019164262A patent/JP2021040855A/ja active Pending
-
2020
- 2020-06-02 US US17/637,082 patent/US20220280036A1/en active Pending
- 2020-06-02 WO PCT/JP2020/021726 patent/WO2021049104A1/ja active Application Filing
- 2020-06-02 CN CN202080062719.1A patent/CN114364306A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000197607A (ja) * | 1998-12-30 | 2000-07-18 | Canon Inc | 検眼装置 |
JP2004507296A (ja) * | 2000-08-21 | 2004-03-11 | ザ ジェネラル ホスピタル コーポレーション | 神経変性状態の診断方法 |
JP2019024618A (ja) * | 2017-07-26 | 2019-02-21 | 株式会社トプコン | 眼科システム及び眼科情報処理装置 |
JP2019024738A (ja) * | 2017-07-27 | 2019-02-21 | 株式会社トプコン | 眼科システム及び眼科情報処理装置 |
WO2019176231A1 (ja) * | 2018-03-14 | 2019-09-19 | 株式会社トプコン | 眼科システム、眼科情報処理装置、プログラム、及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP2021040855A (ja) | 2021-03-18 |
CN114364306A (zh) | 2022-04-15 |
US20220280036A1 (en) | 2022-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7154044B2 (ja) | スリットランプ顕微鏡及び眼科システム | |
JP7466607B2 (ja) | スリットランプ顕微鏡 | |
JP7321678B2 (ja) | スリットランプ顕微鏡及び眼科システム | |
WO2021049341A1 (ja) | スリットランプ顕微鏡、眼科情報処理装置、眼科システム、スリットランプ顕微鏡の制御方法、プログラム、及び記録媒体 | |
JP6923384B2 (ja) | 眼科システム及び眼科情報処理装置 | |
JP7182884B2 (ja) | スリットランプ顕微鏡及び眼科システム | |
WO2021256130A1 (ja) | スリットランプ顕微鏡 | |
WO2019176231A1 (ja) | 眼科システム、眼科情報処理装置、プログラム、及び記録媒体 | |
JP7560303B2 (ja) | スリットランプ顕微鏡システム | |
JP7345610B2 (ja) | スリットランプ顕微鏡 | |
WO2021049104A1 (ja) | スリットランプ顕微鏡、眼科情報処理装置、眼科システム、スリットランプ顕微鏡の制御方法、及び記録媒体 | |
WO2021261103A1 (ja) | スリットランプ顕微鏡 | |
JP7517903B2 (ja) | スリットランプ顕微鏡システム | |
JP7237219B2 (ja) | 眼科システム、眼科情報処理装置、プログラム、及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20863035 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20863035 Country of ref document: EP Kind code of ref document: A1 |