WO2024018788A1 - 眼科装置、眼科装置を制御する方法、プログラム、及び記録媒体 - Google Patents
眼科装置、眼科装置を制御する方法、プログラム、及び記録媒体 Download PDFInfo
- Publication number
- WO2024018788A1 WO2024018788A1 PCT/JP2023/022193 JP2023022193W WO2024018788A1 WO 2024018788 A1 WO2024018788 A1 WO 2024018788A1 JP 2023022193 W JP2023022193 W JP 2023022193W WO 2024018788 A1 WO2024018788 A1 WO 2024018788A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- optical system
- conditions
- imaging
- illumination
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 107
- 230000003287 optical effect Effects 0.000 claims abstract description 420
- 238000003384 imaging method Methods 0.000 claims abstract description 320
- 238000012545 processing Methods 0.000 claims abstract description 175
- 238000005286 illumination Methods 0.000 claims description 355
- 230000007246 mechanism Effects 0.000 claims description 53
- 230000006870 function Effects 0.000 claims description 30
- 238000013507 mapping Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 78
- 210000000695 crystalline len Anatomy 0.000 description 28
- 238000003860 storage Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 210000004087 cornea Anatomy 0.000 description 11
- 230000001360 synchronised effect Effects 0.000 description 9
- 230000008901 benefit Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 125000004122 cyclic group Chemical group 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000010191 image analysis Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000004424 eye movement Effects 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 210000002159 anterior chamber Anatomy 0.000 description 2
- 210000002294 anterior eye segment Anatomy 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 210000000871 endothelium corneal Anatomy 0.000 description 2
- 210000003560 epithelium corneal Anatomy 0.000 description 2
- 238000012014 optical coherence tomography Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 206010025421 Macule Diseases 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000968 medical method and process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002637 mydriatic agent Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/13—Ophthalmic microscopes
- A61B3/135—Slit-lamp microscopes
Definitions
- the present invention relates to an ophthalmologic apparatus, a method for controlling an ophthalmologic apparatus, a program, and a recording medium.
- Ophthalmological equipment includes a slit lamp microscope, fundus camera, scanning laser ophthalmoscope (SLO), and optical coherence tomography (OCT).
- SLO scanning laser ophthalmoscope
- OCT optical coherence tomography
- various inspection and measurement devices such as refractometers, keratometers, tonometers, specular microscopes, wavefront analyzers, and microperimeters are also equipped with functions for photographing the anterior segment and fundus of the eye.
- slit lamp microscope which is also called a stethoscope for ophthalmologists.
- a slit lamp microscope is an ophthalmological device that illuminates a subject's eye with slit light and observes or photographs the illuminated cross section from the side with a microscope (see, for example, Patent Documents 1 and 2).
- a slit lamp microscope is known that can scan a three-dimensional area of the eye to be examined at high speed by using an optical system configured to satisfy Scheimpflug conditions (for example, see Patent Document 3). reference).
- a rolling shutter camera is also known as an imaging method that scans an object with slit light.
- JP 2016-159073 Publication Japanese Patent Application Publication No. 2016-179004 JP2019-213733A
- One purpose of the present invention is to improve the quality of images obtained in ophthalmological imaging.
- One exemplary aspect of the embodiment includes an imaging section including an optical system that satisfies Scheimpflug conditions, and controlling the imaging section so that two or more imagings with different imaging conditions are applied to the eye to be examined.
- the ophthalmologic apparatus includes a control unit and an image processing unit that generates a high dynamic range image based on two or more images of the subject's eye acquired by the two or more imaging operations.
- Another exemplary aspect of the embodiment is a method of controlling an ophthalmologic apparatus including an imaging unit including an optical system that satisfies Scheimpflug conditions, and a processor, the method comprising controlling the processor twice under different imaging conditions.
- a control unit that controls the imaging unit so as to apply the above imaging to the eye to be examined, and a high dynamic range image based on two or more images of the eye to be examined acquired by the two or more imaging operations;
- This method functions as an image processing unit that generates an image.
- Yet another exemplary aspect of the embodiment is a program for operating an ophthalmological apparatus including an imaging unit including an optical system that satisfies Scheimpflug conditions, and a processor, the program operating the processor under imaging conditions.
- a control unit that controls the imaging unit so as to apply two or more different imaging shots to the eye to be examined;
- This is a program that functions as an image processing unit that generates a range image.
- Yet another exemplary aspect of the embodiment is a computer-readable non-transitory device on which a program for operating an ophthalmological apparatus including an imaging unit including an optical system that satisfies Scheimpflug conditions and a processor is recorded.
- the recording medium includes a control unit that controls the imaging unit so that the processor applies two or more imagings with different imaging conditions to the eye to be examined; It is a recording medium that functions as an image processing unit that generates a high dynamic range image based on two or more acquired images of the subject's eye.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmologic apparatus according to an exemplary aspect of an embodiment.
- 3 is a flowchart illustrating processing performed by an ophthalmologic apparatus according to an exemplary aspect of an embodiment.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmologic apparatus according to an exemplary aspect of an embodiment.
- 3 is a flowchart illustrating processing performed by an ophthalmologic apparatus according to an exemplary aspect of an embodiment.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmologic apparatus according to an exemplary aspect of an embodiment.
- 3 is a flowchart illustrating processing performed by an ophthalmologic apparatus according to an exemplary aspect of an embodiment.
- FIG. 5 is a timing chart illustrating processing performed by an ophthalmologic apparatus according to an exemplary aspect of the embodiment.
- 5 is a timing chart illustrating processing performed by an ophthalmologic apparatus according to an exemplary aspect of the embodiment.
- 5 is a timing chart of conventional processing shown for comparison with processing performed by an ophthalmologic apparatus according to an exemplary aspect of the embodiment.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmologic apparatus according to an exemplary aspect of an embodiment.
- 3 is a flowchart illustrating processing performed by an ophthalmologic apparatus according to an exemplary aspect of an embodiment.
- 5 is a timing chart illustrating processing performed by an ophthalmologic apparatus according to an exemplary aspect of the embodiment.
- FIG. 5 is a timing chart illustrating processing performed by an ophthalmologic apparatus according to an exemplary aspect of the embodiment.
- 3 is a flowchart illustrating processing performed by an ophthalmologic apparatus according to an exemplary aspect of an embodiment.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmologic apparatus according to an exemplary aspect of an embodiment.
- 3 is a flowchart illustrating processing performed by an ophthalmologic apparatus according to an exemplary aspect of an embodiment.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmologic apparatus according to an exemplary aspect of an embodiment.
- 3 is a flowchart illustrating processing performed by an ophthalmologic apparatus according to an exemplary aspect of an embodiment.
- FIG. 5 is a timing chart illustrating processing performed by an ophthalmologic apparatus according to an exemplary aspect of the embodiment.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmologic apparatus according to an exemplary aspect of an embodiment.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmologic apparatus according to an exemplary aspect of an embodiment.
- 5 is a timing chart illustrating processing performed by an ophthalmologic apparatus according to an exemplary aspect of the embodiment.
- 5 is a timing chart illustrating processing performed by an ophthalmologic apparatus according to an exemplary aspect of the embodiment.
- 5 is a timing chart illustrating processing performed by an ophthalmologic apparatus according to an exemplary aspect of the embodiment.
- FIG. 3 is a flowchart illustrating processing performed by an ophthalmologic apparatus according to an exemplary aspect of an embodiment.
- FIG. 2 is a timing chart representing a process executed by an ophthalmologic apparatus according to an exemplary aspect of the embodiment, and a schematic diagram of an image obtained by the process.
- FIG. 2 is a timing chart representing a process executed by an ophthalmologic apparatus according to an exemplary aspect of the embodiment, and a schematic diagram of an image obtained by the process.
- 1 is a schematic diagram depicting high dynamic range image generation performed by an ophthalmological device according to an example aspect of an embodiment
- FIG. 3 is a flowchart illustrating processing performed by an ophthalmologic apparatus according to an exemplary aspect of an embodiment.
- FIG. 3 is a flowchart illustrating processing performed by an ophthalmologic apparatus according to an exemplary aspect of an embodiment.
- FIG. 2 is a timing chart representing a process executed by an ophthalmologic apparatus according to an exemplary aspect of the embodiment, and a schematic diagram of an image obtained by the process.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmologic apparatus according to an exemplary aspect of an embodiment.
- FIG. 1 is a schematic diagram illustrating the configuration of an ophthalmologic apparatus according to an exemplary aspect of an embodiment.
- any known technology can be combined with any aspect of the present disclosure.
- any matter disclosed in the documents cited herein can be combined with any aspect of the present disclosure.
- any known technology in the technical field related to the present disclosure can be combined with any aspect of the present disclosure.
- Patent Document 3 Japanese Unexamined Patent Publication No. 2019-213733
- Patent Document 3 Japanese Unexamined Patent Publication No. 2019-213733
- any technical matter disclosed by the applicant of the present application regarding technology related to the present disclosure can be combined with any aspect of the present disclosure.
- the circuit configuration or processing circuit configuration includes a general-purpose processor, a special-purpose processor, an integrated circuit, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit) configured and/or programmed to perform at least a portion of the disclosed functions. ), ASIC (Application Specific Integrated Circuit), programmable logic device (for example, SPLD (Simple Programmable Logic Device), CPLD (Complex Pr Logic Device), FPGA (Field Programmable Gate Array), conventional circuit configurations, and any of these A processor is considered to be a processing circuitry or circuitry that includes transistors and/or other circuitry.
- circuitry, unit, means, or similar terminology refers to the disclosure Hardware that performs at least some of the functions disclosed herein, or hardware that is programmed to perform at least some of the functions disclosed. or may be known hardware programmed and/or configured to perform at least some of the functions described.A processor where the hardware may be considered a type of circuitry.
- circuitry, unit, means, or similar terms is a combination of hardware and software, the software being used to configure the hardware and/or the processor.
- Embodiments according to the present disclosure aim to improve ophthalmological imaging using an optical system that satisfies Scheimpflug conditions.
- some exemplary aspects of embodiments of the present disclosure seek to improve ophthalmic imaging in which images are acquired while moving an optical system that satisfies Scheimpflug conditions.
- the embodiments of the present disclosure aim to improve the dynamic range of images obtained using an optical system that satisfies Scheimpflug conditions.
- some exemplary aspects of embodiments of the present disclosure seek to improve the dynamic range of each of a series of images collected while moving an optical system that satisfies Scheimpflug conditions. be.
- two or more eye parts with significantly different light reflectances may be represented in one image.
- anterior segment imaging often generates images depicting the cornea and crystalline lens, but the reflectance of the cornea and crystalline lens is significantly different, and in fact, the reflectance at the corneal surface is It is known that the reflectance is about 62 times that of the surface of the crystalline lens. Therefore, the dynamic range of a typical image sensor cannot represent the cornea and crystalline lens with appropriate brightness.
- Embodiments according to the present disclosure can be used to solve such problems. That is, one objective of the embodiments according to the present disclosure is to suitably represent two or more eye parts having significantly different reflectances in one image. This makes it possible to improve the quality of images obtained through ophthalmological imaging.
- the wide dynamic range images obtained by the ophthalmological imaging according to the present disclosure can be used in various ways. For example, by selectively extracting a part (partial range) of a wide dynamic range of an image obtained by ophthalmological imaging according to the present disclosure, the characteristics (dynamic range range, etc.) of an arbitrary output device (such as a display device) It becomes possible to provide an image corresponding to the output device to the output device.
- embodiments according to the present disclosure apply two or more images to a subject's eye under different imaging conditions using an optical system that satisfies Scheimpflug conditions. , is configured to generate a high dynamic range image based on the two or more images of the subject's eye acquired thereby.
- the two or more shootings performed under different shooting conditions using an optical system that satisfies the Scheimpflug condition may be performed in any shooting manner.
- the two or more imaging operations according to the embodiment may be two or more imaging operations performed sequentially (sequentially), or two or more imaging operations that are performed in parallel (simultaneously). , or a combination thereof.
- the number of cameras (imaging elements, photographing devices) used for two or more photographing operations according to the embodiment may be arbitrary.
- two or more shots are taken sequentially using one camera.
- two or more images are taken in parallel using two or more cameras.
- the optical system that satisfies the Scheimpflug condition may be, for example, the one disclosed in Patent Document 3 (Japanese Patent Application Laid-Open No. 2019-213733), but is not limited thereto.
- an optical system that satisfies Scheimpflug's conditions it becomes possible to focus and photograph a wide range of the eye to be examined.
- anterior segment imaging it is possible to focus on at least the area defined by the anterior surface of the cornea and the posterior surface of the crystalline lens, and the entire main observation target of the anterior segment can be expressed in high definition. becomes possible.
- a wide range of the subject's eye is expressed in high definition, and each region depicted is expressed with suitable brightness. .
- the embodiments of the present disclosure provide a novel eye image that achieves all of the following: a wide imaging range, high definition over the entire imaging range, and appropriate brightness for each region.
- two or more images of the eye to be examined under different imaging conditions are applied to the eye using an optical system that satisfies the Scheimpflug conditions, and two or more images of the eye to be examined are thus obtained.
- the system has a novel configuration in which a high dynamic range image is generated based on the image.
- the photographing conditions may be any conditions set for photographing using an optical system that satisfies Scheimpflug conditions.
- types of photographing conditions include conditions related to the optical system (optical system conditions), conditions related to movement of the optical system (movement conditions), and conditions other than these.
- Types of optical system conditions include conditions related to the illumination optical system for projecting illumination light onto the eye to be examined (illumination conditions), conditions for the photographic optical system to photograph the eye to be examined using an image sensor (exposure conditions), etc. There is.
- Types of illumination conditions include conditions regarding the intensity of illumination light (illumination intensity conditions), conditions regarding the projection time of illumination light (illumination time conditions), etc.
- the projection time of the illumination light is the length of the period (projection period) during which the illumination light is projected onto the eye to be examined.
- the projection time of illumination light may be referred to as illumination time.
- illumination intensity conditions include conditions related to the light source that emits illumination light (for example, the height of the light source control pulse), conditions related to the neutral density filter provided in the illumination optical system (for example, conditions related to the selection of two or more neutral density filters) conditions, conditions related to variable neutral density filter control), etc.
- illumination time conditions include conditions related to the light source that emits illumination light (for example, the width of the light source control pulse), conditions related to the shutter provided in the illumination optical system (for example, the opening time of the shutter), etc.
- the exposure time conditions include, for example, conditions related to the image sensor (eg, exposure time of the image sensor), conditions related to the shutter provided in the photographic optical system (eg, shutter opening time), and the like.
- the exposure time is the length of a period (exposure period) during which the image sensor can receive light.
- the exposure conditions (exposure time, exposure period, etc.) of these image sensors can be linked.
- Types of movement conditions include optical system movement range (scan range, scan start position, scan end position), movement distance (scan distance), movement speed (scan speed), movement timing (scan start timing, scan end timing, etc.) ), movement modes (continuous movement, intermittent movement, etc.).
- Conditions other than optical system conditions and movement conditions include conditions related to linkage (synchronization) of two or more conditions, conditions related to the eye to be examined, etc.
- conditions related to coordination of two or more conditions include conditions related to coordination of two or more optical system conditions, conditions related to coordination of two or more movement conditions, and conditions related to coordination of one or more optical system conditions and one or more movement conditions. There are conditions regarding cooperation with.
- conditions related to the eye to be examined include conditions related to fixation, conditions related to use of a contrast medium, conditions related to use of a mydriatic agent, conditions related to eye characteristics, etc.
- the eye characteristics may include parameters that affect or can affect the brightness of the eye image, such as pupil diameter, iris color, etc. be.
- two or more imagings performed under different imaging conditions using an optical system that satisfies Scheimpflug conditions are applied to substantially the same position of the eye to be examined.
- the eye to be examined can be Two or more images depicting approximately the same location can be acquired.
- controlling the same position of the eye to be examined twice or more and moving the optical system may be performed alternately. Two or more images with the location depicted can be acquired.
- two or more images with different imaging conditions are performed using an optical system that satisfies the Scheimpflug condition at two or more different positions of the subject's eye. It may be applied to For example, two or more scans in different scanning directions can be applied to the three-dimensional region of the eye to be examined as two or more images with different imaging conditions.
- One specific example is to perform the first scan under the first imaging condition by moving the slit light whose longitudinal direction is the horizontal direction in the vertical direction, and to move the slit light whose longitudinal direction is the vertical direction in the horizontal direction. and execute a second scan under the second imaging condition, and perform a high dynamic range image based on the first three-dimensional image obtained in the first scan and the second three-dimensional image obtained in the second scan.
- the image may be configured to generate an image.
- the process of generating a high dynamic range image from two or more images acquired using an optical system that satisfies Scheimpflug conditions generates a high dynamic range image based on all of the two or more acquired images. It may be a process or a process of generating a high dynamic range image based on only a portion of two or more acquired images.
- the high dynamic range image of the present disclosure is the dynamic range of two or more images (original image group) obtained through two or more shootings under different shooting conditions using an optical system that satisfies Scheimpflug conditions. This is an image with a wider dynamic range.
- the high dynamic range image of the present disclosure is an image that has a dynamic range that is expanded (enlarged) than the images included in the original image group.
- Embodiments according to the present disclosure may be configured to perform control for realizing at least such a function.
- This control may include control of the illumination optical system and/or control of the photographing optical system, as described above.
- embodiments according to the present disclosure may be configured to be able to execute control for realizing other functions.
- Control of the illumination optical system may be any type of control, for example, electrical control such as light source control (on/off) or electronic shutter control, or mechanical shutter control or rotary shutter control. It may be mechanical control such as control, or it may be a combination of electrical control and mechanical control. Note that these shutters are provided in the illumination optical system, and are designed to switch between passing and blocking the illumination light output from the light source (that is, switching between projecting and not projecting the illumination light to the subject's eye). )Function.
- Control of the illumination optical system is not limited to control for switching between a state in which illumination light is projected onto the eye to be examined (projection state) and a state in which it is not projected (non-projection state); Control may also be used to modulate the intensity or amount of illumination light.
- switching between the projection state and the non-projection state corresponds to switching the intensity of the illumination light projected onto the eye to be examined between a positive value and zero.
- intensity modulation corresponds to switching the intensity of illumination light projected onto the eye to be examined between a first value and a second value that are different from each other.
- both the first value and the second value are non-negative values, and either one or both of the first value and the second value is a positive value. Therefore, switching between the projection state and the non-projection state can be said to correspond to one example of intensity modulation.
- the control of the photographing optical system may be any type of control, for example, electrical control such as control of an image sensor or control of an electronic shutter, or control of a mechanical shutter or control of a rotary shutter. It may be mechanical control or a combination of electrical control and mechanical control.
- Some exemplary aspects of the embodiments include performing multiple shots (shooting group) while moving (continuously or intermittently) the illumination optical system and the shooting optical system that satisfy the Scheimpflug condition.
- technology that generates a series of Scheimpflug images (Scheimpflug image group) corresponding to multiple positions (multiple cross-sections) of the subject's eye, and high dynamic range based on the Scheimpflug image group acquired by this imaging group.
- the configuration may be a combination of technology for generating images.
- Some exemplary embodiments produce multiple Scheimpflug image groups corresponding to multiple imaging conditions by performing parallel combinations of optical system movement and imaging groups multiple times while sequentially changing imaging conditions.
- the image forming apparatus may be configured to obtain a plurality of Scheimpflug images, and further generate one or more high dynamic range images based on the plurality of obtained Scheimpflug images.
- two or more high dynamic range images corresponding to two or more imaging target positions (two or more imaging positions, two or more target cross sections) included in the imaging group can be generated.
- some example embodiments may be configured to collect multiple Scheimpflug images by controlling only the illumination conditions and the exposure conditions. It may be configured to collect a plurality of Scheimpflug image groups by controlling only the conditions, or may be configured to collect a plurality of Scheimpflug image groups by controlling both illumination conditions and exposure conditions. You can.
- some exemplary aspects sequentially change one or more types of imaging conditions selected from the two or more types of imaging conditions.
- the image forming apparatus may be configured to generate more than one high dynamic range image.
- the selection of the type of imaging condition may be performed by a user or a computer, for example.
- the selection by the computer is performed based on predetermined information.
- the computer can store information such as the imaging conditions applied in past imaging, medical information (electronic medical records, etc.) regarding the subject and/or the subject's eye, the disease targeted for examination or screening, the subject's attributes and condition, the subject's It may be configured to select the type of imaging condition based on the state of optometry or the like.
- embodiments are configured to collect multiple Scheimpflug images by controlling the illumination conditions. If more than one type of illumination condition is variable, embodiments can change (select) the type of illumination condition that is controlled to collect multiple Scheimpflug images.
- embodiments are configured to collect multiple Scheimpflug images by controlling the exposure conditions. If more than one type of exposure condition is variable, embodiments can change (select) the type of exposure condition that is controlled to collect multiple Scheimpflug images.
- the number of image sensors used in the embodiments may be arbitrary.
- two or more images with different imaging conditions are sequentially applied to the eye to be examined.
- two or more images with different imaging conditions can be applied to the subject's eye partially in parallel in terms of time.
- two or more images with different imaging conditions can be applied to the eye to be examined such that their imaging times at least partially overlap.
- it may be applied to the subject's eye partially in parallel in time, similar to the mode using one image sensor.
- FIG. 1 shows the configuration of an ophthalmological apparatus according to one aspect of the embodiment.
- the ophthalmological apparatus 1000 of this example includes an imaging section 1010, a control section 1020, and an image processing section 1030.
- the photographing unit 1010 includes an optical system 1011 that satisfies Scheimpflug conditions, and generates a digital image (Scheimpflug image) by photographing the eye to be examined using this optical system.
- the optical system 1011 includes an image sensor (not shown) for generating a digital image.
- the control unit 1020 controls the imaging unit 1010 to apply two or more imagings with different imaging conditions to the subject's eye. Under the control executed by the control unit 1020, the imaging unit 1010 generates two or more Scheimpflug images each corresponding to two or more different imaging conditions. As described above, the two or more Scheimpflug images generated by the imaging unit 1010 under the control executed by the control unit 1020 are images taken at substantially the same position of the eye to be examined.
- the control unit 1020 includes hardware elements such as a processor and a storage device.
- the storage device stores computer programs such as control programs.
- the functions of the control unit 1020 are realized by cooperation between software such as a control program and hardware such as a processor.
- the photographing conditions in this aspect may be any conditions (parameters) that affect the brightness of the generated image.
- the photographing conditions of this embodiment include, for example, the above-mentioned illumination conditions (eg, illumination intensity, illumination time) and exposure conditions (eg, exposure time, exposure period).
- the two or more Scheimpflug images generated by the imaging unit 1010 under the control executed by the control unit 1020 are two or more Scheimpflug images that depict substantially the same position of the subject's eye but have different brightness. These are the images above.
- the image processing unit 1030 generates a high dynamic range image based on the two or more Scheimpflug images generated by the imaging unit 1010 under the control executed by the control unit 1020.
- the image processing unit 1030 includes hardware elements such as a processor and a storage device.
- the storage device stores computer programs such as image processing programs.
- the functions of the image processing unit 1030 are realized through cooperation between software such as an image processing program and hardware such as a processor.
- the high dynamic range image of this embodiment is wider than the dynamic range of two or more Scheimpflug images (original image group) generated by the imaging unit 1010 under the control executed by the control unit 1020.
- the image has a dynamic range.
- the type of processing that the image processing unit 1030 executes to generate a high dynamic range image from the original image group may be arbitrary. Some examples of processing performed by the image processing unit 1030 will be described below. Note that the processing executed by the image processing unit 1030 is not limited to these examples.
- two original images (a first original image and a second original image) included in the original image group are considered.
- the first original image and the second original image depict substantially the same position of the eye to be examined, and the brightness of the first original image and the brightness of the second original image are different. Sato are different from each other.
- the image processing unit 1030 identifies a first pixel that satisfies a preset pixel value condition from the first original image.
- the image processing unit 1030 determines the first pixel of the first original image based on the pixel value of the second pixel of the second original image that corresponds to the first pixel identified from the first original image. Change the pixel value of a pixel.
- the image processing unit 1030 performs the first process of identifying the first pixel from the first original image, and the second pixel of the second original image that corresponds to the first pixel.
- a second process and a third process of changing the pixel value of the first pixel based on the pixel value of the second pixel are executed.
- the pixel value condition is a condition regarding the value of a pixel, and in this aspect, it is a condition regarding the brightness of an image, that is, a condition regarding luminance.
- the pixel value condition may be, for example, a pixel value threshold, a pixel value range, or the like.
- the pixel value condition may or may not be a default value.
- the image processing unit 1030 can make the determination based on the brightness of the original image group (for example, the first original image and the second original image).
- the image processing unit 1030 identifies pixels that satisfy the pixel value condition among the pixels of the first original image, for example, by comparing each pixel of the first original image with the pixel value condition. do.
- a set of pixels that satisfy the pixel value condition is called a specific pixel group, and each pixel included in this specific pixel group is called a specific pixel.
- the first original image and the second original image are images depicting substantially the same position of the eye to be examined.
- a positional deviation evaluation for example, any known process such as image registration
- image registration any known process such as image registration
- the pixel position (coordinates) of the feature point in the first original image and the pixel position (coordinates) of the feature point in the second original image. substantially match.
- the image of the eye to be examined in the first original image and the image of the eye to be examined in the second original image substantially overlap.
- the image processing unit 1030 processes this first pixel (each pixel that satisfies the pixel value condition) identified from the first original image in the first process. It is possible to specify a pixel of the second original image located at the same coordinates as the coordinates of the pixel of , and set this specified pixel as the second pixel.
- the image processing unit 1030 may perform registration between the first original image and the second original image.
- This image registration involves, for example, identifying feature points in a first original image corresponding to a predetermined region of the subject's eye, identifying feature points in a second original image corresponding to the same region, and identifying these features. This is done by calculating the relative displacement between points.
- the image processing unit 1030 identifies pixels of the second original image that correspond to the first pixels (each pixel that satisfies the pixel value condition) identified from the first original image in the first process, and The pixel can be set as the second pixel.
- the third process is to convert the pixel value of the first pixel identified from the first original image in the first process to the pixel value of the second pixel (the pixel value) identified from the second original image in the second process.
- the pixel value is changed based on the pixel value of the pixel (pixel corresponding to pixel 1).
- Some examples of operations performed in the third process include: replacing the pixel value of the first pixel with the pixel value of the second pixel; Processing to change and replace the pixel value of the first pixel; Processing to determine the pixel value of the first pixel based on the pixel value in a pixel group of the second original image including the second pixel; A process of determining a pixel value of a first pixel based on a pixel value of a pixel and a pixel value of a second pixel.
- the pixel value of each pixel that satisfies a predetermined pixel value condition in the first original image is changed to the pixel value of the second original image, which has a different brightness from the first original image.
- This can be changed using the pixel values of the corresponding pixels, and it is possible to generate an image (high dynamic range image as referred to in the present disclosure) having a dynamic range expanded from the dynamic range of these original images.
- the first original image and the second original image are elements of the original image group generated by the imaging unit 1010 under the control executed by the control unit 1020.
- the first original image is a relatively brighter image of the two or more original images that are members of the original image set
- the second original image is a relatively brighter image of the two or more original images that are members of the original image group. It is a dark image.
- the image processing unit 1030 may be configured to execute the first to third processes described above as follows.
- the image processing unit 1030 selects a pixel having a luminance value equal to or higher than a preset first threshold from a relatively bright first original image as a first pixel (specific pixel). Identify.
- This first threshold value may be set so as to be able to identify pixels whose brightness values are too high (pixels that are too bright, pixels whose brightness is (almost) saturated, etc.).
- the image processing unit 1030 generates a second original image (relatively dark image) corresponding to the first pixel identified from the first original image in the first process. Identify the second pixel.
- the image processing unit 1030 extracts the pixel from the first original image in the first process based on the pixel value of the second pixel identified from the second original image in the second process.
- the pixel value of the identified first pixel (the pixel of the first original image corresponding to this second pixel) is changed.
- the pixel value of a pixel with too high luminance in the relatively bright first original image can be changed based on the pixel value of a corresponding pixel in the relatively dark second original image. Therefore, it is possible to generate a high dynamic range image in which the exposure of too bright parts of the first original image is optimized.
- the first original image is a relatively darker image of the two or more original images that are members of the original image group
- the second original image is a relatively darker image of the two or more original images that are members of the original image group. This is a particularly bright image.
- the image processing unit 1030 may be configured to execute the first to third processes described above as follows.
- the image processing unit 1030 selects a pixel having a luminance value equal to or less than a preset second threshold from a relatively dark first original image as a first pixel (specific pixel). Identify.
- This second threshold value may be set so as to be able to identify pixels whose brightness values are too low (pixels that are too dark).
- the image processing unit 1030 generates a second original image (relatively bright image) corresponding to the first pixel identified from the first original image in the first process. Identify the second pixel.
- the image processing unit 1030 extracts the pixel from the first original image in the first process based on the pixel value of the second pixel identified from the second original image in the second process.
- the pixel value of the identified first pixel (the pixel of the first original image corresponding to this second pixel) is changed.
- the pixel value of a pixel with too low luminance in the relatively dark first original image can be changed based on the pixel value of the corresponding pixel in the relatively bright second original image. Therefore, it is possible to generate a high dynamic range image in which the exposure of too dark parts of the first original image is optimized.
- the image processing unit 1030 may be configured to execute the first to third processes described above as follows.
- the image processing unit 1030 extracts pixels (referred to as high-luminance pixels) having a luminance value equal to or higher than a preset first threshold value from a medium-luminance original image, and a preset second pixel. Pixels (referred to as low-luminance pixels) having a luminance value less than or equal to a threshold value are identified.
- the image processing unit 1030 identifies pixels of the low-brightness original image that correspond to the high-brightness pixels identified from the medium-brightness original image in the first process. Furthermore, the image processing unit 1030 identifies pixels of the high-brightness original image that correspond to the low-brightness pixels identified from the medium-brightness original image in the first process.
- the image processing unit 1030 processes the high-brightness image specified from the medium-brightness original image in the first process based on the pixel value of the pixel specified from the low-brightness original image in the second process. Change the pixel value of a pixel. Furthermore, the image processing unit 1030 changes the pixel value of the low-brightness pixel specified from the medium-brightness original image in the first process based on the pixel value of the pixel specified from the high-brightness original image in the second process. do.
- the pixel value of a pixel with too high brightness (high brightness pixel) in the medium brightness original image is changed to the pixel value of a corresponding pixel in the low brightness original image, which is relatively dark compared to the medium brightness original image.
- the pixel value of a pixel whose brightness is too low in the medium brightness original image (low brightness pixel) is changed based on the pixel value of the corresponding pixel in the high brightness original image, which is relatively bright compared to the medium brightness original image. Therefore, it is possible to generate a high dynamic range image in which the exposure of both too bright and too dark parts of the first original image is optimized. This concludes the description of the first example of high dynamic range image generation.
- This example is based on the fact that in an image of the eye, there are certain parts that are depicted brightly and parts that are darkly depicted, that is, one part is always depicted brightly and another part is always depicted darkly. It focuses on the fact that For example, in an image of the anterior segment of the eye, the cornea (particularly the corneal vertex and its vicinity) is depicted brightly, and the crystalline lens is depicted darkly. Furthermore, in an image of the fundus, the optic disc is depicted brightly, and the macula is depicted darkly.
- first original image and a second original image depict substantially the same position of the eye to be examined, and the brightness of the first original image and the brightness of the second original image are different. Sato are different from each other.
- the image processing unit 1030 identifies an image area (first image area) corresponding to a predetermined part of the eye to be examined from the first original image. Furthermore, the image processing unit 1030 identifies an image area (second image area) corresponding to the same part from the second original image. Furthermore, the image processing unit 1030 changes the pixel value of the first image area in the first original image based on the pixel value of the second image area in the second original image.
- the image processing unit 1030 extracts an image region corresponding to the cornea of the eye to be examined from each of the first original image and the second original image. Identify.
- the image area identified from the first original image is referred to as a first corneal area
- the image area identified from the second original image is referred to as a second corneal area.
- the first original image is a relatively bright image
- the second original image is a relatively dark image
- the image processing unit 1030 changes the pixel value of the first corneal region in the first original image based on the pixel value of the second corneal region in the second original image.
- the pixel values of pixels included in the first corneal region that is particularly brightly depicted in the relatively bright first original image are changed to Since the change can be made based on the pixel values of pixels included in the corneal region, it is possible to generate a high dynamic range image in which the exposure of the first corneal region in the first original image is optimized.
- the image processing unit 1030 extracts an image area corresponding to the crystalline lens of the eye to be examined from each of the first original image and the second original image. Identify.
- the image area specified from the first original image is called a first lens area
- the image area specified from the second original image is called a second lens area.
- the first original image in this specific example is a relatively dark image
- the second original image is a relatively bright image
- the image processing unit 1030 changes the pixel value of the first lens region in the first original image based on the pixel value of the second crystalline lens region in the second original image.
- the pixel values of pixels included in the first crystalline lens region that is particularly darkly depicted in the relatively dark first original image are changed to Since it can be changed based on the pixel value of the pixel included in the crystalline lens region, it is possible to generate a high dynamic range image in which the exposure of the first lens region in the first original image is optimized. This concludes the description of the second example of high dynamic range image generation.
- the image processing unit 1030 in this example is configured to generate a high dynamic range image by applying tone mapping processing to two or more original images included in the original image group.
- tone mapping is used to transform an image's pixel value distribution into new pixels in order to output an image with a certain dynamic range on media with a narrower dynamic range (e.g., to display it on a display device, print it on paper, etc.).
- This is a technology that converts it into a value distribution.
- the image processing unit 1030 of this example scales the luminance distribution of each of a plurality of images of different brightness acquired under a plurality of different photographing conditions, so that the image can be expressed on an output device (for example, a display device, a printing device, etc.). It is configured to fit a possible brightness distribution. As a result, an apparent (expressive) high dynamic range image is generated. This concludes the description of the third example of high dynamic range image generation.
- the method of high dynamic range image generation is not limited to what has been described above. Some example aspects may be configured to utilize machine learning models to perform high dynamic range image generation.
- This machine learning model uses, for example, a neural network (e.g., Convolutional neural networks). This machine learning model functions to receive input of two or more eye images and output a high dynamic range image.
- a neural network e.g., Convolutional neural networks
- the machine learning model includes applying training data containing multiple pairs of a single eye image and high dynamic range images generated from the eye image to a neural network (e.g., a convolutional neural network).
- a neural network e.g., a convolutional neural network
- FIG. 2 An example of the operation of the ophthalmological apparatus 1000 is shown in FIG. 2.
- the ophthalmological apparatus 1000 controls the imaging unit 1010 by the control unit 1020 to apply two or more imagings under different imaging conditions to the eye to be examined (S1). As a result, an original image group consisting of two or more Scheimpflug images each corresponding to two or more imaging conditions is obtained.
- the ophthalmological apparatus 1000 causes the image processing unit 1030 to generate a high dynamic range image having a dynamic range expanded from the dynamic range of the original image based on the original image group acquired in step S1 (S2). .
- the ophthalmological apparatus 1000 outputs the high dynamic range image generated in step S2.
- the ophthalmological apparatus 1000 can provide a high dynamic range image to a display device, transmit it to another computer, save it to a storage device, record it to a recording medium, and provide it to a printing device. It may be configured to execute output processing for any one of them.
- the image generated by such an ophthalmological apparatus 1000 has the unique advantage of having both high definition over a wide range as a Scheimpflug image and appropriate overall brightness as a high dynamic range image.
- the image has a high quality. This concludes the description of the ophthalmologic apparatus 1000 according to this aspect.
- FIG. 3 shows the configuration of an ophthalmological apparatus according to one aspect of the embodiment. Similar to the ophthalmologic apparatus 1000 described above, the ophthalmologic apparatus 1100 of this example includes an imaging section 1010, a control section 1020, and an image processing section 1030, and the imaging section 1010 further includes an optical system 1011. .
- the optical system 1011 of this embodiment includes an illumination optical system 1012.
- the illumination optical system 1012 is configured to project illumination light onto the eye to be examined.
- the illumination optical system 1012 operates under the control of a control unit 1020 based on preset illumination conditions.
- the control unit 1020 of this embodiment controls the imaging unit 1010 so that two or more imagings with different imaging conditions are applied to the subject's eye.
- the photographing conditions of this embodiment include at least conditions regarding the illumination optical system 1012 (illumination conditions). Therefore, the control unit 1020 of this embodiment controls the imaging unit 1010 (at least the illumination optical system 1012) so that at least two or more imaging operations with different illumination conditions are applied to the subject's eye.
- FIG. 4 An example of the operation of the ophthalmologic apparatus 1100 is shown in FIG. 4.
- the ophthalmological apparatus 1100 controls the imaging unit 1010 using the control unit 1020 to perform imaging on the subject's eye at least two times with different illumination conditions (S11).
- an original image group consisting of two or more Scheimpflug images each corresponding to two or more photographing conditions (including at least two or more illumination conditions) is obtained.
- the ophthalmological apparatus 1100 uses the image processing unit 1030 to generate a high dynamic range image having a dynamic range expanded from the dynamic range of the original image based on the original image group acquired in step S11 (S12). .
- the image generated in step S12 has both a wide range of high definition as a Scheimpflug image and appropriate overall brightness as a high dynamic range image.
- the illumination conditions may include illumination intensity conditions that define the intensity of illumination light.
- the control unit 1020 may be configured to control the imaging unit 1010 (at least the illumination optical system 1012) so that at least two or more imaging operations with different illumination intensity conditions are applied to the subject's eye. Matters related to illumination intensity conditions (types of illumination intensity conditions, configuration for changing illumination intensity conditions, etc.) have been described above. Exemplary ways in which illumination intensity conditions are used are discussed below.
- the illumination conditions may include illumination time conditions that define the projection time of illumination light.
- the control unit 1020 may be configured to control the imaging unit 1010 (at least the illumination optical system 1012) so that at least two or more imagings with different illumination time conditions are applied to the subject's eye. Matters related to the illumination time conditions (types of illumination time conditions, configuration for changing the illumination time conditions, etc.) have been described above. Exemplary ways in which illumination time conditions are used are discussed below. This concludes the description of the ophthalmologic apparatus 1100 according to this aspect.
- FIG. 5 shows the configuration of an ophthalmological apparatus according to one aspect of the embodiment.
- This aspect is an example of an aspect in which illumination intensity conditions are used.
- the ophthalmologic apparatus 1200 of this example includes an imaging section 1010, a control section 1020, and an image processing section 1030, the imaging section 1010 includes an optical system 1011, and the optical system 1011 is an illumination optical system. Contains 1012.
- the photographing unit 1010 of this embodiment includes a moving mechanism 1019.
- the moving mechanism 1019 is configured to move the optical system 1011.
- the moving mechanism 1019 may include a mechanism having the same function as moving the optical system 1011 (same effect as moving the optical system 1011). Examples of such a mechanism include a mechanism (illumination scanner, movable illumination mirror) that moves the illumination position by deflecting illumination light (slit light), and a mechanism that moves the illumination position by deflecting illumination light (slit light); There are mechanisms (imaging scanners, movable imaging mirrors) that move the imaging position by deflecting the image.
- the control unit 1020 of this embodiment controls the imaging unit 1010 so that two or more imagings with different imaging conditions are applied to the subject's eye.
- the photographing conditions of this aspect include at least illumination conditions, and further, the illumination conditions of this aspect include at least illumination intensity conditions. Therefore, the control unit 1020 of this embodiment controls the imaging unit 1010 (at least the illumination optical system 1012) so that at least two or more imaging operations with different illumination intensity conditions are applied to the eye to be examined.
- the illumination intensity conditions of this embodiment include two or more conditions. That is, the illumination intensity conditions of this aspect include two or more conditions corresponding to a plurality of different illumination intensities. As a specific example of two or more conditions included in the illumination intensity conditions, in the control mode shown in FIGS. 7A and 7B, which will be described later, there is a condition (circle 1) that indicates a relatively high intensity, and a condition that indicates a relatively low intensity. condition (mark 2) is provided.
- the control unit 1020 of this embodiment controls the illumination optical system 1012 to cyclically apply two or more conditions included in the illumination intensity conditions (referred to as illumination control), and moves the optical system 1011.
- illumination control controls the illumination optical system 1012 to cyclically apply two or more conditions included in the illumination intensity conditions
- movement control controls the photographing unit 1010 to repeatedly acquire an image group consisting of two or more images each corresponding to two or more conditions included in the illumination intensity condition. It is configured. That is, the control unit 1020 is configured to acquire a plurality of image groups by executing illumination control and movement control, and each of the plurality of image groups is configured to acquire two or more image groups included in the illumination intensity condition. It includes two or more images each corresponding to a condition.
- K conditions included in the illumination intensity conditions be a first condition, a second condition, . . . , and a K-th condition.
- K is an integer of 2 or more. It is assumed that the first to Kth conditions are ordered in this order. Applying the first to Kth conditions in this order is called a series of condition application.
- Illumination control is control for causing the illumination optical system 1012 to repeatedly apply this series of conditions.
- FIGS. 7A and 7B As a specific example of lighting control, in the control mode shown in FIGS. 7A and 7B, which will be described later, a series of conditions showing relatively high intensity (mark 1) and conditions showing relatively low intensity (mark 2) are used. The application of the conditions is repeated. Note that illumination control (cyclic application) when two conditions are included in the illumination intensity condition is alternate application of these two conditions.
- the application mode of the first to Kth conditions is not limited to cyclic application, and the first to Kth conditions may be applied repeatedly while changing the order. Furthermore, in the iterative application of the first to Kth conditions, it is not necessary to apply all of the K conditions in each iteration.
- Movement control is control for changing the position of the eye to be imaged by the optical system 1011.
- the movement control allows the imaging unit 1010 to acquire images at multiple positions of the eye to be examined. Furthermore, the movement control moves the optical system 1011 while maintaining the state in which the optical system 1011 satisfies Scheimpflug conditions. This makes it possible to collect multiple images that are in focus over a wide range.
- the imaging unit 1010 scans the subject's eye (captures images at multiple positions) and collects multiple Scheimpflug images under illumination control and movement control by the control unit 1020.
- the imaging unit 1010 of this embodiment captures a series of shine images by changing the scanning position (the illumination light projection position and the imaging position) according to the movement control while cyclically changing the illumination intensity condition according to the illumination control. Collect proof images.
- the image processing unit 1030 of this embodiment can generate a plurality of high dynamic range images based on a plurality of image groups acquired by a combination of illumination control and movement control.
- K is an integer of 2 or more
- L is an integer of 2 or more.
- K images are obtained at each scan position P(l).
- An image corresponding to the scan position P(l) and the k-th condition C(k) is represented by G(P(l), C(k)).
- K images G(P(l), C(1)), G(P(l), C(2)), . . . , G(P(l)) corresponding to the scan position P(l) are ), C(K)) are called a first condition image, a second condition image, . . . , a K-th condition image, respectively.
- the image processing unit 1030 based on the K condition images G(P(l), C(1)) to G(P(l), C(K)) corresponding to each scan position P(l), A high dynamic range image H(P(l)) at the scan position P(l) is generated. As a result, L high dynamic range images H(P(1)) to H(P(L)) corresponding to L scan positions P(1) to P(L) are obtained.
- the image processing unit 1030 generates a high dynamic range image representing the volume (three-dimensional region) of the eye to be examined based on the L high dynamic range images H(P(1)) to H(P(L)). can do.
- FIG. 1 An example of the operation of the ophthalmologic apparatus 1200 is shown in FIG.
- the imaging unit 1010 of the ophthalmological apparatus 1200 starts scanning the subject's eye under illumination control and movement control by the control unit 1020 (S21).
- imaging is performed under K illumination intensity conditions (first to Kth conditions) at a first scan position P(1) (S22).
- the first to Kth condition images G(P(1), C(1)) to G(P(1), C(K)) corresponding to the first scan position P(1) are obtained. It will be done.
- the ophthalmological apparatus 1200 corresponds to the first to Kth condition images G(P(1), C(1)) to G(P(1), C(K)) to the first scan position P(1). and save it (S23).
- the storage process of the condition image is executed by the control unit 1020, and the storage destination of the condition image is the storage device (described above) within the control unit 1020.
- Steps S22 and S23 are repeatedly executed until the scan is completed (S24). If the scan has not been completed (S24: No), the movement control moves to photographing at the next scan position (S25). When the scan is completed, the process moves to step S26 (S24: Yes).
- steps S22 and S23 are executed at each of L scan positions P(1) to P(L), and K condition images G(P(l), C(1)) to G(P(l), C(K)) are obtained and stored.
- the image processing unit 1030 based on the K condition images G(P(l), C(1)) to G(P(l), C(K)) corresponding to each scan position P(l), A high dynamic range image H(P(l)) at the scan position P(l) is generated (S26). As a result, L high dynamic range images H(P(1)) to H(P(L)) corresponding to L scan positions P(1) to P(L) are obtained.
- Each image generated in step S26 has both high definition over a wide range as a Scheimpflug image and appropriate overall brightness as a high dynamic range image. Furthermore, in this aspect, such high-quality images can be acquired at multiple positions of the eye to be examined.
- a high dynamic range image is generated that represents the volume (three-dimensional region) of the subject's eye. It is also possible to do so.
- FIGS. 7A and 7B Two examples of scanning using illumination control and movement control are shown in FIGS. 7A and 7B.
- FIG. 7C also shows a conventional scan for comparison with these examples.
- the conventional scan shown in FIG. 7C consists of light emission from a light source (output of illumination light, projection of illumination light onto the subject's eye), exposure (photographing) of a camera, and scan position (position of optical system 1011 being moved). This is achieved through cooperative control (synchronous control).
- this conventional scanning involves continuous emission of illumination light, repeated photographing (exposure) by a camera, and continuous movement of the optical system 1011 from the scan start position to the scan end position. It is a combination of Repetitive camera exposure is achieved by alternating exposure and charge transfer (and exposure standby).
- the exposure of the camera and the movement of the scanning position are performed in the same manner as the conventional scan shown in FIG. 7C, but the illumination light from the light source is continuously emitted.
- illumination light is output intermittently (pulse light emission).
- the illumination intensity conditions “circle 1" and “circle 2" correspond to the aforementioned conditions C(1) and C(2), respectively. That is, in the example of FIG. 7A, the illumination intensity condition includes two conditions C(1) and C(2), and these two conditions C(1) and C(2) are cyclically (that is, alternately) ) is applied. Note that condition C(1) is an illumination intensity condition that exhibits relatively high intensity, and condition C(2) is an illumination intensity condition that exhibits relatively low intensity.
- the illumination light emission (projection) sequence (multiple times of light emission in chronological order) and the camera exposure sequence (multiple exposures in chronological order) are synchronized with each other.
- the period of each light emission in the sequence of illumination light corresponds to a projection period, and its length corresponds to a projection time.
- each exposure period in the exposure sequence corresponds to an exposure period, and the length thereof corresponds to an exposure time.
- the projection time may be constant or non-constant.
- the exposure time may be constant or non-constant.
- a portion of the exposure period coincides with one projection period. That is, for each exposure period in the exposure sequence, the length of the projection period (projection time) is shorter than the length of the exposure period (exposure time), and a part of this exposure period and this projection period overlaps with the whole.
- the optical system 1011 is continuously moved from the scan start position to the scan end position, and the optical system 1011 does not repeatedly start and stop suddenly, so vibrations caused by this do not occur during the scan. This will not occur during the process, and will not adversely affect the quality of the image.
- FIG. 7B another scan of this embodiment shown in FIG. 7B is the same as the scan in FIG. 7A except that the optical system 1011 is intermittently moved from the scan start position to the scan end position. Therefore, according to the scan of FIG. 7B, the same effect as the scan of FIG. 7A can be obtained except for the problem of vibration caused by the sudden start and stop of the optical system 1011. Note that by devising the structure and mechanism of the ophthalmologic apparatus 1200, the problem of vibration caused by sudden start and stop of the optical system 1011 can be reduced or eliminated.
- FIG. 8 shows the configuration of an ophthalmological apparatus according to one aspect of the embodiment.
- This aspect is an example of an aspect in which illumination time conditions are used.
- the ophthalmologic apparatus 1300 of this example includes an imaging section 1010, a control section 1020, and an image processing section 1030, and the imaging section 1010 includes an optical system 1011 and a moving mechanism 1019.
- 1011 includes an illumination optical system 1012.
- the control unit 1020 of this embodiment controls the imaging unit 1010 so that two or more imagings with different imaging conditions are applied to the subject's eye.
- the photographing conditions of this aspect include at least illumination conditions, and further, the illumination conditions of this aspect include at least illumination time conditions. Therefore, the control unit 1020 of this embodiment controls the imaging unit 1010 (at least the illumination optical system 1012) so that at least two or more imagings with different illumination time conditions are applied to the eye to be examined.
- the illumination time conditions of this aspect include two or more conditions. That is, the illumination time conditions of this aspect include two or more conditions corresponding to a plurality of different illumination times. As a specific example of two or more conditions included in the illumination time condition, in the control mode shown in FIGS. 10A and 10B described later, a condition indicating a relatively short illumination time (mark 1) and a relatively long illumination time A condition (circle 2) indicating that is provided.
- the control unit 1020 of this embodiment controls the illumination optical system 1012 to cyclically apply two or more conditions included in the illumination time condition (referred to as illumination control), and controls the illumination optical system 1012 to move the optical system 1011.
- illumination control controls the illumination optical system 1012 to move the optical system 1011.
- movement control controls the photographing unit 1010 to repeatedly acquire an image group consisting of two or more images each corresponding to two or more conditions included in the illumination time condition. It is configured.
- control unit 1020 is configured to acquire a plurality of image groups by executing illumination control and movement control, and each of the plurality of image groups is configured to acquire two or more image groups included in the illumination time condition. It includes two or more images each corresponding to a condition.
- M conditions included in the illumination time conditions be a first condition, a second condition, . . . , and an M-th condition.
- M is an integer of 2 or more. It is assumed that the first to Mth conditions are ordered in this order. Applying the first to Mth conditions in this order is called a series of condition application.
- Illumination control is control for causing the illumination optical system 1012 to repeatedly apply this series of conditions.
- a condition indicating a relatively short illumination time (circle 1) and a condition indicating a relatively long illumination time (circle 2) are selected.
- a series of conditions are repeatedly applied. Note that illumination control (cyclic application) when two conditions are included in the illumination time condition is alternate application of these two conditions.
- the application mode of the first to Mth conditions is not limited to cyclic application, and the first to Mth conditions may be applied repeatedly while changing the order. Furthermore, in the iterative application of the first to Mth conditions, it is not necessary to apply all M conditions in each iteration.
- Movement control is control for changing the position of the eye to be imaged by the optical system 1011.
- the movement control allows the imaging unit 1010 to acquire images at multiple positions of the eye to be examined. Furthermore, the movement control moves the optical system 1011 while maintaining the state in which the optical system 1011 satisfies Scheimpflug conditions. This makes it possible to collect multiple images that are in focus over a wide range.
- the imaging unit 1010 scans the subject's eye (captures images at multiple positions) and collects multiple Scheimpflug images under illumination control and movement control by the control unit 1020.
- the imaging unit 1010 of this embodiment captures a series of shine images by changing the scanning position (the illumination light projection position and the imaging position) according to the movement control while cyclically changing the illumination time condition according to the illumination control. Collect proof images.
- the image processing unit 1030 of this embodiment can generate a plurality of high dynamic range images based on a plurality of image groups acquired by a combination of illumination control and movement control.
- the number of conditions included in the illumination time condition is M (M is an integer of 2 or more).
- the number of scan positions by movement control is set to N (N is an integer of 2 or more).
- M images are obtained at each scan position P(n).
- An image corresponding to the scan position P(n) and the m-th condition C(m) is represented by G(P(n), C(m)).
- M images G(P(n), C(1)), G(P(n), C(2)), ..., G(P(n)) corresponding to the scan position P(n) are ), C(M)) are called a first condition image, a second condition image, . . . , an M-th condition image, respectively.
- the image processing unit 1030 based on M condition images G(P(n), C(1)) to G(P(n), C(M)) corresponding to each scan position P(n), A high dynamic range image H(P(n)) at the scan position P(n) is generated. As a result, N high dynamic range images H(P(1)) to H(P(N)) corresponding to N scan positions P(1) to P(N) are obtained.
- the image processing unit 1030 generates a high dynamic range image representing the volume (three-dimensional region) of the eye to be examined based on the N high dynamic range images H(P(1)) to H(P(N)). can do.
- FIG. 1 An example of the operation of the ophthalmological apparatus 1300 is shown in FIG.
- the imaging unit 1010 of the ophthalmological apparatus 1300 starts scanning the subject's eye under illumination control and movement control by the control unit 1020 (S31).
- the ophthalmological apparatus 1300 corresponds to the first to Mth condition images G(P(1), C(1)) to G(P(1), C(M)) to the first scan position P(1). and save it (S33).
- Steps S32 and S33 are repeatedly executed until the scan is completed (S34). If the scan has not been completed (S34: No), the movement control moves to photographing at the next scan position (S35). When the scan is completed, the process moves to step S36 (S34: Yes).
- steps S32 and S33 are executed at each of N scan positions P(1) to P(N), and M condition images G(P(n), C(1)) to G(P(n), C(K)) are obtained and stored.
- the image processing unit 1030 based on M condition images G(P(n), C(1)) to G(P(n), C(M)) corresponding to each scan position P(n), A high dynamic range image H(P(n)) at the scan position P(n) is generated (S36). As a result, N high dynamic range images H(P(1)) to H(P(N)) corresponding to N scan positions P(1) to P(N) are obtained.
- Each image generated in step S36 has both high definition over a wide range as a Scheimpflug image and appropriate overall brightness as a high dynamic range image. Furthermore, in this aspect, such high-quality images can be acquired at multiple positions of the eye to be examined.
- a high dynamic range image is generated that represents the volume (three-dimensional region) of the subject's eye. It is also possible to do so.
- FIGS. 10A and 10B Two examples of scanning using illumination control and movement control in this embodiment are shown in FIGS. 10A and 10B.
- the exposure of the camera and the movement of the scan position are performed in the same manner as the conventional scan shown in FIG. 7C, but the light source emits illumination light continuously.
- illumination light is intermittently output (pulsed light emission).
- the illumination time conditions "Round 1" and “Round 2" correspond to the aforementioned conditions C(1) and C(2), respectively. That is, in the example of FIG. 10A, the illumination time condition includes two conditions C(1) and C(2), and these two conditions C(1) and C(2) are cyclically (that is, alternately) ) is applied. Note that condition C(1) is an illumination time condition indicating a relatively short time, and condition C(2) is an illumination time condition indicating a relatively long time.
- each light emission period in the illumination light sequence corresponds to a projection period, and its length corresponds to a projection time (illumination time).
- each exposure period in the exposure sequence corresponds to an exposure period, and the length thereof corresponds to an exposure time.
- the projection time (illumination time) is non-constant.
- the exposure time may be constant or non-constant.
- a portion of the exposure period coincides with one projection period. That is, for each exposure period in the exposure sequence, the length of the projection period (projection time, illumination time) is shorter than the length of the exposure period (exposure time), and This entire projection period overlaps.
- exposure light reception by the image sensor, charge accumulation
- image blur caused by ophthalmological imaging can be reduced compared to conventional ophthalmic imaging techniques. Therefore, it becomes possible to provide images of higher quality than conventional ophthalmological imaging techniques.
- the optical system 1011 is continuously moved from the scan start position to the scan end position, and the optical system 1011 does not repeatedly start and stop suddenly, so vibrations caused by this do not occur during the scan. This will not occur during the process, and will not adversely affect the quality of the image.
- FIG. 10B another scan of this embodiment shown in FIG. 10B is the same as the scan in FIG. 10A except that the optical system 1011 is intermittently moved from the scan start position to the scan end position. Therefore, according to the scan of FIG. 10B, the same effect as the scan of FIG. 10A can be obtained except for the problem of vibration caused by the sudden start and stop of the optical system 1011. Note that by devising the structure and mechanism of the ophthalmologic apparatus 1300, it is possible to reduce or eliminate the problem of vibration caused by sudden start and stop of the optical system 1011.
- the illumination conditions may include both illumination intensity conditions and illumination time conditions.
- the ophthalmological apparatus of this aspect is configured to perform two or more imaging operations on the subject's eye while switching the illumination conditions by combining illumination intensity conditions and illumination time conditions.
- two or more image groups corresponding to two or more conditions are collected in one scan. That is, in the embodiments shown in FIGS. 5 to 7B and the embodiments shown in FIGS. 8 to 10B, two or more conditions are met while the optical system 1011 is moved only once from the scan start position to the scan end position. We have collected two or more image groups corresponding to .
- the mode of scanning for collecting two or more image groups corresponding to two or more conditions is not limited to this.
- two or more scans are performed to collect two or more image groups corresponding to two or more conditions.
- the embodiment shown in FIG. 11 adopts the case where the illumination time condition includes two or more conditions, but if the illumination intensity condition includes two or more conditions, two or more illumination conditions of another type are used.
- the condition includes a condition, or the case where two or more types of photographing conditions other than the illumination condition are included.
- the scan under the first condition C(1) of the M illumination time conditions (first to Mth conditions) is applied to the eye to be examined (S42).
- This scan is performed multiple times (N times) while moving the optical system 1011 from the scan start position to the scan end position with the illumination time condition fixed at the first condition C(1).
- N images G(P(1), C(1)) to G(P (N), C(1)) are obtained.
- N images G(P(1), C(1)) to G(P(N), C(1)) corresponding to the first condition C(1) are referred to as a first image group.
- step S42 the next scan under the second condition C(2) is performed in the same manner as step S42 (S43).
- Such a scan is performed for each of M conditions C(1) to C(M) (S44). If scanning under a certain condition has not been performed yet (S44: No), the process moves to scanning under the next condition (S45). When scanning under all conditions is completed, the process moves to step S46 (S44: Yes).
- the m-th image group corresponding to the m-th condition C(m) includes N images G(P(1), C(m) corresponding to N scan positions P(1) to P(N), respectively). )) to G(P(N), C(m)).
- the image processing unit 1030 performs registration between the first to Mth image groups (S46). This registration aligns M images G(P(n), C1)) to G(P(n), C(M)) corresponding to the same scan position P(n). .
- the method used for this registration may be arbitrary.
- the control contents in each scan movement control contents, lighting control contents, imaging control contents, etc.
- the It may include images, known registration methods, and the like.
- M volume data (three-dimensional images) are generated from M image groups corresponding to M conditions C(1) to C(M), and these M volumes are Registration (three-dimensional registration) between the data may be executed, and the results of this three-dimensional registration may be used to align the M image groups.
- the M images G(P(n), C(1)) to G(P(n), C(M)) corresponding to each scan position P(n) are aligned. and are associated with each other.
- the M images G(P(n), C(1)) to G(P(n), C(M)) obtained in this way correspond to the scan position P(n) described above. This corresponds to M condition images G(P(n), C(1)) to G(P(n), C(M)).
- the image processing unit 1030 based on M condition images G(P(n), C(1)) to G(P(n), C(M)) corresponding to each scan position P(n), A high dynamic range image H(P(n)) at the scan position P(n) is generated (S47). As a result, N high dynamic range images H(P(1)) to H(P(N)) corresponding to N scan positions P(1) to P(N) are obtained.
- Each image generated in step S47 has both high definition over a wide range as a Scheimpflug image and appropriate overall brightness as a high dynamic range image. Furthermore, in this aspect, such high-quality images can be acquired at multiple positions of the eye to be examined.
- a high dynamic range image is generated that represents the volume (three-dimensional region) of the subject's eye. It is also possible to do so.
- FIG. 12 shows the configuration of an ophthalmological apparatus according to one aspect of the embodiment.
- the ophthalmologic apparatus 1400 of this example includes an imaging section 1010, a control section 1020, and an image processing section 1030, and the imaging section 1010 further includes an optical system 1011.
- the optical system 1011 of this aspect further includes a photographing optical system 1013 in addition to including an illumination optical system 1012 like the ophthalmological apparatus 1200 described above.
- the photographing optical system 1013 is configured to photograph the subject's eye onto which illumination light is projected by the illumination optical system 1012.
- the photographing optical system 1013 operates under the control of a control unit 1020 based on preset exposure conditions.
- the control unit 1020 of this embodiment controls the imaging unit 1010 so as to apply two or more imagings with different imaging conditions to the subject's eye.
- the photographing conditions of this aspect include at least conditions regarding the photographing optical system 1013 (exposure conditions). Therefore, the control unit 1020 of this embodiment controls the imaging unit 1010 (at least the imaging optical system 1013) so that at least two or more imaging operations with different exposure conditions are applied to the subject's eye.
- FIG. 13 An example of the operation of the ophthalmologic apparatus 1400 is shown in FIG. 13.
- the ophthalmological apparatus 1400 controls the imaging unit 1010 using the control unit 1020 to perform imaging on the subject's eye at least two times with different exposure conditions (S51).
- an original image group consisting of two or more Scheimpflug images each corresponding to two or more photographing conditions (including at least two or more exposure conditions) is obtained.
- the ophthalmological apparatus 1400 causes the image processing unit 1030 to generate a high dynamic range image having a dynamic range expanded from the dynamic range of the original image based on the original image group acquired in step S51 (S52). .
- the image generated in step S52 has both high definition over a wide range as a Scheimpflug image and appropriate overall brightness as a high dynamic range image.
- the exposure conditions may include an exposure time condition that determines the exposure time by the photographing optical system 1013.
- the control unit 1020 may be configured to control the imaging unit 1010 (at least the imaging optical system 1013) so that at least two or more imagings with different exposure time conditions are applied to the eye to be examined. Matters related to the exposure time conditions (types of exposure time conditions, configuration for changing the exposure time conditions, etc.) have been described above. Exemplary ways in which exposure time conditions are used are discussed below. This concludes the description of the ophthalmologic apparatus 1400 according to this aspect.
- FIG. 14 shows the configuration of an ophthalmological apparatus according to one aspect of the embodiment.
- This embodiment is an example of an embodiment in which exposure time conditions are used.
- the ophthalmologic apparatus 1500 of this example includes an imaging section 1010, a control section 1020, and an image processing section 1030, and the imaging section 1010 includes an optical system 1011 and a moving mechanism 1019.
- 1011 includes an illumination optical system 1012 and a photographing optical system 1013.
- the photographing optical system 1013 of this example includes an image sensor 1014 and an optical system (not shown) that guides light from the eye to the image sensor 1014.
- the illumination optical system 1012 and the photographing optical system 1013 are configured to satisfy Scheimpflug conditions and function as a Scheimpflug camera. More specifically, a plane passing through the optical axis of the illumination optical system 1012 (a plane including the object plane), the principal plane of the photographing optical system 1013, and the imaging plane of the image sensor 1014 intersect on the same straight line.
- the illumination optical system 1012 and the photographing optical system 1013 are configured to do so.
- the photographing optical system 1013 can be positioned at all positions in the object plane (all positions in the direction along the optical axis of the illumination optical system 1012). You can take pictures with the camera in focus.
- the exposure time conditions in this embodiment include two or more conditions. That is, the exposure time conditions of this aspect include two or more conditions corresponding to a plurality of different exposure times. As a specific example of two or more conditions included in the exposure time condition, in the control mode shown in FIG. 16, which will be described later, there are a condition indicating a relatively long exposure time (marked 1) and a condition indicating a relatively short exposure time. (Circle 2) is provided.
- the control unit 1020 of this aspect controls the photographing optical system 1013 to cyclically apply two or more conditions included in the exposure time condition (referred to as exposure control), and moves the optical system 1011 to move the optical system 1011.
- exposure control controls the photographing optical system 1013 to cyclically apply two or more conditions included in the exposure time condition
- movement control controls the photographing unit 1010 to repeatedly acquire an image group consisting of two or more images each corresponding to two or more conditions included in the exposure time condition. It is configured.
- control unit 1020 is configured to acquire a plurality of image groups by executing exposure control and movement control, and each of the plurality of image groups is configured to acquire two or more image groups included in the exposure time condition. It includes two or more images each corresponding to a condition.
- Exposure control will be explained. Let Q conditions included in the exposure time conditions be a first condition, a second condition, . . . , and a Q-th condition. Here, Q is an integer of 2 or more. It is assumed that the first to Qth conditions are ordered in this order. Applying the first to Qth conditions in this order is called a series of condition application. Exposure control is control for causing the photographing optical system 1013 to repeatedly apply this series of conditions.
- a series of conditions including a condition indicating a relatively long exposure time (mark 1) and a condition indicating a relatively short exposure time (mark 2) are used.
- Condition application is being executed repeatedly. Note that exposure control (cyclic application) when two conditions are included in the exposure time condition is alternate application of these two conditions.
- the application mode of the first to Qth conditions is not limited to cyclic application, and the first to Qth conditions may be applied repeatedly while changing the order. Furthermore, in the iterative application of the first to Q-th conditions, it is not necessary to apply all of the Q conditions in each iteration.
- Movement control is control for changing the position of the eye to be imaged by the optical system 1011.
- the movement control allows the imaging unit 1010 to acquire images at multiple positions of the eye to be examined. Furthermore, the movement control moves the optical system 1011 while maintaining the state in which the optical system 1011 satisfies Scheimpflug conditions. This makes it possible to collect multiple images that are in focus over a wide range.
- the imaging unit 1010 scans the eye to be examined (photographs at multiple positions) and collects multiple Scheimpflug images.
- the imaging unit 1010 of this embodiment captures a series of shine images by changing the scan position (illumination light projection position and photographing position) according to the movement control while cyclically changing the exposure time condition according to the exposure control. Collect proof images.
- the image processing unit 1030 of this embodiment can generate a plurality of high dynamic range images based on a plurality of image groups acquired by a combination of exposure control and movement control.
- the number of conditions included in the exposure time condition is Q (Q is an integer of 2 or more).
- the number of scan positions by movement control is assumed to be R (R is an integer of 2 or more).
- Q images are obtained at each scan position P(r).
- An image corresponding to the scan position P(r) and the q-th condition C(q) is represented by G(P(r), C(q)).
- Q images G(P(r), C(1)), G(P(r), C(2)), . . . , G(P(r)) corresponding to the scan position P(r) are ), C(Q)) are called a first condition image, a second condition image, . . . , a Q-th condition image, respectively.
- the image processing unit 1030 based on the Q condition images G(P(r), C(1)) to G(P(r), C(Q)) corresponding to each scan position P(r), A high dynamic range image H(P(r)) at the scan position P(r) is generated. As a result, R high dynamic range images H(P(1)) to H(P(R)) corresponding to R scan positions P(1) to P(R), respectively, are obtained.
- the image processing unit 1030 generates a high dynamic range image representing the volume (three-dimensional region) of the eye to be examined based on the R high dynamic range images H(P(1)) to H(P(R)). can do.
- FIG. 1500 An example of the operation of the ophthalmologic apparatus 1500 is shown in FIG.
- the imaging unit 1010 of the ophthalmological apparatus 1500 starts scanning the subject's eye under exposure control and movement control by the control unit 1020 (S61).
- the ophthalmological apparatus 1500 corresponds to the first to Qth condition images G(P(1), C(1)) to G(P(1), C(Q)) to the first scan position P(1). and save it (S63).
- Steps S62 and S63 are repeatedly executed until the scan is completed (S64). If the scan has not been completed (S64: No), the movement control moves to photographing at the next scan position (S65). When the scan is completed, the process moves to step S66 (S64: Yes).
- steps S62 and S63 are executed at each of R scan positions P(1) to P(R), and Q condition images G(P(r), C(1)) to G(P(r), C(Q)) are obtained and stored.
- the image processing unit 1030 based on the Q condition images G(P(r), C(1)) to G(P(r), C(Q)) corresponding to each scan position P(r), A high dynamic range image H(P(r)) at the scan position P(r) is generated (S66). As a result, R high dynamic range images H(P(1)) to H(P(R)) corresponding to R scan positions P(1) to P(R), respectively, are obtained.
- Each image generated in step S66 has both high definition over a wide range as a Scheimpflug image and appropriate overall brightness as a high dynamic range image. Furthermore, in this aspect, such high-quality images can be acquired at multiple positions of the eye to be examined.
- a high dynamic range image is generated that represents the volume (three-dimensional region) of the subject's eye. It is also possible to do so.
- FIG. 16 shows an example of scanning using illumination control and movement control in this embodiment.
- the scanning position is moved in the same manner as the conventional scan shown in FIG. 7C, but the light source outputs illumination light intermittently (pulse light emission). Furthermore, exposure time conditions for camera exposure are controlled to switch.
- the exposure time conditions "Circle 1" and “Circle 2" correspond to the aforementioned conditions C(1) and C(2), respectively. That is, in the example of FIG. 16, the exposure time condition includes two conditions C(1) and C(2), and these two conditions C(1) and C(2) are cyclically (that is, alternately) ) is applied. Note that condition C(1) is an exposure time condition indicating a relatively long time, and condition C(2) is an exposure time condition indicating a relatively short time.
- the illumination light is output intermittently, but the illumination light may be output continuously.
- the effects achieved by intermittent output cannot be obtained, but there are advantages such as easy control of the light source and a small load on control processing.
- the illumination light emission (projection) sequence (multiple times of light emission arranged in chronological order) and the camera exposure sequence (multiple exposures arranged in chronological order) are synchronized with each other.
- Each light emission period in the illumination light sequence corresponds to a projection period, and its length corresponds to a projection time (illumination time).
- each exposure period in the exposure sequence corresponds to an exposure period, and the length thereof corresponds to an exposure time.
- the projection time (illumination time) may be constant or non-constant, but the exposure time is non-constant.
- a portion of the exposure period coincides with one projection period. That is, for each exposure period in the exposure sequence, the length of the projection period (projection time, illumination time) is shorter than the length of the exposure period (exposure time), and This entire projection period overlaps.
- exposure light reception by the image sensor, charge accumulation
- Image blur caused by ophthalmological imaging can be reduced compared to conventional ophthalmic imaging techniques. Therefore, it becomes possible to provide images of higher quality than conventional ophthalmological imaging techniques.
- the optical system 1011 is continuously moved from the scan start position to the scan end position, and the optical system 1011 does not repeatedly start and stop suddenly, so vibrations caused by this do not occur during the scan. This will not occur during the process, and will not adversely affect the quality of the image.
- the optical system 1011 is continuously moved from the scan start position to the scan end position, but the optical system 1011 may be moved intermittently as shown in FIGS. 7B and 10B described above.
- Some example aspects may be capable of both switching illumination conditions and switching exposure conditions, and combining switching two or more illumination conditions and switching two or more exposure conditions.
- the eye to be examined may be photographed two or more times during the procedure.
- two or more image groups corresponding to two or more exposure conditions are collected in one scan, but as in the embodiment shown in FIG. Two or more scans may be performed to collect two or more image groups corresponding to the exposure conditions.
- Two or more scans may be performed to collect two or more image groups corresponding to the exposure conditions.
- FIG. 17 shows the configuration of an ophthalmological apparatus according to one aspect of the embodiment.
- the ophthalmological apparatus 1600 of this embodiment includes an imaging section 1010, a control section 1020, and an image processing section 1030, and the imaging section 1010 includes an optical system 1011 and a moving mechanism 1019.
- the optical system 1011 of this embodiment includes an illumination optical system 1012 and a photographing optical system 1013.
- the imaging optical system 1013 of this embodiment includes a first image sensor 1014A, a second image sensor 1014B, an optical system (not shown) that guides light from the eye to the first image sensor 1014A, and the eye to be examined. and an optical system (not shown) that guides light from the image sensor 1014B to the second image sensor 1014B.
- the illumination optical system 1012 and the photographing optical system 1013 are configured to satisfy Scheimpflug conditions and function as a Scheimpflug camera. More specifically, the plane passing through the optical axis of the illumination optical system 1012 (the plane including the object plane), the main surface of the photographing optical system 1013, and the imaging surface of the first image sensor 1014A are on the same straight line. The plane passing through the optical axis of the illumination optical system 1012 (the plane including the object plane), the main surface of the photographing optical system 1013, and the imaging surface of the second image sensor 1014B are the same. An illumination optical system 1012 and a photographing optical system 1013 are configured to intersect on a straight line.
- both the first image sensor 1014A and the second image sensor 1014B focus the photographing optical system 1013 on all positions in the object plane (all positions in the direction along the optical axis of the illumination optical system 1012). You can take pictures with the camera in the correct position.
- the ophthalmological apparatus 1700 of this example includes a first photographing optical system 1013A and a second photographing optical system 1013B as the photographing optical system 1300 of the ophthalmological apparatus 1600.
- the first imaging optical system 1013A includes the first image sensor 1014A shown in FIG. 17 and an optical system that guides light from the eye to the first image sensor 1014A.
- the second imaging optical system 1013B includes the second imaging device 1014B shown in FIG. 17 and an optical system that guides light from the subject's eye to the second imaging device 1014B.
- the ophthalmologic apparatus 1700 shown in FIG. 18 is provided with two mutually independent imaging optical systems 1013A and 1013B. Such embodiments are described below.
- the number of imaging optical systems provided in the ophthalmologic apparatus may be three or more.
- the ophthalmologic apparatus 1600 shown in FIG. 17 has not only a configuration in which two or more imaging optical systems are provided as shown in FIG. 18, but also a configuration in which a single imaging optical system is provided with two or more imaging elements. It also includes configurations. Two or more image sensors in a single photographic optical system are arranged in two or more optical paths that are split using, for example, a beam splitter such as a half mirror.
- the photographing conditions of this aspect include conditions (synchronization conditions) for performing synchronous control of the operation of the illumination optical system 1012, the operation of the first photographing optical system 1013A, and the operation of the second photographing optical system 1013B. . Examples of this synchronization condition are shown in FIGS. 19A and 19B.
- FIG. 19B is an enlarged view of a portion of FIG. 19A.
- camera A corresponds to the first image sensor 1014A of the first photographing optical system 1013A
- camera B corresponds to the second image sensor 1014B of the second photographing optical system 1013B.
- the control unit 1020 of this example controls the light emission timing (illumination period) of the illumination optical system 1012 so that the actual exposure time by the first image sensor 1014A and the actual exposure time by the second image sensor 1014B are different from each other. Then, synchronization control is performed between the exposure timing (exposure period) of the first image sensor 1014A and the exposure timing (exposure period) of the second image sensor 1014B. This synchronous control is for realizing two exposure time conditions: the exposure time of the first image sensor 1014A and the exposure time of the second image sensor 1014B.
- the length TA of the period (first exposure period) in which the illumination period and the exposure period of the first image sensor 1014A overlap is It is longer than the length TB of the period (second exposure period) overlapping with the exposure period 1014B.
- the length of the first exposure period (first exposure time) TA is the actual exposure time by the first image sensor 1014A
- the length of the second exposure period (second exposure time) TB is the actual exposure time by the second image sensor 1014B.
- the first exposure time TA is set to approximately twice the second exposure time.
- control unit 1020 of the present example is configured such that at least part of the first exposure period by the first image sensor 1014A and at least part of the second exposure period by the second image sensor 1014B overlap.
- the image capturing unit 1010 is controlled so that the first exposure time TA of the first image sensor 1014A and the second exposure time TB of the second image sensor 1014B are different. It is for controlling.
- the control unit 1020 of this example controls the imaging unit 1010 to apply two or more imagings under different imaging conditions to the subject's eye using the two image sensors 1014A and 1014B.
- the scan in this example involves light emission control of a light source for intermittently outputting illumination light (pulse light emission), two cameras (two image sensors 1014A and 1014B, and two imaging devices). This is performed by synchronizing the exposure control of the optical systems 1013A and 1013B).
- the length (illumination time, projection time) of one light emission period (width of one pulse, illumination period, projection period) of the light source is equal to the first exposure time TA. equal. That is, in this example, the possible exposure time of camera A (the length of the upper side of one pulse in the sequence showing the exposure operation of camera A) is set longer than the illumination time TA, and the possible exposure period of camera A ( Since the synchronization conditions are set so that the period indicated by the upper side of one pulse in the sequence indicating the exposure operation of camera A overlaps with the entire illumination period, the actual exposure time of camera A (the period indicated by the upper side of one pulse) overlaps with the entire illumination period. TA) is equal to the illumination time TA.
- the possible exposure time of camera B (the length of the upper side of one pulse in the sequence showing the exposure operation of camera B) is set equal to the possible exposure time of camera A, and is longer than the illumination time TA.
- the exposure period of camera B (the upper side of one pulse in the sequence indicating the exposure operation of camera B
- the synchronization conditions are set such that the period shown in FIG.
- the actual exposure time (second exposure time TB) of camera B is approximately half of the illumination time TA, that is, approximately half of the first exposure time TA.
- the illumination light is output intermittently, but the illumination light may be output continuously.
- the exposure period is equal to the exposure period, so the exposure period of camera A (first image sensor 1014A, first photographing optical system 1013A) and camera B (second image sensor 1014B, Synchronization conditions are set so that the exposure possible periods of the second photographing optical system 1013B) have different values.
- FIG. 20 shows synchronization for performing synchronous control of the operation of the illumination optical system 1012, the operation of the first photographing optical system 1013A, and the operation of the second photographing optical system 1013B in the case of such continuous output.
- An example of a condition is shown.
- the optical system 1011 is continuously moved from the scan start position to the scan end position.
- the optical system 1011 may be moved intermittently.
- control unit 1020 of this embodiment controls the imaging optical system 1013 (for example, the imaging optical system 1013 (for example, the two imaging optical By combining the control of the systems 1013A and 1013B) and the control of the moving mechanism 1019 for moving the optical system 1011, the photographing unit 1010 is caused to repeatedly acquire an image group consisting of two images corresponding to two photographing conditions. .
- the image processing unit 1030 of this embodiment can generate a plurality of high dynamic range images based on a plurality of image groups acquired by the imaging unit 1010 under the control of the control unit 1020.
- the image processing unit 1030 may perform processing based on an image group including an image acquired during an exposure period of camera A that overlaps with one illumination period, and an image acquired during an exposure period of camera B that overlaps with the same illumination period. may be configured to generate one high dynamic range image. That is, the image processing unit 1030 of this example is configured to generate a high dynamic range image for each illumination period.
- a high dynamic range image can be generated from a group of images acquired simultaneously, there is an advantage that there is no need to perform registration between images included in the image group. Another advantage is that the process of forming a group of images to be provided to generate the same high dynamic range image can be performed very easily.
- the image processing unit 1030 combines an image acquired during an exposure period of camera A that overlaps with a first illumination period and an image acquired during an exposure period of camera B that overlaps with a second illumination period with a small time difference with respect to the first illumination period.
- the configuration may be configured to generate one high dynamic range image based on a group of images including images acquired during an exposure period of . For example, it is possible to select the illumination period immediately before or after the first illumination period as the second illumination period.
- a high dynamic range image can be generated from a group of images acquired substantially simultaneously, there is an advantage that there is no need to perform registration between two images included in the image group. . Another advantage is that processing for forming a group of images to be provided to generate the same high dynamic range image can be easily performed.
- the processing executed by the image processing unit 1030 of this embodiment is not limited to these examples.
- the image processing unit 1030 may be configured to generate a high dynamic range image based on an image group consisting of two images corresponding to two freely selected illumination periods.
- setting of photographing conditions other than exposure conditions may be arbitrary.
- the gains of two or more image sensors may be set equal.
- any one of the ophthalmologic apparatuses 1000 to 1700, or at least a partial combination of any two or more of the ophthalmologic apparatuses 1000 to 1700 will be explained with further reference to FIGS. 21 to 23.
- alignment is first performed (S71).
- Alignment is positioning of the optical system 1011 with respect to the eye to be examined. Alignment is performed automatically and/or manually. Preparatory operations other than alignment are also performed.
- the optical system 1011 is moved to the scan start position (S72). Movement of the optical system 1011 to the scan start position is performed automatically and/or manually.
- the imaging unit 1010 starts scanning the subject's eye under the control of the control unit 1020 (S73).
- the scanning in this step is performed by a combination of illumination control and movement control.
- the control unit 1020 causes the imaging unit 1010 to start scanning in response to a predetermined event. This event may be, for example, an instruction from the user or completion of step S72.
- the control unit 1020 controls the image sensor 1014 of the optical system 1011 to start exposure (S74), and controls the light source of the illumination optical system 1012 to oscillate high-power pulsed light (S75). ), the image sensor 1014 is controlled to end the exposure (S76).
- the high-output pulsed light is pulsed light with relatively high output compared to the low-output pulsed light described below.
- control unit 1020 stores the images acquired by the image sensor 1014 in steps S74 to S76 in a storage device (not shown) (S77).
- This image is a relatively bright image compared to a low-luminance image, which will be described later, that was acquired using the high-output pulsed light in step S75. In this example, this image is called a high-brightness image.
- the control unit 1020 controls the image sensor 1014 of the optical system 1011 to start exposure (S78), and controls the light source of the illumination optical system 1012 to oscillate low-power pulsed light. (S79), and controls the image sensor 1014 to end the exposure (S80).
- the low-power pulsed light is pulsed light with relatively low power compared to the above-mentioned high-power pulsed light.
- control unit 1020 stores the images acquired by the image sensor 1014 in steps S78 to S80 in a storage device (not shown) (S81).
- This image is a relatively dark image compared to the above-mentioned high-intensity image obtained using the low-power pulsed light in step S79. In this example, this image is called a low-luminance image.
- control unit 1020 determines whether a pre-specified number of images have been acquired (S82). If the specified number of images have not yet been acquired (S82: No), the process returns to step S74. If the specified number of images have already been acquired (S82: Yes), the process advances to step S83, and the scan ends (S83).
- the parameters for the determination in step S82 are not limited to the number of images, and may be, for example, the number of repetitions of steps S74 to S81, the elapsed time of repetition of steps S74 to S81, the moving distance of the optical system 1011, etc.
- FIG. 22A represents the operations at the u-th iteration and the u+1-th iteration.
- u is an integer greater than or equal to 1 and less than or equal to U-1.
- high-power pulsed light V(u, H) and low-power pulsed light V(u, L) are output from the light source, and the image sensor 1014 Two exposures W(u, H) and W(u, L) are performed.
- the period of exposure W (u, H) corresponds to the projection period of high-power pulsed light V (u, H)
- the period of exposure W (u, L) corresponds to the projection period of low-power pulsed light V (u, L). It corresponds to the projection period of
- the image G (u, H) acquired by the image sensor 1014 through exposure W (u, H) is a high brightness image
- the image G (u, L) acquired through exposure W (u, L) is a low brightness image.
- FIG. 22B represents another example of scanning.
- a single pulsed light V(u) is output at the scan position P(u) corresponding to the u-th repetition, and two exposures (first exposure and second exposure) are performed. is executed.
- the overlapping period between the first exposure period and the pulsed light V(u) projection period is the actual exposure W(u, L) in the first exposure. This actual exposure W(u, L) will also be referred to as the first exposure.
- the overlapping period between the second exposure period and the pulsed light V(u) projection period is the actual exposure W(u, H) in the second exposure.
- a low brightness image G (u, L) is acquired by the first exposure W (u, L)
- a high brightness image G (u, H) is acquired by the second exposure W (u, H). is obtained.
- U image groups are collected.
- the image processing unit 1030 generates U high dynamic range images based on the U image groups collected by scanning (S84).
- a high dynamic range image is generated based on each image group, that is, based on each pair of a high brightness image G (u, H) and a low brightness image G (u, L).
- step S84 The image processing unit 1030 identifies pixels having a luminance value equal to or higher than a predetermined threshold (exceeding luminance pixels) from the high luminance image G(u, H), and generates a low luminance image G(u, H) corresponding to the identified excess luminance pixel. , L) (corresponding pixel), and replace the pixel value of the over-luminance pixel with a pixel value based on the pixel value of the corresponding pixel.
- a predetermined threshold extraction luminance pixels
- the image processing unit 1030 multiplies the pixel value of the corresponding pixel by a predetermined value (for example, 2), and replaces the pixel value of the over-luminance pixel with the value of the product.
- a predetermined value for example, 2
- the value by which the pixel value of the corresponding pixel is multiplied is a preset default value, a value determined based on the pair of high brightness image G (u, H) and low brightness image G (u, L), or , may be a value determined by other methods.
- step S84 is shown in FIG.
- the over-brightness region g(u,H) of the high-brightness image G(u,H) is an image region consisting of over-brightness pixels.
- the area g(u,L) of the low-brightness image G(u,L) is an image area (corresponding area) corresponding to the excess brightness area g(u,H) of the high-brightness image G(u,H). be.
- the brightness of the excess brightness area g(u, H) of the high brightness image G(u, H) is changed to the corresponding area g(u, , L).
- an image (high dynamic range image) H(u) is obtained.
- a region h(u) of the high dynamic range image H(u) indicates an image region whose brightness has been optimized.
- step S84 a high dynamic range image is obtained in which various parts of the eye to be examined (corneal epithelium, corneal endothelium, anterior surface of the crystalline lens, posterior surface of the crystalline lens, etc.) are expressed in equal tones. Furthermore, a high dynamic range image representing a three-dimensional region (scanned region) of the eye to be examined is obtained.
- the ophthalmological apparatus 1000 (for example, the image processing unit 1030) generates an image with luminance and tristimulus values compatible with the output device by applying gamma correction to the high dynamic range image generated in step S84. (S85).
- the ophthalmological apparatus 1000 provides the image generated by the gamma correction in step S85 to a predetermined output device. For example, the ophthalmologic apparatus 1000 displays the image generated by performing gamma correction in step S85 on a display device (not shown) (S86). Further, the ophthalmologic apparatus 1000 stores one or more of the various images generated in this example in a storage device (not shown) (S86). This concludes the explanation of the processing executed in this embodiment.
- any one of the ophthalmologic apparatuses 1000 to 1700, or at least a partial combination of any two or more of the ophthalmologic apparatuses 1000 to 1700 will be explained with further reference to FIGS. 24A to 25.
- two images are taken using two imaging devices on the subject's eye, and a high dynamic range image is generated based on the two images thus obtained.
- processing in some steps of this embodiment is the same or similar to the processing described in any aspect of this disclosure and/or any embodiment of this disclosure. May be executed.
- alignment is first performed (S91), the optical system 1011 is moved to the scan start position (S92), and scanning of the subject's eye is started ( S93).
- the scanning in this step is performed by a combination of illumination control, exposure control, and movement control.
- the control unit 1020 controls the first image sensor 1014A to start exposure (S94), waits for a time ⁇ a from step S94 (S95), and controls the second image sensor 1014B. Then, exposure is started (S96).
- control unit 1020 controls the light source of the illumination optical system 1012 to start outputting pulsed light (S97), waits for a time ⁇ b from step S97 (S98), and controls the first image sensor 1014A.
- the exposure is ended (S99), and the image (first image) acquired by the first image sensor 1014A during the exposure period of steps S94 to S99 is stored in a storage device (not shown) (S100).
- the first image acquired in step S100 is relatively high-intensity image, which will be described later, acquired in a relatively short exposure period compared to the exposure period of the second image sensor 1014B, which will be described later. It is a dark image. In this example, this first image is called a low-luminance image.
- control unit 1020 waits for a time ⁇ c from step S99 (S101), controls the light source of the illumination optical system 1012 to stop outputting the pulsed light (S102), and controls the second image sensor 1014B.
- the exposure is ended (S103), and the image (second image) acquired by the second image sensor 1014B during the exposure period of steps S96 to S103 is stored in a storage device (not shown) (S104).
- the second image acquired in step S104 is relatively relatively long compared to the above-mentioned low-luminance image, which was acquired in a relatively long exposure period compared to the exposure period of the first image sensor 1014A. This is a bright image. In this example, this second image is called a high-brightness image.
- control unit 1020 determines whether a pre-specified number of images have been acquired (S105). If the specified number of images have not yet been acquired (S105: No), the process returns to step S94. If the specified number of images have already been acquired (S105: Yes), the process advances to step S106, and the scan ends (S106).
- the parameters for the determination in step S105 are not limited to the number of images, and may be, for example, the number of repetitions of steps S94 to S104, the elapsed time of repetition of steps S94 to S104, the moving distance of the optical system 1011, etc.
- FIG. 25 shows the operations at the u-th iteration and the u+1-th iteration.
- u is an integer greater than or equal to 1 and less than or equal to U-1.
- one light emission of the light source of the illumination optical system 1012, exposure of the first image sensor 1014A, and exposure of the second image sensor 1014B are performed.
- the relationship between the projection period of illumination light, the exposure period of the first image sensor 1014A, and the exposure period of the second image sensor 1014B is as shown in FIG. 25 and the above description.
- the low-luminance image G (u, L ) and a high-intensity image G(u,H) are obtained.
- U image groups are collected.
- the image processing unit 1030 generates U high dynamic range images based on the U image groups collected by scanning (S107).
- the process executed in step S107 may be similar to, for example, step S84 in FIG. 21, FIG. 23, and the techniques described therein.
- step S107 a high dynamic range image is obtained in which various parts of the eye to be examined (corneal epithelium, corneal endothelium, anterior surface of the crystalline lens, posterior surface of the crystalline lens, etc.) are expressed in equal tones. Furthermore, a high dynamic range image representing a three-dimensional region (scanned region) of the eye to be examined is obtained.
- the ophthalmological apparatus 1000 (for example, the image processing unit 1030) applies gamma correction to the high dynamic range image generated in step S107 (S108), and displays it on the display device (S86). Further, the ophthalmological apparatus 1000 stores one or more of the various images generated in this example in the storage device (S86). This concludes the explanation of the processing executed in this embodiment.
- FIG. 26 shows an example of a specific configuration of an ophthalmological device that can function as the ophthalmological devices 1000 to 1700 according to some of the exemplary aspects described above.
- FIG. 26 is a top view.
- the direction along the axis of the eye E to be examined is the Z direction, and among the directions perpendicular to this, the left and right directions for the examinee are the X direction, and the directions perpendicular to both the X direction and the Z direction (vertical direction, body axis direction) ) is the Y direction.
- the ophthalmological apparatus of this example is a slit lamp microscope system 1 having a configuration similar to that disclosed in Patent Document 3 (Japanese Patent Laid-Open No. 2019-213733), and includes an illumination optical system 2 and a photographing optical system 3. , a moving image photographing optical system 4, an optical path coupling element 5, a moving mechanism 6, a control section 7, a data processing section 8, a communication section 9, and a user interface 10.
- the cornea of the eye E to be examined is indicated by the symbol C, and the crystalline lens is indicated by the symbol CL.
- the anterior chamber corresponds to the area between the cornea C and the crystalline lens CL (the area between the cornea C and the iris).
- Patent Document 3 Japanese Patent Application Laid-Open No. 2019-213733.
- the combination of the illumination optical system 2, the photographing optical system 3, and the moving mechanism 6 is an example of the photographing section 1010 of the ophthalmological apparatus 1000 ( ⁇ 1700).
- the illumination optical system 2 is an example of the illumination optical system 1012
- the photographing optical system 3 is an example of the photographing optical system 1013.
- the illumination optical system 2 projects a slit light onto the anterior segment of the eye E to be examined.
- Reference numeral 2a indicates the optical axis (illumination optical axis) of the illumination optical system 2.
- the photographing optical system 3 photographs the anterior segment of the eye onto which the slit light from the illumination optical system 2 is projected.
- Reference numeral 3a indicates the optical axis (photographing optical axis) of the photographing optical system 3.
- the optical system 3A guides light from the anterior segment of the subject's eye E onto which the slit light is projected to the image sensor 3B.
- the image sensor 3B receives the light guided by the optical system 3A on its imaging surface.
- the image sensor 3B includes an area sensor (CCD area sensor, CMOS area sensor, etc.) having a two-dimensional imaging area.
- the image sensor 3B is an example of the image sensor 1014 (1014A, 1014B) of the ophthalmological apparatus 1000 (-1700).
- the illumination optical system 2 and the photographing optical system 3 function as a Scheimpflug camera, and are designed so that the object surface along the illumination optical axis 2a, the imaging surface of the optical system 3A and the image sensor 3B satisfy Scheimpflug conditions.
- the YZ plane (including the object plane) passing through the illumination optical axis 2a, the main surface of the optical system 3A, and the imaging surface of the image sensor 3B are configured to intersect on the same straight line.
- the illumination optical system 2 and the photographing optical system 3 can perform photographing in a state in which at least the range from the posterior surface of the cornea C to the anterior surface of the crystalline lens CL (anterior chamber) is in focus.
- the video photographing optical system 4 is a video camera, and takes a video of the anterior segment of the eye E in parallel with the photographing of the eye by the illumination optical system 2 and the photographing optical system 3.
- the optical path coupling element 5 couples the optical path of the illumination optical system 2 (illumination optical path) and the optical path of the video imaging optical system 4 (video imaging optical path).
- FIG. 27 A specific example of an optical system including the illumination optical system 2, the photographing optical system 3, the moving image photographing optical system 4, and the optical path coupling element 5 is shown in FIG.
- the optical system shown in FIG. 27 includes an illumination optical system 20 which is an example of the illumination optical system 2, and a photographing optical system 3 (first photographing optical system 1013A and second photographing optical system 1013B of the ophthalmological apparatus 1700 in FIG. 18). It includes a left photographing optical system 30L and a right photographing optical system 30R which are examples of the above, a video photographing optical system 40 which is an example of the video photographing optical system 4, and a beam splitter 47 which is an example of the optical path coupling element 5.
- Reference numeral 20a indicates the optical axis (illumination optical axis) of the illumination optical system 20
- reference numeral 30La indicates the optical axis (left imaging optical axis) of the left photographing optical system 30L
- reference numeral 30Ra indicates the optical axis (of the right photographing optical system 30R). right photographing optical axis).
- the angle ⁇ L indicates the angle between the illumination optical axis 20a and the left photographing optical axis 30La
- the angle ⁇ R indicates the angle between the illumination optical axis 20a and the right photographing optical axis 30Ra.
- the moving mechanism 6 moves the illumination optical system 20, the left photographing optical system 30L, and the right photographing optical system 30R in the direction shown by the arrow 49 (X direction).
- the illumination light source 21 of the illumination optical system 20 outputs illumination light (for example, visible light), and the positive lens 22 refracts the illumination light.
- the slit forming section 23 forms a slit to allow part of the illumination light to pass through.
- the generated slit light is refracted by the objective lens groups 24 and 25, reflected by the beam splitter 47, and projected onto the anterior segment of the eye E to be examined.
- the reflector 31L and the imaging lens 32L of the left photographing optical system 30L direct light from the anterior segment of the eye onto which the slit light is projected by the illumination optical system 20 (light traveling in the direction of the left photographing optical system 30L) to the imaging element. Leads to 33L.
- the image sensor 33L receives the guided light at an image pickup surface 34L.
- the left photographing optical system 30L repeatedly performs photographing in parallel with the movement of the illumination optical system 20, left photographing optical system 30L, and right photographing optical system 30R by the moving mechanism 6. As a result, a plurality of anterior segment images (a series of Scheimpflug images) are obtained.
- the object surface along the illumination optical axis 20a, the optical system including the reflector 31L and the imaging lens 32L, and the imaging surface 34L satisfy the Scheimpflug condition.
- the right photographing optical system 30R also has a similar configuration and function.
- the pair of the image sensor 33L and the image sensor 33R is an example of the pair of the first image sensor 1014A and the second image sensor 1014B.
- Scheimpflug image collection by the left photographing optical system 30L and Scheimpflug image collection by the right photographing optical system 30R are performed in parallel with each other.
- the control unit 7 can synchronize repeated shooting by the left shooting optical system 30L and repeated shooting by the right shooting optical system 30R. Thereby, a correspondence relationship between the series of Scheimpflug images obtained by the left photographing optical system 30L and the series of Scheimpflug images obtained by the right photographing optical system 30R is obtained.
- the process of determining the correspondence between the plurality of anterior eye segment images obtained by the left photographing optical system 30L and the plurality of anterior eye segment images obtained by the right photographing optical system 30R is performed by the control unit 7 or the data. It may also be executed by the processing unit 8.
- the video photographing optical system 40 photographs a video of the anterior segment of the subject's eye E from a fixed position in parallel with the photographing by the left photographing optical system 30L and the photographing by the right photographing optical system 30R.
- the light that has passed through the beam splitter 47 is reflected by a reflector 48 and enters the moving image photographing optical system 40 .
- the light incident on the moving image photographing optical system 40 is refracted by an objective lens 41 and then imaged by an imaging lens 42 on an imaging surface of an image sensor 43 (area sensor).
- the moving image photographing optical system 40 is used for monitoring the movement of the eye E to be examined, alignment, tracking, processing of collected Scheimpflug images, and the like.
- the moving mechanism 6 moves the illumination optical system 2 and the photographing optical system 3 integrally in the X direction.
- the control unit 7 controls each part of the slit lamp microscope system 1.
- the control unit 7 controls the illumination optical system 2, the photographing optical system 3, and the moving mechanism 6, and controls the video photographing optical system 4 in parallel, thereby controlling the photographing of the ophthalmological apparatus 1000 ( ⁇ 1700).
- Slit scanning (collecting a series of Scheimpflug images) and video shooting (collecting a series of time-series images) by the unit 1010 can be performed in parallel.
- the control unit 7 also performs slit scanning and video shooting by controlling the illumination optical system 2, photographing optical system 3, and moving mechanism 6, and controlling the video photographing optical system 4 in synchronization with each other. They can be synchronized with each other.
- the control unit 7 controls repeated photographing (collection of Scheimpflug image groups) by the left photographing optical system 30L and repetition by the right photographing optical system 30R. Photographing (collection of Scheimpflug image groups) can be synchronized with each other.
- the control unit 7 includes a processor, a storage device, and the like.
- the storage device stores computer programs such as various control programs.
- the functions of the control unit 7 are realized by cooperation between software such as a control program and hardware such as a processor.
- the control unit 7 controls the illumination optical system 2, the photographing optical system 3, and the movement mechanism 6 in order to scan a three-dimensional region of the eye E to be examined with the slit light.
- Patent Document 3 Japanese Unexamined Patent Publication No. 2019-213733.
- the data processing unit 8 executes various data processing.
- the data processing unit 8 includes a processor, a storage device, and the like.
- the storage device stores computer programs such as various data processing programs.
- the functions of the data processing section 8 are realized by cooperation between software such as a data processing program and hardware such as a processor.
- the data processing section 8 has the function of the image processing section 1030 of the ophthalmological apparatus 1000 (-1700). The function of the data processing section 8 is not limited to this.
- the communication unit 9 performs data communication between the slit lamp microscope system 1 and other devices.
- the user interface 10 includes any user interface devices such as a display device and an operation device.
- the slit lamp microscope system 1 shown in FIGS. 26 and 27 is merely an example, and the configuration for implementing the ophthalmological apparatuses 1000 to 1700 is not limited to the slit lamp microscope system 1.
- the first aspect of the ophthalmological apparatus includes an imaging section, a control section, and an image processing section.
- the photographing section includes an optical system that satisfies Scheimpflug conditions.
- the control unit is configured to control the imaging unit so that two or more imaging operations with different imaging conditions are applied to the subject's eye.
- the image processing unit is configured to generate a high dynamic range image based on two or more images of the eye to be examined acquired through two or more images taken under different imaging conditions.
- the second aspect of the ophthalmological apparatus includes the following non-limiting features in addition to the non-limiting features of the first aspect.
- the optical system includes an illumination optical system that projects illumination light onto the eye to be examined based on preset illumination conditions.
- the control unit is configured to control the imaging unit so that at least two or more imaging operations with different illumination conditions are applied to the eye to be examined.
- the third aspect of the ophthalmological apparatus includes the following non-limiting features in addition to the non-limiting features of the second aspect.
- the illumination conditions include an illumination intensity condition that determines the intensity of illumination light.
- the control unit is configured to control the imaging unit so that at least two or more imaging operations with different illumination intensity conditions are applied to the eye to be examined.
- the fourth aspect of the ophthalmological apparatus includes the following non-limiting features in addition to the non-limiting features of the third aspect.
- the photographing section further includes a moving mechanism that moves the optical system.
- the illumination intensity condition includes two or more conditions.
- the control unit controls the illumination by combining the control of the illumination optical system for cyclically applying two or more conditions included in the illumination intensity conditions and the control of the movement mechanism for moving the optical system.
- the imaging unit is configured to repeatedly acquire an image group consisting of two or more images corresponding to two or more conditions included in the intensity condition.
- the fifth aspect of the ophthalmological apparatus includes the following non-limiting features in addition to the non-limiting features of the fourth aspect.
- the image processing section is configured to generate a plurality of high dynamic range images based on a plurality of image groups acquired by the photographing section under a combination of control of the illumination optical system and control of the movement mechanism.
- the sixth aspect of the ophthalmological apparatus has the following non-limiting features in addition to the non-limiting features of any of the second to fifth aspects.
- the illumination conditions include illumination time conditions that determine the projection time of illumination light.
- the control unit is configured to control the imaging unit so that at least two or more imaging operations with different illumination time conditions are applied to the eye to be examined.
- the seventh aspect of the ophthalmological apparatus includes the following non-limiting features in addition to the non-limiting features of the sixth aspect.
- the photographing section further includes a moving mechanism that moves the optical system.
- the illumination time condition includes two or more conditions.
- the control unit controls the illumination by combining the control of the illumination optical system for cyclically applying two or more conditions included in the illumination time condition and the control of the movement mechanism for moving the optical system.
- the imaging unit is configured to repeatedly acquire an image group consisting of two or more images corresponding to two or more conditions included in the time condition.
- the eighth aspect of the ophthalmological apparatus includes the following non-limiting features in addition to the non-limiting features of the seventh aspect.
- the image processing section is configured to generate a plurality of high dynamic range images based on a plurality of image groups acquired by the photographing section under a combination of control of the illumination optical system and control of the movement mechanism.
- the ninth aspect of the ophthalmological apparatus has the following non-limiting features in addition to the non-limiting features of any of the first to eighth aspects.
- the optical system includes a photographing optical system that photographs the eye to be examined based on preset exposure conditions.
- the control unit is configured to control the imaging unit so that at least two or more imaging operations with different exposure conditions are applied to the subject's eye.
- the tenth aspect of the ophthalmological apparatus includes the following non-limiting features in addition to the non-limiting features of the ninth aspect.
- the photographing optical system includes an image sensor.
- the exposure conditions include an exposure time condition that determines the exposure time by the image sensor.
- the control unit is configured to control the imaging unit so that at least two or more imaging operations with different exposure time conditions are applied to the subject's eye.
- the eleventh aspect of the ophthalmological apparatus includes the following non-limiting features in addition to the non-limiting features of the tenth aspect.
- the photographing section further includes a moving mechanism that moves the optical system.
- the exposure time condition includes two or more conditions.
- the control unit controls the exposure by combining the control of the photographing optical system for cyclically applying two or more conditions included in the exposure time condition and the control of the movement mechanism for moving the optical system.
- the imaging unit is configured to repeatedly acquire an image group consisting of two or more images corresponding to two or more conditions included in the time condition.
- the twelfth aspect of the ophthalmologic apparatus includes the following non-limiting features in addition to the non-limiting features of the eleventh aspect.
- the image processing section is configured to generate a plurality of high dynamic range images based on a plurality of image groups acquired by the photographing section under a combination of control of the photographing optical system and control of the moving mechanism.
- the thirteenth aspect of the ophthalmological apparatus has the following non-limiting features in addition to the non-limiting features of any of the ninth to twelfth aspects.
- the photographing optical system includes two or more image sensors.
- the control unit is configured to control the imaging unit to perform two or more imaging operations under different imaging conditions using two or more image sensors.
- the fourteenth aspect of the ophthalmologic apparatus includes the following non-limiting features in addition to the non-limiting features of the thirteenth aspect.
- the two or more image sensors included in the photographic optical system include a first image sensor and a second image sensor.
- the control unit is configured to control the imaging unit so that a first exposure time by the first image sensor and a second exposure time by the second image sensor are different.
- the fifteenth aspect of the ophthalmological apparatus includes the following non-limiting features in addition to the non-limiting features of the thirteenth or fourteenth aspects.
- the two or more image sensors included in the photographic optical system include a first image sensor and a second image sensor.
- the control unit is configured to control the imaging unit so that at least a part of the first exposure period by the first image sensor and at least a part of the second exposure period by the second image sensor overlap. has been done.
- the 16th aspect of the ophthalmological apparatus has the following non-limiting features in addition to the non-limiting features of any of the 13th to 15th aspects.
- the photographing section further includes a moving mechanism that moves the optical system.
- the control unit controls the photographing optical system to repeatedly apply two or more images to the subject's eye under different photographing conditions using two or more image sensors included in the photographing optical system, and moves the optical system.
- An image consisting of two or more images corresponding to two or more shootings under different shooting conditions using two or more image sensors included in the shooting optical system.
- the imaging unit is configured to repeatedly acquire the group.
- the seventeenth aspect of the ophthalmological apparatus includes the following non-limiting features in addition to the non-limiting features of the sixteenth aspect.
- the image processing section is configured to generate a plurality of high dynamic range images based on a plurality of image groups acquired by the photographing section under a combination of control of the photographing optical system and control of the moving mechanism.
- the 18th aspect of the ophthalmological apparatus includes the following non-limiting features in addition to the non-limiting features of the first aspect.
- the optical system includes an illumination optical system that projects illumination light onto the subject's eye based on preset illumination conditions, and a photographic optical system that photographs the subject's eye based on preset exposure conditions.
- the photographing optical system includes a first image sensor and a second image sensor.
- the control section controls the imaging section so that the following four conditions are satisfied.
- the first condition is that the first exposure time by the first image sensor and the second exposure time by the second image sensor are different.
- the second condition is that at least part of the first exposure period by the first image sensor and at least part of the second exposure period by the second image sensor overlap.
- the third condition is that the first portion of the illumination light projection period by the illumination optical system overlaps the first exposure period by the first image sensor.
- the fourth condition is that the second portion of the illumination light projection period overlaps with the second exposure period by the second image sensor.
- the nineteenth aspect of the ophthalmological apparatus includes the following non-limiting features in addition to the non-limiting features of the eighteenth aspect.
- the photographing section further includes a moving mechanism that moves the optical system.
- the control unit controls the imaging optical system to repeatedly apply a first imaging using the first imaging device to the eye to be examined and a second imaging using the second imaging device to the eye to be examined. By combining this and the control of the movement mechanism for moving the optical system, an image corresponding to the first image capturing using the first image sensor and a second image capturing using the second image sensor are supported.
- the photographing unit is configured to repeatedly acquire a group of images including the images.
- the 20th aspect of the ophthalmological apparatus includes the following non-limiting features in addition to the non-limiting features of the 19th aspect.
- the image processing section is configured to generate a plurality of high dynamic range images based on a plurality of image groups acquired by the photographing section under a combination of control of the photographing optical system and control of the moving mechanism.
- the 21st aspect of the ophthalmological apparatus has the following non-limiting features in addition to the non-limiting features of any of the 1st to 20th aspects.
- the two or more images of the eye to be examined obtained by applying two or more times of imaging under different imaging conditions to the eye to be examined include a first image and a second image.
- the image processing unit performs a process of identifying a first pixel that satisfies a predetermined pixel value condition from the first image, and a process of identifying a first pixel of the second image that corresponds to the first pixel identified from the first image.
- the pixel value of the first pixel of the first image is changed based on the pixel value of the second pixel of the first image.
- the 22nd aspect of the ophthalmological apparatus includes the following non-limiting features in addition to the non-limiting features of the 21st aspect.
- the first image included in the two or more images of the eye to be examined obtained by applying two or more shots under different imaging conditions to the eye to be examined is the relatively smaller image of the two or more images. This is a bright image.
- the second image included in the two or more images of the eye to be examined obtained by applying two or more shots under different imaging conditions to the eye to be examined is the relatively smaller image of the two or more images. This is a dark image.
- the image processing unit is configured to identify, as a first pixel, a pixel having a luminance value equal to or greater than a predetermined first threshold from a relatively bright first image.
- the image processing unit is configured to calculate a pixel value of a second pixel in the relatively dark second image corresponding to a first pixel having a pixel value equal to or higher than the first threshold value in the relatively bright first image. Based on this, the pixel value of the first pixel that is equal to or greater than the first threshold value in the relatively bright first image is changed.
- the twenty-third aspect of the ophthalmological apparatus includes the following non-limiting features in addition to the non-limiting features of the twenty-first aspect.
- the first image included in the two or more images of the eye to be examined obtained by applying two or more shots under different imaging conditions to the eye to be examined is the relatively smaller image of the two or more images. This is a dark image.
- the second image included in the two or more images of the eye to be examined obtained by applying two or more shots under different imaging conditions to the eye to be examined is the relatively smaller image of the two or more images. This is a bright image.
- the image processing unit is configured to identify, as a first pixel, a pixel having a luminance value equal to or less than a predetermined second threshold from the relatively dark first image.
- the image processing unit is configured to calculate a pixel value of a second pixel in a relatively bright second image corresponding to a first pixel having a pixel value equal to or less than a second threshold in the relatively dark first image. Based on this, the pixel value of the first pixel that is equal to or less than the second threshold value in the relatively dark first image is changed.
- the twenty-fourth aspect of the ophthalmologic apparatus has the following non-limiting features in addition to the non-limiting features of any of the first to twenty-third aspects.
- the two or more images of the eye to be examined obtained by applying two or more times of imaging under different imaging conditions to the eye to be examined include a first image and a second image.
- the image processing unit performs a process of identifying a first image region corresponding to a predetermined region of the subject's eye from the first image, and a process of identifying a second image region corresponding to the same region of the subject's eye from the second image.
- the image processing apparatus is configured to perform a process of specifying an image area, and to change a pixel value of the first image area in the first image based on a pixel value of the second image area in the second image.
- the twenty-fifth aspect of the ophthalmologic apparatus has the following non-limiting features in addition to the non-limiting features of any of the first to twenty-fourth aspects.
- the image processing unit is configured to apply tone mapping processing to two or more images of the eye to be examined, which are obtained by applying two or more images of the eye under different imaging conditions to the eye to be examined.
- the twenty-sixth aspect of the ophthalmologic apparatus has the following non-limiting features in addition to the non-limiting features of any of the first to twenty-fifth aspects.
- the optical system includes an illumination optical system that projects illumination light onto the eye to be examined, and a photographic optical system that photographs the eye to be examined.
- the photographing section includes a moving mechanism that moves the illumination optical system and the photographing optical system.
- the control unit controls the illumination light onto the eye to be examined so that the projection time of the illumination light to the eye to be examined is shorter than the exposure time of the imaging optical system.
- At least one of the illumination optical system and the photographing optical system is controlled so that at least a part of the light projection period and at least a part of the exposure period of the photographing optical system overlap.
- the ophthalmological apparatus having these non-limiting features, it is possible to improve the quality of images obtained by ophthalmological imaging. In particular, it is possible to improve the quality of images obtained by ophthalmological imaging using optical scanning.
- Embodiments of ophthalmological devices have been described so far, embodiments according to the present disclosure are not limited to ophthalmological devices.
- Embodiments other than ophthalmological devices include a method for controlling an ophthalmological device, a program, a recording medium, and the like. Similar to the embodiments of the ophthalmological device, these embodiments also allow for improved image quality in ophthalmological imaging.
- a method for controlling an ophthalmological apparatus is a method for controlling an ophthalmological apparatus.
- This ophthalmological device includes an imaging unit and a processor.
- the photographing section includes an optical system that satisfies Scheimpflug conditions.
- the method according to the present embodiment is configured to cause a processor included in the ophthalmologic apparatus to function as a control unit and an image processing unit.
- a processor functioning as a control unit controls the imaging unit so that two or more imagings with different imaging conditions are applied to the eye to be examined.
- a processor functioning as an image processing unit generates a high dynamic range image based on two or more images of the eye to be examined acquired through two or more shootings under different shooting conditions.
- a program according to one embodiment is a program for operating an ophthalmological apparatus.
- This ophthalmological device includes an imaging unit and a processor.
- the photographing section includes an optical system that satisfies Scheimpflug conditions.
- the program according to this embodiment is configured to cause a processor included in an ophthalmologic apparatus to function as a control unit and an image processing unit.
- a processor functioning as a control unit according to the program according to the present embodiment controls the imaging unit so that two or more imaging operations with different imaging conditions are applied to the subject's eye.
- a processor functioning as an image processing unit according to the program according to the present embodiment generates a high dynamic range image based on two or more images of the eye to be examined acquired through two or more shootings under different shooting conditions.
- the recording medium is a computer-readable non-temporary recording medium in which a program for operating an ophthalmological apparatus is recorded.
- This ophthalmological device includes an imaging unit and a processor.
- the photographing section includes an optical system that satisfies Scheimpflug conditions.
- the program recorded on the recording medium is configured to cause the processor included in the ophthalmologic apparatus to function as a control unit and an image processing unit.
- a processor functioning as a control unit according to the program recorded on the recording medium according to the present embodiment controls the imaging unit so that two or more imagings with different imaging conditions are applied to the eye to be examined.
- the processor functioning as an image processing unit according to the program recorded on the recording medium according to the present embodiment generates a high dynamic range image based on two or more images of the eye to be examined acquired through two or more shootings under different shooting conditions. Generate an image.
- the computer-readable non-temporary recording medium that can be used as the recording medium according to the present embodiment may be any type of recording medium, such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory. It may be.
- items arbitrarily selected from various items described as arbitrary aspects of the ophthalmological apparatus according to the embodiments may be used as an embodiment of the ophthalmological apparatus control method, a program embodiment, and a recording medium embodiment. It can be combined with etc.
- any of the matters described in the present disclosure can be combined into an embodiment of a method for controlling an ophthalmologic apparatus, an embodiment of a program, an embodiment of a recording medium, and the like.
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Eye Examination Apparatus (AREA)
Abstract
1つの実施形態に係る眼科装置(1000)は、撮影部(1010)と、制御部(1020)と、画像処理部(1030)とを含んでいる。撮影部は、シャインプルーフの条件を満足する光学系(1011)を含んでいる。制御部は、撮影条件が異なる2回以上の撮影を被検眼に適用するように撮影部の制御を行うように構成されている。画像処理部は、撮影条件が異なる2回以上の撮影により取得された被検眼の2つ以上の画像に基づいてハイダイナミックレンジ画像を生成するように構成されている。
Description
本発明は、眼科装置、眼科装置を制御する方法、プログラム、及び記録媒体に関する。
眼科分野において画像診断は重要な位置を占める。眼科画像診断では、各種の眼科装置が用いられる。眼科装置には、スリットランプ顕微鏡、眼底カメラ、走査型レーザー検眼鏡(SLO)、光干渉断層計(OCT)などがある。また、レフラクトメータ、ケラトメータ、眼圧計、スペキュラーマイクロスコープ、ウェーブフロントアナライザ、マイクロペリメータなどの各種の検査装置や測定装置にも、前眼部や眼底を撮影する機能が搭載されている。
これら様々な眼科装置のうち最も広く且つ頻繁に使用される装置の1つが、眼科医にとっての聴診器とも呼ばれるスリットランプ顕微鏡である。スリットランプ顕微鏡は、スリット光で被検眼を照明し、照明された断面を側方から顕微鏡で観察したり撮影したりするための眼科装置である(例えば、特許文献1、2を参照)。また、シャインプルーフの条件を満足するように構成された光学系を用いることにより被検眼の3次元領域を高速でスキャンすることが可能なスリットランプ顕微鏡も知られている(例えば、特許文献3を参照)。なお、スリットランプ顕微鏡の他にも、スリット光で対象物をスキャンする撮像方式としてはローリングシャッターカメラなどが知られている。
本発明の1つの目的は、眼科イメージングで得られる画像の品質の向上を図ることにある。
実施形態の1つの例示的な態様は、シャインプルーフの条件を満足する光学系を含む撮影部と、撮影条件が異なる2回以上の撮影を被検眼に適用するように前記撮影部の制御を行う制御部と、前記2回以上の撮影により取得された前記被検眼の2つ以上の画像に基づいてハイダイナミックレンジ画像を生成する画像処理部とを含む、眼科装置である。
実施形態の他の例示的な態様は、シャインプルーフの条件を満足する光学系を含む撮影部と、プロセッサとを含む眼科装置を制御する方法であって、前記プロセッサを、撮影条件が異なる2回以上の撮影を被検眼に適用するように前記撮影部の制御を行う制御部、及び、前記2回以上の撮影により取得された前記被検眼の2つ以上の画像に基づいてハイダイナミックレンジ画像を生成する画像処理部として機能させる、方法である。
実施形態の更に他の例示的な態様は、シャインプルーフの条件を満足する光学系を含む撮影部と、プロセッサとを含む眼科装置を動作させるためのプログラムであって、前記プロセッサを、撮影条件が異なる2回以上の撮影を被検眼に適用するように前記撮影部の制御を行う制御部、及び、前記2回以上の撮影により取得された前記被検眼の2つ以上の画像に基づいてハイダイナミックレンジ画像を生成する画像処理部として機能させる、プログラムである。
実施形態の更に他の例示的な態様は、シャインプルーフの条件を満足する光学系を含む撮影部と、プロセッサとを含む眼科装置を動作させるためのプログラムが記録された、コンピュータ可読な非一時的記録媒体であって、前記プログラムが、前記プロセッサを、撮影条件が異なる2回以上の撮影を被検眼に適用するように前記撮影部の制御を行う制御部、及び、前記2回以上の撮影により取得された前記被検眼の2つ以上の画像に基づいてハイダイナミックレンジ画像を生成する画像処理部として機能させる、記録媒体である。
実施形態によれば、眼科イメージングで得られる画像の品質の向上を図ることができる。
実施形態の幾つかの非限定的な例示的態様について、図面を参照しながら詳細に説明する。
本開示に係るいずれかの態様に任意の公知技術を組み合わせることができる。例えば、本明細書で引用する文献に開示されている任意の事項を、本開示に係るいずれかの態様に組み合わせることができる。更に、本開示に関連する技術分野における任意の公知技術を、本開示に係るいずれかの態様に組み合わせることができる。
特許文献3(特開2019-213733号公報)に開示されている全ての内容は、参照によって本開示に援用される。また、本開示に関連する技術について本願の出願人により開示された任意の技術事項(特許出願、論文などにおいて開示された事項)を、本開示に係るいずれかの態様に組み合わせることができる。
本開示に係る様々な態様のうちのいずれか2つ以上の態様を、少なくとも部分的に組み合わせることが可能である。
本開示において説明される要素の機能の少なくとも一部は、回路構成(circuitry)又は処理回路構成(processing circuitry)を用いて実装される。回路構成又は処理回路構成は、開示された機能の少なくとも一部を実行するように構成及び/又はプログラムされた、汎用プロセッサ、専用プロセッサ、集積回路、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)、従来の回路構成、及びそれらの任意の組み合わせのいずれかを含む。プロセッサは、トランジスタ及び/又は他の回路構成を含む、処理回路構成又は回路構成とみなされる。本開示において、回路構成、ユニット、手段、又はこれらに類する用語は、開示された機能の少なくとも一部を実行するハードウェア、又は、開示された機能の少なくとも一部を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されたハードウェアであってよく、或いは、記載された機能の少なくとも一部を実行するようにプログラム及び/又は構成された既知のハードウェアであってもよい。ハードウェアが或るタイプの回路構成とみなされ得るプロセッサである場合、回路構成、ユニット、手段、又はこれらに類する用語は、ハードウェアとソフトウェアとの組み合わせであり、このソフトウェアはハードウェア及び/又はプロセッサを構成するために使用される。
以下の実施形態では、モノクロ画像を扱う場合(モノクロカメラを用いる場合)の様々な態様を説明するが、カラー画像を扱う場合(カラーカメラを用いる場合)においても同様の処理を行うことができることは、当業者であれば理解できるであろう。カラー画像を扱う場合の非限定的な例として、一般的にカラーカメラは3つの色成分画像(R成分画像、G成分画像、B成分画像)を生成するものであることを考慮し、成分画像ごとにハイダイナミックレンジ画像を生成する方法、3つの色成分画像から生成される輝度信号値(Y)を用いてハイダイナミックレンジ画像を生成する方法、カラー画像をモノクロ画像に変換してハイダイナミックレンジ画像を生成する方法、選択された色成分画像のみからハイダイナミックレンジ画像を生成する方法などを採用することが可能である。
<実施形態の概要>
本開示に係る実施形態は、シャインプルーフの条件を満足する光学系を用いた眼科イメージングの向上を図るものである。その応用として、本開示に係る実施形態の幾つかの例示的な態様は、シャインプルーフの条件を満足する光学系を移動しつつ画像収集を行う眼科イメージングの向上を図るものである。
本開示に係る実施形態は、シャインプルーフの条件を満足する光学系を用いた眼科イメージングの向上を図るものである。その応用として、本開示に係る実施形態の幾つかの例示的な態様は、シャインプルーフの条件を満足する光学系を移動しつつ画像収集を行う眼科イメージングの向上を図るものである。
より具体的に述べると、本開示に係る実施形態は、シャインプルーフの条件を満足する光学系を用いて得られた画像のダイナミックレンジの向上を図るものである。その応用として、本開示に係る実施形態の幾つかの例示的な態様は、シャインプルーフの条件を満足する光学系を移動しつつ収集された一連の画像のそれぞれのダイナミックレンジの向上を図るものである。
一般的にダイナミックレンジを向上させることには様々な利点があり、本開示が扱う眼科イメージングにおいては次のような利点がある。
光を利用する眼科イメージングにおいて、光反射率が大きく異なる2以上の眼部位を1つの画像に表現することがある。例えば、前眼部イメージングでは、角膜と水晶体とが描出された画像を生成することが往々にしてあるが、角膜と水晶体とでは反射率が大きく異なっており、実際、角膜表面での反射率は、水晶体表面での反射率の約62倍もあることが知られている。したがって、一般的な撮像素子のダイナミックレンジでは、角膜と水晶体とをそれぞれ好適な明るさで表現することができない。
このような問題を解決するために本開示に係る実施形態を用いることができる。すなわち、本開示に係る実施形態は、反射率が大きく異なる2以上の眼部位を1つの画像に好適に表現することを1つの目的としている。これにより、眼科イメージングで得られる画像の品質向上を図ることが可能になる。
本開示に係る眼科イメージングで得られた広いダイナミックレンジの画像を様々に利用することができる。例えば、本開示に係る眼科イメージングで得られた画像の広いダイナミックレンジの一部(部分レンジ)を選択的に抽出することにより、任意の出力装置(表示装置など)の特性(ダイナミックレンジ範囲など)に応じた画像をその出力装置に提供することが可能になる。
眼科イメージングで得られる画像のダイナミックレンジを向上させるために、本開示に係る実施形態は、シャインプルーフの条件を満足する光学系を用いて撮影条件が異なる2回以上の撮影を被検眼に適用し、それにより取得された被検眼の2つ以上の画像に基づいてハイダイナミックレンジ画像を生成するように構成される。
シャインプルーフの条件を満足する光学系を用いて行われる撮影条件が異なる2回以上の撮影は、任意の撮影態様によって行われてよい。例えば、実施形態に係る2回以上の撮影は、順次的(逐次的)に実行される2つ以上の撮影でもよいし、並行的(同時的)に実行される2つ以上の撮影でもよいし、これらの組み合わせであってもよい。
また、実施形態に係る2回以上の撮影に使用されるカメラ(撮像素子、撮影装置)の個数は任意であってよい。幾つかの例示的な態様では、1つのカメラを用いて順次的に2つ以上の撮影が行われる。また、幾つかの例示的な態様では、2つ以上のカメラを用いて並行的に2つ以上の撮影が行われる。
シャインプルーフの条件を満足する光学系は、例えば、特許文献3(特開2019-213733号公報)に開示されたものであってよいが、それに限定されるものではない。シャインプルーフの条件を満足する光学系を用いることで、被検眼の広い範囲にピントを合わせて撮影を行うことが可能となる。例えば、前眼部イメージングであれば、少なくとも角膜前面及び水晶体後面により画成される範囲にピントを合わせて撮影を行うことができ、前眼部の主要な観察対象の全体を高精細に表現することが可能になる。
したがって、本開示に係る実施形態により生成されるハイダイナミックレンジ画像は、被検眼の広い範囲が高精細に表現され、且つ、描出されている各部位が好適な明るさで表現されたものとなる。
このように、本開示に係る実施形態は、撮影範囲の広さ、撮影範囲全体にわたる高い精細性、及び、部位ごとの明るさの好適性の全てが達成された新規な眼画像を提供することを可能にするものであり、そのために、シャインプルーフの条件を満足する光学系を用いて撮影条件が異なる2回以上の撮影を被検眼に適用し、それにより取得された被検眼の2つ以上の画像に基づいてハイダイナミックレンジ画像を生成する、という新規な構成を備えるものである。
撮影条件は、シャインプルーフの条件を満足する光学系を用いた撮影において設定される任意の条件であってよい。例えば、撮影条件の種類には、光学系に関する条件(光学系条件)、光学系の移動に関する条件(移動条件)、及び、これら以外の条件がある。
光学系条件の種類には、被検眼に照明光を投射するための照明光学系に関する条件(照明条件)、撮像素子を用いて被検眼を撮影するための撮影光学系に関する条件(露光条件)などがある。
照明条件の種類には、照明光の強度に関する条件(照明強度条件)、照明光の投射時間に関する条件(照明時間条件)などがある。照明光の投射時間は、被検眼に照明光が投射されている期間(投射期間)の長さである。本開示において、照明光の投射時間を照明時間と呼ぶことがある。
照明強度条件の例として、照明光を発する光源に関する条件(例えば、光源制御パルスの高さ)、照明光学系に設けられた減光フィルターに関する条件(例えば、2つ以上の減光フィルターの選択に関する条件、バリアブル減光フィルターの制御に関する条件)などがある。
照明時間条件の例として、照明光を発する光源に関する条件(例えば、光源制御パルスの幅)、照明光学系に設けられたシャッターに関する条件(例えば、シャッターの開放時間)などがある。
露光条件の種類として露光時間条件がある。露光時間条件は、例えば、撮像素子に関する条件(例えば、撮像素子の露光時間)、撮影光学系に設けられたシャッターに関する条件(例えば、シャッターの開放時間)などがある。露光時間は、撮像素子が光を受けることが可能な期間(露光期間)の長さである。
撮影光学系が2つ以上の撮像素子を有する場合、これら撮像素子の露光条件(露光時間、露光期間など)を連係させることができる。
移動条件の種類には、光学系の移動範囲(スキャン範囲、スキャン開始位置、スキャン終了位置)、移動距離(スキャン距離)、移動速度(スキャン速度)、移動タイミング(スキャン開始タイミング、スキャン終了タイミングなど)、移動モード(連続的移動、断続的移動(間欠的移動)など)などがある。
光学系条件及び移動条件以外の条件には、2つ以上の条件の連係(同期)に関する条件、被検眼に関する条件などがある。
2つ以上の条件の連係に関する条件の例として、2つ以上の光学系条件の連係に関する条件、2つ以上の移動条件の連係に関する条件、1つ以上の光学系条件と1つ以上の移動条件との連係に関する条件などがある。
被検眼に関する条件の例として、固視に関する条件、造影剤の使用の有無に関する条件、散瞳剤の使用の有無に関する条件、眼の特性に関する条件などがある。この眼の特性は、眼画像の明るさに影響を与えるパラメータや、眼画像の明るさに影響を与える可能性のあるパラメータを含んでいてよく、その例として、瞳孔径、虹彩の色などがある。
幾つかの例示的な態様では、シャインプルーフの条件を満足する光学系を用いて行われる撮影条件が異なる2回以上の撮影は、被検眼の実質的に同じ位置に対して適用される。
光学系の移動が連続的である場合には、例えば、2回以上の撮影に掛かる時間の長さが光学系の移動速度に対して十分に短くなるように制御を行うことによって、被検眼のほぼ同じ位置が描出された2つ以上の画像を取得することができる。
光学系の移動が断続的である場合には、例えば、被検眼の同じ位置に対する2回以上の撮影と、光学系の移動とを交互に行うように制御を行うことによって、被検眼のほぼ同じ位置が描出された2つ以上の画像を取得することができる。
これに対し、幾つかの別の例示的な態様では、シャインプルーフの条件を満足する光学系を用いて行われる撮影条件が異なる2回以上の撮影は、被検眼の異なる2つ以上の位置に対して適用されてもよい。例えば、撮影条件が異なる2回以上の撮影として、スキャン方向が異なる2回以上のスキャンを被検眼の3次元領域に適用することができる。1つの具体例は、横方向を長手方向とするスリット光を縦方向に移動させて第1の撮影条件の第1のスキャンを実行し、縦方向を長手方向とするスリット光を横方向に移動させて第2の撮影条件の第2のスキャンを実行し、第1のスキャンで得た第1の3次元画像と第2のスキャンで得た第2の3次元画像とに基づいてハイダイナミックレンジ画像を生成するように構成されてよい。
シャインプルーフの条件を満足する光学系を用いて取得された2つ以上の画像からハイダイナミックレンジ画像を生成する処理は、取得された2つ以上の画像の全てに基づきハイダイナミックレンジ画像を生成する処理であってもよいし、取得された2つ以上の画像の一部のみに基づきハイダイナミックレンジ画像を生成する処理であってもよい。
本開示のハイダイナミックレンジ画像は、シャインプルーフの条件を満足する光学系を用いて行われた撮影条件が異なる2回以上の撮影で取得された2つ以上の画像(オリジナル画像群)のダイナミックレンジよりも広いダイナミックレンジを有する画像である。換言すると、本開示のハイダイナミックレンジ画像は、オリジナル画像群に含まれる画像よりも拡張(拡大)されたダイナミックレンジを有する画像である。
本開示に係る実施形態は、少なくともこのような機能を実現するための制御を行うように構成されていてよい。この制御は、前述したように、照明光学系の制御及び/又は撮影光学系の制御を含んでいてよい。なお、本開示に係る実施形態は、他の機能を実現するための制御を実行可能に構成されてもよい。
照明光学系の制御は、任意の方式の制御であってよく、例えば、光源の制御(点灯/消灯)や電子シャッターの制御などの電気的制御でもよいし、機械式シャッターの制御や回転式シャッターの制御などの機械的制御でもよいし、電気的制御と機械的制御との組み合わせでもよい。なお、これらのシャッターは、照明光学系に設けられており、光源から出力された照明光の通過と遮蔽とを切り替えるように(つまり、被検眼に対する照明光の投射と不投射とを切り替えるように)機能する。
照明光学系の制御は、被検眼に対して照明光が投射されている状態(投射状態)と投射されていない状態(不投射状態)とを切り替えるための制御に限定されず、被検眼に投射される照明光の強度や光量を変調するための制御であってもよい。
なお、投射状態と不投射状態との切り替えは、被検眼に投射される照明光の強度を正値とゼロとに切り替えることに相当する。これに対し、強度変調は、被検眼に投射される照明光の強度を、互いに異なる第1の値と第2の値とに切り替えることに相当する。ここで、第1の値及び第2の値はいずれも非負値であり、第1の値及び第2の値のいずれか一方又は双方は正値である。したがって、投射状態と不投射状態との切り替えは、強度変調の1つの例に相当するものと言える。
撮影光学系の制御は、任意の方式の制御であってよく、例えば、撮像素子の制御や電子シャッターの制御などの電気的制御でもよいし、機械式シャッターの制御や回転式シャッターの制御などの機械的制御でもよいし、電気的制御と機械的制御との組み合わせでもよい。
実施形態の幾つかの例示的な態様は、シャインプルーフの条件を満足する照明光学系及び撮影光学系を(連続的に又は断続的に)移動しながら複数回の撮影(撮影群)を行うことによって、被検眼の複数の位置(複数の断面)に対応する一連のシャインプルーフ画像(シャインプルーフ画像群)を生成する技術と、この撮影群によって取得されたシャインプルーフ画像群に基づいてハイダイナミックレンジ画像を生成する技術とを組み合わせた構成であってよい。
幾つかの例示的な態様は、光学系の移動と撮影群との並行的な組み合わせを撮影条件を逐次に変えながら複数回実行することによって、複数の撮影条件に対応する複数のシャインプルーフ画像群を取得し、更に、取得された複数のシャインプルーフ画像群に基づいて1つ以上のハイダイナミックレンジ画像を生成するように構成されていてよい。本態様では、撮影群に含まれる2つ以上の撮影の対象位置(2つ以上の撮影位置、2つ以上の対象断面)に対応する2つ以上のハイダイナミックレンジ画像を生成することができる。例えば、本態様によれば、光学系の移動と撮影群との並行的な組み合わせによってスキャンされた被検眼のボリューム(3次元領域)を表現するハイダイナミックレンジ画像を生成することが可能である。
照明条件及び露光条件の双方が可変である場合において、幾つかの例示的な態様は、照明条件のみを制御することによって複数のシャインプルーフ画像群を収集するように構成されてもよいし、露光条件のみを制御することによって複数のシャインプルーフ画像群を収集するように構成されてもよいし、照明条件及び露光条件の双方を制御することによって複数のシャインプルーフ画像群を収集するように構成されてもよい。
より一般に、2つ以上の種類の撮影条件が可変な実施形態において、幾つかの例示的な態様は、これら2つ以上の種類の撮影条件から選択された1つ以上の種類の撮影条件を逐次に変えながら、光学系の移動と撮影群との並行的な組み合わせを複数回実行することによって、異なる複数の撮影条件に対応する複数のシャインプルーフ画像群を取得し、これらシャインプルーフ画像群から1つ以上のハイダイナミックレンジ画像を生成するように構成されていてよい。
撮影条件の種類の選択は、例えばユーザー又はコンピュータによって行われてよい。コンピュータによる選択は、所定の情報に基づいて実行される。例えば、コンピュータは、過去の撮影で適用された撮影条件、被検者及び/又は被検眼に関する医療情報(電子カルテなど)、検査やスクリーニングの対象となる疾患、被検者の属性や状態、被検眼の状態などに基づいて撮影条件の種類の選択を行うように構成されてよい。
照明条件が可変であり且つ露光条件が固定又はプリセットである場合、実施形態は、照明条件を制御することによって複数のシャインプルーフ画像群を収集するように構成される。2つ以上の種類の照明条件が可変である場合、実施形態は、複数のシャインプルーフ画像群を収集するために制御される照明条件の種類を変更(選択)することができる。
逆に、照明条件が固定又はプリセットであり且つ露光条件が可変である場合、実施形態は、露光条件を制御することによって複数のシャインプルーフ画像群を収集するように構成される。2つ以上の種類の露光条件が可変である場合、実施形態は、複数のシャインプルーフ画像群を収集するために制御される露光条件の種類を変更(選択)することができる。
前述したように、実施形態において使用される撮像素子の個数は任意であってよい。1つの撮像素子を使用する態様では、撮影条件が異なる2回以上の撮影を順次に被検眼に適用する。一方、2つ以上の撮像素子を使用する態様では、撮影条件が異なる2回以上の撮影を時間的に部分的に並行して被検眼に適用することができる。換言すると、2つ以上の撮像素子を使用する態様では、撮影条件が異なる2回以上の撮影を互いの撮影時間が少なくとも部分的に重複するように被検眼に適用することができる。なお、2つ以上の撮像素子を使用する態様においても、1つの撮像素子を使用する態様と同様に、時間的に部分的に並行して被検眼に適用してもよい。
以上に概要を説明した実施形態について幾つかの例示的な態様を説明する。本開示では、眼科装置の例示的な態様、眼科装置を制御する方法の例示的な態様、プログラムの例示的な態様、及び記録媒体の例示的な態様について主に説明するが、実施形態の態様はこれらに限定されるものではない。例えば、医療方法の様々な態様、撮影方法の様々な態様、データ処理方法の様々な態様などが本開示によって提供されることは、当業者であれば理解することができるであろう。
<眼科装置>
実施形態に係る眼科装置の幾つかの例示的な態様を提供する。
実施形態に係る眼科装置の幾つかの例示的な態様を提供する。
実施形態の1つの態様に係る眼科装置の構成を図1に示す。本例の眼科装置1000は、撮影部1010と、制御部1020と、画像処理部1030とを含んでいる。
撮影部1010は、シャインプルーフの条件を満足する光学系1011を含み、この光学系を用いて被検眼を撮影することによってデジタル画像(シャインプルーフ画像)を生成する。光学系1011は、デジタル画像を生成するための図示しない撮像素子を備えている。シャインプルーフの条件を満足する光学系1011を含む撮影部1010については、その幾つかの非限定的な具体例を後述する。
制御部1020は、撮影条件が異なる2回以上の撮影を被検眼に適用するように撮影部1010の制御を行う。制御部1020により実行される制御の下に、撮影部1010は、異なる2つ以上の撮影条件にそれぞれ対応する2つ以上のシャインプルーフ画像を生成する。前述したように、制御部1020により実行される制御の下に撮影部1010によって生成される2つ以上のシャインプルーフ画像は、被検眼の実質的に同じ位置を撮影した画像である。
制御部1020は、プロセッサ、記憶装置などのハードウェア要素を含む。記憶装置には、制御プログラム等のコンピュータプログラムが記憶されている。制御部1020の機能は、制御プログラム等のソフトウェアと、プロセッサ等のハードウェアとの協働によって実現される。
本態様の撮影条件は、生成される画像の明るさに影響を与える任意の条件(パラメータ)であってよい。なお、本態様の撮影条件としては、例えば、前述した照明条件(例:照明強度、照明時間)や露光条件(例:露光時間、露光期間)などがある。撮影条件が異なる2回以上の撮影を撮影部1010に実行させるための制御については、その幾つかの非限定的な具体例を後述する。
このように、制御部1020により実行される制御の下に撮影部1010によって生成される2つ以上のシャインプルーフ画像は、被検眼の実質的に同じ位置を描出した、異なる明るさを有する2つ以上の画像である。
画像処理部1030は、制御部1020により実行される制御の下に撮影部1010によって生成された2つ以上のシャインプルーフ画像に基づいてハイダイナミックレンジ画像を生成する。
画像処理部1030は、プロセッサ、記憶装置などのハードウェア要素を含む。記憶装置には、画像処理プログラム等のコンピュータプログラムが記憶されている。画像処理部1030の機能は、画像処理プログラム等のソフトウェアと、プロセッサ等のハードウェアとの協働によって実現される。
前述したように、本態様のハイダイナミックレンジ画像は、制御部1020により実行される制御の下に撮影部1010によって生成された2つ以上のシャインプルーフ画像(オリジナル画像群)のダイナミックレンジよりも広いダイナミックレンジを有する画像である。
オリジナル画像群からハイダイナミックレンジ画像を生成するために画像処理部1030が実行する処理の種類は任意であってよい。画像処理部1030により実行される処理の幾つかの例を以下に説明する。なお、画像処理部1030が実行する処理はこれらの例に限定されない。
ハイダイナミックレンジ画像生成の第1の例を説明する。以下の具体例では2つのオリジナル画像が考慮される場合について説明するが、3つ以上のオリジナル画像が考慮される場合についても同様の処理を実行できることは、当業者であれば理解することができるであろう。
本例では、オリジナル画像群に含まれる2つのオリジナル画像(第1のオリジナル画像及び第2のオリジナル画像)を考慮する。前述したように、第1のオリジナル画像と第2のオリジナル画像とは被検眼の実質的に同じ位置を描出しており、且つ、第1のオリジナル画像の明るさと第2のオリジナル画像との明るさとは互いに異なっている。
まず、画像処理部1030は、第1のオリジナル画像から、予め設定された画素値条件を満足する第1の画素を特定する。
更に、画像処理部1030は、第1のオリジナル画像から特定された第1の画素に対応する第2のオリジナル画像の第2の画素の画素値に基づいて、第1のオリジナル画像の第1の画素の画素値を変更する。
このように、画像処理部1030は、第1のオリジナル画像から第1の画素を特定する第1の処理と、この第1の画素に対応する第2のオリジナル画像の第2の画素を特定する第2の処理と、この第2の画素の画素値に基づいて第1の画素の画素値を変更する第3の処理とを実行する。
第1の処理について、画素値条件は、画素(ピクセル)の値に関する条件であり、本態様では、画像の明るさに関する条件、つまり輝度に関する条件である。画素値条件は、例えば、画素値の閾値、画素値の範囲(レンジ)などであってよい。
また、画素値条件は、デフォルト値でもよいし、デフォルト値でなくてもよい。後者の場合、例えば、画像処理部1030が、オリジナル画像群(例えば、第1のオリジナル画像及び第2のオリジナル画像)の輝度に基づいて決定することができる。
第1の処理において、画像処理部1030は、例えば、第1のオリジナル画像の各画素を画素値条件と対照することによって、第1のオリジナル画像の画素のうち画素値条件を満足する画素を特定する。本例では、画素値条件を満足する画素の集合を特定画素群と呼び、この特定画素群に含まれる各画素を特定画素と呼ぶ。
第2の処理について説明する。前述したように、第1のオリジナル画像と第2のオリジナル画像とは、被検眼の実質的に同じ位置を描出した画像である。
第1のオリジナル画像に描出されている被検眼の像と第2のオリジナル画像に描出されている被検眼の像との間に実質的な位置ずれが存在しないと仮定できる場合、又は、実質的な位置ずれが存在しないと判定された場合、第1のオリジナル画像の画素の位置と第2のオリジナル画像の画素の位置との間に自然な対応関係を定義することができる。
位置ずれが存在しないと仮定できる場合の例として、第1のオリジナル画像を生成するための撮影と、第2のオリジナル画像を生成するための撮影との間の時間差が十分に小さい(眼球運動の速度や、後述するスキャンにおける光学系の移動速度などと比較して、十分に小さい)場合がある。
位置ずれが存在しないと判定された場合の例として、第1のオリジナル画像と第2のオリジナル画像との間の位置ずれ評価(例えば、画像レジストレーションなど、任意の公知の処理)を実行してそのような判定結果が得られた場合がある。
上記の自然な対応関係では、被検眼の任意の特徴点について、第1のオリジナル画像における当該特徴点の画素位置(座標)と、第2のオリジナル画像における当該特徴点の画素位置(座標)とが実質的に一致する。換言すると、第1のオリジナル画像と第2のオリジナル画像を互いに重ねたとき、第1のオリジナル画像中の被検眼の像と第2のオリジナル画像中の被検眼の像とが実質的に重なり合う。
この自然な対応関係が定義された場合、画像処理部1030は、第1の処理で第1のオリジナル画像から特定された第1の画素(画素値条件を満足する各画素)について、この第1の画素の座標と同じ座標に位置する第2のオリジナル画像の画素を特定し、この特定された画素を第2の画素に設定することができる。
これに対し、第1のオリジナル画像に描出されている被検眼の像と第2のオリジナル画像に描出されている被検眼の像との間に実質的な位置ずれが存在する可能性がある場合、又は、実質的な位置ずれが存在すると判定された場合、画像処理部1030は、第1のオリジナル画像と第2のオリジナル画像との間のレジストレーションを実行することができる。この画像レジストレーションは、例えば、被検眼の所定の部位に対応する第1のオリジナル画像中の特徴点を特定し、同じ部位に対応する第2のオリジナル画像中の特徴点を特定し、これら特徴点の間の相対変位を算出することによって実行される。
第1のオリジナル画像における画素位置の定義座標系と、第2のオリジナル画像における画素位置の定義座標系との間の対応関係を、画像レジストレーションで算出された相対変位に基づき決定することによって、画像処理部1030は、第1の処理で第1のオリジナル画像から特定された第1の画素(画素値条件を満足する各画素)に対応する第2のオリジナル画像の画素を特定し、この特定された画素を第2の画素に設定することができる。
第3の処理は、第1の処理で第1のオリジナル画像から特定された第1の画素の画素値を、第2の処理で第2のオリジナル画像から特定された第2の画素(当該第1の画素に対応する画素)の画素値に基づいて変更するものである。
第3の処理において実行される処理の幾つかの例として、次のものがある:第2の画素の画素値で第1の画素の画素値を置換する処理;第2の画素の画素値を変更して第1の画素の画素値を置換する処理;第2の画素を含む第2のオリジナル画像の画素群における画素値に基づいて第1の画素の画素値を決定する処理;第1の画素の画素値と第2の画素の画素値とに基づいて第1の画素の画素値を決定する処理。
このような第1~第3の処理によって、第1のオリジナル画像において所定の画素値条件を満足する各画素の画素値を、第1のオリジナル画像とは明るさが異なる第2のオリジナル画像の対応画素の画素値を用いて変更することができ、これらオリジナル画像のダイナミックレンジよりも拡大されたダイナミックレンジを有する画像(本開示で言うハイダイナミックレンジ画像)を生成することができる。
前述したように、第1のオリジナル画像及び第2のオリジナル画像は、制御部1020により実行される制御の下に撮影部1010によって生成されたオリジナル画像群の要素である。幾つかの例示的な態様において、第1のオリジナル画像は、このオリジナル画像群の要素である2つ以上のオリジナル画像のうち相対的に明るい画像であり、第2のオリジナル画像は、相対的に暗い画像である。この場合、画像処理部1030は、上記した第1~第3の処理を次のようにして実行するように構成されてよい。
まず、第1の処理において、画像処理部1030は、相対的に明るい第1のオリジナル画像から、予め設定された第1の閾値以上の輝度値を有する画素を第1の画素(特定画素)として特定する。この第1の閾値は、輝度値が高すぎる画素(明るすぎる画素、輝度が(ほぼ)飽和している画素など)を特定することができるように設定されてよい。
次に、第2の処理において、画像処理部1030は、第1の処理で第1のオリジナル画像から特定された第1の画素に対応する、第2のオリジナル画像(相対的に暗い画像)の第2の画素を特定する。
そして、第3の処理において、画像処理部1030は、第2の処理で第2のオリジナル画像から特定された第2の画素の画素値に基づいて、第1の処理で第1のオリジナル画像から特定された第1の画素(この第2の画素に対応する第1のオリジナル画像の画素)の画素値を変更する。
このような態様によれば、相対的に明るい第1のオリジナル画像において輝度が高すぎる画素の画素値を、相対的に暗い第2のオリジナル画像における対応画素の画素値に基づき変更することができるので、第1のオリジナル画像の明るすぎる部分の露出が適正化されたハイダイナミックレンジ画像を生成することが可能である。
逆に、幾つかの例示的な態様において、第1のオリジナル画像は、オリジナル画像群の要素である2つ以上のオリジナル画像のうち相対的に暗い画像であり、第2のオリジナル画像は、相対的に明るい画像である。この場合、画像処理部1030は、上記した第1~第3の処理を次のようにして実行するように構成されてよい。
まず、第1の処理において、画像処理部1030は、相対的に暗い第1のオリジナル画像から、予め設定された第2の閾値以下の輝度値を有する画素を第1の画素(特定画素)として特定する。この第2の閾値は、輝度値が低すぎる画素(暗すぎる画素)を特定することができるように設定されてよい。
次に、第2の処理において、画像処理部1030は、第1の処理で第1のオリジナル画像から特定された第1の画素に対応する、第2のオリジナル画像(相対的に明るい画像)の第2の画素を特定する。
そして、第3の処理において、画像処理部1030は、第2の処理で第2のオリジナル画像から特定された第2の画素の画素値に基づいて、第1の処理で第1のオリジナル画像から特定された第1の画素(この第2の画素に対応する第1のオリジナル画像の画素)の画素値を変更する。
このような態様によれば、相対的に暗い第1のオリジナル画像において輝度が低すぎる画素の画素値を、相対的に明るい第2のオリジナル画像における対応画素の画素値に基づき変更することができるので、第1のオリジナル画像の暗すぎる部分の露出が適正化されたハイダイナミックレンジ画像を生成することが可能である。
オリジナル画像の明るすぎる部分の露出を適正化する処理と暗すぎる部分を適正化する処理とを組み合わせることができる。本態様では、オリジナル画像群から、少なくとも3つのオリジナル画像が選択される。以下の具体例では3つのオリジナル画像が考慮される場合について説明するが、4つ以上のオリジナル画像が考慮される場合についても同様の処理を実行できることは、当業者であれば理解することができるであろう。
3つのオリジナル画像が選択された場合、これらを明るい順に、高輝度オリジナル画像、中輝度オリジナル画像、及び低輝度オリジナル画像と呼ぶ。ここで、高輝度、中輝度、及び低輝度は、相対的な輝度の大きさを意味する。この場合、画像処理部1030は、上記した第1~第3の処理を次のようにして実行するように構成されてよい。
まず、第1の処理において、画像処理部1030は、中輝度オリジナル画像から、予め設定された第1の閾値以上の輝度値を有する画素(高輝度画素と呼ぶ)と、予め設定された第2の閾値以下の輝度値を有する画素(低輝度画素と呼ぶ)とを特定する。
次に、第2の処理において、画像処理部1030は、第1の処理で中輝度オリジナル画像から特定された高輝度画素に対応する低輝度オリジナル画像の画素を特定する。更に、画像処理部1030は、第1の処理で中輝度オリジナル画像から特定された低輝度画素に対応する高輝度オリジナル画像の画素を特定する。
そして、第3の処理において、画像処理部1030は、第2の処理で低輝度オリジナル画像から特定された画素の画素値に基づいて、第1の処理で中輝度オリジナル画像から特定された高輝度画素の画素値を変更する。更に、画像処理部1030は、第2の処理で高輝度オリジナル画像から特定された画素の画素値に基づいて、第1の処理で中輝度オリジナル画像から特定された低輝度画素の画素値を変更する。
このような態様によれば、中輝度オリジナル画像において輝度が高すぎる画素(高輝度画素)の画素値を、中輝度オリジナル画像と比べて相対的に暗い低輝度オリジナル画像における対応画素の画素値に基づき変更するとともに、中輝度オリジナル画像において輝度が低すぎる画素(低輝度画素)の画素値を、中輝度オリジナル画像と比べて相対的に明るい高輝度オリジナル画像における対応画素の画素値に基づき変更することができるので、第1のオリジナル画像の明るすぎる部分及び暗すぎる部分の双方の露出が適正化されたハイダイナミックレンジ画像を生成することが可能である。以上で、ハイダイナミックレンジ画像生成の第1の例の説明を終了する。
次に、ハイダイナミックレンジ画像生成の第2の例を説明する。本例は、眼の画像では、明るく描出される部位と暗く描出される部位とが決まっているという事実、すなわち、或る部位は常に明るく描出されるとともに別の或る部位は常に暗く描出されるという事実に着目したものである。例えば、前眼部の画像において、角膜(特に、角膜頂点及びその近傍領域)は明るく描出され、水晶体は暗く描出される。また、眼底の画像において、視神経乳頭は明るく描出され、黄斑は暗く描出される。
以下の具体例では2つのオリジナル画像が考慮される場合について説明するが、3つ以上のオリジナル画像が考慮される場合についても同様の処理を実行できることは、当業者であれば理解することができるであろう。
オリジナル画像群に含まれる2つのオリジナル画像(第1のオリジナル画像及び第2のオリジナル画像)を考慮する。前述したように、第1のオリジナル画像と第2のオリジナル画像とは被検眼の実質的に同じ位置を描出しており、且つ、第1のオリジナル画像の明るさと第2のオリジナル画像との明るさとは互いに異なっている。
まず、画像処理部1030は、第1のオリジナル画像から、被検眼の所定の部位に相当する画像領域(第1の画像領域)を特定する。また、画像処理部1030は、第2のオリジナル画像から、同じ部位に相当する画像領域(第2の画像領域)を特定する。更に、画像処理部1030は、第1のオリジナル画像における第1の画像領域の画素値を、第2のオリジナル画像における第2の画像領域の画素値に基づいて変更する。
具体例を説明する。オリジナル画像群に含まれる各オリジナル画像が前眼部画像である場合において、画像処理部1030は、第1のオリジナル画像及び第2のオリジナル画像のそれぞれから、被検眼の角膜に相当する画像領域を特定する。第1のオリジナル画像から特定された画像領域を第1の角膜領域と呼び、第2のオリジナル画像から特定された画像領域を第2の角膜領域と呼ぶ。
ここで、第1のオリジナル画像は相対的に明るい画像であり、第2のオリジナル画像は相対的に暗い画像であるとする。
画像処理部1030は、第1のオリジナル画像における第1の角膜領域の画素値を、第2のオリジナル画像における第2の角膜領域の画素値に基づいて変更する。
本具体例によれば、相対的に明るい第1のオリジナル画像において特に明るく描出されている第1の角膜領域に含まれる画素の画素値を、相対的に暗い第2のオリジナル画像における第2の角膜領域に含まれる画素の画素値に基づき変更することができるので、第1のオリジナル画像における第1の角膜領域の露出が適正化されたハイダイナミックレンジ画像を生成することが可能である。
別の具体例を説明する。オリジナル画像群に含まれる各オリジナル画像が前眼部画像である場合において、画像処理部1030は、第1のオリジナル画像及び第2のオリジナル画像のそれぞれから、被検眼の水晶体に相当する画像領域を特定する。第1のオリジナル画像から特定された画像領域を第1の水晶体領域と呼び、第2のオリジナル画像から特定された画像領域を第2の水晶体領域と呼ぶ。
ここで、本具体例における第1のオリジナル画像は相対的に暗い画像であり、第2のオリジナル画像は相対的に明るい画像であるとする。
画像処理部1030は、第1のオリジナル画像における第1の水晶体領域の画素値を、第2のオリジナル画像における第2の水晶体領域の画素値に基づいて変更する。
本具体例によれば、相対的に暗い第1のオリジナル画像において特に暗く描出されている第1の水晶体領域に含まれる画素の画素値を、相対的に明るい第2のオリジナル画像における第2の水晶体領域に含まれる画素の画素値に基づき変更することができるので、第1のオリジナル画像における第1の水晶体領域の露出が適正化されたハイダイナミックレンジ画像を生成することが可能である。以上で、ハイダイナミックレンジ画像生成の第2の例の説明を終了する。
次に、ハイダイナミックレンジ画像生成の第3の例を説明する。本例の画像処理部1030は、オリジナル画像群に含まれる2つ以上のオリジナル画像にトーンマッピング処理を適用することによってハイダイナミックレンジ画像を生成するように構成される。
一般に、トーンマッピングは、或るダイナミックレンジの画像をより狭いダイナミックレンジのメディアで出力する(例えば、表示装置で表示する、紙に印刷する、など)ために当該画像の画素値分布を新たな画素値分布に変換する技術である。
本例の画像処理部1030は、異なる複数の撮影条件で取得された異なる明るさの複数の画像のそれぞれの輝度分布をスケーリングすることによって、出力デバイス(例えば、表示装置、印刷装置など)で表現可能な輝度分布に合わせ込むように構成される。これにより、見かけ上の(表現上の)ハイダイナミックレンジ画像が生成される。以上で、ハイダイナミックレンジ画像生成の第3の例の説明を終了する。
ハイダイナミックレンジ画像生成の方法は以上に説明したものに限定されない。幾つかの例示的な態様は、機械学習モデルを利用してハイダイナミックレンジ画像生成を実行するように構成されてよい。この機械学習モデルは、例えば、撮影条件が異なる2回以上の撮影によって取得された画像群と当該画像群から生成されたハイダイナミックレンジ画像との組を複数含んだ訓練データをニューラルネットワーク(例えば、畳み込みニューラルネットワーク)に適用することによって構築される。この機械学習モデルは、2つ以上の眼画像の入力を受けてハイダイナミックレンジ画像を出力するように機能する。
別の例において、機械学習モデルは、単一の眼画像とこの眼画像から生成されたハイダイナミックレンジ画像との組を複数含んだ訓練データをニューラルネットワーク(例えば、畳み込みニューラルネットワーク)に適用することによって構築されてよい。この機械学習モデルは、1つの眼画像の入力を受けてハイダイナミックレンジ画像を出力するように機能する。
眼科装置1000の動作の一例を図2に示す。
まず、眼科装置1000は、制御部1020により撮影部1010を制御することによって、撮影条件が異なる2回以上の撮影を被検眼に適用する(S1)。これにより、2つ以上の撮影条件にそれぞれ対応する2つ以上のシャインプルーフ画像からなるオリジナル画像群が得られる。
更に、眼科装置1000は、画像処理部1030により、ステップS1で取得されたオリジナル画像群に基づいて、オリジナル画像のダイナミックレンジよりも拡大されたダイナミックレンジを有するハイダイナミックレンジ画像を生成する(S2)。
眼科装置1000は、ステップS2で生成されたハイダイナミックレンジ画像を出力する。例えば、眼科装置1000は、ハイダイナミックレンジ画像を表示装置に提供すること、別のコンピュータに送信すること、記憶装置に保存すること、記録媒体に記録すること、及び、印刷装置に提供することのうちのいずれかの出力処理を実行するように構成されていてよい。
このような眼科装置1000により生成される画像は、シャインプルーフ画像としての広範囲にわたる高い精細性と、ハイダイナミックレンジ画像としての全体的な明るさの適正性との双方を具備するという、特有の優れた品質を有する画像である。以上で、本態様に係る眼科装置1000の説明を終了する。
実施形態の1つの態様に係る眼科装置の構成を図3に示す。上記の眼科装置1000と同様に、本例の眼科装置1100は、撮影部1010と、制御部1020と、画像処理部1030とを含んでおり、更に、撮影部1010は光学系1011を含んでいる。
本態様の光学系1011は、照明光学系1012を含んでいる。照明光学系1012は、被検眼に照明光を投射するように構成されている。照明光学系1012は、予め設定された照明条件に基づく制御部1020による制御の下に動作する。
上記の眼科装置1000の制御部1020と同様に、本態様の制御部1020は、撮影条件が異なる2回以上の撮影を被検眼に適用するように撮影部1010の制御を行う。本態様の撮影条件は、少なくとも照明光学系1012に関する条件(照明条件)を含んでいる。よって、本態様の制御部1020は、少なくとも照明条件が異なる2回以上の撮影を被検眼に適用するように撮影部1010(少なくとも照明光学系1012)の制御を実行するものである。
眼科装置1100の動作の一例を図4に示す。
まず、眼科装置1100は、制御部1020により撮影部1010を制御することによって、少なくとも照明条件が異なる2回以上の撮影を被検眼に適用する(S11)。これにより、(2つ以上の照明条件を少なくとも含む)2つ以上の撮影条件にそれぞれ対応する2つ以上のシャインプルーフ画像からなるオリジナル画像群が得られる。
更に、眼科装置1100は、画像処理部1030により、ステップS11で取得されたオリジナル画像群に基づいて、オリジナル画像のダイナミックレンジよりも拡大されたダイナミックレンジを有するハイダイナミックレンジ画像を生成する(S12)。ステップS12で生成される画像は、シャインプルーフ画像としての広範囲にわたる高い精細性と、ハイダイナミックレンジ画像としての全体的な明るさの適正性との双方を備えている。
幾つかの例示的な態様において、照明条件は、照明光の強度を定める照明強度条件を含んでいてよい。この場合、制御部1020は、少なくとも照明強度条件が異なる2回以上の撮影を被検眼に適用するように撮影部1010(少なくとも照明光学系1012)の制御を行うように構成されてよい。照明強度条件に関する事項(照明強度条件の種類、照明強度条件を変更するための構成など)については前述した。照明強度条件が用いられる例示的な態様については後述する。
幾つかの例示的な態様において、照明条件は、照明光の投射時間を定める照明時間条件を含んでいてよい。この場合、制御部1020は、少なくとも照明時間条件が異なる2回以上の撮影を被検眼に適用するように撮影部1010(少なくとも照明光学系1012)の制御を行うように構成されてよい。照明時間条件に関する事項(照明時間条件の種類、照明時間条件を変更するための構成など)については前述した。照明時間条件が用いられる例示的な態様については後述する。以上で、本態様に係る眼科装置1100の説明を終了する。
実施形態の1つの態様に係る眼科装置の構成を図5に示す。本態様は、照明強度条件が用いられる態様の例である。上記の眼科装置1100と同様に、本例の眼科装置1200は、撮影部1010と制御部1020と画像処理部1030とを含み、撮影部1010は光学系1011を含み、光学系1011は照明光学系1012を含んでいる。
本態様の撮影部1010は、移動機構1019を備えている。移動機構1019は、光学系1011を移動するように構成されている。なお、移動機構1019は、光学系1011の移動と同等の機能(光学系1011の移動と同じ作用)を有する機構を含んでいてもよい。そのような機構の例として、照明光(スリット光)を偏向することによって照明位置を移動する機構(照明スキャナー、可動照明ミラー)、被検眼から撮影部1010(図示しない撮像素子)に向かう光を偏向することによって撮影位置を移動する機構(撮影スキャナー、可動撮影ミラー)などがある。
上記の眼科装置1000の制御部1020と同様に、本態様の制御部1020は、撮影条件が異なる2回以上の撮影を被検眼に適用するように撮影部1010の制御を行う。本態様の撮影条件は少なくとも照明条件を含み、更に、本態様の照明条件は少なくとも照明強度条件を含んでいる。よって、本態様の制御部1020は、少なくとも照明強度条件が異なる2回以上の撮影を被検眼に適用するように撮影部1010(少なくとも照明光学系1012)の制御を実行する。
本態様の照明強度条件は、2つ以上の条件を含んでいる。すなわち、本態様の照明強度条件は、異なる複数の照明強度に対応する2つ以上の条件を含んでいる。照明強度条件に含まれる2つ以上の条件の具体例として、後述する図7A及び図7Bに示す制御態様では、相対的に高い強度を示す条件(マル1)と、相対的に低い強度を示す条件(マル2)とが設けられている。
本態様の制御部1020は、照明強度条件に含まれる2つ以上の条件を巡回的に適用するための照明光学系1012の制御(照明制御と呼ぶ)と、光学系1011を移動するための移動機構1019の制御(移動制御と呼ぶ)とを組み合わせることにより、照明強度条件に含まれる2つ以上の条件にそれぞれ対応する2つ以上の画像からなる画像群を撮影部1010に繰り返し取得させるように構成されている。すなわち、制御部1020は、照明制御と移動制御とを実行することにより複数の画像群を取得するように構成されており、複数の画像群のそれぞれは、照明強度条件に含まれる2つ以上の条件にそれぞれ対応する2つ以上の画像を含んでいる。
照明制御について説明する。照明強度条件に含まれるK個の条件を、第1の条件、第2の条件、・・・、及び、第Kの条件とする。ここで、Kは2以上の整数である。第1~第Kの条件は、この順番で順序付けられているものとする。第1~第Kの条件をこの順序で適用することを、一連の条件適用と呼ぶ。この一連の条件適用を照明光学系1012に反復的に実行させるための制御が照明制御である。
照明制御の具体例として、後述する図7A及び図7Bに示す制御態様では、相対的に高い強度を示す条件(マル1)と、相対的に低い強度を示す条件(マル2)とからなる一連の条件適用を、繰り返し実行している。なお、照明強度条件に2つの条件が含まれている場合の照明制御(巡回的な適用)は、これら2つの条件の交互的な適用である。
第1~第Kの条件の適用モードは巡回的適用に限定されず、第1~第Kの条件をその順序を変えながら反復的に適用してもよい。また、第1~第Kの条件の反復的な適用において、K個の条件の全てを各々の反復において適用する必要はない。
移動制御について説明する。移動制御は、光学系1011により撮影される被検眼の位置を変えるための制御である。移動制御は、撮影部1010が被検眼の複数の位置の画像を取得することを可能にする。また、移動制御は、光学系1011がシャインプルーフの条件を満足している状態を維持したまま光学系1011を移動させる。これにより、広い範囲にピントの合った複数の画像を収集することができる。
このように、本態様では、制御部1020による照明制御及び移動制御の下に、撮影部1010が被検眼のスキャン(複数の位置に対する撮影)を行って複数のシャインプルーフ画像を収集する。換言すると、本態様の撮影部1010は、照明制御にしたがって照明強度条件を巡回的に変化させながら、移動制御にしたがってスキャン位置(照明光の投射位置及び撮影位置)を変えることによって、一連のシャインプルーフ画像を収集する。
本態様の画像処理部1030は、照明制御と移動制御との組み合わせにより取得された複数の画像群に基づいて複数のハイダイナミックレンジ画像を生成することができる。前述したように、照明強度条件に含まれる条件の個数はK個であるとする(Kは2以上の整数)。照明強度条件に含まれる各条件をC(k)で表す(k=1、2、・・・、K)。また、移動制御によるスキャン位置の個数をL個とする(Lは2以上の整数)。各スキャン位置をP(l)で表す(l=1、2、・・・、L)。
本態様では、各スキャン位置P(l)においてK個の画像が得られる。スキャン位置P(l)と第kの条件C(k)とに対応する画像をG(P(l)、C(k))で表す。また、スキャン位置P(l)に対応するK個の画像G(P(l)、C(1))、G(P(l)、C(2))、・・・、G(P(l)、C(K))を、それぞれ、第1の条件画像、第2の条件画像、・・・、第Kの条件画像と呼ぶ。
画像処理部1030は、各スキャン位置P(l)に対応するK個の条件画像G(P(l)、C(1))~G(P(l)、C(K))に基づいて、当該スキャン位置P(l)におけるハイダイナミックレンジ画像H(P(l))を生成する。これにより、L個のスキャン位置P(1)~P(L)にそれぞれ対応するL個のハイダイナミックレンジ画像H(P(1))~H(P(L))が得られる。
画像処理部1030は、L個のハイダイナミックレンジ画像H(P(1))~H(P(L))に基づいて、被検眼のボリューム(3次元領域)を表現するハイダイナミックレンジ画像を生成することができる。
眼科装置1200の動作の一例を図6に示す。
まず、眼科装置1200の撮影部1010は、制御部1020による照明制御及び移動制御によって被検眼のスキャンを開始する(S21)。被検眼のスキャンでは、まず、照明強度条件のK個の条件(第1~第Kの条件)での撮影が第1のスキャン位置P(1)において行われる(S22)。これにより、第1のスキャン位置P(1)に対応する第1~第Kの条件画像G(P(1)、C(1))~G(P(1)、C(K))が得られる。眼科装置1200は、第1~第Kの条件画像G(P(1)、C(1))~G(P(1)、C(K))を第1のスキャン位置P(1)に対応付けて保存する(S23)。例えば、条件画像の保存処理は制御部1020により実行され、条件画像の保存先は制御部1020内の記憶装置(前述)である。
ステップS22及びS23は、スキャンが終了するまで繰り返し実行される(S24)。スキャンが終了していない場合(S24:No)、移動制御によって次のスキャン位置での撮影に移行する(S25)。スキャンが終了したらステップS26に移行する(S24:Yes)。
これにより、ステップS22及びS23がL個のスキャン位置P(1)~P(L)のそれぞれにおいて実行され、各スキャン位置P(l)に対応するK個の条件画像G(P(l)、C(1))~G(P(l)、C(K))が取得され、保存される。
画像処理部1030は、各スキャン位置P(l)に対応するK個の条件画像G(P(l)、C(1))~G(P(l)、C(K))に基づいて、当該スキャン位置P(l)におけるハイダイナミックレンジ画像H(P(l))を生成する(S26)。これにより、L個のスキャン位置P(1)~P(L)にそれぞれ対応するL個のハイダイナミックレンジ画像H(P(1))~H(P(L))が得られる。
ステップS26で生成される各画像は、シャインプルーフ画像としての広範囲にわたる高い精細性と、ハイダイナミックレンジ画像としての全体的な明るさの適正性との双方を備えている。更に、本態様では、このような高品質な画像を被検眼の複数の位置について取得することができる。
幾つかの例示的な態様では、このような高品質な画像を被検眼の3次元領域にわたって取得することができることに加え、被検眼のボリューム(3次元領域)を表現するハイダイナミックレンジ画像を生成することも可能である。
照明制御及び移動制御によるスキャンの2つの例を図7A及び図7Bに示す。また、図7Cは、これらの例との比較のための従来のスキャンを示す。
図7Cに示す従来のスキャンは、光源の発光(照明光の出力、被検眼に対する照明光の投射)と、カメラの露光(撮影)と、スキャン位置(移動される光学系1011の位置)との連係的な制御(同期制御)によって実現されたものである。
より具体的には、この従来のスキャンは、照明光の連続的な発光と、カメラによる反復的な撮影(露光)と、スキャン開始位置からスキャン終了位置までの光学系1011の連続的な移動とを組み合わせたものである。カメラの反復的な露光は、露光と電荷転送(及び露光待機)とを交互に繰り返すことによって行われる。
これに対し、図7Aに示す本態様のスキャンでは、カメラの露光及びスキャン位置の移動については図7Cに示す従来のスキャンと同じ要領で実行されるが、光源の発光については、照明光を連続発光する図7Cに示す従来のスキャンと異なり、照明光を断続的に出力(パルス発光)している。
更に、図7Aに示す本態様のスキャンでは、図7Cに示す従来のスキャンでは実行されていない照明強度条件の切り替え制御が行われている。ここで、照明強度条件「マル1」及び「マル2」は、それぞれ、前述した条件C(1)及びC(2)に相当する。すなわち、図7Aの例では、照明強度条件は2つの条件C(1)及びC(2)を含んでおり、この2つの条件C(1)及びC(2)を巡回的に(つまり、交互に)適用している。なお、条件C(1)は相対的に高い強度を示す照明強度条件であり、条件C(2)は相対的に低い強度を示す照明強度条件である。
図7Aのスキャンでは、照明光の発光(投射)のシーケンス(時系列に並ぶ複数回の発光)と、カメラの露光のシーケンス(時系列に並ぶ複数回の露光)とが、互いに同期されている。照明光のシーケンスにおけるそれぞれの発光の期間が投射期間に相当し、その長さが投射時間に相当する。
同様に、露光のシーケンスにおけるそれぞれの露光の期間が露光期間に相当し、その長さが露光時間に相当する。投射時間は一定でも非一定でもよい。露光時間は一定でも非一定でもよい。
図7Aのスキャンでは、露光のシーケンスにおける各露光期間について、その露光期間の一部の期間と1つの投射期間とが一致している。すなわち、露光のシーケンスにおける各露光期間について、その露光期間の長さ(露光時間)よりも投射期間の長さ(投射時間)が短くなっており、且つ、この露光期間の一部とこの投射期間の全体とが重複している。
これにより、露光のシーケンスにおける各露光期間において、その露光期間よりも短い投射期間にのみ実質的に露光(撮像素子による受光、電荷蓄積)が行われるため、露光中のスキャン位置の移動や眼球運動に起因する像のぼやけを、従来の眼科イメージング技術よりも低減することができる。したがって、従来の眼科イメージング技術よりも高い品質の画像を提供することが可能になる。
また、従来の眼科画像解析技術よりも高い品質で画像解析(例えば、角膜検出、細胞検出など)を行うことが可能になる。しかも、被検眼に照明光が投射されている時間を短くすることができるため、図7Cのように照明光を連続的に投射する場合と比較して、被検者に与える負担を軽減することが可能になる。
また、図7Aのスキャンでは、スキャン開始位置からスキャン終了位置まで光学系1011を連続的に移動しており、光学系1011の急発進及び急停止を繰り返すことがないため、それに起因する振動がスキャン中に発生することがなく、撮影品質に悪影響を与えることもない。
一方、図7Bに示す本態様の別のスキャンでは、スキャン開始位置からスキャン終了位置まで光学系1011を断続的に移動していること以外は、図7Aのスキャンと同じである。したがって、図7Bのスキャンによれば、光学系1011の急発進及び急停止に起因する振動の問題を除いて、図7Aのスキャンと同様の効果が得られる。なお、眼科装置1200の構造や機構を工夫することによって、光学系1011の急発進及び急停止に起因する振動の問題を軽減又は解消することができる。
実施形態の1つの態様に係る眼科装置の構成を図8に示す。本態様は、照明時間条件が用いられる態様の例である。上記の眼科装置1200と同様に、本例の眼科装置1300は、撮影部1010と制御部1020と画像処理部1030とを含み、撮影部1010は光学系1011と移動機構1019とを含み、光学系1011は照明光学系1012を含んでいる。
上記の眼科装置1000の制御部1020と同様に、本態様の制御部1020は、撮影条件が異なる2回以上の撮影を被検眼に適用するように撮影部1010の制御を行う。本態様の撮影条件は少なくとも照明条件を含み、更に、本態様の照明条件は少なくとも照明時間条件を含んでいる。よって、本態様の制御部1020は、少なくとも照明時間条件が異なる2回以上の撮影を被検眼に適用するように撮影部1010(少なくとも照明光学系1012)の制御を実行する。
本態様の照明時間条件は、2つ以上の条件を含んでいる。すなわち、本態様の照明時間条件は、異なる複数の照明時間に対応する2つ以上の条件を含んでいる。照明時間条件に含まれる2つ以上の条件の具体例として、後述する図10A及び図10Bに示す制御態様では、相対的に短い照明時間を示す条件(マル1)と、相対的に長い照明時間を示す条件(マル2)とが設けられている。
本態様の制御部1020は、照明時間条件に含まれる2つ以上の条件を巡回的に適用するための照明光学系1012の制御(照明制御と呼ぶ)と、光学系1011を移動するための移動機構1019の制御(移動制御と呼ぶ)とを組み合わせることにより、照明時間条件に含まれる2つ以上の条件にそれぞれ対応する2つ以上の画像からなる画像群を撮影部1010に繰り返し取得させるように構成されている。
すなわち、制御部1020は、照明制御と移動制御とを実行することにより複数の画像群を取得するように構成されており、複数の画像群のそれぞれは、照明時間条件に含まれる2つ以上の条件にそれぞれ対応する2つ以上の画像を含んでいる。
照明制御について説明する。照明時間条件に含まれるM個の条件を、第1の条件、第2の条件、・・・、及び、第Mの条件とする。ここで、Mは2以上の整数である。第1~第Mの条件は、この順番で順序付けられているものとする。第1~第Mの条件をこの順序で適用することを、一連の条件適用と呼ぶ。この一連の条件適用を照明光学系1012に反復的に実行させるための制御が照明制御である。
照明制御の具体例として、後述する図10A及び図10Bに示す制御態様では、相対的に短い照明時間を示す条件(マル1)と、相対的に長い照明時間を示す条件(マル2)とからなる一連の条件適用を、繰り返し実行している。なお、照明時間条件に2つの条件が含まれている場合の照明制御(巡回的な適用)は、これら2つの条件の交互的な適用である。
第1~第Mの条件の適用モードは巡回的適用に限定されず、第1~第Mの条件をその順序を変えながら反復的に適用してもよい。また、第1~第Mの条件の反復的な適用において、M個の条件の全てを各々の反復において適用する必要はない。
移動制御について説明する。移動制御は、光学系1011により撮影される被検眼の位置を変えるための制御である。移動制御は、撮影部1010が被検眼の複数の位置の画像を取得することを可能にする。また、移動制御は、光学系1011がシャインプルーフの条件を満足している状態を維持したまま光学系1011を移動させる。これにより、広い範囲にピントの合った複数の画像を収集することができる。
このように、本態様では、制御部1020による照明制御及び移動制御の下に、撮影部1010が被検眼のスキャン(複数の位置に対する撮影)を行って複数のシャインプルーフ画像を収集する。換言すると、本態様の撮影部1010は、照明制御にしたがって照明時間条件を巡回的に変化させながら、移動制御にしたがってスキャン位置(照明光の投射位置及び撮影位置)を変えることによって、一連のシャインプルーフ画像を収集する。
本態様の画像処理部1030は、照明制御と移動制御との組み合わせにより取得された複数の画像群に基づいて複数のハイダイナミックレンジ画像を生成することができる。
前述したように、照明時間条件に含まれる条件の個数はM個であるとする(Mは2以上の整数)。照明時間条件に含まれる各条件をC(m)で表す(m=1、2、・・・、M)。また、移動制御によるスキャン位置の個数をN個とする(Nは2以上の整数)。各スキャン位置をP(n)で表す(n=1、2、・・・、N)。
本態様では、各スキャン位置P(n)においてM個の画像が得られる。スキャン位置P(n)と第mの条件C(m)とに対応する画像をG(P(n)、C(m))で表す。また、スキャン位置P(n)に対応するM個の画像G(P(n)、C(1))、G(P(n)、C(2))、・・・、G(P(n)、C(M))を、それぞれ、第1の条件画像、第2の条件画像、・・・、第Mの条件画像と呼ぶ。
画像処理部1030は、各スキャン位置P(n)に対応するM個の条件画像G(P(n)、C(1))~G(P(n)、C(M))に基づいて、当該スキャン位置P(n)におけるハイダイナミックレンジ画像H(P(n))を生成する。これにより、N個のスキャン位置P(1)~P(N)にそれぞれ対応するN個のハイダイナミックレンジ画像H(P(1))~H(P(N))が得られる。
画像処理部1030は、N個のハイダイナミックレンジ画像H(P(1))~H(P(N))に基づいて、被検眼のボリューム(3次元領域)を表現するハイダイナミックレンジ画像を生成することができる。
眼科装置1300の動作の一例を図9に示す。
まず、眼科装置1300の撮影部1010は、制御部1020による照明制御及び移動制御によって被検眼のスキャンを開始する(S31)。
被検眼のスキャンでは、まず、照明時間条件のM個の条件(第1~第Mの条件)での撮影が第1のスキャン位置P(1)において行われる(S32)。これにより、第1のスキャン位置P(1)に対応する第1~第Mの条件画像G(P(1)、C(1))~G(P(1)、C(M))が得られる。
眼科装置1300は、第1~第Mの条件画像G(P(1)、C(1))~G(P(1)、C(M))を第1のスキャン位置P(1)に対応付けて保存する(S33)。
ステップS32及びS33は、スキャンが終了するまで繰り返し実行される(S34)。スキャンが終了していない場合(S34:No)、移動制御によって次のスキャン位置での撮影に移行する(S35)。スキャンが終了したらステップS36に移行する(S34:Yes)。
これにより、ステップS32及びS33がN個のスキャン位置P(1)~P(N)のそれぞれにおいて実行され、各スキャン位置P(n)に対応するM個の条件画像G(P(n)、C(1))~G(P(n)、C(K))が取得され、保存される。
画像処理部1030は、各スキャン位置P(n)に対応するM個の条件画像G(P(n)、C(1))~G(P(n)、C(M))に基づいて、当該スキャン位置P(n)におけるハイダイナミックレンジ画像H(P(n))を生成する(S36)。これにより、N個のスキャン位置P(1)~P(N)にそれぞれ対応するN個のハイダイナミックレンジ画像H(P(1))~H(P(N))が得られる。
ステップS36で生成される各画像は、シャインプルーフ画像としての広範囲にわたる高い精細性と、ハイダイナミックレンジ画像としての全体的な明るさの適正性との双方を備えている。更に、本態様では、このような高品質な画像を被検眼の複数の位置について取得することができる。
幾つかの例示的な態様では、このような高品質な画像を被検眼の3次元領域にわたって取得することができることに加え、被検眼のボリューム(3次元領域)を表現するハイダイナミックレンジ画像を生成することも可能である。
本態様の照明制御及び移動制御によるスキャンの2つの例を図10A及び図10Bに示す。
図10Aに示す本態様のスキャンにおいては、カメラの露光及びスキャン位置の移動は前述した図7Cに示した従来のスキャンと同じ要領で実行されるが、光源の発光については、照明光を連続発光する図7Cに示す従来のスキャンと異なり、照明光を断続的に出力(パルス発光)している。
更に、図10Aに示す本態様のスキャンでは、図7Cに示した従来のスキャンでは実行されていない照明時間条件の切り替え制御が行われている。ここで、照明時間条件「マル1」及び「マル2」は、それぞれ、前述した条件C(1)及びC(2)に相当する。すなわち、図10Aの例では、照明時間条件は2つの条件C(1)及びC(2)を含んでおり、この2つの条件C(1)及びC(2)を巡回的に(つまり、交互に)適用している。なお、条件C(1)は相対的に短い時間を示す照明時間条件であり、条件C(2)は相対的に長い時間を示す照明時間条件である。
図10Aのスキャンでは、照明光の発光(投射)のシーケンス(時系列に並ぶ複数回の発光)と、カメラの露光のシーケンス(時系列に並ぶ複数回の露光)とが、互いに同期されている。照明光のシーケンスにおけるそれぞれの発光の期間が投射期間に相当し、その長さが投射時間(照明時間)に相当する。
同様に、露光のシーケンスにおけるそれぞれの露光の期間が露光期間に相当し、その長さが露光時間に相当する。本態様では、投射時間(照明時間)が非一定である。露光時間は一定でも非一定でもよい。
図10Aのスキャンでは、露光のシーケンスにおける各露光期間について、その露光期間の一部の期間と1つの投射期間とが一致している。すなわち、露光のシーケンスにおける各露光期間について、その露光期間の長さ(露光時間)よりも投射期間の長さ(投射時間、照明時間)が短くなっており、且つ、この露光期間の一部とこの投射期間の全体とが重複している。これにより、露光のシーケンスにおける各露光期間において、その露光期間よりも短い投射期間にのみ実質的に露光(撮像素子による受光、電荷蓄積)が行われるため、露光中のスキャン位置の移動や眼球運動に起因する像のぼやけを、従来の眼科イメージング技術よりも低減することができる。したがって、従来の眼科イメージング技術よりも高い品質の画像を提供することが可能になる。
また、従来の眼科画像解析技術よりも高い品質で画像解析(例えば、角膜検出、細胞検出など)を行うことが可能になる。しかも、被検眼に照明光が投射されている時間を短くすることができるため、図7Cのように照明光を連続的に投射する場合と比較して、被検者に与える負担を軽減することが可能になる。
また、図10Aのスキャンでは、スキャン開始位置からスキャン終了位置まで光学系1011を連続的に移動しており、光学系1011の急発進及び急停止を繰り返すことがないため、それに起因する振動がスキャン中に発生することがなく、撮影品質に悪影響を与えることもない。
一方、図10Bに示す本態様の別のスキャンでは、スキャン開始位置からスキャン終了位置まで光学系1011を断続的に移動していること以外は、図10Aのスキャンと同じである。したがって、図10Bのスキャンによれば、光学系1011の急発進及び急停止に起因する振動の問題を除いて、図10Aのスキャンと同様の効果が得られる。なお、眼科装置1300の構造や機構を工夫することによって、光学系1011の急発進及び急停止に起因する振動の問題を軽減又は解消することができる。
幾つかの例示的な態様において、照明条件は、照明強度条件及び照明時間条件の双方を含んでいてもよい。本態様の眼科装置は、照明強度条件と照明時間条件とを組み合わせて照明条件を切り替えつつ2回以上の撮影を被検眼に適用するように構成される。このような本態様の眼科装置の構成や動作内容については、図5~図10B及びこれら図面に基づく上記説明などから、当業者であれば理解することができるであろう。これら以外の条件を照明条件が含んでいる場合についても同様である。
図5~図7Bに示す態様及び図8~図10Bに示す態様では、2つ以上の条件に対応する2つ以上の画像群の収集を1回のスキャンで行っている。すなわち、図5~図7Bに示す態様及び図8~図10Bに示す態様では、スキャン開始位置からスキャン終了位置までの光学系1011の移動を1回だけ行っている間に、2つ以上の条件に対応する2つ以上の画像群を収集している。
しかしながら、2つ以上の条件に対応する2つ以上の画像群を収集するためのスキャンの態様はこれに限定されない。次に説明する図11に示す態様では、2つ以上の条件に対応する2つ以上の画像群を収集するために2回以上のスキャンを実行する。
なお、図11に示す態様では照明時間条件が2つ以上の条件を含む場合を採用しているが、照明強度条件が2つ以上の条件を含む場合、別の種類の照明条件が2つ以上の条件を含む場合、照明条件以外の種類の撮影条件が2つ以上の条件を含む場合などにおいても同様である。
図11に示す態様について説明する。図8~図10Bに示す態様で用いられた用語や符号を適宜準用する。まず、照明制御及び移動制御によって被検眼のスキャンが開始される(S41)。
スキャンが開始されると、照明時間条件のM個の条件(第1~第Mの条件)のうちの第1の条件C(1)でのスキャンが被検眼に適用される(S42)。このスキャンは、照明時間条件を第1の条件C(1)に固定した状態でスキャン開始位置からスキャン終了位置まで光学系1011を移動しつつ複数回(N回)の撮影を行うものである。これにより、第1の条件C(1)について、N個のスキャン位置P(1)~P(N)に対応するN個の画像G(P(1)、C(1))~G(P(N)、C(1))が得られる。第1の条件C(1)に対応するN個の画像G(P(1)、C(1))~G(P(N)、C(1))を第1の画像群と呼ぶ。
第1の条件C(1)でのスキャンが完了したら、次の第2の条件C(2)でのスキャンがステップS42と同じ要領で行われる(S43)。
このようなスキャンが、M個の条件C(1)~C(M)のそれぞれについて実行される(S44)。或る条件でのスキャンがまだ行われていない場合(S44:No)、次の条件でのスキャンに移行する(S45)。全ての条件でのスキャンが終了したらステップS46に移行する(S44:Yes)。
これにより、M個の条件C(1)~C(M)にそれぞれ対応するM個の画像群が得られる。第mの条件C(m)に対応する第mの画像群は、N個のスキャン位置P(1)~P(N)にそれぞれ対応するN個の画像G(P(1)、C(m))~G(P(N)、C(m))を含んでいる。
全ての条件でのスキャンが終了したら(S44:Yes)、画像処理部1030は、第1~第Mの画像群の間の位置合わせ(レジストレーション)を行う(S46)。このレジストレーションは、同じスキャン位置P(n)に対応するM個の画像G(P(n)、C1))~G(P(n)、C(M))の位置合わせをするものである。
このレジストレーションに使用される手法は任意であってよく、例えば、各スキャンにおける制御内容(移動制御の内容、照明制御の内容、撮影制御の内容など)、スキャンとは別に取得された被検眼の画像、公知のレジストレーション法などを含んでいてよい。
幾つかの例示的な態様では、M個の条件C(1)~C(M)に対応するM個の画像群からM個のボリュームデータ(3次元画像)を生成し、これらM個のボリュームデータの間のレジストレーション(3次元レジストレーション)を実行し、この3次元レジストレーションの結果を用いてM個の画像群の位置合わせを行ってもよい。
ステップS46のレジストレーションにより、各スキャン位置P(n)に対応するM個の画像G(P(n)、C(1))~G(P(n)、C(M))の位置合わせがなされ、互いに対応付けられる。このようにして得られたM個の画像G(P(n)、C(1))~G(P(n)、C(M))は、前述した、スキャン位置P(n)に対応するM個の条件画像G(P(n)、C(1))~G(P(n)、C(M))に相当する。
画像処理部1030は、各スキャン位置P(n)に対応するM個の条件画像G(P(n)、C(1))~G(P(n)、C(M))に基づいて、当該スキャン位置P(n)におけるハイダイナミックレンジ画像H(P(n))を生成する(S47)。これにより、N個のスキャン位置P(1)~P(N)にそれぞれ対応するN個のハイダイナミックレンジ画像H(P(1))~H(P(N))が得られる。
ステップS47で生成される各画像は、シャインプルーフ画像としての広範囲にわたる高い精細性と、ハイダイナミックレンジ画像としての全体的な明るさの適正性との双方を備えている。更に、本態様では、このような高品質な画像を被検眼の複数の位置について取得することができる。
幾つかの例示的な態様では、このような高品質な画像を被検眼の3次元領域にわたって取得することができることに加え、被検眼のボリューム(3次元領域)を表現するハイダイナミックレンジ画像を生成することも可能である。
実施形態の1つの態様に係る眼科装置の構成を図12に示す。眼科装置1000と同様に、本例の眼科装置1400は、撮影部1010と、制御部1020と、画像処理部1030とを含んでおり、更に、撮影部1010は光学系1011を含んでいる。
本態様の光学系1011は、上記の眼科装置1200と同様に照明光学系1012を含んでいることに加えて、撮影光学系1013を更に含んでいる。撮影光学系1013は、照明光学系1012により照明光が投射されている被検眼を撮影するように構成されている。撮影光学系1013は、予め設定された露光条件に基づく制御部1020による制御の下に動作する。
眼科装置1000の制御部1020と同様に、本態様の制御部1020は、撮影条件が異なる2回以上の撮影を被検眼に適用するように撮影部1010の制御を行う。本態様の撮影条件は、少なくとも撮影光学系1013に関する条件(露光条件)を含んでいる。よって、本態様の制御部1020は、少なくとも露光条件が異なる2回以上の撮影を被検眼に適用するように撮影部1010(少なくとも撮影光学系1013)の制御を実行するものである。
眼科装置1400の動作の一例を図13に示す。
まず、眼科装置1400は、制御部1020により撮影部1010を制御することによって、少なくとも露光条件が異なる2回以上の撮影を被検眼に適用する(S51)。これにより、(2つ以上の露光条件を少なくとも含む)2つ以上の撮影条件にそれぞれ対応する2つ以上のシャインプルーフ画像からなるオリジナル画像群が得られる。
更に、眼科装置1400は、画像処理部1030により、ステップS51で取得されたオリジナル画像群に基づいて、オリジナル画像のダイナミックレンジよりも拡大されたダイナミックレンジを有するハイダイナミックレンジ画像を生成する(S52)。ステップS52で生成される画像は、シャインプルーフ画像としての広範囲にわたる高い精細性と、ハイダイナミックレンジ画像としての全体的な明るさの適正性との双方を備えている。
幾つかの例示的な態様において、露光条件は、撮影光学系1013による露光時間を定める露光時間条件を含んでいてよい。この場合、制御部1020は、少なくとも露光時間条件が異なる2回以上の撮影を被検眼に適用するように撮影部1010(少なくとも撮影光学系1013)の制御を行うように構成されてよい。露光時間条件に関する事項(露光時間条件の種類、露光時間条件を変更するための構成など)については前述した。露光時間条件が用いられる例示的な態様については後述する。以上で、本態様に係る眼科装置1400の説明を終了する。
実施形態の1つの態様に係る眼科装置の構成を図14に示す。本態様は、露光時間条件が用いられる態様の例である。上記の眼科装置1400と同様に、本例の眼科装置1500は、撮影部1010と制御部1020と画像処理部1030とを含み、撮影部1010は光学系1011と移動機構1019とを含み、光学系1011は照明光学系1012と撮影光学系1013とを含んでいる。加えて、本例の撮影光学系1013は、撮像素子1014と、被検眼からの光を撮像素子1014に導く光学系(図示せず)とを含んでいる。
照明光学系1012と撮影光学系1013とは、シャインプルーフの条件を満足するように構成されており、シャインプルーフカメラとして機能する。より具体的には、照明光学系1012の光軸を通る平面(物面を含む平面)と、撮影光学系1013の主面と、撮像素子1014の撮像面とが、同一の直線上にて交差するように、照明光学系1012及び撮影光学系1013が構成されている。
シャインプルーフの条件を満足した照明光学系1012及び撮影光学系1013を用いることにより、物面内の全ての位置(照明光学系1012の光軸に沿う方向における全ての位置)に撮影光学系1013のピントが合った状態で撮影を行うことができる。
本態様の露光時間条件は、2つ以上の条件を含んでいる。すなわち、本態様の露光時間条件は、異なる複数の露光時間に対応する2つ以上の条件を含んでいる。露光時間条件に含まれる2つ以上の条件の具体例として、後述する図16に示す制御態様では、相対的に長い露光時間を示す条件(マル1)と、相対的に短い露光時間を示す条件(マル2)とが設けられている。
本態様の制御部1020は、露光時間条件に含まれる2つ以上の条件を巡回的に適用するための撮影光学系1013の制御(露光制御と呼ぶ)と、光学系1011を移動するための移動機構1019の制御(移動制御と呼ぶ)とを組み合わせることにより、露光時間条件に含まれる2つ以上の条件にそれぞれ対応する2つ以上の画像からなる画像群を撮影部1010に繰り返し取得させるように構成されている。
すなわち、制御部1020は、露光制御と移動制御とを実行することにより複数の画像群を取得するように構成されており、複数の画像群のそれぞれは、露光時間条件に含まれる2つ以上の条件にそれぞれ対応する2つ以上の画像を含んでいる。
露光制御について説明する。露光時間条件に含まれるQ個の条件を、第1の条件、第2の条件、・・・、及び、第Qの条件とする。ここで、Qは2以上の整数である。第1~第Qの条件は、この順番で順序付けられているものとする。第1~第Qの条件をこの順序で適用することを、一連の条件適用と呼ぶ。この一連の条件適用を撮影光学系1013に反復的に実行させるための制御が露光制御である。
露光制御の具体例として、後述する図106に示す制御態様では、相対的に長い露光時間を示す条件(マル1)と、相対的に短い露光時間を示す条件(マル2)とからなる一連の条件適用を、繰り返し実行している。なお、露光時間条件に2つの条件が含まれている場合の露光制御(巡回的な適用)は、これら2つの条件の交互的な適用である。
第1~第Qの条件の適用モードは巡回的適用に限定されず、第1~第Qの条件をその順序を変えながら反復的に適用してもよい。また、第1~第Qの条件の反復的な適用において、Q個の条件の全てを各々の反復において適用する必要はない。
移動制御について説明する。移動制御は、光学系1011により撮影される被検眼の位置を変えるための制御である。移動制御は、撮影部1010が被検眼の複数の位置の画像を取得することを可能にする。また、移動制御は、光学系1011がシャインプルーフの条件を満足している状態を維持したまま光学系1011を移動させる。これにより、広い範囲にピントの合った複数の画像を収集することができる。
このように、本態様では、制御部1020による露光制御及び移動制御の下に、撮影部1010が被検眼のスキャン(複数の位置に対する撮影)を行って複数のシャインプルーフ画像を収集する。
換言すると、本態様の撮影部1010は、露光制御にしたがって露光時間条件を巡回的に変化させながら、移動制御にしたがってスキャン位置(照明光の投射位置及び撮影位置)を変えることによって、一連のシャインプルーフ画像を収集する。
本態様の画像処理部1030は、露光制御と移動制御との組み合わせにより取得された複数の画像群に基づいて複数のハイダイナミックレンジ画像を生成することができる。
前述したように、露光時間条件に含まれる条件の個数はQ個であるとする(Qは2以上の整数)。露光時間条件に含まれる各条件をC(q)で表す(q=1、2、・・・、Q)。また、移動制御によるスキャン位置の個数をR個とする(Rは2以上の整数)。各スキャン位置をP(r)で表す(r=1、2、・・・、R)。
本態様では、各スキャン位置P(r)においてQ個の画像が得られる。スキャン位置P(r)と第qの条件C(q)とに対応する画像をG(P(r)、C(q))で表す。また、スキャン位置P(r)に対応するQ個の画像G(P(r)、C(1))、G(P(r)、C(2))、・・・、G(P(r)、C(Q))を、それぞれ、第1の条件画像、第2の条件画像、・・・、第Qの条件画像と呼ぶ。
画像処理部1030は、各スキャン位置P(r)に対応するQ個の条件画像G(P(r)、C(1))~G(P(r)、C(Q))に基づいて、当該スキャン位置P(r)におけるハイダイナミックレンジ画像H(P(r))を生成する。これにより、R個のスキャン位置P(1)~P(R)にそれぞれ対応するR個のハイダイナミックレンジ画像H(P(1))~H(P(R))が得られる。
画像処理部1030は、R個のハイダイナミックレンジ画像H(P(1))~H(P(R))に基づいて、被検眼のボリューム(3次元領域)を表現するハイダイナミックレンジ画像を生成することができる。
眼科装置1500の動作の一例を図15に示す。
まず、眼科装置1500の撮影部1010は、制御部1020による露光制御及び移動制御によって被検眼のスキャンを開始する(S61)。
被検眼のスキャンでは、まず、露光時間条件のQ個の条件(第1~第Qの条件)での撮影が第1のスキャン位置P(1)において行われる(S62)。これにより、第1のスキャン位置P(1)に対応する第1~第Qの条件画像G(P(1)、C(1))~G(P(1)、C(Q))が得られる。
眼科装置1500は、第1~第Qの条件画像G(P(1)、C(1))~G(P(1)、C(Q))を第1のスキャン位置P(1)に対応付けて保存する(S63)。
ステップS62及びS63は、スキャンが終了するまで繰り返し実行される(S64)。スキャンが終了していない場合(S64:No)、移動制御によって次のスキャン位置での撮影に移行する(S65)。スキャンが終了したらステップS66に移行する(S64:Yes)。
これにより、ステップS62及びS63がR個のスキャン位置P(1)~P(R)のそれぞれにおいて実行され、各スキャン位置P(r)に対応するQ個の条件画像G(P(r)、C(1))~G(P(r)、C(Q))が取得され、保存される。
画像処理部1030は、各スキャン位置P(r)に対応するQ個の条件画像G(P(r)、C(1))~G(P(r)、C(Q))に基づいて、当該スキャン位置P(r)におけるハイダイナミックレンジ画像H(P(r))を生成する(S66)。これにより、R個のスキャン位置P(1)~P(R)にそれぞれ対応するR個のハイダイナミックレンジ画像H(P(1))~H(P(R))が得られる。
ステップS66で生成される各画像は、シャインプルーフ画像としての広範囲にわたる高い精細性と、ハイダイナミックレンジ画像としての全体的な明るさの適正性との双方を備えている。更に、本態様では、このような高品質な画像を被検眼の複数の位置について取得することができる。
幾つかの例示的な態様では、このような高品質な画像を被検眼の3次元領域にわたって取得することができることに加え、被検眼のボリューム(3次元領域)を表現するハイダイナミックレンジ画像を生成することも可能である。
本態様の照明制御及び移動制御によるスキャンの例を図16に示す。図16に示すスキャンにおいては、スキャン位置の移動は前述した図7Cに示した従来のスキャンと同じ要領で実行されるが、光源の発光については照明光を断続的に出力(パルス発光)し、更に、カメラの露光については露光時間条件の切り替え制御が行われている。
本例では、露光時間条件「マル1」及び「マル2」は、それぞれ、前述した条件C(1)及びC(2)に相当する。すなわち、図16の例では、露光時間条件は2つの条件C(1)及びC(2)を含んでおり、この2つの条件C(1)及びC(2)を巡回的に(つまり、交互に)適用している。なお、条件C(1)は相対的に長い時間を示す露光時間条件であり、条件C(2)は相対的に短い時間を示す露光時間条件である。
本例では、照明光の出力は断続的に行われているが、照明光の出力は連続的であってもよい。連続出力の場合、断続出力により達成される効果を得ることはできないが、光源の制御が容易であること、制御処理の負荷が小さいことなどの利点がある。
図16のスキャンでは、照明光の発光(投射)のシーケンス(時系列に並ぶ複数回の発光)と、カメラの露光のシーケンス(時系列に並ぶ複数回の露光)とが、互いに同期されている。照明光のシーケンスにおけるそれぞれの発光の期間が投射期間に相当し、その長さが投射時間(照明時間)に相当する。
同様に、露光のシーケンスにおけるそれぞれの露光の期間が露光期間に相当し、その長さが露光時間に相当する。本例では、投射時間(照明時間)は一定でも非一定でもよいが、露光時間は非一定である。
図16のスキャンでは、露光のシーケンスにおける各露光期間について、その露光期間の一部の期間と1つの投射期間とが一致している。すなわち、露光のシーケンスにおける各露光期間について、その露光期間の長さ(露光時間)よりも投射期間の長さ(投射時間、照明時間)が短くなっており、且つ、この露光期間の一部とこの投射期間の全体とが重複している。これにより、露光のシーケンスにおける各露光期間において、その露光期間よりも短い投射期間にのみ実質的に露光(撮像素子による受光、電荷蓄積)が行われるため、露光中のスキャン位置の移動や眼球運動に起因する像のぼやけを、従来の眼科イメージング技術よりも低減することができる。したがって、従来の眼科イメージング技術よりも高い品質の画像を提供することが可能になる。
また、従来の眼科画像解析技術よりも高い品質で画像解析(例えば、角膜検出、細胞検出など)を行うことが可能になる。しかも、被検眼に照明光が投射されている時間を短くすることができるため、照明光を連続的に投射する場合と比較して、被検者に与える負担を軽減することが可能になる。
また、図16のスキャンでは、スキャン開始位置からスキャン終了位置まで光学系1011を連続的に移動しており、光学系1011の急発進及び急停止を繰り返すことがないため、それに起因する振動がスキャン中に発生することがなく、撮影品質に悪影響を与えることもない。
図16のスキャンでは、スキャン開始位置からスキャン終了位置まで光学系1011を連続的に移動しているが、前述した図7B及び図10Bのように光学系1011を断続的に移動してもよい。
幾つかの例示的な態様では、照明条件の切り替えと露光条件の切り替えとの双方を実行可能であってよく、2つ以上の照明条件の切り替えと2つ以上の露光条件の切り替えとを組み合わせて行いながら2回以上の撮影を被検眼に適用してもよい。そのような眼科装置の構成や動作内容については、当業者であれば本開示から理解することができるであろう。
図12~図16に示す態様では、2つ以上の露光条件に対応する2つ以上の画像群の収集を1回のスキャンで行っているが、図11に示す態様のように、2つ以上の露光条件に対応する2つ以上の画像群を収集するために2回以上のスキャンを実行してもよい。そのような眼科装置の構成や動作内容については、当業者であれば本開示から理解することができるであろう。
実施形態の1つの態様に係る眼科装置の構成を図17に示す。本態様の眼科装置1600は、撮影部1010と制御部1020と画像処理部1030とを含み、撮影部1010は光学系1011と移動機構1019とを含んでいる。
本態様の光学系1011は、照明光学系1012と撮影光学系1013とを含んでいる。本態様の撮影光学系1013は、第1の撮像素子1014Aと、第2の撮像素子1014Bと、被検眼からの光を第1の撮像素子1014Aに導く光学系(図示せず)と、被検眼からの光を第2の撮像素子1014Bに導く光学系(図示せず)とを含んでいる。
照明光学系1012と撮影光学系1013とは、シャインプルーフの条件を満足するように構成されており、シャインプルーフカメラとして機能する。より具体的には、照明光学系1012の光軸を通る平面(物面を含む平面)と、撮影光学系1013の主面と、第1の撮像素子1014Aの撮像面とが、同一の直線上にて交差するように、且つ、照明光学系1012の光軸を通る平面(物面を含む平面)と、撮影光学系1013の主面と、第2の撮像素子1014Bの撮像面とが、同一の直線上にて交差するように、照明光学系1012及び撮影光学系1013が構成されている。これにより、第1の撮像素子1014A及び第2の撮像素子1014Bの双方によって、物面内の全ての位置(照明光学系1012の光軸に沿う方向における全ての位置)に撮影光学系1013のピントが合った状態での撮影を行うことができる。
本態様の眼科装置1600の1つの例を図18に示す。本例の眼科装置1700は、眼科装置1600の撮影光学系1300として、第1の撮影光学系1013Aと第2の撮影光学系1013Bとを含んでいる。
図示は省略するが、第1の撮影光学系1013Aは、図17の第1の撮像素子1014Aと、被検眼からの光を第1の撮像素子1014Aに導く光学系とを含んでいる。同様に、第2の撮影光学系1013Bは、図17の第2の撮像素子1014Bと、被検眼からの光を第2の撮像素子1014Bに導く光学系とを含んでいる。
図18に示す眼科装置1700では、互いに独立した2つの撮影光学系1013A及び1013Bが設けられている。そのような実施例は後述される。眼科装置に設けられる撮影光学系の個数は3つ以上であってもよい。
なお、図17に示す眼科装置1600は、図18のように2つ以上の撮影光学系が設けられている構成だけでなく、単一の撮影光学系に2つ以上の撮像素子が設けられている構成も含んでいる。単一の撮影光学系における2つ以上の撮像素子は、例えば、ハーフミラーなどのビームスプリッタを用いて分岐された2つ以上の光路にそれぞれ配置されている。
本態様の撮影条件は、照明光学系1012の動作と、第1の撮影光学系1013Aの動作と、第2の撮影光学系1013Bの動作との同期制御を行うための条件(同期条件)を含む。この同期条件の例を図19A及び図19Bに示す。図19Bは、図19Aの一部の拡大図である。
図19A及び図19Bにおいて、カメラAは第1の撮影光学系1013Aの第1の撮像素子1014Aに相当し、カメラBは第2の撮影光学系1013Bの第2の撮像素子1014Bに相当する。
本例の制御部1020は、第1の撮像素子1014Aによる実際の露光時間と、第2の撮像素子1014Bによる実際の露光時間とが互いに異なるように、照明光学系1012の発光タイミング(照明期間)と、第1の撮像素子1014Aの露光タイミング(露光期間)と、第2の撮像素子1014Bの露光タイミング(露光期間)との同期制御を行う。この同期制御は、第1の撮像素子1014Aの露光時間と、第2の撮像素子1014Bの露光時間との2つの露光時間条件を実現するためのものである。
図19A及び図19Bに示す例において、照明期間と第1の撮像素子1014Aの露光期間とが重複している期間(第1の露光期間)の長さTAは、照明期間と第2の撮像素子1014Bの露光期間とが重複している期間(第2の露光期間)の長さTBよりも長くなっている。
ここで、第1の露光期間の長さ(第1の露光時間)TAは、第1の撮像素子1014Aによる実際の露光時間であり、第2の露光期間の長さ(第2の露光時間)TBは、第2の撮像素子1014Bによる実際の露光時間である。本例では、第1の露光時間TAは、第2の露光時間の約2倍に設定されている。
このように、本例の制御部1020は、第1の撮像素子1014Aによる第1の露光期間の少なくとも一部と第2の撮像素子1014Bによる第2の露光期間の少なくとも一部とが重複するように撮影部1010の制御を行うものであり、また、第1の撮像素子1014Aによる第1の露光時間TAと第2の撮像素子1014Bによる第2の露光時間TBとが異なるように撮影部1010の制御を行うものである。これにより、本例の制御部1020は、2つの撮像素子1014A及び1014Bを用いて、撮影条件が異なる2回以上の撮影を被検眼に適用するように撮影部1010の制御を行う。
また、図19Aに示すように、本例のスキャンは、照明光を断続的に出力(パルス発光)するための光源の発光制御と、2つのカメラ(2つの撮像素子1014A及び1014B、2つの撮影光学系1013A及び1013B)の露光制御とを同期させることによって行われる。
本例では、図19Bに示すように、光源の1回の発光期間(1つのパルスの幅、照明期間、投射期間)の長さ(照明時間、投射時間)は、第1の露光時間TAに等しい。つまり、本例では、カメラAの露光可能時間(カメラAの露光動作を示すシーケンスにおける1つのパルスの上辺の長さ)を照明時間TAよりも長く設定し、且つ、カメラAの露光可能期間(カメラAの露光動作を示すシーケンスにおける1つのパルスの上辺が示す期間)が照明期間の全体と重複するように同期条件を設定しているので、カメラAの実際の露光時間(第1の露光時間TA)が照明時間TAに等しくなっている。
一方、カメラBの露光可能時間(カメラBの露光動作を示すシーケンスにおける1つのパルスの上辺の長さ)はカメラAの露光可能時間に等しく設定されており、照明時間TAよりも長くなっているが、照明期間及びカメラAの露光可能期間に対してカメラBの露光可能期間を時間的にずらすことによって、カメラBの露光可能期間(カメラBの露光動作を示すシーケンスにおける1つのパルスの上辺が示す期間)が照明期間の一部(本例では、照明期間の約半分)のみに重複するように同期条件が設定されている。これにより、カメラBの実際の露光時間(第2の露光時間TB)は、照明時間TAの約半分、つまり第1の露光時間TAの約半分になっている。
図19A及び図19Bに示す例では、照明光の出力が断続的に行われているが、照明光の出力は連続的であってもよい。連続出力の場合、露光可能期間と露光期間とが等しくなるため、カメラA(第1の撮像素子1014A、第1の撮影光学系1013A)の露光可能期間とカメラB(第2の撮像素子1014B、第2の撮影光学系1013B)の露光可能期間とが互いに異なる値になるように同期条件が設定される。
図20は、このような連続出力の場合における、照明光学系1012の動作と、第1の撮影光学系1013Aの動作と、第2の撮影光学系1013Bの動作との同期制御を行うための同期条件の1つの例を示している。
図19Aに示す例、図19Bに示す例、及び図20に示す例では、スキャン開始位置からスキャン終了位置まで光学系1011を連続的に移動しているが、前述した図7B及び図10Bのように光学系1011を断続的に移動してもよい。
このように、本態様の制御部1020は、2つの撮像素子1014A及び1014Bを用いて撮影条件が異なる2回の撮影を被検眼に繰り返し適用するための撮影光学系1013(例えば、2つの撮影光学系1013A及び1013B)の制御と、光学系1011を移動するための移動機構1019の制御とを組み合わせることによって、2つの撮影条件に対応する2つの画像からなる画像群を撮影部1010に繰り返し取得させる。
更に、本態様の画像処理部1030は、制御部1020の制御の下に撮影部1010によって取得された複数の画像群に基づいて複数のハイダイナミックレンジ画像を生成することができる。
例えば、画像処理部1030は、1つの照明期間に重複するカメラAの露光期間に取得された画像と、同じ照明期間に重複するカメラBの露光期間に取得された画像とを含む画像群に基づいて、1つのハイダイナミックレンジ画像を生成するように構成されてよい。つまり、本例の画像処理部1030は、照明期間ごとにハイダイナミックレンジ画像の生成を行うように構成される。
本例によれば、同時に取得された画像群からハイダイナミックレンジ画像を生成することができるので、画像群に含まれる画像の間のレジストレーションを行う必要がないという利点がある。また、同じハイダイナミックレンジ画像の生成に提供される画像群を形成する処理を非常に容易に行うことができるという利点もある。
別の例において、画像処理部1030は、第1の照明期間に重複するカメラAの露光期間に取得された画像と、第1の照明期間に対する時間差が小さい第2の照明期間に重複するカメラBの露光期間に取得された画像とを含む画像群に基づいて、1つのハイダイナミックレンジ画像を生成するように構成されてよい。例えば、第1の照明期間の直前又は直後の照明期間を第2の照明期間として選択することが可能である。
本例によれば、実質的に同時に取得された画像群からハイダイナミックレンジ画像を生成することができるので、画像群に含まれる2つの画像の間のレジストレーションを行う必要がないという利点がある。また、同じハイダイナミックレンジ画像の生成に提供される画像群を形成する処理を容易に行うことができるという利点もある。
本態様の画像処理部1030により実行される処理はこれらの例に限定されない。画像処理部1030は、自由に選択された2つの照明期間に対応する2つの画像からなる画像群に基づいてハイダイナミックレンジ画像を生成するように構成されてよい。
以上、2つの撮像素子が用いられる場合について説明したが、3つ以上の撮像素子が用いられる場合においても同様の構成及び処理を適用できることは、当業者であれば理解することができるであろう。
2つ以上の撮像素子が用いられる場合において、露光条件以外の撮影条件の設定は任意であってよい。例えば、2つ以上の撮像素子のゲインは等しく設定されてよい。
実施形態に係る眼科装置(例えば、眼科装置1000~1700のいずれか1つ、又は、眼科装置1000~1700のいずれか2つ以上の少なくとも部分的な組み合わせ)の1つの実施例が実行する処理について、図21~図23を更に参照しながら説明する。
本実施例では、照明条件が異なる2回の撮影が被検眼に適用され、それにより取得された2つの画像に基づいてハイダイナミックレンジ画像が生成される。特に言及しない限り、本実施例における処理は、本開示に係るいずれかの態様、及び/又は、本開示に係るいずれかの実施例と同様であってよい。
図21のフローチャートに示すように、本例の処理では、まずアライメントが行われる(S71)。アライメントは、被検眼に対する光学系1011の位置合わせである。アライメントは自動で及び/又は手動で実行される。また、アライメント以外の準備的動作も行われる。
次に、光学系1011がスキャン開始位置に移動される(S72)。光学系1011のスキャン開始位置への移動は、自動で及び/又は手動で実行される。
光学系1011がスキャン開始位置に配置されたら、撮影部1010は、制御部1020による制御の下に被検眼のスキャンを開始する(S73)。本ステップのスキャンは、照明制御と移動制御との組み合わせによって実行される。制御部1020は、所定のイベントに対応して撮影部1010にスキャンを開始させる。このイベントは、例えば、ユーザーからの指示、又はステップS72の完了であってよい。
スキャンの開始を受けて、制御部1020は、光学系1011の撮像素子1014を制御して露光を開始させ(S74)、照明光学系1012の光源を制御して高出力パルス光を発振させ(S75)、撮像素子1014を制御して露光を終了させる(S76)。高出力パルス光は、後述の低出力パルス光と比較して、相対的に高い出力のパルス光である。
更に、制御部1020は、ステップS74~S76によって撮像素子1014に取得された画像を図示しない記憶装置に保存する(S77)。この画像は、ステップS75の高出力パルス光を用いて取得された、後述の低輝度画像と比較して相対的に明るい画像である。本例では、この画像を高輝度画像と呼ぶ。
高輝度画像が取得され保存されたら、制御部1020は、光学系1011の撮像素子1014を制御して露光を開始させ(S78)、照明光学系1012の光源を制御して低出力パルス光を発振させ(S79)、撮像素子1014を制御して露光を終了させる(S80)。低出力パルス光は、前述の高出力パルス光と比較して、相対的に低い出力のパルス光である。
更に、制御部1020は、ステップS78~S80によって撮像素子1014に取得された画像を図示しない記憶装置に保存する(S81)。この画像は、ステップS79の低出力パルス光を用いて取得された、前述の高輝度画像と比較して相対的に暗い画像である。本例では、この画像を低輝度画像と呼ぶ。
ステップS74~S81に示す一連の撮影動作が完了したら、制御部1020は、予め指定された枚数の画像が取得されたか判定を行う(S82)。指定枚数の画像が未だ取得されていない場合(S82:No)、処理はステップS74に戻る。指定枚数の画像が既に取得された場合(S82:Yes)、処理はステップS83に進み、スキャンは終了となる(S83)。
なお、ステップS82の判定のパラメータは画像枚数に限定されず、例えば、ステップS74~S81の反復の回数、ステップS74~S81の反復の経過時間、光学系1011の移動距離などであってもよい。
このように、制御部1020は、指定枚数の画像が取得されるまで、ステップS74~S82を繰り返し実行する。ステップS74~S82の総反復回数を「U」とする。図22Aは、第u回目の反復及び第u+1回目の反復における動作を表している。ここで、uは、1以上、且つ、U-1以下の整数である。
第u回目の反復に対応するスキャン位置P(u)において、高出力パルス光V(u、H)と低出力パルス光V(u、L)とが光源から出力されるとともに、撮像素子1014の2回の露光W(u、H)及びW(u、L)が行われる。
ここで、露光W(u、H)の期間は高出力パルス光V(u、H)の投射期間に対応し、露光W(u、L)の期間は低出力パルス光V(u、L)の投射期間に対応している。撮像素子1014が露光W(u、H)により取得した画像G(u、H)は高輝度画像であり、露光W(u、L)により取得した画像G(u、L)は低輝度画像である。
第u+1回目の反復に対応するスキャン位置P(u+1)における動作、及び、それにより得られる画像群についても同様である。これにより、U個の画像群(高輝度画像と低輝度画像とのペア)が収集される。
図22Bは、スキャンの別の例を表している。本例では、第u回目の反復に対応するスキャン位置P(u)において、単一のパルス光V(u)が出力され、且つ、2回の露光(第1の露光及び第2の露光)が実行される。
第1の露光の期間の一部のみ(例えば、第1の露光の期間の半分のみ)がパルス光V(u)の投射期間と重複しており、且つ、第2の露光の期間の全てがパルス光V(u)の投射期間と重複している。第1の露光の期間とパルス光V(u)の投射期間との重複期間が、第1の露光における実際の露光W(u、L)である。この実際の露光W(u、L)も第1の露光と呼ぶことにする。同様に、第2の露光の期間とパルス光V(u)の投射期間との重複期間が第2の露光における実際の露光W(u、H)である。
本例では、第1の露光W(u、L)によって低輝度画像G(u、L)が取得され、且つ、第2の露光W(u、H)によって高輝度画像G(u、H)が取得される。第u+1回目の反復に対応するスキャン位置P(u+1)における動作、及び、それにより得られる画像群についても同様である。これにより、U個の画像群(高輝度画像と低輝度画像とのペア)が収集される。
画像処理部1030は、スキャンによって収集されたU個の画像群に基づいてU個のハイダイナミックレンジ画像を生成する(S84)。本例では、各画像群に基づいて、つまり、高輝度画像G(u、H)と低輝度画像G(u、L)との各ペアに基づいて、ハイダイナミックレンジ画像が生成される。
ステップS84の1つの具体例を説明する。画像処理部1030は、高輝度画像G(u、H)から所定の閾値以上の輝度値を有する画素(輝度超過画素)を特定し、特定された輝度超過画素に対応する低輝度画像G(u、L)の画素(対応画素)を特定し、輝度超過画素の画素値を対応画素の画素値に基づく画素値に置換する。
例えば、画像処理部1030は、対応画素の画素値に所定値(例えば、2)を乗算し、その積の値で輝度超過画素の画素値を置換する。対応画素の画素値に乗算される値は、事前に設定されたデフォルト値、高輝度画像G(u、H)と低輝度画像G(u、L)とのペアに基づき決定された値、又は、他の方法で決定された値であってよい。
ステップS84の例を図23に示す。高輝度画像G(u、H)の輝度超過領域g(u、H)は、輝度超過画素からなる画像領域である。また、低輝度画像G(u、L)の領域g(u、L)は、高輝度画像G(u、H)の輝度超過領域g(u、H)に対応する画像領域(対応領域)である。
上記具体例で説明した処理によれば、高輝度画像G(u、H)の輝度超過領域g(u、H)の明るさが、低輝度画像G(u、L)の対応領域g(u、L)に基づいて適正化される。これにより画像(ハイダイナミックレンジ画像)H(u)が取得される。ハイダイナミックレンジ画像H(u)の領域h(u)は、明るさが適正化された画像領域を示している。
なお、図23の例は、角膜領域の明るさの適正化を説明しているが、他の部位の画像領域の明るさの適正化も同じ要領で実行される。
このようなステップS84により、被検眼の各種の部位(角膜上皮、角膜内皮、水晶体前面、水晶体後面など)が同等のトーンで表現されたハイダイナミックレンジ画像が得られる。また、被検眼の3次元領域(スキャンされた領域)を表現したハイダイナミックレンジ画像が得られる。
次に、眼科装置1000(例えば、画像処理部1030)は、ステップS84で生成されたハイダイナミックレンジ画像にガンマ補正を適用することにより、出力用デバイスに対応した輝度及び三刺激値の画像を生成する(S85)。
そして、眼科装置1000は、ステップS85でガンマ補正が施されて生成された画像を、所定の出力デバイスに提供する。例えば、眼科装置1000は、ステップS85でガンマ補正が施されて生成された画像を、図示しない表示装置に表示させる(S86)。また、眼科装置1000は、本例で生成された様々な画像のうちのいずれか1つ以上を、図示しない記憶装置に保存する(S86)。以上で、本実施例において実行される処理の説明を終了する。
実施形態に係る眼科装置(例えば、眼科装置1000~1700のいずれか1つ、又は、眼科装置1000~1700のいずれか2つ以上の少なくとも部分的な組み合わせ)の1つの実施例が実行する処理について、図24A~図25を更に参照しながら説明する。
本実施例では、2つの撮像素子を用いた2回の撮影が被検眼に適用され、それにより取得された2つの画像に基づいてハイダイナミックレンジ画像が生成される。
特に言及しない限り、本実施例の幾つかの工程における処理は、本開示に係るいずれかの態様、及び/又は、本開示に係るいずれかの実施例で説明した処理と同じ又は類似の要領で実行されてよい。
図24A及び図24Bのフローチャートに示すように、本例の処理では、まずアライメントが行われ(S91)、光学系1011がスキャン開始位置に移動され(S92)、被検眼のスキャンが開始される(S93)。本ステップのスキャンは、照明制御と露光制御と移動制御との組み合わせによって実行される。
図25を参照する。スキャンの開始を受けて、制御部1020は、第1の撮像素子1014Aを制御して露光を開始させ(S94)、ステップS94から時間Δaだけ待機し(S95)、第2の撮像素子1014Bを制御して露光を開始させる(S96)。
更に、制御部1020は、照明光学系1012の光源を制御してパルス光の出力を開始させ(S97)、ステップS97から時間Δbだけ待機し(S98)、第1の撮像素子1014Aを制御して露光を終了させ(S99)、ステップS94~S99の露光期間において第1の撮像素子1014Aにより取得された画像(第1の画像)を図示しない記憶装置に保存する(S100)。
ステップS100で取得された第1の画像は、後述する第2の撮像素子1014Bの露光期間と比較して相対的に短い露光期間において取得された、後述の高輝度画像と比較して相対的に暗い画像である。本例では、この第1の画像を低輝度画像と呼ぶ。
更に、制御部1020は、ステップS99から時間Δcだけ待機し(S101)、照明光学系1012の光源を制御してパルス光の出力を停止させ(S102)、第2の撮像素子1014Bを制御して露光を終了させ(S103)、ステップS96~S103の露光期間において第2の撮像素子1014Bにより取得された画像(第2の画像)を図示しない記憶装置に保存する(S104)。
ステップS104で取得された第2の画像は、前述した第1の撮像素子1014Aの露光期間と比較して相対的に長い露光期間において取得された、前述の低輝度画像と比較して相対的に明るい画像である。本例では、この第2の画像を高輝度画像と呼ぶ。
ステップS94~S104に示す一連の撮影動作が完了したら、制御部1020は、予め指定された枚数の画像が取得されたか判定を行う(S105)。指定枚数の画像が未だ取得されていない場合(S105:No)、処理はステップS94に戻る。指定枚数の画像が既に取得された場合(S105:Yes)、処理はステップS106に進み、スキャンは終了となる(S106)。
なお、ステップS105の判定のパラメータは画像枚数に限定されず、例えば、ステップS94~S104の反復の回数、ステップS94~S104の反復の経過時間、光学系1011の移動距離などであってもよい。
このように、制御部1020は、指定枚数の画像が取得されるまで、ステップS94~S105を繰り返し実行する。ステップS94~S105の総反復回数を「U」とする。図25は、第u回目の反復及び第u+1回目の反復における動作を表している。ここで、uは、1以上、且つ、U-1以下の整数である。
第u回目の反復に対応するスキャン位置において、照明光学系1012の光源の1回の発光と、第1の撮像素子1014Aの露光と、第2の撮像素子1014Bの露光とが実行される。照明光の投射期間と、第1の撮像素子1014Aの露光期間と、第2の撮像素子1014Bの露光期間との間の関係は、図25及び上記説明の通りである。
このような照明光学系1012と第1の撮像素子1014Aと第2の撮像素子1014Bとの連係的な制御により、第u回目の反復に対応するスキャン位置に対応する低輝度画像G(u、L)と高輝度画像G(u、H)とのペアが得られる。第u+1回目の反復に対応するスキャン位置についても同様である。これにより、U個の画像群(高輝度画像と低輝度画像とのペア)が収集される。
画像処理部1030は、スキャンによって収集されたU個の画像群に基づいてU個のハイダイナミックレンジ画像を生成する(S107)。ステップS107で実行される処理は、例えば、図21のステップS84、図23、及びそれらの説明に係る手法と同様であってよい。
ステップS107により、被検眼の各種の部位(角膜上皮、角膜内皮、水晶体前面、水晶体後面など)が同等のトーンで表現されたハイダイナミックレンジ画像が得られる。また、被検眼の3次元領域(スキャンされた領域)を表現したハイダイナミックレンジ画像が得られる。
次に、眼科装置1000(例えば、画像処理部1030)は、ステップS107で生成されたハイダイナミックレンジ画像にガンマ補正を適用し(S108)、表示装置に表示させる(S86)。また、眼科装置1000は、本例で生成された様々な画像のうちのいずれか1つ以上を記憶装置に保存する(S86)。以上で、本実施例において実行される処理の説明を終了する。
以上に説明した幾つかの例示的な態様に係る眼科装置1000~1700として機能することが可能な眼科装置の具体的構成の例を図26に示す。図26は上面図である。
被検眼Eの軸に沿う方向をZ方向とし、これに直交する方向のうち被検者にとって左右の方向をX方向とし、X方向及びZ方向の双方に直交する方向(上下方向、体軸方向)をY方向とする。
本例の眼科装置は、特許文献3(特開2019-213733号公報)に開示されているものと同様の構成を有するスリットランプ顕微鏡システム1であり、照明光学系2と、撮影光学系3と、動画撮影光学系4と、光路結合素子5と、移動機構6と、制御部7と、データ処理部8と、通信部9と、ユーザーインターフェイス10とを含む。
被検眼Eの角膜を符号Cで示し、水晶体を符号CLで示す。前房は、角膜Cと水晶体CLとの間の領域(角膜Cと虹彩との間の領域)に相当する。
スリットランプ顕微鏡システム1の各要素の詳細については、特許文献3(特開2019-213733号公報)を参照されたい。
照明光学系2、撮影光学系3、及び移動機構6の組み合わせは、眼科装置1000(~1700)の撮影部1010の例である。照明光学系2は照明光学系1012の例であり、撮影光学系3は撮影光学系1013の例である。
照明光学系2は、被検眼Eの前眼部にスリット光を投射する。符号2aは、照明光学系2の光軸(照明光軸)を示す。
撮影光学系3は、照明光学系2からのスリット光が投射されている前眼部を撮影する。符号3aは、撮影光学系3の光軸(撮影光軸)を示す。光学系3Aは、スリット光が投射されている被検眼Eの前眼部からの光を撮像素子3Bに導く。撮像素子3Bは、光学系3Aにより導かれた光を撮像面にて受光する。撮像素子3Bは、2次元の撮像エリアを有するエリアセンサ(CCDエリアセンサ、CMOSエリアセンサなど)を含む。撮像素子3Bは、眼科装置1000(~1700)の撮像素子1014(1014A、1014B)の例である。
照明光学系2及び撮影光学系3は、シャインプルーフカメラとして機能するものであり、照明光軸2aに沿う物面と光学系3Aと撮像素子3Bの撮像面とがシャインプルーフの条件を満足するように、すなわち照明光軸2aを通るYZ面(物面を含む)と光学系3Aの主面と撮像素子3Bの撮像面とが同一の直線上にて交差するように、構成されている。
これにより、照明光学系2及び撮影光学系3は、少なくとも角膜Cの後面から水晶体CLの前面までの範囲(前房)にピントが合っている状態で、撮影を行うことができる。また、照明光学系2及び撮影光学系3は、少なくとも角膜Cの前面の頂点(Z=Z1)から水晶体CLの後面の頂点(Z=Z2)までの範囲にピントが合っている状態で、撮影を行うことができる。なお、座標Z=Z0は照明光軸2aと撮影光軸3aとの交点を示す。
動画撮影光学系4は、ビデオカメラであり、照明光学系2及び撮影光学系3による被検眼の撮影と並行して被検眼Eの前眼部を動画撮影する。光路結合素子5は、照明光学系2の光路(照明光路)と、動画撮影光学系4の光路(動画撮影光路)とを結合している。
照明光学系2、撮影光学系3、動画撮影光学系4、及び光路結合素子5を含む光学系の具体例を図27に示す。図27に示す光学系は、照明光学系2の例である照明光学系20と、撮影光学系3(図18の眼科装置1700の第1の撮影光学系1013A及び第2の撮影光学系1013B)の例である左撮影光学系30L及び右撮影光学系30Rと、動画撮影光学系4の例である動画撮影光学系40と、光路結合素子5の例であるビームスプリッタ47とを含んでいる。
符号20aは照明光学系20の光軸(照明光軸)を示し、符号30Laは左撮影光学系30Lの光軸(左撮影光軸)を示し、符号30Raは右撮影光学系30Rの光軸(右撮影光軸)を示す。角度θLは照明光軸20aと左撮影光軸30Laとがなす角度を示し、角度θRは照明光軸20aと右撮影光軸30Raとがなす角度を示す。座標Z=Z0は、照明光軸20aと左撮影光軸30Laと右撮影光軸30Raとの交点を示す。
移動機構6は、照明光学系20、左撮影光学系30L、及び右撮影光学系30Rを、矢印49で示す方向(X方向)に移動する。
照明光学系20の照明光源21は照明光(例えば可視光)を出力し、正レンズ22は照明光を屈折する。スリット形成部23はスリットを形成して照明光の一部を通過させる。生成されたスリット光は、対物レンズ群24及び25により屈折され、ビームスプリッタ47により反射され、被検眼Eの前眼部に投射される。
左撮影光学系30Lの反射器31L及び結像レンズ32Lは、照明光学系20によりスリット光が投射されている前眼部からの光(左撮影光学系30Lの方向に進行する光)を撮像素子33Lに導く。撮像素子33Lは、導かれた光を撮像面34Lにて受光する。
左撮影光学系30Lは、移動機構6による照明光学系20、左撮影光学系30L及び右撮影光学系30Rの移動と並行して繰り返し撮影を行う。これにより複数の前眼部画像(一連のシャインプルーフ画像)が得られる。
照明光軸20aに沿う物面と反射器31L及び結像レンズ32Lを含む光学系と撮像面34Lとは、シャインプルーフの条件を満足する。右撮影光学系30Rも同様の構成及び機能を有する。
撮像素子33Lと撮像素子33Rとのペアは、第1の撮像素子1014Aと第2の撮像素子1014Bとのペアの例である。
左撮影光学系30Lによるシャインプルーフ画像収集と右撮影光学系30Rによるシャインプルーフ画像収集とは、互いに並行して行われる。
制御部7は、左撮影光学系30Lによる繰り返し撮影と右撮影光学系30Rによる繰り返し撮影とを同期させることができる。これにより、左撮影光学系30Lにより得られた一連のシャインプルーフ画像と、右撮影光学系30Rにより得られた一連のシャインプルーフ画像との間の対応関係が得られる。
なお、左撮影光学系30Lにより得られた複数の前眼部画像と、右撮影光学系30Rにより得られた複数の前眼部画像との間の対応関係を求める処理を、制御部7又はデータ処理部8により実行してもよい。
動画撮影光学系40は、左撮影光学系30Lによる撮影及び右撮影光学系30Rによる撮影と並行して、被検眼Eの前眼部を固定位置から動画撮影する。ビームスプリッタ47を透過した光は、反射器48により反射されて動画撮影光学系40に入射する。動画撮影光学系40に入射した光は、対物レンズ41により屈折された後、結像レンズ42によって撮像素子43(エリアセンサ)の撮像面に結像される。動画撮影光学系40は、被検眼Eの動きのモニタ、アライメント、トラッキング、収集されたシャインプルーフ画像の処理などに利用される。
図26の参照に戻る。移動機構6は、照明光学系2及び撮影光学系3を一体的にX方向に移動する。
制御部7は、スリットランプ顕微鏡システム1の各部を制御する。制御部7は、照明光学系2、撮影光学系3及び移動機構6の制御と、動画撮影光学系4の制御とを、互いに並行して実行することにより、眼科装置1000(~1700)の撮影部1010によるスリットスキャン(一連のシャインプルーフ画像の収集)と、動画撮影(一連の時系列画像の収集)とを互いに並行して実行させることができる。
また、制御部7は、照明光学系2、撮影光学系3及び移動機構6の制御と、動画撮影光学系4の制御とを、互いに同期して実行することにより、スリットスキャンと動画撮影とを互いに同期させることができる。
撮影光学系3が左撮影光学系30L及び右撮影光学系30Rを含む場合、制御部7は、左撮影光学系30Lによる繰り返し撮影(シャインプルーフ画像群の収集)と、右撮影光学系30Rによる繰り返し撮影(シャインプルーフ画像群の収集)とを互いに同期させることができる。
制御部7は、プロセッサ、記憶装置などを含む。記憶装置には、各種の制御プログラム等のコンピュータプログラムが記憶されている。制御部7の機能は、制御プログラム等のソフトウェアと、プロセッサ等のハードウェアとの協働によって実現される。制御部7は、被検眼Eの3次元領域をスリット光でスキャンするために、照明光学系2、撮影光学系3及び移動機構6の制御を実行する。この制御の詳細については、特許文献3(特開2019-213733号公報)を参照されたい。
データ処理部8は、各種のデータ処理を実行する。データ処理部8は、プロセッサ、記憶装置などを含む。記憶装置には、各種のデータ処理プログラム等のコンピュータプログラムが記憶されている。データ処理部8の機能は、データ処理プログラム等のソフトウェアと、プロセッサ等のハードウェアとの協働によって実現される。データ処理部8は、眼科装置1000(~1700)の画像処理部1030の機能を有している。データ処理部8の機能はこれに限定されない。
通信部9は、スリットランプ顕微鏡システム1と他の装置との間におけるデータ通信を行う。ユーザーインターフェイス10は、表示デバイス、操作デバイスなど、任意のユーザーインターフェイスデバイスを含む。
図26及び図27に示すスリットランプ顕微鏡システム1は例示に過ぎず、眼科装置1000~1700を実施するための構成はスリットランプ顕微鏡システム1に限定されない。
実施形態に係る眼科装置の幾つかの非限定的な特徴について説明する。
実施形態に係る眼科装置の第1の態様例は、撮影部と、制御部と、画像処理部とを含んでいる。撮影部は、シャインプルーフの条件を満足する光学系を含んでいる。制御部は、撮影条件が異なる2回以上の撮影を被検眼に適用するように撮影部の制御を行うように構成されている。画像処理部は、撮影条件が異なる2回以上の撮影によって取得された被検眼の2つ以上の画像に基づいてハイダイナミックレンジ画像を生成するように構成されている。
実施形態に係る眼科装置の第2の態様例は、第1の態様例の非限定的な特徴に加えて、次の非限定的な特徴を備えている。光学系は、予め設定された照明条件に基づき被検眼に照明光を投射する照明光学系を含んでいる。更に、制御部は、少なくとも照明条件が異なる2回以上の撮影を被検眼に適用するように撮影部の制御を行うように構成されている。
実施形態に係る眼科装置の第3の態様例は、第2の態様例の非限定的な特徴に加えて、次の非限定的な特徴を備えている。照明条件は、照明光の強度を定める照明強度条件を含んでいる。更に、制御部は、少なくとも照明強度条件が異なる2回以上の撮影を被検眼に適用するように撮影部の制御を行うように構成されている。
実施形態に係る眼科装置の第4の態様例は、第3の態様例の非限定的な特徴に加えて、次の非限定的な特徴を備えている。撮影部は、光学系を移動する移動機構を更に含んでいる。照明強度条件は、2つ以上の条件を含んでいる。制御部は、照明強度条件に含まれている2つ以上の条件を巡回的に適用するための照明光学系の制御と、光学系を移動するための移動機構の制御とを組み合わせることにより、照明強度条件に含まれている2つ以上の条件に対応する2つ以上の画像からなる画像群を撮影部に繰り返し取得させるように構成されている。
実施形態に係る眼科装置の第5の態様例は、第4の態様例の非限定的な特徴に加えて、次の非限定的な特徴を備えている。画像処理部は、照明光学系の制御と移動機構の制御との組み合わせの下に撮影部により取得された複数の画像群に基づいて複数のハイダイナミックレンジ画像を生成するように構成されている。
実施形態に係る眼科装置の第6の態様例は、第2~第5のいずれかの態様例の非限定的な特徴に加えて、次の非限定的な特徴を備えている。照明条件は、照明光の投射時間を定める照明時間条件を含んでいる。制御部は、少なくとも照明時間条件が異なる2回以上の撮影を被検眼に適用するように撮影部の制御を行うように構成されている。
実施形態に係る眼科装置の第7の態様例は、第6の態様例の非限定的な特徴に加えて、次の非限定的な特徴を備えている。撮影部は、光学系を移動する移動機構を更に含んでいる。照明時間条件は、2つ以上の条件を含んでいる。制御部は、照明時間条件に含まれている2つ以上の条件を巡回的に適用するための照明光学系の制御と、光学系を移動するための移動機構の制御とを組み合わせることにより、照明時間条件に含まれている2つ以上の条件に対応する2つ以上の画像からなる画像群を撮影部に繰り返し取得させるように構成されている。
実施形態に係る眼科装置の第8の態様例は、第7の態様例の非限定的な特徴に加えて、次の非限定的な特徴を備えている。画像処理部は、照明光学系の制御と移動機構の制御との組み合わせの下に撮影部により取得された複数の画像群に基づいて複数のハイダイナミックレンジ画像を生成するように構成されている。
実施形態に係る眼科装置の第9の態様例は、第1~第8のいずれかの態様例の非限定的な特徴に加えて、次の非限定的な特徴を備えている。光学系は、予め設定された露光条件に基づき被検眼を撮影する撮影光学系を含んでいる。制御部は、少なくとも露光条件が異なる2回以上の撮影を被検眼に適用するように撮影部の制御を行うように構成されている。
実施形態に係る眼科装置の第10の態様例は、第9の態様例の非限定的な特徴に加えて、次の非限定的な特徴を備えている。撮影光学系は、撮像素子を含んでいる。露光条件は、撮像素子による露光時間を定める露光時間条件を含んでいる。制御部は、少なくとも露光時間条件が異なる2回以上の撮影を被検眼に適用するように撮影部の制御を行うように構成されている。
実施形態に係る眼科装置の第11の態様例は、第10の態様例の非限定的な特徴に加えて、次の非限定的な特徴を備えている。撮影部は、光学系を移動する移動機構を更に含んでいる。露光時間条件は、2つ以上の条件を含んでいる。制御部は、露光時間条件に含まれている2つ以上の条件を巡回的に適用するための撮影光学系の制御と、光学系を移動するための移動機構の制御とを組み合わせることにより、露光時間条件に含まれている2つ以上の条件に対応する2つ以上の画像からなる画像群を撮影部に繰り返し取得させるように構成されている。
実施形態に係る眼科装置の第12の態様例は、第11の態様例の非限定的な特徴に加えて、次の非限定的な特徴を備えている。画像処理部は、撮影光学系の制御と移動機構の制御との組み合わせの下に撮影部により取得された複数の画像群に基づいて複数のハイダイナミックレンジ画像を生成するように構成されている。
実施形態に係る眼科装置の第13の態様例は、第9~第12のいずれかの態様例の非限定的な特徴に加えて、次の非限定的な特徴を備えている。撮影光学系は、2つ以上の撮像素子を含んでいる。制御部は、撮影条件が異なる2回以上の撮影を2つ以上の撮像素子を用いて行うように撮影部の制御を行うように構成されている。
実施形態に係る眼科装置の第14の態様例は、第13の態様例の非限定的な特徴に加えて、次の非限定的な特徴を備えている。撮影光学系に含まれている2つ以上の撮像素子は、第1の撮像素子及び第2の撮像素子を含んでいる。制御部は、第1の撮像素子による第1の露光時間と第2の撮像素子による第2の露光時間とが異なるように撮影部の制御を行うように構成されている。
実施形態に係る眼科装置の第15の態様例は、第13又は第14の態様例の非限定的な特徴に加えて、次の非限定的な特徴を備えている。撮影光学系に含まれている2つ以上の撮像素子は、第1の撮像素子及び第2の撮像素子を含んでいる。制御部は、第1の撮像素子による第1の露光期間の少なくとも一部と第2の撮像素子による第2の露光期間の少なくとも一部とが重複するように撮影部の制御を行うように構成されている。
実施形態に係る眼科装置の第16の態様例は、第13~第15のいずれかの態様例の非限定的な特徴に加えて、次の非限定的な特徴を備えている。撮影部は、光学系を移動する移動機構を更に含んでいる。制御部は、撮影光学系に含まれている2つ以上の撮像素子を用いた撮影条件が異なる2回以上の撮影を被検眼に繰り返し適用するための撮影光学系の制御と、光学系を移動するための移動機構の制御とを組み合わせることにより、撮影光学系に含まれている2つ以上の撮像素子を用いた撮影条件が異なる2回以上の撮影に対応する2つ以上の画像からなる画像群を撮影部に繰り返し取得させるように構成されている。
実施形態に係る眼科装置の第17の態様例は、第16の態様例の非限定的な特徴に加えて、次の非限定的な特徴を備えている。画像処理部は、撮影光学系の制御と移動機構の制御との組み合わせの下に撮影部により取得された複数の画像群に基づいて複数のハイダイナミックレンジ画像を生成するように構成されている。
実施形態に係る眼科装置の第18の態様例は、第1の態様例の非限定的な特徴に加えて、次の非限定的な特徴を備えている。光学系は、予め設定された照明条件に基づき被検眼に照明光を投射する照明光学系と、予め設定された露光条件に基づき被検眼を撮影する撮影光学系とを含んでいる。撮影光学系は、第1の撮像素子及び第2の撮像素子を含んでいる。制御部は、次の4つの条件を満足するように撮影部の制御を行う。第1の条件は、第1の撮像素子による第1の露光時間と第2の撮像素子による第2の露光時間とが異なることである。第2の条件は、第1の撮像素子による第1の露光期間の少なくとも一部と第2の撮像素子による第2の露光期間の少なくとも一部とが重複することである。第3の条件は、照明光学系による照明光の投射期間の第1の部分が第1の撮像素子による第1の露光期間に重複することである。第4の条件は、照明光の投射期間の第2の部分が第2の撮像素子による第2の露光期間に重複することである。
実施形態に係る眼科装置の第19の態様例は、第18の態様例の非限定的な特徴に加えて、次の非限定的な特徴を備えている。撮影部は、光学系を移動する移動機構を更に含んでいる。制御部は、第1の撮像素子を用いた第1の撮影を被検眼に繰り返し適用し且つ第2の撮像素子を用いた第2の撮影を被検眼に繰り返し適用するための撮影光学系の制御と、光学系を移動するための移動機構の制御とを組み合わせることにより、第1の撮像素子を用いた第1の撮影に対応する画像と第2の撮像素子を用いた第2の撮影に対応する画像を含む画像群を撮影部に繰り返し取得させるように構成されている。
実施形態に係る眼科装置の第20の態様例は、第19の態様例の非限定的な特徴に加えて、次の非限定的な特徴を備えている。画像処理部は、撮影光学系の制御と移動機構の制御との組み合わせの下に撮影部により取得された複数の画像群に基づいて複数のハイダイナミックレンジ画像を生成するように構成されている。
実施形態に係る眼科装置の第21の態様例は、第1~第20のいずれかの態様例の非限定的な特徴に加えて、次の非限定的な特徴を備えている。撮影条件が異なる2回以上の撮影を被検眼に適用することによって取得された被検眼の2つ以上の画像は、第1の画像及び第2の画像を含んでいる。画像処理部は、第1の画像から、所定の画素値条件を満足する第1の画素を特定する処理と、第1の画像から特定された第1の画素に対応する第2の画像の第2の画素の画素値に基づいて第1の画像の第1の画素の画素値を変更する処理とを実行するように構成されている。
実施形態に係る眼科装置の第22の態様例は、第21の態様例の非限定的な特徴に加えて、次の非限定的な特徴を備えている。撮影条件が異なる2回以上の撮影を被検眼に適用することによって取得された被検眼の2つ以上の画像に含まれている第1の画像は、当該2つ以上の画像のうち相対的に明るい画像である。撮影条件が異なる2回以上の撮影を被検眼に適用することによって取得された被検眼の2つ以上の画像に含まれている第2の画像は、当該2つ以上の画像のうち相対的に暗い画像である。画像処理部は、相対的に明るい第1の画像から、予め定められた第1の閾値以上の輝度値を有する画素を第1の画素として特定するように構成されている。更に、画像処理部は、相対的に明るい第1の画像において第1の閾値以上の画素値を有する第1の画素に対応する相対的に暗い第2の画像の第2の画素の画素値に基づいて、相対的に明るい第1の画像において第1の閾値以上である第1の画素の画素値を変更するように構成されている。
実施形態に係る眼科装置の第23の態様例は、第21の態様例の非限定的な特徴に加えて、次の非限定的な特徴を備えている。撮影条件が異なる2回以上の撮影を被検眼に適用することによって取得された被検眼の2つ以上の画像に含まれている第1の画像は、当該2つ以上の画像のうち相対的に暗い画像である。撮影条件が異なる2回以上の撮影を被検眼に適用することによって取得された被検眼の2つ以上の画像に含まれている第2の画像は、当該2つ以上の画像のうち相対的に明るい画像である。画像処理部は、相対的に暗い第1の画像から、予め定められた第2の閾値以下の輝度値を有する画素を第1の画素として特定するように構成されている。更に、画像処理部は、相対的に暗い第1の画像において第2の閾値以下の画素値を有する第1の画素に対応する相対的に明るい第2の画像の第2の画素の画素値に基づいて、相対的に暗い第1の画像において第2の閾値以下である第1の画素の画素値を変更するように構成されている。
実施形態に係る眼科装置の第24の態様例は、第1~第23のいずれかの態様例の非限定的な特徴に加えて、次の非限定的な特徴を備えている。撮影条件が異なる2回以上の撮影を被検眼に適用することによって取得された被検眼の2つ以上の画像は、第1の画像及び第2の画像を含んでいる。画像処理部は、当該第1の画像から、被検眼の所定の部位に相当する第1の画像領域を特定する処理と、当該第2の画像から、被検眼の同じ部位に相当する第2の画像領域を特定する処理と、当該第1の画像における第1の画像領域の画素値を当該第2の画像における第2の画像領域の画素値に基づいて変更するように構成されている。
実施形態に係る眼科装置の第25の態様例は、第1~24のいずれかの態様例の非限定的な特徴に加えて、次の非限定的な特徴を備えている。画像処理部は、撮影条件が異なる2回以上の撮影を被検眼に適用することによって取得された被検眼の2つ以上の画像にトーンマッピング処理を適用するように構成されている。
実施形態に係る眼科装置の第26の態様例は、第1~第25のいずれかの態様例の非限定的な特徴に加えて、次の非限定的な特徴を備えている。光学系は、被検眼に照明光を投射する照明光学系と、被検眼を撮影する撮影光学系とを含んでいる。撮影部は、照明光学系及び撮影光学系を移動する移動機構を含んでいる。制御部は、撮影条件が異なる2回以上の撮影のための撮影部の制御において、被検眼に対する照明光の投射時間が撮影光学系の露光時間よりも短くなるように、且つ、被検眼に対する照明光の投射期間の少なくとも一部と撮影光学系の露光期間の少なくとも一部とが重複するように、照明光学系及び撮影光学系の少なくとも一方を制御するように構成されている。
本開示において説明したように、これらの非限定的な特徴を有する眼科装置によれば、眼科イメージングで得られる画像の品質の向上を図ることが可能である。特に、光スキャンを用いた撮像方式の眼科イメージングで得られる画像の品質の向上を図ることが可能である。
また、本開示において説明した任意の事項を、いずれかの非限定的な特徴を有する眼科装置に組み合わせることによって、眼科イメージングにおける更なる画像向上を図ることが可能であること、そして、眼科イメージングの様々な応用を提供することが可能であることは、当業者であれば理解することができるであろう。
<他の実施形態>
ここまで眼科装置の実施形態について説明したが、本開示に係る実施形態は眼科装置に限定されない。眼科装置以外の実施形態として、眼科装置の制御方法、プログラム、記録媒体などがある。眼科装置の実施形態と同様に、これらの実施形態によっても、眼科イメージングにおける画質向上を図ることができる。
ここまで眼科装置の実施形態について説明したが、本開示に係る実施形態は眼科装置に限定されない。眼科装置以外の実施形態として、眼科装置の制御方法、プログラム、記録媒体などがある。眼科装置の実施形態と同様に、これらの実施形態によっても、眼科イメージングにおける画質向上を図ることができる。
一実施形態に係る眼科装置の制御方法は、眼科装置を制御する方法である。
この眼科装置は、撮影部とプロセッサとを含んでいる。撮影部は、シャインプルーフの条件を満足する光学系を含んでいる。
本実施形態に係る方法は、眼科装置に含まれているプロセッサを、制御部及び画像処理部として機能させるように構成されている。
制御部として機能するプロセッサは、撮影条件が異なる2回以上の撮影を被検眼に適用するように撮影部の制御を行う。
画像処理部として機能するプロセッサは、撮影条件が異なる2回以上の撮影により取得された被検眼の2つ以上の画像に基づいてハイダイナミックレンジ画像を生成する。
本開示において説明した任意の事項を、本実施形態に係る方法に組み合わせることができる。
一実施形態に係るプログラムは、眼科装置を動作させるためのプログラムである。
この眼科装置は、撮影部とプロセッサとを含んでいる。撮影部は、シャインプルーフの条件を満足する光学系を含んでいる。
本実施形態に係るプログラムは、眼科装置に含まれているプロセッサを、制御部及び画像処理部として機能させるように構成されている。
本実施形態に係るプログラムにより制御部として機能するプロセッサは、撮影条件が異なる2回以上の撮影を被検眼に適用するように撮影部の制御を行う。
本実施形態に係るプログラムにより画像処理部として機能するプロセッサは、撮影条件が異なる2回以上の撮影により取得された被検眼の2つ以上の画像に基づいてハイダイナミックレンジ画像を生成する。
本開示において説明した任意の事項を、本実施形態に係るプログラムに組み合わせることができる。
一実施形態に係る記録媒体は、眼科装置を動作させるためのプログラムが記録された、コンピュータ可読な非一時的記録媒体である。
この眼科装置は、撮影部とプロセッサとを含んでいる。撮影部は、シャインプルーフの条件を満足する光学系を含んでいる。
本実施形態に係る記録媒体に記録されているプログラムは、眼科装置に含まれているプロセッサを、制御部及び画像処理部として機能させるように構成されている。
本実施形態に係る記録媒体に記録されているプログラムにより制御部として機能するプロセッサは、撮影条件が異なる2回以上の撮影を被検眼に適用するように撮影部の制御を行う。
本実施形態に係る記録媒体に記録されているプログラムにより画像処理部として機能するプロセッサは、撮影条件が異なる2回以上の撮影により取得された被検眼の2つ以上の画像に基づいてハイダイナミックレンジ画像を生成する。
本開示において説明した任意の事項を、本実施形態に係る記録媒体に組み合わせることができる。
本実施形態に係る記録媒体として使用可能な、コンピュータ可読な非一時的記録媒体は、任意の形態の記録媒体であってよく、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体メモリのいずれかであってよい。
眼科装置の実施形態において説明された任意の事項を、眼科装置以外の実施形態に組み合わせることができる。
例えば、実施形態に係る眼科装置の任意的な態様として説明された様々な事項のうちから任意に選択された事項を、眼科装置の制御方法の実施形態、プログラムの実施形態、記録媒体の実施形態などに組み合わせることができる。
また、本開示において説明された任意の事項を、眼科装置の制御方法の実施形態、プログラムの実施形態、記録媒体の実施形態などに組み合わせることができる。
本開示は、幾つかの実施形態及びその幾つかの例示的な態様を提示するものである。これらの実施形態及び態様は、本発明の例示に過ぎない。したがって、本発明の要旨の範囲内における任意の変形(省略、置換、付加など)を、本開示において提示された実施形態や態様に適用することが可能である。
1 スリットランプ顕微鏡システム(眼科装置)
2 照明光学系
3 撮影光学系
3B 撮像素子
6 移動機構
7 制御部
20 照明光学系
30L 左撮影光学系
30R 右撮影光学系
33L、33R 撮像素子
1000、1100、1200、1300、1400、1500、1600、1700 眼科装置
1010 撮影部
1011 光学系
1012 照明光学系
1013、1013A、1013B 撮影光学系
1014、1014A、1014B 撮像素子
1019 移動機構
1020 制御部
1030 画像処理部
2 照明光学系
3 撮影光学系
3B 撮像素子
6 移動機構
7 制御部
20 照明光学系
30L 左撮影光学系
30R 右撮影光学系
33L、33R 撮像素子
1000、1100、1200、1300、1400、1500、1600、1700 眼科装置
1010 撮影部
1011 光学系
1012 照明光学系
1013、1013A、1013B 撮影光学系
1014、1014A、1014B 撮像素子
1019 移動機構
1020 制御部
1030 画像処理部
Claims (29)
- シャインプルーフの条件を満足する光学系を含む撮影部と、
撮影条件が異なる2回以上の撮影を被検眼に適用するように前記撮影部の制御を行う制御部と、
前記2回以上の撮影により取得された前記被検眼の2つ以上の画像に基づいてハイダイナミックレンジ画像を生成する画像処理部と
を含む、眼科装置。 - 前記光学系は、予め設定された照明条件に基づき前記被検眼に照明光を投射する照明光学系を含み、
前記制御部は、少なくとも照明条件が異なる2回以上の撮影を前記被検眼に適用するように前記撮影部の前記制御を行う、
請求項1の眼科装置。 - 前記照明条件は、照明光の強度を定める照明強度条件を含み、
前記制御部は、少なくとも照明強度条件が異なる2回以上の撮影を前記被検眼に適用するように前記撮影部の前記制御を行う、
請求項2の眼科装置。 - 前記撮影部は、前記光学系を移動する移動機構を更に含み、
前記照明強度条件は、2つ以上の条件を含み、
前記制御部は、前記2つ以上の条件を巡回的に適用するための前記照明光学系の制御と、前記光学系を移動するための前記移動機構の制御とを組み合わせることにより、前記2つ以上の条件に対応する2つ以上の画像からなる画像群を前記撮影部に繰り返し取得させる、
請求項3の眼科装置。 - 前記画像処理部は、前記撮影部により取得された複数の画像群に基づいて複数のハイダイナミックレンジ画像を生成する、
請求項4の眼科装置。 - 前記照明条件は、照明光の投射時間を定める照明時間条件を含み、
前記制御部は、少なくとも照明時間条件が異なる2回以上の撮影を前記被検眼に適用するように前記撮影部の前記制御を行う、
請求項2の眼科装置。 - 前記撮影部は、前記光学系を移動する移動機構を更に含み、
前記照明時間条件は、2つ以上の条件を含み、
前記制御部は、前記2つ以上の条件を巡回的に適用するための前記照明光学系の制御と、前記光学系を移動するための前記移動機構の制御とを組み合わせることにより、前記2つ以上の条件に対応する2つ以上の画像からなる画像群を前記撮影部に繰り返し取得させる、
請求項6の眼科装置。 - 前記画像処理部は、前記撮影部により取得された複数の画像群に基づいて複数のハイダイナミックレンジ画像を生成する、
請求項7の眼科装置。 - 前記光学系は、予め設定された露光条件に基づき前記被検眼を撮影する撮影光学系を含み、
前記制御部は、少なくとも露光条件が異なる2回以上の撮影を前記被検眼に適用するように前記撮影部の前記制御を行う、
請求項1の眼科装置。 - 前記撮影光学系は、撮像素子を含み、
前記露光条件は、前記撮像素子による露光時間を定める露光時間条件を含み、
前記制御部は、少なくとも露光時間条件が異なる2回以上の撮影を前記被検眼に適用するように前記撮影部の前記制御を行う、
請求項9の眼科装置。 - 前記撮影部は、前記光学系を移動する移動機構を更に含み、
前記露光時間条件は、2つ以上の条件を含み、
前記制御部は、前記2つ以上の条件を巡回的に適用するための前記撮影光学系の制御と、前記光学系を移動するための前記移動機構の制御とを組み合わせることにより、前記2つ以上の条件に対応する2つ以上の画像からなる画像群を前記撮影部に繰り返し取得させる、
請求項10の眼科装置。 - 前記画像処理部は、前記撮影部により取得された複数の画像群に基づいて複数のハイダイナミックレンジ画像を生成する、
請求項11の眼科装置。 - 前記撮影光学系は、2つ以上の撮像素子を含み、
前記制御部は、前記2つ以上の撮像素子を用いて前記2回以上の撮影を行うように前記撮影部の前記制御を行う、
請求項9の眼科装置。 - 前記2つ以上の撮像素子は、第1の撮像素子及び第2の撮像素子を含み、
前記制御部は、前記第1の撮像素子による第1の露光時間と前記第2の撮像素子による第2の露光時間とが異なるように前記撮影部の前記制御を行う、
請求項13の眼科装置。 - 前記2つ以上の撮像素子は、第1の撮像素子及び第2の撮像素子を含み、
前記制御部は、前記第1の撮像素子による第1の露光期間の少なくとも一部と前記第2の撮像素子による第2の露光期間の少なくとも一部とが重複するように前記撮影部の前記制御を行う、
請求項13の眼科装置。 - 前記撮影部は、前記光学系を移動する移動機構を更に含み、
前記制御部は、前記2つ以上の撮像素子を用いた前記2回以上の撮影を前記被検眼に繰り返し適用するための前記撮影光学系の制御と、前記光学系を移動するための前記移動機構の制御とを組み合わせることにより、前記2つ以上の撮像素子を用いた前記2回以上の撮影に対応する2つ以上の画像からなる画像群を前記撮影部に繰り返し取得させる、
請求項13の眼科装置。 - 前記画像処理部は、前記撮影部により取得された複数の画像群に基づいて複数のハイダイナミックレンジ画像を生成する、
請求項16の眼科装置。 - 前記光学系は、
予め設定された照明条件に基づき前記被検眼に照明光を投射する照明光学系と、
予め設定された露光条件に基づき前記被検眼を撮影する撮影光学系と
を含み、
前記撮影光学系は、第1の撮像素子及び第2の撮像素子を含み、
前記制御部は、
前記第1の撮像素子による第1の露光時間と前記第2の撮像素子による第2の露光時間とが異なり、
前記第1の撮像素子による第1の露光期間の少なくとも一部と前記第2の撮像素子による第2の露光期間の少なくとも一部とが重複し、且つ、
前記照明光学系による前記照明光の投射期間の第1の部分が前記第1の露光期間に重複し且つ前記投射期間の第2の部分が前記第2の露光期間に重複するように、
前記撮影部の前記制御を行う、
請求項1の眼科装置。 - 前記撮影部は、前記光学系を移動する移動機構を更に含み、
前記制御部は、前記第1の撮像素子を用いた第1の撮影を前記被検眼に繰り返し適用し且つ前記第2の撮像素子を用いた第2の撮影を前記被検眼に繰り返し適用するための前記撮影光学系の制御と、前記光学系を移動するための前記移動機構の制御とを組み合わせることにより、前記第1の撮影に対応する画像と前記第2の撮影に対応する画像とを含む画像群を前記撮影部に繰り返し取得させる、
請求項18の眼科装置。 - 前記画像処理部は、前記撮影部により取得された複数の画像群に基づいて複数のハイダイナミックレンジ画像を生成する、
請求項19の眼科装置。 - 前記2つ以上の画像は、第1の画像及び第2の画像を含み、
前記画像処理部は、
前記第1の画像から、所定の画素値条件を満足する第1の画素を特定し、
前記第1の画素に対応する前記第2の画像の第2の画素の画素値に基づいて前記第1の画素の画素値を変更する、
請求項1の眼科装置。 - 前記第1の画像は、前記2つ以上の画像のうち相対的に明るい画像であり、
前記第2の画像は、前記2つ以上の画像のうち相対的に暗い画像であり、
前記画像処理部は、前記第1の画像から、第1の閾値以上の輝度値を有する画素を前記第1の画素として特定する、
請求項21の眼科装置。 - 前記第1の画像は、前記2つ以上の画像のうち相対的に暗い画像であり、
前記第2の画像は、前記2つ以上の画像のうち相対的に明るい画像であり、
前記画像処理部は、前記第1の画像から、第2の閾値以下の輝度値を有する画素を前記第1の画素として特定する、
請求項21の眼科装置。 - 前記2つ以上の画像は、第1の画像及び第2の画像を含み、
前記画像処理部は、
前記第1の画像から、前記被検眼の所定の部位に相当する第1の画像領域を特定し、
前記第2の画像から、前記所定の部位に相当する第2の画像領域を特定し、
前記第1の画像領域の画素値を前記第2の画像領域の画素値に基づいて変更する、
請求項1の眼科装置。 - 前記画像処理部は、前記2つ以上の画像にトーンマッピング処理を適用する、
請求項1の眼科装置。 - 前記光学系は、
被検眼に照明光を投射する照明光学系と、
前記被検眼を撮影する撮影光学系と
を含み、
前記撮影部は、前記照明光学系及び前記撮影光学系を移動する移動機構を含み、
前記制御部は、前記2回以上の撮影のための前記撮影部の前記制御において、前記被検眼に対する前記照明光の投射時間が前記撮影光学系の露光時間よりも短くなるように、且つ、前記被検眼に対する前記照明光の投射期間の少なくとも一部と前記撮影光学系の露光期間の少なくとも一部とが重複するように、前記照明光学系及び前記撮影光学系の少なくとも一方を制御する、
請求項1の眼科装置。 - シャインプルーフの条件を満足する光学系を含む撮影部と、プロセッサとを含む眼科装置を制御する方法であって、
前記プロセッサを、
撮影条件が異なる2回以上の撮影を被検眼に適用するように前記撮影部の制御を行う制御部、及び、
前記2回以上の撮影により取得された前記被検眼の2つ以上の画像に基づいてハイダイナミックレンジ画像を生成する画像処理部
として機能させる、方法。 - シャインプルーフの条件を満足する光学系を含む撮影部と、プロセッサとを含む眼科装置を動作させるためのプログラムであって、
前記プロセッサを、
撮影条件が異なる2回以上の撮影を被検眼に適用するように前記撮影部の制御を行う制御部、及び、
前記2回以上の撮影により取得された前記被検眼の2つ以上の画像に基づいてハイダイナミックレンジ画像を生成する画像処理部
として機能させる、プログラム。 - シャインプルーフの条件を満足する光学系を含む撮影部と、プロセッサとを含む眼科装置を動作させるためのプログラムが記録された、コンピュータ可読な非一時的記録媒体であって、
前記プログラムが、前記プロセッサを、
撮影条件が異なる2回以上の撮影を被検眼に適用するように前記撮影部の制御を行う制御部、及び、
前記2回以上の撮影により取得された前記被検眼の2つ以上の画像に基づいてハイダイナミックレンジ画像を生成する画像処理部
として機能させる、記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-116540 | 2022-07-21 | ||
JP2022116540A JP2024014009A (ja) | 2022-07-21 | 2022-07-21 | 眼科装置、眼科装置を制御する方法、プログラム、及び記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024018788A1 true WO2024018788A1 (ja) | 2024-01-25 |
Family
ID=89617536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/022193 WO2024018788A1 (ja) | 2022-07-21 | 2023-06-15 | 眼科装置、眼科装置を制御する方法、プログラム、及び記録媒体 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2024014009A (ja) |
WO (1) | WO2024018788A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100201799A1 (en) * | 2007-09-27 | 2010-08-12 | Uwe Mohrholz | Arrangement and method for generating images with expanded dynamics |
JP2012213555A (ja) * | 2011-04-01 | 2012-11-08 | Topcon Corp | 眼底撮影装置 |
US20180284419A1 (en) * | 2017-04-04 | 2018-10-04 | Carl Zeiss Meditec Ag | Method for producing reflection-corrected images, microscope and reflection correction method for correcting digital microscopic images |
JP2019213733A (ja) * | 2018-06-13 | 2019-12-19 | 株式会社トプコン | スリットランプ顕微鏡及び眼科システム |
US20210382549A1 (en) * | 2020-06-05 | 2021-12-09 | Magic Leap, Inc. | Enhanced eye tracking techniques based on neural network analysis of images |
-
2022
- 2022-07-21 JP JP2022116540A patent/JP2024014009A/ja active Pending
-
2023
- 2023-06-15 WO PCT/JP2023/022193 patent/WO2024018788A1/ja unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100201799A1 (en) * | 2007-09-27 | 2010-08-12 | Uwe Mohrholz | Arrangement and method for generating images with expanded dynamics |
JP2012213555A (ja) * | 2011-04-01 | 2012-11-08 | Topcon Corp | 眼底撮影装置 |
US20180284419A1 (en) * | 2017-04-04 | 2018-10-04 | Carl Zeiss Meditec Ag | Method for producing reflection-corrected images, microscope and reflection correction method for correcting digital microscopic images |
JP2019213733A (ja) * | 2018-06-13 | 2019-12-19 | 株式会社トプコン | スリットランプ顕微鏡及び眼科システム |
US20210382549A1 (en) * | 2020-06-05 | 2021-12-09 | Magic Leap, Inc. | Enhanced eye tracking techniques based on neural network analysis of images |
Also Published As
Publication number | Publication date |
---|---|
JP2024014009A (ja) | 2024-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4901201B2 (ja) | 眼底画像処理方法及び装置 | |
JP6900953B2 (ja) | 画像処理装置および方法、内視鏡システム、並びにプログラム | |
JP7214880B2 (ja) | 眼科装置、その制御方法、及びプログラム | |
JP2014079392A (ja) | 眼科撮影装置 | |
JP6821411B2 (ja) | 眼科装置 | |
WO2024018788A1 (ja) | 眼科装置、眼科装置を制御する方法、プログラム、及び記録媒体 | |
JP2023003456A (ja) | 眼科撮影装置及び眼科画像処理装置 | |
WO2024034298A1 (ja) | 眼科装置、眼科装置を制御する方法、及び記録媒体 | |
WO2023037658A1 (ja) | 眼科装置、眼科装置を制御する方法、眼画像を処理する方法、プログラム、及び記録媒体 | |
JP2021079013A (ja) | 医用画像処理装置、医用画像処理装置の処理方法およびプログラム | |
WO2023238729A1 (ja) | 眼科装置、眼科装置を制御する方法、プログラム、及び記録媒体 | |
JP7355194B2 (ja) | 眼底撮影装置 | |
JP7460406B2 (ja) | 眼科装置、その制御方法、及びプログラム | |
US20230389795A1 (en) | Ophthalmic information processing apparatus, ophthalmic apparatus, ophthalmic information processing method, and recording medium | |
JP7375323B2 (ja) | 眼底撮影装置 | |
WO2024143140A1 (ja) | 眼科装置、眼科装置の制御方法、眼科撮影方法、プログラム、及び記録媒体 | |
WO2024043041A1 (ja) | 眼科装置、眼科装置を制御する方法、プログラム、及び記録媒体 | |
JP7565697B2 (ja) | 眼科装置、その制御方法、及びプログラム | |
JP7200516B2 (ja) | 眼底撮影装置 | |
WO2021187162A1 (ja) | 眼科装置、その制御方法、及びプログラム | |
WO2022085501A1 (ja) | 眼科装置、その制御方法、プログラム、及び記録媒体 | |
JP2007173894A (ja) | 点光源撮影画像の補正装置および補正方法 | |
JP2022069734A (ja) | 眼科撮像装置及び眼科撮像装置の制御方法 | |
JP2024098233A (ja) | 眼科装置、眼科装置の制御方法、眼科撮影方法、プログラム、及び記録媒体 | |
JP2022069735A (ja) | 眼科撮像装置及び眼科撮像装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23842720 Country of ref document: EP Kind code of ref document: A1 |