WO2023182011A1 - 画像処理方法、画像処理装置、眼科装置、及びプログラム - Google Patents

画像処理方法、画像処理装置、眼科装置、及びプログラム Download PDF

Info

Publication number
WO2023182011A1
WO2023182011A1 PCT/JP2023/009452 JP2023009452W WO2023182011A1 WO 2023182011 A1 WO2023182011 A1 WO 2023182011A1 JP 2023009452 W JP2023009452 W JP 2023009452W WO 2023182011 A1 WO2023182011 A1 WO 2023182011A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
optical system
numerical aperture
image processing
dimensional
Prior art date
Application number
PCT/JP2023/009452
Other languages
English (en)
French (fr)
Inventor
直樹 福武
嘉晃 安野
修一 巻田
Original Assignee
株式会社ニコン
国立大学法人筑波大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン, 国立大学法人筑波大学 filed Critical 株式会社ニコン
Publication of WO2023182011A1 publication Critical patent/WO2023182011A1/ja

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated

Definitions

  • the technology of the present disclosure relates to an image processing method, an ophthalmological apparatus, and a program.
  • Optical coherence tomography based on optical coherence tomography can measure the structure of the eye to be examined using reflected light from different layers in the fundus of the eye to be examined, and can produce one-dimensional depth direction, two-dimensional tomographic images, and three-dimensional tomographic images. images can be obtained.
  • a technique is known that uses an optical coherence tomography to generate data regarding the structure of an eye to be examined (US Pat. No. 1,023,8281).
  • the first aspect of the technology of the present disclosure is An image processing method in an image processing device performed by a processor, the method comprising: signal light in which light from a light source is irradiated onto an irradiated object by an optical system having a first numerical aperture, and return light from the irradiated object due to the irradiated light is propagated by an optical system having a second numerical aperture; obtaining information indicating the interference light obtained by detecting interference light with a reference light obtained by dividing the light from the light source; Information indicating the interference light is transmitted in a four-dimensional space between the frequency of the light source and the frequency of three-dimensional light indicating the irradiated object, and in an optical system with the first numerical aperture and the second numerical aperture.
  • This image processing method includes performing a first process of projecting onto a four-dimensional frequency aperture formed by an optical system, and a second process of projecting the projected information onto a three-dimensional space.
  • the second aspect of the technology of the present disclosure is An image processing device including a memory and a processor,
  • the processor includes: signal light in which light from a light source is irradiated onto an irradiated object by an optical system having a first numerical aperture, and return light from the irradiated object due to the irradiated light is propagated by an optical system having a second numerical aperture; obtaining information indicating the interference light obtained by detecting interference light with a reference light obtained by dividing the light from the light source; Information indicating the interference light is transmitted in a four-dimensional space between the frequency of the light source and the frequency of three-dimensional light indicating the irradiated object, and in an optical system with the first numerical aperture and the second numerical aperture.
  • This is an image processing device that performs a first process of projecting onto a four-dimensional frequency aperture formed by an optical system and a second process of projecting the projected information onto a three-dimensional space.
  • the third aspect of the technology of the present disclosure is to the computer, Light from a light source is irradiated onto the eye to be examined through an optical system having a first numerical aperture, and return light from the eye to be examined due to the irradiated light is combined with signal light propagated by an optical system having a second numerical aperture, and signal light from the light source. obtaining information indicating the interference light obtained by detecting interference light with a reference light obtained by dividing the light; Information indicating the interference light is transmitted in a four-dimensional space between the frequency of the light source and the frequency of light from the eye to be examined by the signal light, and an optical system having the first numerical aperture and an optical system having the second numerical aperture.
  • This is a program that executes a first process of projecting information onto a four-dimensional frequency aperture formed by the following, and a second process of projecting the projected information onto a three-dimensional space.
  • FIG. 1 is a schematic configuration diagram of an ophthalmologic system according to an embodiment.
  • FIG. 1 is a schematic configuration diagram of an ophthalmologic apparatus according to an embodiment. It is a conceptual diagram of an OCT image.
  • FIG. 2 is a conceptual diagram of an example showing information regarding an OCT image in an OCT system in a four-dimensional frequency space.
  • FIG. 4 is a conceptual diagram showing an example of a four-dimensional aperture A4 .
  • FIG. 4 is a conceptual diagram showing a part of a four-dimensional aperture A4 .
  • FIG. 2 is an explanatory diagram conceptually illustrating correction processing of an OCT image using a double projection method. It is a conceptual block diagram of the optical system in an OCT system.
  • FIG. 1 is a schematic configuration diagram of an ophthalmologic apparatus according to an embodiment. It is a conceptual diagram of an OCT image.
  • FIG. 2 is a conceptual diagram of an example showing information regarding an OCT image in an OCT system in a four-dimensional
  • FIG. 3 is an explanatory diagram of functions realized by an image processing program. 3 is a flowchart showing an example of the flow of image processing.
  • FIG. 2 is a conceptual diagram showing an example of an OCT image according to the present embodiment.
  • FIG. 2 is a conceptual diagram showing a comparative example of OCT images.
  • FIG. 1 shows a schematic configuration of an ophthalmologic system 100.
  • the ophthalmology system 100 includes an ophthalmology apparatus 110, a server device (hereinafter referred to as “server”) 140, and a display device (hereinafter referred to as "viewer”) 150.
  • the ophthalmologic apparatus 110 acquires fundus images.
  • the server 140 stores a plurality of fundus images obtained by photographing the fundus of a plurality of patients by the ophthalmological device 110 and an axial length measured by an axial length measuring device (not shown) in a manner corresponding to the patient ID. memorize it.
  • the viewer 150 displays fundus images and analysis results obtained by the server 140.
  • a subject's eye is applied as an example of the "illuminated object" of the technology of the present disclosure.
  • the ophthalmological device 110 is an example of an “ophthalmological device” according to the technology of the present disclosure.
  • the ophthalmological apparatus is also an example of the "image processing apparatus" of the technology of the present disclosure.
  • the ophthalmological apparatus 110, server 140, and viewer 150 are interconnected via a network 130.
  • the network 130 is any network such as a LAN, WAN, the Internet, or a wide area Ethernet network.
  • a LAN can be used as the network 130.
  • the viewer 150 is a client in a client server system, and a plurality of viewers are connected via a network. Furthermore, a plurality of servers 140 may be connected via a network to ensure system redundancy. Further, if the ophthalmological apparatus 110 is provided with an image processing function and an image viewing function of the viewer 150, it becomes possible to acquire fundus images, image processing, and image viewing in a standalone state. Further, if the server 140 is provided with the image viewing function of the viewer 150, the configuration of the ophthalmological apparatus 110 and the server 140 enables fundus image acquisition, image processing, and image viewing.
  • ophthalmological devices examination devices such as visual field measurement and intraocular pressure measurement
  • diagnostic support devices that perform image analysis using AI (Artificial Intelligence) are connected to the ophthalmological device 110, the server 140, and the viewer via the network 130. 150.
  • AI Artificial Intelligence
  • SLO scanning laser ophthalmoscope
  • OCT optical coherence tomography
  • the horizontal direction is the "X direction”
  • the vertical direction to the horizontal plane is the "Y direction” connecting the center of the pupil in the anterior segment of the eye 12 to be examined and the center of the eyeball.
  • Let the direction be the "Z direction”. Therefore, the X, Y, and Z directions are perpendicular to each other.
  • the ophthalmological apparatus 110 includes an imaging device 14 and a control device 16.
  • the photographing device 14 includes an SLO unit 18 and an OCT unit 20, and acquires a fundus image of the eye 12 to be examined.
  • the two-dimensional fundus image acquired by the SLO unit 18 will be referred to as an SLO image.
  • a retinal tomographic image, en-face image, or the like created based on OCT data acquired by the OCT unit 20 may be referred to as an OCT image.
  • the control device 16 has a CPU (Central Processing Unit) 16A, a RAM (Random Access Memory) 16B, a ROM (Read-Only Memory) 16C, and an input/output port (I/O) 16D. equipped with a computer ing.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read-Only Memory
  • I/O input/output port
  • the control device 16 includes an input/display device 16E connected to the CPU 16A via an I/O port 16D.
  • the input/display device 16E has a graphic user interface that displays an image of the eye 12 to be examined and receives various instructions from the user.
  • An example of a graphic user interface is a touch panel display.
  • the control device 16 also includes an image processor 17 connected to the I/O port 16D.
  • the image processor 17 generates an image of the eye 12 based on the data obtained by the imaging device 14.
  • Control device 16 is connected to network 130 via communication interface 16F.
  • the image processor 17 includes a memory 17M, which is a nonvolatile storage device that can store an image processing program to be described later.
  • the control device 16 of the ophthalmological device 110 includes the input/display device 16E, but the technology of the present disclosure is not limited thereto.
  • the control device 16 of the ophthalmologic device 110 may not include the input/display device 16E, but may include a separate input/display device that is physically independent of the ophthalmologic device 110.
  • the display device may include an image processing processor unit, and the image processing processor unit may display the SLO image or the like based on the image signal output from the ophthalmological apparatus 110.
  • the photographing device 14 operates under the control of the CPU 16A of the control device 16.
  • the imaging device 14 includes an SLO unit 18, an imaging optical system 19, and an OCT unit 20.
  • the photographing optical system 19 includes an optical scanner 22 and a wide-angle optical system 30.
  • the optical scanner 22 two-dimensionally scans the light emitted from the SLO unit 18 in the X direction and the Y direction.
  • the optical scanner 22 may be any optical element that can deflect a light beam, and for example, a polygon mirror, a galvano mirror, or the like can be used. Alternatively, a combination thereof may be used.
  • the wide-angle optical system 30 combines the light from the SLO unit 18 and the light from the OCT unit 20.
  • the wide-angle optical system 30 may be a reflective optical system using a concave mirror such as an elliptical mirror, a refractive optical system using a wide-angle lens, or a catadioptric optical system combining a concave mirror and lenses.
  • a wide-angle optical system using an elliptical mirror, a wide-angle lens, or the like it is possible to photograph not only the central part of the fundus but also the retina in the peripheral part of the fundus.
  • the wide-angle optical system 30 realizes observation in a wide field of view (FOV) region 12A in the fundus.
  • the FOV region 12A indicates the range that can be photographed by the photographing device 14.
  • the FOV area 12A may be expressed as a viewing angle.
  • the viewing angle may be defined by an internal illumination angle and an external illumination angle.
  • the external irradiation angle is an irradiation angle that defines the irradiation angle of the light beam irradiated from the ophthalmological apparatus 110 to the eye 12 to be examined, with the pupil 27 as a reference.
  • the internal illumination angle is an illumination angle that defines the illumination angle of the light beam irradiated to the fundus F with the eyeball center O as a reference.
  • the external illumination angle and the internal illumination angle have a corresponding relationship. For example, if the external illumination angle is 120 degrees, the internal illumination angle corresponds to approximately 160 degrees. In this embodiment, the internal illumination angle is 200 degrees.
  • UWF-SLO fundus image an SLO fundus image obtained by photographing at an internal illumination angle of 160 degrees or more is referred to as a UWF-SLO fundus image.
  • UWF is an abbreviation for UltraWide Field.
  • the wide-angle optical system 30 with a super-wide viewing angle (FOV) of the fundus of the eye can photograph an area extending from the posterior pole of the fundus of the eye 12 to the equator.
  • the ophthalmological apparatus 110 can photograph a region 12A with an internal illumination angle of 200° using the eyeball center O of the subject's eye 12 as a reference position.
  • the internal illumination angle of 200° is 110° in terms of the external illumination angle with respect to the pupil of the eyeball of the eye 12 to be examined. That is, the wide-angle optical system 30 irradiates a laser beam from the pupil with an external illumination angle of 110° and photographs a fundus region of 200° with an internal illumination angle.
  • the SLO system is realized by the control device 16, the SLO unit 18, and the photographing optical system 19 shown in FIG. Since the SLO system includes the wide-angle optical system 30, it is possible to photograph the fundus in a wide FOV region 12A.
  • the SLO unit 18 includes a B light (blue light) light source, a G light (green light) light source, an R light (red light) light source, and an IR light (infrared light (e.g., near infrared light)) light source. It is equipped with a light source 40 that includes. Each color of light from the light source 40 is guided along the same optical path.
  • the SLO unit 18 is configured to be able to switch between a light source that emits laser light of different wavelengths or a combination of light sources that emit light, such as a mode that emits R light and G light and a mode that emits infrared light.
  • a light source that emits laser light of different wavelengths or a combination of light sources that emit light, such as a mode that emits R light and G light and a mode that emits infrared light.
  • the technology of the present disclosure is not limited to providing four light sources: a B light source, a G light source, an R light source, and an IR light source.
  • the SLO unit 18 may further include a white light source and emit light in various modes, such as a mode that emits G light, R light, and B light, or a mode that emits only white light. good.
  • the light incident on the photographing optical system 19 from the SLO unit 18 is scanned in the X direction and the Y direction by the optical scanner 22.
  • the scanning light passes through the wide-angle optical system 30 and the pupil 27 and is irradiated onto the fundus of the eye.
  • the light reflected by the fundus enters the SLO unit 18 via the wide-angle optical system 30 and the optical scanner 22.
  • the SLO unit 18 includes a beam splitter 60 that guides light from the posterior segment (fundus) of the eye 12 to be examined to the detection element 70.
  • the detection element 70 detects light from the posterior segment (fundus) of the eye 12 to be examined.
  • the beam splitter 60 and the detection element 70 may be provided for each color.
  • each beam splitter for B light, G light, R light, and IR light is arranged on the optical axis, and a detection element of a corresponding color is arranged downstream of each beam splitter.
  • the beam splitter for B light may reflect B light and transmit light other than B light.
  • a beam splitter for G light reflects G light and transmits light other than G light
  • a beam splitter for R light reflects R light and transmits light other than R light
  • a beam splitter for IR light reflects R light and transmits light other than R light.
  • the beam splitter may reflect IR light.
  • the image processor 17, which operates under the control of the CPU 16A, processes the light (reflected light reflected by the fundus) that is incident on the SLO unit 18 via the wide-angle optical system 30 and the optical scanner 22, that is, the light of each color.
  • a UWF-SLO image is generated using the signal of the detection element 70.
  • control device 16 controls the light sources 40 for each color so that they emit light at the same time.
  • a G-color fundus image, an R-color fundus image, and a B-color fundus image whose respective positions correspond to each other are obtained.
  • An RGB color fundus image is obtained from the G color fundus image, the R color fundus image, and the B color fundus image.
  • the control device 16 controls the light sources 40 for each color so that they emit light simultaneously, and the fundus of the subject's eye 12 is simultaneously photographed using the G light and the R light, thereby creating a G-color fundus image and an R-color fundus image whose respective positions correspond to each other.
  • a colored fundus image is obtained.
  • An RG color fundus image is obtained from the G color fundus image and the R color fundus image.
  • the wide-angle optical system 30 makes it possible to set the field of view (FOV) of the fundus to an ultra-wide angle, and to photograph a region beyond the equator from the posterior pole of the fundus of the eye 12 to be examined.
  • FOV field of view
  • the OCT system is realized by the control device 16, OCT unit 20, and imaging optical system 19 shown in FIG. Since the OCT system includes the wide-angle optical system 30, it is possible to perform OCT imaging of the peripheral part of the fundus, similar to the imaging of the SLO fundus image described above. That is, by using the wide-angle optical system 30 in which the viewing angle (FOV) of the fundus is set to an ultra-wide angle, it is possible to perform OCT imaging of a region extending from the posterior pole of the fundus of the eye 12 to the equator. OCT data of the peripheral part of the fundus can be acquired, and a 3D structure of the fundus can be obtained by image processing the tomographic image and the OCT data.
  • FOV viewing angle
  • the OCT unit 20 includes an irradiation/detection optical system 20E including a light source 20A, a sensor (detection element) 20B, a first optical coupler 20C, a reference optical system 20D, and a second optical coupler 200 (FIG. 3). .
  • the light emitted from the light source 20A is branched by the first optical coupler 20C.
  • One of the branched lights is input as measurement light to the photographing optical system 19 via the irradiation/detection optical system 20E.
  • the measurement light passes through the wide-angle optical system 30 and the pupil 27 and is irradiated onto the fundus of the eye.
  • the measurement light reflected by the fundus enters the OCT unit 20 via the wide-angle optical system 30 and the optical scanner 22, and enters the sensor 20B via the irradiation/detection optical system 20E and the first optical coupler 20C.
  • the other light branched by the first optical coupler 20C is incident on the reference optical system 20D, and the returned light is incident on the sensor 20B via the first optical coupler 20C as reference light.
  • the light incident on the sensor 20B that is, the measurement light reflected on the fundus of the eye and the reference light are interfered with to generate interference light.
  • the interference light is received by the sensor 20B.
  • An image processor 17 operating under the control of the CPU 16 generates OCT data detected by the sensor 20B. It is possible to generate a tomographic image and an OCT image based on the OCT data.
  • the above-mentioned OCT unit 20 can scan a predetermined range (for example, a rectangular range of 6 mm x 6 mm) in one OCT imaging.
  • the predetermined range is not limited to 6 mm x 6 mm, but may be a square range of 12 mm x 12 mm or 23 mm x 23 mm, or a rectangular range such as 14 mm x 9 mm, 6 mm x 3.5 mm, or any rectangular range. can.
  • the diameter may be in a range of 6 mm, 12 mm, 23 mm, etc.
  • the ophthalmological apparatus 110 can scan an area 12A with an internal illumination angle of 200°. That is, by controlling the optical scanner 22, OCT imaging of a predetermined range is performed.
  • the ophthalmologic apparatus 110 can generate OCT data through the OCT imaging. Therefore, the ophthalmological apparatus 110 can generate a tomographic image (B-scan image) of the fundus, which is an OCT image, OCT volume data, and an en-face image (a frontal image generated from the OCT volume data) which is a cross section of the OCT volume data. can be generated.
  • OCT data (or image data of an OCT image) is sent from the ophthalmological apparatus 110 to the server 140 via the communication interface 16F, and is stored in the storage device.
  • FIG. 3 shows an example of an image (OCT image) of dots lined up on the optical axis obtained simultaneously by an OCT system using an optical system (e.g. objective lens) with different numerical apertures (hereinafter referred to as NA). shows.
  • the axis in the depth direction at the same position on the x-axis is c ⁇ .
  • c indicates a luminous flux
  • c ⁇ ⁇ .
  • the depth of focus of the optical system is indicated as DOF.
  • the dot image obtained by the OCT system becomes an incomplete dot image as the position in the depth direction in the fundus moves away from the focal position (e.g. focal depth) of the optical system.
  • the resolution gradually decreases as the position from which information regarding the fundus of the eye is acquired moves away from the focal position (for example, depth of focus) of the photographing optical system 19. Therefore, as the distance from the focal depth increases, the image gradually becomes an incomplete dot image having blurring, distortion, and the like.
  • the reason why the OCT image restoration by the OCT system is incomplete is considered to be that the information acquired by the OCT system does not reflect all the information regarding the fundus of the eye 12 to be examined and is incomplete.
  • FIG. 4 shows an example of information regarding OCT images.
  • indicates the frequency of light from the light source 20A (in this embodiment, the frequency of light irradiated to the fundus), and fx, fy, and fz indicate object frequencies (in this embodiment, the frequencies of reflected light on the fundus).
  • optical system for example, objective lens
  • NA NA
  • the object frequencies (fx, fy, fz) are uniform in the ⁇ direction. Furthermore, in the 4-dimensional frequency space, since the frequency in the real space is within a predetermined range, a window function indicating the 4-dimensional aperture A 4 (4-D aperture) is defined as an equipment function of the OCT system. Ru.
  • a four-dimensional aperture A4 is an aperture space in a four-dimensional frequency space. Therefore, the OCT system acquires only the frequencies within the four-dimensional aperture A4 among the object frequencies.
  • the frequency (four-dimensional information) within the four-dimensional aperture A4 is not entirely acquired, but is integrated in the fz direction at the time of detection, and is acquired as three-dimensional information. In this way, when the frequency within the four-dimensional aperture A4 is integrated in the fz direction, part of the four-dimensional information disappears.
  • this embodiment provides an OCT system that can reduce information loss in which part of the four-dimensional information disappears.
  • the frequency of the image is the ⁇ integral of the object frequency within the four-dimensional aperture A4 . Therefore, by applying the ⁇ integral of the object frequency within the four-dimensional aperture A4 , it is possible to reduce information loss in which part of the four-dimensional information disappears.
  • an optical system that makes the four-dimensional aperture A4 sufficiently thin is provided as an OCT system that reduces information loss. This makes it possible to reduce information loss in which part of the four-dimensional information disappears even after fz integration.
  • the NA of the optical system on the irradiation side that irradiates light to the eye 12 to be examined is different from the NA of the optical system on the detection side that detects light from the eye 12 to be examined (for example, light reflected from the fundus).
  • the optical system is formed to have a NA.
  • an optical system with an NA of zero includes an optical system with an NA that is larger than zero and has an aperture angle that is smaller than the image height formed by the light beam.
  • an optical system having an NA of zero includes, for example, an optical system in which an optical system is formed so that the incident light or the output light becomes a parallel light beam, and the NA can be considered to be zero.
  • an optical system with zero NA uses full-field irradiation, which uniformly illuminates the object on the irradiated side, such as the eye 12, or illuminates a predetermined area of the object on the irradiated side all at once. It is applicable to the optical system of an OCT system.
  • the object frequency within the 4-dimensional aperture A 4 will have a sufficient amount of information (including fz information), and even if fz integration is performed, information regarding the eye 12 to be examined (4-dimensional information) It is possible to reduce information loss where part of the information is lost.
  • the optical systems are formed for the eye 12 to be examined so that the NA of the irradiation-side optical system and the NA of the detection-side optical system are different.
  • an optical system is formed in which the NA of the irradiation side optical system is sufficiently small, that is, the NA is zero, and an optical system is formed in which the NA of the detection side optical system is larger than the NA of the irradiation side optical system.
  • FIG. 5 it becomes possible to form the four-dimensional aperture A4 thinly. More specifically, as shown by the four-dimensional aperture A4 at a predetermined frequency (frequency ⁇ of light from the light source 20A) in FIG. Become. This continuous line-shaped aperture becomes the four-dimensional aperture A 4 (FIG. 5) in this embodiment.
  • the optical systems for forming the four-dimensional aperture A4 thinly are such that one optical system has an NA of zero or close to zero, and the other optical system has an NA larger than the NA of one optical system.
  • the four-dimensional aperture A4 formed thinly is an example of the "four-dimensional frequency aperture" of the technology of the present disclosure.
  • the NA of the optical system on the side that irradiates light to the eye 12 to be examined is assumed to be an optical system with zero NA
  • the NA of the optical system on the side that detects light from the eye 12 to be examined is assumed to be an NA of a finite value.
  • the detection-side optical system may have an NA of zero
  • the irradiation-side optical system may have a finite NA.
  • the NA may be set to a finite value.
  • the NA of the optical system on the irradiation side and the NA of the optical system on the detection side may be formed to be different, and by making the NA of the two different, the four-dimensional aperture A can be made smaller than when both have the same NA. 4 can be made thinner.
  • an OCT image is corrected using a four-dimensional aperture A4 that can reduce information loss. That is, the OCT image is corrected by a two-step process (double projection method) using frequency information of the OCT image.
  • the first stage process involves projecting the frequency information (I) of the OCT image G1 onto a four-dimensional aperture A4 formed thinly.
  • the information loss of the information (four-dimensional information) regarding the eye 12 to be examined is reduced. Therefore, by the double projection method described above, it is possible to correct, for example, a distorted OCT image into an image equivalent to a normal microscope image. Furthermore, since information loss is reduced, resolution is also maintained, making it possible to generate OCT images with higher precision than when the thin four-dimensional aperture A4 is not used.
  • the four-dimensional aperture A 4 is a quantity that does not depend on the object frequency, It is defined by an optical system with a first numerical aperture and an optical system with a second numerical aperture.
  • the four-dimensional aperture can be expressed as a window function that can express a physical quantity determined by the configuration of the optical system in the OCT system.
  • the object frequency is a physical quantity expressing the eye 12 to be examined using light components. Since the object frequency has no ⁇ dependence, it becomes a uniform four-dimensional physical quantity in the ⁇ direction. Note that the frequency ⁇ is the optical frequency of the light source and is also the optical frequency of the signal light.
  • a value of a three-dimensional function obtained by fz-integrating a four-dimensional function (obtainable image frequency) obtained by multiplying this object frequency by a four-dimensional aperture A4 is obtained as a detected value by the optical system. That is, the value of a three-dimensional function indicating the fz integral of a four-dimensional function obtained by multiplying the object frequency by the four-dimensional aperture A4 is acquired by the sensor of the optical system of the OCT system.
  • an aperture surface may be defined within the four-dimensional aperture A4 .
  • This aberration surface is a predetermined surface that is farthest from the origin within the 4-dimensional aperture A 4 (for example, the outermost surface of the 4-dimensional aperture A 4 , which is the surface farthest from the origin within the 4-dimensional aperture A 4 ). is preferred.
  • indicates the distance in the depth direction of the eye 12 to be examined (in the example of time-type domain OCT, the amount of adjustment for adjusting the optical path length in the reference optical system 20D, for example, the amount of movement of a mirror).
  • the information ( ⁇ I) of the projected image G2 at the four-dimensional aperture A4 can be expressed by the following (2).
  • the information ( ⁇ I') of the image G3 projected from the four-dimensional aperture A4 can be expressed by the following (3).
  • the control device 16 uses the image processor 17 operating under the control of the CPU 16A to generate an OCT image using equations (1) to (3) described above. The process of generating the OCT image will be described later.
  • the sensor 20B of the OCT unit 20 includes a pair of lenses 20B-1 and a detection element 20B-2.
  • the sensor 20B collimates the light branched by the first optical coupler 20C, that is, the interference light obtained by interfering the measurement light reflected from the fundus and the reference light, into parallel light by a pair of lenses 20B-1.
  • the light is focused on the detection element 20B-2.
  • the reference optical system 20D includes a pair of lenses 20D-1 and a mirror 20D-2.
  • the light branched by the first optical coupler 20C that is, the measurement light
  • the mirror 20D-2 is configured to be movable in the optical axis direction (the direction indicated by the arrow ⁇ in FIG. 8).
  • the light reflected by the mirror 20D-2 is returned to the first optical coupler 20C as a reference light via a pair of lenses 20D-1.
  • the OCT system according to this embodiment uses TD-OCT (Time-Domain OCT), which is known as time-based domain OCT.
  • TD-OCT Time-Domain OCT
  • the OCT system may have a configuration according to the OCT system to which it is applied.
  • TD-OCT time domain OCT
  • the mirror 20D-2 may be moved and swept.
  • SD-OCT of Fourier domain type OCT spectroscopic detection may be performed with the mirror 20D-2 fixed.
  • a light source that emits multiple lights of multiple wavelengths may be used.
  • SS-OCT a one-pixel detector, for example, may be used as the detection element 20B-2, the mirror 20D-2 may be fixed, and the wavelength of the broadband light source may be swept.
  • a broadband light source such as a laser device that emits a broadband laser beam for wavelength sweeping may be used as the light source 20A.
  • an optical system with zero NA full-field irradiation is used to uniformly illuminate an object on the irradiated side, such as the eye 12, or to illuminate a predetermined area of the object on the irradiated side all at once.
  • the optical system of the OCT system can be applied. That is, the technology of the present disclosure is not limited to the laser scanning type optical system that scans the laser beam described above, but can also be applied to an optical system using a CCD (Charge Coupled Device) camera or the like. It is possible. In this case, a CCD camera including an element such as a CCD may be used as the detection element 20B-2.
  • CCD Charge Coupled Device
  • the irradiation/detection optical system 20E includes a second optical coupler 200, an irradiation optical system 210, and a detection optical system 220.
  • the second optical coupler 200 has the function of guiding the light emitted from the light source 20A (the measurement light branched by the first optical coupler 20C) to the irradiation optical system 210 as irradiation light, and the function of guiding the light emitted from the light source 20A to the irradiation optical system 210. (i.e., return light from the subject's eye 12) as detection light to the first optical coupler 20C (i.e., toward the sensor 20B).
  • the eye 12 to be examined is irradiated with the light propagating through the irradiation optical system 210 as light from the light source 20A, and the sensor 20B is irradiated with the return light ( The reflected light from the subject's eye 12) propagates through the detection optical system 220 and enters as measurement light.
  • the optical path of the irradiation optical system 210 in the irradiation/detection optical system 20E is shown by a solid line
  • the optical path of the detection optical system 220 is shown by a dotted line.
  • the irradiation optical system 210 includes a pair of lenses, a lens 212 and a lens 214.
  • the lens 212 is arranged so that one end surface of the fiber 211 on the irradiation side is located at the focal position on the entrance side of the lens 212 on the optical axis of the irradiation optical system 210 .
  • the fiber 211 on the irradiation side is formed of a single mode fiber, and the other end face is connected to the second optical coupler 200.
  • the lens 214 is arranged so that the reflective surface of the optical scanner 22 is located at the focal position on the exit side of the lens 214 on the optical axis of the irradiation optical system 210.
  • the lens 212 collimates the light from the light source 20A (the measurement light branched by the first optical coupler 20C) into parallel light, and the lens 214 converts the parallel light collimated by the lens 212 into the optical scanner 22. converges on the reflective surface of The light reflected by the optical scanner 22 is collimated into parallel light by the lens 12B of the eye 12 to be examined, and is irradiated onto the fundus 12C. Therefore, the light from the light source 20A via the irradiation optical system 210 is irradiated onto the fundus 12C of the eye 12 to be examined as parallel light.
  • the irradiation optical system 210 is an optical system that emits parallel light toward the eye 12 to be examined, thereby forming an optical system with zero NA.
  • the NA of the irradiation optical system 210 is an example of the "first numerical aperture” of the technology of the present disclosure. Further, the irradiation optical system 210 is an example of the "first numerical aperture optical system" of the technology of the present disclosure.
  • the detection optical system 220 includes a beam splitter 222 and a pair of lenses including a lens 214 and a lens 216.
  • the beam splitter 222 is arranged between the lens 212 and the lens 214 in the irradiation optical system 210, and extracts the return light (reflected light) from the eye 12 by a reflection function.
  • the beam splitter 222 is arranged so that the reflective surface of the beam splitter 222 is located at the focal position of the exit side of the return light (reflected light) from the eye 12 of the lens 214 on the optical axis of the irradiation optical system 210. be done.
  • the lens 224 is arranged so that the reflective surface of the beam splitter 222 is located at the focal point on the incident side of the lens 224 on the optical axis of the detection optical system 220. Further, the lens 226 is arranged such that one end surface of the fiber 228 on the detection side is located at the focal position on the output side of the lens 226 on the optical axis of the detection optical system 220.
  • the detection side fiber 228 is formed by a single mode fiber, and the other end face is connected to the second optical coupler 200. Therefore, the lens 224 collimates the light from the beam splitter 222 into parallel light, and the lens 226 converges the parallel light collimated by the lens 224 onto the end face of the fiber 228 on the detection side. Therefore, in the detection optical system 220, the light reflected at the fundus 12C of the eye 12 to be examined is emitted toward the sensor 20B.
  • the detection optical system 220 is an optical system having a focal point on the subject's eye 12 side, thereby forming an optical system that has a different NA from the irradiation optical system 210 and has a finite NA.
  • the NA of the detection optical system 220 is an example of the "second numerical aperture” of the technology of the present disclosure. Further, the detection optical system 220 is an example of the "second numerical aperture optical system" of the technology of the present disclosure.
  • an OCT image is generated in the ophthalmological apparatus 110 using information with reduced information loss of four-dimensional information obtained using the OCT system including the irradiation optical system 210 with zero NA described above.
  • An OCT image is generated by executing an image processing program using the image processor 17 that operates under the control of the CPU 16A.
  • the OCT image may be generated in an external device such as the server 140.
  • An image processing program shown in FIG. 10 is stored in the ROM 16C of the ophthalmological apparatus 110 or the memory 17M of the image processor 17.
  • the ROM 16C and the memory 17M are examples of "memory" in the technology of the present disclosure.
  • the CPU 16A is an example of a “processor” in the technology of the present disclosure.
  • the image processing program is an example of a "program” in the technology of the present disclosure.
  • various functions are realized by the CPU 16A reading and executing an image processing program.
  • the image processing program includes a display control function, an image processing function, and a processing function. That is, when the CPU 16A executes an image processing program having each of these functions, the CPU 16A operates as a display control section 204, an image processing section 206, and a processing section 208, as shown in FIG.
  • the image processing function includes an image processing function using the above-described two-step processing method (double projection method).
  • FIG. 10 image processing according to this embodiment will be described in detail using FIG. 10.
  • the image processing shown in the flowchart of FIG. 10 is realized by the CPU 16A of the ophthalmological apparatus 110 reading out and executing the image processing program from the ROM 16C or the memory 17M.
  • the image processing process shown in FIG. 10 is an example of the image processing method of the present disclosure.
  • the image processing unit 206 acquires OCT data from the image processor 17.
  • the OCT data is data obtained by performing OCT imaging on the eye 12 to be examined using the ophthalmological apparatus 110.
  • the OCT data includes data at positions at different depths in the optical axis direction (Z-axis direction).
  • the OCT data is obtained by performing OCT imaging using the ophthalmologic apparatus 110 as described above.
  • step S202 the image processing unit 206 executes a first stage process of projecting information (OCT data) obtained by the OCT system onto a four-dimensional aperture. That is, the image processing unit 206 expresses the acquired OCT data using the above equation (1) and projects the frequency information (I) of the OCT image G1 onto the thinly formed four-dimensional aperture A4 . Information on the frequency of the OCT image is derived using the above equation (2). The derived information is temporarily stored in RAM 16B.
  • OCT data projecting information obtained by the OCT system onto a four-dimensional aperture. That is, the image processing unit 206 expresses the acquired OCT data using the above equation (1) and projects the frequency information (I) of the OCT image G1 onto the thinly formed four-dimensional aperture A4 . Information on the frequency of the OCT image is derived using the above equation (2). The derived information is temporarily stored in RAM 16B.
  • the image processing unit 206 projects the information of the OCT data projected onto the four-dimensional aperture A4 onto a three-dimensional space using the above equation ( 3 ).
  • Information on an OCT image after double projection projected onto a three-dimensional space is derived. The derived information is temporarily stored in RAM 16B.
  • step S206 the image processing unit 206 generates an OCT image using the information projected by the double projection method.
  • the generated OCT image is stored in the RAM 16B by the processing unit 208.
  • the OCT image corrected using the double projection method described above may generate an OCT image at a depth that is a predetermined position in the optical axis direction, that is, in the depth direction of the eye 12 to be examined.
  • An OCT image may be generated at a depth that is a position of .
  • an OCT image may be generated at a position at a predetermined depth, such as a depth 10 times the depth of focus, based on the focal position of the detection optical system 220 on the eye 12 side.
  • a plurality of OCT images at different depths may be generated using the focal position as a reference, or each OCT image may be generated at a predetermined number of positions at predetermined intervals.
  • each of the plurality of OCT images may be stored in the RAM 16B or the memory 17M.
  • the predetermined depth, different depths, and predetermined number can be determined in advance, and can be arbitrarily set by the user, for example.
  • image processing such as noise removal may be performed in order to improve the sharpness of the image.
  • OCT image is generated. Since the generated OCT image has reduced information loss and maintained resolution, it becomes a highly accurate OCT image that faithfully reflects the condition of the fundus of the eye 12 to be examined.
  • processing for generating information on a display screen that displays the generated OCT image may be added.
  • the process of generating information on a display screen that displays OCT images can also generate information on a display screen that displays OCT images as predetermined samples side by side.
  • an OCT image obtained by correction using the double projection method described above from one point of information detected by the ophthalmological apparatus 110 can be changed from a distorted OCT image as shown in FIG. 11B to a normal one as shown in FIG. 11A.
  • the image is corrected to an OCT image equivalent to a microscopic image.
  • the irradiation/detection optical system 20E in the OCT unit 20 is formed so that the NA of the irradiation optical system 210 and the NA of the detection optical system are different, and the OCT image is corrected by the double projection method. be.
  • the NA of the irradiation optical system 210 is determined by irradiating the subject's eye with a parallel light beam, forming an optical system that makes the NA zero, and the detection optical system 220 forming an optical system so that the NA becomes 0.9. are doing. Furthermore, FIG. 11A shows an OCT image generated at a depth position that is 30 times the depth of focus. In FIG. 11B, as a comparative example, the NA of the irradiation optical system 210 and the NA of the detection optical system 220 are 0.9 and are formed to match.
  • FIG. 11A by applying the OCT system according to this embodiment, it is possible to obtain an OCT image as a single point image (point image) from information on a single point in the detected eye 12. Become.
  • FIG. 11B if the NAs of the irradiation optical system 210 and the detection optical system 220 are made to match, the OCT image will have a distorted shape, and an image in which the state of the fundus in the subject's eye 12 is deformed will be obtained. . Therefore, as can be understood from these FIGS. 11A and 11B, by forming the 4-dimensional aperture A 4 thinly and generating an OCT image from information using the double projection method in which the 4-dimensional aperture A 4 is projected through the 4-dimensional aperture A 4. , it becomes possible to generate OCT images with high precision.
  • the irradiation optical system 210 and the detection optical system 220 have different NAs, and one of the optical systems (the irradiation optical system 210 in the above example) has an NA of zero.
  • This makes it possible to treat the aperture related to the OCT image in the four-dimensional space in consideration of frequency as a thin aperture (four-dimensional aperture A 4 ) whose influence can be suppressed even when fz integration is performed.
  • a thin aperture four-dimensional aperture A 4
  • information loss of information (four-dimensional information) regarding the eye 12 to be examined is reduced.
  • FIG. 10 Although the above embodiment describes a case where image processing (FIG. 10) is executed by the ophthalmological apparatus 110, the technology of the present disclosure is not limited to this, and the image processing (FIG. 10) is performed by the ophthalmological apparatus 110, the server 140, the viewer 150, or The present invention may be implemented using any of the additional image processing devices further provided in the network 130, or a combination of any of the additional image processing devices.
  • the technology of the present disclosure includes the following technology because image processing is preferably realized using information obtained using the four-dimensional aperture A4 formed thinly.
  • An image processing device comprising:
  • the image processing unit 206 is an example of an “acquisition unit” and a “processing unit” of the technology of the present disclosure.
  • a detection unit that detects interference light between a signal light obtained by irradiating a subject's eye with light from a light source and a reference light obtained by splitting the light from the light source; an irradiation optical system formed with a first numerical aperture so as to irradiate the eye to be examined with light from the light source; a detection optical system formed with a second numerical aperture different from the first numerical aperture so that return light from the eye to be examined due to the light irradiated by the irradiation optical system is propagated to the detection unit as the signal light; Based on the information indicating the interference light detected by the detection unit, the information indicating the interference light is detected in a four-dimensional space of the frequency of the light source and the frequency of three-dimensional light indicating the subject's eye, and A first process of projecting onto a four-dimensional frequency aperture formed by an optical system with a first numerical aperture and an optical system with a second numerical aperture, and a second process of projecting the projected information onto a three
  • the sensor 20B is an example of the "acquisition unit” of the technology of the present disclosure.
  • the irradiation optical system 210 is an example of the “irradiation optical system” of the technology of the present disclosure
  • the detection optical system 220 is an example of the “detection optical system” of the technology of the present disclosure.
  • the image processing unit 206 is an example of a “processing unit” and an “image generation unit” of the technology of the present disclosure.
  • the processing performed by executing a program stored in a storage device such as a memory has been described, but at least part of the processing of the program may be realized by hardware.
  • the process flow of the program described in the above embodiment is just an example, and unnecessary steps may be deleted, new steps may be added, or the processing order may be changed within the scope of the main idea. Good too.
  • a program in which the processes described above are written in code that can be processed by a computer may be stored in a storage medium such as an optical disk and distributed.
  • a CPU is used as an example of a general-purpose processor.
  • a processor refers to a processor in a broad sense, and may include a general-purpose processor (for example, CPU: Central Processing Unit, etc.) or a dedicated processor (for example, GPU: Graphics Processing Unit, ASIC: Application Specific Integrated Circuit, FPGA: Field Programmable Gate Array, programmable logic devices, etc.).
  • processors in the embodiments described above may be performed not only by one processor, but also by multiple processors working together, and multiple processors located at physically separate locations may work together. It may be something that is achieved through hard work.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

画像処理装置は、光源からの光を第1開口数の光学系により被検眼に照射し、かつ照射された光による被検眼からの戻り光が第2開口数の光学系により伝播した信号光と、光源からの光を分割した参照光との干渉光を検出して得られた干渉光を示す情報を取得し(S200)、干渉光を示す情報を、光源の周波数と信号光による被検眼からの光の周波数との4次元空間上で、かつ第1開口数の光学系と第2開口数の光学系とにより形成される4次元周波数開口に投影する第1処理と(S202)、投影した情報を3次元空間に投影する第2処理と(S204)、を行う。

Description

画像処理方法、画像処理装置、眼科装置、及びプログラム
 本開示の技術は、画像処理方法、眼科装置、及びプログラムに関する。
 光コヒーレンストモグラフィによる光干渉断層計は、被検眼の眼底における異なる層からの反射光を用いて被検眼の構造を測定可能であり、1次元の深さ方向、2次元の断層画像及び3次元の画像を得ることができる。例えば、光干渉断層計を用いて被検眼の構造に関するデータを生成する技術が知られている(米国特許第10238281号)。
 本開示の技術の第1の態様は、
 プロセッサが行う画像処理装置における画像処理方法であって、
 光源からの光を第1開口数の光学系により被照射側物体に照射し、かつ照射された光による被照射側物体からの戻り光が第2開口数の光学系により伝播した信号光と、前記光源からの光を分割した参照光との干渉光を検出して得られた前記干渉光を示す情報を取得し、
 前記干渉光を示す情報を、前記光源の周波数と前記被照射側物体を示す3次元の光の周波数との4次元空間上で、かつ前記第1開口数の光学系と前記第2開口数の光学系とにより形成される4次元周波数開口に投影する第1処理と、投影した情報を3次元空間に投影する第2処理と、を行う
 ことを含む画像処理方法である。
 本開示の技術の第2の態様は、
 メモリと、プロセッサとを備えた画像処理装置において、
 前記プロセッサは、
 光源からの光を第1開口数の光学系により被照射側物体に照射し、かつ照射された光による被照射側物体からの戻り光が第2開口数の光学系により伝播した信号光と、前記光源からの光を分割した参照光との干渉光を検出して得られた前記干渉光を示す情報を取得し、
 前記干渉光を示す情報を、前記光源の周波数と前記被照射側物体を示す3次元の光の周波数との4次元空間上で、かつ前記第1開口数の光学系と前記第2開口数の光学系とにより形成される4次元周波数開口に投影する第1処理と、投影した情報を3次元空間に投影する第2処理と、を行う
 ことを実行する画像処理装置である。
 本開示の技術の第3の態様は、
 コンピュータに、
 光源からの光を第1開口数の光学系により被検眼に照射し、かつ照射された光による被検眼からの戻り光が第2開口数の光学系により伝播した信号光と、前記光源からの光を分割した参照光との干渉光を検出して得られた前記干渉光を示す情報を取得し、
 前記干渉光を示す情報を、前記光源の周波数と前記信号光による被検眼からの光の周波数との4次元空間上で、かつ前記第1開口数の光学系と前記第2開口数の光学系とにより形成される4次元周波数開口に投影する第1処理と、投影した情報を3次元空間に投影す
る第2処理と、を行う
 処理を実行させるプログラムである。
実施形態に係る眼科システムの概略構成図である。 実施形態に係る眼科装置の概略構成図である。 OCT画像の概念図である。 OCTシステムにおけるOCT画像に関する情報を4次元周波数空間で示す一例の概念図である。 4次元アパチャAの一例を示す概念図である。 4次元アパチャAの一部を示す概念図である。 ダブルプロジェクション法によりOCT画像の補正処理を概念として示す説明図である。 OCTシステムにおける光学系の概念構成図である。 画像処理プログラムによって実現される機能の説明図である。 画像処理の流れの一例を示すフローチャートである。 本実施形態に係るOCT画像の一例を示す概念図である。 OCT画像の比較例を示す概念図である。
 以下、本発明の実施形態に係る眼科システム100について図面を参照して説明する。
 図1には、眼科システム100の概略構成が示されている。図1に示すように、眼科システム100は、眼科装置110と、サーバ装置(以下、「サーバ」という。)140と、表示装置(以下、「ビューワ」という。)150と、を備えている。眼科装置110は、眼底画像を取得する。サーバ140は、眼科装置110によって複数の患者の眼底が撮影されることにより得られた複数の眼底画像と、図示しない眼軸長測定装置により測定された眼軸長とを、患者IDに対応して記憶する。ビューワ150は、サーバ140により取得した眼底画像や解析結果を表示する。
 本実施形態では、本開示の技術の「被照射側物体」の一例として被検眼を適用した場合を説明する。眼科装置110は、本開示の技術の「眼科装置」の一例である。また、眼科装置は、本開示の技術の「画像処理装置」の一例でもある。
 眼科装置110、サーバ140、ビューワ150は、ネットワーク130を介して、相互に接続されている。ネットワーク130は、LAN、WAN、インターネットや広域イーサ網等の任意のネットワークである。例えば、眼科システム100が1つの病院などの医療施設に構築される場合には、ネットワーク130にLANを採用することができる。
 ビューワ150は、クライアントサーバシステムにおけるクライアントであり、ネットワークを介して複数台が接続される。また、サーバ140も、システムの冗長性を担保するために、ネットワークを介して複数台が接続されていてもよい。また、眼科装置110が画像処理機能及びビューワ150の画像閲覧機能を備えるのであれば、眼科装置110がスタンドアロン状態で、眼底画像の取得、画像処理及び画像閲覧が可能となる。また、サーバ140がビューワ150の画像閲覧機能を備えるのであれば、眼科装置110とサーバ140との構成で、眼底画像の取得、画像処理及び画像閲覧が可能となる。
 なお、他の眼科装置(視野測定、眼圧測定などの検査機器)やAI(Artificial Intelligence)を用いた画像解析を行う診断支援装置がネットワーク130を介して、眼科装置110、サーバ140、及びビューワ150に接続されていてもよい。
 次に、図2を参照して、眼科装置110の構成を説明する。
 説明の便宜上、走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope)を「SLO」と称する。また、光干渉断層計(Optical Coherence Tomography)を「OCT」と称する。
 なお、眼科装置110が水平面に設置された場合の水平方向を「X方向」、水平面に対する垂直方向を「Y方向」とし、被検眼12の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Z方向」とする。従って、X方向、Y方向、およびZ方向は互いに垂直である。
 眼科装置110は、撮影装置14および制御装置16を含む。撮影装置14は、SLOユニット18およびOCTユニット20を備えており、被検眼12の眼底画像を取得する。以下、SLOユニット18により取得された二次元眼底画像をSLO画像と称する。また、OCTユニット20により取得されたOCTデータに基づいて作成された網膜の断層画像や正面画像(en-face画像)などをOCT画像と称する場合がある。
 制御装置16は、CPU(Central Processing Unit(中央処理装置))16A、RAM(Random Access Memory)16B、ROM(Read-Only memory)16C、および入出力ポート(I/O)16Dを有するコンピュータを備えている。
 制御装置16は、I/Oポート16Dを介してCPU16Aに接続された入力/表示装置16Eを備えている。入力/表示装置16Eは、被検眼12の画像を表示したり、ユーザから各種指示を受け付けたりするグラフィックユーザインターフェースを有する。グラフィックユーザインターフェースとしては、タッチパネル・ディスプレイが挙げられる。
 また、制御装置16は、I/Oポート16Dに接続された画像処理器17を備えている。画像処理器17は、撮影装置14によって得られたデータに基づき被検眼12の画像を生成する。制御装置16は、通信インターフェース16Fを介してネットワーク130に接続される。なお、画像処理器17は、後述する画像処理プログラムを記憶可能な不揮発性の記憶装置であるメモリ17Mを備えている。
 上記のように、図2では、眼科装置110の制御装置16が入力/表示装置16Eを備えているが、本開示の技術はこれに限定されない。例えば、眼科装置110の制御装置16は入力/表示装置16Eを備えず、眼科装置110とは物理的に独立した別個の入力/表示装置を備えるようにしてもよい。この場合、当該表示装置が画像処理プロセッサユニットを備え、画像処理プロセッサユニットが、眼科装置110から出力された画像信号に基づいて、SLO画像等を表示するようにしてもよい。
 撮影装置14は、制御装置16のCPU16Aの制御下で作動する。撮影装置14は、SLOユニット18、撮影光学系19、およびOCTユニット20を含む。撮影光学系19は、光学スキャナ22、および広角光学系30を含む。
 光学スキャナ22は、SLOユニット18から射出された光をX方向、およびY方向に2次元走査する。光学スキャナ22は、光束を偏向できる光学素子であればよく、例えば、ポリゴンミラーや、ガルバノミラー等を用いることができる。また、それらの組み合わせであってもよい。
 広角光学系30は、SLOユニット18からの光とOCTユニット20からの光とを合成する。
 なお、広角光学系30は、楕円鏡などの凹面ミラーを用いた反射光学系や、広角レンズなどを用いた屈折光学系、あるいは、凹面ミラーやレンズを組み合わせた反射屈折光学系でもよい。楕円鏡や広角レンズなどを用いた広角光学系を用いることにより、眼底中心部だけでなく眼底周辺部の網膜を撮影することが可能となる。
 楕円鏡を含むシステムを用いる場合には、国際公開WO2016/103484あるいは国際公開WO2016/103489に記載された楕円鏡を用いたシステムを用いる構成でもよい。国際公開WO2016/103484の開示および国際公開WO2016/103489の開示の各々は、その全体が参照により本明細書に取り込まれる。
 広角光学系30によって、眼底において広い視野(FOV:Field of View)の領域12Aでの観察が実現される。FOVの領域12Aは、撮影装置14によって撮影可能な範囲を示している。FOVの領域12Aは、視野角として表現され得る。視野角は、本実施形態において、内部照射角と外部照射角とで規定され得る。外部照射角とは、眼科装置110から被検眼12へ照射される光束の照射角を、瞳孔27を基準として規定した照射角である。また、内部照射角とは、眼底Fへ照射される光束の照射角を、眼球中心Oを基準として規定した照射角である。外部照射角と内部照射角とは、対応関係にある。例えば、外部照射角が120度の場合、内部照射角は約160度に相当する。本実施形態では、内部照射角は200度としている。
 ここで、内部照射角で160度以上の撮影画角で撮影されて得られたSLO眼底画像をUWF-SLO眼底画像と称する。なお、UWFとは、UltraWide Field(超広角)の略称を指す。眼底の視野角(FOV)を超広角な角度とした広角光学系30により、被検眼12の眼底の後極部から赤道部を超える領域を撮影することができる。
 眼科装置110は、被検眼12の眼球中心Oを基準位置として内部照射角が200°の領域12Aを撮影することができる。なお、200°の内部照射角は、被検眼12の眼球の瞳孔を基準とした外部照射角では110°である。つまり、広角光学系30は外部照射角110°の画角で瞳からレーザ光を照射させ、内部照射角で200°の眼底領域を撮影する。
 SLOシステムは、図2に示す制御装置16、SLOユニット18、および撮影光学系19によって実現される。SLOシステムは、広角光学系30を備えるため、広いFOVの領域12Aでの眼底撮影を可能とする。
 SLOユニット18は、B光(青色光)の光源、G光(緑色光)の光源、R光(赤色光)の光源、及びIR光(赤外線(例えば、近赤外光))の各光源を含む光源40を備えている。光源40からの各色の光は、同一の光路に案内されるようになっている。
 SLOユニット18は、R光およびG光を発するモードと、赤外線を発するモードなど、波長の異なるレーザ光を発する光源あるいは発光させる光源の組合せを切り替え可能に構成されている。なお、本開示の技術は、B光の光源、G光の光源、R光の光源、及びIR光の光源の4つの光源を備えることに限定されない。例えば、SLOユニット18は、更に、白色光の光源を更に備え、G光、R光、およびB光を発するモードや、白色光のみを発するモード等の種々のモードで光を発するようにしてもよい。
 SLOユニット18から撮影光学系19に入射された光は、光学スキャナ22によってX方向およびY方向に走査される。走査光は広角光学系30および瞳孔27を経由して、眼底に照射される。眼底により反射された反射光は、広角光学系30および光学スキャナ
22を経由してSLOユニット18へ入射される。
 SLOユニット18は、被検眼12の後眼部(眼底)からの光を検出素子70へ案内するビームスプリッタ60を備えている。検出素子70は、被検眼12の後眼部(眼底)からの光を検出する。なお、ビームスプリッタ60及び検出素子70は、各色毎に備えてもよい。例えば、光軸上にB光用、G光用、R光用、及びIR光用の各ビームスプリッタを配置し、各ビームスプリッタの下流側に対応する色の検出素子を配置する。B光用のビームスプリッタは、B光を反射し、かつB光以外を透過するようにすればよい。同様に、G光用のビームスプリッタは、G光を反射し、かつG光以外を透過し、R光用のビームスプリッタは、R光を反射し、かつR光以外を透過し、IR光用のビームスプリッタは、IR光を反射するようにすればよい。
 CPU16Aの制御下で動作する画像処理器17は、広角光学系30及び光学スキャナ22を経由してSLOユニット18へ入射された光(眼底により反射された反射光)、すなわち、色毎の光による検出素子70の信号を用いてUWF-SLO画像を生成する。
 また、制御装置16が、同時に発光するように色毎に光源40を制御する。B光、G光、及びR光で同時に被検眼12の眼底が撮影されることにより、各位置が互いに対応するG色眼底画像、R色眼底画像、およびB色眼底画像が得られる。G色眼底画像、R色眼底画像、及びB色眼底画像からRGBカラー眼底画像が得られる。制御装置16が、同時に発光するように色毎に光源40を制御し、G光およびR光で同時に被検眼12の眼底が撮影されることにより、各位置が互いに対応するG色眼底画像およびR色眼底画像が得られる。G色眼底画像およびR色眼底画像からRGカラー眼底画像が得られる。
 広角光学系30により、眼底の視野角(FOV:Field of View)を超広角な角度とし、被検眼12の眼底の後極部から赤道部を超える領域を撮影することができる。
 OCTシステムは、図2に示す制御装置16、OCTユニット20、および撮影光学系19によって実現される。OCTシステムは、広角光学系30を備えるため、上述したSLO眼底画像の撮影と同様に、眼底周辺部のOCT撮影を可能とする。つまり、眼底の視野角(FOV)を超広角な角度とした広角光学系30により、被検眼12の眼底の後極部から赤道部を超える領域のOCT撮影を行うことができる。眼底周辺部のOCTデータを取得でき、断層像や、OCTデータを画像処理することにより眼底の3D構造を得ることができる。
 OCTユニット20は、光源20A、センサ(検出素子)20B、第1の光カプラ20C、参照光学系20D、及び第2の光カプラ200(図3)を含む照射・検出光学系20Eを備えている。
 光源20Aから射出された光は、第1の光カプラ20Cで分岐される。分岐された一方の光は、測定光として、照射・検出光学系20Eを介して、撮影光学系19に入射される。測定光は広角光学系30および瞳孔27を経由して、眼底に照射される。眼底により反射された測定光は、広角光学系30及び光学スキャナ22を経由してOCTユニット20へ入射され、照射・検出光学系20E及び第1の光カプラ20Cを介して、センサ20Bに入射する。第1の光カプラ20Cで分岐された他方の光は、参照光学系20Dへ入射され、その戻り光が参照光として、第1の光カプラ20Cを介してセンサ20Bに入射する。
 センサ20Bに入射された光、すなわち、眼底で反射された測定光と、参照光とは、干
渉されて干渉光を生成する。その干渉光がセンサ20Bで受光される。CPU16の制御下で動作する画像処理器17は、センサ20Bで検出されたOCTデータを生成する。当該OCTデータに基づいて断層画像、及びOCT画像を生成することが可能である。
 上述したOCTユニット20は、所定範囲(例えば6mm×6mmの矩形範囲)を一回のOCT撮影で走査することができる。当該所定範囲は6mm×6mmに限らず、12mm×12mmや23mm×23mmの正方形の範囲でもよいし、14mm×9mm、6mm×3.5mmなど長方形の範囲でもよく、任意の矩形範囲とすることができる。また、直径6mm、12mm、23mmなどの円径の範囲であってもよい。
 広角光学系30を用いることにより、眼科装置110は、内部照射角が200°の領域12Aが走査対象とすることができる。すなわち、光学スキャナ22を制御することにより、所定範囲のOCT撮影を行う。眼科装置110は、当該OCT撮影によってOCTデータを生成することが可能となる。よって、眼科装置110は、OCT画像である、眼底の断層画像(B-スキャン画像)、OCTボリュームデータ、当該OCTボリュームデータの断面であるen-face画像(OCTボリュームデータから生成された正面画像)を生成することができる。
 OCTデータ(又はOCT画像の画像データ)は、通信インターフェース16Fを介して眼科装置110からサーバ140へ送付され、記憶装置に記憶される。
 ところで、OCTシステムは、眼底における深さ方向の情報を同時に取得することができる。図3に、異なる開口数(Numerical Aperture:以下、NAという。)による光学系(例えば、対物レンズ)を用いたOCTシステムで同時に取得した光軸上に並んだドットの像(OCT画像)の一例を示す。図3は、NA=0.1、NA=0.3、NA=0.5の各々の光学系に関する光軸上に並んだドットの像の一例を示す。また、図中、x軸上の同じ位置での深さ方向の軸をcτとしている。なお、cは光束を示し、図中、cτ=τとしている。以降ではc=1の単位系を用いる。また、光学系の焦点深度をDOFとして示す。図3に一例を示すように、OCTシステムにより取得したドットの像は、眼底における深さ方向の位置が光学系の焦点位置(例えば、焦点深度)から遠ざかるに従って、不完全なドットの像となる。すなわち、眼底に関して情報を取得する位置が撮影光学系19の焦点位置(例えば、焦点深度)から遠ざかるに従って、徐々に分解能が低下する。このため、焦点深度から遠ざかるに従って徐々に、ぼやけ及び歪み等を有する不完全なドットの像となる。焦点深度の所定距離(例えば、10倍程度)に遠ざかった外側における眼底の情報は一部が失われ、一般的に用いられる通常の画像処理では失われた情報を完全復元することは困難である。また、デコンボリューション及びリフォーカシングという処理を行って、焦点深度外の像に対してぼやけ及び歪みを補正する技術は存在するが、情報を取得した時点で一部の情報が消失するため、不完全な補正となる。
 OCTシステムによるOCT画像の復元が不完全な理由は、OCTシステムで取得した情報に被検眼12における眼底に関する情報が全て反映されておらず不完全であることに起因すると考えられる。
 図4に、OCT画像に関する情報の一例を示す。図4は、NA=0.9の光学系(例えば、対物レンズ)によるOCTシステムの光学系により結像されるOCT画像に関する情報を、4次元周波数空間で示す一例である。図中、νは光源20Aからの光の周波数(本実施形態では眼底に照射する光の周波数)、fx、fy、fzは、物体周波数(本実施形態では眼底における反射光の周波数)を示す。周波数νは角振動数ωを適用してもよい(ω=2πν)。なお、説明を簡単にするため、物体周波数fyの軸は省略している。また、図4は、OCTシステムで、光学系(例えば、対物レンズ)において同じ光路、すなわ
ち、測定光の照射による光路と被検眼12からの反射光による光路が同じで、共にNA=0.9である場合を一例として示す。
 ここで、物体周波数(fx、fy、fz)はν方向には一様である。また、4次元周波数空間では、実空間における周波数が予め定められた所定範囲のため、OCTシステムの装置関数として4次元アパチャA(4次元開口:4-D aperture)を示す窓関数が定義される。4次元アパチャAは4次元周波数空間における開口空間である。従って、OCTシステムは、物体周波数のうち、4次元アパチャA内における周波数のみ取得する。しかし、4次元アパチャA内の周波数(4次元情報)は、全てが取得されるのではなく、検出時にfz方向に積分され、3次元情報として取得される。このように、4次元アパチャA内の周波数がfz方向に積分されると4次元情報の一部が消失する。
 そこで、本実施形態では、4次元情報の一部が消失する情報損失を低減することが可能なOCTシステムを提供する。
 例えば、3次元スキャンを可能とする干渉顕微鏡等のシステムでは、像の周波数は4次元アパチャA内における物体周波数のν積分となる。従って、4次元アパチャA内における物体周波数のν積分を適用することで、4次元情報の一部が消失する情報損失を低減することが可能となる。
 本実施形態では、情報損失を低減するOCTシステムとして、4次元アパチャAを十分薄くする光学系を備える。これにより、fz積分しても4次元情報の一部が消失する情報損失を低減可能である。具体的には、被検眼12へ光を照射する照射側の光学系のNAと、被検眼12からの光(例えば、眼底の反射光)を検出する検出側の光学系のNAと、が異なるNAになるように光学系を形成する。例えば、被検眼12への光の照射側光学系のNAを十分に小さく、例えば、略ゼロにすると、被検眼12からの光の検出側光学系のNAが照射側光学系のNAより大きくても4次元アパチャAを薄く形成することが可能となる。本実施形態では、光学系のNAが十分に小さいことを「NAがゼロ(NA=0)」と称する。すなわち、NAがゼロの光学系は、NAがゼロより大きく、光束で形成される像高の大きさより小さい開口角になるNAの光学系を含む。また、NAがゼロの光学系は、例えば、入射光又は出射光を平行光束になるように光学系を形成して、NAがゼロとみなせる光学系を含む。
 なお、NAがゼロの光学系は、被検眼12等の被照射側の物体に一様に照明したり、被照射側の物体の所定領域に一括照明したりするフルフィールド(Full Field)照射によるOCTシムテムの光学系に適用可能である。
 4次元アパチャAを薄く形成しても、4次元アパチャA内の物体周波数は十分な情報量(fz情報含む)となり、また、fz積分しても被検眼12に関する情報(4次元情報)の一部が消失する情報損失を低減することが可能である。
 すなわち、本実施形態では、被検眼12に対し、照射側光学系のNAと検出側光学系のNAとが異なるように光学系を形成する。具体的には、照射側光学系のNAを十分に小さい、NAがゼロの光学系を形成し、検出側光学系のNAを照射側光学系のNAより大きいNAとなる光学系を形成する。これにより、図5に示すように、4次元アパチャAを薄く形成することが可能となる。より具体的には、図6に所定の周波数(光源20Aからの光の周波数ν)における4次元アパチャAにより示すように、fz方向に情報を有する形状(図では半月状)から線形状になる。この線形状のアパチャが連続するものが、本実施形態における4次元アパチャA(図5)となる。
 4次元アパチャAを薄く形成するための光学系は、一方がゼロ又はゼロに近いNAを有する光学系であり、他方が一方の光学系のNAより大きいNAとなる光学系となる。例えば、顕微鏡等の光学系において充分に小さいNAの一例としてNA=0.2を含む。よって、本実施形態では、励起側である照射側光学系のNAは、4次元アパチャAを薄く形成する観点から、次に示す関係を、NAが小さい条件として有することが好ましい。
 0≦NA≦0.2
 薄く形成する4次元アパチャAは、本開示の技術の「4次元周波数開口」の一例である。
 なお、以降では、一例として、被検眼12への光の照射側の光学系のNAをNAがゼロの光学系とし、被検眼12からの光の検出側の光学系のNAを有限値のNAの光学系とする場合を説明するが、本開示の技術はこれに限定されない。例えば、上記検出側の光学系のNAをNAゼロの光学系とし、上記照射側の光学系のNAを有限値のNAの光学系としてもよい。また、上記NAがゼロの光学系は、NAを有限値としてもよい。すなわち、照射側の光学系のNAと検出側の光学系のNAとが異なるように形成すればよく、両者のNAを異なるようにすることで、両者を同じNAとする場合より4次元アパチャAを薄くすることが可能となる。
 本実施形態では、情報損失を低減することが可能な4次元アパチャAを用いて、OCT画像を補正する。すなわち、OCT画像の周波数の情報を用いて、2段階の処理を行う方法(ダブルプロジェクション法)で、OCT画像を補正する。図7にOCT画像を補正する処理を概念として示すように、第1段階の処理では、OCT画像G1の周波数の情報(I)を薄く形成された4次元アパチャAに投影する処理を行う。第2段階の処理では、投影された4次元アパチャAにおける像G2の情報(~I)をさらにν(=2π/ω)方向、つまり(fx、fy、fz)面内に投影する処理を行う。第2段階の処理で投影された像G3の情報(~I’)は、被検眼12に関する情報(4次元情報)の情報損失が低減されている。従って、上述したダブルプロジェクション法により、例えば歪んだOCT画像を、通常の顕微鏡像相当の像に補正することが可能となる。また、情報損失が低減されているので、分解能も維持されて、薄く形成された4次元アパチャAを用いない場合と比べて、より高精度にOCT画像を生成することが可能となる。
 すなわち、4次元アパチャA(4次元開口)は、物体周波数に依存しない量であり、
第1開口数の光学系と第2開口数の光学系とにより定義される。本実施形態では、4次元アパチャはOCTシステムにおける光学系の構成により定まる物理量を表現可能な窓関数として表現が可能である。また、本実施形態では、物体周波数とは、光の成分によって被検眼12を表現した物理量である。物体周波数はν依存性が無いため、ν方向には一様な4次元物理量となる。なお、周波数νは光源の光周波数であり、信号光の光周波数でもある。この物体周波数に4次元アパチャAを乗算した4次元関数(取得可能な像周波数)のfz積分することにより得られる3次元関数の値が光学系による検出値として取得される。すなわち、物体周波数に4次元アパチャAを乗算した4次元関数のfz積分を示す3次元関数の値がOCTシステムの光学系のセンサにより取得される。
 なお、NAの値が有限値である場合、4次元アパチャAは有限の厚みを有する。このため、有限の厚みを有する4次元アパチャAを用いる場合は、4次元アパチャA内にアパチャ面を定めて用いればよい。このアバチャ面は、4次元アパチャA内で原点から離れた所定の面(例えば、4次元アパチャA内で原点から最も離れた面である4次元アパチャAの最外面)を適用することが好ましい。
 上述した4次元アパチャAを用いたOCT画像の補正で用いるOCT画像の周波数の
情報は、次の(1)式で表すことが可能である。
Figure JPOXMLDOC01-appb-M000001
 ここで、τは、被検眼12の深さ方向の距離(タイム型のドメインOCTの例では、参照光学系20Dにおいて光路長を調整する調整量、例えばミラーの移動量)を示す。
 投影された4次元アパチャAにおける像G2の情報(~I)は、次の(2)で表すことが可能である。
 4次元アパチャAから投影された像G3の情報(~I’)は、次の(3)で表すことが可能である。
 制御装置16は、CPU16Aの制御下で動作する画像処理器17を用いて、上述した(1)式から(3)式を用いて、OCT画像を生成する。当該OCT画像を生成する処理は後述する。
 次に、図8を参照して本実施形態に係るOCTシステムにおける光学系の構成をさらに説明する。なお、図8では、説明を簡単にするため、広角光学系30を省略する。
 OCTユニット20のセンサ20Bは、1対のレンズ20B-1、及び検出素子20B-2を備えている。センサ20Bは、第1の光カプラ20Cで分岐された光、すなわち、眼底で反射された測定光と参照光とが干渉された干渉光を、一対のレンズ20B-1により平行光にコリメートした後に検出素子20B-2に収束させる。
 参照光学系20Dは、一対のレンズ20D-1、及びミラー20D-2を備えている。参照光学系20Dでは、第1の光カプラ20Cで分岐された光、すなわち、測定光を、一対のレンズ20D-1により平行光にコリメートした後にミラー20D-2に収束させる。ミラー20D-2は、光軸方向(図8では矢印τで示す方向)に移動可能に構成されている。ミラー20D-2で反射された反射光は、一対のレンズ20D-1を介して第1の
光カプラ20Cに参照光として戻される。
 なお、図8では、参照光学系20Dとしてミラー20D-2を移動可能な構成を適用しているが、本実施形態に係るOCTシステムは、ミラー20D-2を移動可能な構成に限定されるものではなく、固定であってもよい。すなわち、本実施形態に係るOCTシステムは、タイム型のドメインOCTとして知られるTD-OCT(Time-Domain
 OCT)、フーリエドメイン型のOCTとして知られる波長掃引タイプのSS-OCT(Swept-Source OCT)、及び分光器を用いたSD-OCT(Spectral-Domain OCT)など、様々な方式のOCTシステムに適用可能である。
 従って、OCTシステムは、適用するOCTシステムに応じた構成とすればよい。例えば、タイムドメイン型のOCT(TD-OCT)を適用する場合は、ミラー20D-2を移動して掃引する構成とすればよい。また、フーリエドメイン型のOCTのうちのSD-OCTを適用する場合は、ミラー20D-2を固定して分光検出すればよい。分光検出する場合、複数の波長による複数の光を出射する光源を用いればよい。また、SS-OCTを適用する場合は、検出素子20B-2に例えば1ピクセル検出器を用い、ミラー20D-2を固定して広帯域光源の波長を掃引すればよい。波長掃引する場合は、例えば波長掃引用に広帯域のレーザ光を出射するレーザ装置による広帯域光源を光源20Aとして用いればよい。また、NAがゼロの光学系として、被検眼12等の被照射側の物体に一様に照明したり、被照射側の物体の所定領域に一括照明したりするフルフィールド(Full Field)照射によるOCTシムテムの光学系を適用可能である。すなわち、本開示の技術は、上述したレーザ光を走査するレーザ走査型の光学系に限定されるものではなく、CCD(Charge Coupled Device(電荷結合素子))カメラ等を用いた光学系にも適用可能である。この場合、検出素子20B-2にCCD等の素子を含むCCDカメラを用いればよい。
 照射・検出光学系20Eは、第2の光カプラ200、照射光学系210、及び検出光学系220を含んで構成されている。第2の光カプラ200は、光源20Aから射出された光(第1の光カプラ20Cで分岐された測定光)を照射用の光として照射光学系210へ案内する機能と、検出光学系220からの光(すなわち、被検眼12からの戻り光)を検出用の光として第1の光カプラ20C(すなわち、センサ20Bへ向けて)へ案内する機能とを含む。従って、被検眼12には光源20Aからの光として照射光学系210を伝播する光が照射され、センサ20Bには、照射光学系210を伝播して被検眼12に照射された光の戻り光(被検眼12での反射光)が検出光学系220を伝播して測定光として入射される。図8では、照射・検出光学系20Eにおける照射光学系210による光路を実線で示し、また、検出光学系220による光路を点線で示している。
 照射光学系210は、レンズ212、及びレンズ214による一対のレンズを備えている。レンズ212は、照射光学系210の光軸上におけるレンズ212の入射側の焦点位置に、照射側のファイバ211の一方の端面が位置するように配置する。照射側のファイバ211はシングルモードファイバにより形成され、他方の端面は第2の光カプラ200に連結される。また、レンズ214は、照射光学系210の光軸上におけるレンズ214の出射側の焦点位置に、光学スキャナ22の反射面が位置するように配置する。従って、レンズ212は、光源20Aからの光(第1の光カプラ20Cで分岐された測定光)を、平行光にコリメートし、レンズ214は、レンズ212でコリメートされた平行光を、光学スキャナ22の反射面に収束する。そして、光学スキャナ22で反射された光は、被検眼12のレンズ12Bにより平行光にコリメートされて眼底12Cに照射される。従って、照射光学系210を介した光源20Aからの光は、平行光として被検眼12の眼底12Cに照射される。
 照射光学系210は、被検眼12へ向けて平行光を出射する光学系とすることで、NAをゼロとする光学系を形成する。照射光学系210のNAは、本開示の技術の「第1開口数」の一例である。また、照射光学系210は、本開示の技術の「第1開口数の光学系」の一例である。
 検出光学系220は、ビームスプリッタ222と、レンズ214及びレンズ216による一対のレンズとを含む。ビームスプリッタ222は、照射光学系210におけるレンズ212とレンズ214との間に配置され、被検眼12からの戻り光(反射光)を反射機能により抽出する。また、ビームスプリッタ222は、照射光学系210の光軸上におけるレンズ214の被検眼12からの戻り光(反射光)の出射側の焦点位置に、ビームスプリッタ222の反射面が位置するように配置される。レンズ224は、検出光学系220の光軸上におけるレンズ224の入射側の焦点位置に、ビームスプリッタ222の反射面が位置するように配置する。また、レンズ226は、検出光学系220の光軸上におけるレンズ226の出射側の焦点位置に、検出側のファイバ228の一方の端面が位置するように配置する。検出側のファイバ228はシングルモードファイバにより形成され、他方の端面は第2の光カプラ200に連結される。従って、レンズ224は、ビームスプリッタ222からの光を、平行光にコリメートし、レンズ226は、レンズ224でコリメートされた平行光を、検出側のファイバ228の端面に収束する。従って、検出光学系220では、被検眼12の眼底12Cの点で反射された光が、センサ20Bへ向けて出射される。
 検出光学系220は、被検眼12側に焦点を有する光学系とすることで、照射光学系210とは異なるNAを有し、かつNAを有限値とする光学系を形成する。検出光学系220のNAは、本開示の技術の「第2開口数」の一例である。また、検出光学系220は、本開示の技術の「第2開口数の光学系」の一例である。
 本実施形態では、眼科装置110において、上述したNAがゼロの照射光学系210を含むOCTシステムを用いて得られた4次元情報の情報損失を低減した情報によりOCT画像を生成する。CPU16Aの制御下で動作する画像処理器17を用いて、画像処理プログラムの実行によりOCT画像を生成する。なお、本実施形態では、眼科装置110においてOCT画像を生成する場合を説明するが、サーバ140等の外部装置で生成してもよいことは勿論である。
 眼科装置110のROM16C又は画像処理器17のメモリ17Mには、図10に示す画像処理プログラムが記憶されている。
 ROM16C、及びメモリ17Mは、本開示の技術の「メモリ」の一例である。CPU16Aは、本開示の技術の「プロセッサ」の一例である。画像処理プログラムは、本開示の技術の「プログラム」の一例である。
 本実施形態に係る眼科装置110では、CPU16Aが画像処理プログラムを読み出して実行することで各種機能が実現される。画像処理プログラムは、表示制御機能、画像処理機能、及び処理機能を含む。すなわち、CPU16Aがこの各機能を有する画像処理プログラムを実行することで、CPU16Aは、図9に示すように、表示制御部204、画像処理部206、および処理部208として動作する。画像処理機能は、上述した2段階の処理を行う方法(ダブルプロジェクション法)による画像処理機能を含む。
 次に、図10を用いて、本実施形態に係る画像処理を詳細に説明する。眼科装置110のCPU16AがROM16C又はメモリ17Mから画像処理プログラムを読み出して実行することで、図10のフローチャートに示された画像処理が実現される。
 なお、図10に示す画像処理のプロセスは、本開示の画像処理方法の一例である。
 CPU16Aは、ステップS200で、画像処理部206は、OCTデータを画像処理器17から取得する。OCTデータは、被検眼12に対して眼科装置110によりOCT撮影をして得られたデータである。OCTデータは光軸方向(Z軸方向)に深さが異なる位置のデータを含む。OCTデータは、上述したように眼科装置110によりOCT撮影して得られる。
 ステップS202では、画像処理部206は、OCTシステムにより得られた情報(OCTデータ)を4次元アパチャに投影する第1段階の処理を実行する。すなわち、画像処理部206は、取得したOCTデータを上記(1)式を用いて表現し、OCT画像G1の周波数の情報(I)を薄く形成された4次元アパチャAに投影する処理として、上記(2)式を用いてOCT画像の周波数の情報を導出する。導出された情報は、RAM16Bに一時的に保存される。
 次のステップS204では、画像処理部206は、4次元アパチャAに投影された情報を3次元空間に投影する第2段階の処理を実行する。すなわち、投影された4次元アパチャAにおける像G2の情報(~I)を、ν(=2π/ω)方向((fx、fy、fz)面内)に投影する処理を行う。第2段階の処理では、画像処理部206は、4次元アパチャAに投影されたOCTデータの情報を3次元空間に投影する処理として、上記(3)式を用いて4次元アパチャAから3次元空間に投影されたダブルプロジェクション後のOCT画像の情報を導出する。導出された情報は、RAM16Bに一時的に保存される。
 次に、ステップS206において、画像処理部206は、ダブルプロジェクション法により投影された情報を用いてOCT画像を生成する。生成されたOCT画像は、処理部208によりRAM16Bに保存される。
 なお、上述したダブルプロジェクション法を用いて補正したOCT画像は、光軸方向、すなわち、被検眼12の深さ方向の予め定めた位置である深さのOCT画像を生成してもよく、異なる複数の位置である深さのOCT画像を生成してもよい。例えば、検出光学系220の被検眼12側の焦点位置を基準として、焦点深度の10倍の深さ等のように所定深さの位置のOCT画像を生成してもよい。また、焦点位置を基準として、異なる深さの各々の複数のOCT画像を生成してもよく、所定間隔毎の所定数の各位置で各OCT画像を生成してもよい。複数のOCT画像が生成された場合、複数のOCT画像の各々をRAM16B又はメモリ17Mに保存すればよい。なお、所定深さ、異なる深さ、及び所定数は、予め定めておくことが可能であり、例えばユーザにより任意に設定可能である。
 また、上述したOCT画像を生成する場合、画像の鮮鋭度を向上するために、ノイズ除去などの画像処理を行ってもよい。
 以上のように、図10のフローチャートに示された画像処理を、画像処理部206が実行することにより、例えば、検出光学系220の被検眼12側の焦点位置を基準として、所定深さの位置のOCT画像が生成される。生成されたOCT画像は、情報損失が低減され、かつ分解能も維持されているので、被検眼12における眼底の状態が忠実に反映された高精度のOCT画像となる。
 なお、上述した画像処理では、生成されたOCT画像を表示する表示画面の情報を生成する処理を追加してもよい。OCT画像を表示する表示画面の情報を生成する処理は、予め定められたサンプルとしてのOCT画像を並べて表示する表示画面の情報を生成するも
可能である。また、複数のOCT画像を生成した場合に、複数のOCT画像を並べて表示する表示画面の情報を生成することが可能である。複数のOCT画像を並べて表示する制御を行う場合、例えば、深さが深くなる方向にOCT画像群を並べて表示する表示画面の情報を生成することにより、被検眼12における深さ方向の大きさや形状などの変化を可視化してユーザに提供することができる。
 眼科装置110で検出した1点の情報から、上述したダブルプロジェクション法を用いての補正で得られるOCT画像は、例えば、図11Bに示すように歪んだOCT画像から、図11Aに示すように通常の顕微鏡像相当のOCT画像に補正される。図11Aは、OCTユニット20における照射・検出光学系20Eを、照射光学系210のNAと、検出光学系のNAとが異なるように形成し、ダブルプロジェクション法によりOCT画像を補正しているものである。ここで、照射光学系210のNAは被検眼に平行光束を照射することで、NAをゼロとなる光学系を形成し、検出光学系220はNAが0.9となるように光学系を形成している。また、図11Aは、焦点深度の30倍の距離だけ離れた深さ位置におけるOCT画像を生成したものである。図11Bは、比較例として、照射光学系210のNAと、検出光学系220のNAとが0.9で、一致するように形成している。
 図11Aに示すように、本実施形態に係るOCTシステムを適用することで、検出された被検眼12における1点の情報から、1点の画像(点像)としてOCT画像を得ることが可能となる。一方、図11Bに示すように、照射光学系210と検出光学系220のNAを一致させると、OCT画像は歪んだ形状となり、被検眼12における眼底の状態が変形した画像として得られることになる。よって、これらの図11A及び図11Bからも理解できるように、4次元アパチャAを薄く形成し、4次元アパチャAを介して投影するダブルプロジェクション法での情報からOCT画像を生成することで、高精度にOCT画像を生成することが可能となる。
 以上説明したように、本実施形態によれば、照射光学系210と検出光学系220とで異なるNAとし、一方の光学系(上記では照射光学系210)をNAゼロとしている。これにより、周波数を考慮した4次元空間におけるOCT画像に関する開口を、fz積分した場合でも影響を抑制できる薄い開口(4次元アパチャA)として扱うことが可能となる。このように薄く形成された4次元アパチャAを用いて、ダブルプロジェクション法により投影されたOCT画像の情報は、被検眼12に関する情報(4次元情報)の情報損失が低減される。従って、上述した画像処理によりOCT画像を補正することで、例えば歪んだOCT画像を、通常の顕微鏡像相当の像に補正することが可能となる。また、情報損失が低減されているので、分解能も維持されて、薄く形成された4次元アパチャAを用いない場合と比べて、より高精度にOCT画像を生成することが可能となる。
 上記実施の形態では、画像処理(図10)を眼科装置110で実行する場合を説明しているが、本開示の技術はこれに限定されず、眼科装置110、サーバ140、ビューワ150、又は、ネットワーク130に更に設けた追加画像処理装置の何れか、又は何れかの組み合わせた構成で実行してもよい。
 上述したように本開示の技術は、薄く形成される4次元アパチャAを利用して得られる情報を用いて画像処理が実現されることが好ましいので、以下の技術を含む。
(第1の技術)
 光源からの光を第1開口数の光学系により被照射側物体に照射し、かつ照射された光による被照射側物体からの戻り光が第2開口数の光学系により伝播した信号光と、前記光源からの光を分割した参照光との干渉光を検出して得られた前記干渉光を示す情報を取得する取得部と、
 前記干渉光を示す情報を、前記光源の周波数と前記被照射側物体を示す3次元の光の周波数との4次元空間上で、かつ前記第1開口数の光学系と前記第2開口数の光学系とにより形成される4次元周波数開口に投影する第1処理と、投影した情報を3次元空間に投影する第2処理と、を行う処理部と、
 を備える画像処理装置。
 画像処理部206は、本開示の技術の「取得部」及び「処理部」の一例である。
(第2の技術)
 光源からの光を被検眼に照射して得られた信号光と、前記光源からの光が分割された参照光との干渉光を検出する検出部と、
 前記光源からの光を被検眼に照射するように第1開口数により形成された照射光学系と、
 前記照射光学系により照射された光による被検眼からの戻り光を前記信号光として前記検出部に伝播するように前記第1開口数と異なる第2開口数により形成された検出光学系と、
 前記検出部で検出された干渉光を示す情報に基づいて、前記干渉光を示す情報を、前記光源の周波数と前記被検眼を示す3次元の光の周波数との4次元空間上で、かつ前記第1開口数の光学系と前記第2開口数の光学系とにより形成される4次元周波数開口に投影する第1処理と、投影した情報を3次元空間に投影する第2処理と、を行う処理部と、
 前記処理部で処理された情報に基づいて、光軸方向に深さが異なる複数の面に対応した複数の画像を生成する画像生成部と、
 を備えた眼科装置。
 センサ20Bは、本開示の技術の「取得部」の一例である。照射光学系210は、本開示の技術の「照射光学系」の一例であり、検出光学系220は、本開示の技術の「検出光学系」の一例である。画像処理部206は、本開示の技術の「処理部」及び「画像生成部」の一例である。
 以上、本開示の技術を実施形態を用いて説明したが、本開示の技術の技術的範囲は上記実施形態に記載の範囲には限定されない。要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も開示の技術の技術的範囲に含まれる。
 また、上記実施の形態では、メモリ等の記憶装置に記憶したプログラムを実行することにより行われる処理を説明したが、少なくとも一部のプログラムの処理をハードウエアで実現してもよい。また、上述した実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
 さらに、上述した実施形態における処理をコンピュータにより実行させるために、上述した処理をコンピュータで処理可能なコードで記述したプログラムを光ディスク等の記憶媒体等に記憶して流通するようにしてもよい。
 上述した実施形態では、汎用的なプロセッサの一例としてCPUを用いて説明したが、上記実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ(例えばCPU: Central Processing Unit、等)や、専用のプロセッサ(例えばGPU:Graphics Processing Unit、ASIC: Application Specific Integrated Circuit、FPGA: Field Programmable Gate Array、
プログラマブル論理デバイス、等)を含むものである。
 また、上述した実施形態におけるプロセッサの動作は、1つのプロセッサによって成すのみでなく、複数のプロセッサが連携して成すものであってもよく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。
 本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的にかつ個々に記載された場合と同様に、本明細書中に参照により取り込まれる。また、2022年3月24日に出願された日本国出願番号第2022-048770号の開示は、その全体が参照により本明細書に取り込まれる。

Claims (12)

  1.  プロセッサが行う画像処理装置における画像処理方法であって、
     光源からの光を第1開口数の光学系により被照射側物体に照射し、かつ照射された光による被照射側物体からの戻り光が第2開口数の光学系により伝播した信号光と、前記光源からの光を分割した参照光との干渉光を検出して得られた前記干渉光を示す情報を取得し、
     前記干渉光を示す情報を、前記光源の周波数と前記被照射側物体を示す3次元の光の周波数との4次元空間上で、かつ前記第1開口数の光学系と前記第2開口数の光学系とにより形成される4次元周波数開口に投影する第1処理と、投影した情報を3次元空間に投影する第2処理と、を行う
     ことを含む画像処理方法。
  2.  前記画像処理装置は眼科装置に備えられ、
     前記被照射側物体は被検眼である
     請求項1に記載の画像処理方法。
  3.  前記干渉光を示す情報は、前記画像処理装置に含まれる光干渉断層計において前記干渉光を検出する検出部で検出して得られたOCTデータであり、
     前記プロセッサは、
     前記OCTデータを前記干渉光を示す情報として取得する
     請求項1又は請求項2に記載の画像処理方法。
  4.  前記干渉光を示す情報は、タイムドメイン型の光干渉断層計又はフーリエドメイン型の光干渉断層計において前記干渉光を検出する検出部で検出して得られたOCTデータを適用する
     請求項3に記載の画像処理方法。
  5.  前記プロセッサは、
     前記OCTデータに基づいて、深さが異なる複数の面に対応した複数の画像を生成する、
     請求項3又は請求項4に記載の画像処理方法。
  6.  前記プロセッサは、
     開口数がゼロ、又は開口数がゼロより大きい前記第1開口数の光学系と、前記第1開口数より大きい前記第2開口数の光学系とからの前記信号光により得られた前記干渉光を示す情報を取得する
     請求項1から請求項5の何れか1項に記載の画像処理方法。
  7.  前記プロセッサは、
     前記光源からの光を平行光束によって被照射側物体に照射する前記第1開口数の光学系と、予め定めた開口数である前記第2開口数の光学系からの前記信号光により得られた前記干渉光を示す情報を取得する
     請求項5に記載の画像処理方法。
  8.  前記プロセッサは、
     開口数NAが、0≦NA≦0.2の条件に適合した前記第1開口数の光学系を含む光学系からの前記信号光により得られた前記干渉光を示す情報を取得する
     請求項6又は請求項7に記載の画像処理方法。
  9.  前記3次元空間に投影した情報を画像として表示する表示画面の情報を生成する
     請求項1から請求項8の何れか1項に記載の画像処理方法。
  10.  メモリと、プロセッサとを備えた画像処理装置において、
     前記プロセッサは、
     光源からの光を第1開口数の光学系により被照射側物体に照射し、かつ照射された光による被照射側物体からの戻り光が第2開口数の光学系により伝播した信号光と、前記光源からの光を分割した参照光との干渉光を検出して得られた前記干渉光を示す情報を取得し、
     前記干渉光を示す情報を、前記光源の周波数と前記被照射側物体を示す3次元の光の周波数との4次元空間上で、かつ前記第1開口数の光学系と前記第2開口数の光学系とにより形成される4次元周波数開口に投影する第1処理と、投影した情報を3次元空間に投影する第2処理と、を行う
     ことを実行する画像処理装置。
  11.  光源からの光を被検眼に照射して得られた信号光と、前記光源からの光が分割された参照光との干渉光を検出する検出部と、
     前記光源からの光を被検眼に照射するように第1開口数により形成された照射光学系と、
     前記照射光学系により照射された光による被検眼からの戻り光を前記信号光として前記検出部に伝播するように前記第1開口数と異なる第2開口数により形成された検出光学系と、
     前記検出部で検出された干渉光を示す情報に基づいて、前記干渉光を示す情報を、前記光源の周波数と前記被検眼を示す3次元の光の周波数との4次元空間上で、かつ前記第1開口数の光学系と前記第2開口数の光学系とにより形成される4次元周波数開口に投影する第1処理と、投影した情報を3次元空間に投影する第2処理と、を行う処理部と、
     前記処理部で処理された情報に基づいて、光軸方向に深さが異なる複数の面に対応した複数の画像を生成する画像生成部と、
     を備えた眼科装置。
  12.  コンピュータに、
     光源からの光を第1開口数の光学系により被照射側物体に照射し、かつ照射された光による被照射側物体からの戻り光が第2開口数の光学系により伝播した信号光と、前記光源からの光を分割した参照光との干渉光を検出して得られた前記干渉光を示す情報を取得し、
     前記干渉光を示す情報を、前記光源の周波数と前記被照射側物体を示す3次元の光の周波数との4次元空間上で、かつ前記第1開口数の光学系と前記第2開口数の光学系とにより形成される4次元周波数開口に投影する第1処理と、投影した情報を3次元空間に投影する第2処理と、を行う
     処理を実行させるプログラム。
PCT/JP2023/009452 2022-03-24 2023-03-10 画像処理方法、画像処理装置、眼科装置、及びプログラム WO2023182011A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-048770 2022-03-24
JP2022048770 2022-03-24

Publications (1)

Publication Number Publication Date
WO2023182011A1 true WO2023182011A1 (ja) 2023-09-28

Family

ID=88101350

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/009452 WO2023182011A1 (ja) 2022-03-24 2023-03-10 画像処理方法、画像処理装置、眼科装置、及びプログラム

Country Status (1)

Country Link
WO (1) WO2023182011A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011528801A (ja) * 2008-07-21 2011-11-24 オプトビュー,インコーポレーテッド 範囲が拡大されたイメージング
JP2016504947A (ja) * 2013-02-01 2016-02-18 カール ツアイス メディテック アクチエンゲゼルシャフト 干渉撮像におけるサブアパーチャベースの収差測定及び補正用のシステム及び方法
JP2016041222A (ja) * 2014-08-19 2016-03-31 株式会社トプコン 眼底撮影装置
JP2017522066A (ja) * 2014-06-10 2017-08-10 カール ツァイス メディテック インコーポレイテッドCarl Zeiss Meditec Inc. 改善された周波数領域干渉法による撮像システムおよび方法
JP2019512086A (ja) * 2016-02-12 2019-05-09 ザ ジェネラル ホスピタル コーポレイション 光コヒ−レンストモグラフィを用いた高速・長深度レンジの撮像装置及び方法
JP2019518511A (ja) * 2016-05-13 2019-07-04 エコール・ポリテクニーク・フェデラル・ドゥ・ローザンヌ (ウ・ペ・エフ・エル)Ecole Polytechnique Federale De Lausanne (Epfl) 傾斜照明による網膜の吸収、位相および暗視野撮像のためのシステム、方法、および装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011528801A (ja) * 2008-07-21 2011-11-24 オプトビュー,インコーポレーテッド 範囲が拡大されたイメージング
JP2016504947A (ja) * 2013-02-01 2016-02-18 カール ツアイス メディテック アクチエンゲゼルシャフト 干渉撮像におけるサブアパーチャベースの収差測定及び補正用のシステム及び方法
JP2017522066A (ja) * 2014-06-10 2017-08-10 カール ツァイス メディテック インコーポレイテッドCarl Zeiss Meditec Inc. 改善された周波数領域干渉法による撮像システムおよび方法
JP2016041222A (ja) * 2014-08-19 2016-03-31 株式会社トプコン 眼底撮影装置
JP2019512086A (ja) * 2016-02-12 2019-05-09 ザ ジェネラル ホスピタル コーポレイション 光コヒ−レンストモグラフィを用いた高速・長深度レンジの撮像装置及び方法
JP2019518511A (ja) * 2016-05-13 2019-07-04 エコール・ポリテクニーク・フェデラル・ドゥ・ローザンヌ (ウ・ペ・エフ・エル)Ecole Polytechnique Federale De Lausanne (Epfl) 傾斜照明による網膜の吸収、位相および暗視野撮像のためのシステム、方法、および装置

Similar Documents

Publication Publication Date Title
JP4971872B2 (ja) 眼底観察装置及びそれを制御するプログラム
JP6195334B2 (ja) 撮像装置、撮像方法およびプログラム
JP2023009530A (ja) 画像処理方法、画像処理装置、及びプログラム
JP5032203B2 (ja) 眼底観察装置及びそれを制御するプログラム
US20090091766A1 (en) Optical coherence tomographic apparatus
EP2478830A2 (en) Optical coherence tomographic imaging method and apparatus
JP6909109B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2011172822A (ja) 光断層像撮影装置
JP2008206684A (ja) 眼底観察装置、眼底画像処理装置及びプログラム
JP2022040372A (ja) 眼科装置
JP7419042B2 (ja) 医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラム
US20230277055A1 (en) Fundus observation apparatus
JP2019177032A (ja) 眼科画像処理装置、および眼科画像処理プログラム
JP7368581B2 (ja) 眼科装置、及び眼科情報処理装置
JP2007181632A (ja) 眼底観察装置
JP7264254B2 (ja) 画像処理方法、画像処理装置、およびプログラム
JP2022089086A (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP5990932B2 (ja) 眼光断層画像撮像装置
US11089956B2 (en) Ophthalmologic apparatus and method of controlling the same
WO2023182011A1 (ja) 画像処理方法、画像処理装置、眼科装置、及びプログラム
WO2022177028A1 (ja) 画像処理方法、画像処理装置、及びプログラム
JP2020022723A (ja) Oct装置及びoct画像処理プログラム
JP6888643B2 (ja) Oct解析処理装置、及びoctデータ処理プログラム
WO2023282339A1 (ja) 画像処理方法、画像処理プログラム、画像処理装置及び眼科装置
WO2022269876A1 (ja) Oct信号処理方法、oct装置、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23774610

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024510010

Country of ref document: JP

Kind code of ref document: A