WO2021210281A1 - 画像処理方法、画像処理装置、及び画像処理プログラム - Google Patents

画像処理方法、画像処理装置、及び画像処理プログラム Download PDF

Info

Publication number
WO2021210281A1
WO2021210281A1 PCT/JP2021/007963 JP2021007963W WO2021210281A1 WO 2021210281 A1 WO2021210281 A1 WO 2021210281A1 JP 2021007963 W JP2021007963 W JP 2021007963W WO 2021210281 A1 WO2021210281 A1 WO 2021210281A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature amount
blood vessel
image processing
partial image
Prior art date
Application number
PCT/JP2021/007963
Other languages
English (en)
French (fr)
Inventor
真梨子 廣川
泰士 田邉
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Publication of WO2021210281A1 publication Critical patent/WO2021210281A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an image processing method, an image processing device, and an image processing program.
  • the image processing method of the first aspect of the technique of the present disclosure is an image processing performed by a processor, which includes a step of extracting a first partial image from a choroidal vascular image and a radial vascular pattern in the first partial image.
  • the two-part image includes a step of calculating a second feature amount indicating whether or not a radial blood vessel pattern is included, and a step of outputting the first feature amount and the second feature amount.
  • the image processing apparatus of the second aspect of the technique of the present disclosure includes a memory and a processor connected to the memory, and the processor extracts a first partial image from the choroidal blood vessel image and obtains the first partial image.
  • a first feature amount indicating whether or not a radial vascular pattern is included is calculated, and a second partial image at a second position different from the first position of the first partial image is extracted from the choroidal vascular image.
  • a second feature amount indicating whether or not the second partial image includes a radial blood vessel pattern is calculated, and the first feature amount and the second feature amount are output.
  • the program of the third aspect of the technique of the present disclosure is a first feature quantity that extracts a first partial image from a choroidal blood vessel image by a computer and indicates whether or not the first partial image contains a radial blood vessel pattern. Is calculated, and a second partial image at a second position different from the first position of the first partial image is extracted from the choroidal blood vessel image, and whether or not the second partial image contains a radial blood vessel pattern.
  • the second feature amount indicating the above is calculated, and the first feature amount and the second feature amount are output.
  • FIG. 3 is a schematic view showing a state in which the radial image shown in FIG. 11A is transformed into polar coordinates. It is a conceptual diagram which showed a part of the binarized choroidal blood vessel image. It is the schematic which showed the transformation image which changed the polar coordinate of the image of FIG. 12A. It is a conceptual diagram of a component (kernel) of morphology processing.
  • FIG. 1 shows a schematic configuration of an ophthalmic system 100.
  • the ophthalmology system 100 includes an ophthalmology device 110, a server device (hereinafter referred to as “server”) 140, and a display device (hereinafter referred to as “viewer”) 150.
  • the ophthalmic apparatus 110 acquires a fundus image.
  • the server 140 corresponds to the patient ID with a plurality of fundus images obtained by photographing the fundus of a plurality of patients by the ophthalmologic apparatus 110 and the axial length separately measured by the axial length measuring device (not shown). And remember.
  • the viewer 150 displays the fundus image and the analysis result acquired by the server 140.
  • the ophthalmic apparatus 110, the server 140, and the viewer 150 are connected to each other via the network 130.
  • the viewer 150 is a client in a client-server system, and a plurality of viewers 150 are connected via a network. Further, a plurality of servers 140 may be connected via a network in order to ensure system redundancy.
  • the ophthalmic apparatus 110 has an image processing function and an image viewing function of the viewer 150, the ophthalmologic apparatus 110 can acquire a fundus image, perform image processing, and view an image in a stand-alone state.
  • the server 140 is provided with the image viewing function of the viewer 150, the ophthalmic apparatus 110 and the server 140 can be configured to acquire a fundus image, process an image, and view an image.
  • a diagnostic support device that performs image analysis using other ophthalmic devices (inspection devices such as visual field measurement and intraocular pressure measurement) and AI (Artificial Intelligence) is connected to the ophthalmic device 110, the server 140, and the viewer via the network 130. It may be connected to 150.
  • ophthalmic devices inspection devices such as visual field measurement and intraocular pressure measurement
  • AI Artificial Intelligence
  • SLO scanning laser ophthalmoscope
  • OCT optical coherence tomography
  • the horizontal direction is the "X direction” and the direction perpendicular to the horizontal plane is the "Y direction", connecting the center of the pupil of the anterior segment of the eye 12 to be connected to the center of the eyeball.
  • the direction is "Z direction”. Therefore, the X, Y, and Z directions are perpendicular to each other.
  • the ophthalmic device 110 includes a photographing device 14 and a control device 16.
  • the imaging device 14 includes an SLO unit 18 and an OCT unit 20 to acquire a fundus image of the fundus of the eye to be inspected 12.
  • the two-dimensional fundus image acquired by the SLO unit 18 is referred to as an SLO image.
  • a tomographic image of the retina, an frontal image (en-face image), or the like created based on the OCT data acquired by the OCT unit 20 is referred to as an OCT image.
  • the OCT image corresponds to the "tomographic image" of the technique of the present disclosure.
  • the control device 16 includes a computer having a CPU (Central Processing Unit) 16A, a RAM (Random Access Memory) 16B, a ROM (Read-Only memory) 16C, and an input / output (I / O) port 16D. ing.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read-Only memory
  • I / O input / output
  • the control device 16 includes an input / display device 16E connected to the CPU 16A via the I / O port 16D.
  • the input / display device 16E has a graphic user interface for displaying an image of the eye 12 to be inspected and receiving various instructions from the user.
  • the graphic user interface includes a touch panel display.
  • control device 16 includes an image processing device 17 connected to the I / O port 16D.
  • the image processing device 17 generates an image of the eye to be inspected 12 based on the data obtained by the photographing device 14.
  • the control device 16 is connected to the network 130 via the communication interface 16F.
  • the control device 16 of the ophthalmic device 110 includes the input / display device 16E, but the technique of the present disclosure is not limited to this.
  • the control device 16 of the ophthalmic apparatus 110 may not include the input / display device 16E, but may include an input / display device that is physically independent of the ophthalmic apparatus 110.
  • the display device includes an image processing processor unit that operates under the control of the display control unit 204 of the CPU 16A of the control device 16.
  • the image processing processor unit may display an SLO image or the like based on the image signal output instructed by the display control unit 204.
  • the photographing device 14 operates under the control of the CPU 16A of the control device 16.
  • the photographing apparatus 14 includes an SLO unit 18, a photographing optical system 19, and an OCT unit 20.
  • the photographing optical system 19 includes an optical scanner 22 and a wide-angle optical system 30.
  • the optical scanner 22 two-dimensionally scans the light emitted from the SLO unit 18 in the X direction and the Y direction.
  • the optical scanner 22 may be any optical element capable of deflecting the luminous flux, and for example, a polygon mirror, a galvano mirror, or the like can be used. Moreover, it may be a combination thereof.
  • the wide-angle optical system 30 synthesizes the light from the SLO unit 18 and the light from the OCT unit 20.
  • the wide-angle optical system 30 may be a catadioptric system using a concave mirror such as an elliptical mirror, a catadioptric system using a wide-angle lens or the like, or a catadioptric system combining a concave mirror and a lens.
  • a wide-angle optical system using an elliptical mirror or a wide-angle lens it is possible to photograph the retina not only in the central part of the fundus but also in the peripheral part of the fundus.
  • the wide-angle optical system 30 enables observation in the fundus with a wide field of view (FOV: Field of View) 12A.
  • the FOV 12A indicates a range that can be photographed by the photographing device 14.
  • FOV12A can be expressed as a viewing angle.
  • the viewing angle can be defined by an internal irradiation angle and an external irradiation angle in the present embodiment.
  • the external irradiation angle is an irradiation angle in which the irradiation angle of the light flux emitted from the ophthalmic apparatus 110 to the eye 12 to be inspected is defined with reference to the pupil 27.
  • the internal irradiation angle is an irradiation angle in which the irradiation angle of the light flux irradiated to the fundus F is defined with reference to the center O of the eyeball.
  • the external irradiation angle and the internal irradiation angle have a corresponding relationship. For example, when the external irradiation angle is 120 degrees, the internal irradiation angle corresponds to about 160 degrees. In this embodiment, the internal irradiation angle is 200 degrees.
  • UWF-SLO fundus image obtained by taking a picture with an internal irradiation angle of 160 degrees or more
  • UWF is an abbreviation for Ultra Wide Field (ultra-wide-angle).
  • FOV viewing angle
  • the SLO system is realized by the control device 16, the SLO unit 18, and the photographing optical system 19 shown in FIG. Since the SLO system includes a wide-angle optical system 30, it enables fundus photography with a wide FOV12A.
  • the SLO unit 18 includes a B light (blue light) light source 40, a G light (green light) light source 42, an R light (red light) light source 44, and an IR light (infrared light (for example, near infrared light)). It includes a light source 46 and optical systems 48, 50, 52, 54, 56 that reflect or transmit light from light sources 40, 42, 44, 46 and guide them into one optical path.
  • the optical systems 48 and 56 are mirrors, and the optical systems 50, 52 and 54 are beam splitters.
  • B light is reflected by the optical system 48, is transmitted through the optical system 50, is reflected by the optical system 54, G light is reflected by the optical systems 50 and 54, and R light is transmitted through the optical systems 52 and 54.
  • IR light is reflected by the optical systems 52 and 56 and guided to one optical path, respectively.
  • the SLO unit 18 is configured to be able to switch a combination of a light source that emits laser light having a different wavelength or a light source that emits light, such as a mode that emits R light and G light and a mode that emits infrared light.
  • a light source that emits laser light having a different wavelength or a light source that emits light such as a mode that emits R light and G light and a mode that emits infrared light.
  • the example shown in FIG. 2 includes four light sources: a B light source 40, a G light source 42, an R light source 44, and an IR light source 46, but the technique of the present disclosure is not limited thereto.
  • the SLO unit 18 is further provided with a light source of white light, and may emit light in various modes such as a mode of emitting G light, R light, and B light, and a mode of emitting only white light. good.
  • the light incident on the photographing optical system 19 from the SLO unit 18 is scanned in the X direction and the Y direction by the optical scanner 22.
  • the scanning light is applied to the fundus through the wide-angle optical system 30 and the pupil 27.
  • the reflected light reflected by the fundus is incident on the SLO unit 18 via the wide-angle optical system 30 and the optical scanner 22.
  • the SLO unit 18 transmits G light among the light from the rear eye portion (fundus) of the eye 12 to be examined, the beam splitter 64 that reflects the B light and transmits other than the B light, and the light that has passed through the beam splitter 64.
  • a beam splitter 58 that reflects and transmits other than G light is provided.
  • the SLO unit 18 includes a beam splitter 60 that reflects R light and transmits other than R light among the light transmitted through the beam splitter 58.
  • the SLO unit 18 includes a beam splitter 62 that reflects IR light among the light transmitted through the beam splitter 60.
  • the SLO unit 18 detects the B light detection element 70 that detects the B light reflected by the beam splitter 64, the G light detection element 72 that detects the G light reflected by the beam splitter 58, and the R light reflected by the beam splitter 60.
  • the R light detection element 74 and the IR light detection element 76 that detects the IR light reflected by the beam splitter 62 are provided.
  • the light incident on the SLO unit 18 via the wide-angle optical system 30 and the first optical scanner 22 is reflected by the beam splitter 64 and is reflected by the B light detection element 70.
  • the beam splitter 64 In the case of G light, it is reflected by the beam splitter 58 and received by the G light detection element 72.
  • the incident light passes through the beam splitter 58, is reflected by the beam splitter 60, and is received by the R photodetection element 74.
  • the incident light passes through the beam splitters 58 and 60, is reflected by the beam splitter 62, and is received by the IR photodetection element 76.
  • the image processing device 17 operating under the control of the CPU 16A uses the signals detected by the B photodetection element 70, the G photodetection element 72, the R photodetection element 74, and the IR photodetection element 76 to produce a UWF-SLO image. Generate.
  • control device 16 controls the light sources 40, 42, and 44 so as to emit light at the same time.
  • a G color fundus image, an R color fundus image, and a B color fundus image in which the positions correspond to each other can be obtained.
  • An RGB color fundus image can be obtained from the G color fundus image, the R color fundus image, and the B color fundus image.
  • the control device 16 controls the light sources 42 and 44 so as to emit light at the same time, and the fundus of the eye to be inspected 12 is simultaneously photographed by the G light and the R light.
  • a fundus image can be obtained.
  • An RG color fundus image can be obtained from the G color fundus image and the R color fundus image.
  • the viewing angle (FOV: Field of View) of the fundus can be set to an ultra-wide angle, and a region beyond the equator from the posterior pole of the fundus of the eye 12 to be inspected can be photographed.
  • the equator portion 178 will be described with reference to FIG. 5A.
  • the eyeball (eye 12 to be inspected) is a spherical structure having an eyeball center 170 having a diameter of about 24 mm.
  • the straight line connecting the front pole 175 and the rear pole 176 is called the eyeball axis 172, and the line where the plane orthogonal to the eyeball axis 172 intersects the eyeball surface is called the latitude line, and the largest one is the equator 174.
  • the portion of the retina or choroid corresponding to the position of the equator 174 is referred to as the equator 178.
  • the ophthalmic apparatus 110 can image a region having an internal irradiation angle of 200 ° with the eyeball center 170 of the eye 12 to be inspected as a reference position.
  • the internal irradiation angle of 200 ° is 110 ° at the external irradiation angle based on the pupil of the eyeball of the eye 12 to be inspected. That is, the wide-angle optical system 30 irradiates the laser beam from the pupil with an angle of view of 110 ° as an external irradiation angle, and photographs the fundus region of 200 ° with an internal irradiation angle.
  • FIG. 5B shows a UWF-SLO image 179 obtained by being photographed by an ophthalmic apparatus 110 capable of scanning at an internal irradiation angle of 200 °.
  • the equator portion 178 corresponds to an internal irradiation angle of 180 °
  • the portion indicated by the dotted line 178a corresponds to the equator portion 178.
  • the ophthalmologic apparatus 110 can image the fundus region beyond the equator portion 178 from the posterior pole portion.
  • FIG. 5C is a diagram showing the positional relationship between the choroid 12M and the vortex veins 12V1 and V2 in the eyeball.
  • the reticulated pattern shows the choroidal blood vessels of the choroid 12M. Choroidal blood vessels circulate blood throughout the choroid. Then, blood flows out of the eyeball from a plurality of (usually 4 to 6) vortex veins existing in the eye 12 to be inspected.
  • the upper vortex vein V1 and the lower vortex vein V2 existing on one side of the eyeball are shown. The vortex vein is often located near the equator 178.
  • the above-mentioned ophthalmic apparatus 110 capable of scanning at an internal irradiation angle of 200 ° is used.
  • the OCT system is realized by the control device 16, the OCT unit 20, and the photographing optical system 19 shown in FIG. Since the OCT system includes the wide-angle optical system 30, it enables OCT imaging of the peripheral portion of the fundus in the same manner as the acquisition of the SLO fundus image described above. That is, the wide-angle optical system 30 in which the viewing angle (FOV) of the fundus is an ultra-wide angle enables OCT imaging of a region beyond the equator 178 from the posterior pole of the fundus of the eye 12 to be inspected. OCT data of structures existing around the fundus such as vortex veins can be acquired, and tomographic images of vortex veins and 3D structures of vortex veins can be obtained by image processing of OCT data.
  • FOV viewing angle
  • the OCT unit 20 includes a light source 20A, a sensor (detection element) 20B, a first optical coupler 20C, a reference optical system 20D, a collimating lens 20E, and a second optical coupler 20F.
  • the light emitted from the light source 20A is branched by the first optical coupler 20C.
  • One of the branched lights is made into parallel light by the collimated lens 20E as measurement light, and then is incident on the photographing optical system 19.
  • the measurement light is applied to the fundus through the wide-angle optical system 30 and the pupil 27.
  • the measurement light reflected by the fundus is incident on the OCT unit 20 via the wide-angle optical system 30 and incident on the second optical coupler 20F via the collimating lens 20E and the first optical coupler 20C.
  • the other light emitted from the light source 20A and branched by the first optical coupler 20C is incident on the reference optical system 20D as reference light, and is incident on the second optical coupler 20F via the reference optical system 20D. do.
  • the image processing device 17 that operates under the control of the image processing unit 206 generates an OCT image such as a tomographic image or an en-face image based on the OCT data detected by the sensor 20B.
  • an OCT image obtained by photographing with an internal irradiation angle of 160 degrees or more, or an OCT image obtained by scanning the peripheral part of the fundus of the eye is referred to as a UWF-OCT image.
  • the image data of the UWF-OCT image is sent from the ophthalmologic device 110 to the server 140 via the communication interface (I / F) 16F, and is stored in the storage device 254.
  • the light source 20A exemplifies a wavelength sweep type SS-OCT (Swept-Source OCT), but there are various types such as SD-OCT (Spectral-Domain OCT) and TD-OCT (Time-Domain OCT). OCT system of various types may be used.
  • the server 140 includes a computer main body 252.
  • the computer body 252 has a CPU 262, a RAM 266, a ROM 264, and an input / output (I / O) port 268.
  • a storage device 254, a display 256, a mouse 255M, a keyboard 255K, and a communication interface (I / F) 258 are connected to the input / output (I / O) port 268.
  • the storage device 254 is composed of, for example, a non-volatile memory.
  • the input / output (I / O) port 268 is connected to the network 130 via the communication interface (I / F) 258. Therefore, the server 140 can communicate with the ophthalmic apparatus 110 and the viewer 150.
  • the server 140 stores each data received from the ophthalmic device 110 in the storage device 254.
  • the image processing program includes a display control function, an image processing function, and a processing function.
  • the CPU 262 executes an image processing program having each of these functions, the CPU 262 functions as a display control unit 204, an image processing unit 206, and a processing unit 208.
  • step 600 the image processing unit 206 acquires the UWF-SLO image 179 as shown in FIG. 5B as a UWF fundus image from the storage device 254.
  • step 602 the image processing unit 206 creates a choroidal blood vessel image, which is a binarized image, from the acquired UWF-SLO image 179 as follows.
  • the structure of the eye is such that the vitreous body is covered with multiple layers having different structures.
  • the layers include the retina, choroid, and sclera from the innermost to the outermost side of the vitreous.
  • R light passes through the retina and reaches the choroid. Therefore, the first fundus image (R-color fundus image) includes information on blood vessels existing in the retina (retinal blood vessels) and information on blood vessels existing in the choroid (choroidal blood vessels).
  • G light reaches only the retina. Therefore, the second fundus image (G-color fundus image) contains only information on blood vessels (retinal blood vessels) existing in the retina.
  • the image processing unit 206 of the CPU 262 extracts the retinal blood vessels from the second fundus image (G color fundus image) by applying the black hat filter process to the second fundus image (G color fundus image).
  • the image processing unit 206 removes the retinal blood vessels by inpainting processing using the retinal blood vessels extracted from the first fundus image (R color fundus image) and the second fundus image (G color fundus image). .. That is, the retinal blood vessel structure of the first fundus image (R color fundus image) is filled with the same value as the surrounding pixels by using the position information of the retinal blood vessels extracted from the second fundus image (G color fundus image). ..
  • the image processing unit 206 applies adaptive histogram equalization processing (CLAHE, Contrast Limited Adaptive Histogram Equalization) to the image data of the first fundus image (R color fundus image) from which the retinal blood vessels have been removed.
  • CLAHE Contrast Limited Adaptive Histogram Equalization
  • the choroidal blood vessels are emphasized.
  • FIG. 7 a choroidal blood vessel image 300 in which the background is black pixels and the choroidal blood vessels are represented by white pixels is obtained.
  • the generated choroidal blood vessel image 300 is stored in the storage device 254.
  • the choroidal blood vessel image 300 is generated from the first fundus image (R color fundus image) and the second fundus image (G color fundus image), but the image processing unit 206 generates the choroidal blood vessel image 300, and the image processing unit 206 generates the first fundus image (R color fundus image).
  • the choroidal vascular image 300 may be generated using an IR fundus image taken with IR light.
  • FIG. 7 is a schematic view illustrating the choroidal blood vessel image 300 generated in step 602.
  • the choroidal blood vessel image 300 is a case where the fundus has four vortex veins, and the vortex veins 302V1, 302V2, 302V3, 302V4 and the choroidal blood vessels connected to the respective vortex veins are displayed. ing.
  • step 604 the image processing unit 206 performs a position detection process for detecting the positions of the vortex veins 302V1, 302V2, 302V3, and 302V4 from the choroidal blood vessel image 300.
  • the details of the position detection process in step 604 will be described later.
  • step 606 the image processing unit 206 analyzes the vortex veins 302V1, 302V2, 302V3, and 302V4 detected in step 604.
  • step 606 for example, the process of analyzing the positional relationship between the three points of the vortex vein, the optic nerve head, and the macula disclosed in the international publication WO2019 / 203310, or the choroid connected to the vortex vein disclosed in the international publication WO2019 / 203311. Performs a process to analyze the diameter of a blood vessel.
  • step 608 the position data (coordinate data) of the vortex vein and the analysis result of the vortex vein obtained by the above series of processes are stored in the storage device 254.
  • step 610 a screen is generated by combining the data obtained in the above series of processes with the fundus image and the analysis result of the vortex vein, which will be described later, and the image signal of the screen generated is output to the viewer 150 to end the process.
  • the image processing unit 206 acquires the choroidal blood vessel image 300, which is the binarized image shown in FIG. 7, from the storage device 254.
  • the image processing unit 206 sets a plurality of points of interest in the choroidal blood vessel image 300 and calculates the feature amount of the points of interest.
  • the feature amount is a feature amount indicating whether or not the point of interest is the central portion of the radial pattern. The closer the point of interest is to the center of the radial pattern, the larger the feature value. The details of the feature amount calculation process in step 802 will be described later.
  • step 804 in the choroidal blood vessel image 300, a local maximum detection process for detecting a local maximum value (maximum value) of a feature amount in which the choroidal blood vessel shows a radial pattern is performed.
  • a local maximum detection process for detecting a local maximum value (maximum value) of a feature amount in which the choroidal blood vessel shows a radial pattern is performed.
  • the UWF-SLO fundus image a plurality of vortex veins are photographed around the fundus. Multiple choroidal blood vessels are connected to each vortex vein. Furthermore, choroidal blood vessels are distributed radially around the position of the vortex vein.
  • the position of the vortex vein on the UWF-SLO fundus image can be detected by image processing. That is, the point of interest in which the feature amount is the local maximum value (maximum value) is the center of the radial pattern, that is, the vortex vein position.
  • a feature amount map as shown in FIG. 16 showing the feature amount on the choroidal blood vessel image 300 may be created.
  • the feature amount map may be created in a manner that can be visually and intuitively understood, or the feature amount value is generated by associating each coordinate of the choroidal blood vessel image 300 with the numerical value of the feature amount. May be good.
  • the feature amount map may be a heat map visualized by color according to the feature amount. In the case of heat map, the area without partial image of choroidal blood vessels is blue (small feature amount), the central part of the radial pattern is red (large feature amount), and the area with some radial blood vessels is yellow. It is visualized in green.
  • step 806 the data such as the local maximum detection obtained by the above series of processes (feature amount data obtained by combining the feature amount of the point of interest and the position data of the point of interest such as the coordinates indicating the position of the point of interest and the address of the pixel). ) Is stored in the storage device 254 and the process is returned.
  • the feature amount calculation process by the server 140 will be described in detail with reference to FIG.
  • the CPU 262 of the server 140 executes the image processing program
  • the feature amount calculation process (step 802 in FIG. 8) shown in the flowchart of FIG. 9 is realized.
  • the image processing unit 206 sets N points of interest (N is a natural number) in the choroidal blood vessel image 300.
  • the points of interest may be all the pixels of the choroidal blood vessel image 300, or the points of interest may be set from all the pixels according to a predetermined rule (for example, the points of interest may be set every three pixels).
  • step 904 the image processing unit 206 creates an image patch n (nth partial image) centered on the point of interest n.
  • the second image patch 304B second partial image (dotted line)) of the predetermined size is shown.
  • the first partial image of the first image patch 304A and the second partial image of the second image patch 304B are set to have the same size. In this way, N partial images from the first partial image to the Nth partial image are set.
  • the image processing unit 206 performs image processing on the first image patch 304A from the choroidal blood vessel image 300.
  • the first partial image of the choroidal blood vessel image 300 extracted by the first image patch 304A is subjected to polar coordinate conversion to generate a first converted image.
  • FIG. 11A shows the geometric features of an image in which the first partial image contains a radial pattern (in other words, an image including a pattern in which choroidal blood vessels run radially around the point of interest 1). It is a schematic diagram.
  • the choroidal blood vessel shows a mode in which the choroidal blood vessel runs toward the vortex vein. Therefore, if the partial image cut out by the image patch shows a radial pattern in which the choroidal blood vessels radiate from the center point of the partial image, it can be determined that the center of the partial image is a vortex vein.
  • FIG. 11B is a transformed image obtained by polar coordinate conversion of an image including the radial pattern shown in FIG. 11A.
  • polar coordinate transformation corresponding to choroidal blood vessels
  • FIG. 11B when the vertical axis is the angle ⁇ , the regions shown in white radially in FIG. 11A are displayed as horizontally striped patterns at equal intervals.
  • FIGS. 11A and 11B show the relationship between the image of the geometric radial pattern and the transformed image obtained by polar coordinate conversion.
  • the traveling direction of the blood vessel is not a geometric radial pattern, and the choroidal blood vessel is also an image with finely branched fine blood vessels. Therefore, it is difficult to obtain an image of a typical horizontal striped pattern as shown in FIG. 11B only by transforming FIG. 11A into polar coordinates.
  • the image processing unit 206 performs morphology processing.
  • the transformed image obtained by polar coordinate conversion of a partial image that is a part of the choroidal blood vessel image is subjected to the opening processing of the morphology calculation in which the component (kernel) is made into a horizontally long rectangle, and is finely branched. The process of erasing the pixels associated with the blood vessels is being performed.
  • FIGS. 12A, 12B, and 12C are diagrams for explaining the size of the component (kernel) used for the morphology processing.
  • FIG. 12A is a conceptual diagram showing a part of a binarized choroidal blood vessel image.
  • a vortex vein VV in the center of the image, and a circle with a radius of Rvv indicates the vortex vein ampulla Dvv.
  • choroidal blood vessels V1, V2, and V3 extend from the vortex vein ampulla Dvv, indicating that the bifurcated blood vessels VB1, VB2, and VB3 are present in each blood vessel.
  • FIG. 12B shows a converted image obtained by polar coordinate conversion of the image of FIG. 12A.
  • the rectangular region on the left of the converted image is a region corresponding to the vortex vein ampulla, and the width of the rectangle in the lateral direction on the paper surface is the above-mentioned radius Rvv.
  • the three choroidal blood vessels V1, V2, and V3 are polar coordinate-transformed into three stripes S1, S2, and S3 composed of white pixels.
  • the choroidal blood vessels V1, V2, and V3 extend radially from the vortex vein VV, so that they appear as horizontal stripes in the transformed image obtained by polar coordinate conversion.
  • SB1, SB2, and SB3 in which the bifurcated blood vessels VB1, VB2, and VB3 are polar coordinate-transformed appear in the black region between the stripes composed of white pixels.
  • SB1, SB2, and SB3 are white pixels, and stripes S1 and SB1 are connected, and S2 and SB2, and S3 and SB3 are connected, respectively.
  • a morphology process is performed on FIG. 12B using a component (kernel) such that the choroidal ampulla Dvv and the stripes S1, S2, and S3 are left and SB1, SB2, and SB3 corresponding to the bifurcated blood vessels are erased.
  • the component (kernel) is a rectangle with a height H and a width W (FIG. 12C).
  • Wv is the minimum value of stripes S1, S2, and S3 (corresponding to the thickness of the blood vessel to be left as a radial blood vessel)
  • Rvv is the radius of the above-mentioned vortex vein ampulla
  • Wsb is the length of the bifurcated blood vessel to be eliminated. ..
  • FIG. 12B each of the minimum value Wsb1, the median value Wsb2, and the maximum value Wsb3 is shown. Therefore, in the morphology processing, any one of Wsb1, Wsb2, and Wsb3 is selected.
  • ком ⁇ онент satisfies these two conditions, it is possible to delete a branched blood vessel, a blood vessel that is not connected to a VV, or the like from a transformed image that has undergone polar coordinate conversion.
  • components (kernels) having various shapes such as an ellipse can be used for the morphology processing.
  • the image processing unit 206 extracts a feature amount showing a radial pattern in the converted image.
  • the feature amount is data obtained by quantifying the degree of concentration indicating that the choroidal blood vessels are directed (concentrated) to one place. Specifically, it is the number of white pixels of the converted image. This utilizes the fact that the number of white pixels of an image obtained by polar coordinate transformation of an image patch including a pattern in which blood vessels run radially from the center of the image as shown in FIG. 11A is maximized. That is, the number of white pixels in the converted image decreases as the amount of deviation of the center of the radial pattern from the center of the image increases. Further, even if the number of blood vessels extending radially is small, the number of white pixels in the converted image is reduced.
  • the image processing unit 206 may have a feature amount that is a combination of the number of white pixels, which are bright areas included in the converted image, and the number of stripes.
  • the feature quantity is the product of the number of white pixels in the bright area and the number of stripes.
  • it may be a common logarithmic value of such a product. The larger the value of the feature quantity integrated in this way, the more likely it is that a vortex vein is present in the corresponding image patch.
  • FIG. 13 is a diagram showing the relationship between the first image patch 304A (first partial image), the second image patch 304B (second partial image), and the choroidal blood vessel image around the vortex vein.
  • the first image patch 304A has the focus point 1 set so that the vortex vein is at the upper right of the image
  • the second image patch 304B has the focus point 2 set so that the center of the vortex vein is at the center of the image. If you are.
  • the first image patch 304A and the second image patch 304B are patches of the same size.
  • FIG. 14A is a first converted image obtained by polar coordinate conversion of the first image patch 304A (first partial image), and FIG. 14B shows morphology processing of the first converted image with a component (kernel) satisfying the above two conditions. It is the image 1 that was made.
  • FIG. 15A is a second converted image obtained by polar coordinate conversion of the second image patch 304B (second partial image), and FIG. 15B shows a morphology process of the second converted image with a component (kernel) satisfying the above two conditions. It is the image 2 that was made.
  • the morphology-processed image 2 Comparing the morphology-processed image 1 and the morphology-processed image 2, it can be seen that the morphology-processed image 2 has a larger total number of white pixels and a larger number of white horizontal stripes. That is, it can be seen that the second feature amount of the second image patch 304B (second partial image) is larger than the first feature amount of the first image patch 304A (first partial image).
  • step 912 the image processing unit 206 stores the feature amount calculated in step 910 in a primary storage medium such as RAM 266.
  • FIG. 16 is a feature amount map in which numerical values of feature amounts are associated with each position of the choroidal blood vessel image 300.
  • the feature amount map shown in FIG. 16 for example, when the cursor of a pointing device such as a mouse is moved on the feature amount map, the numerical value of the feature amount is popped up at the cursor position.
  • FIG. 17 is a schematic view showing a display screen 500 displayed on the display of the viewer 150.
  • the display screen 500 has an information display area 502, a fundus image display area 504, and a choroidal blood vessel image display area 506.
  • the information display area 502 includes a patient ID display area 512, a patient name display area 514, an age display area 516, a visual acuity display area 518, a right eye / left eye display area 520, and an axial length display area 522.
  • the viewer 150 displays each information from the patient ID display area 512 to each display area of the axial length display area 522 based on the received information.
  • the image display area 504 is an area for displaying a fundus image or the like.
  • the UWF-SLO image 310 is displayed.
  • the choroidal blood vessel image 300 which is a binarized image, is displayed in the choroidal blood vessel image display area 506.
  • the coordinates of the local maximum value shown in step 804 of FIG. 8 are plotted, and the vortex vein position and the vortex vein diversion ridge (cross line in the choroidal blood vessel image 300) analyzed by the vortex vein analysis are superimposed. You may try to do it.
  • the UWF-SLO image 310 and the choroidal blood vessel image 300 may be aligned and displayed in an superimposed manner.
  • the image display area 504 may display an OCT image such as a tomographic image or an en-face image, or a blood vessel image by OCT angiography.
  • the comment field 506 provided in the image display area 504 is a remarks field in which the result observed by the ophthalmologist who is the user or the diagnosis result can be arbitrarily input.
  • FIG. 18 is a display screen 501 in which the feature amount map shown in FIG. 16 is displayed in the display area 508 instead of the choroidal blood vessel image display area 506 of FIG.
  • the UWF-SLO image 310 and the feature amount map are not displayed side by side, but are aligned. It may be superimposed and displayed.
  • the vortex vein can be analyzed from the fundus image.
  • the processes shown in FIGS. 6, 8 and 9 are performed by the server 140, but may be performed by the image processing device 17 of the ophthalmic apparatus 110.
  • image processing by a software configuration using a computer is assumed, but the technique of the present disclosure is not limited to this.
  • the image processing may be executed only by a hardware configuration such as FPGA (Field-Programmable Gate Array) or ASIC (Application Specific Integrated Circuit). Some of the image processing may be performed by the software configuration and the rest may be performed by the hardware configuration.
  • the technique of the present disclosure includes the case where the image processing is realized by the software configuration using the computer and the case where the image processing is not realized, and thus includes the following techniques.
  • (First technology) The step that the first partial image extraction unit extracts the first partial image from the choroidal blood vessel image, A step in which the first feature amount calculation unit calculates a first feature amount indicating whether or not the first partial image includes a radial blood vessel pattern, and A step in which the second partial image extraction unit extracts a second partial image at a second position different from the first position of the first partial image from the choroidal blood vessel image.
  • a second feature amount calculation unit that calculates a second feature amount indicating whether or not the second partial image contains a radial blood vessel pattern, and a second feature amount calculation unit.
  • An output unit that outputs the first feature amount and the second feature amount, and
  • An image processing device comprising. (Third technology)
  • a computer program product for image processing comprises a computer-readable storage medium that is not itself a transient signal.
  • a program is stored in the computer-readable storage medium.
  • the program is applied to the computer The step of extracting the first partial image from the choroidal blood vessel image and A step of calculating a first feature amount indicating whether or not the first partial image contains a radial blood vessel pattern, and A step of extracting a second partial image at a second position different from the first position of the first partial image from the choroidal blood vessel image, and A step of calculating a second feature amount indicating whether or not the second partial image contains a radial blood vessel pattern, and A step of outputting the first feature amount and the second feature amount, and A computer program product that runs.

Abstract

ＣＰＵは、脈絡膜血管画像から第１部分画像を抽出し、第１部分画像に放射状の血管パターンが含まれるか否かを示す第１特徴量を算出し、脈絡膜血管画像から、第１部分画像の第１位置とは異なる第２位置の第２部分画像を抽出し、第２部分画像に放射状の血管パターンが含まれるか否かを示す第２特徴量を算出し、第１特徴量と第２特徴量とを出力する。

Description

画像処理方法、画像処理装置、及び画像処理プログラム
　本発明は、画像処理方法、画像処理装置、及び画像処理プログラムに関する。
　米国特許第８３５６９０１号明細書では、眼底画像から渦静脈を解析することが望まれている。
　本開示の技術の第１の態様の画像処理方法は、プロセッサが行う画像処理であって、脈絡膜血管画像から第１部分画像を抽出するステップと、前記第１部分画像に放射状の血管パターンが含まれるか否かを示す第１特徴量を算出するステップと、前記脈絡膜血管画像から、前記第１部分画像の第１位置とは異なる第２位置の第２部分画像を抽出するステップと、前記第２部分画像に放射状の血管パターンが含まれるか否かを示す第２特徴量を算出するステップと、前記第１特徴量と前記第２特徴量とを出力するステップとを含んでいる。
　本開示の技術の第２の態様の画像処理装置は、メモリと、前記メモリに接続するプロセッサとを備え、前記プロセッサは、脈絡膜血管画像から第１部分画像を抽出し、前記第１部分画像に放射状の血管パターンが含まれるか否かを示す第１特徴量を算出し、前記脈絡膜血管画像から、前記第１部分画像の第１位置とは異なる第２位置の第２部分画像を抽出し、前記第２部分画像に放射状の血管パターンが含まれるか否かを示す第２特徴量を算出し、前記第１特徴量と前記第２特徴量とを出力する。
　本開示の技術の第３の態様のプログラムは、コンピュータに、脈絡膜血管画像から第１部分画像を抽出し、前記第１部分画像に放射状の血管パターンが含まれるか否かを示す第１特徴量を算出し、前記脈絡膜血管画像から、前記第１部分画像の第１位置とは異なる第２位置の第２部分画像を抽出し、前記第２部分画像に放射状の血管パターンが含まれるか否かを示す第２特徴量を算出し、前記第１特徴量と前記第２特徴量とを出力する、ことを実行させる。
本実施形態の眼科システムの概略構成図である。 本実施形態の眼科装置の概略構成図である。 サーバの概略構成図である。 サーバのＣＰＵにおいて、画像処理プログラムによって実現される機能の説明図である。 眼球の赤道部の説明図である。 眼底を広範囲に撮影したＵＷＦ－ＳＬＯ画像を示す概略図である。 眼球における脈絡膜と渦静脈との位置関係を示す概略図である。 サーバによる画像処理を示したフローチャートである。 脈絡膜血管画像を例示した概略図である。 サーバによる位置検出処理を示したフローチャートである。 サーバによる特徴量マップ作成処理を示したフローチャートである。 脈絡膜血管画像上に作成される画像パッチを例示した概略図である。 渦静脈の幾何学的な特徴を示した概略図である。 図１１Ａに示した放射状の画像を極座標変換した状態を示す概略図である。 二値化された脈絡膜血管画像の一部を示した概念図である。 図１２Ａの画像を極座標変換した変換画像を示した概略図である。 モルフォロジー処理の構成要素（カーネル）の概念図である。 第１画像パッチ（第１部分画像）と第２画像パッチ（第２部分画像）と渦静脈の周辺の脈絡膜血管画像との関係を示した概略図である。 第１画像パッチ（第１部分画像）を極座標変換した第１変換画像の概略図である。 第１変換画像をモルフォロジー処理した画像１の概略図である。 第２画像パッチ（第２部分画像）を極座標変換した第２変換画像を示した概略図である。 第２変換画像をモルフォロジー処理した画像２の概略図である。 特徴量マップを例示した概略図である。 ビューワのディスプレイに表示される表示画面を示した概略図である。 ビューワのディスプレイに表示される表示画面の変形例を示した概略図である。
　以下、本発明の実施形態に係る眼科システム１００について図面を参照して説明する。図１には、眼科システム１００の概略構成が示されている。図１に示すように、眼科システム１００は、眼科装置１１０と、サーバ装置（以下、「サーバ」という）１４０と、表示装置（以下、「ビューワ」という）１５０と、を備えている。眼科装置１１０は、眼底画像を取得する。サーバ１４０は、眼科装置１１０によって複数の患者の眼底が撮影されることにより得られた複数の眼底画像及び眼軸長測定装置（図示せず）によって別途計測した眼軸長を、患者ＩＤに対応して記憶する。ビューワ１５０は、サーバ１４０により取得した眼底画像や解析結果を表示する。
　眼科装置１１０、サーバ１４０、ビューワ１５０は、ネットワーク１３０を介して、相互に接続されている。ビューワ１５０は、クライアントサーバシステムにおけるクライアントであり、ネットワークを介して複数台が接続される。また、サーバ１４０も、システムの冗長性を担保するために、ネットワークを介して複数台が接続されていてもよい。又は、眼科装置１１０が画像処理機能及びビューワ１５０の画像閲覧機能を備えるのであれば、眼科装置１１０がスタンドアロン状態で、眼底画像の取得、画像処理及び画像閲覧が可能となる。また、サーバ１４０がビューワ１５０の画像閲覧機能を備えるのであれば、眼科装置１１０とサーバ１４０との構成で、眼底画像の取得、画像処理及び画像閲覧が可能となる。
　なお、他の眼科機器（視野測定、眼圧測定などの検査機器）やＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いた画像解析を行う診断支援装置がネットワーク１３０を介して、眼科装置１１０、サーバ１４０、及びビューワ１５０に接続されていてもよい。
　次に、図２を参照して、眼科装置１１０の構成を説明する。
　説明の便宜上、走査型レーザ検眼鏡（Ｓｃａｎｎｉｎｇ　Ｌａｓｅｒ　Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）を「ＳＬＯ」と称する。また、光干渉断層計（Ｏｐｔｉｃａｌ　Ｃｏｈｅｒｅｎｃｅ　Ｔｏｍｏｇｒａｐｈｙ）を「ＯＣＴ」と称する。
　なお、眼科装置１１０が水平面に設置された場合の水平方向を「Ｘ方向」、水平面に対する垂直方向を「Ｙ方向」とし、被検眼１２の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Ｚ方向」とする。従って、Ｘ方向、Ｙ方向、およびＺ方向は互いに垂直である。
　眼科装置１１０は、撮影装置１４および制御装置１６を含む。撮影装置１４は、ＳＬＯユニット１８およびＯＣＴユニット２０を備えており、被検眼１２の眼底の眼底画像を取得する。以下、ＳＬＯユニット１８により取得された二次元眼底画像をＳＬＯ画像と称する。また、ＯＣＴユニット２０により取得されたＯＣＴデータに基づいて作成された網膜の断層画像や正面画像（ｅｎ－ｆａｃｅ画像）などをＯＣＴ画像と称する。ＯＣＴ画像は、本開示の技術の「断層画像」に相当する。
　制御装置１６は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ（中央処理装置））１６Ａ、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１６Ｂ、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ　ｍｅｍｏｒｙ）１６Ｃ、および入出力（Ｉ／Ｏ）ポート１６Ｄを有するコンピュータを備えている。
　制御装置１６は、Ｉ／Ｏポート１６Ｄを介してＣＰＵ１６Ａに接続された入力／表示装置１６Ｅを備えている。入力／表示装置１６Ｅは、被検眼１２の画像を表示したり、ユーザから各種指示を受け付けたりするグラフィックユーザインターフェースを有する。グラフィックユーザインターフェースとしては、タッチパネル・ディスプレイが挙げられる。
　また、制御装置１６は、Ｉ／Ｏポート１６Ｄに接続された画像処理装置１７を備えている。画像処理装置１７は、撮影装置１４によって得られたデータに基づき被検眼１２の画像を生成する。なお、制御装置１６は、通信インターフェース１６Ｆを介してネットワーク１３０に接続される。
　上記のように、図２では、眼科装置１１０の制御装置１６が入力／表示装置１６Ｅを備えているが、本開示の技術はこれに限定されない。例えば、眼科装置１１０の制御装置１６は入力／表示装置１６Ｅを備えず、眼科装置１１０とは物理的に独立した別個の入力／表示装置を備えるようにしてもよい。この場合、当該表示装置は、制御装置１６のＣＰＵ１６Ａの表示制御部２０４の制御下で動作する画像処理プロセッサユニットを備える。画像処理プロセッサユニットが、表示制御部２０４が出力指示した画像信号に基づいて、ＳＬＯ画像等を表示するようにしてもよい。
　撮影装置１４は、制御装置１６のＣＰＵ１６Ａの制御下で作動する。撮影装置１４は、ＳＬＯユニット１８、撮影光学系１９、およびＯＣＴユニット２０を含む。撮影光学系１９は、光学スキャナ２２、および広角光学系３０を含む。
　光学スキャナ２２は、ＳＬＯユニット１８から射出された光をＸ方向、およびＹ方向に２次元走査する。光学スキャナ２２は、光束を偏向できる光学素子であればよく、例えば、ポリゴンミラーや、ガルバノミラー等を用いることができる。また、それらの組み合わせであってもよい。
　広角光学系３０は、ＳＬＯユニット１８からの光とＯＣＴユニット２０からの光とを合成する。
　なお、広角光学系３０は、楕円鏡などの凹面ミラーを用いた反射光学系や、広角レンズなどを用いた屈折光学系、あるいは、凹面ミラーやレンズを組み合わせた反射屈折光学系でもよい。楕円鏡や広角レンズなどを用いた広角光学系を用いることにより、眼底中心部だけでなく眼底周辺部の網膜を撮影することが可能となる。
　楕円鏡を含むシステムを用いる場合には、国際公開ＷＯ２０１６／１０３４８４あるいは国際公開ＷＯ２０１６／１０３４８９に記載された楕円鏡を用いたシステムを用いる構成でもよい。国際公開ＷＯ２０１６／１０３４８４の開示および国際公開ＷＯ２０１６／１０３４８９の開示の各々は、その全体が参照により本明細書に取り込まれる。
　広角光学系３０によって、眼底において広い視野（ＦＯＶ：Ｆｉｅｌｄ　ｏｆ　Ｖｉｅｗ）１２Ａでの観察が実現される。ＦＯＶ１２Ａは、撮影装置１４によって撮影可能な範囲を示している。ＦＯＶ１２Ａは、視野角として表現され得る。視野角は、本実施形態において、内部照射角と外部照射角とで規定され得る。外部照射角とは、眼科装置１１０から被検眼１２へ照射される光束の照射角を、瞳孔２７を基準として規定した照射角である。また、内部照射角とは、眼底Ｆへ照射される光束の照射角を、眼球中心Ｏを基準として規定した照射角である。外部照射角と内部照射角とは、対応関係にある。例えば、外部照射角が１２０度の場合、内部照射角は約１６０度に相当する。本実施形態では、内部照射角は２００度としている。
　ここで、内部照射角で１６０度以上の撮影画角で撮影されて得られたＳＬＯ眼底画像をＵＷＦ－ＳＬＯ眼底画像と称する。なお、ＵＷＦとは、ＵｌｔｒａＷｉｄｅ　Ｆｉｅｌｄ（超広角）の略称を指す。眼底の視野角（ＦＯＶ）を超広角な角度とした広角光学系３０により、被検眼１２の眼底の後極部から赤道部を超える領域を撮影することができ、渦静脈などの眼底周辺部に存在する構造物を撮影できる。
　ＳＬＯシステムは、図２に示す制御装置１６、ＳＬＯユニット１８、および撮影光学系１９によって実現される。ＳＬＯシステムは、広角光学系３０を備えるため、広いＦＯＶ１２Ａでの眼底撮影を可能とする。
　ＳＬＯユニット１８は、Ｂ光（青色光）の光源４０、Ｇ光（緑色光）の光源４２、Ｒ光（赤色光）の光源４４、およびＩＲ光（赤外線（例えば、近赤外光））の光源４６と、光源４０、４２、４４、４６からの光を、反射又は透過して１つの光路に導く光学系４８、５０、５２、５４、５６とを備えている。光学系４８、５６は、ミラーであり、光学系５０、５２、５４は、ビームスプリッタ―である。Ｂ光は、光学系４８で反射し、光学系５０を透過し、光学系５４で反射し、Ｇ光は、光学系５０、５４で反射し、Ｒ光は、光学系５２、５４を透過し、ＩＲ光は、光学系５２、５６で反射して、それぞれ１つの光路に導かれる。
　ＳＬＯユニット１８は、Ｒ光およびＧ光を発するモードと、赤外線を発するモードなど、波長の異なるレーザ光を発する光源あるいは発光させる光源の組合せを切り替え可能に構成されている。図２に示す例では、Ｂ光の光源４０、Ｇ光の光源４２、Ｒ光の光源４４、およびＩＲ光の光源４６の４つの光源を備えるが、本開示の技術は、これに限定されない。例えば、ＳＬＯユニット１８は、更に、白色光の光源を更に備え、Ｇ光、Ｒ光、およびＢ光を発するモードや、白色光のみを発するモード等の種々のモードで光を発するようにしてもよい。
　ＳＬＯユニット１８から撮影光学系１９に入射された光は、光学スキャナ２２によってＸ方向およびＹ方向に走査される。走査光は広角光学系３０および瞳孔２７を経由して、眼底に照射される。眼底により反射された反射光は、広角光学系３０および光学スキャナ２２を経由してＳＬＯユニット１８へ入射される。
　ＳＬＯユニット１８は、被検眼１２の後眼部（眼底）からの光の内、Ｂ光を反射し且つＢ光以外を透過するビームスプリッタ６４、ビームスプリッタ６４を透過した光の内、Ｇ光を反射し且つＧ光以外を透過するビームスプリッタ５８を備えている。ＳＬＯユニット１８は、ビームスプリッタ５８を透過した光の内、Ｒ光を反射し且つＲ光以外を透過するビームスプリッタ６０を備えている。ＳＬＯユニット１８は、ビームスプリッタ６０を透過した光の内、ＩＲ光を反射するビームスプリッタ６２を備えている。ＳＬＯユニット１８は、ビームスプリッタ６４により反射したＢ光を検出するＢ光検出素子７０、ビームスプリッタ５８により反射したＧ光を検出するＧ光検出素子７２、ビームスプリッタ６０により反射したＲ光を検出するＲ光検出素子７４、およびビームスプリッタ６２により反射したＩＲ光を検出するＩＲ光検出素子７６を備えている。
　広角光学系３０および第１光学スキャナ２２を経由してＳＬＯユニット１８へ入射された光（眼底により反射された反射光）は、Ｂ光の場合、ビームスプリッタ６４で反射してＢ光検出素子７０により受光され、Ｇ光の場合、ビームスプリッタ５８で反射してＧ光検出素子７２により受光される。上記入射された光は、Ｒ光の場合、ビームスプリッタ５８を透過し、ビームスプリッタ６０で反射してＲ光検出素子７４により受光される。上記入射された光は、ＩＲ光の場合、ビームスプリッタ５８、６０を透過し、ビームスプリッタ６２で反射してＩＲ光検出素子７６により受光される。ＣＰＵ１６Ａの制御下で動作する画像処理装置１７は、Ｂ光検出素子７０、Ｇ光検出素子７２、Ｒ光検出素子７４、およびＩＲ光検出素子７６で検出された信号を用いてＵＷＦ－ＳＬＯ画像を生成する。
　また、制御装置１６が、同時に発光するように光源４０、４２、４４を制御する。Ｂ光、Ｇ光およびＲ光で同時に被検眼１２の眼底が撮影されることにより、各位置が互いに対応するＧ色眼底画像、Ｒ色眼底画像、およびＢ色眼底画像が得られる。Ｇ色眼底画像、Ｒ色眼底画像、およびＢ色眼底画像からＲＧＢカラー眼底画像が得られる。制御装置１６が、同時に発光するように光源４２、４４を制御し、Ｇ光およびＲ光で同時に被検眼１２の眼底が撮影されることにより、各位置が互いに対応するＧ色眼底画像およびＲ色眼底画像が得られる。Ｇ色眼底画像およびＲ色眼底画像からＲＧカラー眼底画像が得られる。
　広角光学系３０により、眼底の視野角（ＦＯＶ：Ｆｉｅｌｄ　ｏｆ　Ｖｉｅｗ）を超広角な角度とし、被検眼１２の眼底の後極部から赤道部を超える領域を撮影することができる。
　図５Ａを用いて赤道部１７８の説明をする。眼球（被検眼１２）は、直径約 ２４ｍｍ の眼球中心１７０とした球状の構造物である。その前極１７５と後極１７６を連ねる直線を眼球軸１７２と言い、眼球軸１７２に直交する平面が眼球表面と交わる線を緯線といい、その最大のものが赤道１７４である。赤道１７４の位置に相当する網膜や脈絡膜の部分を赤道部１７８とする。
　眼科装置１１０は、被検眼１２の眼球中心１７０を基準位置として内部照射角が２００°の領域を撮影することができる。なお、２００°の内部照射角は、被検眼１２の眼球の瞳孔を基準とした外部照射角では１１０°である。つまり、広角光学系３０は外部照射角１１０°の画角で瞳からレーザ光を照射させ、内部照射角で２００°の眼底領域を撮影する。
　図５Ｂには、内部照射角が２００°で走査できる眼科装置１１０で撮影されて得られたＵＷＦ－ＳＬＯ画像１７９が示されている。図５Ｂに示すように、赤道部１７８は内部照射角で１８０°に相当し、ＵＷＦ－ＳＬＯ画像１７９においては点線１７８ａで示された個所が赤道部１７８に相当する。このように、眼科装置１１０は、後極部から赤道部１７８を超えた眼底領域を撮影することができる。
　図５Ｃは、眼球における脈絡膜１２Ｍと渦静脈１２Ｖ１、Ｖ２との位置関係を示す図である。図５Ｃにおいて、網目状の模様は脈絡膜１２Ｍの脈絡膜血管を示している。脈絡膜血管は脈絡膜全体に血液をめぐらせる。そして、被検眼１２に複数（通常４つから６つ）存在する渦静脈から眼球の外へ血液が流れる。図５Ｃでは眼球の片側に存在する上側渦静脈Ｖ１と下側渦静脈Ｖ２が示されている。渦静脈は、赤道部１７８の近傍に存在する場合が多い。そのため、被検眼１２に存在する渦静脈及び渦静脈周辺の脈絡膜血管を撮影するには、上述した内部照射角が２００°で走査できる眼科装置１１０を用いて行われる。
　ＯＣＴシステムは、図２に示す制御装置１６、ＯＣＴユニット２０、および撮影光学系１９によって実現される。ＯＣＴシステムは、広角光学系３０を備えるため、上述したＳＬＯ眼底画像の撮影と同様に、眼底周辺部のＯＣＴ撮影を可能とする。つまり、眼底の視野角（ＦＯＶ）を超広角な角度とした広角光学系３０により、被検眼１２の眼底の後極部から赤道部１７８を超える領域のＯＣＴ撮影を行うことができる。渦静脈などの眼底周辺部に存在する構造物のＯＣＴデータを取得でき、渦静脈の断層像や、ＯＣＴデータを画像処理することにより渦静脈の３Ｄ構造を得ることができる。
　ＯＣＴユニット２０は、光源２０Ａ、センサ（検出素子）２０Ｂ、第１の光カプラ２０Ｃ、参照光学系２０Ｄ、コリメートレンズ２０Ｅ、および第２の光カプラ２０Ｆを含む。
　光源２０Ａから射出された光は、第１の光カプラ２０Ｃで分岐される。分岐された一方の光は、測定光として、コリメートレンズ２０Ｅで平行光にされた後、撮影光学系１９に入射される。測定光は広角光学系３０および瞳孔２７を経由して、眼底に照射される。眼底により反射された測定光は、および広角光学系３０を経由してＯＣＴユニット２０へ入射され、コリメートレンズ２０Ｅおよび第１の光カプラ２０Ｃを介して、第２の光カプラ２０Ｆに入射する。
　光源２０Ａから射出され、第１の光カプラ２０Ｃで分岐された他方の光は、参照光として、参照光学系２０Ｄへ入射され、参照光学系２０Ｄを経由して、第２の光カプラ２０Ｆに入射する。
　第２の光カプラ２０Ｆに入射されたこれらの光、即ち、眼底で反射された測定光と、参照光とは、第２の光カプラ２０Ｆで干渉されて干渉光を生成する。干渉光はセンサ２０Ｂで受光される。画像処理部２０６の制御下で動作する画像処理装置１７は、センサ２０Ｂで検出されたＯＣＴデータに基づいて断層画像やｅｎ－ｆａｃｅ画像などのＯＣＴ画像を生成する。
　ここで、内部照射角で１６０度以上の撮影画角で撮影されて得られたＯＣＴ画像、あるいは、眼底周辺部を走査して得られたＯＣＴ画像をＵＷＦ－ＯＣＴ画像と称する。
　ＵＷＦ－ＯＣＴ画像の画像データは、通信インターフェース（Ｉ／Ｆ）１６Ｆを介して眼科装置１１０からサーバ１４０へ送付され、記憶装置２５４に記憶される。
　なお、本実施形態では、光源２０Ａが波長掃引タイプのＳＳ－ＯＣＴ（Ｓｗｅｐｔ－Ｓｏｕｒｃｅ　ＯＣＴ）を例示するが、ＳＤ－ＯＣＴ（Ｓｐｅｃｔｒａｌ－Ｄｏｍａｉｎ　ＯＣＴ）、ＴＤ－ＯＣＴ（Ｔｉｍｅ－Ｄｏｍａｉｎ　ＯＣＴ）など、様々な方式のＯＣＴシステムであってもよい。
　次に、図３を参照して、サーバ１４０の電気系の構成を説明する。図３に示すように、サーバ１４０は、コンピュータ本体２５２を備えている。コンピュータ本体２５２は、ＣＰＵ２６２、ＲＡＭ２６６、ＲＯＭ２６４、入出力（Ｉ／Ｏ）ポート２６８を有する。入出力（Ｉ／Ｏ）ポート２６８には、記憶装置２５４、ディスプレイ２５６、マウス２５５Ｍ、キーボード２５５Ｋ、および通信インターフェース（Ｉ／Ｆ）２５８が接続されている。記憶装置２５４は、例えば、不揮発メモリで構成される。入出力（Ｉ／Ｏ）ポート２６８は、通信インターフェース（Ｉ／Ｆ）２５８を介して、ネットワーク１３０に接続されている。従って、サーバ１４０は、眼科装置１１０、およびビューワ１５０と通信することができる。
　サーバ１４０は、眼科装置１１０から受信した各データを、記憶装置２５４に記憶する。
　サーバ１４０のＣＰＵ２６２が画像処理プログラムを実行することで実現される各種機能について説明する。図４に示すように、画像処理プログラムは、表示制御機能、画像処理機能、および処理機能を備えている。ＣＰＵ２６２がこの各機能を有する画像処理プログラムを実行することで、ＣＰＵ２６２は、表示制御部２０４、画像処理部２０６、および処理部２０８として機能する。
　次に、図６を用いて、サーバ１４０による画像処理を詳細に説明する。サーバ１４０のＣＰＵ２６２が画像処理プログラムを実行することで、図６のフローチャートに示された画像処理（画像処理方法）が実現される。
　ステップ６００で、画像処理部２０６は、図５Ｂに示したようなＵＷＦ－ＳＬＯ画像１７９をＵＷＦ眼底画像として記憶装置２５４から取得する。ステップ６０２で、画像処理部２０６は、取得したＵＷＦ－ＳＬＯ画像１７９から、次のように二値化画像である脈絡膜血管画像を作成する。
　まず、Ｒ色眼底画像とＧ色眼底画像とに含まれる情報を説明する。
　眼の構造は、硝子体を、構造が異なる複数の層が覆うようになっている。複数の層には、硝子体側の最も内側から外側に、網膜、脈絡膜、強膜が含まれる。Ｒ光は、網膜を通過して脈絡膜まで到達する。よって、第１眼底画像（Ｒ色眼底画像）には、網膜に存在する血管（網膜血管）の情報と脈絡膜に存在する血管（脈絡膜血管）の情報とが含まれる。これに対し、Ｇ光は、網膜までしか到達しない。よって、第２眼底画像（Ｇ色眼底画像）には、網膜に存在する血管（網膜血管）の情報のみが含まれる。
　ＣＰＵ２６２の画像処理部２０６は、ブラックハットフィルタ処理を第２眼底画像（Ｇ色眼底画像）に施すことにより、第２眼底画像（Ｇ色眼底画像）から網膜血管を抽出する。次に、画像処理部２０６は、第１眼底画像（Ｒ色眼底画像）から、第２眼底画像（Ｇ色眼底画像）から抽出した網膜血管を用いてインペインティング処理により、網膜血管を除去する。つまり、第２眼底画像（Ｇ色眼底画像）から抽出された網膜血管の位置情報を用いて第１眼底画像（Ｒ色眼底画像）の網膜血管構造を周囲の画素と同じ値に塗りつぶす処理を行う。そして、画像処理部２０６は、網膜血管が除去された第１眼底画像（Ｒ色眼底画像）の画像データに対し、適応ヒストグラム均等化処理（ＣＬＡＨＥ、Ｃｏｎｔｒａｓｔ Ｌｉｍｉｔｅｄ Ａｄａｐｔｉｖｅ Ｈｉｓｔｏｇｒａｍ Ｅｑｕａｌｉｚａｔｉｏｎ）を施すことにより、第１眼底画像（Ｒ色眼底画像）において、脈絡膜血管を強調する。これにより、図７に示すように、背景が黒い画素で脈絡膜血管が白い画素で表現された脈絡膜血管画像３００が得られる。生成された脈絡膜血管画像３００は記憶装置２５４に記憶される。
　また、第１眼底画像（Ｒ色眼底画像）と第２眼底画像（Ｇ色眼底画像）から脈絡膜血管画像３００を生成しているが、画像処理部２０６は、第１眼底画像（Ｒ色眼底画像）あるいはＩＲ光で撮影されたＩＲ眼底画像を用いて脈絡膜血管画像３００を生成してもよい。
　脈絡膜血管画像３００を生成する方法について、国際公開ＷＯ２０１９／１８１９８１の開示は、その全体が参照により、本明細書に取り込まれる。
　図７は、ステップ６０２で生成した脈絡膜血管画像３００を例示した概略図である。図７に示したように、脈絡膜血管画像３００は渦静脈が４つある眼底である場合であり、渦静脈３０２Ｖ１、３０２Ｖ２、３０２Ｖ３、３０２Ｖ４とそれぞれの渦静脈に接続している脈絡膜血管が表示されている。
　ステップ６０４では、画像処理部２０６は、脈絡膜血管画像３００から渦静脈３０２Ｖ１、３０２Ｖ２、３０２Ｖ３、３０２Ｖ４の位置を検出する位置検出処理を行う。ステップ６０４における位置検出処理の詳細は後述する。
　ステップ６０６では、画像処理部２０６は、ステップ６０４で検出された渦静脈３０２Ｖ１、３０２Ｖ２、３０２Ｖ３、３０２Ｖ４の解析を行う。ステップ６０６では、例えば、国際公開ＷＯ２０１９／２０３３１０に開示された渦静脈、視神経乳頭及び黄斑の３点の位置関係を解析する処理、又は国際公開ＷＯ２０１９／２０３３１１に開示された、渦静脈に接続する脈絡膜血管の血管径を解析する処理を行う。
　ステップ６０８では、上記一連の処理で得た渦静脈の位置データ（座標データ）や渦静脈の解析結果を記憶装置２５４に保存する。ステップ６１０では、上記一連の処理で得たデータを後述する眼底画像や渦静脈の解析結果を組み合わせた画面を生成し、ビューワ１５０に生成した画面の画像信号を出力して処理を終了する。
　次に、図８を用いて、サーバ１４０による位置検出処理を詳細に説明する。サーバ１４０のＣＰＵ２６２が画像処理プログラムを実行することで、図８のフローチャートに示された位置検出処理（図６のステップ６０４）が実現される。
　ステップ８００で、画像処理部２０６は、図７に示した二値化画像である脈絡膜血管画像３００を記憶装置２５４から取得する。ステップ８０２で、画像処理部２０６は、脈絡膜血管画像３００に複数の着目点を設定し当該着目点の特徴量を計算する。当該特徴量は着目点が放射状のパターンの中心部であるか否かを示す特徴量である。着目点が放射状のパターンの中心に近いほど特徴量が大きな値を示す。ステップ８０２における特徴量算出処理の詳細は後述する。
　ステップ８０４では、脈絡膜血管画像３００において、脈絡膜血管が放射状のパターンを示す特徴量の局所最大値（極大値）を検出する局所最大検出処理を行う。ＵＷＦ－ＳＬＯ眼底画像では、眼底周辺部に複数の渦静脈が撮影されている。各渦静脈には複数の脈絡膜血管が接続されている。さらに、渦静脈位置を中心として脈絡膜血管が放射状に分布している。このような渦静脈周辺の脈絡膜血管の走行方向の特徴を数値化することにより、ＵＷＦ－ＳＬＯ眼底画像上の渦静脈の位置を画像処理で検出することができる。つまり、特徴量が局所最大値（極大値）となっている着目点が放射状のパターンの中心、すなわち渦静脈位置である。
　また、脈絡膜血管画像３００上の当該特徴量を示す図１６に示すような特徴量マップを作成するようにしてもよい。図１６において、明るく示された領域ほど、特徴量の値が大きいことを示している。特徴量マップは、図１６に示したように、視覚的かつ直感的に理解できる態様で作成してもよいし、脈絡膜血管画像３００の各々の座標に特徴量の数値を対応付けて生成してもよい。また、特徴量マップは、特徴量に応じて色で可視化したヒートマップとしてもよい。ヒートマップの場合、脈絡膜血管の部分画像が無い領域は青（特徴量が小さい）、放射状のパターンの中心部分は赤（特徴量が大きい）、放射状の血管の一部が存在する領域は黄色や緑などで可視化される。
　そして、ステップ８０６では、上記一連の処理で得た局所最大検出等のデータ（着目点の特徴量と、着目点位置を示す座標や画素のアドレスなどの着目点の位置データを組み合わせた特徴量データ）を記憶装置２５４に保存して処理をリターンする。
　次に、図９を用いて、サーバ１４０による特徴量算出処理を詳細に説明する。サーバ１４０のＣＰＵ２６２が画像処理プログラムを実行することで、図９のフローチャートに示された特徴量算出処理（図８のステップ８０２）が実現される。
　ステップ９００では、画像処理部２０６は、脈絡膜血管画像３００にＮ個（Ｎは自然数）の着目点を設定する。着目点は、脈絡膜血管画像３００の全画素としてもよいし、全画素から所定の規則で着目点を設定（例えば、３画素おきに着目点を設定など）してもよい。
　ステップ９０２では、画像処理部２０６は、カウンタをｎ＝１に設定する。
　そして、ステップ９０４では、画像処理部２０６は、着目点ｎを中心とする画像パッチｎ（第ｎ部分画像）を作成する。図１０は、脈絡膜血管画像３００において、ｎ＝１における着目点１を中心とした所定の大きさの第１画像パッチ３０４Ａ（第１部分画像（実線））、ｎ＝２における着目点２を中心とした当該所定の大きさの第２画像パッチ３０４Ｂ（第２部分画像（点線））を示している。第１画像パッチ３０４Ａである第１部分画像と第２画像パッチ３０４Ｂである第２部分画像は同じ大きさに設定されている。このようにして、第１部分画像から第Ｎ部分画像までのＮ個の部分画像が設定されることになる。
　ステップ９０６にて、画像処理部２０６は、脈絡膜血管画像３００から第１画像パッチ３０４Ａに対する画像処理をする。具体的には、第１画像パッチ３０４Ａにより抽出された脈絡膜血管画像３００の第１部分画像を極座標変換し、第１変換画像を生成する。図１１Ａは、当該第１部分画像が放射状のパターンを含んでいる画像（言い換えると、着目点１を中心として脈絡膜血管が放射状に走行しているパターンを含む画像）の幾何学的な特徴を示した概略図である。渦静脈周辺は、脈絡膜血管は渦静脈に向かうように走行する態様を示す。よって、画像パッチにより切り出された部分画像が、部分画像の中心点から放射状に脈絡膜血管が走行した放射状のパターンを示せば、当該部分画像に中心が渦静脈であると判定することができる。
　図１１Ｂは、図１１Ａに示した放射状のパターンを含む画像を極座標変換した変換画像である。極座標変換（脈絡膜血管に相当）の結果、図１１Ｂでは、縦軸を角度θとした場合、図１１Ａで放射状に白く示された領域は、等間隔の横縞状のパターンとして表示される。
　図１１Ａ及び図１１Ｂは、幾何学的な放射状のパターンの画像を極座標変換した変換画像との関係性を示す。実際の脈絡膜血管画像では、血管の走行方向は幾何学的な放射状パターンではなく、さらに脈絡膜血管も細かく枝分かれした微細な血管を伴う画像である。よって、図１１Ａを極座標変換したのみでは、図１１Ｂに示したような典型的な横縞状のパターンの画像を得ることは難しい。
　ステップ９０８では、画像処理部２０６は、モルフォロジー処理を行う。本実施形態では、脈絡膜血管画像の一部である部分画像を極座標変換して得た変換画像に、構成要素（カーネル）を横長な矩形にしたモルフォロジー演算のオープニング処理を行って、微細に枝分かれした血管に伴う画素を消去する処理を行っている。
　図１２Ａ、１２Ｂ、１２Ｃは、モルフォロジー処理に用いる構成要素（カーネル）のサイズについて説明する図である。
　図１２Ａは、二値化された脈絡膜血管画像の一部を示した概念図である。画像の中心に渦静脈ＶＶがあり、半径Ｒｖｖの円が渦静脈膨大部Ｄｖｖを示している。そして、渦静脈膨大部Ｄｖｖから脈絡膜血管Ｖ１、Ｖ２、Ｖ３が伸びており、各血管には分岐血管であるＶＢ１、ＶＢ２、ＶＢ３が存在していることを示している。
　図１２Ｂは、当該図１２Ａの画像を極座標変換した変換画像を示す。変換画像の左の矩形領域は渦静脈膨大部に相当する領域であり矩形の紙面横方向の幅は上述の半径Ｒｖｖである。
　そして三本の脈絡膜血管Ｖ１、Ｖ２、Ｖ３は、極座標変換され、白画素からなる三本のストライプＳ１、Ｓ２、Ｓ３となる。図１２Ａでは脈絡膜血管Ｖ１、Ｖ２、Ｖ３は渦静脈ＶＶから放射状に伸びているので、極座標変換した変換画像では水平方向の縞模様となって現れる。また図１２Ｂには白画素からなるストライプの間の黒い領域に、分岐血管ＶＢ１、ＶＢ２、ＶＢ３が極座標変換されたＳＢ１、ＳＢ２、ＳＢ３が現れる。ＳＢ１、ＳＢ２、ＳＢ３は白画素であり、ストライプＳ１とＳＢ１が接続し、Ｓ２とＳＢ２、Ｓ３とＳＢ３がそれぞれ接続している。
　図１２Ｂに対して、脈絡膜膨大部ＤｖｖとストライプＳ１、Ｓ２、Ｓ３を残し、分岐血管に相当するＳＢ１、ＳＢ２、ＳＢ３を消去するような、構成要素（カーネル）を用いてモルフォロジー処理を行う。構成要素（カーネル）は高さＨ、幅Ｗの矩形（図１２Ｃ）であり、
　条件１　高さＨ：Ｈ＜Ｗｖ
　条件２　幅Ｗ：　Ｒｖｖ＞Ｗ＞Ｗｓｂ
を満たすサイズである。
　ここで、ＷｖはストライプＳ１、Ｓ２、Ｓ３の最小値（放射状血管として残したい血管の太さに相当）、Ｒｖｖは上述の渦静脈膨大部の半径、Ｗｓｂは消去したい分岐血管の長さである。図１２Ｂでは、最小値のＷｓｂ１、中間値のＷｓｂ２、最大値のＷｓｂ３の各々が示されているので、モルフォロジー処理では、Ｗｓｂ１、Ｗｓｂ２、Ｗｓｂ３のいずれかを選択する。
　これらの２条件を満たす構成要素（カーネル）であれば、分岐血管やＶＶに接続していない血管などを極座標変換した変換画像から消去することができる。なお、矩形以外でも、上述の２つの条件を満たせば、楕円形状等の様々な形状の構成要素（カーネル）を当該モルフォロジー処理に用いることができる。
　次にステップ９１０で、画像処理部２０６は、変換画像において放射状のパターンを示す特徴量を抽出する。特徴量は、脈絡膜血管が一箇所に向かう（集中する）ことを示す集中度を数値化したデータである。具体的には変換画像の白画素の画素数である。これは、図１１Ａに示したような画像の中心から放射状に血管が走行しているパターンを含む画像パッチを、極座標変換した画像の白画素数が最大になることを利用している。つまり、放射状のパターンの中心が画像中心からずれる量が多くなると変換画像の白画素数は減少する。また、放射状に延びる血管の数が少なくても変換画像の白画素数は減少する。
　画像処理部２０６は、特徴量を、変換画像に含まれる明部である白画素の数とストライプの本数とを統合した値でもよい。例えば、明部の白画素数とストライプの本数との積を統合した特徴量とする。または、かかる積の常用対数値でもよい。このようにして統合した特徴量の値が大きいほど、対応する画像パッチに渦静脈が存在する可能性が高くなる。
　図１３は第１画像パッチ３０４Ａ（第１部分画像）と第２画像パッチ３０４Ｂ（第２部分画像）と渦静脈の周辺の脈絡膜血管画像との関係を示した図である。図１３は、第１画像パッチ３０４Ａは渦静脈が画像の右上となるように着目点１が設定され、第２画像パッチ３０４Ｂは渦静脈中心部が画像中心となるように着目点２が設定されている場合である。第１画像パッチ３０４Ａ及び第２画像パッチ３０４Ｂは各々同じ大きさのパッチである。
　図１４Ａは、第１画像パッチ３０４Ａ（第１部分画像）を極座標変換した第１変換画像であり、図１４Ｂは、第１変換画像を上述した２つの条件を満たす構成要素（カーネル）でモルフォロジー処理した画像１である。図１５Ａは、第２画像パッチ３０４Ｂ（第２部分画像）を極座標変換した第２変換画像であり、図１５Ｂは、第２変換画像を上述した２つの条件を満たす構成要素（カーネル）でモルフォロジー処理した画像２である。
　モルフォロジー処理した画像１とモルフォロジー処理した画像２とを比べると、モルフォロジー処理した画像２のほうが白画素の総数も多く、白の横方向のストライプも本数が多いことがわかる。つまり、第１画像パッチ３０４Ａ（第１部分画像）の第１特徴量より、第２画像パッチ３０４Ｂ（第２部分画像）の第２特徴量が大きいことがわかる。
　ステップ９１２では、画像処理部２０６は、ステップ９１０で算出した特徴量を、ＲＡＭ２６６などの一次記憶媒体に保存する。
　ステップ９１４では、カウンタを１インクリメントする。そしてステップ９１６では、ｎ＝Ｎか否かを判定し、ｎ＝Ｎの場合は処理をリターンし、ｎ＜Ｎの場合は手順をステップ９０４に移行する。このようにして、図９のフローチャートに従って、着目点ｎそれぞれの特徴量が算出されＲＡＭ２６６に記憶される。この特徴量を用いて、図８のステップ８０４における局所最大検出の処理が行われる。
　図１６は、脈絡膜血管画像３００の各々の位置に特徴量の数値を対応付けた特徴量マップである。図１６に示した特徴量マップは、例えば、特徴量マップ上にマウス等のポインティングディバイスのカーソルを移動させた場合に、カーソル位置に特徴量の数値がポップアップ表示される。
　図１７は、ビューワ１５０のディスプレイに表示される表示画面５００を示した概略図である。
　表示画面５００は、図１７に示すように、情報表示領域５０２と、眼底画像表示領域５０４と脈絡膜血管画像表示領域５０６とを有する。情報表示領域５０２には、患者ＩＤ表示領域５１２、患者名表示領域５１４、年齢表示領域５１６、視力表示領域５１８、右眼／左眼表示領域５２０、及び眼軸長表示領域５２２を有する。ビューワ１５０は、受信した情報に基づいて、患者ＩＤ表示領域５１２から眼軸長表示領域５２２の各表示領域に各々の情報を表示する。
　画像表示領域５０４は、眼底画像等を表示する領域である。図１７では、ＵＷＦ－ＳＬＯ画像３１０が表示されている。脈絡膜血管画像表示領域５０６には、二値化画像である脈絡膜血管画像３００が表示されている。脈絡膜血管画像３００には、図８のステップ８０４で示した局所最大値の座標をプロットしたり、渦静脈解析により解析された渦静脈位置や渦静脈分水嶺（脈絡膜血管画像３００における十字線）を重畳したりするようにしてもよい。また、ＵＷＦ－ＳＬＯ画像３１０と脈絡膜血管画像３００を並べて表示させるのではなく、位置を合わせて重畳表示させるようにしてもよい。
　なお、画像表示領域５０４は、断層画像やｅｎ－ｆａｃｅ画像などのＯＣＴ画像、あるいはＯＣＴアンジオグラフィーによる血管画像を表示してもよい。画像表示領域５０４に設けられたコメント欄５０６は、ユーザである眼科医が観察した結果、又は診断結果を任意に入力できる備考欄である。
　図１８は、図１７の脈絡膜血管画像表示領域５０６に代えて、図１６に示した特徴量マップを表示領域５０８に表示した表示画面５０１である。
　図１８の表示画面５０１では、ＵＷＦ－ＳＬＯ画像３１０と特徴量マップとを並べて表示することに代えて、また、ＵＷＦ－ＳＬＯ画像３１０と特徴量マップとを並べて表示させるのではなく、位置を合わせて重畳表示させるようにしてもよい。
　以上説明した画像処理により、本実施形態では、眼底画像から渦静脈を解析することができる。
　本実施形態では、図６、図８及び図９で示した処理は、サーバ１４０で行ったが、眼科装置１１０の画像処理装置１７で行ってもよい。
　以上説明した各実施の形態における画像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
　以上説明した各実施の形態では、コンピュータを利用したソフトウェア構成による画像処理を想定しているが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等のハードウェア構成のみによって、画像処理が実行されるようにしてもよい。画像処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。
　このように本開示の技術は、コンピュータを利用したソフトウェア構成により画像処理が実現される場合とされない場合とを含むので、以下の技術を含む。
（第１の技術）
　第１部分画像抽出部が、脈絡膜血管画像から第１部分画像を抽出するステップと、
　第１特徴量算出部が、前記第１部分画像に放射状の血管パターンが含まれるか否かを示す第１特徴量を算出するステップと、
　第２部分画像抽出部が、前記脈絡膜血管画像から、前記第１部分画像の第１位置とは異なる第２位置の第２部分画像を抽出するステップと、
　第２特徴量算出部が、前記第２部分画像に放射状の血管パターンが含まれるか否かを示す第２特徴量を算出するステップと、
　出力部が、前記第１特徴量と前記第２特徴量とを出力するステップと、
　を含む画像処理方法。
（第２の技術）
　脈絡膜血管画像から第１部分画像を抽出する第１部分画像抽出部と、
　前記第１部分画像に放射状の血管パターンが含まれるか否かを示す第１特徴量を算出する第１特徴量算出部と、
　前記脈絡膜血管画像から、前記第１部分画像の第１位置とは異なる第２位置の第２部分画像を抽出する第２部分画像抽出部と、
　前記第２部分画像に放射状の血管パターンが含まれるか否かを示す第２特徴量を算出する第２特徴量算出部と、
　前記第１特徴量と前記第２特徴量とを出力する出力部と、
　を備える画像処理装置。
（第３の技術）
　画像処理するためのコンピュータプログラム製品であって、
　前記コンピュータプログラム製品は、それ自体が一時的な信号ではないコンピュータ可読記憶媒体を備え、
　前記コンピュータ可読記憶媒体には、プログラムが格納されており、
　前記プログラムは、コンピュータに、
　脈絡膜血管画像から第１部分画像を抽出するステップと、
　前記第１部分画像に放射状の血管パターンが含まれるか否かを示す第１特徴量を算出するステップと、
　前記脈絡膜血管画像から、前記第１部分画像の第１位置とは異なる第２位置の第２部分画像を抽出するステップと、
　前記第２部分画像に放射状の血管パターンが含まれるか否かを示す第２特徴量を算出するステップと、
　前記第１特徴量と前記第２特徴量とを出力するステップと、
　を実行させるコンピュータプログラム製品。

Claims (7)

  1. 　プロセッサが行う画像処理であって、
    　脈絡膜血管画像から第１部分画像を抽出するステップと、
    　前記第１部分画像に放射状の血管パターンが含まれるか否かを示す第１特徴量を算出するステップと、
    　前記脈絡膜血管画像から、前記第１部分画像の第１位置とは異なる第２位置の第２部分画像を抽出するステップと、
    　前記第２部分画像に放射状の血管パターンが含まれるか否かを示す第２特徴量を算出するステップと、
    　前記第１特徴量と前記第２特徴量とを出力するステップとを含む、画像処理方法。
  2. 　前記第１特徴量と前記第２特徴量とを比較するステップをさらに含む、請求項１に記載の画像処理方法。
  3. 　前記第１特徴量と前記第２特徴量とのうち、特徴量の値が大きい方が前記放射状の血管パターンが含まれている可能性が高いことを特徴とする請求項１又は請求項２に記載の画像処理方法。
  4. 　前記第１特徴量は、前記第１部分画像を極座標変換した第１変換画像に基づいて算出され、
    　前記第２特徴量は、前記第２部分画像を極座標変換した第２変換画像に基づいて算出される請求項１から請求項３のいずれか１項に記載の画像処理方法。
  5. 　前記脈絡膜血管画像において前記第１特徴量及び前記第２特徴量の値が大きい部分画像に渦静脈が存在していると判断する請求項１から請求項４のいずれか１項に記載の画像処理方法。
  6. 　メモリと、前記メモリに接続するプロセッサとを備え、
    　前記プロセッサは、
    　脈絡膜血管画像から第１部分画像を抽出し、
    　前記第１部分画像に放射状の血管パターンが含まれるか否かを示す第１特徴量を算出し、
    　前記脈絡膜血管画像から、前記第１部分画像の第１位置とは異なる第２位置の第２部分画像を抽出し、
    　前記第２部分画像に放射状の血管パターンが含まれるか否かを示す第２特徴量を算出し、
    　前記第１特徴量と前記第２特徴量とを出力する画像処理装置。
  7. 　コンピュータに、
    　脈絡膜血管画像から第１部分画像を抽出し、
    　前記第１部分画像に放射状の血管パターンが含まれるか否かを示す第１特徴量を算出し、
    　前記脈絡膜血管画像から、前記第１部分画像の第１位置とは異なる第２位置の第２部分画像を抽出し、
    　前記第２部分画像に放射状の血管パターンが含まれるか否かを示す第２特徴量を算出し、
    　前記第１特徴量と前記第２特徴量とを出力する、ことを実行させる画像処理プログラム。
PCT/JP2021/007963 2020-04-14 2021-03-02 画像処理方法、画像処理装置、及び画像処理プログラム WO2021210281A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-072448 2020-04-14
JP2020072448 2020-04-14

Publications (1)

Publication Number Publication Date
WO2021210281A1 true WO2021210281A1 (ja) 2021-10-21

Family

ID=78085361

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/007963 WO2021210281A1 (ja) 2020-04-14 2021-03-02 画像処理方法、画像処理装置、及び画像処理プログラム

Country Status (1)

Country Link
WO (1) WO2021210281A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019203310A1 (ja) * 2018-04-18 2019-10-24 株式会社ニコン 画像処理方法、プログラム、及び画像処理装置
WO2019203311A1 (ja) * 2018-04-18 2019-10-24 株式会社ニコン 画像処理方法、プログラム、及び画像処理装置
WO2019203309A1 (ja) * 2018-04-18 2019-10-24 株式会社ニコン 画像処理方法、プログラム、画像処理装置、及び眼科システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019203310A1 (ja) * 2018-04-18 2019-10-24 株式会社ニコン 画像処理方法、プログラム、及び画像処理装置
WO2019203311A1 (ja) * 2018-04-18 2019-10-24 株式会社ニコン 画像処理方法、プログラム、及び画像処理装置
WO2019203309A1 (ja) * 2018-04-18 2019-10-24 株式会社ニコン 画像処理方法、プログラム、画像処理装置、及び眼科システム

Similar Documents

Publication Publication Date Title
JP2023009530A (ja) 画像処理方法、画像処理装置、及びプログラム
US11941788B2 (en) Image processing method, program, opthalmic device, and choroidal blood vessel image generation method
WO2019203309A1 (ja) 画像処理方法、プログラム、画像処理装置、及び眼科システム
WO2021075062A1 (ja) 画像処理方法、画像処理装置、及びプログラム
WO2021074960A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP2023158161A (ja) 画像処理方法、プログラム、画像処理装置、及び眼科システム
WO2019203310A1 (ja) 画像処理方法、プログラム、及び画像処理装置
WO2021210281A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP7419946B2 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP2022089086A (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
US11419495B2 (en) Image processing method, image processing device, and storage medium
WO2021075026A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
WO2023282339A1 (ja) 画像処理方法、画像処理プログラム、画像処理装置及び眼科装置
WO2022181729A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
WO2021210295A1 (ja) 画像処理方法、画像処理装置、及びプログラム
WO2021111840A1 (ja) 画像処理方法、画像処理装置、及びプログラム
JP7416083B2 (ja) 画像処理方法、画像処理装置、およびプログラム
WO2022113409A1 (ja) 画像処理方法、画像処理装置、及びプログラム
WO2021074961A1 (ja) 画像処理方法、画像処理装置、およびプログラム
US20240153078A1 (en) Image processing method, image processing program, image processing device, and ophthalmic device
US20240153203A1 (en) Image processing method, image processing device, and program
WO2023199847A1 (ja) 画像処理方法、画像処理装置、及びプログラム
WO2022177028A1 (ja) 画像処理方法、画像処理装置、及びプログラム
WO2023199848A1 (ja) 画像処理方法、画像処理装置、及びプログラム
JP2023066198A (ja) 情報出力装置、眼底画像撮影装置、情報出力方法、及び情報出力プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21787778

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21787778

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP