WO2020240867A1 - 画像処理方法、画像処理装置、及び画像処理プログラム - Google Patents

画像処理方法、画像処理装置、及び画像処理プログラム Download PDF

Info

Publication number
WO2020240867A1
WO2020240867A1 PCT/JP2019/021868 JP2019021868W WO2020240867A1 WO 2020240867 A1 WO2020240867 A1 WO 2020240867A1 JP 2019021868 W JP2019021868 W JP 2019021868W WO 2020240867 A1 WO2020240867 A1 WO 2020240867A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
fundus
eye
uwf
fundus image
Prior art date
Application number
PCT/JP2019/021868
Other languages
English (en)
French (fr)
Inventor
真梨子 廣川
泰士 田邉
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to PCT/JP2019/021868 priority Critical patent/WO2020240867A1/ja
Priority to US17/615,046 priority patent/US20220230307A1/en
Priority to JP2021522602A priority patent/JPWO2020240867A1/ja
Publication of WO2020240867A1 publication Critical patent/WO2020240867A1/ja
Priority to JP2023097994A priority patent/JP2023120308A/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A61B3/0058—Operational features thereof characterised by display arrangements for multiple images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1025—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for confocal scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Definitions

  • the present invention relates to an image processing method, an image processing device, and an image processing program.
  • U.S. Patent Application Publication No. 2009/0136100 discloses a panoramic fundus image synthesizer and method, and a suitable image synthesis method for analyzing the structure of the peripheral part of the fundus is desired.
  • the image processing method of the first aspect of the technique of the present disclosure is a first-direction fundus image taken with the eye to be inspected oriented in the first direction, and the eye to be inspected in a second direction different from the first direction.
  • a first-direction fundus image taken with the eye to be inspected oriented in the first direction, and the eye to be inspected in a second direction different from the first direction.
  • the image processing apparatus of the second aspect of the technique of the present disclosure has a first-direction fundus image taken with the eye to be inspected oriented in the first direction, and the eye to be inspected in a second direction different from the first direction.
  • To analyze the peripheral portion of the fundus of the eye to be inspected by synthesizing the acquisition unit for acquiring the second-direction fundus image taken in the state, the first-direction fundus image, and the second-direction fundus image. It is provided with a generation unit for generating the composite image of the above and an output unit for outputting the composite image.
  • the image processing program of the third aspect of the technique of the present disclosure includes a first-direction fundus image taken by a computer with the eye to be inspected facing in the first direction, and a second direction in which the eye to be inspected is different from the first direction.
  • Analysis of the peripheral part of the fundus of the eye to be inspected by synthesizing the acquisition unit for acquiring the second-direction fundus image taken in a direction-oriented state, the first-direction fundus image and the second-direction fundus image. It functions as a generation unit that generates a composite image for performing the above and an output unit that outputs the composite image.
  • FIG. 3 is a third diagram showing an imaging range of the fundus of the eye 12 to be inspected by the ophthalmic apparatus 110. It is a block diagram of the function of the CPU 22 of the ophthalmic apparatus 110.
  • the ophthalmology system 100 includes an ophthalmology device 110, an axial length measuring device 120, a server device (hereinafter referred to as “server”) 140, and a display device (hereinafter referred to as “viewer”) 150.
  • the ophthalmic apparatus 110 acquires a fundus image.
  • the axial length measuring device 120 measures the axial length of the patient.
  • the server 140 stores a plurality of fundus images and axial lengths obtained by photographing the fundus of a plurality of patients by the ophthalmologic apparatus 110, corresponding to the IDs of the patients.
  • the viewer 150 displays the fundus image and the analysis result acquired by the server 140.
  • the server 140 is an example of the "image processing device" of the technology of the present disclosure.
  • the ophthalmic apparatus 110, the axial length measuring instrument 120, the server 140, and the viewer 150 are connected to each other via the network 130.
  • a diagnostic support device that performs image analysis using other ophthalmic devices (testing devices such as visual field measurement and intraocular pressure measurement) and AI (Artificial Intelligence) is connected to the ophthalmic device 110 and the axial length measuring device via the network 130. It may be connected to 120, a server 140, and a viewer 150.
  • testing devices such as visual field measurement and intraocular pressure measurement
  • AI Artificial Intelligence
  • the ophthalmic apparatus 110 includes a control unit 20, a display / operation unit 30, and an SLO unit 40.
  • the posterior eye portion (fundus) of the eye to be inspected 12 is photographed.
  • an OCT unit (not shown) for acquiring OCT data of the fundus may be provided.
  • SLO scanning laser ophthalmoscope
  • OCT optical coherence tomography
  • the control unit 20 includes a computer having a CPU 22, a memory 24, a communication interface (I / F) 26, and the like.
  • the display / operation unit 30 is a graphic user interface for displaying an image obtained by being photographed and receiving various instructions including an instruction for photographing, and includes a display 32 and an input / instruction device 34.
  • the SLO controller unit 180 including the fixation lamp control unit 1802, the SLO light source control unit 1804, and the scanner control unit 1806), the image processing unit 182,
  • the CPU 22 functions as the display control unit 184 and the processing unit 186.
  • the memory 24 stores a photographing processing program for photographing the fundus of the eye to be examined 12, which will be described later.
  • the SLO unit 40 includes a light source 42 for G light (green light: wavelength 530 nm), a light source 44 for R light (red light: wavelength 650 nm), and a light source 46 for IR light (infrared light (near infrared light): wavelength 800 nm). ing.
  • the light sources 42, 44, and 46 are commanded by the control unit 20 to emit each light.
  • an LED light source or a laser light source can be used as the light sources 42, 44, and 46. An example using a laser light source will be described below.
  • the SLO unit 40 includes optical systems 50, 52, 54, and 56 that reflect or transmit light from light sources 42, 44, and 46 to guide them into one optical path.
  • the optical systems 50 and 56 are mirrors, and the optical systems 52 and 54 are beam splitters, specifically, a dichroic mirror, a half mirror, and the like.
  • G light is reflected by the optical systems 50 and 54
  • R light is transmitted through the optical systems 52 and 54
  • IR light is reflected by the optical systems 52 and 56 and guided to one optical path, respectively.
  • the SLO unit 40 includes a wide-angle optical system 80 that scans the light from the light sources 42, 44, and 46 over the back eye portion (fundus) of the eye 12 to be examined in a two-dimensional manner.
  • the SLO unit 40 includes a beam splitter 58 that reflects G light and transmits other than G light among the light from the rear eye portion (fundus) of the eye 12 to be inspected.
  • the SLO unit 40 includes a beam splitter 60 that reflects R light and transmits other than R light among the light transmitted through the beam splitter 58.
  • the SLO unit 40 includes a beam splitter 62 that reflects IR light among the light transmitted through the beam splitter 60. Dichroic mirrors, half mirrors and the like can be used as the beam splitters 58, 60 and 62.
  • the SLO unit 40 detects the G light detection element 72 that detects the G light reflected by the beam splitter 58, the R light detection element 74 that detects the R light reflected by the beam splitter 60, and the IR light reflected by the beam splitter 62.
  • the IR light detection element 76 is provided. Examples of the photodetectors 72, 74, and 76 include an APD (avalanche photodiode).
  • the SLO unit 40 is controlled by the control unit 20 and includes an fixation target control device 90 that lights the upper fixation lamp 92U and the lower fixation lamp 92D (including the central fixation lamp (not shown)). ..
  • the direction (line-of-sight direction) of the eye 12 to be inspected can be changed by turning on any of the central fixation lamp, the upper fixation lamp 92U, and the lower fixation lamp 92D.
  • the wide-angle optical system 80 includes an X-direction scanning device 82 composed of polygon mirrors that scan light from light sources 42, 44, and 46 in the X direction, and a Y-direction scanning device 84 composed of galvano mirrors that scan in the Y direction.
  • the optical system 86 is composed of a concave mirror such as an elliptical mirror capable of irradiating the scanned light at an ultra-wide angle (UWF: Ultra WideField) and a lens system composed of a plurality of lenses.
  • Each scanning device of the X-direction scanning device 82 and the Y-direction scanning device 84 may use a MEMS (Micro Electro Mechanical System) mirror.
  • MEMS Micro Electro Mechanical System
  • two-dimensional scanning may be performed by one MEMS mirror without providing a scanner in each of the X direction and the Y direction.
  • the horizontal direction is the "X direction”
  • the direction perpendicular to the horizontal plane is the "Y direction", connecting the center of the pupil of the anterior segment of the eye 12 to the center of the eyeball.
  • the direction is "Z direction”. Therefore, the X, Y, and Z directions are perpendicular to each other.
  • the viewing angle (FOV: Field of View) of the fundus can be set to an ultra-wide angle, and a region beyond the equator from the posterior pole of the fundus of the eye 12 to be inspected can be photographed.
  • the equator portion 174 will be described with reference to FIG. 3A.
  • the eyeball (eye 12 to be inspected) is a spherical structure having an eyeball center 170 having a diameter of about 24 mm.
  • the straight line connecting the front pole 175 and the rear pole 176 is called the eyeball axis 172, the line where the plane orthogonal to the eyeball axis 172 intersects the surface of the eyeball is called the latitude line, and the one with the maximum latitude line length is the equator 174.
  • the portion of the retina or choroid corresponding to the position of the equator 174 is referred to as the equator 178.
  • the equator portion 178 is a part of the peripheral portion of the fundus.
  • the ophthalmic apparatus 110 can image a region having an internal irradiation angle of 200 ° with the eyeball center 170 of the eye 12 to be inspected as a reference position.
  • the internal irradiation angle of 200 ° is 167 ° at the external irradiation angle based on the pupil of the eyeball of the eye 12 to be inspected. That is, the wide-angle optical system 80 irradiates the laser beam from the pupil with an angle of view of 167 ° as an external irradiation angle, and photographs the fundus region of 200 ° with an internal irradiation angle.
  • FIG. 3B shows an SLO image 179 obtained by being photographed by an ophthalmic apparatus 110 capable of scanning at an internal irradiation angle of 200 °.
  • the equator portion 174 corresponds to an internal irradiation angle of 180 °
  • the portion indicated by the dotted line 178a corresponds to the equator portion 178.
  • the ophthalmologic apparatus 110 can photograph the area around the fundus from the posterior pole including the posterior pole 176 to the area around the fundus beyond the equator portion 178 in a batch (with one imaging or one scanning). .. That is, the ophthalmologic apparatus 110 can collectively photograph from the central portion of the fundus to the peripheral portion of the fundus.
  • the ophthalmic apparatus 110 is an example of the "imaging apparatus" of the technique of the present disclosure.
  • FIG. 3C is a diagram showing the positional relationship between the choroid 12M and the vortex veins (Vortex Vein) 12V1 and V2 in the eyeball.
  • the reticulated pattern shows the choroidal blood vessels of the choroid 12M. Choroidal blood vessels circulate blood throughout the choroid. Then, blood flows out of the eyeball from a plurality of (usually 4 to 6) vortex veins existing in the eye 12 to be inspected.
  • the upper vortex vein V1 and the lower vortex vein V2 existing on one side of the eyeball are shown. The vortex vein is often located near the equator 178.
  • the ophthalmologic apparatus 110 capable of scanning the periphery of the fundus with an internal irradiation angle of 200 ° is used.
  • the SLO fundus image obtained by photographing the eye of the eye 12 to be inspected with an ophthalmic apparatus 110 capable of scanning at an internal irradiation angle of 200 ° is referred to as a UWF fundus image.
  • the configuration of the ophthalmic apparatus 110 provided with such a wide-angle optical system the configuration described in the international application PCT / EP2017 / 075852 may be used.
  • the disclosure of the international application PCT / EP2017 / 075852 (International Publication WO2018 / 069346), which was filed internationally on October 10, 2017, is incorporated herein by reference in its entirety.
  • patient attribute information such as a patient ID and a patient name, information on whether the eye to be imaged is the right eye or the left eye, and the like are input to the ophthalmic apparatus 110 via the input / instruction device 34. If the patient has a medical examination history, the patient ID is input and the patient attribute information recorded in the server 140 is read out.
  • the ophthalmic apparatus 110 is used to analyze a normal photographing mode in which a central fixation lamp is turned on to photograph a wide area of the fundus and a structure around the fundus (for example, a vortex vein and a choroidal blood vessel around the vortex vein).
  • a menu screen for selecting the montage image shooting mode is displayed on the display 32. From the menu screen displayed on the display 32, the user can select a mode via the input / instruction device 34.
  • the CPU 22 of the ophthalmic apparatus 110 executes the imaging processing program to realize the imaging process shown in the flowchart of FIG.
  • the SLO control unit 180 When the user selects the montage image capturing mode, the SLO control unit 180 performs alignment and focus adjustment. Then, in step 302 of FIG. 5, the fixation lamp control unit 1802 controls the fixation target control device 90 to turn on the upper fixation lamp 92U in order to direct the patient's line of sight obliquely upward. As a result, as shown in FIG. 6A, the line of sight of the patient is directed obliquely upward, that is, in the direction from the center of the eyeball toward the upper fixation lamp 92U.
  • the operator of the ophthalmic apparatus 110 issues an instruction to make the patient's line of sight diagonally upward, such as "Please look up", so that the line of sight of the eye to be inspected is diagonally upward. It may be in a facing state.
  • the diagonally upward direction is an example of the "first direction" of the technique of the present disclosure.
  • step 304 the fundus is photographed in a state of upward vision in which the patient's line of sight is directed diagonally upward.
  • the SLO light source control unit 1804 generates G light and R light from the G light source 42 and the R light source 44.
  • the scanner control unit 1806 controls the X-direction scanning device 82 and the Y-direction scanning device 84.
  • the G light and R light scanned in the X and Y directions are reflected by the fundus of the eye to be inspected.
  • G light having a wavelength corresponding to green is reflected by the retina, it contains structural information of the retina.
  • the G light reflected from the eye 12 to be inspected is detected by the G light detection element 72.
  • the image processing unit 182 generates image data of the UWF upper fundus image G from the signal from the G photodetector element 72.
  • the R light reflected from the eye 12 to be inspected is detected by the R light detection element 74. Since the red laser light (R light) is reflected by the choroid deeper than the retina, it contains structural information of the choroid.
  • the image processing unit 182 generates image data of the UWF upper fundus image R from the signal from the R photodetector element 74.
  • the image processing unit 182 generates image data of the UWF upper fundus image RG obtained by synthesizing the UWF upper fundus image and the UWF upper fundus image R at a predetermined mixing ratio.
  • UWF upper fundus images When the UWF upper fundus image G, the UWF upper fundus image R, and the UWF upper fundus image RG are not distinguished, they are referred to as UWF upper fundus images.
  • the UWF upper view fundus image is an example of the "first direction fundus image" of the technique of the present disclosure.
  • the UWF front view fundus image of the fundus of the eye to be inspected 12 obtained by photographing the fundus in a state where the optical axis of the eye to be inspected 12 is aligned with the optical axis of the ophthalmic system 100 is YZ shown in FIG. 6A.
  • the area between the upper position U0 and the lower position D0 of the fundus on the plane is photographed.
  • FIG. 7A shows a UWF upper fundus image of the right eye.
  • the nasal (right side of the paper) vortex vein 12V1 and the ear side (left side of the paper) vortex vein 12V3 located near the equator on the upper side of the eyeball are located above the UWF upper fundus image GU. ..
  • the optic disc ONH and the macula M located in the central part of the fundus are located below the UWF upper fundus image GU.
  • the fixation lamp control unit 1802 controls the fixation target control device 90 to turn on the lower fixation lamp 92D in order to direct the patient's line of sight obliquely downward.
  • the patient's line of sight is directed obliquely downward, that is, from the center of the eyeball toward the lower fixation lamp 92D.
  • the operator of the ophthalmic apparatus 110 issues an instruction to make the patient's line of sight diagonally downward, such as "Please look down", so that the line of sight of the eye to be inspected is made diagonally downward. It may be in a facing state.
  • the diagonally downward direction is an example of the "second direction" of the technique of the present disclosure.
  • step 308 the fundus is imaged with the patient's line of sight pointing diagonally downward.
  • the SLO light source control unit 1804 generates G light and R light from the G light source 42 and the R light source 44
  • the scanner control unit 1806 generates the X-direction scanning device 82 and the Y-direction scanning device.
  • the 84 is controlled to scan the G light and the R light in the X direction and the Y direction.
  • the image processing unit 182 generates image data of the UWF lower view fundus image G, the UWF lower view fundus image R, and the UWF lower view fundus image RG.
  • UWF lower view fundus image G When the UWF lower view fundus image G, the UWF lower view fundus image R, and the UWF lower view fundus image RG are not distinguished, they are referred to as UWF lower view fundus images.
  • the UWF downward fundus image is an example of a "second-direction fundus image" of the technique of the present disclosure.
  • FIG. 6B shows the patient's line of sight is directed diagonally downward in each fundus image obtained by photographing the fundus in the state of downward vision, so that the lower side below the lower position D0.
  • the lower view fundus image includes an image of the region MD02 that is not in the UWF front view fundus image.
  • FIG. 7B shows the UWF downward fundus image GD of the right eye.
  • the nasal (right side of the paper) vortex vein 12V2 and the ear side (left side of the paper) vortex vein 12V4 existing near the equator on the upper side of the eyeball are below the UWF lower fundus image GD.
  • the optic disc ONH and the macula M located in the central part of the fundus are located above the UWF lower fundus image GD.
  • step 310 the processing unit 186 transmits each image data of the UWF upper fundus image and the UWF lower fundus image to the server 140 via the communication interface (I / F) 26.
  • the processing unit 186 also sends the patient ID and patient attribute information (patient name, age, information from each fundus image from the right or left eye, visual acuity, imaging date and time, etc.) to the server 140. Send.
  • the server 140 associates the received image data, the patient ID, and the patient attribute information and stores them in the storage device 254 described later.
  • the display control unit 184 may display the UWF upper fundus image and the UWF lower fundus image on the display 32.
  • the SLO control unit 180 performs alignment and focus adjustment. Then, the fixation lamp control unit 1802 controls the fixation target control device 90 to turn on the central fixation lamp. As a result, the line of sight of the patient is fixed to the front, and a UWF front view fundus image as shown in FIG. 3B is taken.
  • the processing unit 186 also transmits the image data of the UWF front view fundus image in the same manner as described above.
  • the UWF front view fundus image G, the UWF front view fundus image R, and the UWF front view fundus image RG are generated as the UWF front view fundus image.
  • the fundus for example, the vortex vein and the choroidal blood vessels around the vortex vein
  • the eyelids, eyelashes, housing of the ophthalmologic apparatus 110, etc. of the subject may be reflected and the peripheral portion of the fundus may not be photographed.
  • the choroidal blood vessels around the vortex vein and the vortex vein cannot be photographed, and the image including all the vortex vein around the fundus or the equator cannot be acquired.
  • the UWF upper fundus image GU is acquired when the patient's line of sight is directed upward
  • the UWF lower fundus image GD is acquired when the patient's line of sight is directed downward. Then, by synthesizing both images, it is possible to generate a montage image in which a region wider than one UWF front-view fundus image is reliably captured.
  • a montage image in which the subject's eyelids, eyelashes, housing of the ophthalmic apparatus 110, etc. are removed from the influence of reflection can be obtained. Can be done.
  • This montage image is suitable for detecting lesions and above areas around the fundus, or choroidal blood vessels around vortex veins and vortex veins.
  • the server 140 includes a computer main body 252.
  • the computer body 252 has a CPU 262, a RAM 266, a ROM 264, and an input / output (I / O) port 268.
  • a storage device 254, a display 256, a mouse 255M, a keyboard 255K, and a communication interface (I / F) 258 are connected to the input / output (I / O) port 268.
  • the storage device 254 is composed of, for example, a non-volatile memory.
  • the input / output (I / O) port 268 is connected to the network 130 via the communication interface (I / F) 258.
  • the server 140 can communicate with the ophthalmic apparatus 110, the axial length measuring device 120, and the viewer 150.
  • the storage device 254 stores a montage image creation processing program described later.
  • the montage image creation processing program may be stored in the ROM 264.
  • the montage image creation processing program is an example of the "image processing program" of the technique of the present disclosure.
  • the image acquisition unit 1410 and the image processing unit 1420 (alignment unit 1421, binarization processing unit 1422, composite image generation unit 1424) are executed. , Including the vortex vein analysis unit 1425), the display control unit 1430, and the output unit 1440, the CPU 262 functions.
  • the image acquisition unit 1410 is an example of the “acquisition unit” of the technique of the present disclosure.
  • the image processing unit 1420 is an example of the “generation unit” of the technique of the present disclosure.
  • the output unit 1440 is an example of the "output unit" of the technique of the present disclosure.
  • the montage image creation process is an example of the "image processing method" of the technique of the present disclosure.
  • a user instructs the viewer 150 to display a fundus image (montage image) of the eye to be inspected 12 for diagnosing the eye to be inspected 12 of the patient by turning on a montage image display button (not shown). To do. At this time, the operator inputs the patient ID into the viewer 150. The viewer 150 outputs the montage image creation instruction data together with the patient ID to the server 140. The server 140 that has received the montage image creation instruction data and the patient ID executes the montage image creation processing program. The montage image creation processing program may be executed when the UWF upper fundus image and the UWF lower fundus image taken by the ophthalmic apparatus 110 are transmitted to the server 140.
  • step 320 of the flowchart of FIG. 10 the image acquisition unit 1410 acquires the UWF upper fundus image and the UWF lower fundus image from the storage device 254.
  • the binarization processing unit 1422 performs a process of emphasizing blood vessels on the UWF upper fundus image and the UWF lower fundus image. Then, a binarization process of binarizing at a predetermined threshold value is executed. The binarization process emphasizes the blood vessels in the fundus white.
  • step 324 the alignment unit 1421 aligns the UWF upper fundus image and the UWF lower fundus image.
  • the alignment process of step 324 will be described with reference to the flowchart of FIG.
  • a case where the UWF lower fundus image is converted based on the UWF upper fundus image (that is, a case where only the UWF lower fundus image is converted without converting the UWF upper fundus image) will be described as an example. ..
  • the alignment unit 1421 extracts the feature point group 1 from the UWF upper fundus image GU by image processing.
  • the feature point group 1 is a plurality of feature points in the fundus image, and as shown in FIG. 7A, is an optic disc ONHU, a macula MU, and a bifurcation point VBU of a retinal blood vessel.
  • the bifurcation point of the choroidal blood vessel may also be extracted as a feature point.
  • the alignment portion 1421 is composed of the UWF upper fundus image G containing the structural information of the retina and the UWF upper fundus image R including the structural information of the choroid, and the structure of the retina from the UWF upper fundus image R.
  • the alignment unit 1421 extracts the bifurcation point of the retinal blood vessel from the UWF upper view fundus image G, and extracts the bifurcation point of the choroidal blood vessel from the structural information of only the choroid.
  • the feature points are the maximum brightness pixel in the optic nerve papilla ONHU region, the minimum brightness pixel in the macula MU region, and the pixels located at the bifurcation points of the retinal blood vessels and choroidal blood vessels, and the coordinates of these pixels are extracted as feature point data.
  • a region including a characteristic blood vessel running pattern may be extracted and the central point of the region including the pattern may be used as a feature point.
  • the end points, flexion points, or meandering points of the retinal blood vessels and choroidal blood vessels may be extracted as feature points.
  • the feature points can be performed by using SIFT (Scale Invariant Feature Transfer Transfer) or SURF (Speed Upped Surf Future), which is an algorithm for detecting feature points.
  • the number of feature points to be extracted is preferably 4 or more.
  • the UWF upper fundus image GU there is only one optic disc and macula in the eye to be examined. Therefore, by extracting two or more bifurcation points VBUs of retinal blood vessels and choroidal blood vessels, four or more feature points 1 can be extracted from the UWF upper fundus image GU.
  • the optic nerve head, macula, retinal blood vessels, and choroidal blood vessels existing in the central part of the fundus are suitable as selection targets for alignment feature points because they are captured by both the UWF upper view fundus image GU and the UWF lower view fundus image GD.
  • the feature point is preferably selected from the central portion of the fundus, which is a common region between the UWF upper fundus image GU and the UWF lower fundus image GD. Therefore, in step 340, the alignment unit 1421 extracts the feature point group 1 by image processing for the region below the center of the UWF upper fundus image GU, which is the center of the fundus.
  • the vortex veins 12V1 and 12V3 existing in the UWF upper fundus image GU existing in the peripheral part of the fundus are excluded from the selection target as feature points. Since the fundus peripheral portion is not a common region between the WF upper fundus image GU and the UWF lower fundus image GD, the structure of the fundus peripheral portion is excluded from the selection target of the feature points.
  • the alignment unit 1421 extracts the feature point group 2 corresponding to the feature point group 1 from the UWF lower view fundus image GD.
  • the feature point group 2 is the optic disc ONHD, the macula MD, and the bifurcation point VBD of the retinal blood vessel. Since the eyes are the same, the optic disc ONHD corresponds to the optic disc ONHU, and the macular MD corresponds to the macular MU.
  • the branch point VBD corresponds to the branch point VUB of the blood vessel, and a branch point having the same branch pattern as the branch point VBU branch point is extracted by image recognition processing or the like.
  • the alignment unit 1421 uses the feature point group 1 and the feature point group 2 to generate a projective transformation matrix that geometrically transforms the UWF downward view fundus image GD.
  • This projective transformation matrix is a matrix for associating the UWF lower fundus image GD with the UWF upper fundus image GU.
  • the projective transformation matrix is determined by at least four feature points.
  • the UWF lower fundus image GD (see FIG. 7B) is transformed using the generated projective transformation matrix to obtain the converted UWF lower fundus image GDC (see FIG. 12B).
  • the feature point group 1 and the feature point group 2 are at the same position, which means that the alignment process has been executed.
  • the UWF lower view fundus image GDC is larger (the area is increased) than the UWF lower view fundus image GD.
  • a projective transformation matrix for associating the UWF lower fundus image GD with the UWF upper fundus image GU was generated, and the UWF lower fundus image GD was converted.
  • a projective transformation matrix for making the UWF upper fundus image GU correspond to the UWF lower fundus image GD may be generated, and the UWF upper fundus image GU may be converted.
  • the composite image generation unit 1424 synthesizes the UWF upper fundus image GU and the converted UWF lower fundus image GDC to generate a montage image GM.
  • a line segment LGU passing through the optic disc ONHU and the macula MU is set in the UWF upper fundus image GU.
  • a line segment LGD passing through the optic disc ONHD and the macula MD is set in the converted UWF lower fundus image GDC.
  • the composite image generation unit 1424 performs weighting processing for an area where the UWF upper fundus image GU and the UWF lower fundus image GDC overlap. As shown in FIG. 13, the composite image generation unit 1424 sets the weight of the upper UWF upper fundus image GUx region, which is the upper region of the line segment LGU of the UWF upper fundus image GU, to “1”. The composite image generation unit 1424 sets the weight of the region above the line segment LGU to “0”.
  • the composite image generation unit 1424 sets the weight of the lower UWF lower view fundus image GDCx, which is a region lower than the line segment LGD of the converted UWF lower view fundus image, to "1", and sets the weight of the lower UWF lower view fundus image GDCx to "1", and is more than the line segment LGD.
  • the weight of the upper region is set to "0".
  • the composite image generation unit 1424 performs such a weighting process on the UWF upper fundus image GU and the UWF lower fundus image GDC, so that the UWF upper fundus image GUx and the UWF lower fundus image GDCx are combined.
  • the line segment LG is a line segment connecting the optic disc OMH and the macula M
  • the upper side of the line segment LG is the UWF upper fundus image GUx
  • the lower side of the line segment LG is the UWF lower fundus.
  • Image GDCx The montage image is an example of a "composite image" of the technique of the present disclosure.
  • the weighting of the overlapping portion of the UWF upper fundus image GU and the UWF lower fundus image GDC is not limited to the above example, and the mixing ratio of the UWF upper fundus image GU and the UWF lower fundus image GDC is set to various values. Can be set.
  • the UWF upper fundus image GU and the UWF lower fundus image GDC are aligned and combined.
  • the blood vessels of the fundus are not discontinuous, and the fundus images for analysis of the vortex veins located around the fundus or the equator of the fundus and the choroidal blood vessels around the vortex veins, or the abnormal parts and lesions are obtained. Obtainable.
  • the vortex vein analysis unit 1425 analyzes the position of the vortex vein and the blood vessel diameter of the blood vessel near the vortex vein using the montage image GM.
  • the vortex vein information obtained by the analysis includes information on the number of vortex veins, the position of the vortex vein, the number of blood vessels connected to the vortex vein, the blood vessel diameter of the blood vessels around the vortex membrane, and the like.
  • the display control unit 1430 reflects the patient attribute information (patient name, age, information from the right or left eye for each fundus image, visual acuity, imaging date and time, etc.) corresponding to the patient ID together with the montage image.
  • the display screen 400 described later is generated.
  • the output unit 1440 outputs the montage image GM and the vortex vein analysis information obtained by the vortex vein analysis to the memory device 254 of the server 140.
  • the montage image GM and the vortex vein analysis information obtained by the vortex vein analysis are stored in the memory device 254 of the server 140.
  • the output unit 1440 further outputs the image data corresponding to the display screen 400 to the viewer 150.
  • the display control unit 1430 may output the montage image GM to be displayed on the display 256.
  • the UWF lower fundus image is converted with reference to the UWF upper fundus image
  • the present invention is not limited to this, and the UWF upper fundus image is used as a reference with the UWF lower fundus image. You may want to convert.
  • the montage image was generated using the binarized image, it is also possible to generate the montage image using the UWF upper fundus image RG and the UWF lower fundus image RG of the color before binarization by the same method. It is possible. In this case, the montage image is binarized after the montage composition process.
  • the server 140 outputs the image data corresponding to the display screen 400 to the viewer 150.
  • the viewer 150 that has received the image data output from the server 140 displays the display screen 400 on a display (monitor) (not shown).
  • the display screen 400 has an information display area 402 and an image display area 404 (404A). Note that FIG. 14 shows the image display area 404A of the first display mode of the image display area 404.
  • the information display area 402 includes a patient ID display area 412, a patient name display area 414, an age display area 416, a right eye / left eye display area 418, an axial length display area 420, a visual acuity display area 422, and an imaging date / time display. It has a region 424.
  • the viewer 150 displays each information from the patient ID display area 412 to each display area of the imaging date / time display area 424 based on the received information.
  • the information display area 402 is provided with an image selection icon 430 and a display switching icon 440.
  • the image display area 404A has a montage image display area 450 and a related image display area 460.
  • a pull-down menu is displayed.
  • the pull-down menu displayed with the image selection icon 430 turned on has a menu for selecting a related image to be displayed in the related image display area 460.
  • a moving image of a fluorescent image of the fundus of the eye 12 to be inspected for example, an image by an IA image Indocyanine green angiografy
  • a still image of an IA image for example, a UWF front view fundus image, etc. Is displayed as.
  • the line segment LG is a line segment connecting the optic disc ONH and the macula M of the montage image GM.
  • the moving image GA of the IA image displayed in the related image display area 460 is displayed so that the optic disc and the macula of the moving image GA are aligned on the line segment LG.
  • the line segment LG may be displayed / not displayed by the user.
  • a mark indicating the vortex vein may be displayed at a position corresponding to the vortex vein.
  • the positions of the vortex veins 12V1, 12V2, 12V3, 12V4 are detected, and in the montage image GM, a mark indicating the vortex vein is displayed at the detected positions.
  • the vortex vein analysis information (number of vortex veins, position of vortex veins, number of blood vessels connected to vortex veins, blood vessel diameter of blood vessels around vortex veins, etc.) may be displayed on the display screen 400.
  • the pull-down menu has a menu of images to be displayed in the image display area 404. Specifically, a menu for displaying the montage image and the IA image in parallel, a menu for displaying the montage image and the IA image by dividing them into pieces, and displaying the montage image and the montage image using a three-dimensional model 3 It has a menu that displays the 3D image projected on the 3D model in parallel.
  • FIG. 14 shows a state when a menu for displaying a montage image and an IA image in parallel is selected.
  • FIG. 15 shows a state in which a menu for displaying the montage image and the IA image by dividing and synthesizing them is selected from the pull-down menu of the display switching icon 440.
  • the IA image (moving image or still image) GA is displayed above the division line LK with reference to the division line LK, and a montage is displayed below the division line LK.
  • the image GM is displayed.
  • the icon I up and down on the dividing line LK the display area of the IA image GA and the montage image GM is changed.
  • the division line LK moves to the upper side, and only the upper part of the IA image GA from the division line LK moved to the upper side is displayed, and the division line LK of the montage image GM is displayed.
  • the portion between the original position and the current position of the split line LK is also displayed.
  • FIG. 16 shows a state in which a menu for displaying a montage image and a three-dimensional image in parallel is selected in the pull-down menu of the display switching icon 440.
  • the image display area 404C includes a montage image display area 450 and a three-dimensional image display area 470 that displays a three-dimensional image obtained by projecting the montage image onto a three-dimensional model of the eyeball.
  • the three-dimensional model of the eyeball may be corrected based on the data of the axial length of the patient received from the server 140.
  • a menu for displaying all is added to the pull-down menu of the display switching icon 440 so that two or more of the image display areas 404A to 404C of FIGS. 14 to 16 are displayed simultaneously or continuously on one screen. You may do it.
  • a montage image in which the UWF upper visual fundus image before binarization and the UWF lower visual fundus image are combined may be displayed.
  • the UWF upward view image and the UWF downward view image are combined to generate a montage image, so that the ophthalmologist can take a photomontage of the fundus equatorial region and the region around the fundus.
  • Images can be used to more accurately diagnose a patient's eye.
  • not only lesions in the equator of the fundus and the periphery of the fundus, but also signs of lesions in the center of the fundus can be estimated from the states of the upper and lower vortex veins.
  • the montage image creation process is executed by the CPU 262 of the server 140, but the technique of the present disclosure is not limited to this.
  • the CPU 22 of the ophthalmic apparatus 110 may be executed, the CPU of the viewer 150 may be executed, or the CPU of another computer connected to the network 130 may be executed.
  • the UWF upper fundus image and the UWF lower fundus image are acquired as follows. That is, with the upper fixation lamp 92U turned on and the patient's line of sight facing upward, the UWF upper fundus image GU of the eye 12 to be inspected is acquired, the lower fixation lamp 92D is turned on, and the patient's line of sight is lowered.
  • the 12 UWF downward fundus image GD of the eye to be inspected is acquired in a state facing
  • the SLO unit 40 is configured to be rotatable in the vertical direction around the center of the pupil of the eye 12 to be inspected.
  • the SLO unit 40 When acquiring the upper image, the SLO unit 40 is rotated downward around the center of the pupil of the eye 12 to be inspected. In this state, the SLO unit 40 acquires an image of the fundus through the pupil of the eye 12 to be inspected from the lower side to the upper side. In this case, the upper fixation lamp 92U may be further turned on so that the patient's line of sight is directed upward.
  • the SLO unit 40 When acquiring the lower image, the SLO unit 40 is rotated upward around the center of the pupil of the eye 12 to be inspected. In this state, the SLO unit 40 acquires an image of the fundus through the pupil of the eye 12 to be inspected from the upper side to the lower side. In this case, the lower fixation lamp 92D may be further turned on so that the patient's line of sight is directed downward.
  • the present invention is not limited to directing the patient's line of sight in the vertical direction or rotating the SLO unit 40 in the vertical direction around the center of the pupil of the eye 12 to be inspected.
  • each fixation lamp that guides the line of sight of the eye to be inspected 12 is provided on the diagonally upper right, upper left, diagonally lower right, and diagonally lower left side, and the fundus image is acquired in each line of sight and combined. You may want to generate a montage image.
  • the SLO unit 40 can photograph the fundus of the eye from the center of the pupil of the eye 12 to be examined from diagonally upper right, diagonally upper left, diagonally lower right, and diagonally lower left through the pupil of the eye 12. It is configured to be rotatable.
  • the SLO unit 40 may acquire a UWF fundus image in each direction by photographing the fundus from each method, and combine these to generate a montage image.
  • the fixation lamps arranged on the diagonally upper right side, the diagonally upper left side, the diagonally lower right side, and the diagonally lower left side may be turned on to guide the line of sight of the eye 12 to be inspected in each direction.
  • the montage image generated by the server 140 is processed not only for visualization of vortex veins, but also for structural analysis of the retina around the fundus (fundus equatorial region), blood vessel analysis, or detection of abnormal regions (lesions). You may.
  • the generated montage image may be used to estimate lesions (or the possibility of developing) in the central part of the fundus such as diabetic retinopathy and age-related macular degeneration.
  • the lesion can be estimated in consideration of the information of the peripheral part of the fundus by the image analysis using the image of the central part of the fundus.
  • the vortex vein analysis unit 1425 may be responsible for the structural analysis of the retina, the blood vessel analysis, or the detection of the abnormal region (lesion portion) around the fundus (fundus equator), and is not shown separately. It may be processed by the image analysis unit.
  • the CPU 262 of the server 140 executes the montage image creation process, and the alignment process is automatically performed.
  • the montage image creation process is performed by the viewer 150, the user may manually extract the feature point group 1 of the UWF upper fundus image and the feature point group 2 of the UWF lower fundus image. Good.
  • the following processing is executed instead of steps 340 and 342 in FIG.
  • Each image data of the UWF upper fundus image GU and the UWF lower fundus image GD is transmitted from the server 140 to the viewer 150.
  • the viewer 150 that has received each of the above image data detects the macula MU and MD and the optic disc ONHU and ONHD in each of the UWF upper fundus image GU and the UWF lower fundus image GD.
  • the viewer 150 has a line segment connecting the macula MU and the optic disc ONHU in the UWF upper fundus image GU and a line segment connecting the macula MD and the optic disc ONHD in the UWF lower fundus image GD.
  • the UWF upper optic disc image GU and the UWF lower optic disc image GD are aligned and displayed in parallel so as to coincide with the line segment LGM.
  • the viewer 150 sets the upper limit LU of the feature point extraction region parallel to the line segment LGM and the lower limit LD of the feature point extraction region at positions separated from the line segment LGM by a predetermined distance.
  • the user sets the feature point group 1 from the UWF upper fundus image GU between the upper limit LU and the lower limit LD. Then, the user extracts the feature point group 2 corresponding to the feature point group 1 from the UWF lower view fundus image GD between the upper limit LU and the lower limit LD.
  • the viewer 150 transmits each data of the positions of the feature point group 1 and the feature point group 2 to the server 140.
  • the alignment unit 1421 of the server 140 that has received the position data of the feature point group 1 and the feature point group 2 uses the received feature point group 1 and the feature point group 2 to project the above projection. Create a transformation matrix.
  • the ophthalmic apparatus 110 has a function of photographing a region where the internal irradiation angle is 200 ° with the eyeball center 170 of the eye subject 12 as a reference position (167 ° at the external irradiation angle based on the pupil of the eyeball of the eyeball to be examined 12). However, it is not limited to this angle of view.
  • the internal irradiation angle may be 200 degrees or more (external irradiation angle is 167 degrees or more and 180 degrees or less). Further, the specifications may be such that the internal irradiation angle is less than 200 degrees (external irradiation angle is less than 167 degrees). For example, the internal irradiation angle is about 180 degrees (external irradiation angle is about 140 degrees), the internal irradiation angle is about 156 degrees (external irradiation angle is about 120 degrees), and the internal irradiation angle is about 144 degrees (external irradiation angle is about 110 degrees).
  • the angle of view such as degree) may be used. The numerical values are examples, and any angle of view may be used as long as the peripheral part of the fundus and the central part of the fundus where the vortex veins are present can be photographed at once.
  • the tomographic image generation process is realized by the software configuration using a computer is illustrated, but the technique of the present disclosure is not limited to this.
  • the tomographic image generation process may be executed only by a hardware configuration such as FPGA (Field-Programmable Gate Array) or ASIC (Application Specific Integrated Circuit).
  • FPGA Field-Programmable Gate Array
  • ASIC Application Specific Integrated Circuit

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

画像処理方法は、被検眼を第１方向に向けた状態で撮影した第１方向眼底画像と、前記被検眼を前記第１方向と異なる第２方向に向けた状態で撮影した第２方向眼底画像と、を取得することと、前記第１方向眼底画像と前記第２方向眼底画像とを合成することにより、前記被検眼の眼底周辺部の解析を行うための合成画像を生成することと、前記合成画像を出力することと、を含む。

Description

画像処理方法、画像処理装置、及び画像処理プログラム
　本発明は、画像処理方法、画像処理装置、及び画像処理プログラムに関する。
　　米国特許出願公開第２００９／０１３６１００号には、パノラマ眼底画像合成装置及び方法が開示されており、眼底周辺部の構造を解析するために好適な画像合成方法が望まれている。
　本開示の技術の第１の態様の画像処理方法は、被検眼を第１方向に向けた状態で撮影した第１方向眼底画像と、前記被検眼を前記第１方向と異なる第２方向に向けた状態で撮影した第２方向眼底画像と、を取得することと、前記第１方向眼底画像と前記第２方向眼底画像とを合成することにより、前記被検眼の眼底周辺部の解析を行うための合成画像を生成することと、前記合成画像を出力することと、を含む。
　本開示の技術の第２の態様の画像処理装置は、被検眼を第１方向に向けた状態撮影した第１方向眼底画像と、前記被検眼を前記第１方向と異なる第２方向に向けた状態で撮影した第２方向眼底画像と、を取得する取得部と、前記第１方向眼底画像と前記第２方向眼底画像とを合成することにより、前記被検眼の眼底周辺部の解析を行うための合成画像を生成する生成部と、前記合成画像を出力する出力部と、を備える。
　本開示の技術の第３の態様の画像処理プログラムは、コンピュータを、被検眼を第１方向に向けた状態で撮影した第１方向眼底画像と、前記被検眼を前記第１方向と異なる第２方向に向けた状態で撮影した第２方向眼底画像と、を取得する取得部、前記第１方向眼底画像と前記第２方向眼底画像とを合成することにより、前記被検眼の眼底周辺部の解析を行うための合成画像を生成する生成部、及び前記合成画像を出力する出力部として機能させる。
眼科システム１００のブロック図である。 眼科装置１１０の全体構成を示す概略構成図である。 眼科装置１１０による被検眼１２の眼底の撮影範囲を示す第１の図である。 眼科装置１１０による被検眼１２の眼底の撮影範囲を示す第２の図であり、当該撮影により得られた眼底の画像である。 眼科装置１１０による被検眼１２の眼底の撮影範囲を示す第３の図である。 眼科装置１１０のＣＰＵ２２の機能のブロック図である。 眼科装置１１０のＣＰＵ２２が実行する被検眼１２の眼底の撮影処理を示すフローチャートである。 眼科システム１００を基準として被検眼１２の光軸が斜め上方向に向いた場合の瞳孔及び眼球中心を通る上下方向に平行な面における眼底の撮影範囲（Ｕ１からＤ１）を示した図である。 眼科システム１００を基準として被検眼１２の光軸が斜め下方向に向いた場合の瞳孔及び眼球中心を通る上下方向に平行な面における眼底の撮影範囲（Ｕ２からＤ２）を示した図である。 図５のステップ３０４の上方視撮影により得られたＵＷＦ上方視眼底画像ＧＵを示す図である。 図５のステップ３０８の下方視撮影により得られたＵＷＦ下方視眼底画像ＧＤを示す図である。 サーバ１４０の電気系の構成のブロック図である。 サーバ１４０のＣＰＵ２６２の機能のブロック図である。 サーバ１４０のＣＰＵ２６２が実行するモンタージュ画像作成処理を示すフローチャートである。 図１０のステップ３２４の画像間の位置合わせ処理を示すフローチャートである。 ＵＷＦ上方視眼底画像ＧＵに線分ＬＧＵが設定された様子を示す図である。 ＵＷＦ下方視眼底画像ＧＤに線分ＬＧＤが設定された様子を示す図である。 モンタージュ画像ＧＭの生成を説明するための図である。 ビューワ１５０のディスプレイ２５６の表示画面４００の第１の表示態様を示す図である。 ビューワ１５０のディスプレイ２５６の表示画面４００の第２の表示態様を示す図である。 ビューワ１５０のディスプレイ２５６の表示画面４００の第３の表示態様を示す図である。 ビューワ１５０のディスプレイ２５６の表示画面４００の第４の表示態様を示す図である。
　以下、図面を参照して本発明の実施の形態を詳細に説明する。
　図１を参照して、眼科システム１００の構成を説明する。図１に示すように、眼科システム１００は、眼科装置１１０と、眼軸長測定器１２０と、サーバ装置（以下、「サーバ」という）１４０と、表示装置（以下、「ビューワ」という）１５０と、を備えている。眼科装置１１０は、眼底画像を取得する。眼軸長測定器１２０は、患者の眼軸長を測定する。サーバ１４０は、眼科装置１１０によって複数の患者の眼底が撮影されることにより得られた複数の眼底画像及び眼軸長を、患者のＩＤに対応して記憶する。ビューワ１５０は、サーバ１４０により取得した眼底画像や解析結果を表示する。
　サーバ１４０は、本開示の技術の「画像処理装置」の一例である。
　眼科装置１１０、眼軸長測定器１２０、サーバ１４０、ビューワ１５０は、ネットワーク１３０を介して、相互に接続されている。
　なお、他の眼科機器（視野測定、眼圧測定などの検査機器）やＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いた画像解析を行う診断支援装置がネットワーク１３０を介して、眼科装置１１０、眼軸長測定器１２０、サーバ１４０、及びビューワ１５０に接続されていてもよい。
　次に、図２を参照して、眼科装置１１０の構成を説明する。図２に示すように、眼科装置１１０は、制御ユニット２０、表示／操作ユニット３０、及びＳＬＯユニット４０を備える。被検眼１２の後眼部（眼底）を撮影する。さらに、眼底のＯＣＴデータを取得する図示せぬＯＣＴユニットを備えていてもよい。ここで、「ＳＬＯ」とは、走査型レーザ検眼鏡（Ｓｃａｎｎｉｎｇ　Ｌａｓｅｒ　Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）である。「ＯＣＴ」とは、光干渉断層計（Ｏｐｔｉｃａｌ　Ｃｏｈｅｒｅｎｃｅ　Ｔｏｍｏｇｒａｐｈｙ）である。
　制御ユニット２０は、ＣＰＵ２２、メモリ２４、及び通信インターフェース（Ｉ／Ｆ）２６等を有するコンピュータを備えている。表示／操作ユニット３０は、撮影されて得られた画像を表示したり、撮影の指示を含む各種指示を受け付けたりするグラフィックユーザインターフェースであり、ディスプレイ３２及び入力／指示デバイス３４を備えている。
　ＣＰＵ２２が撮影処理プログラムを実行することで、図４に示すように、ＳＬＯ制御機部１８０（固視灯制御部１８０２、ＳＬＯ光源制御部１８０４、スキャナ制御部１８０６を含む）、画像処理部１８２、表示制御部１８４、および処理部１８６として、ＣＰＵ２２が機能する。
　メモリ２４には、後述する被検眼１２の眼底の撮影処理の撮影処理プログラムが記憶されている。
　ＳＬＯユニット４０は、Ｇ光（緑色光：波長５３０ｎｍ）の光源４２、Ｒ光（赤色光：波長６５０ｎｍ）の光源４４、ＩＲ光（赤外線（近赤外光）：波長８００ｎｍ）の光源４６を備えている。光源４２、４４、４６は、制御ユニット２０により命令されて、各光を発する。なお、光源４２、４４、４６としては、ＬＥＤ光源や、レーザ光源を用いることができる。なお、以下には、レーザ光源を用いた例を説明する。
　ＳＬＯユニット４０は、光源４２、４４、４６からの光を、反射又は透過して１つの光路に導く光学系５０、５２、５４、５６を備えている。光学系５０、５６は、ミラーであり、光学系５２、５４は、ビームスプリッタであり、具体的には、ダイクロイックミラー、ハーフミラー等である。
　Ｇ光は、光学系５０、５４で反射し、Ｒ光は、光学系５２、５４を透過し、ＩＲ光は、光学系５２、５６で反射して、それぞれ１つの光路に導かれる。
　ＳＬＯユニット４０は、光源４２、４４、４６からの光を、被検眼１２の後眼部（眼底）に渡って、２次元状に走査する広角光学系８０を備えている。ＳＬＯユニット４０は、被検眼１２の後眼部（眼底）からの光の内、Ｇ光を反射し且つＧ光以外を透過するビームスプリッタ５８を備えている。ＳＬＯユニット４０は、ビームスプリッタ５８を透過した光の内、Ｒ光を反射し且つＲ光以外を透過するビームスプリッタ６０を備えている。ＳＬＯユニット４０は、ビームスプリッタ６０を透過した光の内、ＩＲ光を反射するビームスプリッタ６２を備えている。ビームスプリッタ５８、６０、６２として、ダイクロイックミラー、ハーフミラー等を用いることができる。
　ＳＬＯユニット４０は、ビームスプリッタ５８により反射したＧ光を検出するＧ光検出素子７２、ビームスプリッタ６０により反射したＲ光を検出するＲ光検出素子７４、及びビームスプリッタ６２により反射したＩＲ光を検出するＩＲ光検出素子７６を備えている。光検出素子７２、７４、７６として、例えば、ＡＰＤ（ａｖａｌａｎｃｈｅ　ｐｈｏｔｏｄｉｏｄｅ：アバランシェ・フォトダイオード）が挙げられる。
　　また、ＳＬＯユニット４０は、制御ユニット２０により制御され、上固視灯９２Ｕ及び下固視灯９２Ｄ（さらに図示せぬ中央固視灯を含む）を点灯させる固視標制御装置９０を備えている。中央固視灯、上固視灯９２Ｕ及び下固視灯９２Ｄの何れかを点灯させることにより被検眼１２の向き（視線方向）を変えることができる。
　広角光学系８０は、光源４２、４４、４６からの光を、Ｘ方向に走査するポリゴンミラーで構成されたＸ方向走査装置８２、Ｙ方向に走査するガルバノミラーで構成されたＹ方向走査装置８４、走査された光を、超広角（ＵＷＦ：Ｕｌｔｒａ　ＷｉｄｅＦｉｅｌｄ）で照射できる楕円鏡などの凹面鏡や複数のレンズからなるレンズ系で構成された光学系８６を備えている。　Ｘ方向走査装置８２及びＹ方向走査装置８４の各走査装置はＭＥＭＳ（Ｍｉｃｒｏ　Ｅｌｅｃｔｒｏ　Ｍｅｃｈａｎｉｃａｌ　Ｓｙｓｔｅｍ）ミラーを用いてもよい。また、Ｘ方向とＹ方向でそれぞれスキャナを設けることなく１つのＭＥＭＳミラーで２次元走査を行うようにしてもよい。なお、眼科装置１１０が水平面に設置された場合の水平方向を「Ｘ方向」、水平面に対する垂直方向を「Ｙ方向」とし、被検眼１２の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Ｚ方向」とする。従って、Ｘ方向、Ｙ方向、およびＺ方向は互いに垂直である。
　広角光学系８０により、眼底の視野角（ＦＯＶ：Ｆｉｅｌｄ　ｏｆ　Ｖｉｅｗ）を超広角な角度とし、被検眼１２の眼底の後極部から赤道部を超える領域を撮影することができる。
　図３Ａを用いて赤道部１７４の説明をする。眼球（被検眼１２）は、直径約 ２４ｍｍ の眼球中心１７０とした球状の構造物である。その前極１７５と後極１７６を連ねる直線を眼球軸１７２と言い、眼球軸１７２に直交する平面が眼球表面と交わる線を緯線といい、緯線長が最大のものが赤道１７４である。赤道１７４の位置に相当する網膜や脈絡膜の部分を赤道部１７８とする。赤道部１７８は眼底周辺部の一部である。
　眼科装置１１０は、被検眼１２の眼球中心１７０を基準位置として内部照射角が２００°の領域を撮影することができる。なお、２００°の内部照射角は、被検眼１２の眼球の瞳孔を基準とした外部照射角では１６７°である。つまり、広角光学系８０は外部照射角１６７°の画角で瞳からレーザ光を照射させ、内部照射角で２００°の眼底領域を撮影する。
　図３Ｂには、内部照射角が２００°で走査できる眼科装置１１０で撮影されて得られたＳＬＯ画像１７９が示されている。図３Ｂに示すように、赤道部１７４は内部照射角で１８０°に相当し、ＳＬＯ画像１７９においては点線１７８ａで示された個所が赤道部１７８に相当する。このように、眼科装置１１０は、後極１７６を含む後極部から赤道部１７８を超えた眼底周辺領域を一括で（一回の撮影で、あるいは、一回のスキャンで）撮影することができる。つまり、眼科装置１１０は、眼底中心部から眼底周辺部までを一括で撮影することができる。
　眼科装置１１０は、本開示の技術の「撮影装置」の一例である。
　図３Ｃは、眼球における脈絡膜１２Ｍと渦静脈（Ｖｏｒｔｅｘ　Ｖｅｉｎ）１２Ｖ１、Ｖ２との位置関係を示す図である。
　図３Ｃにおいて、網目状の模様は脈絡膜１２Ｍの脈絡膜血管を示している。脈絡膜血管は脈絡膜全体に血液をめぐらせる。そして、被検眼１２に複数（通常４つから６つ）存在する渦静脈から眼球の外へ血液が流れる。図３Ｃでは眼球の片側に存在する上側渦静脈Ｖ１と下側渦静脈Ｖ２が示されている。渦静脈は、赤道部１７８の近傍に存在する場合が多い。そのため、被検眼１２に存在する渦静脈及び渦静脈周辺の脈絡膜血管を撮影するには、上述した内部照射角が２００°で眼底周辺部を広範囲に走査できる眼科装置１１０を用いて行われる。
　被検眼１２の眼を、内部照射角が２００°で走査できる眼科装置１１０で撮影して得られたＳＬＯ眼底画像をＵＷＦ眼底画像と称する。
　このような広角光学系を備えた眼科装置１１０の構成としては、国際出願ＰＣＴ／ＥＰ２０１７／０７５８５２に記載された構成を用いてもよい。２０１７年１０月１０日に国際出願された国際出願ＰＣＴ／ＥＰ２０１７／０７５８５２（国際公開ＷＯ２０１８／０６９３４６）の開示は、その全体が参照により本明細書に取り込まれる。
　眼科装置１１０によって上方視／下方視によるＵＷＦ眼底画像の撮影について説明する。
　まず、入力／指示デバイス３４を介して、患者ＩＤ、患者名などの患者属性情報、撮影する被検眼が右眼か左眼かの情報などが眼科装置１１０に入力される。診察歴のある患者であれば、患者ＩＤを入力してサーバ１４０に記録されている患者属性情報を読み出す。
　次に、眼科装置１１０は、中央固視灯を点灯させて眼底の広範囲を撮影する通常撮影モードと、眼底周辺部の構造（例えば、渦静脈及び渦静脈周辺の脈絡膜血管など）を解析するためのモンタージュ画像撮影モードを選択させるメニュー画面をディスプレイ３２に表示する。ディスプレイ３２に表示されたメニュー画面から、ユーザが入力／指示デバイス３４を介してモードを選択できる。
　ユーザがモンタージュ画像撮影モードを選択すると、眼科装置１１０のＣＰＵ２２が撮影処理プログラムを実行することで、図５のフローチャートに示された撮影処理が実現される。
　ユーザがモンタージュ画像撮影モードを選択すると、ＳＬＯ制御部１８０は、アライメントやフォーカス調整を行う。
　そして、図５のステップ３０２で、固視灯制御部１８０２は、患者の視線を斜め上方向に向けるために、固視標制御装置９０を制御して上固視灯９２Ｕを点灯させる。これにより、図６Ａに示すように、患者の視線が斜め上方向、即ち、眼球中心から上固視灯９２Ｕに向かう方向に向けられる。上固視灯９２Ｕを点灯させるだけでなく、眼科装置１１０のオペレータが「上を向いてください」など患者の視線を斜め上方向にする指示を出すことで、被検眼の視線を斜め上方向に向いた状態にしてもよい。
　斜め上方向は、本開示の技術の「第１方向」の一例である。
　ステップ３０４で、患者の視線が斜め上方向に向けられている上方視の状態で、眼底を撮影する。具体的には、ＳＬＯ光源制御部１８０４は、Ｇ光の光源４２及びＲ光の光源４４からＧ光及びＲ光を発生させる。スキャナ制御部１８０６は、Ｘ方向走査装置８２及びＹ方向走査装置８４を制御する。Ｘ方向及びＹ方向に走査されたＧ光及びＲ光は被検眼の眼底で反射する。
　緑色に相当する波長のＧ光は網膜で反射するので、網膜の構造情報を含んでいる。被検眼１２から反射されたＧ光はＧ光検出素子７２により検出される。画像処理部１８２は、Ｇ光検出素子７２からの信号からＵＷＦ上方視眼底画像Ｇの画像データを生成する。同様に、被検眼１２から反射されたＲ光がＲ光検出素子７４により検出される。赤色レーザ光（Ｒ光）は網膜より深い脈絡膜で反射するので、脈絡膜の構造情報を含んでいる。画像処理部１８２は、Ｒ光検出素子７４からの信号からＵＷＦ上方視眼底画像Ｒの画像データを生成する。画像処理部１８２は、ＵＷＦ上方視眼底画像とＵＷＦ上方視眼底画像Ｒとを所定の混合比で合成したＵＷＦ上方視眼底画像ＲＧの画像データを生成する。
　なお、ＵＷＦ上方視眼底画像Ｇ、ＵＷＦ上方視眼底画像Ｒ及びＵＷＦ上方視眼底画像ＲＧを区別しないときは、ＵＷＦ上方視眼底画像と称する。
　ＵＷＦ上方視眼底画像は、本開示の技術の「第１方向眼底画像」の一例である。
　ところで、眼科システム１００の光軸に被検眼１２の光軸が一致した状態で、眼底を撮影して得られる、被検眼１２の眼底のＵＷＦ正面視眼底画像には、図６Ａに示すＹ－Ｚ平面における眼底の上位置Ｕ０と下位置Ｄ０との間の領域が撮影される。
　上方視の状態で眼底を撮影して得られた各上方視眼底画像には、図６Ａに示すように、患者の視線が斜め上方向に向けられるので、上位置Ｕ０よりも上側の上側位置Ｕ１と下側位置Ｄ１との間の領域の画像が存在する。よって、各上方視眼底画像には、正面視画像にはない領域ＭＵ０１の画像が存在する。図７Ａは右眼のＵＷＦ上方視眼底画像を示す。ＵＷＦ上方視眼底画像ＧＵには、眼球上側の赤道部付近に存在する鼻側（紙面右）の渦静脈１２Ｖ１と耳側（紙面左）の渦静脈１２Ｖ３がＵＷＦ上側眼底画像ＧＵの上側に位置する。さらに、眼底中心部に存在する視神経乳頭ＯＮＨおよび黄斑ＭがＵＷＦ上側眼底画像ＧＵの下側に位置している。
　ステップ３０６で、固視灯制御部１８０２は、患者の視線を斜め下方向に向けるために、固視標制御装置９０を制御して下固視灯９２Ｄを点灯させる。これにより、図６Ｂに示すように、患者の視線が斜め下方向、即ち、眼球中心から下固視灯９２Ｄに向かう方向に向けられる。上固視灯９２Ｄを点灯させるだけでなく、眼科装置１１０のオペレータが「下を向いてください」など患者の視線を斜め下方向にする指示を出すことで、被検眼の視線を斜め下方向に向いた状態にしてもよい。
　斜め下方向は、本開示の技術の「第２方向」の一例である。
　ステップ３０８で、患者の視線が斜め下方向に向けられている下方視の状態で、眼底を撮影する。ステップ３０４と同様に、ＳＬＯ光源制御部１８０４は、Ｇ光の光源４２及びＲ光の光源４４からＧ光及びＲ光を発生させ、スキャナ制御部１８０６は、Ｘ方向走査装置８２及びＹ方向走査装置８４を制御して、Ｇ光及びＲ光を、Ｘ方向及びＹ方向に走査する。ステップ３０４と同様に、画像処理部１８２は、ＵＷＦ下方視眼底画像Ｇ、ＵＷＦ下方視眼底画像ＲおよびＵＷＦ下方視眼底画像ＲＧの画像データを生成する。
　なお、ＵＷＦ下方視眼底画像Ｇ、ＵＷＦ下方視眼底画像Ｒ及びＵＷＦ下方視眼底画像ＲＧを区別しないときは、ＵＷＦ下方視眼底画像と称する。
　ＵＷＦ下方視眼底画像は、本開示の技術の「第２方向眼底画像」の一例である。
　下方視の状態で眼底を撮影して得られた各下方視眼底画像には、図６Ｂに示すように、患者の視線が斜め下方向に向けられるので、下位置Ｄ０よりも下側の下側位置Ｄ２と上側位置Ｕ２との間の領域の画像が存在する。よって、下方視眼底画像にはＵＷＦ正面視眼底画像にはない領域ＭＤ０２の画像が存在する。図７Ｂは右眼のＵＷＦ下方視眼底画像ＧＤを示す。ＵＷＦ下方視眼底画像ＧＤには、眼球上側の赤道部付近に存在する鼻側（紙面右）の渦静脈１２Ｖ２と耳側（紙面左）の渦静脈１２Ｖ４がＵＷＦ下側眼底画像ＧＤの下側に位置する。さらに、眼底中心部に存在する視神経乳頭ＯＮＨおよび黄斑ＭがＵＷＦ下側眼底画像ＧＤの上側に位置している。
　ステップ３１０で、処理部１８６は、通信インターフェース（Ｉ／Ｆ）２６を介して、ＵＷＦ上方視眼底画像と、ＵＷＦ下方視眼底画像との各画像データをサーバ１４０に送信する。処理部１８６は、画像データをサーバ１４０に送信する際、患者ＩＤ、患者属性情報（患者名、年齢、各眼底画像が右眼か左眼からの情報、視力および撮影日時など）もサーバ１４０に送信する。
　サーバ１４０は、受信した上記画像データ、患者ＩＤ、患者属性情報を関連付けて後述する記憶装置２５４に記憶する。
　なお、表示制御部１８４は、ＵＷＦ上方視眼底画像と、ＵＷＦ下方視眼底画像とを、ディスプレイ３２に表示してもよい。
　また、ユーザが眼底の広範囲を正面視で撮影する通常撮影モードを選択した場合、ＳＬＯ制御部１８０は、アライメントやフォーカス調整を行う。そして、固視灯制御部１８０２は、固視標制御装置９０を制御して中央固視灯を点灯させる。これにより患者の視線は正面に固定され、図３ＢのようなＵＷＦ正面視眼底画像が撮影される。
　ＵＷＦ正面視眼底画像を取得した場合には、ステップ３１０で、処理部１８６は、ＵＷＦ正面視眼底画像の画像データも、上記と同様に送信する。
　なお、ＵＷＦ上方視眼底画像及びＵＷＦ下方視眼底画像と同様に、ＵＷＦ正面視眼底画像として、ＵＷＦ正面視眼底画像Ｇ、ＵＷＦ正面視眼底画像Ｒ、及びＵＷＦ正面視眼底画像ＲＧが生成される。
　眼底周辺部の構造（例えば、渦静脈及び渦静脈周辺の脈絡膜血管など）を解析するためには、赤道部の周辺や、赤道部を前眼部方向に超える眼底領域を撮像することが求められる。正面視による広画角の撮影では、被検者の瞼、まつ毛や眼科装置１１０の筐体などが写り込み眼底周辺部が撮影できていない場合がある。この場合、渦静脈や渦静脈周辺の脈絡膜血管を撮影できず、眼底周辺部あるいは赤道部周辺の渦静脈をすべて含む画像を取得することができない。
　そこで、本実施の形態は、患者の視線が上方に向いた状態で、ＵＷＦ上方視眼底画像ＧＵを取得し、患者の視線が下方に向いた状態で、ＵＷＦ下方視眼底画像ＧＤを取得する。そして、双方の画像を合成することにより、ＵＷＦ正面視眼底画像１枚よりも広い領域が確実に撮影されたモンタージュ画像を生成できる。このモンタージュ画像を用いることにより、渦静脈と渦静脈周辺の脈絡膜血管が含まれることから被検者の瞼、まつ毛や眼科装置１１０の筐体などが写り込みの影響を除去したモンタージュ画像を得ることができる。このモンタージュ画像は、眼底周辺部の病変や以上領域、あるいは渦静脈や渦静脈周辺の脈絡膜血管の検出に好適である。
　以下、モンタージュ画像をサーバ１４０で生成する場合について説明する。
　図８を参照して、サーバ１４０の構成を説明する。図８に示すように、サーバ１４０は、コンピュータ本体２５２を備えている。コンピュータ本体２５２は、ＣＰＵ２６２、ＲＡＭ２６６、ＲＯＭ２６４、入出力（Ｉ／Ｏ）ポート２６８を有する。入出力（Ｉ／Ｏ）ポート２６８には、記憶装置２５４、ディスプレイ２５６、マウス２５５Ｍ、キーボード２５５Ｋ、および通信インターフェース（Ｉ／Ｆ）２５８が接続されている。記憶装置２５４は、例えば、不揮発メモリで構成される。入出力（Ｉ／Ｏ）ポート２６８は、通信インターフェース（Ｉ／Ｆ）２５８を介して、ネットワーク１３０に接続されている。従って、サーバ１４０は、眼科装置１１０、眼軸長測定器１２０、およびビューワ１５０と通信することができる。記憶装置２５４には、後述するモンタージュ画像作成処理プログラムが記憶されている。なお、モンタージュ画像作成処理プログラムを、ＲＯＭ２６４に記憶してもよい。
　モンタージュ画像作成処理プログラムは、本開示の技術の「画像処理プログラム」の一例である。
　サーバ１４０のＣＰＵ２６２がモンタージュ画像作成処理プログラムを実行することで、図９に示すように、画像取得部１４１０、画像処理部１４２０（位置合わせ部１４２１、二値化処理部１４２２、合成画像生成部１４２４、渦静脈解析部１４２５を含む）、表示制御部１４３０、および出力部１４４０として、ＣＰＵ２６２が機能する。
　画像取得部１４１０は、本開示の技術の「取得部」の一例である。画像処理部１４２０は、本開示の技術の「生成部」の一例である。出力部１４４０は、本開示の技術の「出力部」の一例である。
　次に、図１０を用いて、サーバ１４０のＣＰＵ２６２によるモンタージュ画像作成処理を詳細に説明する。サーバ１４０のＣＰＵ２６２がモンタージュ画像作成処理プログラムを実行することで、図１０のフローチャートに示されたモンタージュ画像作成処理が実現される。
　モンタージュ画像作成処理は、本開示の技術の「画像処理方法」の一例である。
　ユーザ（例えば、眼科医）が、ビューワ１５０に、患者の被検眼１２の診断のため、被検眼１２の眼底画像（モンタージュ画像）の表示を、図示しないモンタージュ画像表示ボタンをオンすることにより、指示する。このとき、オペレータは、患者ＩＤを、ビューワ１５０に入力する。ビューワ１５０は、患者ＩＤとともに、モンタージュ画像作成指示データを、サーバ１４０に出力する。モンタージュ画像作成指示データ及び患者ＩＤを受信したサーバ１４０は、モンタージュ画像作成処理プログラムを実行する。
　なお、モンタージュ画像作成処理プログラムは、眼科装置１１０で撮影されたＵＷＦ上方視眼底画像とＵＷＦ下方視眼底画像がサーバ１４０に送信された時点で実行されるようにしてもよい。
　図１０のフローチャートの、ステップ３２０で、画像取得部１４１０は、ＵＷＦ上方視眼底画像とＵＷＦ下方視眼底画像を、記憶装置２５４から取得する。ステップ３２２で、二値化処理部１４２２は、ＵＷＦ上方視眼底画像とＵＷＦ下方視眼底画像に対して血管を強調する処理を施す。そして、所定の閾値で二値化する二値化処理を実行する。二値化処理により、眼底の血管が白く強調される。
　ステップ３２４で、位置合わせ部１４２１は、ＵＷＦ上方視眼底画像とＵＷＦ下方視眼底画像の位置合わせを行う。ステップ３２４の位置合わせ処理について、図１１のフローチャートを用いて説明する。ここでは、ＵＷＦ上方視眼底画像を基準としてＵＷＦ下方視眼底画像を変換する場合（つまり、ＵＷＦ上方視眼底画像は変換しないで、ＵＷＦ下方視眼底画像のみを変換する場合）を例に取り説明する。
　図１１のステップ３４０で、位置合わせ部１４２１は、ＵＷＦ上方視眼底画像ＧＵから画像処理により特徴点群１を抽出する。特徴点群１は、眼底画像における複数の特徴点であり、図７Ａに示すように、視神経乳頭ＯＮＨＵ、黄斑ＭＵや網膜血管の分岐点ＶＢＵである。なお、脈絡膜血管の分岐点も特徴点として抽出するようにしてもよい。位置合わせ部１４２１は、網膜の構造情報を含んでいるＵＷＦ上方視眼底画像Ｇと、脈絡膜の構造情報をも含んでいるＵＷＦ上方視眼底画像Ｒとから、ＵＷＦ上方視眼底画像Ｒから網膜の構造情報を除去することにより脈絡膜のみの構造情報を抽出する。位置合わせ部１４２１は、ＵＷＦ上方視眼底画像Ｇから網膜血管の分岐点を抽出し、脈絡膜のみの構造情報から脈絡膜血管の分岐点を抽出する。　特徴点は、視神経乳頭ＯＮＨＵ領域の最大輝度の画素、黄斑ＭＵ領域の最小輝度の画素、網膜血管や脈絡膜血管の分岐点に位置する画素であり、それらの画素の座標が特徴点データとして抽出される、また、網膜血管や脈絡膜血管の分岐点だけでなく、特徴的な血管走行パターンを含む領域を抽出し、該パターンを含む領域の中心点を特徴点としてもよい。
　なお、網膜血管や脈絡膜血管の端点、屈曲点あるいは蛇行点を特徴点として抽出するようにしてもよい。
　また特徴点は、特徴点検出を行うアルゴリズムであるＳＩＦＴ(Ｓｃａｌｅ　Ｉｎｔｅｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ)やＳＵＲＦ（Ｓｐｅｅｄ　Ｕｐｐｅｄ　Ｒｏｂｕｓｔ　Ｆｅａｔｕｒｅ）などを用いて行うことができる。
　ここで、位置合わせを高精度で行うために、抽出される特徴点の数は４つ以上が好ましい。ＵＷＦ上方視眼底画像ＧＵには、視神経乳頭と黄斑は被検眼に１つだけしか存在しない。よって、網膜血管や脈絡膜血管の分岐点ＶＢＵを２か所以上抽出することにより、ＵＷＦ上方視眼底画像ＧＵから特徴点１を４つ以上抽出することができる。
　眼底中心部に存在する視神経乳頭、黄斑、網膜血管や脈絡膜血管は、ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤの双方に撮影されているため位置合わせ用の特徴点の選択対象として好適である。すなわち、特徴点はＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤとの共通領域である眼底中心部から選択するのが良い。
　そこで、ステップ３４０で、位置合わせ部１４２１は、眼底中心部であるＵＷＦ上方視眼底画像ＧＵの中心より下側の領域を対象として、画像処理により特徴点群１を抽出する。
　眼底周辺部に存在しているＵＷＦ上方視眼底画像ＧＵに存在する渦静脈１２Ｖ１と１２Ｖ３は特徴点として選択対象から除外される。眼底周辺部はＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤとの共通領域ではないため、眼底周辺部の構造物は特徴点の選択対象から除外される。
　ステップ３４２で、位置合わせ部１４２１は、特徴点群１に対応する特徴点群２をＵＷＦ下方視眼底画像ＧＤから抽出する。特徴点群２は、図７Ｂに示すように、視神経乳頭ＯＮＨＤと黄斑ＭＤ、そして、網膜血管の分岐点ＶＢＤである。同一眼であるので、視神経乳頭ＯＮＨＤは視神経乳頭ＯＮＨＵに対応し、黄斑ＭＤは黄斑ＭＵに対応している。分岐点ＶＢＤは血管の分岐点ＶＵＢに対応しており、分岐点ＶＢＵの分岐パターンと同一の分岐パターンを持つ分岐個所が画像認識処理などにより抽出される。
　ステップ３４４で、位置合わせ部１４２１は、特徴点群１と特徴点群２を用いて、ＵＷＦ下方視眼底画像ＧＤを幾何変換する射影変換行列を生成する。この射影変換行列は、ＵＷＦ下方視眼底画像ＧＤをＵＷＦ上方視眼底画像ＧＵに対応させるための行列である。 少なくとも４個の特徴点により射影変換行列が定まる。
　ステップ３４６で、生成された射影変換行列を用いてＵＷＦ下方視眼底画像ＧＤ（図７Ｂ参照）を変換し、変換後のＵＷＦ下方視眼底画像ＧＤＣ（図１２Ｂ参照）を得る。射影変換行列を用いた変換後では、特徴点群１と特徴点群２は同一位置に来ており、位置合わせ処理が実行されたこととなる。この変換によりＵＷＦ下方視眼底画像ＧＤに比べてＵＷＦ下方視眼底画像ＧＤＣが大きくなっている（面積が増大している）。
　上述では、ＵＷＦ下方視眼底画像ＧＤをＵＷＦ上方視眼底画像ＧＵに対応させるための射影変換行列を生成し、ＵＷＦ下方視眼底画像ＧＤを変換した。この逆で、ＵＷＦ上方視眼底画像ＧＵをＵＷＦ下方視眼底画像ＧＤに対応させるための射影変換行列を生成し、ＵＷＦ上方視眼底画像ＧＵを変換するようにしてもよい。
　これで画像間の位置合わせ処理である図１０のステップ３２４が完了し、モンタージュ画像作成処理はステップ３２６に進む。
　図１０のステップ３２６で、合成画像生成部１４２４は、ＵＷＦ上方視眼底画像ＧＵ及び変換後のＵＷＦ下方視眼底画像ＧＤＣを合成し、モンタージュ画像ＧＭを生成する。
　まず、図１２Ａに示すように、ＵＷＦ上方視眼底画像ＧＵに視神経乳頭ＯＮＨＵと黄斑ＭＵとを通る線分ＬＧＵを設定する。同様に、図１２Ｂに示すように、変換後のＵＷＦ下方視眼底画像ＧＤＣに視神経乳頭ＯＮＨＤと黄斑ＭＤとを通る線分ＬＧＤを設定する。
　次に、合成画像生成部１４２４は、ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤＣとが重複する領域の重み付け処理を行う。図１３に示すように、合成画像生成部１４２４は、ＵＷＦ上方視眼底画像ＧＵの線分ＬＧＵよりも上側領域である上側のＵＷＦ上方視眼底画像ＧＵｘ領域の重みを「１」とする。合成画像生成部１４２４は、線分ＬＧＵよりも上側領域の重みを「０」とする。そして、合成画像生成部１４２４は、変換後のＵＷＦ下方視眼底画像の線分ＬＧＤよりも下側領域である下側のＵＷＦ下方視眼底画像ＧＤＣｘの重みを「１」とし、線分ＬＧＤよりも上側領域出の重みを「０」する。
　合成画像生成部１４２４は、ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤＣに対して、このような重み付け処理を行うことにより、ＵＷＦ上方視眼底画像ＧＵｘとＵＷＦ下方視眼底画像ＧＤＣｘとが合成されたモンタージュ画像ＧＭを生成する。図１３に示されるように、線分ＬＧは視神経乳頭ＯＭＨと黄斑Ｍを結ぶ線分であり、線分ＬＧより上側がＵＷＦ上方視眼底画像ＧＵｘであり、線分ＬＧより下側がＵＷＦ下方視眼底画像ＧＤＣｘである。モンタージュ画像は、本開示の技術の「合成画像」の一例である。
　なお、ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤＣの重複部分に関する重み付けは、上述の例に限らず、ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤＣの混合割合をさまざまな値に設定することができる。
　このように、ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤＣの位置合わせを行い合成をする。この合成による、眼底の血管が不連続でなく、眼底周辺部または眼底赤道部に位置する渦静脈や渦静脈周辺の脈絡膜血管を解析、あるいは異常部や病変部などの解析のための眼底画像を得ることができる。
　次にステップ３２８で、渦静脈解析部１４２５は、モンタージュ画像ＧＭを用いて渦静脈の位置や渦静脈付近の血管の血管径を解析する。解析によって得られた渦静脈情報としては、渦静脈の個数、渦静脈の位置、渦静脈につながる血管の本数、渦状膜周囲の血管の血管径などに関する情報が含まれる。
　ステップ３３０で、表示制御部１４３０は、モンタージュ画像とともに、患者ＩＤに対応した患者属性情報（患者名、年齢、各眼底画像が右眼か左眼からの情報、視力および撮影日時など）を反映させた、後述する表示画面４００を生成する。
　ステップ３３２で、出力部１４４０は、モンタージュ画像ＧＭと渦静脈解析により得られた渦静脈解析情報とを、サーバ１４０の記億装置２５４に出力する。モンタージュ画像ＧＭと渦静脈解析により得られた渦静脈解析情報とがサーバ１４０の記億装置２５４に記憶される。
　ステップ３３２では更に、出力部１４４０は、表示画面４００に対応する画像データをビューワ１５０へ出力する。
　なお、表示制御部１４３０は、ディスプレイ２５６にモンタージュ画像ＧＭを表示するように出力してもよい。　
　図１０、図１１のフローチャートでは、ＵＷＦ上方視眼底画像を基準としてＵＷＦ下方視眼底画像を変換する場合を説明したが、これに限らず、ＵＷＦ下方視眼底画像を基準としてＵＷＦ上方視眼底画像を変換するようにしてもよい。
　また、二値化画像を用いてモンタージュ画像生成したが、二値化前のカラーのＵＷＦ上方視眼底画像ＲＧとＵＷＦ下方視眼底画像ＲＧを用いてモンタージュ画像を生成することも、同様の手法で可能である。この場合は、モンタージュ合成処理のあとモンタージュ画像の二値化処理がなされる。
　以下、モンタージュ画像を用いたグラフィックユーザインターフェース（ＧＵＩ）について説明する。
　上記のように図１０のステップ３３２では、サーバ１４０は、表示画面４００に対応する画像データをビューワ１５０に出力する。
　サーバ１４０から出力された画像データを受信したビューワ１５０は、図示せぬディスプレイ（モニター）に、表示画面４００を表示する。
　表示画面４００は、図１４に示すように、情報表示領域４０２と、画像表示領域４０４（４０４Ａ）とを有する。なお、図１４には、画像表示領域４０４の第１の表示態様の画像表示領域４０４Ａが示されている。情報表示領域４０２には、患者ＩＤ表示領域４１２、患者名表示領域４１４、年令表示領域４１６、右眼／左眼表示領域４１８、眼軸長表示領域４２０、視力表示領域４２２、及び撮影日時表示領域４２４を有する。ビューワ１５０は、受信した情報に基づいて、患者ＩＤ表示領域４１２から撮影日時表示領域４２４の各表示領域に各々の情報を表示する。
　情報表示領域４０２には、画像選択アイコン４３０と表示切替アイコン４４０とが設けられている。
　画像表示領域４０４Ａは、モンタージュ画像表示領域４５０と、関連画像表示領域４６０とを有する。画像選択アイコン４３０がオンされると、プルダウンメニューが表示される。画像選択アイコン４３０がオンされて表示されるプルダウンメニューは、関連画像表示領域４６０に表示する関連画像を選択するためのメニューを有する。例えば、プルダウンメニューには、既に取得されている被検眼１２の眼底の蛍光画像（たとえば、ＩＡ画像　Ｉｎｄｏｃｙａｎｉｎｅ　ｇｒｅｅｎ　ａｎｇｉｏｇｒａｐｈｙによる画像）の動画や、ＩＡ画像の静止画、ＵＷＦ正面視眼底画像などが選択候補として表示される。図１４には、モンタージュ画像表示領域４５０にはモンタージュ画像ＧＭが表示され、関連画像表示領域４６０には、ＩＡ画像の動画ＧＡが表示されている様子が示されている。
　また、線分ＬＧは、モンタージュ画像ＧＭの視神経乳頭ＯＮＨと黄斑Ｍを結ぶ線分である。関連画像表示領域４６０に表示されるＩＡ画像の動画ＧＡは、動画ＧＡの視神経乳頭と黄斑が線分ＬＧ上になるように位置合わせされて表示される。
　線分ＬＧはユーザにより、表示する/しないを選択可能としてもよい。
　さらに、モンタージュ画像及び関連画像には、渦静脈を示すマークを、渦静脈に対応する位置に表示するようにしてもよい。
　例えば、図１４に示すように、モンタージュ画像ＧＭにおいて、渦静脈１２Ｖ１、１２Ｖ２、１２Ｖ３、１２Ｖ４の位置を検出し、モンタージュ画像ＧＭにおいて、検出した位置に渦静脈を示すマークを表示するようにしてもよい。
　また、渦静脈解析情報（渦静脈の個数、渦静脈の位置、渦静脈につながる血管の本数、渦静脈周囲の血管の血管径など）を、表示画面４００に表示させるようにしてもよい。
　表示切替アイコン４４０がオンされると、プルダウンメニューが表示される。プルダウンメニューは、画像表示領域４０４に表示する画像のメニューを有する。具体的には、モンタージュ画像とＩＡ画像とを並列に表示するメニュー、モンタージュ画像とＩＡ画像とを各々を分割し合成して表示するメニュー、モンタージュ画像とモンタージュ画像を、３次元モデルを用いて３次元モデルに投影した３次元画像とを並列に表示するメニューを有する。図１４には、モンタージュ画像とＩＡ画像とを並列に表示するメニューが選択された場合の様子が示されている。
　一方、図１５には、表示切替アイコン４４０のプルダウンメニューのうち、モンタージュ画像とＩＡ画像とを分割し合成して表示するメニューが選択された場合の様子が示されている。図１５に示すように、画像表示領域４０４Ｂには、分割ラインＬＫを基準に、分割ラインＬＫよりも上側にＩＡ画像（動画又は静止画）ＧＡが表示され、分割ラインＬＫよりも下側にモンタージュ画像ＧＭが表示される。分割ラインＬＫは、アイコンＩを上下に移動することにより、ＩＡ画像ＧＡとモンタージュ画像ＧＭとの表示される領域が変更される。例えば、アイコンＩが上側に移動すると、分割ラインＬＫが上側に移動し、ＩＡ画像ＧＡの内、上側に移動した分割ラインＬＫから上側の部分のみが表示され、モンタージュ画像ＧＭの、分割ラインＬＫの元の位置と分割ラインＬＫの現在の位置との間の部分も表示される。
　また、図１６には、表示切替アイコン４４０のプルダウンメニューにおいて、モンタージュ画像と３次元画像とを並列に表示するメニューが選択された場合の様子が示されている。図１６に示すように、画像表示領域４０４Ｃには、モンタージュ画像表示領域４５０と、モンタージュ画像を、眼球の３次元モデルに投影した３次元画像を表示する３次元画像表示領域４７０とを有する。なお、モンタージュ画像を被検眼の３次元モデルに投影する前に、眼球の３次元モデルを、サーバ１４０から受信した患者の眼軸長のデータに基づいて補正してもよい。
　なお、表示切替アイコン４４０のプルダウンメニューに全てを表示するメニューを追加し、１つの画面に、図１４から図１６の画像表示領域４０４Ａから４０４Ｃの２つ以上を同時又は順に連続して表示するようにしてもよい。
　３次元モデルには、二値化後のモンタージュ画像ＧＭに代えて、二値化前のＵＷＦ上方視眼底画像とＵＷＦ下方視眼底画像を合成したモンタージュ画像を表示するようにしてもよい。
　以上説明したように、本実施形態では、ＵＷＦ上方視画像とＵＷＦ下方視画像とを合成してモンタージュ画像を生成するので、眼科医は、眼底赤道部や眼底周辺部の領域が撮影されたモンタージュ画像により、患者の被検眼をより正確に診断することができる。特に、瞼、まつ毛、装置の映り込みなどが無いモンタージュ画像を生成することができる。よって、眼科医は、上下の各渦静脈の状態を把握できる。さらに、眼底赤道部や眼底周辺部の病変があるか否かの診断を行うことができる。さらに、眼底赤道部や眼底周辺部の病変だけでなく、眼底中心部の病変の予兆も上下の各渦静脈の状態から推定することもできる。
　次に、種々の変形例を説明する。
（第１の変形例）
　上記実施の形態では、モンタージュ画像作成処理をサーバ１４０のＣＰＵ２６２が実行するようにしているが、本開示の技術は、これに限定されない。例えば、眼科装置１１０のＣＰＵ２２が実行したり、ビューワ１５０のＣＰＵが実行したり、更には、ネットワーク１３０に接続された他のコンピュータのＣＰＵが実行したりしてもよい。
（第２の変形例）
　上記実施の形態では、ＵＷＦ上方視眼底画像及びＵＷＦ下方視眼底画像は、次のように取得されている。即ち、上固視灯９２Ｕが点灯され、患者の視線が上方に向いた状態で、被検眼１２のＵＷＦ上方視眼底画像ＧＵが取得され、下固視灯９２Ｄが点灯され、患者の視線が下方に向いた状態で、被検眼１２ＵＷＦ下方視眼底画像ＧＤが取得される。本開示の技術はこれに限定されない。例えば、ＳＬＯユニット４０を、被検眼１２の瞳孔中心を中心に、上下方向に回動可能に構成する。
　上方画像を取得する際、ＳＬＯユニット４０を、被検眼１２の瞳孔中心を中心に、下側に回動させる。この状態で、ＳＬＯユニット４０が、下側から上側に向けて、被検眼１２の瞳孔を介して眼底の画像を取得する。この場合、更に、上固視灯９２Ｕを点灯させ、患者の視線を上方に向かせるようにしてもよい。
　下方画像を取得する際、ＳＬＯユニット４０を、被検眼１２の瞳孔中心を中心に、上側に回動させる。この状態で、ＳＬＯユニット４０が、上側から下側に向けて、被検眼１２の瞳孔を介して眼底の画像を取得する。この場合、更に、下固視灯９２Ｄを点灯させ、患者の視線を下方に向かせるようにしてもよい。
　更に、患者の視線を上下方向に向かせたり、ＳＬＯユニット４０を、被検眼１２の瞳孔中心を中心に、上下方向に回動させたりすることに限定されない。
　例えば、右斜め上、左斜め上、右斜め下、左斜め下側に、被検眼１２の視線を導く各固視灯を設け、各視線の状態で眼底画像を取得し、これらを合成してモンタージュ画像を生成するようにしてもよい。
　更に、ＳＬＯユニット４０を、被検眼１２の瞳孔中心を中心に、右斜め上、左斜め上、右斜め下、左斜め下側から、被検眼１２の瞳孔を介して眼底を撮影できるように、回動可能に構成する。ＳＬＯユニット４０が各方法から眼底を撮影することにより、各方向にＵＷＦ眼底画像を取得し、これらを合成してモンタージュ画像を生成するようにしてもよい。この場合、更に、右斜め上、左斜め上、右斜め下、左斜め下側に配置された各固視灯を点灯させ、被検眼１２の視線を各方向に導くようにしてもよい。
（第３の変形例）
　サーバ１４０で生成されたモンタージュ画像を、渦静脈の可視化だけでなく、眼底周辺部（眼底赤道部）の網膜の構造解析、血管解析、あるいは異常領域（病変部）を検出する処理を行うようにしてもよい。また、生成されたモンタージュ画像を用いて、糖尿病網膜症、加齢性黄斑変性など眼底中心部に生じる病変（あるいは発病する可能性）を推定するようにしてもよい。モンタージュ画像の眼底周辺部（眼底赤道部）の画像情報を加味することにより、眼底中心部の画像を用いた画像解析より、眼底周辺部の情報も考慮されて病変の推定を行うことができる。
また、構造解析や血管解析、あるいは病変の推定などの解析はＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）で解析するようにしてもよい。
眼底周辺部（眼底赤道部）の網膜の構造解析、血管解析、あるいは異常領域（病変部）を検出する処理は、渦静脈解析部１４２５がその機能を担ってもよいし、別の図示せぬ画像解析部によって処理されるようにしてもよい。
（第４の変形例）
　上記実施の形態では、モンタージュ画像作成処理をサーバ１４０のＣＰＵ２６２が実行し、位置合わせ処理を自動で行っている。モンタージュ画像作成処理をビューワ１５０で行う場合は、ＵＷＦ上方視眼底画像の特徴点群１の抽出と、ＵＷＦ下方視眼底画像の特徴点群２の抽出とを、ユーザが手動で行うようにしてもよい。
　具体的には、図１１のステップ３４０、３４２に代えて、以下の処理が実行される。
　サーバ１４０からビューワ１５０に、ＵＷＦ上方視眼底画像ＧＵ及びＵＷＦ下方視眼底画像ＧＤの各画像データを送信する。
　上記各画像データを受信したビューワ１５０は、ＵＷＦ上方視眼底画像ＧＵ及びＵＷＦ下方視眼底画像ＧＤの各々において黄斑ＭＵ、ＭＤと視神経乳頭ＯＮＨＵ、ＯＮＨＤとを検出する。ビューワ１５０は、図１７に示すように、ＵＷＦ上方視眼底画像ＧＵにおける黄斑ＭＵと視神経乳頭ＯＮＨＵとを結ぶ線分と、ＵＷＦ下方視眼底画像ＧＤにおける黄斑ＭＤと視神経乳頭ＯＮＨＤとを結ぶ線分が、線分ＬＧＭとして一致するように、ＵＷＦ上方視眼底画像ＧＵ及びＵＷＦ下方視眼底画像ＧＤの位置を合わせ且つ並列に表示する。ビューワ１５０は、線分ＬＧＭから上側及び下側に、所定距離離間した位置に、線分ＬＧＭと平行な特徴点抽出領域の上限ＬＵ及び特徴点抽出領域の下限ＬＤを設定する。
　ユーザは、上限ＬＵと下限ＬＤとの間のＵＷＦ上方視眼底画像ＧＵから特徴点群１を設定する。そしてユーザは特徴点群１に対応する特徴点群２を、上限ＬＵと下限ＬＤとの間のＵＷＦ下方視眼底画像ＧＤから抽出する。ビューワ１５０は、特徴点群１及び特徴点群２の位置の各データをサーバ１４０に送信する。特徴点群１及び特徴点群２の位置の各データを受信したサーバ１４０の位置合わせ部１４２１は、ステップ３４４（図１１）で、受信した特徴点群１と特徴点群２を用いて上記射影変換行列を作成する。
（その他の変形例）
　以上説明したモンタージュ画像生成処理、モンタージュ画像表示処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
　また、眼科装置１１０は被検眼１２の眼球中心１７０を基準位置として内部照射角が２００°の領域（被検眼１２の眼球の瞳孔を基準とした外部照射角では１６７°）を撮影する機能を持つが、この画角に限らない。内部照射角が２００度以上（外部照射角が１６７度以上１８０度以下）であってもよい。
　さらに、内部照射角が２００度未満（外部照射角が１６７度未満）のスペックであってもよい。例えば、内部照射角が約１８０度（外部照射角が約１４０度）、内部照射角が約１５６度（外部照射角が約１２０度）、内部照射角が約１４４度（外部照射角が約１１０度）などの画角でも良い。数値は一例であり、渦静脈などが存在する眼底周辺部と眼底中心部を一括で撮影できる画角であれば良い。
　以上説明した各例では、コンピュータを利用したソフトウェア構成により断層画像生成処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等のハードウェア構成のみによって、断層画像生成処理が実行されるようにしてもよい。断層画像生成処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。

Claims (10)

  1. 　被検眼の視線を第１方向に向けた状態で撮影した第１方向眼底画像と、前記被検眼を前記第１方向と異なる第２方向に向けた状態で撮影した第２方向眼底画像と、を取得することと、
    　前記第１方向眼底画像と前記第２方向眼底画像とを合成することにより、眼底周辺部の解析を行うための合成画像を生成することと、
    　前記合成画像を出力することと、
    　を含む画像処理方法。
  2. 　前記第１方向は、被検眼を上方視させる方向であり、
    　前記第２方向は、被検眼を下方視させる方向である、
    　ことを特徴とする請求項１に記載の画像処理方法。
  3. 　前記第１方向眼底画像と前記第２方向眼底画像とは、
    　少なくとも、眼底後極部から眼底周辺部の範囲を一括で撮影できる画角を有する撮影装置で撮影されたことを特徴とする請求項１または２に記載の画像処理方法。
  4. 　前記眼底周辺部には眼底赤道部が含まれていることを特徴とする請求項１から３の何れか１項に記載の画像処理方法。
  5. 　前記第１方向眼底画像と前記第２方向眼底画像とは、
    　被検眼の眼球中心を基準とした画角が２００°以上である撮影装置で撮影されたことを特徴とする請求項１から４の何れか１項に記載の画像処理方法。
  6. 　前記第１方向眼底画像は、すくなくとも、視神経乳頭及び上側の渦静脈を含む眼底上側の眼底周辺領域を撮影した眼底画像であり、
    　前記第２方向眼底画像は、すくなくとも、前記視神経乳頭及び下側の渦静脈を含む下側の眼底周辺領域を撮影した眼底画像である、
    　ことを特徴とする請求項１から５の何れか１項に記載の画像処理方法。
  7. 　前記合成画像を用いて眼底周辺部の解析処理を行うことと、をさらに含むことを特徴とする請求項１から６の何れか１項に記載の画像処理方法。
  8. 　前記合成画像を用いて渦静脈の解析処理を行うことと、をさらに含むことを特徴とする請求項１から６の何れか１項に記載の画像処理方法。
  9. 　被検眼を第１方向に向けた状態で撮影した第１方向眼底画像と、前記被検眼を前記第１方向と異なる第２方向に向けた状態で撮影した第２方向眼底画像と、を取得する取得部と、
    　前記第１方向眼底画像と前記第２方向眼底画像とを合成することにより、前記被検眼の眼底周辺部の解析を行うための合成画像を生成する生成部と、
    　前記合成画像を出力する出力部と、
    　を備える画像処理装置。
  10. 　コンピュータを、
    　被検眼を第１方向に向けた状態で撮影した第１方向眼底画像と、前記被検眼を前記第１方向と異なる第２方向に向けた状態で撮影した第２方向眼底画像と、を取得する取得部、
    　前記第１方向眼底画像と前記第２方向眼底画像とを合成することにより、前記被検眼の眼底周辺部の解析を行うための合成画像を生成する生成部、及び
    　前記合成画像を出力する出力部
    　として機能させる画像処理プログラム。
PCT/JP2019/021868 2019-05-31 2019-05-31 画像処理方法、画像処理装置、及び画像処理プログラム WO2020240867A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2019/021868 WO2020240867A1 (ja) 2019-05-31 2019-05-31 画像処理方法、画像処理装置、及び画像処理プログラム
US17/615,046 US20220230307A1 (en) 2019-05-31 2019-05-31 Image processing method, image processing device, image processing program
JP2021522602A JPWO2020240867A1 (ja) 2019-05-31 2019-05-31
JP2023097994A JP2023120308A (ja) 2019-05-31 2023-06-14 画像処理方法、画像処理装置、及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/021868 WO2020240867A1 (ja) 2019-05-31 2019-05-31 画像処理方法、画像処理装置、及び画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2020240867A1 true WO2020240867A1 (ja) 2020-12-03

Family

ID=73553161

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/021868 WO2020240867A1 (ja) 2019-05-31 2019-05-31 画像処理方法、画像処理装置、及び画像処理プログラム

Country Status (3)

Country Link
US (1) US20220230307A1 (ja)
JP (2) JPWO2020240867A1 (ja)
WO (1) WO2020240867A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111989030B (zh) * 2018-04-18 2024-03-01 株式会社尼康 图像处理方法、程序及图像处理装置
CN116894805B (zh) * 2022-03-29 2024-03-19 山东第一医科大学附属省立医院(山东省立医院) 基于广角眼底图像的病变特征的识别系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006504493A (ja) * 2002-11-01 2006-02-09 イノベオン・コーポレイション 取得した画像の処理に基づく眼底画像の自動発生
US20110279776A1 (en) * 2010-03-05 2011-11-17 Spaide Richard R Systems and methods for widefield mapping of the retina

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04336677A (ja) * 1991-05-14 1992-11-24 Canon Inc 画像処理方法及びこれを用いたシステム
JP4413316B2 (ja) * 1999-06-29 2010-02-10 株式会社トプコン 医用画像合成処理装置及び記録媒体
US8452372B2 (en) * 2010-10-13 2013-05-28 Gholam Peyman System for laser coagulation of the retina from a remote location
TW201406707A (zh) * 2012-05-04 2014-02-16 Acucela Inc 用以治療糖尿病性視網膜病變及其他眼部疾病之方法
WO2017180965A1 (en) * 2016-04-15 2017-10-19 The Regents Of The University Of California Retinal cellscope apparatus
US10512395B2 (en) * 2016-04-29 2019-12-24 Carl Zeiss Meditec, Inc. Montaging of wide-field fundus images
JP6821519B2 (ja) * 2017-06-21 2021-01-27 株式会社トプコン 眼科装置、眼科画像処理方法、プログラム、及び記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006504493A (ja) * 2002-11-01 2006-02-09 イノベオン・コーポレイション 取得した画像の処理に基づく眼底画像の自動発生
US20110279776A1 (en) * 2010-03-05 2011-11-17 Spaide Richard R Systems and methods for widefield mapping of the retina

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS, INTERNET ARCHIVE WAYBACK MACHINE, 12 April 2012 (2012-04-12), Retrieved from the Internet <URL:http://web.archive.org/web/20120412041531/http://www.med.teikyo-u.ac.jp/~ortho/med/ana/Photo_Panorama.html> *

Also Published As

Publication number Publication date
JP2023120308A (ja) 2023-08-29
US20220230307A1 (en) 2022-07-21
JPWO2020240867A1 (ja) 2020-12-03

Similar Documents

Publication Publication Date Title
JP5563087B2 (ja) 視野検査システム
WO2013164943A1 (ja) 眼科装置
CN111885954B (zh) 图像处理方法、存储介质及眼科装置
JP2023009530A (ja) 画像処理方法、画像処理装置、及びプログラム
JP2023120308A (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
WO2019240148A1 (ja) スリットランプ顕微鏡及び眼科システム
WO2019240151A1 (ja) スリットランプ顕微鏡及び眼科システム
JP2022184979A (ja) 眼科装置
WO2019240149A1 (ja) スリットランプ顕微鏡及び眼科システム
JP6411728B2 (ja) 眼科観察装置
WO2021074960A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
CN111989030A (zh) 图像处理方法、程序及图像处理装置
JP6853690B2 (ja) 眼科撮影装置
JP2018023818A (ja) 眼科観察装置
US11954872B2 (en) Image processing method, program, and image processing device
JPWO2019203308A1 (ja) 画像処理方法、プログラム、画像処理装置、及び眼科システム
JP7472914B2 (ja) 画像処理方法、画像処理装置、及びプログラム
WO2022181729A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
WO2021111840A1 (ja) 画像処理方法、画像処理装置、及びプログラム
JP7071469B2 (ja) 情報処理装置及び情報処理方法
JP2018023816A (ja) 眼科観察装置
JP7416083B2 (ja) 画像処理方法、画像処理装置、およびプログラム
WO2022177028A1 (ja) 画像処理方法、画像処理装置、及びプログラム
JP6404431B2 (ja) 眼科観察装置
WO2020240629A1 (ja) データ作成方法、データ作成装置、及びデータ作成プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19930805

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021522602

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19930805

Country of ref document: EP

Kind code of ref document: A1