WO2019203314A1 - 画像処理方法、プログラム、及び画像処理装置 - Google Patents

画像処理方法、プログラム、及び画像処理装置 Download PDF

Info

Publication number
WO2019203314A1
WO2019203314A1 PCT/JP2019/016657 JP2019016657W WO2019203314A1 WO 2019203314 A1 WO2019203314 A1 WO 2019203314A1 JP 2019016657 W JP2019016657 W JP 2019016657W WO 2019203314 A1 WO2019203314 A1 WO 2019203314A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
fundus
tilt
image processing
sight
Prior art date
Application number
PCT/JP2019/016657
Other languages
English (en)
French (fr)
Inventor
真梨子 廣川
泰士 田邉
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to JP2020514441A priority Critical patent/JPWO2019203314A1/ja
Publication of WO2019203314A1 publication Critical patent/WO2019203314A1/ja
Priority to US17/071,547 priority patent/US11954872B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1241—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes specially adapted for observation of ocular blood flow, e.g. by fluorescein angiography
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Definitions

  • the technology of the present disclosure relates to an image processing method, a program, and an image processing apparatus.
  • Japanese Unexamined Patent Application Publication No. 2009-112617 discloses a panoramic fundus image synthesis apparatus and method technique.
  • the image processing method is a method of photographing the fundus with a reference image obtained by photographing the fundus with the first line of sight and a second line of sight different from the first line of sight. Designating corresponding points for each of the obtained first images, calculating a projective transformation matrix for projectively transforming the first image into the reference image based on the corresponding points, and the projection Projectively transforming the first image using a transformation matrix.
  • the program according to the second aspect of the technology of the present disclosure causes a computer to execute the image processing method according to the first aspect.
  • An image processing apparatus shoots the fundus with a reference image obtained by photographing the fundus with the first line of sight and a second line of sight different from the first line of sight. Designating corresponding points to each of the obtained first images, calculating a projective transformation matrix for projectively transforming the first image into the reference image based on the corresponding points; An image processing unit that executes projective transformation of the first image using a projective transformation matrix;
  • FIG. 1 is a block diagram of an ophthalmic system 100.
  • FIG. 1 is a schematic configuration diagram showing an overall configuration of an ophthalmologic apparatus 110.
  • FIG. 4 is a block diagram of an electrical configuration of a management server 140.
  • FIG. 3 is a block diagram of functions of a CPU 162 of a management server 140.
  • FIG. FIG. 5 is a sequence diagram showing the operation of the ophthalmic system 100.
  • FIG. 3 is a diagram showing a fundus imaging range on a plane parallel to the vertical direction passing through the pupil and the center of the eyeball when the optical axis of the eye to be examined is coincident with the optical axis of the ophthalmic system.
  • FIG. 3 is a diagram showing a fundus imaging range on a plane parallel to the horizontal direction passing through the pupil and the center of the eyeball when the optical axis of the eye to be examined is coincident with the optical axis of the ophthalmic system. It is the figure which showed the imaging
  • FIG. 2 It is a flowchart of the analysis processing program of step 226 of FIG. It is a figure which shows the display screen displayed when the individual display icon 362 in the pre-processing folder 360 is operated in the analysis result screen 300 of the image viewer 150. It is a figure which shows the display screen displayed when the montage display icon 364 in the pre-processing folder 360 is operated in the analysis result screen 300 of the image viewer 150. FIG. It is a figure which shows the display screen displayed when the analysis folder 370 is operated in the analysis result screen 300 of the image viewer 150.
  • FIG. It is a flowchart of the VV fixed value calculation program performed between Step 256 and Step 258 of Drawing 7 in the 2nd modification.
  • SLO scanning laser ophthalmoscope
  • an ophthalmic system 100 includes an ophthalmologic apparatus 110, an axial length measuring device 120, a management server apparatus (hereinafter referred to as “management server”) 140, and an image display apparatus (hereinafter referred to as “image viewer”). 150).
  • the ophthalmologic apparatus 110 acquires a fundus image.
  • the axial length measuring device 120 measures the axial length of the patient.
  • the management server 140 stores a plurality of fundus images and axial lengths obtained by photographing the fundus of a plurality of patients by the ophthalmologic apparatus 110 in correspondence with the patient ID.
  • the image viewer 150 displays the fundus image acquired by the management server 140.
  • the image viewer 150 is an example of an “image processing device” according to the technique of the present disclosure.
  • the ophthalmologic apparatus 110, the axial length measuring device 120, the management server 140, and the image viewer 150 are connected to each other via the network 130.
  • testing devices such as visual field measurement and intraocular pressure measurement
  • diagnostic support devices that perform image analysis using artificial intelligence are connected via the network 130 to the ophthalmic device 110, the axial length measuring device 120, and the management.
  • the server 140 and the image viewer 150 may be connected.
  • the ophthalmologic apparatus 110 includes a control unit 20, a display / operation unit 30, and an SLO unit 40, and images the posterior eye portion (fundus) of the eye 12 to be examined. Further, an OCT unit (not shown) for acquiring fundus OCT data may be provided.
  • the control unit 20 includes a CPU 22, a memory 24, a communication interface (I / F) 26, and the like.
  • the display / operation unit 30 is a graphic user interface that displays an image obtained by shooting or receives various instructions including an instruction for shooting, and includes a display 32 and an input / instruction device 34.
  • the SLO unit 40 includes a light source 42 for G light (green light: wavelength 530 nm), a light source 44 for R light (red light: wavelength 650 nm), and a light source 46 for IR light (infrared light (near infrared light): wavelength 800 nm). ing.
  • the light sources 42, 44, 46 emit respective lights as instructed by the control unit 20.
  • the SLO unit 40 includes optical systems 50, 52, 54, and 56 that guide light reflected from or transmitted through the light sources 42, 44, and 46 to one optical path.
  • the optical systems 50 and 56 are mirrors, and the optical systems 52 and 54 are beam splitters.
  • the G light is reflected by the optical systems 50 and 54, the R light is transmitted through the optical systems 52 and 54, and the IR light is reflected by the optical systems 52 and 56 and guided to one optical path.
  • the SLO unit 40 includes a wide-angle optical system 80 that scans light from the light sources 42, 44, and 46 across the posterior segment (fundus) of the eye 12 to be examined in a two-dimensional manner.
  • the SLO unit 40 includes a beam splitter 58 that reflects G light and transmits other light than the G light in the light from the posterior segment (fundus) of the eye 12 to be examined.
  • the SLO unit 40 includes a beam splitter 60 that reflects R light and transmits light other than the R light out of the light transmitted through the beam splitter 58.
  • the SLO unit 40 includes a beam splitter 62 that reflects IR light out of the light transmitted through the beam splitter 60.
  • the SLO unit 40 detects the G light detecting element 72 that detects the G light reflected by the beam splitter 58, the R light detecting element 74 that detects the R light reflected by the beam splitter 60, and the IR light reflected by the beam splitter 62.
  • IR light detecting element 76 is provided.
  • the wide-angle optical system 80 includes an X-direction scanning device 82 composed of a polygon mirror that scans light from the light sources 42, 44, and 46 in the X direction, and a Y-direction scanning device 84 composed of a galvanometer mirror that scans in the Y direction. And an optical system 86 that includes a slit mirror and an elliptical mirror (not shown) and makes the scanned light have a wide angle.
  • the fundus viewing angle (FOV: Field of View) can be set larger than that of the conventional technique, and a fundus region wider than that of the conventional technique can be imaged.
  • the external light irradiation angle from the outside of the subject eye 12 is approximately 120 degrees (substantially by irradiating the fundus of the subject eye 12 with scanning light with the center O of the eyeball of the subject eye 12 as a reference position).
  • a wide range of fundus area of about 200 ° with an internal light irradiation angle that can be photographed in a wide range can be photographed.
  • the optical system 86 may have a configuration using a plurality of lens groups instead of the slit mirror and the elliptical mirror.
  • Each scanning device of the X direction scanning device 82 and the Y direction scanning device 84 may use a two-dimensional scanner configured using a MEMS mirror.
  • the ophthalmologic apparatus 110 is a fixation target 92U, 92D composed of a light-emitting device (for example, LED) that is turned on so as to direct the patient's line of sight at a position shifted from the optical axis vertically and horizontally around the optical system 86. , 92L, 92R (see also FIGS. 6A to 6F) and a fixation target controller 90 that is controlled by the control unit 20 and lights the fixation targets 92U, 92D, 92L, 92R.
  • a fixation target controller 90 that is controlled by the control unit 20 and lights the fixation targets 92U, 92D, 92L, 92R.
  • the horizontal direction is the “X direction”
  • the vertical direction to the horizontal plane is the “Y direction”
  • the center of the pupil of the anterior eye portion of the eye 12 to be tested is connected to the center of the eyeball.
  • Let the direction be the “Z direction”. Therefore, the X direction, the Y direction, and the Z direction are perpendicular to each other.
  • a color fundus image is obtained by photographing the fundus of the eye 12 simultaneously with G light and R light. More specifically, the control unit 20 controls the light sources 42 and 44 so as to emit light simultaneously, and the G light and the R light are scanned by the wide-angle optical system 80 over the fundus of the eye 12 to be examined. Then, the G light reflected from the fundus of the eye 12 to be examined is detected by the G light detection element 72, and image data of the second fundus image (G color fundus image) is generated by the image processing unit 182.
  • the R light reflected from the fundus of the eye 12 to be examined is detected by the R light detection element 74, and image data of the first fundus image (R color fundus image) is generated by the CPU 22 of the ophthalmologic apparatus 110.
  • image data of the IR fundus image is generated by the CPU 22 of the ophthalmologic apparatus 110.
  • the axial length measuring device 120 transmits the axial length measured in the first mode or the second mode to the management server 140.
  • the axial length may be measured in the first mode and the second mode, and in this case, the average of the axial length measured in both modes is transmitted to the management server 140 as the axial length.
  • the management server 140 includes a control unit 160 and a display / operation unit 170.
  • the control unit 160 includes a computer including a CPU 162, a memory 164 as a storage device, a communication interface (I / F) 166, and the like.
  • the display / operation unit 170 is a graphic user interface that displays images and accepts various instructions, and includes a display 172 and an input / instruction device 174 such as a touch panel.
  • An analysis processing program is stored in the memory 164 of the image viewer 150.
  • the analysis processing program is an example of the “program” of the technology of the present disclosure.
  • the analysis processing program has an analysis processing function, a display control function, and a processing function.
  • the CPU 162 executes the analysis processing program having these functions, the CPU 162 functions as an image processing unit 182, a display control unit 184, and a processing unit 186 as shown in FIG.
  • step 202 the doctor instructs the ophthalmic apparatus 110 to start photographing the fundus of the eye 12 via the input / instruction device 34.
  • step 204 the ophthalmologic apparatus 110 captures the fundus (image 1) of the eye 12 to be examined by the SLO unit 40.
  • step 204 the fixation targets 92U, 92D, 92L, and 92R are not turned on. Therefore, in step 204, as shown in FIGS.
  • the fundus is imaged in a state in which the optical axis of the eye 12 to be examined is coincident with the optical axis of the ophthalmic system 100.
  • the fundus of the eye 12 to be examined is simultaneously photographed with G light and R light, and a first fundus image (R color fundus image) and a second fundus image (G color fundus image) are obtained.
  • the image 1 is obtained as a color fundus image from the first fundus image (R color fundus image) and the second fundus image (G color fundus image).
  • the range from the upper position U0 to the lower position D0 in the up and down direction and the left position L0 to the right position R0 in the left and right direction is taken, and the central image G0 (see FIG. 6A) is taken. 8), the image 1 is acquired.
  • the optical axis in a state where the optical axis of the eye 12 to be examined coincides with the optical axis of the ophthalmic system 100 is an example of the “first line of sight” of the technology of the present disclosure, and the central image G0 It is an example of a “reference image”.
  • the ophthalmologic apparatus 110 transmits the image 1 to the management server 140 in the next step 206.
  • the patient's eye to be examined is positioned so that the patient's eye can be photographed by the ophthalmic apparatus 110.
  • the doctor instructs the ophthalmic apparatus 110 to start photographing via the input / instruction device 34.
  • the ophthalmologic apparatus 110 captures the image 2.
  • the fundus of the eye 12 to be examined is photographed as described above with respect to each of the patient's lines of sight vertically and horizontally. As a result, a tilt image in the left direction (GL (see also FIG. 8)), a tilt image in the upward direction (GU), a tilt image in the right direction (GR), and a tilt image in the downward direction (GD) are obtained.
  • the left-right direction is based on the ophthalmic apparatus 110. Therefore, the tilt image (GL) in the left direction is an image obtained by photographing the fundus in a state of facing the right direction when viewed from the patient, and the tilt image (GR) in the right direction is tilted left when viewed from the patient. It is an image obtained by photographing the fundus while facing the direction.
  • the fixation target 92U is turned on, whereby the patient's line of sight is directed obliquely upward as shown in FIG. 6B.
  • the fundus is photographed. Since the patient's line of sight is directed obliquely upward, the image is taken up to the upper position U1 above the upper position U0. Therefore, in the upward tilt image (GU), there is an image of the surface MU01 that is not in the central image G0.
  • the fixation target 92D is turned on, whereby the patient's line of sight is directed diagonally downward as shown in FIG. 6C.
  • the fundus is photographed. Since the patient's line of sight is directed obliquely downward, the image is taken up to the lower position D1 below the lower position D0. Therefore, in the downward tilt image (GD), there is an image of the surface MD02 that is not in the central image G0.
  • the fixation target 92L is turned on. As a result, as shown in FIG. ). In this state, the fundus is photographed. Since the patient's line of sight is directed diagonally to the left, the left side position L1 on the left side of the left position L0 is photographed. Therefore, in the tilt image (GL) in the left direction, there is an image of the plane ML01 that is not in the central image G0.
  • the fixation target 92R is turned on.
  • the patient's line of sight is diagonally right (leftward from the patient). ).
  • the fundus is photographed. Since the patient's line of sight is directed diagonally to the right, the right side position R1 on the right side of the left position R0 is photographed. Therefore, in the tilt image (GR) in the right direction, there is an image of the plane MR02 that is not in the central image G0.
  • the oblique vertical / horizontal line-of-sight is an example of the “second line of sight” and the “third line of sight” of the present disclosure
  • the tilt image (GL) and the right tilt image (GR) are examples of the “first image” and the “second image” in the technology of the present disclosure.
  • the ophthalmologic apparatus 110 includes an image 2 including an upward tilt image (GU), a downward tilt image (GD), a left tilt image (GL), and a right tilt image (GR). Is transmitted to the management server 140.
  • GUI upward tilt image
  • GD downward tilt image
  • GL left tilt image
  • GR right tilt image
  • step 214 the user (such as an ophthalmologist) instructs the image viewer 150 to perform analysis processing via the input / instruction device 174.
  • step 216 the image viewer 150 instructs the management server 140 to transmit an image.
  • the management server 140 instructed to transmit the image reads the images 1 and 2 in step 218, and transmits the image data of the images 1 and 2 to the image viewer 150 in step 220.
  • the management server 140 to which the image data of the images 1 and 2 has been transmitted displays the images 1 and 2 on the display 172 in step 222. Specifically, with the center image G0 as the center, the upper side image, the lower side, the left side, and the right side of the central image G0, the upward tilt image (GU), the downward tilt image (GD), and the left tilt image. (GL) and a tilt image (GR) in the right direction are arranged.
  • step 224 the doctor determines that the center image G 0, the upward tilt image (GU), the downward tilt image (GD), the left tilt image (GL), and the right tilt image (GR). Corresponding points are indicated in each combination.
  • a user views the central image G0 and the upward tilt image (GU) displayed on the display 172, and each of the central image G0 and the upward tilt image (GU)
  • a plurality of corresponding feature points are indicated via the input / instruction device 174.
  • the feature points are, for example, a branch point of a blood vessel in the fundus and an optic disc.
  • a plurality of (for example, 12) feature points are designated.
  • the image viewer 150 receives a combination of a plurality of (for example, 12 sets) feature points between the central image G0 and the upward tilt image (GU).
  • the user (such as an ophthalmologist) has the center image G0 and the lower side tilt image (GD), the center image G0 and the left side tilt image (GL), and the center image G0 and the right side tilt image (GL).
  • a plurality of feature points are indicated via the input / instruction device 174 in the same manner as described above.
  • the image viewer 150 accepts a plurality (for example, 12 sets) of combinations of feature points for each combination.
  • the instruction of corresponding points in step 224 is not limited to being performed by a user (such as an ophthalmologist), and may be performed automatically based on the image data of the image.
  • the image processing unit 182 includes the center image G0, the upward tilt image (GU), the downward tilt image (GD), the left tilt image (GL), and the right tilt image (GR).
  • the corresponding feature points are specified by performing template matching based on the image data.
  • the image viewer 150 executes analysis processing, which will be described in detail later, in step 226, and displays the analysis result screen 300 (see FIG. 8) on the display 172 in step 228.
  • the analysis result screen 300 will be described later.
  • the analysis processing program is executed.
  • the analysis processing method shown in the flowchart of FIG. 7 is realized.
  • the analysis processing method is an example of the “image processing method” of the technology of the present disclosure.
  • the image processing unit 182 identifies the variable n for the central image G0 based on the position of the combination of the 12 corresponding points specified in the combination of the central image G0 and the tilt image n.
  • a projective transformation matrix of the image n is calculated.
  • the projective transformation matrix is a matrix that performs projective transformation on each pixel of the tilt image n so that the position of each pixel of the tilt image n is located at a corresponding position in the central image G0.
  • the image processing unit 182 performs projective transformation on the tilt image n using the projective transformation matrix calculated in step 248. As a result, a projective transformed tilt image n1 is created.
  • step 250 a reference projection point in which the reference point (for example, the center position) of the central image G0 is projected onto the tilt image n1 subjected to the projective transformation is specified.
  • step 252 the processing unit 186 determines whether or not the variable n is equal to the total number N. If the variable n is not equal to the total number N, since there is a tilt image that has not been subjected to the above processing (steps 246 to 250), the analysis processing returns to step 244. However, if the variable n is equal to the total number N, the above processing (steps 246 to 250) has been performed for all the tilt images, so the analysis processing proceeds to step 254.
  • the left side tilt image (GL), the top side tilt image (GU), the right side tilt image (GR), and the bottom side tilt image (GD) are respectively transferred to the central image G0.
  • Different projection transformation matrices are calculated.
  • Each of the left side tilt image (GL), the top side tilt image (GU), the right side tilt image (GR), and the bottom side tilt image (GD) is converted by the respective projective transformation matrices.
  • a left tilt image (GL1), an upward tilt image (GU1), a right tilt image (GR1), and a lower tilt image (GD1) are created.
  • the reference point of the center image G0 is included in the left-side tilt image (GL1), the upward-direction tilt image (GU1), the right-side tilt image (GR1), and the downward-direction tilt image (GD1).
  • a reference projection point on which (for example, the center position) is projected is specified.
  • the display control unit 184 displays the converted left-side tilt image (GL 1), upward-direction tilt image (GU 1), right-side tilt image (GR 1), and downward-direction tilt image (GD 1). Based on each reference projection point, an assembled montage image is created. Note that each of the left-side tilt image (GL1), the upward-direction tilt image (GU1), the right-side tilt image (GR1), and the downward-direction tilt image (GD1) after conversion is the first fundus image ( An R color fundus image) and a second fundus image (G color fundus image). Therefore, the montage image also includes a first fundus image (R color fundus image) and a second fundus image (G color fundus image).
  • the eye structure is such that the vitreous body is covered with a plurality of layers having different structures.
  • the plurality of layers include the retina, choroid, and sclera from the innermost side to the outer side on the vitreous side.
  • the R light passes through the retina and reaches the choroid. Therefore, the first fundus image (R color fundus image) includes information on blood vessels (retinal blood vessels) existing in the retina and information on blood vessels (choroidal blood vessels) existing in the choroid.
  • G light reaches only the retina. Therefore, the second fundus image (G color fundus image) includes information on blood vessels (retinal blood vessels) existing in the retina.
  • the display control unit 184 creates a choroidal blood vessel image from the montage image.
  • the choroidal blood vessel image is generated as follows.
  • the image processing unit 182 of the management server 140 extracts retinal blood vessels from the second fundus image (G color fundus image) by performing black hat filter processing on the second fundus image (G color fundus image) in the montage image.
  • the image processing unit 182 performs retinal blood vessels by inpainting processing using the retinal blood vessels extracted from the second fundus image (G color fundus image) from the first fundus image (R color fundus image) in the montage image. Remove.
  • processing for filling the retinal blood vessel structure of the first fundus image (R color fundus image) to the same value as the surrounding pixels is performed using the position information of the retinal blood vessels extracted from the second fundus image (G color fundus image). .
  • the image processing unit 182 performs adaptive histogram equalization processing on the first fundus image (R-color fundus image) from which the retinal blood vessel has been removed, thereby performing the first fundus oculi.
  • the choroidal blood vessels are emphasized. Thereby, a choroidal blood vessel image is obtained.
  • the generated choroidal blood vessel image is stored in the memory 164.
  • step 254 the display control unit 184 creates analysis result screen data.
  • FIG. 8 shows an analysis result screen 300.
  • the analysis result screen 300 includes an image display area 302, a patient information display area 304, and a folder display area 306.
  • the patient information display area 304 includes a patient name ID display area 342, a patient name display area 344, an age display area 346, a display area 348 for displaying information (right or left) indicating that each image shows the right eye or left eye, and eye
  • An axial length display area 350 for displaying the axial length, an imaging date display area 352, and a visual acuity display area 354 are provided.
  • the folder display area 306 includes a preprocessing folder 360 and an analysis folder 370.
  • a preprocessing folder 360 an individual display icon 362 and a montage display icon 3642 are provided.
  • the analysis folder 370 is provided with various icons.
  • the image display area 302 includes an area 322 for displaying an image before conversion, and an area 324 for displaying an image after conversion.
  • a region 322 for displaying the image before conversion includes a region 330 for displaying the central image G0, and a left side upward image (GL) centered on the region 330 on the left side, the upper side, the right side, and the lower side of the region 330.
  • Regions 330n1 to 330n4 for displaying an upward tilt image (GU), a right tilt image (GR), and a downward tilt image (GD) are arranged.
  • the left side tilt image (GL) includes an image from the left position L0 to the left side position L1.
  • the upward tilt image (GU) includes images up to the upper position U1 above the upper position U0.
  • the tilt image (GR) in the right direction includes images from the left position R0 to the right side position R1.
  • the downward tilt image (GD) includes an image from the lower position D0 to the lower position D1 below.
  • An area 324 for displaying the converted image includes an area 330 for displaying the central image G0, and a left-side tilt image after conversion on the left side, the upper side, the right side, and the lower side of the area 330 with the area 330 as the center.
  • Regions 340n1 to 340n4 for displaying (GL1), an upward tilt image (GU1), a rightward tilt image (GR1), and a downward tilt image (GD1) are arranged.
  • the left position L1 of the left side tilt image (GL) is located at the position L11 in the converted left direction tilt image (GL1).
  • the upper position U1 of the upward tilt image (GU1) is located at the position U11 in the converted upward tilt image (GU1).
  • the right position R1 of the right side tilt image (GR1) is located at the position R11 in the right side tilt image (GR1) after conversion.
  • the lower position D1 of the downward tilt image (GD1) is located at the position D11 in the converted downward tilt image (GD1).
  • An icon or button for instructing generation of an image to be described later is displayed on the display screen to be described later of the image viewer 150.
  • a user such as an ophthalmologist
  • clicks an icon or the like an instruction signal corresponding to the clicked icon or the like is transmitted from the image viewer 150 to the management server 140.
  • the management server 140 that has received the instruction signal from the image viewer 150 generates an image corresponding to the instruction signal, and transmits the image data of the generated image to the image viewer 150.
  • the image viewer 150 that has received the image data from the management server 140 displays an image on the display based on the received image data.
  • the display screen generation processing in the management server 140 is performed by a display screen generation program operating on the CPU 162.
  • the image display area 302 is changed to the content shown in FIG.
  • the area 322 for displaying the image before conversion in the image display area 302 has the same contents as the area 322 in FIG.
  • the area 324 for displaying the converted image has an area 380 for displaying the montage image G01 created in step 254.
  • the montage image G01 is a center image G0 and a left side tilt image (GL1) after conversion on the left side of the center image G0, except for the center image G0, and an upward tilt image (GU1) and a downward direction image.
  • a portion common to each of the tilt images (GD1) has a portion ML011 separated by a central line of the common portion.
  • the montage image G01 is an upper side tilt image (GU1) after the transformation, except for the center image G0, and the left side tilt image (GL1) and the right side tilt image (GR1).
  • the common part has a part MU011 separated by a central line of the common part.
  • the montage image G01 is a right-side converted tilt image (GR1) on the right side of the center image G0, except for the center image G0, and an upward tilt image (GU1) and a downward tilt image (GD1).
  • the common part has a part MR011 separated by a central line of the common part.
  • the montage image G01 is a lower side tilt image (GD1) after conversion, except the center image G0, and a right side tilt image (GR1) and a left side tilt image (GL1).
  • Each common part has a part MD011 separated by a central line of the common part.
  • the montage image G01 has the part ML011, the part MU011, the part MR011, and the part MD011 around the central image G0.
  • the montage image G01 includes the part ML011, the part MU011, the part MR011, and the part that are not included in the central image G0 obtained by matching the optical axis of the eye 12 with the optical axis of the ophthalmic system 100. Since it has MD011, more information on the fundus can be obtained.
  • FIG. 10 shows a display screen that is displayed when the analysis folder 370 is operated on the analysis result screen 300 of the image viewer 150.
  • the image display area 302 includes an area 382 for displaying an RG image and a choroidal blood vessel image 384.
  • a montage image G02 is displayed as the RG image.
  • the choroidal blood vessel image 384 the choroidal blood vessel image G03 created in step 256 is displayed.
  • a panoramic fundus image synthesizing apparatus and method technology have been disclosed.
  • a wider panoramic image cannot be generated from a plurality of fundus images obtained by photographing a wide range of fundus regions.
  • a wider panoramic image (montage image) can be generated from four fundus images obtained by photographing the fundus while changing the line of sight up, down, left and right.
  • the projective transformation matrix can be calculated, and each pixel of the first image can be projectively transformed using the projective transformation matrix.
  • a wider panoramic image (montage image) is generated from four fundus images obtained by photographing the fundus while changing the line of sight up, down, left and right, but the technology of the present disclosure is limited to this.
  • 4 obtained by photographing the fundus while changing the line of sight in another direction for example, diagonally upward to the right, diagonally upward to the left, diagonally downward to the right, and diagonally downward to the left.
  • a wider panoramic image may be generated from two fundus images.
  • the fundus images obtained by photographing the fundus while changing the line of sight are not limited to four or eight, but are one or more.
  • a choroidal blood vessel image is created (step 256 in FIG. 7), but the technique of the present disclosure is not limited to this.
  • further processing may be executed between step 256 and step 258 of FIG.
  • FIG. 11 shows a flowchart of a VV quantitative value calculation program executed between step 256 and step 258 of FIG. 7 in the second modification.
  • the image processing unit 182 identifies a position of a vortex vein (hereinafter referred to as “VV”) from the choroidal blood vessel image created in step 256.
  • VV vortex vein
  • the image processing unit 182 sets the movement direction (blood vessel running direction) of each choroidal blood vessel in the choroidal blood vessel image G03 in the montage image. Specifically, first, the image processing unit 182 executes the following processing for each pixel of the choroidal blood vessel image G03. In other words, the image processing unit 182 sets an area (cell) centered on the pixel for the pixel, and creates a histogram in the gradient direction of luminance at each pixel in the cell. Next, the image processing unit 182 sets the gradient direction having the smallest count in the histogram in each cell as the movement direction in the pixels in each cell. This gradient direction corresponds to the blood vessel traveling direction. The gradient direction with the smallest count is the blood vessel running direction for the following reason.
  • the luminance gradient is small in the blood vessel traveling direction, while the luminance gradient is large in the other directions (for example, the luminance difference is large between blood vessels and other than blood vessels). Therefore, when the histogram of the luminance gradient of each pixel is created, the count with respect to the blood vessel traveling direction is reduced. With the above processing, the blood vessel traveling direction in each pixel of the choroidal blood vessel image is set.
  • the image processing unit 182 estimates the VV position. Specifically, the image processing unit 182 performs the following processing for each of the L positions. That is, the image processing unit 182 acquires the blood vessel traveling direction at the first position (any of L), moves the particles by a predetermined distance along the acquired blood vessel traveling direction, and again at the moved position, The blood vessel traveling direction is acquired, and the particles are moved by a predetermined distance along the acquired blood vessel traveling direction. In this way, the movement of a predetermined distance along the blood vessel traveling direction is repeated for a preset number of movements. The above processing is executed at all L positions. A point at which a certain number or more of particles are gathered at that time is defined as a VV position.
  • the image processing unit 182 detects the optic disc from the G fundus image in the montage image. Specifically, since the optic disc is the brightest region in the G color fundus image, the image processing unit 182 uses a region of a predetermined number of pixels having the largest pixel value in the read G color fundus image as the optic disc. To detect. The center position of the area including the brightest pixel is calculated as the coordinates where the optic nerve head is located, and stored in the memory 164. In step 272, the image processing unit 182 detects macular.
  • the image processing unit 182 detects a region of a predetermined number of pixels having the smallest pixel value in the read choroidal blood vessel image G03 as a macula.
  • the center position of the area including the darkest pixel is calculated as the coordinates where the macula is located, and stored in the memory 164.
  • step 272 the image processing unit 182 converts the VV position, the position of the optic nerve head, and the position of the macula into the left-side tilt image (GL1), the upward-direction tilt image (GU1), and the right direction.
  • the corresponding position of the tilt image (GR1) and the downward tilt image (GD1) is specified.
  • the image processing unit 182 displays the converted left-side tilt image (GL 1), upward-direction tilt image (GU 1), right-side tilt image (GR 1), and downward-direction tilt image (GD 1). , And project onto a three-dimensional (3D) eye sphere based on each reference projection point.
  • the image processing unit 182 displays the converted left-side tilt image (GL 1), upward-direction tilt image (GU 1), right-side tilt image (GR 1), and downward-direction tilt image (GD 1).
  • a VV quantitative value is calculated from the projected three-dimensional (3D) eye spherical surface.
  • the VV quantitative value calculation processing includes firstly a VV distance calculation processing and secondly a VV angle calculation processing.
  • the VV distance includes firstly the distance between the position of the optic nerve head and the VV position, and secondly, the distance between the position of the macula and the VV position.
  • On the three-dimensional (3D) eye spherical surface first, the distance between the position of the optic nerve head and the VV position, and secondly, the distance between the position of the macula and the VV position is calculated.
  • the VV angle includes an angle formed by the position of the macular-position of the optic nerve head-VV position, and an angle formed by the position of the optic nerve head-position of the macula-VV position.
  • the angle ⁇ formed by the position of the macula, the position of the optic disc, and the VV position is calculated from the equilateral projection method or the spherical trigonometry.
  • the analysis result screen data in step 258 in FIG. 7 in the second modification includes a VV quantitative value. Therefore, the VV fixed value is displayed on the display 172 of the image viewer 150.
  • ⁇ Third Modification> an example in which a fundus image with an internal light irradiation angle of about 200 degrees is acquired by the ophthalmologic apparatus 110 is described.
  • the technology of the present disclosure is not limited thereto, and for example, the internal irradiation angle is 100 degrees or less.
  • the technique of the present disclosure may also be applied to a fundus image captured by the ophthalmologic apparatus.
  • the ophthalmologic apparatus 110 captures the fundus using the SLO.
  • the technology of the present disclosure is not limited to this, and for example, the fundus may be captured by a fundus camera.
  • the ophthalmologic system 100 including the ophthalmologic apparatus 110, the axial length measuring device 120, the management server 140, and the image viewer 150 has been described as an example, but the technology of the present disclosure is not limited thereto.
  • the ocular axial length measuring device 120 may be omitted, and the ophthalmic apparatus 110 may further have the function of the axial axial length measuring device 120.
  • the ophthalmologic apparatus 110 may further have at least one function of the management server 140 and the image viewer 150.
  • the management server 140 can be omitted.
  • the analysis processing program is executed by the ophthalmologic apparatus 110 or the image viewer 150.
  • the image viewer 150 can be omitted.
  • the management server 140 may be omitted, and the image viewer 150 may execute the function of the management server 140.

Abstract

第１の画像の各画素を、射影変換行列を用いて、基準画像に射影変換する。　中央画像Ｇ０とあおり画像ｎとの組み合わせにおいて指定された１２個の対応点の組合せの位置に基づいて、中央画像Ｇ０へのあおり画像ｎの射影変換行列を算出する。算出した射影変換行列を用いて、あおり画像ｎを射影変換する。これにより、射影変換されたあおり画像ｎ１が作成される。

Description

画像処理方法、プログラム、及び画像処理装置
　本開示の技術は、画像処理方法、プログラム、及び画像処理装置に関する。
　特開２００９－１１２６１７号公報には、パノラマ眼底画像合成装置及び方法技術が開示されている。
　本開示の技術の第１の態様の画像処理方法は、第１の視線で眼底を撮影して得た基準画像と、前記第１の視線とは異なる第２の視線で前記眼底を撮影して得た第１の画像とのそれぞれに対応点を指定するステップと、前記対応点に基づいて、前記第１の画像を、前記基準画像に射影変換する射影変換行列を算出するステップと、前記射影変換行列を用いて、前記第１の画像を射影変換するステップと、を備える。
　本開示の技術の第２の態様のプログラムは、コンピュータに第１の態様の画像処理方法を実行させる。
　本開示の技術の第３の態様の画像処理装置は、第１の視線で眼底を撮影して得た基準画像と、前記第１の視線とは異なる第２の視線で前記眼底を撮影して得た第１の画像とのそれぞれに対応点を指定するするステップと、前記対応点に基づいて、前記第１の画像を、前記基準画像に射影変換する射影変換行列を算出するステップと、前記射影変換行列を用いて、前記第１の画像を射影変換するステップとを実行する画像処理部を備える。
眼科システム１００のブロック図である。 眼科装置１１０の全体構成を示す概略構成図である。 管理サーバ１４０の電気系の構成のブロック図である。 管理サーバ１４０のＣＰＵ１６２の機能のブロック図である。 眼科システム１００の動作を示すシーケンス図である。 眼科システム１００の光軸に被検眼１２の光軸が一致した場合の瞳孔及び眼球中心を通る上下方向に平行な面における眼底の撮影範囲を示した図である。 眼科システム１００を基準として被検眼１２の光軸が斜め上方向に向いた場合の瞳孔及び眼球中心を通る上下方向に平行な面における眼底の撮影範囲を示した図である。 眼科システム１００を基準として被検眼１２の光軸が斜め下方向に向いた場合の瞳孔及び眼球中心を通る上下方向に平行な面における眼底の撮影範囲を示した図である。 眼科システム１００の光軸に被検眼１２の光軸が一致した場合の瞳孔及び眼球中心を通る水平方向に平行な面における眼底の撮影範囲を示した図である。 眼科システム１００を基準として被検眼１２の光軸が斜め左方向に向いた場合の瞳孔及び眼球中心を通る水平方向に平行な面における眼底の撮影範囲を示した図である。 眼科システム１００を基準として被検眼１２の光軸が斜め右方向に向いた場合の瞳孔及び眼球中心を通る水平方向に平行な面における眼底の撮影範囲を示した図である。 図５のステップ２２６の解析処理プログラムのフローチャートである。 画像ビューワ１５０の解析結果画面３００において前処理フォルダ３６０内の個別表示アイコン３６２が操作された場合に表示される表示画面を示す図である。 画像ビューワ１５０の解析結果画面３００において前処理フォルダ３６０内のモンタージュ表示アイコン３６４が操作された場合に表示される表示画面を示す図である。 画像ビューワ１５０の解析結果画面３００において解析フォルダ３７０が操作された場合に表示される表示画面を示す図である。 第２の変形例における図７のステップ２５６とステップ２５８との間で実行するＶＶ定量値算出プログラムのフローチャートである。
　以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、以下では、説明の便宜上、走査型レーザ検眼鏡（Ｓｃａｎｎｉｎｇ　Ｌａｓｅｒ　Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）を「ＳＬＯ」と称する。
　図１を参照して、眼科システム１００の構成を説明する。図１に示すように、眼科システム１００は、眼科装置１１０と、眼軸長測定器１２０と、管理サーバ装置（以下、「管理サーバ」という）１４０と、画像表示装置（以下、「画像ビューワ」という）１５０と、を備えている。眼科装置１１０は、眼底画像を取得する。眼軸長測定器１２０は、患者の眼軸長を測定する。管理サーバ１４０は、眼科装置１１０によって複数の患者の眼底が撮影されることにより得られた複数の眼底画像及び眼軸長を、患者のＩＤに対応して記憶する。画像ビューワ１５０は、管理サーバ１４０により取得した眼底画像を表示する。
　画像ビューワ１５０は、本開示の技術の「画像処理装置」の一例である。
　眼科装置１１０、眼軸長測定器１２０、管理サーバ１４０、画像ビューワ１５０は、ネットワーク１３０を介して、相互に接続されている。
　なお、他の眼科機器（視野測定、眼圧測定などの検査機器）や人工知能を用いた画像解析を行う診断支援装置がネットワーク１３０を介して、眼科装置１１０、眼軸長測定器１２０、管理サーバ１４０、及び画像ビューワ１５０に接続されていてもよい。
　次に、図２を参照して、眼科装置１１０の構成を説明する。図２に示すように、眼科装置１１０は、制御ユニット２０、表示／操作ユニット３０、及びＳＬＯユニット４０を備え、被検眼１２の後眼部（眼底）を撮影する。さらに、眼底のＯＣＴデータを取得する図示せぬＯＣＴユニットを備えていてもよい。
　制御ユニット２０は、ＣＰＵ２２、メモリ２４、及び通信インターフェース（Ｉ／Ｆ）２６等を備えている。表示／操作ユニット３０は、撮影されて得られた画像を表示したり、撮影の指示を含む各種指示を受け付けたりするグラフィックユーザインターフェースであり、ディスプレイ３２及び入力／指示デバイス３４を備えている。
　ＳＬＯユニット４０は、Ｇ光（緑色光：波長５３０ｎｍ）の光源４２、Ｒ光（赤色光：波長６５０ｎｍ）の光源４４、ＩＲ光（赤外線（近赤外光）：波長８００ｎｍ）の光源４６を備えている。光源４２、４４、４６は、制御ユニット２０により命令されて、各光を発する。
　ＳＬＯユニット４０は、光源４２、４４、４６からの光を、反射又は透過して１つの光路に導く光学系５０、５２、５４、５６を備えている。光学系５０、５６は、ミラーであり、光学系５２、５４は、ビームスプリッタ―である。Ｇ光は、光学系５０、５４で反射し、Ｒ光は、光学系５２、５４を透過し、ＩＲ光は、光学系５２、５６で反射して、それぞれ１つの光路に導かれる。
　ＳＬＯユニット４０は、光源４２、４４、４６からの光を、被検眼１２の後眼部（眼底）に渡って、２次元状に走査する広角光学系８０を備えている。ＳＬＯユニット４０は、被検眼１２の後眼部（眼底）からの光の内、Ｇ光を反射し且つＧ光以外を透過するビームスプリッタ５８を備えている。ＳＬＯユニット４０は、ビームスプリッタ５８を透過した光の内、Ｒ光を反射し且つＲ光以外を透過するビームスプリッタ６０を備えている。ＳＬＯユニット４０は、ビームスプリッタ６０を透過した光の内、ＩＲ光を反射するビームスプリッタ６２を備えている。ＳＬＯユニット４０は、ビームスプリッタ５８により反射したＧ光を検出するＧ光検出素子７２、ビームスプリッタ６０により反射したＲ光を検出するＲ光検出素子７４、及びビームスプリッタ６２により反射したＩＲ光を検出するＩＲ光検出素子７６を備えている。
　広角光学系８０は、光源４２、４４、４６からの光を、Ｘ方向に走査するポリゴンミラーで構成されたＸ方向走査装置８２、Ｙ方向に走査するガルバノミラーで構成されたＹ方向走査装置８４、及び、図示しないスリットミラーおよび楕円鏡を含み、走査された光を、広角にする光学系８６を備えている。光学系８６により、眼底の視野角（ＦＯＶ：Ｆｉｅｌｄ　ｏｆ　Ｖｉｅｗ）を従来の技術より大きな角度とし、従来の技術より広範囲の眼底領域を撮影することができる。具体的には、被検眼１２の外部からの外部光照射角で約１２０度（被検眼１２の眼球の中心Ｏを基準位置として、被検眼１２の眼底が走査光により照射されることで実質的に撮影可能な内部光照射角で、２００°程度）の広範囲の眼底領域を撮影することができる。光学系８６は、スリットミラーおよび楕円鏡に代えて、複数のレンズ群を用いた構成でもよい。Ｘ方向走査装置８２及びＹ方向走査装置８４の各走査装置はＭＥＭＳミラーを用いて構成された二次元スキャナを用いてもよい。
　光学系８６としてスリットミラーおよび楕円鏡を含むシステムを用いる場合には、国際出願ＰＣＴ／ＪＰ２０１４／０８４６１９や国際出願ＰＣＴ／ＪＰ２０１４／０８４６３０に記載された楕円鏡を用いたシステムを用いる構成でもよい。２０１４年１２月２６日に国際出願された国際出願ＰＣＴ／ＪＰ２０１４／０８４６１９（国際公開ＷＯ２０１６／１０３４８４）の開示及び２０１４年１２月２６日に国際出願された国際出願ＰＣＴ／ＪＰ２０１４／０８４６３０（国際公開ＷＯ２０１６／１０３４８９）の開示の各々は、その全体が参照により本明細書に取り込まれる。
　眼科装置１１０は、光学系８６の周囲で光軸から上下左右にずれた位置に、患者の視線を向かせるように点灯される発光装置（例えば、ＬＥＤ）により構成される固視標９２Ｕ、９２Ｄ、９２Ｌ、９２Ｒ（図６Ａから図６Ｆも参照）と、制御ユニット２０により制御され、固視標９２Ｕ、９２Ｄ、９２Ｌ、９２Ｒを点灯させる固視標制御装置９０を備えている。
　なお、眼科装置１１０が水平面に設置された場合の水平方向を「Ｘ方向」、水平面に対する垂直方向を「Ｙ方向」とし、被検眼１２の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Ｚ方向」とする。従って、Ｘ方向、Ｙ方向、およびＺ方向は互いに垂直である。
　カラー眼底画像は、Ｇ光及びＲ光で同時に被検眼１２の眼底が撮影されることにより、得られる。より詳細には、制御ユニット２０が、同時に発光するように光源４２、４４を制御し、被検眼１２の眼底に渡って、広角光学系８０によりＧ光及びＲ光が走査される。そして、被検眼１２の眼底から反射されたＧ光がＧ光検出素子７２により検出され、第２眼底画像（Ｇ色眼底画像）の画像データが画像処理部１８２で生成される。同様に、被検眼１２の眼底から反射されたＲ光がＲ光検出素子７４により検出され、第１眼底画像（Ｒ色眼底画像）の画像データが、眼科装置１１０のＣＰＵ２２により生成される。また、ＩＲ光が照射された場合は、被検眼１２の眼底から反射されたＩＲ光がＩＲ光検出素子７６により検出され、ＩＲ眼底画像の画像データが眼科装置１１０のＣＰＵ２２により生成される。
　図１の眼軸長測定器１２０は、被検眼１２の眼軸方向の長さである眼軸長を測定する第１のモードと第２のモードとの２つのモードを有する。第１のモードは、図示しない光源からの光を被検眼１２に導光した後、眼底からの反射光と角膜からの反射光との干渉光を受光し、受光した干渉光を示す干渉信号に基づいて眼軸長を測定する。第２のモードは、図示しない超音波を用いて眼軸長を測定するモードである。眼軸長測定器１２０は、第１のモード又は第２のモードにより測定された眼軸長を管理サーバ１４０に送信する。第１のモード及び第２のモードにより眼軸長を測定してもよく、この場合には、双方のモードで測定された眼軸長の平均を眼軸長として管理サーバ１４０に送信する。
　次に、図３を参照して、管理サーバ１４０の構成を説明する。図３に示すように、管理サーバ１４０は、制御ユニット１６０、及び表示／操作ユニット１７０を備えている。制御ユニット１６０は、ＣＰＵ１６２を含むコンピュータ、記憶装置であるメモリ１６４、及び通信インターフェース（Ｉ／Ｆ）１６６等を備えている。表示／操作ユニット１７０は、画像を表示したり、各種指示を受け付けたりするグラフィックユーザインターフェースであり、ディスプレイ１７２及びタッチパネル等の入力/指示デバイス１７４を備えて
いる。
　画像ビューワ１５０の構成は、管理サーバ１４０と同様であるので、その説明を省略する。画像ビューワ１５０のメモリ１６４には、解析処理プログラムが記憶されている。
　解析処理プログラムは、本開示の技術の「プログラム」の一例である。
　次に、図４を参照して、画像ビューワ１５０のＣＰＵ１６２が解析処理プログラムを実行することで実現される各種機能について説明する。解析処理プログラムは、解析処理機能、表示制御機能、及び処理機能を備えている。ＣＰＵ１６２がこの各機能を有する解析処理プログラムを実行することで、ＣＰＵ１６２は、図４に示すように、画像処理部１８２、表示制御部１８４、及び処理部１８６として機能する。
　次に、図５を参照して、眼科システム１００の動作を説明する。
　患者の被検眼を眼科装置１１０で撮影できるように、患者の被検眼が位置決めされる。図５に示すように、医者は、ステップ２０２で、入力／指示デバイス３４を介して、眼科装置１１０に、被検眼１２の眼底の撮影の開始を指示する。眼科装置１１０は、ステップ２０４で、ＳＬＯユニット４０により被検眼１２の眼底（画像１）を撮影する。ステップ２０４では、固視標９２Ｕ、９２Ｄ、９２Ｌ、９２Ｒを点灯させない。よって、ステップ２０４では、図６Ａ及び図６（Ｄ）に示すように、眼科システム１００の光軸に被検眼１２の光軸が一致した状態で、眼底を撮影する。具体的には、上記のように、Ｇ光及びＲ光で同時に被検眼１２の眼底を撮影して、第１眼底画像（Ｒ色眼底画像）と第２眼底画像（Ｇ色眼底画像）とを取得し、第１眼底画像（Ｒ色眼底画像）と第２眼底画像（Ｇ色眼底画像）とからカラー眼底画像として、画像１を得る。当該撮影により、図６Ａに示すように、眼科システム１００を基準として、上下方向に上位置Ｕ０から下位置Ｄ０、左右方向に左位置Ｌ０から右位置Ｒ０の範囲が撮影され、中央画像Ｇ０（図８も参照））として、画像１が取得される。
　眼科システム１００の光軸に被検眼１２の光軸が一致した状態での当該光軸は、本開示の技術の「第１の視線」の一例であり、中央画像Ｇ０は、本開示の技術の「基準画像」の一例である。
　眼科装置１１０は、画像１の撮影が終了すると、次のステップ２０６で、画像１を、管理サーバ１４０に送信する。
　ところで、ステップ２０４での画像１の撮影の際には、患者名ＩＤ、患者名、年齢、各画像が右眼か左眼からの情報、治療前の撮影日時および視力、治療後の撮影日時および視力の各情報も、眼科装置１１０に入力されている。ステップ２０６における画像送信の際には、眼科装置１１０から管理サーバ１４０に、上記各情報が送信される。
　患者の被検眼を眼科装置１１０で撮影できるように、患者の被検眼が位置決めされる。医者は、ステップ２０８で、入力／指示デバイス３４を介して、眼科装置１１０に撮影開始を指示する。眼科装置１１０は、ステップ２１０で、画像２の撮影を行う。ステップ２１０の処理では、患者の視線を上下左右にあおった各々について、上記のように被検眼１２の眼底の撮影を行う。これにより、左方向のあおり画像（ＧＬ（図８も参照））、上方向のあおり画像（ＧＵ）、右方向のあおり画像（ＧＲ）、下方向のあおり画像（ＧＤ）が得られる。左右方向は、眼科装置１１０を基準にしている。よって、左方向のあおり画像（ＧＬ）は、患者からすると斜め右方向を向いた状態で、眼底が撮影されて得た画像であり、右方向のあおり画像（ＧＲ）は、患者からすると斜め左方向を向いた状態で、眼底が撮影されて得た画像である。
　例えば、患者の視線を斜め上方向に向けるために、固視標９２Ｕを点灯させ、これにより、図６Ｂに示すように、患者の視線が斜め上方向に向けられる。この状態で、眼底を撮影する。患者の視線が斜め上方向に向けられるので、上位置Ｕ０よりも上側の上側位置Ｕ１までが撮影される。よって、上方向のあおり画像（ＧＵ）には、中央画像Ｇ０にはない面ＭＵ０１の画像が存在する。
　患者の視線を斜め下方向に向けるために、固視標９２Ｄを点灯させる、これにより、図６Ｃに示すように、患者の視線が斜め下方向に向けられる。この状態で、眼底を撮影する。患者の視線が斜め下方向に向けられるので、下位置Ｄ０よりも下側の下側位置Ｄ１までが撮影される。よって、下方向のあおり画像（ＧＤ）には、中央画像Ｇ０にはない面ＭＤ０２の画像が存在する。
　患者の視線を、眼科装置１１０を基準に斜め左方向に向けるために、固視標９２Ｌを点灯させる、これにより、図６Ｅに示すように、患者の視線が斜め左方向（患者からすると右方向）に向けられる。この状態で、眼底を撮影する。患者の視線が斜め左方向に向けられるので、左位置Ｌ０よりも左側の左側位置Ｌ１までが撮影される。よって、左方向のあおり画像（ＧＬ）には、中央画像Ｇ０にはない面ＭＬ０１の画像が存在する。
　患者の視線を、眼科装置１１０を基準に斜め右方向に向けるために、固視標９２Ｒを点灯させる、これにより、図６Ｆに示すように、患者の視線が斜め右方向（患者からすると左方向）に向けられる。この状態で、眼底を撮影する。患者の視線が斜め右方向に向けられるので、左位置Ｒ０よりも右側の右側位置Ｒ１までが撮影される。よって、右方向のあおり画像（ＧＲ）には、中央画像Ｇ０にはない面ＭＲ０２の画像が存在する。
　斜め上下左右方向の視線は、本開示の「第２の視線」、「第３の視線」の一例であり、上方向のあおり画像（ＧＵ）、下方向のあおり画像（ＧＤ）、左方向のあおり画像（ＧＬ）、及び右方向のあおり画像（ＧＲ）は、本開示の技術の「第１の画像」、「第２の画像」の一例である。
　眼科装置１１０は、ステップ２１２で、上方向のあおり画像（ＧＵ）、下方向のあおり画像（ＧＤ）、左方向のあおり画像（ＧＬ）、及び右方向のあおり画像（ＧＲ）を備えた画像２を、管理サーバ１４０に送信する。
　ステップ２１４で、ユーザ（眼科医など）は、入力/指示デバイス１７４を介して、画像ビューワ１５０に解析処理を指示する。
　画像ビューワ１５０は、ステップ２１６で、画像送信を、管理サーバ１４０に指示する。画像送信が指示された管理サーバ１４０は、ステップ２１８で、画像１、２を読み出し、ステップ２２０で、画像１、２の画像データを、画像ビューワ１５０に送信する。
　画像１、２の画像データが送信された管理サーバ１４０は、ステップ２２２で、画像１、２をディスプレイ１７２に表示する。具体的には、中央画像Ｇ０を中心に、中央画像Ｇ０の上側、下側、左側、及び右側に、上方向のあおり画像（ＧＵ）、下方向のあおり画像（ＧＤ）、左方向のあおり画像（ＧＬ）、及び右方向のあおり画像（ＧＲ）を配置する。
　医者は、ステップ２２４で、中央画像Ｇ０と、上方向のあおり画像（ＧＵ）、下方向のあおり画像（ＧＤ）、左方向のあおり画像（ＧＬ）、及び右方向のあおり画像（ＧＲ）との各々の組合せにおいて、対応点を指示する。
　例えば、ユーザ（眼科医など）は、ディスプレイ１７２に表示された中央画像Ｇ０と上方向のあおり画像（ＧＵ）とを見て、中央画像Ｇ０と上方向のあおり画像（ＧＵ）とのそれぞれで、対応する複数の特徴点を、入力/指示デバイス１７４を介して指示する。特徴点は、例えば、眼底の血管の分岐点や視神経乳頭などである。また、特徴点は、複数（例えば、１２点）指示する。画像ビューワ１５０は、中央画像Ｇ０と上方向のあおり画像（ＧＵ）との間の複数（例えば、１２組）の特徴点の組合せを受け付ける。本ステップ２２４では、ユーザ（眼科医など）は、中央画像Ｇ０と下方向のあおり画像（ＧＤ）、中央画像Ｇ０と左方向のあおり画像（ＧＬ）、及び中央画像Ｇ０と右方向のあおり画像（ＧＲ）との各々の組合せにおいて、上記と同様に、複数の特徴点を、入力/指示デバイス１７４を介して指示する。画像ビューワ１５０は、各組合せについての複数（例えば、１２組）の特徴点の組合せを受け付ける。
　ステップ２２４における対応点の指示は、ユーザ（眼科医など）が行うことに限定されず、上記画像の画像データに基づいて自動的に行ってもよい。例えば、画像処理部１８２は、中央画像Ｇ０と、上方向のあおり画像（ＧＵ）、下方向のあおり画像（ＧＤ）、左方向のあおり画像（ＧＬ）、及び右方向のあおり画像（ＧＲ）との各々の組合せにおいて、対応する特徴点を、画像データに基づいて、テンプレートマッチングを行うことにより、特定する。
　画像ビューワ１５０は、ステップ２２６で、詳細には後述する解析処理を実行し、ステップ２２８で、解析結果画面３００（図８参照）を、ディスプレイ１７２に表示する。解析結果画面３００については後述する。
　次に、解析処理を説明する。上記のように画像１、２の画像データを受信し、表示（ステップ２２２）した後、ステップ２２４で、上記各画像の組合せについての複数の特徴点の組合せを受け付けると、画像ビューワ１５０は、ステップ２６６で、解析処理プログラムを実行する。画像ビューワ１５０のＣＰＵ１６２が解析処理プログラムを実行することで、図７のフローチャートに示された解析処理方法が実現される。解析処理方法は、本開示の技術の「画像処理方法」の一例である。
　図７のステップ２４２で、処理部１８６は、あおり画像を識別する変数ｎを０に初期化し、ステップ２４４で、処理部１８６は、変数ｎを１インクリメントする。なお、変数ｎ＝１、２、３、４のそれぞれにより、左方向のあおり画像（ＧＬ）、上方向のあおり画像（ＧＵ）、右方向のあおり画像（ＧＲ）、及び下方向のあおり画像（ＧＤ）が識別される。変数ｎの総数Ｎは４である。
　ステップ２４６で、画像処理部１８２は、中央画像Ｇ０とあおり画像ｎとの組み合わせにおいて指定された上記１２個の対応点の組合せの位置に基づいて、中央画像Ｇ０への変数ｎで識別されるあおり画像ｎの射影変換行列を算出する。射影変換行列は、あおり画像ｎの各画素を、あおり画像ｎの各画素の位置が中央画像Ｇ０における対応する位置に位置するように射影変換する行列である。
　ステップ２４８で、画像処理部１８２は、ステップ２４８で算出した射影変換行列を用いて、あおり画像ｎを射影変換する。これにより、射影変換されたあおり画像ｎ１が作成される。
　ステップ２５０で、中央画像Ｇ０の基準点（例えば、中心位置）が、射影変換されたあおり画像ｎ１上に射影される基準射影点を特定する。
　ステップ２５２で、処理部１８６は、変数ｎが総数Ｎに等しいか否かを判断する。変数ｎが総数Ｎに等しくない場合には、上記処理（ステップ２４６から２５０）がされていないあおり画像があるので、解析処理は、ステップ２４４に戻る。しかし、変数ｎが総数Ｎに等しい場合には、全てのあおり画像について上記処理（ステップ２４６から２５０）がされたので、解析処理は、ステップ２５４に進む。
　以上の処理により、左方向のあおり画像（ＧＬ）、上方向のあおり画像（ＧＵ）、右方向のあおり画像（ＧＲ）、及び下方向のあおり画像（ＧＤ）のそれぞれに対し、中央画像Ｇ０への互いに異なる射影変換行列が算出される。左方向のあおり画像（ＧＬ）、上方向のあおり画像（ＧＵ）、右方向のあおり画像（ＧＲ）、及び下方向のあおり画像（ＧＤ）のそれぞれは、それぞれの射影変換行列により、変換後の左方向のあおり画像（ＧＬ１）、上方向のあおり画像（ＧＵ１）、右方向のあおり画像（ＧＲ１）、及び下方向のあおり画像（ＧＤ１）が作成される。そして、変換後の左方向のあおり画像（ＧＬ１）、上方向のあおり画像（ＧＵ１）、右方向のあおり画像（ＧＲ１）、及び下方向のあおり画像（ＧＤ１）には、中央画像Ｇ０の基準点（例えば、中心位置）が射影される基準射影点が特定されている。
　ステップ２５４で、表示制御部１８４は、変換後の左方向のあおり画像（ＧＬ１）、上方向のあおり画像（ＧＵ１）、右方向のあおり画像（ＧＲ１）、及び下方向のあおり画像（ＧＤ１）を、各々の基準射影点に基づいて、組み立てたモンタージュ画像を作成する。
　なお、変換後の左方向のあおり画像（ＧＬ１）、上方向のあおり画像（ＧＵ１）、右方向のあおり画像（ＧＲ１）、及び下方向のあおり画像（ＧＤ１）の各々は、第１眼底画像（Ｒ色眼底画像）及び第２眼底画像（Ｇ色眼底画像）を備えている。よって、モンタージュ画像も第１眼底画像（Ｒ色眼底画像）及び第２眼底画像（Ｇ色眼底画像）を備えている。
　眼の構造は、硝子体を、構造が異なる複数の層が覆うようになっている。複数の層には、硝子体側の最も内側から外側に、網膜、脈絡膜、強膜が含まれる。Ｒ光は、網膜を通過して脈絡膜まで到達する。よって、第１眼底画像（Ｒ色眼底画像）には、網膜に存在する血管（網膜血管）の情報と脈絡膜に存在する血管（脈絡膜血管）の情報とが含まれる。これに対し、Ｇ光は、網膜までしか到達しない。よって、第２眼底画像（Ｇ色眼底画像）には、網膜に存在する血管（網膜血管）の情報が含まれる。
　ステップ２５６で、表示制御部１８４は、モンタージュ画像から脈絡膜血管画像を作成る。
　脈絡膜血管画像は以下のようにして生成される。管理サーバ１４０の画像処理部１８２は、ブラックハットフィルタ処理を、モンタージュ画像における第２眼底画像（Ｇ色眼底画像）に施すことにより、第２眼底画像（Ｇ色眼底画像）から網膜血管を抽出する。次に、画像処理部１８２は、モンタージュ画像における第１眼底画像（Ｒ色眼底画像）から、第２眼底画像（Ｇ色眼底画像）から抽出した網膜血管を用いてインペインティング処理により、網膜血管を除去する。つまり、第２眼底画像（Ｇ色眼底画像）から抽出された網膜血管の位置情報を用いて第１眼底画像（Ｒ色眼底画像）の網膜血管構造を周囲の画素と同じ値に塗りつぶす処理を行う。そして、画像処理部１８２は、網膜血管が除去された第１眼底画像（Ｒ色眼底画像）の画像データに対し、適応ヒストグラム均等化処理（Ｃｏｎｔｒａｓｔ　Ｌｉｍｉｔｅｄ　Ａｄａｐｔｉｖｅ　Ｈｉｓｔｏｇｒａｍ　Ｅｑｕａｌｉｚａｔｉｏｎ）を施すことにより、第１眼底画像（Ｒ色眼底画像）において、脈絡膜血管を強調する。これにより、脈絡膜血管画像が得られる。生成された脈絡膜血管画像はメモリ１６４に記憶される。
　脈絡膜眼底画像を生成する方法について、２０１８年３月２０日に出願された特願２０１８－０５２２４６の開示は、その全体が参照により、本明細書に取り込まれる。
　ステップ２５４で、表示制御部１８４は、解析結果画面データを作成する。
　図８には、解析結果画面３００が示されている。図８に示されているように、解析結果画面３００は、画像表示領域３０２、患者情報表示領域３０４、及びフォルダ表示領域３０６を有する。
　患者情報表示領域３０４には、患者名ＩＤ表示領域３４２、患者名表示領域３４４、年齢表示領域３４６、各画像が右眼か左眼を示す情報（右又は左）を表示する表示領域３４８、眼軸長を表示する眼軸長表示領域３５０、撮影日時表示領域３５２、および視力表示領域３５４が設けられている。
　フォルダ表示領域３０６は、前処理フォルダ３６０と解析フォルダ３７０とを有する。前処理フォルダ３６０には、個別表示アイコン３６２とモンタージュ表示アイコン３６４２とが設けられている。解析フォルダ３７０には、図１０に示すように、各種アイコンが設けられている。
　図８の画像表示領域３０２は、前処理フォルダ３６０内の個別表示アイコン３６２が操作された場合に表示される内容が示されている。図８に示すように、画像表示領域３０２には、変換前の画像を表示する領域３２２と、変換後の画像を表示する領域３２４とを有する。変換前の画像を表示する領域３２２には、中央画像Ｇ０を表示する領域３３０と、領域３３０を中心に、領域３３０の左側、上側、右側、及び下側に、左方向のあおり画像（ＧＬ）、上方向のあおり画像（ＧＵ）、右方向のあおり画像（ＧＲ）、及び下方向のあおり画像（ＧＤ）を表示する領域３３０ｎ１から３３０ｎ４が配置されている。
　左方向のあおり画像（ＧＬ）は、左位置Ｌ０よりも左側の左側位置Ｌ１までの画像が含まれている。上方向のあおり画像（ＧＵ）は、上位置Ｕ０よりも上側の上側位置Ｕ１までの画像が含まれている。右方向のあおり画像（ＧＲ）は、左位置Ｒ０よりも右側の右側位置Ｒ１までの画像が含まれている。下方向のあおり画像（ＧＤ）は、下位置Ｄ０よりも下側の下側位置Ｄ１までの画像が含まれている。
　変換後の画像を表示する領域３２４には、中央画像Ｇ０を表示する領域３３０と、領域３３０を中心に、領域３３０の左側、上側、右側、及び下側に、変換後の左方向のあおり画像（ＧＬ１）、上方向のあおり画像（ＧＵ１）、右方向のあおり画像（ＧＲ１）、及び下方向のあおり画像（ＧＤ１）を表示する領域３４０ｎ１から３４０ｎ４が配置されている。左方向のあおり画像（ＧＬ）の左側位置Ｌ１は、変換後の左方向のあおり画像（ＧＬ１）において位置Ｌ１１に位置する。上方向のあおり画像（ＧＵ１）の上側位置Ｕ１は、変換後の上方向のあおり画像（ＧＵ１）において位置Ｕ１１に位置する。右方向のあおり画像（ＧＲ１）の右側位置Ｒ１は、変換後の右方向のあおり画像（ＧＲ１）において位置Ｒ１１に位置する。下方向のあおり画像（ＧＤ１）の下側位置Ｄ１は、変換後の下方向のあおり画像（ＧＤ１）において位置Ｄ１１に位置する。
　画像ビューワ１５０の後述する表示画面には、後述する画像を生成することを指示するためのアイコンやボタンが表示されている。ビューワ１５０のユーザ（眼科医など）がアイコン等クリックされると、画像ビューワ１５０から管理サーバ１４０に、クリックされたアイコン等に対応する指示信号が送信される。画像ビューワ１５０からの指示信号を受信した管理サーバ１４０は、指示信号に対応する画像を生成し、生成した画像の画像データを画像ビューワ１５０に送信する。管理サーバ１４０から画像データを受信した画像ビューワ１５０は、受信した画像データに基づいて画像をディスプレイに表示する。管理サーバ１４０での表示画面の生成処理は、ＣＰＵ１６２で動作する表示画面生成プログラムによって行われる。
　図８の解析結果画面３００において、前処理フォルダ３６０内のモンタージュ表示アイコン３６４が操作されると、画像表示領域３０２は、図９に示す内容に変更される。図９に示すように、画像表示領域３０２の変換前の画像を表示する領域３２２には、図８の領域３２２と同様の内容である。一方、変換後の画像を表示する領域３２４には、ステップ２５４で作成されたモンタージュ画像Ｇ０１を表示する領域３８０を有する。
　モンタージュ画像Ｇ０１は、中央画像Ｇ０と、中央画像Ｇ０の左側に、変換後の左方向のあおり画像（ＧＬ１）で、中央画像Ｇ０を除き、且つ、上方向のあおり画像（ＧＵ１）及び下方向のあおり画像（ＧＤ１）の各々と共通する部分は共通する部分の中央の線で区切られた部分ＭＬ０１１とを有する。
　モンタージュ画像Ｇ０１は中央画像Ｇ０の上側に、変換後の上方向のあおり画像（ＧＵ１）で中央画像Ｇ０を除き、且つ、左方向のあおり画像（ＧＬ１）及び右方向のあおり画像（ＧＲ１）の各々と共通する部分は共通する部分の中央の線で区切られた部分ＭＵ０１１を有する。
　モンタージュ画像Ｇ０１は中央画像Ｇ０の右側に、変換後の右方向のあおり画像（ＧＲ１）で中央画像Ｇ０を除き、且つ、上方向のあおり画像（ＧＵ１）及び下方向のあおり画像（ＧＤ１）の各々と共通する部分は共通する部分の中央の線で区切られた部分ＭＲ０１１を有する。
　モンタージュ画像Ｇ０１は中央画像Ｇ０の下側に、変換後の下方向のあおり画像（ＧＤ１）で中央画像Ｇ０を除き、且つ、右方向のあおり画像（ＧＲ１）及び左方向のあおり画像（ＧＬ１）の各々と共通する部分は共通する部分の中央の線で区切られた部分ＭＤ０１１を有する。
　このように、モンタージュ画像Ｇ０１は、中央画像Ｇ０の回りに、部分ＭＬ０１１、部分ＭＵ０１１、部分ＭＲ０１１、及び部分ＭＤ０１１を有する。このように、モンタージュ画像Ｇ０１は、眼科システム１００の光軸に被検眼１２の光軸を一致させて眼底を撮影して得た中央画像Ｇ０にはない部分ＭＬ０１１、部分ＭＵ０１１、部分ＭＲ０１１、及び部分ＭＤ０１１を有するので、眼底のより多い情報を得ることができる。
　図１０には、画像ビューワ１５０の解析結果画面３００において解析フォルダ３７０が操作された場合に表示される表示画面が示されている。図１０に示すように、画像表示領域３０２は、ＲＧ画像を表示する領域３８２と、脈絡膜血管画像３８４とを有する。ＲＧ画像を表示する領域３８２には、ＲＧ画像として、モンタージュ画像Ｇ０２が表示される。脈絡膜血管画像３８４は、ステップ２５６で作成された脈絡膜血管画像Ｇ０３が表示される。
　従来では、パノラマ眼底画像合成装置及び方法技術が開示されている。従来の技術では、広範囲の眼底領域を撮影して得た複数の眼底画像からより広いパノラマ画像を生成することができない。しかし、本実施の形態では、視線を、上下左右に変えて眼底を撮影して得た４つの眼底画像から、より広いパノラマ画像（モンタージュ画像）を生成することができる。
　このように、従来の技術では、第１の画像の各画素を、第１の画像の各画素の位置が基準画像における対応する位置に位置するように射影変換する射影変換行列を算出することができない。しかし、本実施の形態では、当該射影変換行列を算出し、当該射影変換行列を用いて、第１の画像の各画素を射影変換することができる。
　次に、本開示の技術の種々の変形例を説明する。
＜第１の変形例＞
　上記実施の形態では、視線を、上下左右に変えて眼底を撮影して得た４つの眼底画像から、より広いパノラマ画像（モンタージュ画像）を生成しているが、本開示の技術がこれに限定されない。例えば、上下左右に代えてまたはこれと共に、別の方向、例えば、右斜め上方向、左斜め上方向、右斜め下方向、及び左斜め下方向に視線を変えて眼底を撮影して得た４つの眼底画像から、より広いパノラマ画像（モンタージュ画像）を生成してもよい。
　なお、視線を変えて眼底を撮影して得る眼底画像は４つ、８つに限定されず、１つ以上である。
＜第２の変形例＞
　上記実施の形態では、脈絡膜血管画像を作成しているが（図７のステップ２５６）、本開示の技術がこれに限定されない。例えば、図７のステップ２５６とステップ２５８との間で、更に処理を実行するようにしてもよい。図１１には、第２の変形例における図７のステップ２５６とステップ２５８との間で実行するＶＶ定量値算出プログラムのフローチャートが示されている。
　図１１のステップ２７２で、画像処理部１８２は、ステップ２５６で作成された脈絡膜血管画像から、渦静脈（Ｖｏｒｔｅｘ　Ｖｅｉｎ、以下、ＶＶと称する）位置を特定する。
　画像処理部１８２は、モンタージュ画像における脈絡膜血管画像Ｇ０３における各脈絡膜血管の移動方向（血管走行方向）を設定する。具体的には、第１に、画像処理部１８２は、脈絡膜血管画像Ｇ０３の各画素について、下記の処理を実行する。即ち、画像処理部１８２は、画素に対して、当該画素を中心とした領域（セル）を設定し、セル内の各画素における輝度の勾配方向のヒストグラムを作成する。次に、画像処理部１８２は、各セルにおけるヒストグラムにおいて、最もカウントが少なかった勾配方向を各セルの内の画素における移動方向とする。この勾配方向が、血管走行方向に対応する。なお、最もカウントが少なかった勾配方向が血管走行方向であるとなるのは、次の理由からである。血管走行方向には輝度勾配が小さく、一方、それ以外の方向には輝度勾配が大きい（例えば、血管と血管以外のものでは輝度の差が大きい）。したがって、各画素の輝度勾配のヒストグラムを作成すると、血管走行方向に対するカウントは少なくなる。以上の処理により、脈絡膜血管画像の各画素における血管走行方向が設定される。
　画像処理部１８２は、Ｍ（自然数）×Ｎ（自然数）（＝Ｌ）個の粒子の初期位置を設定する。具体的には、画像処理部１８２は、脈絡膜血管画像Ｇ０３上に等間隔に、縦方向にＭ個、横方向にＮ個、合計Ｌ個の初期位置を設定する。
　画像処理部１８２は、ＶＶ位置を推定する。具体的には、画像処理部１８２は、Ｌ個の各々の位置について以下の処理を行う。即ち、画像処理部１８２は、最初の位置（Ｌ個の何れか）の血管走行方向を取得し、取得した血管走行方向に沿って所定距離だけ、粒子を移動させ、移動した位置において、再度、血管走行方向を取得し、取得した血管走行方向に沿って所定距離だけ、粒子を移動させる。このように血管走行方向に沿って所定距離移動させることを予め設定した移動回数、繰り返す。以上の処理を、Ｌ個の全ての位置において実行する。その時点で粒子が一定個数以上集まっている点をＶＶ位置とする。
　本ステップ２７２では、画像処理部１８２は、モンタージュ画像におけるＧ色眼底画像から視神経乳頭を検出する。具体的には、画像処理部１８２は、視神経乳頭はＧ色眼底画像においてもっとも明るい領域であるので、上記読み出したＧ色眼底画像において画素値が最も大きい所定数の画素の領域を、視神経乳頭として検出する。最も明るい画素を含む領域の中心位置を視神経乳頭が位置する座標として算出し、メモリ１６４に記憶する。
　本ステップ２７２では、画像処理部１８２は、黄斑を検出する。具体的には、画像処理部１８２は、黄斑は脈絡膜血管画像において暗い領域であるので、上記読み出した脈絡膜血管画像Ｇ０３において画素値が最も小さい所定数の画素の領域を、黄斑として検出する。最も暗い画素を含む領域の中心位置を黄斑が位置する座標として算出し、メモリ１６４に記憶する。
　そして、本ステップ２７２では、画像処理部１８２は、ＶＶ位置、視神経乳頭の位置、及び黄斑の位置を、変換後の左方向のあおり画像（ＧＬ１）、上方向のあおり画像（ＧＵ１）、右方向のあおり画像（ＧＲ１）、及び下方向のあおり画像（ＧＤ１）の対応する位置に特定する。
　ステップ２７４で、画像処理部１８２は、変換後の左方向のあおり画像（ＧＬ１）、上方向のあおり画像（ＧＵ１）、右方向のあおり画像（ＧＲ１）、及び下方向のあおり画像（ＧＤ１）を、各々の基準射影点に基づいて、３次元（３Ｄ）眼球面上に投影する。
　ステップ２７６で、画像処理部１８２は、変換後の左方向のあおり画像（ＧＬ１）、上方向のあおり画像（ＧＵ１）、右方向のあおり画像（ＧＲ１）、及び下方向のあおり画像（ＧＤ１）が投影された３次元（３Ｄ）眼球面から、ＶＶ定量値を算出する。
　ＶＶの定量値の算出処理は、第１に、ＶＶ距離の算出処理と、第２に、ＶＶ角度の算出処理とがある。
　まず、ＶＶ距離の算出処理を説明する。ＶＶ距離には、第１に、視神経乳頭の位置とＶＶ位置との距離と、第２に、黄斑の位置とＶＶ位置との距離がある。
　３次元（３Ｄ）眼球面上で、第１に、視神経乳頭の位置とＶＶ位置との距離と、第２に、黄斑の位置とＶＶ位置との距離とを算出する。
　次に、ＶＶ角度の算出処理を説明する。ＶＶ角度には、黄斑の位置－視神経乳頭の位置－ＶＶ位置がなす角度と、視神経乳頭の位置－黄斑の位置－ＶＶ位置がなす角度とがある。黄斑の位置－視神経乳頭の位置－ＶＶ位置がなす角度θの算出方法には、正角図法又は球面三角法から算出する。
　第２の変形例における図７のステップ２５８の解析結果画面データには、ＶＶ定量値が含まれる。よって、画像ビューワ１５０のディスプレイ１７２に、ＶＶ定量値が表示される。
＜第３の変形例＞
　上記実施の形態では、眼科装置１１０により内部光照射角が２００度程度の眼底画像を取得する例を説明したが、本開示の技術はこれに限定されず、例えば、内部照射角で１００度以下の眼科装置で撮影された眼底画像でも本開示の技術を適用してもよい。
＜第４の変形例＞
　上記実施の形態では、眼科装置１１０はＳＬＯを用いて眼底を撮影したが、本開示の技術はこれに限定されず、例えば、眼底カメラで眼底を撮影にしてもよい
＜第５の変形例＞
　上記実施の形態では、眼科装置１１０、眼軸長測定器１２０、管理サーバ１４０、及び画像ビューワ１５０を備えた眼科システム１００を例として説明したが、本開示の技術はこれに限定されない。例えば、第１の例として、眼軸長測定器１２０を省略し、眼科装置１１０が、眼軸長測定器１２０の機能を更に有してもよい。また、第２の例として、眼科装置１１０が、管理サーバ１４０及び画像ビューワ１５０の少なくとも一方の機能を更に有してもよい。例えば、眼科装置１１０が管理サーバ１４０の機能を有する場合、管理サーバ１４０を省略することができる。この場合、解析処理プログラムは、眼科装置１１０又は画像ビューワ１５０が実行する。また、眼科装置１１０が画像ビューワ１５０の機能を有する場合、画像ビューワ１５０を省略することができる。第３の例として、管理サーバ１４０を省略し、画像ビューワ１５０が管理サーバ１４０の機能を実行するようにしてもよい。
＜その他の変形例＞
　上記実施の形態で説明したデータ処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
　また、上記実施の形態では、コンピュータを利用したソフトウェア構成によりデータ処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、ＦＰＧＡ又はＡＳＩＣ等のハードウェア構成のみによって、データ処理が実行されるようにしてもよい。データ処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。

Claims (9)

  1. 　第１の視線で眼底を撮影して得た基準画像と、前記第１の視線とは異なる第２の視線で前記眼底を撮影して得た第１の画像とのそれぞれに対応点を指定するステップと、
    　前記対応点に基づいて、前記第１の画像を、前記基準画像に射影変換する射影変換行列を算出するステップと、
    　前記射影変換行列を用いて、前記第１の画像を射影変換するステップと、
    　を備える画像処理方法。
  2. 　前記基準画像と、射影変換された前記第１の画像を合成するステップと、
    をさらに備えることを特徴とする請求項１に記載の画像処理方法。
  3. 　前記対応点は、前記基準画像と前記第１の画像のそれぞれに存在する前記眼底の特徴点であることを特徴とする請求項１または２に記載の画像処理方法。
  4. 　前記対応点は、眼底の血管の分岐点、あるいは、視神経乳頭であることを特徴とする請求項１ないし３の何れかに記載の画像処理方法。　
  5. 　前記合成により得られた合成画像から脈絡膜血管画像を生成するステップをさらに備えることを特徴とする請求項２に記載の画像処理方法。
  6. 　前記脈絡膜血管画像から渦静脈位置を特定するステップをさらに備えたことを特徴とする請求項５に記載の画像処理方法。
  7. 　前記基準画像と前記第１の画像は、広角眼底撮影装置で撮影された眼底画像であることを特徴とする請求項１から６に記載の画像処理方法。
  8. 　コンピュータに請求項１から請求項７の何れか１項に記載の画像処理方法を実行させるプログラム。
  9. 　第１の視線で眼底を撮影して得た基準画像と、前記第１の視線とは異なる第２の視線で前記眼底を撮影して得た第１の画像とのそれぞれに対応点を指定するステップと、
    　前記対応点に基づいて、前記第１の画像を、前記基準画像に射影変換する射影変換行列を算出するステップと、
    　前記射影変換行列を用いて、前記第１の画像を射影変換するステップと、
    　を実行する画像処理部を備える画像処理装置。
PCT/JP2019/016657 2018-04-18 2019-04-18 画像処理方法、プログラム、及び画像処理装置 WO2019203314A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020514441A JPWO2019203314A1 (ja) 2018-04-18 2019-04-18 画像処理方法、プログラム、及び画像処理装置
US17/071,547 US11954872B2 (en) 2018-04-18 2020-10-15 Image processing method, program, and image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018080278 2018-04-18
JP2018-080278 2018-04-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/071,547 Continuation US11954872B2 (en) 2018-04-18 2020-10-15 Image processing method, program, and image processing device

Publications (1)

Publication Number Publication Date
WO2019203314A1 true WO2019203314A1 (ja) 2019-10-24

Family

ID=68239628

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/016657 WO2019203314A1 (ja) 2018-04-18 2019-04-18 画像処理方法、プログラム、及び画像処理装置

Country Status (3)

Country Link
US (1) US11954872B2 (ja)
JP (1) JPWO2019203314A1 (ja)
WO (1) WO2019203314A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04336677A (ja) * 1991-05-14 1992-11-24 Canon Inc 画像処理方法及びこれを用いたシステム
JPH06243232A (ja) * 1993-02-19 1994-09-02 Canon Inc 画像処理装置及び方法
JPH07146305A (ja) * 1993-07-02 1995-06-06 Heidelberg Eng Opt Messsyst Gmbh 特に血液の流速を測定する方法と装置
JPH07152895A (ja) * 1993-11-29 1995-06-16 Canon Inc 画像処理方法及び装置
JP2002034925A (ja) * 2000-07-21 2002-02-05 Tohoku Techno Arch Co Ltd 多方向から撮影した眼底画像の重合せによる眼底３次元パターンの復元法及び装置
JP2006061196A (ja) * 2004-08-24 2006-03-09 Institute Of Physical & Chemical Research ３次元眼底画像の構築・表示装置
US20110279776A1 (en) * 2010-03-05 2011-11-17 Spaide Richard R Systems and methods for widefield mapping of the retina
US20170316565A1 (en) * 2016-04-29 2017-11-02 Carl Zeiss Meditec, Inc. Montaging of wide-field fundus images

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5620000A (en) 1993-07-02 1997-04-15 Heidelberg Engineering, Optische Messsysteme Gmbh Method and apparatus for measuring flow rate, particularly of blood
JP5080944B2 (ja) 2007-11-08 2012-11-21 興和株式会社 パノラマ眼底画像合成装置及び方法
CN103439801B (zh) * 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04336677A (ja) * 1991-05-14 1992-11-24 Canon Inc 画像処理方法及びこれを用いたシステム
JPH06243232A (ja) * 1993-02-19 1994-09-02 Canon Inc 画像処理装置及び方法
JPH07146305A (ja) * 1993-07-02 1995-06-06 Heidelberg Eng Opt Messsyst Gmbh 特に血液の流速を測定する方法と装置
JPH07152895A (ja) * 1993-11-29 1995-06-16 Canon Inc 画像処理方法及び装置
JP2002034925A (ja) * 2000-07-21 2002-02-05 Tohoku Techno Arch Co Ltd 多方向から撮影した眼底画像の重合せによる眼底３次元パターンの復元法及び装置
JP2006061196A (ja) * 2004-08-24 2006-03-09 Institute Of Physical & Chemical Research ３次元眼底画像の構築・表示装置
US20110279776A1 (en) * 2010-03-05 2011-11-17 Spaide Richard R Systems and methods for widefield mapping of the retina
US20170316565A1 (en) * 2016-04-29 2017-11-02 Carl Zeiss Meditec, Inc. Montaging of wide-field fundus images

Also Published As

Publication number Publication date
JPWO2019203314A1 (ja) 2021-04-30
US11954872B2 (en) 2024-04-09
US20210027476A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
JP2023009530A (ja) 画像処理方法、画像処理装置、及びプログラム
JP7441783B2 (ja) 画像処理方法、プログラム、眼科装置、及び脈絡膜血管画像生成方法
JP7279711B2 (ja) 画像処理方法、プログラム、画像処理装置、及び眼科システム
WO2017155015A1 (ja) 情報処理装置
JPWO2019203311A1 (ja) 画像処理方法、プログラム、及び画像処理装置
JP2022184979A (ja) 眼科装置
JP2023120308A (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
WO2021075062A1 (ja) 画像処理方法、画像処理装置、及びプログラム
JP2023158161A (ja) 画像処理方法、プログラム、画像処理装置、及び眼科システム
CN111989030B (zh) 图像处理方法、程序及图像处理装置
WO2021074960A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP2020048857A (ja) 眼測定装置及び方法
WO2019203314A1 (ja) 画像処理方法、プログラム、及び画像処理装置
CN111885954B (zh) 图像处理方法、存储介质及眼科装置
WO2021111840A1 (ja) 画像処理方法、画像処理装置、及びプログラム
JP7416083B2 (ja) 画像処理方法、画像処理装置、およびプログラム
JP7472914B2 (ja) 画像処理方法、画像処理装置、及びプログラム
WO2023282339A1 (ja) 画像処理方法、画像処理プログラム、画像処理装置及び眼科装置
WO2021210281A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19789356

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020514441

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19789356

Country of ref document: EP

Kind code of ref document: A1