WO2021079504A1 - 画像処理方法、画像処理装置、及びプログラム - Google Patents

画像処理方法、画像処理装置、及びプログラム Download PDF

Info

Publication number
WO2021079504A1
WO2021079504A1 PCT/JP2019/041982 JP2019041982W WO2021079504A1 WO 2021079504 A1 WO2021079504 A1 WO 2021079504A1 JP 2019041982 W JP2019041982 W JP 2019041982W WO 2021079504 A1 WO2021079504 A1 WO 2021079504A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
point
fundus image
image processing
dimensional fundus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/041982
Other languages
English (en)
French (fr)
Inventor
真梨子 廣川
泰士 田邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to PCT/JP2019/041982 priority Critical patent/WO2021079504A1/ja
Priority to US17/770,878 priority patent/US12557982B2/en
Priority to JP2021553267A priority patent/JP7472914B2/ja
Publication of WO2021079504A1 publication Critical patent/WO2021079504A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/15—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • A61B3/152—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for aligning

Definitions

  • the present invention relates to an image processing method, an image processing device, and a program.
  • US Patent Application Publication No. 2009/0136100 discloses a panoramic fundus image synthesizer and method, and an appropriate image display method for analyzing and diagnosing the fundus is required.
  • a first aspect of the technique of the present disclosure is image processing performed by a processor, which is a second on an eye model that acquires a two-dimensional fundus image and corresponds to at least one first point of the two-dimensional fundus image. The point is acquired, and data showing the process of the first point moving to the second point is created.
  • the image processing apparatus of the second aspect of the technique of the present disclosure includes a memory and a processor connected to the memory, and the processor acquires a two-dimensional fundus image and at least one first of the two-dimensional fundus images.
  • the second point on the eyeball model corresponding to the first point is acquired, and data showing the process of the first point moving to the second point is created.
  • the program of the third aspect of the technique of the present disclosure acquires a two-dimensional fundus image on a computer and acquires a second point on the eyeball model corresponding to at least one first point of the two-dimensional fundus image. Then, the process of moving the first point to the second point is created, and the data is created.
  • the ophthalmology system 100 includes an ophthalmology device 110, an axial length measuring device 120, a management server device (hereinafter referred to as “server”) 140, and an image display device (hereinafter referred to as “viewer”). It has 150 and.
  • the ophthalmic apparatus 110 acquires a fundus image.
  • the axial length measuring device 120 measures the axial length of the patient.
  • the server 140 stores the fundus image obtained by photographing the fundus of the patient by the ophthalmologic apparatus 110, corresponding to the ID of the patient.
  • the viewer 150 displays medical information such as a fundus image acquired from the server 140.
  • the ophthalmic apparatus 110, the axial length measuring instrument 120, the server 140, and the viewer 150 are connected to each other via the network 130.
  • SLO scanning laser ophthalmoscope
  • OCT optical coherence tomography
  • the horizontal direction is the "X direction” and the direction perpendicular to the horizontal plane is the "Y direction", connecting the center of the pupil of the anterior segment of the eye 12 to the center of the eyeball.
  • the direction is "Z direction”. Therefore, the X, Y, and Z directions are perpendicular to each other.
  • the ophthalmic device 110 includes a photographing device 14 and a control device 16.
  • the photographing device 14 includes an SLO unit 18, an OCT unit 20, and a photographing optical system 19, and acquires a fundus image of the fundus of the eye to be inspected 12.
  • the two-dimensional fundus image acquired by the SLO unit 18 is referred to as an SLO image.
  • a tomographic image of the retina, an frontal image (en-face image), or the like created based on the OCT data acquired by the OCT unit 20 is referred to as an OCT image.
  • the control device 16 includes a computer having a CPU (Central Processing Unit) 16A, a RAM (Random Access Memory) 16B, a ROM (Read-Only memory) 16C, and an input / output (I / O) port 16D. ing.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read-Only memory
  • I / O input / output
  • the control device 16 includes an input / display device 16E connected to the CPU 16A via the I / O port 16D.
  • the input / display device 16E has a graphic user interface for displaying an image of the eye 12 to be inspected and receiving various instructions from the user.
  • the graphic user interface includes a touch panel display.
  • control device 16 includes an image processing device 16G connected to the I / O port 16D.
  • the image processing device 16G generates an image of the eye 12 to be inspected based on the data obtained by the photographing device 14.
  • the control device 16 includes a communication interface (I / F) 16F connected to the I / O port 16D.
  • the ophthalmic apparatus 110 is connected to the axial length measuring instrument 120, the server 140, and the viewer 150 via the communication interface (I / F) 16F and the network 130.
  • the control device 16 of the ophthalmic device 110 includes the input / display device 16E, but the technique of the present disclosure is not limited to this.
  • the control device 16 of the ophthalmic apparatus 110 may not include the input / display device 16E, but may include an input / display device that is physically independent of the ophthalmic apparatus 110.
  • the display device includes an image processing processor unit that operates under the control of the CPU 16A of the control device 16.
  • the image processing processor unit may display an SLO image or the like based on the image signal output instructed by the CPU 16A.
  • the photographing device 14 operates under the control of the CPU 16A of the control device 16.
  • the photographing apparatus 14 includes an SLO unit 18, a photographing optical system 19, and an OCT unit 20.
  • the photographing optical system 19 includes a first optical scanner 22, a second optical scanner 24, and a wide-angle optical system 30.
  • the first optical scanner 22 two-dimensionally scans the light emitted from the SLO unit 18 in the X direction and the Y direction.
  • the second optical scanner 24 two-dimensionally scans the light emitted from the OCT unit 20 in the X direction and the Y direction.
  • the first optical scanner 22 and the second optical scanner 24 may be any optical element capable of deflecting a luminous flux, and for example, a polygon mirror, a galvano mirror, or the like can be used. Moreover, it may be a combination thereof.
  • the wide-angle optical system 30 includes an objective optical system having a common optical system 28 (not shown in FIG. 2), and a compositing unit 26 that synthesizes light from the SLO unit 18 and light from the OCT unit 20.
  • the objective optical system of the common optical system 28 may be a catadioptric system using a concave mirror such as an elliptical mirror, a catadioptric system using a wide-angle lens or the like, or a catadioptric system combining a concave mirror or a lens.
  • a wide-angle optical system using an elliptical mirror or a wide-angle lens it is possible to photograph not only the central part of the fundus where the optic disc and the macula are present, but also the retina around the fundus where the equator of the eyeball and the vortex vein are present. It will be possible.
  • the wide-angle optical system 30 enables observation in the fundus with a wide field of view (FOV: Field of View) 12A.
  • the FOV 12A indicates a range that can be photographed by the photographing device 14.
  • FOV12A can be expressed as a viewing angle.
  • the viewing angle can be defined by an internal irradiation angle and an external irradiation angle in the present embodiment.
  • the external irradiation angle is an irradiation angle in which the irradiation angle of the luminous flux emitted from the ophthalmic apparatus 110 to the eye 12 to be inspected is defined with reference to the pupil 27.
  • the internal irradiation angle is an irradiation angle in which the irradiation angle of the luminous flux irradiated to the fundus is defined with reference to the center O of the eyeball.
  • the external irradiation angle and the internal irradiation angle have a corresponding relationship. For example, when the external irradiation angle is 120 degrees, the internal irradiation angle corresponds to about 160 degrees. In this embodiment, the internal irradiation angle is 200 degrees.
  • the internal irradiation angle of 200 degrees is an example of the "predetermined value" of the technology of the present disclosure.
  • the SLO fundus image obtained by taking a picture with an internal irradiation angle of 160 degrees or more is referred to as a UWF-SLO fundus image (see FIG. 7A).
  • UWF is an abbreviation for Ultra Wide Field (ultra-wide-angle).
  • the UWF-SLO fundus image taken by the wide-angle optical system of the ophthalmic apparatus 110 is an image obtained by stereographically projecting and converting the retinal image of the eyeball into a two-dimensional plane.
  • the distance and area of the peripheral part of the fundus are more distorted than that of the central part of the fundus. Therefore, as a result of the area and shape of the structures and lesion areas existing around the fundus and the equator of the fundus appearing to be distorted, such as the fundus structure of the vortex vein and retinal detachment, these objects are on the eyeball in relation to the surroundings. There is a problem that it is difficult to grasp the position of the UWF-SLO fundus image, which is a two-dimensional fundus image.
  • the fundus equator 174 will be described with reference to FIG. 7B.
  • the eyeball (eye 12 to be inspected) is a spherical structure having an eyeball center 170 having a diameter of about 24 mm.
  • the straight line connecting the front pole 175 and the rear pole 176 is called the eyeball axis 172, the line where the plane orthogonal to the eyeball axis 172 intersects the eyeball surface is called the latitude line, and the one with the maximum latitude line length is the equator 174.
  • the portion of the retina or choroid corresponding to the position of the equator 174 is referred to as the equator 178.
  • the equatorial region 178 is a part of the peripheral portion of the fundus.
  • the SLO system is realized by the control device 16, the SLO unit 18, and the photographing optical system 19 shown in FIG. Since the SLO system includes a wide-angle optical system 30, it enables fundus photography with a wide FOV12A.
  • the SLO unit 18 includes a plurality of light sources, for example, a B light (blue light) light source 40, a G light (green light) light source 42, an R light (red light) light source 44, and an IR light (infrared ray (for example, near)). Infrared light)) light source 46, and optical systems 48, 50, 52, 54, 56 that reflect or transmit light from light sources 40, 42, 44, 46 and guide them into one optical path.
  • the optical systems 48, 50 and 56 are mirrors, and the optical systems 52 and 54 are beam splitters.
  • B light is reflected by the optical system 48, is transmitted through the optical system 50, is reflected by the optical system 54, G light is reflected by the optical systems 50 and 54, and R light is transmitted through the optical systems 52 and 54.
  • IR light is reflected by the optical systems 56 and 52 and guided to one optical path, respectively.
  • the SLO unit 18 is configured to be able to switch a combination of a light source that emits laser light having a different wavelength or a light source that emits light, such as a mode that emits G light, R light, and B light, and a mode that emits infrared light.
  • a light source 40 for B light (blue light) includes four light sources: a light source 40 for B light (blue light), a light source 42 for G light, a light source 44 for R light, and a light source 46 for IR light.
  • the SLO unit 18 may further include a light source for white light and emit light in various modes such as a mode in which only white light is emitted.
  • the light incident on the photographing optical system 19 from the SLO unit 18 is scanned in the X direction and the Y direction by the first optical scanner 22.
  • the scanning light is applied to the back eye portion of the eye to be inspected 12 via the wide-angle optical system 30 and the pupil 27.
  • the reflected light reflected by the fundus is incident on the SLO unit 18 via the wide-angle optical system 30 and the first optical scanner 22.
  • the SLO unit 18 is a beam splitter 64 that reflects B light and transmits other than B light among the light from the rear eye portion (for example, the fundus of the eye) of the eye 12 to be examined, and G of the light that has passed through the beam splitter 64.
  • a beam splitter 58 that reflects light and transmits light other than G light is provided.
  • the SLO unit 18 includes a beam splitter 60 that reflects R light and transmits other than R light among the light transmitted through the beam splitter 58.
  • the SLO unit 18 includes a beam splitter 62 that reflects IR light among the light transmitted through the beam splitter 60.
  • the SLO unit 18 includes a plurality of photodetecting elements corresponding to a plurality of light sources.
  • the SLO unit 18 includes a B light detection element 70 that detects B light reflected by the beam splitter 64, and a G light detection element 72 that detects G light reflected by the beam splitter 58.
  • the SLO unit 18 includes an R light detection element 74 that detects the R light reflected by the beam splitter 60, and an IR light detection element 76 that detects the IR light reflected by the beam splitter 62.
  • the light incident on the SLO unit 18 via the wide-angle optical system 30 and the first optical scanner 22 (reflected light reflected by the fundus of the eye) is reflected by the beam splitter 64 and is reflected by the B light detection element 70.
  • the beam splitter 64 In the case of G light, it is transmitted through the beam splitter 64, reflected by the beam splitter 58, and received by the G light detection element 72.
  • the incident light passes through the beam splitters 64 and 58, is reflected by the beam splitter 60, and is received by the R light detection element 74.
  • the incident light passes through the beam splitters 64, 58, and 60, is reflected by the beam splitter 62, and is received by the IR photodetector 76.
  • the image processing device 16G which operates under the control of the CPU 16A, uses the signals detected by the B photodetector 70, the G photodetector 72, the R photodetector 74, and the IR photodetector 76 to produce a UWF-SLO image. Generate.
  • the UWF-SLO image (also referred to as a UWF fundus image or an original fundus image as described later) includes a UWF-SLO image (G color fundus image) obtained by photographing the fundus in G color and a fundus in R color. There is a UWF-SLO image (R color fundus image) obtained by taking a picture.
  • the UWF-SLO images include a UWF-SLO image (B color fundus image) obtained by photographing the fundus in B color and a UWF-SLO image (IR fundus image) obtained by photographing the fundus in IR. There is.
  • control device 16 controls the light sources 40, 42, and 44 so as to emit light at the same time.
  • a G color fundus image, an R color fundus image, and a B color fundus image in which the positions correspond to each other can be obtained.
  • An RGB color fundus image can be obtained from the G color fundus image, the R color fundus image, and the B color fundus image.
  • the control device 16 controls the light sources 42 and 44 so as to emit light at the same time, and the fundus of the eye to be inspected 12 is simultaneously photographed by the G light and the R light.
  • a fundus image can be obtained.
  • An RG color fundus image can be obtained from the G color fundus image and the R color fundus image.
  • each image data of the UWF-SLO image is transmitted from the ophthalmologic device 110 to the server 140 via the communication interface (I / F) 16F together with the patient information input via the input / display device 16E.
  • Each image data of the UWF-SLO image and the patient information are stored in the storage device 254 correspondingly.
  • the patient information includes, for example, patient name ID, name, age, visual acuity, right eye / left eye distinction, and the like.
  • the patient information is input by the operator via the input / display device 16E.
  • the OCT system is realized by the control device 16, the OCT unit 20, and the photographing optical system 19 shown in FIG. Since the OCT system includes the wide-angle optical system 30, it enables fundus photography with a wide FOV12A in the same manner as the above-mentioned SLO fundus image acquisition.
  • the OCT unit 20 includes a light source 20A, a sensor (detection element) 20B, a first optical coupler 20C, a reference optical system 20D, a collimating lens 20E, and a second optical coupler 20F.
  • the light emitted from the light source 20A is branched by the first optical coupler 20C.
  • One of the branched lights is made into parallel light by the collimated lens 20E as measurement light, and then is incident on the photographing optical system 19.
  • the measurement light is scanned in the X and Y directions by the second optical scanner 24.
  • the scanning light is applied to the fundus through the wide-angle optical system 30 and the pupil 27.
  • the measurement light reflected by the fundus is incident on the OCT unit 20 via the wide-angle optical system 30 and the second optical scanner 24, and passes through the collimating lens 20E and the first optical coupler 20C to the second optical coupler 20F. Incident in.
  • the other light emitted from the light source 20A and branched by the first optical coupler 20C is incident on the reference optical system 20D as reference light, and is incident on the second optical coupler 20F via the reference optical system 20D. To do.
  • the image processing device 16G that operates under the control of the CPU 16A generates an OCT image such as a tomographic image or an en-face image based on the OCT data detected by the sensor 20B.
  • the OCT fundus image obtained by taking a picture with an internal irradiation angle of 160 degrees or more is referred to as a UWF-OCT image.
  • OCT data can be acquired at a shooting angle of view of less than 160 degrees with an internal irradiation angle.
  • the image data of the UWF-OCT image is transmitted from the ophthalmic apparatus 110 to the server 140 via the communication interface (I / F) 16F together with the patient information.
  • the image data of the UWF-OCT image and the patient information are stored in the storage device 254 in correspondence with each other.
  • the light source 20A exemplifies a wavelength sweep type SS-OCT (Swept-Source OCT), but SD-OCT (Spectral-Domain OCT), TD-OCT (Time-Domain OCT), etc. It may be an OCT system of various types.
  • the axial length measuring device 120 has two modes, a first mode and a second mode, for measuring the axial length, which is the length of the eye to be inspected 12 in the axial direction.
  • a first mode after guiding the light from a light source (not shown) to the eye 12 to be inspected, the interference light between the reflected light from the fundus and the reflected light from the cornea is received, and the interference signal indicating the received interference light is generated.
  • the axial length is measured based on this.
  • the second mode is a mode in which the axial length is measured using ultrasonic waves (not shown).
  • the axial length measuring device 120 transmits the axial length measured by the first mode or the second mode to the server 140.
  • the axial length may be measured in the first mode and the second mode.
  • the average of the axial lengths measured in both modes is transmitted to the server 140 as the axial length.
  • the server 140 stores the axial length of the patient corresponding to the patient name ID.
  • the server 140 includes a computer main body 252.
  • the computer body 252 has a CPU 262, a RAM 266, a ROM 264, and an input / output (I / O) port 268 that are interconnected by a bus 270.
  • a storage device 254, a display 256, a mouse 255M, a keyboard 255K, and a communication interface (I / F) 258 are connected to the input / output (I / O) port 268.
  • the storage device 254 is composed of, for example, a non-volatile memory.
  • the input / output (I / O) port 268 is connected to the network 130 via the communication interface (I / F) 258. Therefore, the server 140 can communicate with the ophthalmic apparatus 110 and the viewer 150.
  • An image processing program described later is stored in the storage device 254. The image processing program may be stored in the ROM 264.
  • the image processing program is an example of the "program” of the technology of the present disclosure.
  • the storage device 254 and ROM 264 are examples of the “memory” and “computer-readable storage medium” of the technology of the present disclosure.
  • the CPU 262 is an example of a "processor" of the technology of the present disclosure.
  • the processing unit 208 stores each data received from the ophthalmic device 110 in the storage device 254. Specifically, the processing unit 208 stores each image data of the UWF-SLO image, the image data of the UWF-OCT image, and the patient information (patient name ID and the like as described above) in the storage device 254 in correspondence with each other. To do. When a patient has a lesion in the eye to be inspected or an operation is performed on the lesion portion, the lesion information is input via the input / display device 16E of the ophthalmic apparatus 110, transmitted to the server 140, and stored in the storage device. It is stored in 254.
  • the lesion information is stored in the storage device 254 in association with the patient information.
  • the lesion information includes information on the position of the lesion, the name of the lesion, and the name of the operation and the date and time of the operation when the operation is performed on the lesion.
  • the viewer 150 includes a computer and a display equipped with a CPU, RAM, ROM, etc., and an image processing program is installed in the ROM. Based on the user's instruction, the computer uses the fundus image acquired from the server 140, etc. Control the display so that the medical information of is displayed.
  • the image processing program includes an image acquisition function, an image processing function (3D moving image generation function, 3D eyeball image generation function, storage function, and feature acquisition function), a display control function, and an output function.
  • the CPU 262 executes an image processing program having each of these functions, the CPU 262 has an image acquisition unit 1410 and an image processing unit 1420 (3D moving image generation unit 1421, 3D eyeball image generation unit 1422, storage) as shown in FIG. It functions as a unit 1423, a feature unit acquisition unit 1424), a display control unit 1430, and an output unit 1440.
  • the image processing by the server 140 will be described in detail with reference to FIG.
  • the CPU 262 of the server 140 executes the image processing program, the image processing shown in the flowchart of FIG. 5 is realized.
  • the image processing when the UWF fundus image (UWF-SLO image) is acquired by the ophthalmologic apparatus 110 and transmitted to the server 140 together with the patient name ID, and the server 140 receives the patient name ID and the UWF fundus image, Start.
  • the image acquisition unit 1410 acquires the UWF fundus image G1 corresponding to the patient name ID from the storage device 254.
  • the UWF fundus image G1 is, for example, an RGB color fundus image (see FIG. 7A).
  • step 504 the image processing unit 1420 executes a 3D processing process (see also FIG. 6) described in detail for the UWF fundus image G1.
  • step 506 the display control unit 1430 generates a display screen (see also FIGS. 12, 14, and 15) which will be described in detail later.
  • step 504 Next, the 3D processing process of step 504 will be described with reference to FIG.
  • step 602 the 3D moving image generation unit 1421 acquires each point on the eyeball model M corresponding to each point of the UWF fundus image G1.
  • the 3D moving image generation unit 1421 generates moving image data including a plurality of frames showing the process of projecting the UWF fundus image G1 onto the eyeball model M.
  • the method of projecting a sphere onto a plane is stereoprojection, but in the present embodiment, the 3D moving image generator 1421 generates moving image data showing the process of stereo-back projection from the plane to the sphere.
  • the 3D moving image generation unit 1421 first aligns the UWF fundus image G1 with the eyeball model M. Specifically, the 3D moving image generation unit 1421 is arranged so that the projection center of the UWF fundus image G1 and the projection center of the eyeball model M coincide with each other and the projection plane is horizontal from the center of the eyeball model M. The XY direction centered on the center gc of the UWF fundus image G1 and the XY direction centered on the pupil center mc of the eyeball model M are matched.
  • the 3D moving image generator 1421 sets the variable g related to the time step for identifying each point of the UWF fundus image G1 to 0, and sets the variable g to 1.
  • the point of the UWF fundus image G1 identified by the variable g is converted into a point on the eyeball model M according to the following conversion formula.
  • the points on the eyeball model M corresponding to the points of the UWF fundus image G1 identified by the variable g are acquired.
  • the point on the UWF fundus image G1 is (Xg, Yg, -1), and the point on the eyeball model M corresponding to the point (Xg, Yg, -1) on the UWF fundus image G1 is (Xmg, Ymg, Zmg).
  • the conversion formula is as follows.
  • Xmg 4Xg / (4 + Xg 2 + Yg 2 )
  • Ymg 4Yg / (4 + Xg 2 + Yg 2 )
  • Zmg (-4 + Xg 2 + Yg 2 ) / (4 + Xg 2 + Yg 2 )
  • the above conversion is performed for all points of the UWF fundus image G1.
  • the point g1 is set for each pixel of the UWF fundus image G1.
  • the above conversion is performed for all the pixels of the UWF fundus image G1.
  • the default eyeball model may be used as the eyeball model used in step 602.
  • the 3D moving image generation unit 1421 reads the axial length corresponding to the patient name ID from the storage device 254, and corrects the size of the default eyeball model in advance according to the read axial length. doing.
  • the 3D moving image generation unit 1421 uses a conversion formula to acquire points on the eyeball model M corresponding to each point of the UWF fundus image G1.
  • the techniques of the present disclosure are not limited to this. Even if a conversion lookup table for the eyeball model is prepared in advance, the 3D moving image generation unit 1421 refers to the table and acquires points on the eyeball model M corresponding to each point of the UWF fundus image G1. Good.
  • step 604 the 3D moving image generation unit 1421 acquires a locus in which the pixels of each point of the UWF fundus image move to the corresponding points on the eyeball model.
  • the 3D moving image generation unit 1421 sets the variable g to 0, increments the variable g by 1, the point of the UWF fundus image G1 identified by the variable g, and the eyeball model M corresponding to the point.
  • the line connecting the points is set as the route.
  • the 3D moving image generation unit 1421 calculates the position of the pixel of the point of the UWF fundus image G1 identified by the variable g at predetermined time intervals. It should be noted that this predetermined time is a time according to the frame rate in the moving image data described later.
  • the movement pattern there are a plurality of patterns in which at least one of the movement path and the movement speed of the pixels at each point of the UWF fundus image G1 is different.
  • the above route may be a straight line or a curved line, but in the present embodiment, it is a straight line.
  • the user may be allowed to select from a straight line and a curve (for example, a plurality of curves having different upward convex curvatures and a plurality of downward convex curvatures).
  • the speed may be constant or changed during the above movement.
  • the speed is constant at a predetermined speed V0 during the movement.
  • the operator may be allowed to select from a constant speed (plurality of speeds), a plurality of patterns that gradually increase, a plurality of patterns that gradually decrease, and the like.
  • the coordinates of the point g1 (X1, Y1) are converted into the coordinates of the point mg1 (X1, Y1, -1).
  • the UWF fundus image G1 is placed in the UWF fundus image G1.
  • the 3D moving image generation unit 1421 sets the line segment L1 between the point mg1 (X1, Y1, -1) and the point m1 (Xm1, Ym1, Zm1) in the XYZ coordinate system.
  • moving image data representing the process in which the pixel at the point mg1 (X1, Y1, -1) moves to the point m1 (Xm1, Ym1, Zm1) is created.
  • the moving image data is reproduced, it is displayed that the pixels at the point mg1 (X1, Y1, -1) move through the line segment L1 to the point m1 (Xm1, Ym1, Zm1). Therefore, the line segment L1 becomes a locus of movement of the pixels at the point mg1 (X1, Y1, -1).
  • the line segment L1 is also referred to as a path L1.
  • a pattern in which the pixels of all the points of the UWF fundus image G1 move linearly at a constant velocity along the corresponding path to the points on the eyeball model M corresponding to the points of each pixel is predetermined. ing.
  • this pattern for example, as shown in FIG. 10, pixels at points mg1 (X1, Y1,0) are located along the path L1 at points md, ..., mh, ... mm, ... m1. Moves at a constant velocity V0.
  • the 3D moving image generation unit 1421 calculates the position (XYZ coordinate system) of the pixel at the point mg1 (X1, Y1, -1) at predetermined time intervals from the path L1 and the velocity V0.
  • the 3D moving image generation unit 1421 executes the above processing until the variable g becomes the total number of points of the UWF fundus image G1. As a result, the positions of all the points of the UWF fundus image G1 along the movement path of the pixels are acquired.
  • the movement pattern may be different for each pixel of each point of the UWF fundus image G1.
  • the pixels at a certain point in the UWF fundus image G1 have a constant velocity linear movement, but the pixels at other points gradually slow down and move along the path of an upwardly convex curve. May be good.
  • step 606 the 3D moving image generation unit 1421 generates moving image data showing the process in which the pixels of all the points of the UWF fundus image G1 move to the points on the eyeball model M corresponding to the points of each pixel.
  • FIG. 11 is a diagram for explaining a plurality of frames of the moving image data.)
  • the data point is arranged at a position after a predetermined time ( ⁇ t) has elapsed.
  • a plane is defined by arranging the data points for all the data points of the UWF fundus image G1.
  • Pixel data color and luminance data
  • an intermediate frame is generated after a predetermined time ( ⁇ t) has elapsed (corresponding to fd, fh, and fm in FIG. 11).
  • ⁇ t a predetermined time
  • the generation of the intermediate frame is repeated in the same manner from ⁇ t1 to ⁇ tn (n is the number of frames generated until the final position n is reached) for a predetermined time.
  • fn is the final frame
  • each data point is a frame in a state of being moved to a point on the eyeball model M.
  • the frame number, the moving image file number, and the like are added, and the moving image data is generated.
  • a plane calculation method linear interpolation, spline interpolation, or the like may be used.
  • shape model of the plane a surface model, a spatial lattice model, or the like may be used.
  • the data points may be sized and displayed as a scatter plot.
  • the pixels of all the points of the UWF fundus image G1 move at a constant velocity V0 along the path L to the points on the eyeball model M corresponding to the points of each pixel.
  • a pattern for linear movement is predetermined. Therefore, in step 606, as moving image data, a plurality of pixels at each point of the UWF fundus image G1 move linearly at a constant velocity to a point on the eyeball model M corresponding to each pixel point.
  • a frame (still image) is generated.
  • the first frame F1 coincides with the UWF fundus image G1.
  • the 3D moving image generation unit 1421 generates a frame after a predetermined time by arranging each corresponding pixel at the calculated position after the movement.
  • the 3D moving image generation unit 1421 moves the pixels of all the points of the UWF fundus image G1 to the points on the eyeball model M corresponding to the points of each pixel, as shown in FIG. Frames fd, ..., fh, ..., fm, ... fr are generated at predetermined time intervals up to.
  • the 3D eyeball image generation unit 1422 generates 3D eyeball image data.
  • the 3D fundus image data is an image of the eyeball obtained by converting the UWF fundus image G1 so as to be attached to a predetermined eyeball model and synthesizing the converted UWF fundus image G1 with an anterior segment image such as an iris or a crystalline lens. It is data.
  • the 3D eyeball image generation unit 1422 uses the image (final frame of the moving image) after the pixels of all the points of the UWF fundus image G1 have moved to the points on the eyeball model M corresponding to the points of each pixel as the 3D eyeball image. May be good.
  • the feature unit acquisition unit 1424 acquires the information of the feature unit.
  • Characteristic parts include blood vessels (for example, retinal blood vessels, choroidal blood vessels, etc.), optic discs, macula, and vortex veins as fundus structures.
  • the 3D eyeball image generation unit 1422 was acquired by the feature unit acquisition unit 1424 on the image after the pixels of all the points of the UWF fundus image G1 were moved to the points on the eyeball model M corresponding to the points of each pixel. By emphasizing the image of the feature portion, 3D fundus image data is generated.
  • the characteristic part also includes a lesion area. The lesion area is identified by an ophthalmologist's diagnosis.
  • a mark indicating a region including retinal detachment is superimposed and displayed on the UWF fundus image G1.
  • the position or region of such a feature is stored in the storage device 254 as coordinate data on the UWF fundus image G1 by combining the lesion name or feature name and the coordinate data.
  • the moving image data may be created from the UWF fundus image G1 marking the positions of features and lesions.
  • step 610 the storage unit 1423 stores (stores) each data (moving image data and 3D fundus image data) in the storage device 2554.
  • step 610 When the storage process of each data in step 610 is completed, the 3D processing process of step 504 in FIG. 5 is completed, the image processing proceeds to step 506, and the display control unit 1430 displays the display screens (FIGS. 12, 14, and 14). (See also FIG. 15) is generated, and the image processing is completed.
  • the user inputs the patient name ID into the viewer 150 when examining the patient's eye to be examined.
  • the viewer 150 instructs the server 140 to transmit the image data of the eye to be inspected corresponding to the patient name ID and the like.
  • the output unit 1440 of the server 140 outputs the patient name, the patient's age, the patient's visual acuity, the information on whether the left eye or the right eye, the axial length, the imaging date, the image data, etc. It is transmitted to the viewer 150 together with the ID.
  • the image data and the like include UWF fundus image, moving image data, 3D fundus image data, and information on the feature portion.
  • the viewer 150 Upon receiving the patient name ID, patient name, patient age, patient's visual acuity, left eye or right eye information, axial length, shooting date, and image data, the viewer 150 displays the display screen 400A shown in FIG. Display on.
  • the display screen 400A has an information display area 402 and an image display area 404A.
  • the information display area 402 includes a patient ID display area 412, a patient name display area 414, an age display area 416, a right eye / left eye display area 418, an axial length display area 420, a visual acuity display area 422, and an imaging date / time display. It has a region 424.
  • the viewer 150 displays each information from the patient ID display area 412 to each display area of the imaging date / time display area 424 based on the received information.
  • the image display area 404A has an SLO image display area 452A and a moving image data display area 454A1.
  • the moving image data display area 454A1 includes a moving image data display unit 455A, a play button 456, and a display progress display unit 458.
  • a UWF fundus image is displayed in the SLO image display area 452A.
  • the play button 456 is operated, the video data is displayed on the video data display unit 455A, and the portion of the display progress display unit 458 corresponding to the already displayed ratio of the total video data is predetermined. Filled with color.
  • the play button 456 When the play button 456 is operated, as shown in FIG. 13, first, the front view of the UWF fundus image G1 is displayed (image a), and then the image Gd in which the UWF fundus image G1 is tilted by a predetermined angle is displayed. (Image b), and further, a perspective image Gh in which the UWF fundus image G1 is further tilted is displayed (image c).
  • the process of displaying the image a, the image b, and the image c is the first process of converting the two-dimensional fundus image from the front view to the perspective view.
  • the image d on which the three-dimensional fundus image fh showing the initial state of the stereographic transformation is superimposed is displayed.
  • an image showing the state of the stereographic transformation is displayed, and specifically, the first frame f1, ... frame fh, ... Frame fr are displayed.
  • the image e on which the three-dimensional image fr indicating the completion state of the stereographic transformation is superimposed on the image Gh is displayed.
  • the process of displaying the image e from the image d is the second process in which the three-dimensional fundus image that is stereographically projected and inversely converted is changed to the two-dimensional fundus image in horizontal vision.
  • the image e is rotated, and the image Gz obtained by superimposing the front-view three-dimensional fundus image fr on the front-view UWF fundus image G1 is displayed (image f).
  • the process of displaying the image f from the image e is a third process of rotating the horizontal view two-dimensional fundus image and the three-dimensional fundus image for which the conversion has been completed as an integrated image.
  • the moving image data is a moving image only in the process of stereographic transformation of the UWF fundus image G1 (not a moving image in which the image Gh is left as it is as shown in FIG. 13, but no image Gh is left. It may be a video).
  • a predetermined point in the analogy shown in FIG. 13, the route of each point is displayed for each of the upper and lower outermost four points selected in advance (L1 and L2 in the figure). , L3 and L4).
  • the path of the position of the above-mentioned feature portion such as a vortex vein or retinal detachment may be displayed.
  • the 3D eyeball image switching button 460 is displayed in the moving image data display area 454A1 as shown in FIG.
  • the moving image data display area 454A1 is switched to the 3D fundus image display area 454A2.
  • a 3D eyeball image is displayed in the 3D fundus image display area 454A2.
  • the image image data of the eyeball obtained by converting the UWF fundus image G1 so as to be attached to a predetermined eyeball model and synthesizing the converted UWF fundus image G1 with an anterior segment image such as an iris or a crystalline lens.
  • a 3D moving image switching button 462 is displayed in the 3D fundus image display area 454A2. When the 3D moving image switching button 462 is operated, the screen is switched to the display screen 400A of FIG.
  • moving image data representing the process in which the pixels of each point of the UWF fundus image move to the corresponding points on the eyeball model is created. Therefore, the user can know how each point of the UWF fundus image moves to each corresponding point on the eyeball model. Therefore, the user can know which point in the UWF fundus image each corresponding point on the eyeball model is. Therefore, by viewing the moving image data generated from the UWF fundus image by the user (ophthalmologist), the user (ophthalmologist) can determine the position of the peripheral part of the fundus and the equatorial part of the fundus on the eyeball and the size of the lesion (area of the lesion area). Can be grasped intuitively. In addition, an ophthalmologist can explain the diagnosis result such as the position and size of the lesion to the subject (patient) in an easy-to-understand manner.
  • a moving image of the process of converting a two-dimensional UWF fundus image into a three-dimensional fundus image based on an eyeball model is generated.
  • a moving image of the process of converting a two-dimensional photographed image of the anterior segment into a three-dimensional anterior segment image based on the eyeball model may be generated.
  • a moving image that converts a two-dimensional plane image of a crystalline lens based on a three-dimensional crystalline lens model may be generated. It can be used for planning the surgical procedure for glaucoma surgery by recognizing the pigmentation of the crystalline lens in a three-dimensional and easy-to-understand manner.
  • the imaging device 14 of the ophthalmic apparatus 110 is controlled by the control device 16 and includes an fixation target control device for lighting an upper fixation lamp and a lower fixation lamp (including a central fixation lamp (not shown)) which are not shown. There is.
  • the direction (line-of-sight direction) of the eye 12 to be inspected can be changed by turning on any of the central fixation lamp, the upper fixation lamp, and the lower fixation lamp.
  • FIG. 16 shows a block diagram of various functions realized by the CPU 262 of the server 140 of the second embodiment executing an image processing program.
  • the image processing program of the second embodiment has a montage image generation function added to the image processing function. Therefore, when the CPU 262 executes an image processing program having each of these functions, the CPU 262 further functions as a montage image generation unit 1425.
  • the ophthalmic apparatus 110 controls the fixation target control device to turn on the upper fixation lamp in order to direct the patient's line of sight diagonally upward.
  • the patient's line of sight is directed obliquely upward, that is, in the direction from the center of the eyeball toward the upper fixation lamp.
  • the operator of the ophthalmic apparatus 110 issues an instruction to make the patient's line of sight diagonally upward, such as "Please look up", so that the line of sight of the eye to be inspected is directed diagonally upward. You may leave it in the same state.
  • the ophthalmologic apparatus 110 photographs the fundus of the eye in a state of upward vision in which the patient's line of sight is directed diagonally upward.
  • a UWF upper fundus image GU is obtained (see also FIG. 19A).
  • the ophthalmic apparatus 110 controls the fixation target control device to turn on the lower fixation lamp in order to direct the patient's line of sight diagonally downward.
  • the patient's line of sight is directed diagonally downward, that is, in the direction from the center of the eyeball toward the inferior fixation lamp.
  • the operator of the ophthalmic apparatus 110 issues an instruction to make the patient's line of sight diagonally downward, such as "Please look down", so that the line of sight of the eye to be inspected is directed diagonally downward. You may leave it in the same state.
  • the ophthalmologic apparatus 110 photographs the fundus in a state of downward vision in which the patient's line of sight is directed diagonally downward.
  • a UWF downward fundus image GD is obtained.
  • FIG. 19B shows a aligned UWF lower fundus image GDC, which will be described later.
  • the UWF upper fundus image GU includes a B color fundus image (UWF upper fundus image B), a G color fundus image (UWF upper fundus image G), and an R color fundus image (UWF) as in the first embodiment.
  • the UWF lower view fundus image GD also includes a B color fundus image (UWF lower view fundus image B), a G color fundus image (UWF lower view fundus image G), an R color fundus image (UWF lower view fundus image R), and IR.
  • a fundus image UWF lower view fundus image IR
  • an RGB color fundus image UWF lower view fundus image RGB
  • an RG color fundus image UWF lower view fundus image RG.
  • the UWF upper fundus image GU and the UWF lower fundus image GD are transmitted to the server 140 by the ophthalmologic apparatus 110 and stored in the storage device 254.
  • FIG. 17 shows a flowchart of image processing according to the second embodiment.
  • the image processing of the second embodiment starts when the server 140 receives the UWF upper fundus image GU and the UWF lower fundus image GD.
  • step 320 the image acquisition unit 1410 acquires the UWF upper fundus image and the UWF lower fundus image from the storage device 254.
  • step 322 the montage image generation unit 1425 performs a process of emphasizing blood vessels on the UWF upper fundus image and the UWF lower fundus image. Then, the binarization process of binarizing at a predetermined threshold value is executed. The binarization process emphasizes the blood vessels in the fundus white.
  • step 324 the montage image generation unit 1425 aligns the UWF upper fundus image and the UWF lower fundus image.
  • the alignment process of step 324 will be described with reference to the flowchart of FIG.
  • a case where the UWF lower fundus image is converted based on the UWF upper fundus image (that is, a case where only the UWF lower fundus image is converted without converting the UWF upper fundus image) will be described as an example. ..
  • the montage image generation unit 1425 extracts the feature point group 1 for the above alignment by image processing from the UWF upper view fundus image GU.
  • the feature point group 1 is a plurality of feature points in the fundus image, and as shown in FIG. 19A, is a bifurcation point of the optic nerve head ONHU, the macula MU, and the retinal blood vessels.
  • the bifurcation point of the choroidal blood vessel may also be extracted as a feature point.
  • the feature points are the maximum brightness pixel in the optic nerve papilla ONHU region, the minimum brightness pixel in the macula MU region, and the pixels located at the bifurcation points of the retinal blood vessels and choroidal blood vessels, and the coordinates of these pixels are extracted as feature point data.
  • a region containing a characteristic blood vessel running pattern may be extracted and the central point of the region including the pattern may be used as a feature point.
  • end points, flexion points or meandering points of the retinal blood vessels and choroidal blood vessels may be extracted as feature points.
  • the feature points can be performed by using SIFT (Scale Invariant Feature Transfer) or SURF (Speed Upped Surf Future), which is an algorithm for detecting feature points.
  • SIFT Scale Invariant Feature Transfer
  • SURF Speed Upped Surf Future
  • the number of feature points to be extracted is preferably 4 or more.
  • the UWF upper fundus image GU there is only one optic disc and macula in the eye to be examined. Therefore, by extracting two or more bifurcation points of the retinal blood vessels and choroidal blood vessels, four or more feature points 1 can be extracted from the UWF upper fundus image GU.
  • the optic nerve head, macula, retinal blood vessels, and choroidal blood vessels existing in the central part of the fundus are suitable as selection targets for alignment feature points because they are captured by both the UWF upper view fundus image GU and the UWF lower view fundus image GD.
  • the feature point is preferably selected from the central portion of the fundus, which is a common region between the UWF upper fundus image GU and the UWF lower fundus image GD.
  • the montage image generation unit 1425 extracts the feature point group 1 by image processing for the region below the center of the UWF upper fundus image GU, which is the center of the fundus.
  • the vortex vein existing in the UWF upper fundus image GU existing in the peripheral part of the fundus is excluded from the selection target as the feature point for the above alignment. Since the fundus peripheral portion is not a common region between the WF upper fundus image GU and the UWF lower fundus image GD, the structure of the fundus peripheral portion is excluded from the selection target of the feature points.
  • the montage image generation unit 1425 extracts the feature point group 2 corresponding to the feature point group 1 from the UWF lower view fundus image GD.
  • the feature point group 2 has an optic disc ONHD, a macula MD, and a bifurcation point of a retinal blood vessel. Since the eyes are the same, the optic disc ONHD corresponds to the optic disc ONHU, and the macular MD corresponds to the macular MU.
  • the branch point in the UWF upper fundus image GU corresponds to the branch point of the blood vessel in the UWF lower fundus image GD.
  • a branch point having the same branch pattern as the branch pattern of the branch point in the UWF upper fundus image GU is extracted from the UWF lower fundus image GD by image recognition processing or the like.
  • the montage image generation unit 1425 uses the feature point group 1 and the feature point group 2 to generate a projective transformation matrix that geometrically transforms the UWF lower view fundus image GD.
  • This projective transformation matrix is a matrix for associating the UWF lower fundus image GD with the UWF upper fundus image GU.
  • the projective transformation matrix is determined by at least four feature points.
  • step 346 the UWF lower view fundus image GD is converted using the generated projective transformation matrix, and the converted UWF lower view fundus image GDC (see FIG. 19B) is obtained.
  • the feature point group 1 and the feature point group 2 are at the same position, which means that the alignment process has been executed. Due to this conversion, the UWF lower view fundus image GDC is larger (the area is increased) than the UWF lower view fundus image GD.
  • a projective transformation matrix for associating the UWF lower fundus image GD with the UWF upper fundus image GU was generated, and the UWF lower fundus image GD was converted.
  • a projective transformation matrix for making the UWF upper fundus image GU correspond to the UWF lower fundus image GD may be generated, and the UWF upper fundus image GU may be converted.
  • step 324 of FIG. 17, is the alignment process between images, and the image process proceeds to step 326.
  • the montage image generation unit 1425 synthesizes the UWF upper fundus image GU and the converted UWF lower fundus image GDC to generate a montage image GM.
  • the montage image generation unit 1425 sets a line segment LGU passing through the optic nerve head ONHU and the macula MU in the UWF upper fundus image GU.
  • the montage image generation unit 1425 sets a line segment LGD passing through the optic disc ONHD and the macula MD in the converted UWF lower fundus image GDC.
  • the montage image generation unit 1425 performs weighting processing on the region where the UWF upper fundus image GU and the UWF lower fundus image GDC overlap. As shown in FIG. 20, the montage image generation unit 1425 sets the weight of the upper UWF upper fundus image GUx region, which is the upper region of the line segment LGU of the UWF upper fundus image GU, to “1”. The montage image generation unit 1425 sets the weight of the region below the line segment LGU to “0”.
  • the montage image generation unit 1425 sets the weight of the lower UWF lower view fundus image GDCx, which is a region lower than the line segment LGD of the converted UWF lower view fundus image, to "1", and sets the weight to "1", which is higher than the line segment LGD.
  • the weight of the upper region is set to "0".
  • the montage image generation unit 1425 performs such a weighting process on the UWF upper fundus image GU and the UWF lower fundus image GDC, thereby synthesizing the UWF upper fundus image GUx and the UWF lower fundus image GDCx.
  • the line segment LG is a line segment connecting the optic nerve head OMH and the macula M
  • the upper side of the line segment LG is the UWF upper fundus image GUx
  • the lower side of the line segment LG is the UWF lower fundus.
  • Image GDCx The montage image is an example of a "montage image" of the technique of the present disclosure.
  • the weighting of the overlapping portion of the UWF upper fundus image GU and the UWF lower fundus image GDC is not limited to the above example, and the mixing ratio of the UWF upper fundus image GU and the UWF lower fundus image GDC is set to various values. Can be set.
  • the UWF upper fundus image GU and the UWF lower fundus image GDC are aligned and combined.
  • the blood vessels of the fundus are not discontinuous, and the fundus images for the analysis of the vortex veins located around the fundus or the equator of the fundus and the choroidal blood vessels around the vortex veins, or the abnormal parts and lesions Obtainable.
  • the feature acquisition unit 1424 analyzes the position of the vortex vein and the blood vessel diameter of the blood vessel near the vortex vein using the montage image GM.
  • the vortex vein information obtained by the analysis includes information on the number of vortex veins, the position of the vortex veins, the number of blood vessels connected to the vortex veins, the blood vessel diameter of the blood vessels around the vortex membrane, and the like.
  • step 504 of the 3D processing process is executed in step 504S.
  • the image processing unit 1420 executes 3D processing (see also FIG. 6) on the UWF fundus image G1.
  • step 504 of the second embodiment the image processing unit 1420 executes 3D processing (see also FIG. 6) on the montage image GM.
  • the description of the 3D processing process in step 504S will be omitted.
  • step 504S the display screen generation process is executed in step 506S.
  • the details of the display screen of the second embodiment will be described later.
  • step 332 the output unit 1440 outputs the montage image GM and the vortex vein analysis information obtained by the vortex vein analysis to the storage device 254 of the server 140.
  • the montage image GM and the vortex vein analysis information obtained by the vortex vein analysis are stored in the memory device 254 of the server 140.
  • step 332 the output unit 1440 further outputs the image data corresponding to the display screen 400B to the viewer 150.
  • the display control unit 1430 may output the montage image GM to be displayed on the display 256.
  • the display screen 400B of the second embodiment will be described. Since the display screen 400B of the second embodiment is substantially the same as the display screen 400A of the first embodiment, only different parts will be described.
  • the display screen 400B has an image display area 404B instead of the image display area 404A.
  • the image display area 404B has a montage image display area 452B and a moving image data display area 454B1.
  • a montage image is displayed in the montage image display area 452B.
  • the video data is displayed on the video data display unit 455B, and the display progress display unit 458 displays the already displayed ratio of the total video data as a bar graph.
  • the 3D eyeball image switching button 460 is displayed in the moving image data display area 454B1 as shown in FIG.
  • the moving image data display area 454B1 is replaced with the 3D fundus image display area 454B2.
  • a 3D fundus image is displayed in the 3D fundus image display area 454B2.
  • the 3D fundus image in which the feature portion is emphasized is displayed in the image after the pixels of all the points of the montage image have moved to the points on the eyeball model M corresponding to the points of each pixel.
  • moving image data representing the process of moving from each point of the montage image to each corresponding point on the eyeball model is created. Therefore, it is possible to know how each point of the montage image moves to each corresponding point on the eyeball model. Therefore, it is possible to know which point in the montage image each corresponding point on the eyeball model is.
  • the montage image has a wider area than the UWF fundus image of the first embodiment, it is known which point of the montage image the corresponding point on the eyeball model is a wider area than the UWF fundus image. be able to. Therefore, the user can intuitively grasp the position of a lesion such as a vortex vein or retinal detachment on the eyeball by viewing the moving image data generated from the montage image.
  • An ophthalmologist can explain to the subject (patient) the diagnosis results such as the position and size of the lesion around the fundus in an easy-to-understand manner.
  • the image acquisition unit 1410 acquires a two-dimensional fundus image (UWF fundus image G1 or montage image) corresponding to the patient name ID from the storage device 254.
  • the 3D moving image generator 1421 acquires each second point on the eye model M corrected by the axial length, which corresponds to each first point of the two-dimensional fundus image.
  • the 3D moving image generation unit 1421 creates data (moving image data) indicating a process in which each first point moves from the corresponding second point to the first point. The user can know how each first point of the UWF fundus image moves from each corresponding second point to the first point on the eye model.
  • the data of the three-dimensional fundus image is generated in advance by stereo-reversely projecting the two-dimensional fundus image (UWF fundus image G1 or montage image) on the eyeball model corrected by the axial length. It is stored in the storage device 245 corresponding to the patient name ID.
  • the image acquisition unit 1410 acquires the data of the three-dimensional fundus image corresponding to the patient name ID from the storage device 254.
  • the 3D moving image generator 1421 acquires each second point on the two-dimensional fundus image corresponding to each first point of the three-dimensional fundus image.
  • step 2506 the 3D moving image generation unit 1421 creates data (moving image data) indicating the process in which each first point moves to the corresponding second point.
  • the user can know how each first point of the three-dimensional fundus image moves to each corresponding second point on the two-dimensional fundus image.
  • the image processing of the third modification will be described with reference to FIG. 26.
  • the data of the three-dimensional fundus image is generated in advance and stored in the storage device 245 corresponding to the patient name ID.
  • the image acquisition unit 1410 acquires the data of the three-dimensional fundus image corresponding to the patient name ID from the storage device 254.
  • the 3D moving image generator 1421 acquires each second point on the two-dimensional fundus image corresponding to each first point of the three-dimensional fundus image.
  • the 3D moving image generation unit 1421 creates data (moving image data) indicating a process in which each first point moves from the corresponding second point to the first point. The user can know how each first point of the three-dimensional fundus image moves from each corresponding second point to the first point on the two-dimensional fundus image.
  • the data of the three-dimensional fundus image in each of the above examples can be obtained by stereo-reversely projecting the two-dimensional fundus image (UWF fundus image G1 or montage image) on the eyeball model.
  • the techniques of the present disclosure are not limited to this.
  • it may be OCT volume data, OCT angiography data, MRI, three-dimensional fundus image data obtained by ultrasound, or three-dimensional image data such as the anterior segment of the eye.
  • moving image data showing the process in which the pixels of all the points of the UWF fundus image move to the corresponding points on the eyeball model is created
  • all the pixels of the montage image are created.
  • Video data showing the process of moving to each corresponding point on the eye model is created.
  • the techniques of the present disclosure are not limited to this.
  • the moving moving image data of at least one pixel selected by the user may be created.
  • the user may select a plurality of points in the area by designating the area of the UWF fundus image or the montage image.
  • the user can specify the characteristic portion of the eyeball as the region. Specifically, the user can specify, for example, a crystalline lens, a fundus structure, a lesion portion, or the like as the feature portion.
  • moving image data representing the process in which the pixels of each point of the UWF fundus image (UWF-SLO fundus image) move to the corresponding points on the eyeball model is created.
  • moving image data representing the process in which the pixels of each point of the montage image (composite image of the UWF-SLO fundus image) move to the corresponding points on the eyeball model is created.
  • Video data showing the process in which the pixels of each point of the retinal vascular image or choroidal vascular image obtained from the UWF-SLO image or montage image (composite image of the UWF-SLO fundus image) move to the corresponding points on the eyeball model. May be created.
  • moving image data showing the process in which the pixels of each point of the fundus image obtained by the fundus camera, which is not the UWF-SLO image, moves to the corresponding points on the eyeball model may be created.
  • video data is created.
  • at least one image may be created that represents the process in which the pixels at each point of the UWF fundus image move to the corresponding points on the eyeball model.
  • an image may be created in which the pixels of the points of the UWF fundus image are located at least at an intermediate position between the points of the UWF fundus image and the corresponding points on the eyeball model.
  • the image processing of FIGS. 5 and 17 is executed by the server 140, but the technique of the present disclosure is not limited to this.
  • the ophthalmic apparatus 110 or the viewer 150 may be executed, or another image processing apparatus may be connected to the network 130 and the image processing apparatus may be executed.
  • image processing is realized by a software configuration using a computer
  • the technology of the present disclosure is not limited to this.
  • the image processing may be executed only by a hardware configuration such as FPGA (Field-Programmable Gate Array) or ASIC (Application Specific Integrated Circuit). Some of the image processing may be performed by the software configuration and the rest may be performed by the hardware configuration.
  • the technique of the present disclosure includes a case where image processing is realized by a software configuration using a computer and a case where image processing is realized by a configuration other than a software configuration using a computer. Includes technology and second technology.
  • An image acquisition unit that acquires a two-dimensional fundus image
  • a point acquisition unit that acquires a second point on the eyeball model corresponding to at least one first point of the two-dimensional fundus image
  • a point acquisition unit that creates data showing the process of moving the pixels of the first point to the second point
  • Image processing equipment including.
  • the 3D video generation unit 1421 is an example of a "point acquisition unit” and a “creating unit”.
  • the image acquisition unit acquires a two-dimensional fundus image
  • the point acquisition unit acquires a second point on the eyeball model corresponding to at least one first point of the two-dimensional fundus image.
  • the creation unit creates data showing the process in which the pixel of the first point moves to the second point.
  • Image processing method including.
  • a computer program product for image processing comprises a computer-readable storage medium that is not itself a temporary signal.
  • the program is stored in the computer-readable storage medium.
  • the program On the computer Acquire a two-dimensional fundus image and A second point on the eye model corresponding to at least one first point of the two-dimensional fundus image is acquired. Data showing the process of moving the pixel of the first point to the second point is created. To do that, Computer program product.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

プロセッサが行う画像処理であって、２次元眼底画像を取得し、前記２次元眼底画像の少なくとも１つの第１の点に対応する眼球モデル上の第２の点を取得し、前記第１の点が前記第２の点まで移動する過程を示すデータを作成する。

Description

画像処理方法、画像処理装置、及びプログラム
　本発明は、画像処理方法、画像処理装置、及びプログラムに関する。
　米国特許出願公開第２００９／０１３６１００号には、パノラマ眼底画像合成装置及び方法が開示されており、眼底を解析したり診断したりするために適切な画像表示方法が求められている。
　本開示の技術の第１の態様は、プロセッサが行う画像処理であって、２次元眼底画像を取得し、前記２次元眼底画像の少なくとも１つの第１の点に対応する眼球モデル上の第２の点を取得し、前記第１の点が前記第２の点まで移動する過程を示すデータを作成する。
　本開示の技術の第２の態様の画像処理装置は、メモリと、前記メモリに接続するプロセッサとを備え、前記プロセッサは、２次元眼底画像を取得し、前記２次元眼底画像の少なくとも１つの第１の点に対応する眼球モデル上の第２の点を取得し、前記第１の点が前記第２の点まで移動する過程を示すデータを作成する。
　本開示の技術の第３の態様のプログラムは、コンピュータに、２次元眼底画像を取得し、前記２次元眼底画像の少なくとも１つの第１の点に対応する眼球モデル上の第２の点を取得し、前記第１の点が前記第２の点まで移動する過程を示すデータを作成する、ことを実行させる。
眼科システム１００のブロック図である。 眼科装置１１０の全体構成を示す概略構成図である。 サーバ１４０の電気系の構成のブロック図である。 第１実施の形態のサーバ１４０のＣＰＵ２６２の機能のブロック図である。 第１実施の形態のサーバ１４０による画像処理のフローチャートである。 図５のステップ５０４の３Ｄ加工処理のフローチャートである。 ＵＷＦ眼底画像Ｇ１を示す図である。 眼球と撮影画角を示す図である。 ＵＷＦ眼底画像Ｇ１の点ｇ１と、点ｇ１に対応する眼球モデルＭ上の点ｍ１とを示す図である。 ＵＷＦ眼底画像Ｇ１の点ｍｇ１の画素が、点ｇ１に対応する眼球モデルＭ上の点ｍ１まで移動する経路Ｌ１を示す図である。 ＵＷＦ眼底画像Ｇ１の点ｇ１の画素が、経路Ｌ１に沿って、点ｍｄ、・・・、ｍｈ、・・・ｍｍ、・・・ｍ１まで、等速Ｖ０で移動する様子を示す図である。 動画データの各フレームを示す図である。 表示画面４００Ａの第１の表示パターンを示す図である。 動画データ表示部４５５Ａに表示される画像を示す図である。 表示画面４００Ａの第２の表示パターンを示す図である。 表示画面４００Ａの第３の表示パターンを示す図である。 第２実施の形態のサーバ１４０のＣＰＵ２６２の機能のブロック図である。 第２実施の形態のサーバ１４０のサーバ１４０による画像処理のフローチャートである。 図１７のステップ３２４の画像間の位置合わせ処理のフローチャートである。 ＵＷＦ上方視眼底画像ＧＵに線分ＬＧＵが設定された様子を示す図である。 ＵＷＦ下方視眼底画像ＧＤＣに線分ＬＧＤが設定された様子を示す図である。 モンタージュ画像ＧＭの生成を説明するための図である。 表示画面４００Ｂの第１の表示態様を示す図である。 表示画面４００Ｂの第２の表示態様を示す図である。 表示画面４００Ｂの第３の表示態様を示す図である。 第１変形例のサーバ１４０による画像処理のフローチャートである。 第２変形例のサーバ１４０による画像処理のフローチャートである。 第３変形例のサーバ１４０による画像処理のフローチャートである。
 [第１実施の形態]
　以下、図面を参照して本開示の技術の第１の実施の形態を詳細に説明する。
　図１を参照して、眼科システム１００の構成を説明する。図１に示すように、眼科システム１００は、眼科装置１１０と、眼軸長測定器１２０と、管理サーバ装置（以下、「サーバ」という）１４０と、画像表示装置（以下、「ビューワ」という）１５０と、を備えている。眼科装置１１０は、眼底画像を取得する。眼軸長測定器１２０は、患者の眼軸長を測定する。サーバ１４０は、眼科装置１１０によって患者の眼底が撮影されることにより得られた眼底画像を、患者のＩＤに対応して記憶する。ビューワ１５０は、サーバ１４０から取得した眼底画像などの医療情報を表示する。
　眼科装置１１０、眼軸長測定器１２０、サーバ１４０、およびビューワ１５０は、ネットワーク１３０を介して、相互に接続されている。
　次に、図２を参照して、眼科装置１１０の構成を説明する。
　説明の便宜上、走査型レーザ検眼鏡（Ｓｃａｎｎｉｎｇ　Ｌａｓｅｒ　Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）を「ＳＬＯ」と称する。また、光干渉断層計（Ｏｐｔｉｃａｌ　Ｃｏｈｅｒｅｎｃｅ　Ｔｏｍｏｇｒａｐｈｙ）を「ＯＣＴ」と称する。
　なお、眼科装置１１０が水平面に設置された場合の水平方向を「Ｘ方向」、水平面に対する垂直方向を「Ｙ方向」とし、被検眼１２の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Ｚ方向」とする。従って、Ｘ方向、Ｙ方向、およびＺ方向は互いに垂直である。
　眼科装置１１０は、撮影装置１４および制御装置１６を含む。撮影装置１４は、ＳＬＯユニット１８、ＯＣＴユニット２０、および撮影光学系１９を備えており、被検眼１２の眼底の眼底画像を取得する。以下、ＳＬＯユニット１８により取得された二次元眼底画像をＳＬＯ画像と称する。また、ＯＣＴユニット２０により取得されたＯＣＴデータに基づいて作成された網膜の断層画像や正面画像（ｅｎ－ｆａｃｅ画像）などをＯＣＴ画像と称する。
　制御装置１６は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ（中央処理装置））１６Ａ、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１６Ｂ、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ　ｍｅｍｏｒｙ）１６Ｃ、および入出力（Ｉ／Ｏ）ポート１６Ｄを有するコンピュータを備えている。
　制御装置１６は、Ｉ／Ｏポート１６Ｄを介してＣＰＵ１６Ａに接続された入力／表示装置１６Ｅを備えている。入力／表示装置１６Ｅは、被検眼１２の画像を表示したり、ユーザから各種指示を受け付けたりするグラフィックユーザインターフェースを有する。グラフィックユーザインターフェースとしては、タッチパネル・ディスプレイが挙げられる。
　また、制御装置１６は、Ｉ／Ｏポート１６Ｄに接続された画像処理装置１６Ｇを備えている。画像処理装置１６Ｇは、撮影装置１４によって得られたデータに基づき被検眼１２の画像を生成する。制御装置１６はＩ／Ｏポート１６Ｄに接続された通信インターフェース（Ｉ／Ｆ）１６Ｆを備えている。眼科装置１１０は、通信インターフェース（Ｉ／Ｆ）１６Ｆおよびネットワーク１３０を介して眼軸長測定器１２０、サーバ１４０、およびビューワ１５０に接続される。
　上記のように、図２では、眼科装置１１０の制御装置１６が入力／表示装置１６Ｅを備えているが、本開示の技術はこれに限定されない。例えば、眼科装置１１０の制御装置１６は入力／表示装置１６Ｅを備えず、眼科装置１１０とは物理的に独立した別個の入力／表示装置を備えるようにしてもよい。この場合、当該表示装置は、制御装置１６のＣＰＵ１６Ａの制御下で動作する画像処理プロセッサユニットを備える。画像処理プロセッサユニットが、ＣＰＵ１６Ａが出力指示した画像信号に基づいて、ＳＬＯ画像等を表示するようにしてもよい。
　撮影装置１４は、制御装置１６のＣＰＵ１６Ａの制御下で作動する。撮影装置１４は、ＳＬＯユニット１８、撮影光学系１９、およびＯＣＴユニット２０を含む。撮影光学系１９は、第１光学スキャナ２２、第２光学スキャナ２４、および広角光学系３０を含む。
　第１光学スキャナ２２は、ＳＬＯユニット１８から射出された光をＸ方向、およびＹ方向に２次元走査する。第２光学スキャナ２４は、ＯＣＴユニット２０から射出された光をＸ方向、およびＹ方向に２次元走査する。第１光学スキャナ２２および第２光学スキャナ２４は、光束を偏向できる光学素子であればよく、例えば、ポリゴンミラーや、ガルバノミラー等を用いることができる。また、それらの組み合わせであってもよい。
　広角光学系３０は、共通光学系２８を有する対物光学系（図２では不図示）、およびＳＬＯユニット１８からの光とＯＣＴユニット２０からの光を合成する合成部２６を含む。
　なお、共通光学系２８の対物光学系は、楕円鏡などの凹面ミラーを用いた反射光学系や、広角レンズなどを用いた屈折光学系、あるいは、凹面ミラーやレンズを組み合わせた反射屈折光学系でもよい。楕円鏡や広角レンズなどを用いた広角光学系を用いることにより、視神経乳頭や黄斑が存在する眼底中心部だけでなく眼球の赤道部や渦静脈が存在する眼底周辺部の網膜を撮影することが可能となる。
　楕円鏡を含むシステムを用いる場合には、国際公開ＷＯ２０１６／１０３４８４あるいは国際公開ＷＯ２０１６／１０３４８９に記載された楕円鏡を用いたシステムを用いる構成でもよい。国際公開ＷＯ２０１６／１０３４８４の開示および国際公開ＷＯ２０１６／１０３４８９の開示の各々は、その全体が参照により本明細書に取り込まれる。
　広角光学系３０によって、眼底において広い視野（ＦＯＶ：Ｆｉｅｌｄ　ｏｆ　Ｖｉｅｗ）１２Ａでの観察が実現される。ＦＯＶ１２Ａは、撮影装置１４によって撮影可能な範囲を示している。ＦＯＶ１２Ａは、視野角として表現され得る。視野角は、本実施の形態において、内部照射角と外部照射角とで規定され得る。外部照射角とは、眼科装置１１０から被検眼１２へ照射される光束の照射角を、瞳孔２７を基準として規定した照射角である。また、内部照射角とは、眼底へ照射される光束の照射角を、眼球中心Ｏを基準として規定した照射角である。外部照射角と内部照射角とは、対応関係にある。例えば、外部照射角が１２０度の場合、内部照射角は約１６０度に相当する。本実施の形態では、内部照射角は２００度としている。
　内部照射角の２００度は、本開示の技術の「所定値」の一例である。
　ここで、内部照射角で１６０度以上の撮影画角で撮影されて得られたＳＬＯ眼底画像をＵＷＦ－ＳＬＯ眼底画像（図７Ａを参照）と称する。なお、ＵＷＦとは、ＵｌｔｒａＷｉｄｅ　Ｆｉｅｌｄ（超広角）の略称を指す。もちろん、内部照射角で１６０度未満の撮影画角で眼底を撮影することにより、ＵＷＦではないＳＬＯ画像を取得することができる。
　眼科装置１１０の広角光学系で撮影されたＵＷＦ－ＳＬＯ眼底画像は、眼球の網膜像を二次元平面にステレオ投影変換した画像である。眼底周辺部はステレオ投影変換によって眼底中心部に比べて距離や面積の歪が大きくなっている。よって、例えば渦静脈の眼底構造物や網膜剥離など、眼底周辺部や眼底赤道部に存在する構造物や病変領域の面積や形状が歪んで見える結果、これらの対象が周囲との関係において眼球上どの位置にあるのか、二次元眼底画像であるＵＷＦ－ＳＬＯ眼底画像では把握しづらいという課題がある。
　図７Ｂを用いて眼底赤道部１７４の説明をする。眼球（被検眼１２）は、直径約２４ｍｍの眼球中心１７０とした球状の構造物である。その前極１７５と後極１７６を連ねる直線を眼球軸１７２と言い、眼球軸１７２に直交する平面が眼球表面と交わる線を緯線といい、緯線長が最大のものが赤道１７４である。赤道１７４の位置に相当する網膜や脈絡膜の部分を赤道部１７８とする。赤道部１７８は眼底周辺部の一部である。
　ＳＬＯシステムは、図２に示す制御装置１６、ＳＬＯユニット１８、および撮影光学系１９によって実現される。ＳＬＯシステムは、広角光学系３０を備えるため、広いＦＯＶ１２Ａでの眼底撮影を可能とする。
　ＳＬＯユニット１８は、複数の光源、例えば、Ｂ光（青色光）の光源４０、Ｇ光（緑色光）の光源４２、Ｒ光（赤色光）の光源４４、およびＩＲ光（赤外線（例えば、近赤外光））の光源４６と、光源４０、４２、４４、４６からの光を、反射または透過して１つの光路に導く光学系４８、５０、５２、５４、５６とを備えている。光学系４８、５０、５６は、ミラーであり、光学系５２、５４は、ビームスプリッタ―である。Ｂ光は、光学系４８で反射し、光学系５０を透過し、光学系５４で反射し、Ｇ光は、光学系５０、５４で反射し、Ｒ光は、光学系５２、５４を透過し、ＩＲ光は、光学系５６、５２で反射して、それぞれ１つの光路に導かれる。
　ＳＬＯユニット１８は、Ｇ光、Ｒ光、およびＢ光を発するモードと、赤外線を発するモードなど、波長の異なるレーザ光を発する光源あるいは発光させる光源の組合せを切り替え可能に構成されている。図２に示す例では、Ｂ光（青色光）の光源４０、Ｇ光の光源４２、Ｒ光の光源４４、およびＩＲ光の光源４６の４つの光源を備えるが、本開示の技術は、これに限定されない。例えば、ＳＬＯユニット１８は、さらに、白色光の光源をさらに備え、白色光のみを発するモード等の種々のモードで光を発するようにしてもよい。
　ＳＬＯユニット１８から撮影光学系１９に入射された光は、第１光学スキャナ２２によってＸ方向およびＹ方向に走査される。走査光は広角光学系３０および瞳孔２７を経由して、被検眼１２の後眼部に照射される。眼底により反射された反射光は、広角光学系３０および第１光学スキャナ２２を経由してＳＬＯユニット１８へ入射される。
　ＳＬＯユニット１８は、被検眼１２の後眼部（例えば、眼底）からの光の内、Ｂ光を反射し且つＢ光以外を透過するビームスプリッタ６４、ビームスプリッタ６４を透過した光の内、Ｇ光を反射し且つＧ光以外を透過するビームスプリッタ５８を備えている。ＳＬＯユニット１８は、ビームスプリッタ５８を透過した光の内、Ｒ光を反射し且つＲ光以外を透過するビームスプリッタ６０を備えている。ＳＬＯユニット１８は、ビームスプリッタ６０を透過した光の内、ＩＲ光を反射するビームスプリッタ６２を備えている。
　ＳＬＯユニット１８は、複数の光源に対応して複数の光検出素子を備えている。ＳＬＯユニット１８は、ビームスプリッタ６４により反射したＢ光を検出するＢ光検出素子７０、およびビームスプリッタ５８により反射したＧ光を検出するＧ光検出素子７２を備えている。ＳＬＯユニット１８は、ビームスプリッタ６０により反射したＲ光を検出するＲ光検出素子７４、およびビームスプリッタ６２により反射したＩＲ光を検出するＩＲ光検出素子７６を備えている。
　広角光学系３０および第１光学スキャナ２２を経由してＳＬＯユニット１８へ入射された光（眼底により反射された反射光）は、Ｂ光の場合、ビームスプリッタ６４で反射してＢ光検出素子７０により受光され、Ｇ光の場合、ビームスプリッタ６４を透過し、ビームスプリッタ５８で反射してＧ光検出素子７２により受光される。上記入射された光は、Ｒ光の場合、ビームスプリッタ６４、５８を透過し、ビームスプリッタ６０で反射してＲ光検出素子７４により受光される。上記入射された光は、ＩＲ光の場合、ビームスプリッタ６４、５８、６０を透過し、ビームスプリッタ６２で反射してＩＲ光検出素子７６により受光される。ＣＰＵ１６Ａの制御下で動作する画像処理装置１６Ｇは、Ｂ光検出素子７０、Ｇ光検出素子７２、Ｒ光検出素子７４、およびＩＲ光検出素子７６で検出された信号を用いてＵＷＦ－ＳＬＯ画像を生成する。
　ＵＷＦ－ＳＬＯ画像（後述するようにＵＷＦ眼底画像、オリジナル眼底画像ともいう）には、眼底がＧ色で撮影されて得られたＵＷＦ－ＳＬＯ画像（Ｇ色眼底画像）と、眼底がＲ色で撮影されて得られたＵＷＦ－ＳＬＯ画像（Ｒ色眼底画像）とがある。ＵＷＦ－ＳＬＯ画像には、眼底がＢ色で撮影されて得られたＵＷＦ－ＳＬＯ画像（Ｂ色眼底画像）と、眼底がＩＲで撮影されて得られたＵＷＦ－ＳＬＯ画像（ＩＲ眼底画像）とがある。
　また、制御装置１６が、同時に発光するように光源４０、４２、４４を制御する。Ｂ光、Ｇ光およびＲ光で同時に被検眼１２の眼底が撮影されることにより、各位置が互いに対応するＧ色眼底画像、Ｒ色眼底画像、およびＢ色眼底画像が得られる。Ｇ色眼底画像、Ｒ色眼底画像、およびＢ色眼底画像からＲＧＢカラー眼底画像が得られる。制御装置１６が、同時に発光するように光源４２、４４を制御し、Ｇ光およびＲ光で同時に被検眼１２の眼底が撮影されることにより、各位置が互いに対応するＧ色眼底画像およびＲ色眼底画像が得られる。Ｇ色眼底画像およびＲ色眼底画像からＲＧカラー眼底画像が得られる。
　このようにＵＷＦ－ＳＬＯ画像として、具体的には、Ｂ色眼底画像、Ｇ色眼底画像、Ｒ色眼底画像、ＩＲ眼底画像、ＲＧＢカラー眼底画像、ＲＧカラー眼底画像がある。ＵＷＦ－ＳＬＯ画像の各画像データは、入力／表示装置１６Ｅを介して入力された患者の情報と共に、通信インターフェース（Ｉ／Ｆ）１６Ｆを介して眼科装置１１０からサーバ１４０へ送信される。ＵＷＦ－ＳＬＯ画像の各画像データと患者の情報とは、記憶装置２５４に、対応して記憶される。なお、患者の情報には、例えば、患者名ＩＤ、氏名、年齢、視力、右眼／左眼の区別等がある。患者の情報はオペレータが入力／表示装置１６Ｅを介して入力する。
　ＯＣＴシステムは、図２に示す制御装置１６、ＯＣＴユニット２０、および撮影光学系１９によって実現される。ＯＣＴシステムは、広角光学系３０を備えるため、上述したＳＬＯ眼底画像の撮影と同様に、広いＦＯＶ１２Ａでの眼底撮影を可能とする。ＯＣＴユニット２０は、光源２０Ａ、センサ（検出素子）２０Ｂ、第１の光カプラ２０Ｃ、参照光学系２０Ｄ、コリメートレンズ２０Ｅ、および第２の光カプラ２０Ｆを含む。
　光源２０Ａから射出された光は、第１の光カプラ２０Ｃで分岐される。分岐された一方の光は、測定光として、コリメートレンズ２０Ｅで平行光にされた後、撮影光学系１９に入射される。測定光は、第２光学スキャナ２４によってＸ方向およびＹ方向に走査される。走査光は広角光学系３０および瞳孔２７を経由して、眼底に照射される。眼底により反射された測定光は、広角光学系３０および第２光学スキャナ２４を経由してＯＣＴユニット２０へ入射され、コリメートレンズ２０Ｅおよび第１の光カプラ２０Ｃを介して、第２の光カプラ２０Ｆに入射する。
　光源２０Ａから射出され、第１の光カプラ２０Ｃで分岐された他方の光は、参照光として、参照光学系２０Ｄへ入射され、参照光学系２０Ｄを経由して、第２の光カプラ２０Ｆに入射する。
　第２の光カプラ２０Ｆに入射されたこれらの光、即ち、眼底で反射された測定光と、参照光とは、第２の光カプラ２０Ｆで干渉されて干渉光を生成する。干渉光はセンサ２０Ｂで受光される。ＣＰＵ１６Ａの制御下で動作する画像処理装置１６Ｇは、センサ２０Ｂで検出されたＯＣＴデータに基づいて断層画像やｅｎ－ｆａｃｅ画像などのＯＣＴ画像を生成する。
　ここで、内部照射角で１６０度以上の撮影画角で撮影されて得られたＯＣＴ眼底画像をＵＷＦ－ＯＣＴ画像と称する。もちろん、内部照射角で１６０度未満の撮影画角でＯＣＴデータを取得することができる。
　ＵＷＦ－ＯＣＴ画像の画像データは、患者の情報と共に、通信インターフェース（Ｉ／Ｆ）１６Ｆを介して眼科装置１１０からサーバ１４０へ送信される。ＵＷＦ－ＯＣＴ画像の画像データと患者の情報とは、記憶装置２５４に、対応して記憶される。
　なお、本実施の形態では、光源２０Ａが波長掃引タイプのＳＳ－ＯＣＴ（Ｓｗｅｐｔ－Ｓｏｕｒｃｅ　ＯＣＴ）を例示するが、ＳＤ－ＯＣＴ（Ｓｐｅｃｔｒａｌ－Ｄｏｍａｉｎ　ＯＣＴ）、ＴＤ－ＯＣＴ（Ｔｉｍｅ－Ｄｏｍａｉｎ　ＯＣＴ）など、様々な方式のＯＣＴシステムであってもよい。
　次に、眼軸長測定器１２０を説明する。眼軸長測定器１２０は、被検眼１２の眼軸方向の長さである眼軸長を測定する第１のモードと第２のモードとの２つのモードを有する。第１のモードは、図示しない光源からの光を被検眼１２に導光した後、眼底からの反射光と角膜からの反射光との干渉光を受光し、受光した干渉光を示す干渉信号に基づいて眼軸長を測定する。第２のモードは、図示しない超音波を用いて眼軸長を測定するモードである。
　眼軸長測定器１２０は、第１のモードまたは第２のモードにより測定された眼軸長をサーバ１４０に送信する。第１のモードおよび第２のモードにより眼軸長を測定してもよく、この場合には、双方のモードで測定された眼軸長の平均を眼軸長としてサーバ１４０に送信する。サーバ１４０は、患者の眼軸長を患者名ＩＤに対応して記憶する。
　次に、図３を参照して、サーバ１４０の電気系の構成を説明する。図３に示すように、サーバ１４０は、コンピュータ本体２５２を備えている。コンピュータ本体２５２は、バス２７０により相互に接続されたＣＰＵ２６２、ＲＡＭ２６６、ＲＯＭ２６４、および入出力（Ｉ／Ｏ）ポート２６８を有する。入出力（Ｉ／Ｏ）ポート２６８には、記憶装置２５４、ディスプレイ２５６、マウス２５５Ｍ、キーボード２５５Ｋ、および通信インターフェース（Ｉ／Ｆ）２５８が接続されている。記憶装置２５４は、例えば、不揮発メモリで構成される。入出力（Ｉ／Ｏ）ポート２６８は、通信インターフェース（Ｉ／Ｆ）２５８を介して、ネットワーク１３０に接続されている。従って、サーバ１４０は、眼科装置１１０、およびビューワ１５０と通信することができる。記憶装置２５４には、後述する画像処理プログラムが記憶されている。なお、画像処理プログラムを、ＲＯＭ２６４に記憶してもよい。
　画像処理プログラムは、本開示の技術の「プログラム」の一例である。記憶装置２５４、ＲＯＭ２６４は、本開示の技術の「メモリ」、「コンピュータ可読記憶媒体」の一例である。ＣＰＵ２６２は、本開示の技術の「プロセッサ」の一例である。
　サーバ１４０の後述する処理部２０８（図５も参照）は、眼科装置１１０から受信した各データを、記憶装置２５４に記憶する。具体的には、処理部２０８は記憶装置２５４に、ＵＷＦ－ＳＬＯ画像の各画像データおよびＵＷＦ－ＯＣＴ画像の画像データと患者の情報（上記のように患者名ＩＤ等）とを対応して記憶する。また、患者の被検眼に病変がある場合や病変部分に手術がされた場合には、眼科装置１１０の入力/表示装置１６Ｅを介して病変の情報が入力され、サーバ１４０に送信され、記憶装置２５４に記憶される。病変の情報は患者の情報と対応付けられて記憶装置２５４に記憶される。病変の情報には、病変部分の位置の情報、病変の名称、病変部分に手術がされている場合には手術名や手術日時等がある。
　ビューワ１５０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備えたコンピュータとディスプレイとを備え、ＲＯＭには、画像処理プログラムがインストールされており、ユーザの指示に基づき、コンピュータは、サーバ１４０から取得した眼底画像などの医療情報が表示されるようにディスプレイを制御する。
　次に、図４を参照して、第１実施の形態のサーバ１４０のＣＰＵ２６２が画像処理プログラムを実行することで実現される各種機能について説明する。画像処理プログラムは、画像取得機能、画像処理機能（３Ｄ動画生成機能、３Ｄ眼球画像生成機能、保存機能、および特徴部取得機能）、表示制御機能、および出力機能を備えている。ＣＰＵ２６２がこの各機能を有する画像処理プログラムを実行することで、ＣＰＵ２６２は、図４に示すように、画像取得部１４１０、画像処理部１４２０（３Ｄ動画生成部１４２１、３Ｄ眼球画像生成部１４２２、保存部１４２３、および特徴部取得部１４２４）、表示制御部１４３０、および出力部１４４０として機能する。
　次に、図５を用いて、サーバ１４０による画像処理を詳細に説明する。サーバ１４０のＣＰＵ２６２が画像処理プログラムを実行することで、図５のフローチャートに示された画像処理が実現される。当該画像処理は、眼科装置１１０によりＵＷＦ眼底画像（ＵＷＦ－ＳＬＯ画像）が、取得され、患者名ＩＤと共にサーバ１４０に送信され、サーバ１４０が、患者名ＩＤおよびＵＷＦ眼底画像を受信した場合に、スタートする。
　ステップ５０２で、画像取得部１４１０は、記憶装置２５４から、患者名ＩＤに対応するＵＷＦ眼底画像Ｇ１を取得する。ＵＷＦ眼底画像Ｇ１は、例えば、ＲＧＢカラー眼底画像（図７Ａ参照）である。
　ステップ５０４で、画像処理部１４２０は、ＵＷＦ眼底画像Ｇ１に対し、詳細には後述する３Ｄ加工処理（図６も参照）を実行する。
　ステップ５０６で、表示制御部１４３０は、詳細には後述する表示画面（図１２、図１４、図１５も参照）を生成する。
　次に、図６を用いて、ステップ５０４の３Ｄ加工処理を説明する。
　ステップ６０２で、３Ｄ動画生成部１４２１は、ＵＷＦ眼底画像Ｇ１の各点に対応する眼球モデルＭ上の各点を取得する。
　具体的には、３Ｄ動画生成部１４２１は、図８に示すように、ＵＷＦ眼底画像Ｇ１を眼球モデルＭへ投影する過程を示す複数のフレームからなる動画データを生成する。球面を平面に投影する方法はステレオ投影であるが、本実施の形態では、３Ｄ動画生成部１４２１は、平面から球面へのステレオ逆投影の過程を示す動画データを生成する。
　具体的には、３Ｄ動画生成部１４２１は、まず、ＵＷＦ眼底画像Ｇ１と眼球モデルＭとの位置合わせを行う。具体的には、３Ｄ動画生成部１４２１は、ＵＷＦ眼底画像Ｇ１の投影中心と眼球モデルＭの投影中心が一致し、かつ、眼球モデルＭの中心から投影面が水平になるように配置する。ＵＷＦ眼底画像Ｇ１の中心ｇｃを中心としたＸＹ方向と、眼球モデルＭの瞳孔中心ｍｃを中心としたＸＹ方向とを一致させる。
　眼球モデルＭとＵＷＦ眼底画像Ｇ１との位置合わせが完了後、３Ｄ動画生成部１４２１は、ＵＷＦ眼底画像Ｇ１の各点を識別するタイムステップに関連する変数ｇを０にセットし、変数ｇを１インクリメントし、変数ｇで識別されるＵＷＦ眼底画像Ｇ１の点を、以下の変換式に従って、眼球モデルＭ上の点に変換する。これにより、変数ｇで識別されるＵＷＦ眼底画像Ｇ１の点に対応する眼球モデルＭ上の点が取得される。本実施例では、Ｚ＝－１の平面にＵＷＦ眼底画像Ｇ１を配置する。ＵＷＦ眼底画像Ｇ１の点を（Ｘｇ，Ｙｇ、－１）とし、ＵＷＦ眼底画像Ｇ１の点（Ｘｇ，Ｙｇ, －１）に対応する眼球モデルＭの上の点を（Ｘｍｇ，Ｙｍｇ，Ｚｍｇ）とすると、変換式は次の通りである。
Ｘｍｇ＝４Ｘｇ／（４＋Ｘｇ２＋Ｙｇ２）
Ｙｍｇ＝４Ｙｇ／（４＋Ｘｇ２＋Ｙｇ２）
Ｚｍｇ＝（－４＋Ｘｇ２＋Ｙｇ２）／（４＋Ｘｇ２＋Ｙｇ２）
　例えば、図８に示すように、変数ｇ＝１により識別されるＵＷＦ眼底画像Ｇ１の点ｇ１（Ｘ１，Ｙ１, －１）が眼球モデルＭ上の点ｍ１（Ｘｍ１，Ｙｍ１，Ｚｍ１）に変換される。以上の変換を、ＵＷＦ眼底画像Ｇ１の全ての点について実行する。ここで、点ｇ１はＵＷＦ眼底画像Ｇ１の画素ごとに設定される。上記の変換は、ＵＷＦ眼底画像Ｇ１の全ての画素について実行される。
　なお、ＵＷＦ眼底画像Ｇ１の全ての点（画素）ではなく、ユーザにより選択されたＵＷＦ眼底画像Ｇ１の網膜剥離などの病変を含む領域や、渦静脈を含む領域に対して、上記の変換を行ってもよい。
　ステップ６０２で用いる眼球モデルは、デフォルトの眼球モデルを用いてもよい。しかし、本実施の形態では、３Ｄ動画生成部１４２１は、患者名ＩＤに対応する眼軸長を記憶装置２５４から読み出し、デフォルトの眼球モデルの大きさを、読み出した眼軸長に応じて予め補正している。
　また、本実施の形態では、３Ｄ動画生成部１４２１は、変換式を用いて、ＵＷＦ眼底画像Ｇ１の各点に対応する眼球モデルＭ上の点を取得している。本開示の技術はこれに限定されない。予め眼球モデルに対する変換ルックアップテーブルを準備しておき、３Ｄ動画生成部１４２１は、当該テーブルを参照してＵＷＦ眼底画像Ｇ１の各点に対応する眼球モデルＭ上の点を取得するようにしてもよい。
　ステップ６０４で、３Ｄ動画生成部１４２１は、ＵＷＦ眼底画像の各点の画素が、眼球モデル上の対応する各点まで移動する軌跡を取得する。
　具体的には、３Ｄ動画生成部１４２１は、変数ｇを０にセットし、変数ｇを１インクリメントし、変数ｇで識別されるＵＷＦ眼底画像Ｇ１の点と当該点に対応する眼球モデルＭ上の点とを結ぶ線を、経路として設定する。３Ｄ動画生成部１４２１は、変数ｇで識別されるＵＷＦ眼底画像Ｇ１の点の画素の所定時間毎の位置を算出する。なお、この所定時間は、後述する動画データにおけるフレームレートに従う時間である。
　ここで、上記移動のパターンには、ＵＷＦ眼底画像Ｇ１の各点の画素の移動の経路及び移動する速度の少なくとも一方が異なる複数のパターンがある。
　上記経路は、直線でも曲線でもよいが、本実施の形態では直線としている。なお、ユーザに、直線、および曲線（例えば、上に凸の曲率が異なる複数の曲線、下に凸の曲率が異なる複数の曲線）の中から選択させてもよい。
　また、速度は、上記移動中一定でも変化させてもよい。本実施の形態では、速度は、上記移動中、予め定められた速度Ｖ０で一定としている。速度についても、等速（複数の速度）、徐々に早くなる複数のパターン、徐々に遅くなる複数のパターンなどからオペレータに選択させてもよい。
　より具体的には、例えば、変数ｇ＝１の場合、３Ｄ動画生成部１４２１は、変数ｇ＝１により識別されるＵＷＦ眼底画像Ｇ１の点ｇ１を、図９に示すように、眼球モデルＭのＸＹＺ座標系の点ｍｇ１として、点ｇ１の座標（Ｘ１，Ｙ１）を、点ｍｇ１の座標（Ｘ１，Ｙ１，－１）に変換する。一般的なステレオ投影変換ではＺ＝０にＵＷＦ眼底画像Ｇ１を配置するが、ここでは、図１３のようにＵＷＦ眼底画像Ｇ１を残したまま変換動画を生成するので、意図的にＺ＝－１にＵＷＦ眼底画像Ｇ１を配置している。
　３Ｄ動画生成部１４２１は、ＸＹＺ座標系において、点ｍｇ１（Ｘ１，Ｙ１，－１）と、点ｍ１（Ｘｍ１，Ｙｍ１，Ｚｍ１）との線分Ｌ１を設定する。
　後述するように、本実施の形態では、点ｍｇ１（Ｘ１，Ｙ１，－１）の画素が、点ｍ１（Ｘｍ１，Ｙｍ１，Ｚｍ１）まで移動する過程を表す動画データが作成される。動画データが再生されると、点ｍｇ１（Ｘ１，Ｙ１，－１）の画素が、線分Ｌ１を通って点ｍ１（Ｘｍ１，Ｙｍ１，Ｚｍ１）まで移動することが表示される。よって、線分Ｌ１は、点ｍｇ１（Ｘ１，Ｙ１，－１）の画素の移動の軌跡となる。なお、線分Ｌ１は経路Ｌ１とも言う。
　本実施の形態では、ＵＷＦ眼底画像Ｇ１の全ての点の画素が、各画素の点に対応する眼球モデルＭ上の点まで、対応する経路に沿って、等速直線移動するパターンが予め定められている。当該パターンでは、例えば、図１０に示すように、点ｍｇ１（Ｘ１，Ｙ１，０）の画素が、経路Ｌ１に沿って、点ｍｄ、・・・、ｍｈ、・・・ｍｍ、・・・ｍ１まで、等速Ｖ０で移動する。３Ｄ動画生成部１４２１は、経路Ｌ１と速度Ｖ０とから、点ｍｇ１（Ｘ１，Ｙ１，－１）の画素の所定時間毎の位置（ＸＹＺ座標系）を算出する。
　３Ｄ動画生成部１４２１は、以上の処理を、変数ｇが、ＵＷＦ眼底画像Ｇ１の点の総数になるまで実行する。これにより、ＵＷＦ眼底画像Ｇ１の全ての点の画素の移動の経路に沿った位置が取得される。
　なお、ＵＷＦ眼底画像Ｇ１の各点の画素毎に、移動のパターンが異なるようにしてもよい。例えば、ＵＷＦ眼底画像Ｇ１のある点の画素は、等速直線移動であるが、他の点の画素は、徐々に速度が遅くなりかつ上に凸の曲線の経路に沿って移動するようにしてもよい。
　ステップ６０６で、３Ｄ動画生成部１４２１は、ＵＷＦ眼底画像Ｇ１の全ての点の画素が、各画素の点に対応する眼球モデルＭ上の点まで移動する過程を示す動画データを生成する。
　具体的には、まず、ＵＷＦ眼底画像Ｇ１の各画素をデータ点とし、３次元座標のＺ＝－１となるＸＹ平面に配置し、初期フレームが生成される（図１１のｆ１に相当する処理である。図１１は動画データの複数のフレームを説明するための図である。）。
　次に、ステップ６０４で設定された軌跡のデータから、所定時間（Δｔ）経過後の位置に当該データ点を配置する。ＵＷＦ眼底画像Ｇ１のデータ点すべてに対して当該データ点を配置することにより平面（曲面）を定義する。この平面のデータ点に対して画素データ（色と輝度のデータ）を入力し、所定時間（Δｔ）経過後の中間フレームが生成される（図１１のｆｄ、ｆｈ、ｆｍに相当）。
　続いて、中間フレームの生成を所定時間Δｔ１からΔｔｎ（ｎは最終位置ｎとなるまでに生成されるフレーム数である）まで、同様に、フレーム作成を繰り返す。図１１ではｆｎが最終フレームであり、各データ点が眼球モデルＭ上の点まで移動した状態のフレームである。
　そして、フレーム１からｎが完成したのち、フレーム番号、動画ファイル番号などを付加し、動画データが生成される。
　平面の算出方法は線形補間、スプライン補間などを用いてもよい。平面の形状モデルは、サーフェイスモデルや空間格子モデルなどを用いてもよい。平面を算出せず、データ点に大きさをもたせ、散布図として表示してもよい。
　上記のように本実施の形態では、ＵＷＦ眼底画像Ｇ１の全ての点の画素が、各画素の点に対応する眼球モデルＭ上の点まで、経路Ｌに沿って等速Ｖ０で移動する等速直線移動するパターンが予め定められている。よって、ステップ６０６では、動画データとして、ＵＷＦ眼底画像Ｇ１の各点の画素が、各画素の点に対応する眼球モデルＭ上の点まで当該等速直線移動することを表す所定時間毎の複数のフレーム（静止画像）が生成される。
　例えば、図１１に示すように、最初のフレームＦ１は、ＵＷＦ眼底画像Ｇ１と一致する。３Ｄ動画生成部１４２１は、計算された移動後の位置に、対応する各画素を配置することにより、所定時間後のフレームを生成する。３Ｄ動画生成部１４２１は、以上の処理を繰り返すことにより、図１１に示すように、ＵＷＦ眼底画像Ｇ１の全ての点の画素が、各画素の点に対応する眼球モデルＭ上の点まで移動するまでの、所定時間毎のフレームｆｄ、・・・、ｆｈ、・・・、ｆｍ、・・・ｆｒが生成される。
　ステップ６０８で、３Ｄ眼球画像生成部１４２２は、３Ｄ眼球画像データを生成する。
　３Ｄ眼底画像データは、ＵＷＦ眼底画像Ｇ１を所定の眼球モデルに張り合わせるように変換し、変換したＵＷＦ眼底画像Ｇ１に虹彩や水晶体などの前眼部画像を合成して得られる、眼球のイメージ画像データである。３Ｄ眼球画像生成部１４２２は、ＵＷＦ眼底画像Ｇ１の全ての点の画素が、各画素の点に対応する眼球モデルＭ上の点まで移動した後の画像（動画の最終フレーム）を３Ｄ眼球画像としてもよい。
　図５の画像処理とは別の処理で、特徴部取得部１４２４が、特徴部の情報を取得しておく。特徴部としては、眼底構造物として血管（例えば、網膜血管、脈絡膜血管等）、視神経乳頭、黄斑、渦静脈などがある。３Ｄ眼球画像生成部１４２２は、ＵＷＦ眼底画像Ｇ１の全ての点の画素が、各画素の点に対応する眼球モデルＭ上の点まで移動した後の画像に、特徴部取得部１４２４により取得された特徴部の画像を強調させることにより、３Ｄ眼底画像データを生成する。また、特徴部には病変領域も含まれる。病変領域は眼科医の診断により特定される。例えば、網膜剥離を含む領域を示すマークがＵＷＦ眼底画像Ｇ１に重畳表示されている。
　このような特徴物の位置や領域は、ＵＷＦ眼底画像Ｇ１上の座標データとして病変名や特徴物名と座標データを組み合わせて記憶装置２５４に保持されている。
　ステップ６０６で、動画データを作成する際に、特徴物や病変の位置をマークしたＵＷＦ眼底画像Ｇ１から動画データを作成するようにしてもよい。
　ステップ６１０で、保存部１４２３は、各データ（動画データ及び３Ｄ眼底画像データ）を、記憶装置２５５４に保存（記憶）する。
　ステップ６１０の各データの保存処理が終了すると、図５のステップ５０４の３Ｄ加工処理が終了し、画像処理は、ステップ５０６に進み、表示制御部１４３０は、表示画面（図１２、図１４、および図１５も参照）を生成し、画像処理が終了する。
　ユーザ（例えば、眼科医等）は、患者の被検眼を診察する際、患者名ＩＤをビューワ１５０に入力する。ビューワ１５０はサーバ１４０に、患者名ＩＤに対応する被検眼の画像データ等を送信するように指示する。サーバ１４０の出力部１４４０は、患者名ＩＤに対応する、患者名、患者の年齢、患者の視力、左眼か右眼かの情報、眼軸長、撮影日、および画像データ等を、患者名ＩＤと共に、ビューワ１５０に送信する。
　画像データ等には、ＵＷＦ眼底画像、動画データ、３Ｄ眼底画像データ、特徴部の情報が含まれる。
　患者名ＩＤ、患者名、患者の年齢、患者の視力、左眼か右眼かの情報、眼軸長、撮影日、および画像データを受信したビューワ１５０は、図１２に示す表示画面４００Ａをディスプレイに表示する。
　図１２に示すように、表示画面４００Ａは、情報表示領域４０２と、画像表示領域４０４Ａとを有する。
　情報表示領域４０２には、患者ＩＤ表示領域４１２、患者名表示領域４１４、年令表示領域４１６、右眼／左眼表示領域４１８、眼軸長表示領域４２０、視力表示領域４２２、及び撮影日時表示領域４２４を有する。ビューワ１５０は、受信した情報に基づいて、患者ＩＤ表示領域４１２から撮影日時表示領域４２４の各表示領域に各々の情報を表示する。
　画像表示領域４０４Ａは、ＳＬＯ画像表示領域４５２Ａと、動画データ表示領域４５４Ａ１とを有する。動画データ表示領域４５４Ａ１は、動画データ表示部４５５Ａ、再生ボタン４５６、及び表示経過表示部４５８を有する。
　ＳＬＯ画像表示領域４５２Ａには、ＵＷＦ眼底画像が表示される。再生ボタン４５６が操作されると、動画データ表示部４５５Ａに動画データが表示されると共に、表示経過表示部４５８における、全体の動画データの中の既に表示された割合に対応する部分が、所定の色で塗りつぶされる。
　動画データ表示部４５５Ａにおける動画データの再生を説明する。再生ボタン４５６が操作される前は、図１２、図１３に示すように、ＵＷＦ眼底画像Ｇ１が表示される。
　再生ボタン４５６が操作されると、図１３に示すように、まず、ＵＷＦ眼底画像Ｇ１の正面視が表示され（映像ａ）、次に、ＵＷＦ眼底画像Ｇ１が所定角度傾いた画像Ｇｄが表示され（映像ｂ）、更に、ＵＷＦ眼底画像Ｇ１が更に傾いた斜視の画像Ｇｈが表示（映像ｃ）される。映像ａ、映像ｂ、そして映像ｃが表示されていく過程は、２次元眼底画像の正面視から斜視への変換する第１過程である。
　その後、画像Ｇｈをそのまま残したうえで、ステレオ投影逆変換の初期状態を示した３次元眼底画像ｆｈが重畳された映像ｄが表示される。そして、ステレオ投影逆変換の様子を示した映像が表示され、具体的には、最初のフレームｆ１、・・・フレームｆｈ、・・・フレームｆｒまで表示される。そして、画像Ｇｈ上にステレオ投影逆変換の完了状態を示した３次元画像ｆｒが重畳した映像ｅが表示される。映像ｄから映像ｅが表示されていく過程は、水平視の２次元眼底画像に、ステレオ投影逆変換される３次元眼底画像が変化していく第２過程である。
　最後に、映像ｅを回転させ、正面視のＵＷＦ眼底画像Ｇ１に正面視の三次元眼底画像ｆｒ重畳された画像Ｇｚが表示される（映像ｆ）。映像ｅから映像ｆが表示されていく過程は、水平視の２次元眼底画像と前記変換が完了した三次元眼底画像とを一体画像として回転させる第３過程である。
　なお、動画データは、図１１に示したように、ＵＷＦ眼底画像Ｇ１がステレオ投影逆変換される過程だけの動画（図１３のように画像Ｇｈをそのまま残した動画ではなく、画像Ｇｈを残さない動画）であってもよい。
　動画データが表示される場合、予め定められた点、図１３に示す例えでは、上下の各々の最外部の予め選択された４点について、各点の経路が表示される（図のＬ１、Ｌ２、Ｌ３とＬ４）。また、渦静脈や網膜剥離などの上述した特徴部の位置の経路を表示するようにしてもよい。
　動画データ表示部４５５Ａに動画データが表示され、画像Ｇｚが表示されると、図１４に示すように、動画データ表示領域４５４Ａ１に、３Ｄ眼球画切替ボタン４６０が表示される。
　３Ｄ眼球画切替ボタン４６０が操作されると、図１５に示すように、動画データ表示領域４５４Ａ１は、３Ｄ眼底画像表示領域４５４Ａ２に切り替わる。３Ｄ眼底画像表示領域４５４Ａ２には、３Ｄ眼球画像が表示される。上記のように、ＵＷＦ眼底画像Ｇ１を所定の眼球モデルに張り合わせるように変換し、変換したＵＷＦ眼底画像Ｇ１に虹彩や水晶体などの前眼部画像を合成して得られる、眼球のイメージ画像データである。
　３Ｄ眼底画像表示領域４５４Ａ２には、３Ｄ動画切替ボタン４６２が表示される。３Ｄ動画切替ボタン４６２が操作されると、図１２の表示画面４００Ａに切り替わる。
　以上説明したように第１実施の形態は、ＵＷＦ眼底画像の各点の画素が眼球モデル上の対応する各点まで移動する過程を表す動画データを作成する。よって、ユーザは、ＵＷＦ眼底画像の各点が、眼球モデル上の対応する各点まで、どのように移動するのかを知ることができる。従って、ユーザは、眼球モデル上の対応する各点は、ＵＷＦ眼底画像のどの点なのかを知ることができる。
　よって、ＵＷＦ眼底画像から生成された動画データをユーザ（眼科医）が閲覧することにより、眼底周辺部や眼底赤道部の眼球上での位置や病変の大きさ（病変領域の面積）を、ユーザが直感的に把握することができる。また、眼科医が被検者（患者）に対して病変の位置や大きさなどの診断結果をわかりやすく説明できる。
　また、第１実施の形態では、２次元のＵＷＦ眼底画像を眼球モデルに基づいて３次元眼底画像に変換する過程の動画を生成することを示した。これに限らず、前眼部の２次元の撮影された画像を眼球モデルに基づいて３次元前眼部画に変換する過程の動画を生成するようにしてもよい。例えば、水晶体の２次元平面画像を三次元の水晶体モデルに基づいて変換する動画を生成するようにしてもよい。水晶体の色素沈着などの部位を立体的にわかりやすく認識させ、緑内障手術の術式のプラニングに活用することができる。
[第２実施の形態]
　次に、本開示の技術の第２実施の形態を説明する。第２実施の形態の構成は、第１の実施の形態の構成と略同様であるので、異なる部分（眼科装置１１０の固視機能とサーバ１４０のモンタージュ画像生成）のみを説明する。
　まず、第２実施の形態の眼科装置１１０の固視機能を説明する。
　眼科装置１１０の撮影装置１４は、制御装置１６により制御され、図示しない上固視灯及び下固視灯（さらに図示せぬ中央固視灯を含む）を点灯させる固視標制御装置を備えている。中央固視灯、上固視灯及び下固視灯の何れかを点灯させることにより被検眼１２の向き（視線方向）を変えることができる。
　次に、第２実施の形態のサーバ１４０のＣＰＵ２６２が画像処理プログラムを実行することで実現されるモンタージュ画像生成機能について説明する。
　図１６には、第２実施の形態のサーバ１４０のＣＰＵ２６２が画像処理プログラムを実行することで実現される各種機能のブロック図が示されている。第２実施の形態の画像処理プログラムは、第１実施の形態と比較すると、画像処理機能において、モンタージュ画像生成機能が追加されている。よって、ＣＰＵ２６２がこの各機能を有する画像処理プログラムを実行することで、ＣＰＵ２６２は、モンタージュ画像生成部１４２５として更に機能する。
　眼科装置１１０は、患者の視線を斜め上方向に向けるために、固視標制御装置を制御して上固視灯を点灯させる。これにより、患者の視線が斜め上方向、即ち、眼球中心から上固視灯に向かう方向に向けられる。上固視灯を点灯させるだけでなく、眼科装置１１０のオペレータが「上を向いてください」など患者の視線を斜め上方向にする指示を出すことで、被検眼の視線を斜め上方向に向いた状態にしてもよい。
　眼科装置１１０は、患者の視線が斜め上方向に向けられている上方視の状態で、眼底を撮影する。ＵＷＦ上方視眼底画像ＧＵが得られる（図１９Ａも参照）。
　眼科装置１１０は、患者の視線を斜め下方向に向けるために、固視標制御装置を制御して下固視灯を点灯させる。これにより、患者の視線が斜め下方向、即ち、眼球中心から下固視灯に向かう方向に向けられる。上固視灯を点灯させるだけでなく、眼科装置１１０のオペレータが「下を向いてください」など患者の視線を斜め下方向にする指示を出すことで、被検眼の視線を斜め下方向に向いた状態にしてもよい。
　眼科装置１１０は、患者の視線が斜め下方向に向けられている下方視の状態で、眼底を撮影する。ＵＷＦ下方視眼底画像ＧＤが得られる。なお、図１９Ｂには、後述する位置合わせされたＵＷＦ下方視眼底画像ＧＤＣが示されている。
　ＵＷＦ上方視眼底画像ＧＵには、第１実施の形態と同様に、Ｂ色眼底画像（ＵＷＦ上方視眼底画像Ｂ）、Ｇ色眼底画像（ＵＷＦ上方視眼底画像Ｇ）、Ｒ色眼底画像（ＵＷＦ上方視眼底画像Ｒ）、ＩＲ眼底画像（ＵＷＦ上方視眼底画像ＩＲ）、ＲＧＢカラー眼底画像（ＵＷＦ上方視眼底画像ＲＧＢ）、ＲＧカラー眼底画像（ＵＷＦ上方視眼底画像ＲＧ）がある。
　ＵＷＦ下方視眼底画像ＧＤも同様に、Ｂ色眼底画像（ＵＷＦ下方視眼底画像Ｂ）、Ｇ色眼底画像（ＵＷＦ下方視眼底画像Ｇ）、Ｒ色眼底画像（ＵＷＦ下方視眼底画像Ｒ）、ＩＲ眼底画像（ＵＷＦ下方視眼底画像ＩＲ）、ＲＧＢカラー眼底画像（ＵＷＦ下方視眼底画像ＲＧＢ）、ＲＧカラー眼底画像（ＵＷＦ下方視眼底画像ＲＧ）がある。
　ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤとが、眼科装置１１０によりサーバ１４０に送信され、記憶装置２５４に記憶される。
　図１７には、第２実施の形態の画像処理のフローチャートが示されている。第２実施の形態の画像処理は、ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤとをサーバ１４０が受信した場合に、スタートする。
　ステップ３２０で、画像取得部１４１０は、ＵＷＦ上方視眼底画像とＵＷＦ下方視眼底画像を、記憶装置２５４から取得する。ステップ３２２で、モンタージュ画像生成部１４２５は、ＵＷＦ上方視眼底画像とＵＷＦ下方視眼底画像に対して血管を強調する処理を施す。そして、所定の閾値で二値化する二値化処理を実行する。二値化処理により、眼底の血管が白く強調される。
　ステップ３２４で、モンタージュ画像生成部１４２５は、ＵＷＦ上方視眼底画像とＵＷＦ下方視眼底画像の位置合わせを行う。ステップ３２４の位置合わせ処理について、図１８のフローチャートを用いて説明する。ここでは、ＵＷＦ上方視眼底画像を基準としてＵＷＦ下方視眼底画像を変換する場合（つまり、ＵＷＦ上方視眼底画像は変換しないで、ＵＷＦ下方視眼底画像のみを変換する場合）を例に取り説明する。
　図１８のステップ３４０で、モンタージュ画像生成部１４２５は、ＵＷＦ上方視眼底画像ＧＵから画像処理により、上記位置合わせのための特徴点群１を抽出する。
　特徴点群１は、眼底画像における複数の特徴点であり、図１９Ａに示すように、視神経乳頭ＯＮＨＵ、黄斑ＭＵ、および網膜血管の分岐点である。なお、脈絡膜血管の分岐点も特徴点として抽出するようにしてもよい。
　特徴点は、視神経乳頭ＯＮＨＵ領域の最大輝度の画素、黄斑ＭＵ領域の最小輝度の画素、網膜血管や脈絡膜血管の分岐点に位置する画素であり、それらの画素の座標が特徴点データとして抽出される、また、網膜血管や脈絡膜血管の分岐点だけでなく、特徴的な血管走行パターンを含む領域を抽出し、該パターンを含む領域の中心点を特徴点としてもよい。
　なお、網膜血管や脈絡膜血管の端点、屈曲点あるいは蛇行点を特徴点として抽出するようにしてもよい。
　また特徴点は、特徴点検出を行うアルゴリズムであるＳＩＦＴ(Ｓｃａｌｅ　Ｉｎｔｅｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ)やＳＵＲＦ（Ｓｐｅｅｄ　Ｕｐｐｅｄ　Ｒｏｂｕｓｔ　Ｆｅａｔｕｒｅ）などを用いて行うことができる。
　ここで、位置合わせを高精度で行うために、抽出される特徴点の数は４つ以上が好ましい。ＵＷＦ上方視眼底画像ＧＵには、視神経乳頭と黄斑は被検眼に１つだけしか存在しない。よって、網膜血管や脈絡膜血管の分岐点を２か所以上抽出することにより、ＵＷＦ上方視眼底画像ＧＵから特徴点１を４つ以上抽出することができる。
　眼底中心部に存在する視神経乳頭、黄斑、網膜血管や脈絡膜血管は、ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤの双方に撮影されているため位置合わせ用の特徴点の選択対象として好適である。すなわち、特徴点はＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤとの共通領域である眼底中心部から選択するのが良い。
　そこで、ステップ３４０で、モンタージュ画像生成部１４２５は、眼底中心部であるＵＷＦ上方視眼底画像ＧＵの中心より下側の領域を対象として、画像処理により特徴点群１を抽出する。
　眼底周辺部に存在しているＵＷＦ上方視眼底画像ＧＵに存在する渦静脈は、上記位置合わせ用の特徴点として選択対象から除外される。眼底周辺部はＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤとの共通領域ではないため、眼底周辺部の構造物は特徴点の選択対象から除外される。
　ステップ３４２で、モンタージュ画像生成部１４２５は、特徴点群１に対応する特徴点群２をＵＷＦ下方視眼底画像ＧＤから抽出する。特徴点群２は、図１９Ｂに示すように、視神経乳頭ＯＮＨＤ、黄斑ＭＤ、網膜血管の分岐点がある。同一眼であるので、視神経乳頭ＯＮＨＤは視神経乳頭ＯＮＨＵに対応し、黄斑ＭＤは黄斑ＭＵに対応している。ＵＷＦ上方視眼底画像ＧＵにおける上記分岐点は、ＵＷＦ下方視眼底画像ＧＤにおける血管の分岐点に対応している。ＵＷＦ上方視眼底画像ＧＵにおける分岐点の分岐パターンと同一の分岐パターンを持つ分岐個所が、画像認識処理などによりＵＷＦ下方視眼底画像ＧＤから抽出される。
　ステップ３４４で、モンタージュ画像生成部１４２５は、特徴点群１と特徴点群２を用いて、ＵＷＦ下方視眼底画像ＧＤを幾何変換する射影変換行列を生成する。この射影変換行列は、ＵＷＦ下方視眼底画像ＧＤをＵＷＦ上方視眼底画像ＧＵに対応させるための行列である。 少なくとも４個の特徴点により射影変換行列が定まる。
　ステップ３４６で、生成された射影変換行列を用いてＵＷＦ下方視眼底画像ＧＤを変換し、変換後のＵＷＦ下方視眼底画像ＧＤＣ（図１９Ｂ参照）を得る。射影変換行列を用いた変換後では、特徴点群１と特徴点群２は同一位置に来ており、位置合わせ処理が実行されたこととなる。この変換によりＵＷＦ下方視眼底画像ＧＤに比べてＵＷＦ下方視眼底画像ＧＤＣが大きくなっている（面積が増大している）。
　上述では、ＵＷＦ下方視眼底画像ＧＤをＵＷＦ上方視眼底画像ＧＵに対応させるための射影変換行列を生成し、ＵＷＦ下方視眼底画像ＧＤを変換した。この逆で、ＵＷＦ上方視眼底画像ＧＵをＵＷＦ下方視眼底画像ＧＤに対応させるための射影変換行列を生成し、ＵＷＦ上方視眼底画像ＧＵを変換するようにしてもよい。
　これで画像間の位置合わせ処理である図１７のステップ３２４が完了し、画像処理はステップ３２６に進む。
　図１７のステップ３２６で、モンタージュ画像生成部１４２５は、ＵＷＦ上方視眼底画像ＧＵ及び変換後のＵＷＦ下方視眼底画像ＧＤＣを合成し、モンタージュ画像ＧＭを生成する。
　具体的には、まず、モンタージュ画像生成部１４２５は、図１９Ａに示すように、ＵＷＦ上方視眼底画像ＧＵに視神経乳頭ＯＮＨＵと黄斑ＭＵとを通る線分ＬＧＵを設定する。同様に、モンタージュ画像生成部１４２５は、図１９Ｂに示すように、変換後のＵＷＦ下方視眼底画像ＧＤＣに視神経乳頭ＯＮＨＤと黄斑ＭＤとを通る線分ＬＧＤを設定する。
　次に、モンタージュ画像生成部１４２５は、ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤＣとが重複する領域の重み付け処理を行う。図２０に示すように、モンタージュ画像生成部１４２５は、ＵＷＦ上方視眼底画像ＧＵの線分ＬＧＵよりも上側領域である上側のＵＷＦ上方視眼底画像ＧＵｘ領域の重みを「１」とする。モンタージュ画像生成部１４２５は、線分ＬＧＵよりも下側領域の重みを「０」とする。そして、モンタージュ画像生成部１４２５は、変換後のＵＷＦ下方視眼底画像の線分ＬＧＤよりも下側領域である下側のＵＷＦ下方視眼底画像ＧＤＣｘの重みを「１」とし、線分ＬＧＤよりも上側領域出の重みを「０」する。
　モンタージュ画像生成部１４２５は、ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤＣに対して、このような重み付け処理を行うことにより、ＵＷＦ上方視眼底画像ＧＵｘとＵＷＦ下方視眼底画像ＧＤＣｘとが合成されたモンタージュ画像ＧＭを生成する。図２０に示されるように、線分ＬＧは視神経乳頭ＯＭＨと黄斑Ｍを結ぶ線分であり、線分ＬＧより上側がＵＷＦ上方視眼底画像ＧＵｘであり、線分ＬＧより下側がＵＷＦ下方視眼底画像ＧＤＣｘである。モンタージュ画像は、本開示の技術の「モンタージュ画像」の一例である。
　なお、ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤＣの重複部分に関する重み付けは、上述の例に限らず、ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤＣの混合割合をさまざまな値に設定することができる。
　このように、ＵＷＦ上方視眼底画像ＧＵとＵＷＦ下方視眼底画像ＧＤＣの位置合わせを行い合成をする。この合成による、眼底の血管が不連続でなく、眼底周辺部または眼底赤道部に位置する渦静脈や渦静脈周辺の脈絡膜血管を解析、あるいは異常部や病変部などの解析のための眼底画像を得ることができる。
　次にステップ３２８で、特徴部取得部１４２４は、モンタージュ画像ＧＭを用いて渦静脈の位置や渦静脈付近の血管の血管径を解析する。解析によって得られた渦静脈情報としては、渦静脈の個数、渦静脈の位置、渦静脈につながる血管の本数、渦状膜周囲の血管の血管径などに関する情報が含まれる。
　ステップ３２８の処理の後、ステップ５０４Ｓで、３Ｄ加工処理が実行される。第１実施の形態のステップ５０４では、画像処理部１４２０は、ＵＷＦ眼底画像Ｇ１に対し３Ｄ加工処理（図６も参照）を実行する。これに対し、第２実施の形態のステップ５０４では、画像処理部１４２０は、モンタージュ画像ＧＭに対し３Ｄ加工処理（図６も参照）を実行する。このように、処理の対象の画像が異なるだけなので、ステップ５０４Ｓの３Ｄ加工処理の説明を省略する。
　ステップ５０４Ｓの後、ステップ５０６Ｓで、表示画面の生成処理が実行される。第２実施の形態の表示画面の詳細については後述する。
　ステップ３３２で、出力部１４４０は、モンタージュ画像ＧＭと渦静脈解析により得られた渦静脈解析情報とを、サーバ１４０の記億装置２５４に出力する。モンタージュ画像ＧＭと渦静脈解析により得られた渦静脈解析情報とがサーバ１４０の記億装置２５４に記憶される。
　ステップ３３２では更に、出力部１４４０は、表示画面４００Ｂに対応する画像データをビューワ１５０へ出力する。
　なお、表示制御部１４３０は、ディスプレイ２５６にモンタージュ画像ＧＭを表示するように出力してもよい。
　次に、第２実施の形態の表示画面４００Ｂを説明する。第２実施の形態の表示画面４００Ｂは、第１実施の形態の表示画面４００Ａと略同様であるので、異なる部分のみを説明する。
　表示画面４００Ｂは、画像表示領域４０４Ａに代えて画像表示領域４０４Ｂを有する。画像表示領域４０４Ｂは、モンタージュ画像表示領域４５２Ｂと、動画データ表示領域４５４Ｂ１とを有する。
　モンタージュ画像表示領域４５２Ｂには、モンタージュ画像が表示される。
　再生ボタン４５６が操作されると、動画データ表示部４５５Ｂに動画データが表示され、表示経過表示部４５８に、全体の動画データの中の既に表示された割合を棒グラフで表示する。
　動画データ表示部４５５Ｂにおける動画データの再生は、第１実施の形態と同様であるので、その説明を省略する。
　動画データ表示部４５５に動画データが表示され、画像Ｇｚが表示されると、図２２に示すように、動画データ表示領域４５４Ｂ１に、３Ｄ眼球画切替ボタン４６０が表示される。３Ｄ眼球画切替ボタン４６０が操作されると、図２３に示すように、動画データ表示領域４５４Ｂ１に代えて、３Ｄ眼底画像表示領域４５４Ｂ２に切り替わる。３Ｄ眼底画像表示領域４５４Ｂ２には、３Ｄ眼底画像が表示される。上位のように、モンタージュ画像の全ての点の画素が、各画素の点に対応する眼球モデルＭ上の点まで移動した後の画像に、特徴部が強調された３Ｄ眼底画像が表示される。
　以上説明したように第１実施の形態は、モンタージュ画像の各点から眼球モデル上の対応する各点まで移動する過程を表す動画データを作成する。よって、モンタージュ画像の各点が、眼球モデル上の対応する各点まで、どのように移動するのかを知ることができる。従って、眼球モデル上の対応する各点は、モンタージュ画像のどの点なのかを知ることができる。
　また、モンタージュ画像は、第１実施の形態のＵＷＦ眼底画像よりも広い領域を有するので、眼球モデル上の対応する各点は、ＵＷＦ眼底画像よりも広い領域のモンタージュ画像のどの点なのかを知ることができる。よって、モンタージュ画像から生成された動画データをユーザが閲覧することにより、渦静脈や網膜剥離などの病変の眼球上での位置を、ユーザが直感的に把握することができる。眼科医が被検者（患者）に対して眼底周辺部の病変の位置や大きさなどの診断結果をわかりやすく説明できる。
　ＵＷＦ上方視眼底画像及びＵＷＦ下方視眼底画像の取得、モンタージュ画像の作成の各方法としては、国際出願ＰＣＴ／ＪＰ２０１９／０２１８６８に記載された方法でもよい。２０１９年０５月３１日に国際出願された国際出願ＰＣＴ／ＪＰ２０１９／０２１８６８の開示は、その全体が参照により本明細書に取り込まれる。
　次に、本開示の技術の種々の変形例を説明する。
　以下の各変形例の構成は、第１実施の形態の構成と同様であるので、その説明を省略する。各変形例の作用は、第１実施の形態の作用と略同様であるので、以下、主として異なる部分を説明する。第１実施の形態では、ＵＷＦ眼底画像の各点の画素が眼球モデル上の対応する各点まで移動する過程を表す動画データが作成される。本開示の技術はこれに限定されない。
（第１変形例）
　図２４を用いて、第１変形例の画像処理を説明する。
　ステップ２４０２で、画像取得部１４１０が、記憶装置２５４から、患者名ＩＤに対応する２次元眼底画像（ＵＷＦ眼底画像Ｇ１又はモンタージュ画像）を取得する。
　ステップ２４０４で、３Ｄ動画生成部１４２１は、２次元眼底画像の各第１の点に対応する、眼軸長により補正された眼球モデルＭ上の各第２の点を取得する。
　ステップ２４０６で、３Ｄ動画生成部１４２１は、各第１の点が、対応する第２の点から当該第１の点まで移動する過程を示すデータ（動画データ）を作成する。
　ユーザは、ＵＷＦ眼底画像の各第１の点が眼球モデル上の対応する各第２の点から第１の点まで、どのように移動するのかを知ることができる。
（第２変形例）
　図２５を用いて、第２変形例の画像処理を説明する。
　第２変形例では、眼軸長により補正された眼球モデル上に２次元眼底画像（ＵＷＦ眼底画像Ｇ１又はモンタージュ画像）がステレオ逆投影されることにより３次元眼底画像のデータが、予め生成され、患者名ＩＤに対応して記憶装置２４５に記憶されている。
　ステップ２５０２で、画像取得部１４１０が、記憶装置２５４から、患者名ＩＤに対応する３次元眼底画像のデータを取得する。
　ステップ２５０４で、３Ｄ動画生成部１４２１は、３次元眼底画像の各第１の点に対応する２次元眼底画像上の各第２の点を取得する。
　ステップ２５０６で、３Ｄ動画生成部１４２１は、各第１の点が対応する第２の点まで移動する過程を示すデータ（動画データ）を作成する。
　ユーザは、３次元眼底画像の各第１の点が、２次元眼底画像上の対応する各第２の点まで、どのように移動するのかを知ることができる。
（第３変形例）
　図２６を用いて、第３変形例の画像処理を説明する。
　第３変形例では、第２変形例と同様に、３次元眼底画像のデータが、予め生成され、患者名ＩＤに対応して記憶装置２４５に記憶されている。
　ステップ２６０２で、画像取得部１４１０が、記憶装置２５４から、患者名ＩＤに対応する３次元眼底画像のデータを取得する。
　ステップ２６０４で、３Ｄ動画生成部１４２１は、３次元眼底画像の各第１の点に対応する２次元眼底画像上の各第２の点を取得する。
　ステップ２６０６で、３Ｄ動画生成部１４２１は、各第１の点が、対応する第２の点から当該第１の点まで移動する過程を示すデータ（動画データ）を作成する。
　ユーザは、３次元眼底画像の各第１の点が、２次元眼底画像上の対応する各第２の点から第１の点まで、どのように移動するのかを知ることができる。
（その他の変形例）
　上記各例における３次元眼底画像のデータは、眼球モデル上に２次元眼底画像（ＵＷＦ眼底画像Ｇ１又はモンタージュ画像）がステレオ逆投影されることによりえられる。本開示の技術はこれに限定されない。例えば、ＯＣＴボリュームデータ、ＯＣＴアンジオグラフィデータ、ＭＲＩ、超音波で得られた三次元眼底画像データあるいは前眼部などの三次元画像データであってもよい。
　第１実施の形態では、ＵＷＦ眼底画像の全ての点の画素が眼球モデル上の対応する各点まで移動する過程を表す動画データが作成され、第２実施の形態では、モンタージュ画像の全ての画素が眼球モデル上の対応する各点まで移動する過程を表す動画データが作成される。本開示の技術はこれに限定されない。
　ユーザにより選択された少なくとも１つの点の画素の上記移動する動画データが作成されてもよい。
　この場合、ユーザは、ＵＷＦ眼底画像又はモンタージュ画像の領域を指定することにより、当該領域の複数の点を選択するようにしてもよい。
　さらに、ユーザは、上記領域として、眼球の上記特徴部を指定することができる。具体的には、ユーザは、特徴部として、例えば、水晶体、眼底構造物、および病変部分等を指定することができる。
　第１実施の形態では、ＵＷＦ眼底画像（ＵＷＦ－ＳＬＯ眼底画像）の各点の画素が眼球モデル上の対応する各点まで移動する過程を表す動画データが作成される。第２実施の形態では、モンタージュ画像（ＵＷＦ－ＳＬＯ眼底画像の合成画像）の各点の画素が眼球モデル上の対応する各点まで移動する過程を表す動画データが作成される。本開示の技術はこれに限定されない。
　ＵＷＦ－ＳＬＯ画像またはモンタージュ画像（ＵＷＦ－ＳＬＯ眼底画像の合成画像）から得られた網膜血管画像または脈絡膜血管画像の各点の画素が眼球モデル上の対応する各点まで移動する過程を表す動画データが作成されてもよい。
　また、ＵＷＦ－ＳＬＯ画像ではない、例えば、眼底カメラにより得られた眼底画像の各点の画素が眼球モデル上の対応する各点まで移動する過程を表す動画データが作成されてもよい。
　第１実施の形態及び第２実施の形態では、動画データが作成される。本開示の技術はこれに限定されない。例えば、ＵＷＦ眼底画像の各点の画素が眼球モデル上の対応する各点まで移動する過程を表す少なくとも１枚の画像を作成するようにしてもよい。例えば、少なくともＵＷＦ眼底画像の点と眼球モデル上の対応する点との間の中間の位置に、ＵＷＦ眼底画像の点の画素が位置する画像が作成されてもよい。
　以上説明した各例では、図５及び図１７の画像処理は、サーバ１４０が実行しているが、本開示の技術はこれに限定されない。例えば、眼科装置１１０またはビューワ１５０が実行したり、ネットワーク１３０に更に別の画像処理装置を接続させ、当該画像処理装置が実行したり、してもよい。
　以上説明した各例では、コンピュータを利用したソフトウェア構成により画像処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等のハードウェア構成のみによって、画像処理が実行されるようにしてもよい。画像処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。
　このように本開示の技術は、コンピュータを利用したソフトウェア構成により画像処理が実現される場合と、コンピュータを利用したソフトウェア構成でない構成で画像処理が実現される場合とを含むので、以下の第１技術および第２技術を含む。
（第１技術）
　２次元眼底画像を取得する画像取得部と、
　前記２次元眼底画像の少なくとも１つの第１の点に対応する眼球モデル上の第２の点を取得する点取得部と、
　前記第１の点の画素が前記第２の点まで移動する過程を示すデータを作成する作成部と、
　を含む画像処理装置。
　なお、３Ｄ動画生成部１４２１は、「点取得部」、及び「作成部」の一例である。
（第２技術）
　画像取得部が、２次元眼底画像を取得することと、
　点取得部が、前記２次元眼底画像の少なくとも１つの第１の点に対応する眼球モデル上の第２の点を取得することと、
　作成部が、前記第１の点の画素が前記第２の点まで移動する過程を示すデータを作成することと、
　を含む画像処理方法。
　以上の開示内容から以下の第３技術が提案される。
（第３技術）
　画像処理するためのコンピュータープログラム製品であって、
　前記コンピュータープログラム製品は、それ自体が一時的な信号ではないコンピュータ可読記憶媒体を備え、
　前記コンピュータ可読記憶媒体には、プログラムが格納されており、
　前記プログラムは、
　コンピュータに、
　２次元眼底画像を取得し、
　前記２次元眼底画像の少なくとも１つの第１の点に対応する眼球モデル上の第２の点を取得し、
　前記第１の点の画素が前記第２の点まで移動する過程を示すデータを作成する、
　ことを実行させる、
　コンピュータープログラム製品。
　以上説明した画像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
　本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的にかつ個々に記載された場合と同様に、本明細書中に参照により取り込まれる。

Claims (27)

  1. 　プロセッサが行う画像処理であって、
    　２次元眼底画像を取得し、
    　前記２次元眼底画像の少なくとも１つの第１の点に対応する眼球モデル上の第２の点を取得し、
    　前記第１の点が前記第２の点まで移動する過程を示すデータを作成する、
    　画像処理方法。
  2. 　前記データは、複数のフレームから構成される動画データである、請求項１に記載の画像処理方法。
  3. 　前記過程は、所定時間毎に設定され、
    　前記所定時間毎に、前記第１の点の画素が移動する中間位置にて前記フレームが生成され、
    　前記動画データは、前記第１の点におけるフレーム、前記第１の点から前記第２の点までの間に複数設定される前記中間位置におけるフレーム、及び前記第２の点におけるフレームを含む、請求項２に記載の画像処理方法。
  4. 　前記移動には、複数の移動パターンが予め定められており、
    　前記データは、前記複数の移動パターンの中の選択された移動パターンに従った移動の過程を示すデータである、
    　請求項１から請求項３の何れか１項に記載の画像処理方法。
  5. 　前記移動パターンは、前記第１の点と前記第２の点とを結ぶ３次元空間における経路である、請求項４に記載の画像処理方法。
  6. 　前記経路は、前記第１の点と前記第２の点を結ぶ直線の経路である、請求項５に記載の画像処理方法。
  7. 　前記移動パターンは、前記第１の点が、前記第２の点まで移動する移動速度に関するデータが含まれる、請求項４から請求項６の何れか１項に記載の画像処理方法。
  8. 　前記第１の点は、前記２次元眼底画像の複数の点の中から選択された点である、請求項１から請求項７の何れか１項に記載の画像処理方法。
  9. 　前記第１の点が、前記２次元眼底画像における指定された領域の各点である、請求項１から請求項８の何れか１項に記載の画像処理方法。
  10. 　前記第１の点が、前記２次元眼底画像全体の各点である、請求項１から請求項９の何れか１項に記載の画像処理方法。
  11. 　前記第１の点は、前記２次元眼底画像を構成する１つの画素に対応する点であることを特徴とする、請求項１から請求項１０の何れか１項に記載の画像処理方法。
  12. 　前記眼球モデルは、デフォルトの眼球モデルを、眼軸長に従って補正されたモデルである、請求項１から請求項１１の何れか１項に記載の画像処理方法。
  13. 　前記２次元眼底画像は、被検眼の視線を第１方向に向けた状態で撮影した第１方向眼底画像と、前記被検眼を前記第１方向と異なる第２方向に向けた状態で撮影した第２方向眼底画像と、を合成したモンタージュ画像である、請求項１から請求項１２の何れか１項に記載の画像処理方法。
  14. 　メモリと、前記メモリに接続するプロセッサとを備え、
    　前記プロセッサは、
    　２次元眼底画像を取得し、
    　前記２次元眼底画像の少なくとも１つの第１の点に対応する眼球モデル上の第２の点を取得し、
    　前記第１の点が前記第２の点まで移動する過程を示すデータを作成する、
    　画像処理装置。
  15. 　コンピュータに、
    　２次元眼底画像を取得し、
    　前記２次元眼底画像の少なくとも１つの第１の点に対応する眼球モデル上の第２の点を取得し、
    　前記第１の点が前記第２の点まで移動する過程を示すデータを作成する、
    　ことを実行させるプログラム。
  16. 　プロセッサが行う画像処理であって、
    　２次元眼底画像を取得し、
    　前記２次元眼底画像の少なくとも１つの第１の点に対応する眼球モデル上の第２の点を取得し、
    　前記第１の点が、前記第２の点から前記第１の点まで移動する過程を示すデータを作成する、
    　画像処理方法。
  17. 　前記データを出力することを更に含む、請求項１６に記載の画像処理方法。
  18. 　プロセッサが行う画像処理であって、
    　３次元眼底画像を取得し、
    　前記３次元眼底画像の少なくとも１つの第１の点に対応する２次元眼底画像上の第２の点を取得し、
    　前記第１の点が前記第２の点まで移動する過程を示すデータを作成する、
    　画像処理方法。
  19. 　前記２次元眼底画像は、前記３次元眼底画像をステレオ投影変換した画像である、請求項１８に記載の画像処理方法。
  20. 　プロセッサが行う画像処理であって、
    　３次元眼底画像を取得し、
    　前記３次元眼底画像の少なくとも１つの第１の点に対応する２次元眼底画像上の第２の点を取得し、
    　前記第１の点が、前記第２の点から前記第１の点まで移動する過程を示すデータを作成する、
    　画像処理方法。
  21. 　前記２次元眼底画像は、前記３次元眼底画像をステレオ投影変換した画像である、請求項２０に記載の画像処理方法。
     
  22. 　プロセッサが行う画像処理であって、
    　被検眼の２次元眼底画像を取得し、
    　前記２次元眼底画像を３次元眼底画像に変換し、
    　前記変換の過程を示す動画を生成する、
    　画像処理方法。
  23. 　前記３次元眼底画像は、前記被検眼に対応した眼球モデルに基づいて生成されることを特徴とする請求項２２に記載の画像処理方法。
  24. 　前記２次元眼底画像は正面視の画像であり、
    　前記動画は、
    　前記正面視の２次元眼底画像を斜視の２次元眼底画像に変化させる第１過程と、
    　前記斜視の２次元眼底画像に重畳された状態で、前記２次元眼底画像を前記３次元眼底画像に変換する第２過程と、
    　を含む、
    　請求項２２又は請求項２３に記載の画像処理方法。
  25. 　前記動画は、前記正面視の２次元眼底画像と前記変換が完了した３次元眼底画像とを一体画像として回転させる第３過程をさらに含む、請求項２４に記載の画像処理方法。
  26. 　メモリと、前記メモリに接続するプロセッサとを備え、
    　前記プロセッサは、
    　被検眼の２次元眼底画像を取得し、
    　前記２次元眼底画像から変換し３次元眼底画像を生成し、
    　前記変換の過程を示す動画を生成する、
    　画像処理装置。
  27. 　コンピュータに、
    　被検眼の２次元眼底画像を取得し、
    　前記２次元眼底画像から変換し３次元眼底画像を生成し、
    　前記変換の過程を示す動画を生成する、
    　ことを実行させるプログラム。
PCT/JP2019/041982 2019-10-25 2019-10-25 画像処理方法、画像処理装置、及びプログラム Ceased WO2021079504A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/041982 WO2021079504A1 (ja) 2019-10-25 2019-10-25 画像処理方法、画像処理装置、及びプログラム
US17/770,878 US12557982B2 (en) 2019-10-25 2019-10-25 Image processing method, image processing device, and program
JP2021553267A JP7472914B2 (ja) 2019-10-25 2019-10-25 画像処理方法、画像処理装置、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/041982 WO2021079504A1 (ja) 2019-10-25 2019-10-25 画像処理方法、画像処理装置、及びプログラム

Publications (1)

Publication Number Publication Date
WO2021079504A1 true WO2021079504A1 (ja) 2021-04-29

Family

ID=75619737

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/041982 Ceased WO2021079504A1 (ja) 2019-10-25 2019-10-25 画像処理方法、画像処理装置、及びプログラム

Country Status (3)

Country Link
US (1) US12557982B2 (ja)
JP (1) JP7472914B2 (ja)
WO (1) WO2021079504A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL4000380A (en) * 2024-02-08 2025-12-09 Mobileye Vision Technologies Ltd Parking and driving visualization

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000210260A (ja) * 1999-01-22 2000-08-02 Mitsubishi Electric Corp 眼底画像システム
JP2002034924A (ja) * 2000-07-19 2002-02-05 Tohoku Techno Arch Co Ltd ステレオ眼底画像からの眼底形状の３次元復元・表示
JP2006061196A (ja) * 2004-08-24 2006-03-09 Institute Of Physical & Chemical Research ３次元眼底画像の構築・表示装置
JP2009022308A (ja) * 2007-07-17 2009-02-05 Kowa Co 画像処理装置
WO2019074077A1 (ja) * 2017-10-13 2019-04-18 株式会社ニコン 眼科システム、画像信号出力方法、画像信号出力装置、プログラム、及び三次元眼底画像生成方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070291277A1 (en) * 2006-06-20 2007-12-20 Everett Matthew J Spectral domain optical coherence tomography system
JP5354494B2 (ja) * 2009-04-21 2013-11-27 国立大学法人 千葉大学 ３次元画像生成装置、３次元画像生成方法、及びプログラム
JP5474435B2 (ja) * 2009-07-30 2014-04-16 株式会社トプコン 眼底解析装置及び眼底解析プログラム
US10799111B2 (en) * 2014-06-10 2020-10-13 Carl Zeiss Meditec, Inc. Frequency-domain interferometric based imaging systems and methods

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000210260A (ja) * 1999-01-22 2000-08-02 Mitsubishi Electric Corp 眼底画像システム
JP2002034924A (ja) * 2000-07-19 2002-02-05 Tohoku Techno Arch Co Ltd ステレオ眼底画像からの眼底形状の３次元復元・表示
JP2006061196A (ja) * 2004-08-24 2006-03-09 Institute Of Physical & Chemical Research ３次元眼底画像の構築・表示装置
JP2009022308A (ja) * 2007-07-17 2009-02-05 Kowa Co 画像処理装置
WO2019074077A1 (ja) * 2017-10-13 2019-04-18 株式会社ニコン 眼科システム、画像信号出力方法、画像信号出力装置、プログラム、及び三次元眼底画像生成方法

Also Published As

Publication number Publication date
US12557982B2 (en) 2026-02-24
JP7472914B2 (ja) 2024-04-23
US20230000337A1 (en) 2023-01-05
JPWO2021079504A1 (ja) 2021-04-29

Similar Documents

Publication Publication Date Title
JP2023009530A (ja) 画像処理方法、画像処理装置、及びプログラム
CN111163684B (zh) 眼科设备
JP7726244B2 (ja) 画像処理方法、及び画像処理装置
US12067655B2 (en) Image processing method, image processing device and program memory medium
EP3888529A1 (en) Ophthalmological device
JP2023060069A (ja) 画像処理方法、画像処理装置、画像処理プログラム、及び血管径算出装置
JP2022027879A (ja) 眼科撮影装置、その制御方法、プログラム、及び記録媒体
JP2024059709A (ja) 画像処理方法
WO2023022183A1 (ja) 眼科装置、制御方法、プログラム
JP7472914B2 (ja) 画像処理方法、画像処理装置、及びプログラム
JP2020048857A (ja) 眼測定装置及び方法
US11954872B2 (en) Image processing method, program, and image processing device
WO2021074960A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
WO2023282339A1 (ja) 画像処理方法、画像処理プログラム、画像処理装置及び眼科装置
WO2022177028A1 (ja) 画像処理方法、画像処理装置、及びプログラム
WO2021210295A1 (ja) 画像処理方法、画像処理装置、及びプログラム
JP2021049278A (ja) 眼科装置、眼科装置の制御方法及びプログラム
US20260094298A1 (en) Image processing method, image processing device, and program for vortex vein detection in fundus images
JP2021168759A (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
WO2021074961A1 (ja) 画像処理方法、画像処理装置、およびプログラム
JP7677411B2 (ja) 画像処理方法、画像処理装置、及びプログラム
JP2020031873A (ja) 眼科装置、その制御方法、プログラム、及び記録媒体
JP6942626B2 (ja) 眼科撮影装置、その制御方法、プログラム、及び記録媒体
WO2022181729A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
WO2021210281A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19950205

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021553267

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19950205

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 17770878

Country of ref document: US