WO2022181729A1 - 画像処理方法、画像処理装置、及び画像処理プログラム - Google Patents

画像処理方法、画像処理装置、及び画像処理プログラム Download PDF

Info

Publication number
WO2022181729A1
WO2022181729A1 PCT/JP2022/007753 JP2022007753W WO2022181729A1 WO 2022181729 A1 WO2022181729 A1 WO 2022181729A1 JP 2022007753 W JP2022007753 W JP 2022007753W WO 2022181729 A1 WO2022181729 A1 WO 2022181729A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
oct
fundus
image processing
position information
Prior art date
Application number
PCT/JP2022/007753
Other languages
English (en)
French (fr)
Inventor
泰士 田邉
媛テイ 吉
真梨子 向井
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to JP2023502509A priority Critical patent/JPWO2022181729A1/ja
Publication of WO2022181729A1 publication Critical patent/WO2022181729A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions

Definitions

  • the technology of the present disclosure relates to an image processing method, an image processing device, and an image processing program.
  • Japanese Patent Application Laid-Open No. 2019-154993 discloses a technique related to a method for displaying a tomographic image of an eye to be inspected (an image captured by an optical coherence tomography (OCT), referred to as an OCT image). .
  • OCT optical coherence tomography
  • An image processing method includes the steps of acquiring an OCT image of an eye to be inspected, extracting a region other than a structure of the eye to be inspected in the OCT image, and generating a first display screen superimposed with position information about a scan position for acquiring an OCT image.
  • An image processing apparatus includes an image acquisition unit that acquires an OCT image of an eye to be inspected, a fundus image processing unit that extracts a region other than a structure of the eye to be inspected in the OCT image, and an image synthesizing unit that generates a first display screen on which position information about a scanning position for acquiring the OCT image is superimposed on the area.
  • An image processing program comprises: a computer, a fundus image processing unit for extracting a region other than a structure of the eye to be inspected in an OCT image of the eye to be inspected acquired by an image acquiring unit; and an image synthesizing unit that generates a first display screen superimposed with position information about the scanning position for obtaining the OCT image.
  • FIG. 1 is a block diagram of an ophthalmic system 100;
  • FIG. 1 is a schematic configuration diagram showing the overall configuration of an ophthalmologic apparatus 110;
  • FIG. 3 is a block diagram of an electrical system configuration of a management server 140;
  • FIG. 3 is a block diagram of functions of a CPU 262 of a management server 140;
  • FIG. 3 is a block diagram of functions of an image processing control unit 206 of a CPU 262 of a management server 140;
  • FIG. 6 is a diagram showing the relationship between a UWF-SLO image 600 and character information;
  • FIG. 7 is a diagram showing the relationship between an OCT image 700 and a region with no fundus structure.
  • FIG. 1 is a block diagram of an ophthalmic system 100;
  • FIG. 1 is a schematic configuration diagram showing the overall configuration of an ophthalmologic apparatus 110;
  • FIG. 3 is a block diagram of an electrical system configuration of a management server 140;
  • FIG. 3 is a block diagram of
  • FIG. 10 is a diagram showing a first display screen when position information 300 based on character information is superimposed on an OCT image 700;
  • FIG. 10 is a diagram showing another embodiment of the first display screen in which a silhouette image 310 combined with a mark 302 indicating an OCT imaging position is superimposed on an OCT image 700;
  • 7 is a diagram showing a second display screen 700C displaying the OCT image 700 and the silhouette image 310 so as not to overlap each other;
  • FIG. 3 is a diagram showing position information 302 indicating an imaging position of an OCT image superimposed on a UWF-SLO image.
  • FIG. 7 is a schematic diagram showing the process of displaying an OCT image 700 instead of a UWF-SLO image 650;
  • FIG. 7 is a schematic diagram showing an OCT image 700 displayed in place of a UWF-SLO image 650;
  • FIG. 4 is a flowchart of image processing in this embodiment.
  • Fig. 3 is a schematic diagram with regions 320 in place; 4 is a histogram showing luminance values of pixels in region 320.
  • FIG. 11 is a schematic diagram of a case where the structure of the fundus oculi and a part of the region 320 are overlapped; 4 is a histogram showing luminance values of pixels in region 320.
  • FIG. FIG. 3B is a schematic diagram of an improperly positioned region 320; 4 is a histogram showing luminance values of pixels in region 320.
  • FIG. 10 is a flow chart for generating a display screen showing the positional relationship between an enface OCT image and a high-density scan OCT image in this embodiment.
  • FIG. A display screen 800A in which an icon 410 stereoscopically depicted in a three-dimensional spherical shape generated from an enface OCT image is displayed superimposed on a high-density scan OCT image 800.
  • the ophthalmologic system 100 includes an ophthalmologic apparatus 110 , a management server apparatus (hereinafter referred to as “management server”) 140 , and a display device (hereinafter referred to as “viewer”) 150 .
  • the ophthalmologic device 110 acquires a fundus image.
  • the management server 140 stores a plurality of fundus images obtained by photographing the fundus of a plurality of patients with the ophthalmologic apparatus 110 and the axial length of the eye in association with the ID of the patient.
  • the viewer 150 displays fundus images and analysis results acquired by the management server 140 .
  • the viewer 150 includes a display 156 for displaying fundus images and analysis results acquired by the management server 140, a mouse 155M and a keyboard 155K for operation.
  • the ophthalmologic apparatus 110 , management server 140 and viewer 150 are interconnected via a network 130 .
  • a viewer 150 is a client in the client-server system and is connected via a network.
  • a plurality of viewers 150 may be connected to the network 130 .
  • a plurality of servers 140 may be connected via the network 130 . If the ophthalmologic apparatus 110 has the image processing function and the image viewing function of the viewer 150, the ophthalmologic apparatus 110 can acquire, process, and view fundus images in a stand-alone state. Also, if the management server 140 has the image viewing function of the viewer 150, the configuration of the ophthalmologic apparatus 110 and the management server 140 enables the acquisition, image processing, and image viewing of fundus images.
  • ophthalmologic equipment inspection equipment for visual field measurement, intraocular pressure measurement, etc.
  • a diagnosis support device that performs image analysis using AI (Artificial Intelligence) are connected via the network 130 to the ophthalmic equipment 110, the management server 140, and the It may be connected to viewer 150 .
  • AI Artificial Intelligence
  • the configuration of the ophthalmologic apparatus 110 will be described with reference to FIG.
  • the scanning laser ophthalmoscope will be referred to as "SLO”.
  • optical coherence tomography is referred to as "OCT”.
  • the horizontal direction is the "X direction”
  • the vertical direction to the horizontal plane is the "Y direction”.
  • the ophthalmologic device 110 includes an imaging device 14 and a control device 16 .
  • the imaging device 14 includes an SLO unit 18 and an OCT unit 20 and acquires a fundus image of the eye 12 to be examined.
  • the two-dimensional fundus image acquired by the SLO unit 18 is hereinafter referred to as an SLO image.
  • a tomographic image of the retina, a front image (en-face image), and the like created based on the OCT data acquired by the OCT unit 20 are referred to as OCT images.
  • the control device 16 comprises a computer having a CPU (Central Processing Unit) 16A, a RAM (Random Access Memory) 16B, a ROM (Read-Only Memory) 16C, and an input/output (I/O) port 16D. ing.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read-Only Memory
  • I/O input/output
  • the control device 16 has an input/display device 16E connected to the CPU 16A via an I/O port 16D.
  • the input/display device 16E has a graphic user interface that displays an image of the subject's eye 12 and receives various instructions from the user. Graphic user interfaces include touch panel displays.
  • the control device 16 also includes an image processing device 17 connected to the I/O port 16D.
  • the image processing device 17 generates an image of the subject's eye 12 based on the data obtained by the photographing device 14 .
  • the control device 16 is connected to the network 130 via a communication interface (I/F) 16F.
  • the control device 16 of the ophthalmic device 110 includes the input/display device 16E, but the technology of the present disclosure is not limited to this.
  • the controller 16 of the ophthalmic device 110 may not have the input/display device 16E, but may have a separate input/display device physically separate from the ophthalmic device 110.
  • the display device comprises an image processor unit operating under the control of the CPU 16A of the control device 16.
  • the image processor unit may display an SLO image or the like based on the image signal instructed to be output by the CPU 16A.
  • the imaging device 14 operates under the control of the CPU 16A of the control device 16.
  • the imaging device 14 includes an SLO unit 18 , an imaging optical system 19 and an OCT unit 20 .
  • the imaging optical system 19 includes a first optical scanner 22 , a second optical scanner 24 and a wide-angle optical system 30 .
  • the first optical scanner 22 two-dimensionally scans the light emitted from the SLO unit 18 in the X direction and the Y direction.
  • the second optical scanner 24 two-dimensionally scans the light emitted from the OCT unit 20 in the X direction and the Y direction.
  • the first optical scanner 22 and the second optical scanner 24 may be optical elements capable of deflecting light beams, such as polygon mirrors and galvanometer mirrors. Moreover, those combinations may be sufficient.
  • the wide-angle optical system 30 includes an objective optical system (not shown in FIG. 2) having a common optical system 28, and a synthesizing section 26 that synthesizes the light from the SLO unit 18 and the light from the OCT unit 20.
  • the objective optical system of the common optical system 28 may be a reflective optical system using a concave mirror such as an elliptical mirror, a refractive optical system using a wide-angle lens, or a catadioptric system combining concave mirrors and lenses. good.
  • a wide-angle optical system using an elliptical mirror, a wide-angle lens, etc. it is possible to photograph not only the central part of the fundus but also the peripheral part of the retina.
  • the wide-angle optical system 30 realizes observation in a wide field of view (FOV: Field of View) 12A at the fundus.
  • the FOV 12A indicates a range that can be photographed by the photographing device 14.
  • FIG. FOV12A can be expressed as a viewing angle.
  • a viewing angle may be defined by an internal illumination angle and an external illumination angle in this embodiment.
  • the external irradiation angle is an irradiation angle defined by using the pupil 27 as a reference for the irradiation angle of the light beam irradiated from the ophthalmologic apparatus 110 to the eye 12 to be examined.
  • the internal illumination angle is an illumination angle defined by using the eyeball center O as a reference for the illumination angle of the luminous flux that illuminates the fundus F.
  • the external illumination angle and the internal illumination angle are in correspondence. For example, an external illumination angle of 120 degrees corresponds to an internal illumination angle of approximately 160 degrees. In this embodiment, the internal illumination angle is 200 degrees.
  • UWF-SLO fundus image an SLO fundus image obtained by photographing at an angle of view of 160 degrees or more with an internal irradiation angle is referred to as a UWF-SLO fundus image.
  • UWF is an abbreviation for UltraWide Field.
  • the SLO system is implemented by the control device 16, SLO unit 18, and imaging optical system 19 shown in FIG. Since the SLO system includes the wide-angle optical system 30, it enables fundus imaging with a wide FOV 12A.
  • the SLO unit 18 includes a B (blue light) light source 40, a G light (green light) light source 42, an R light (red light) light source 44, and an IR light (infrared (for example, near infrared light)) light source. 46, and optical systems 48, 50, 52, 54, and 56 that reflect or transmit the light from the light sources 40, 42, 44, and 46 and guide them to one optical path.
  • Optical systems 48, 50, 56 are mirrors and optical systems 52, 54 are beam splitters.
  • the B light is reflected by the optical system 48, transmitted through the optical system 50, and reflected by the optical system 54
  • the G light is reflected by the optical systems 50 and 54
  • the R light is transmitted by the optical systems 52 and 54.
  • the IR light is reflected by optical systems 52 and 56 and directed to one optical path, respectively.
  • the SLO unit 18 is configured to be switchable between a light source that emits laser light of different wavelengths, such as a mode that emits G light, R light, and B light, and a mode that emits infrared light, or a combination of light sources that emit light.
  • a light source that emits laser light of different wavelengths
  • FIG. 2 includes four light sources, namely, a B light (blue light) light source 40, a G light source 42, an R light source 44, and an IR light source 46
  • SLO unit 18 may further include a white light source to emit light in various modes, such as a mode that emits only white light.
  • the light that has entered the imaging optical system 19 from the SLO unit 18 is scanned in the X direction and the Y direction by the first optical scanner 22 .
  • the scanning light passes through the wide-angle optical system 30 and the pupil 27 and irradiates the posterior segment (fundus) of the eye 12 to be examined. Reflected light reflected by the fundus enters the SLO unit 18 via the wide-angle optical system 30 and the first optical scanner 22 .
  • the SLO unit 18 has a beam splitter 64 that reflects the B light from the posterior segment (fundus) of the subject's eye 12 and transmits other than the B light, and G light from the light transmitted through the beam splitter 64 .
  • a beam splitter 58 that reflects and transmits light other than G light is provided.
  • the SLO unit 18 has a beam splitter 60 that reflects the R light and transmits other than the R light out of the light transmitted through the beam splitter 58 .
  • the SLO unit 18 has a beam splitter 62 that reflects IR light out of the light transmitted through the beam splitter 60 .
  • the SLO unit 18 includes a B light detection element 70 for detecting B light reflected by the beam splitter 64, a G light detection element 72 for detecting G light reflected by the beam splitter 58, and an R light reflected by the beam splitter 60.
  • An R light detection element 74 and an IR light detection element 76 for detecting IR light reflected by the beam splitter 62 are provided.
  • Light (reflected light reflected by the fundus) that has entered the SLO unit 18 via the wide-angle optical system 30 and the scanner 22 is reflected by the beam splitter 64 and received by the B light detection element 70 in the case of B light.
  • G light passes through the beam splitter 64 , is reflected by the beam splitter 58 , and is received by the G light detection element 72 .
  • the incident light in the case of R light, passes through the beam splitters 64 and 58 , is reflected by the beam splitter 60 , and is received by the R light detection element 74 .
  • the incident light passes through beam splitters 64 , 58 and 60 , is reflected by beam splitter 62 , and is received by IR photodetector 76 .
  • the image processing device 17 operating under the control of the CPU 16A uses the signals detected by the B photodetector 70, the G photodetector 72, the R photodetector 74, and the IR photodetector 76 to produce a UWF-SLO image. Generate. Examples of the B photodetector 70, the G photodetector 72, the R photodetector 74, and the IR photodetector 76 include PD (photodiode) and APD (avalanche photodiode).
  • the SLO unit 18 the light reflected (scattered) by the fundus, which is the target object, and returned reaches the photodetector through the first optical scanner 22.
  • detector element 72 It returns to the position where detector element 72, R photodetector element 74, and IR photodetector element 76 are present. Therefore, it is not necessary to configure the photodetector element in a planar (two-dimensional) shape like an area sensor, and a point-like (zero-dimensional) detector such as a PD or APD is most suitable in this embodiment. However, it is also possible to use a line sensor (one-dimensional) or an area sensor (two-dimensional) without being limited to PD, APD, or the like.
  • UWF-SLO images include a UWF-SLO image obtained by photographing the fundus with G-color light (G-color fundus image) and a UWF-SLO image obtained by photographing the fundus with R-color light (R-color fundus image).
  • UWF-SLO images include a UWF-SLO image obtained by photographing the fundus with B-color light (B-color fundus image) and a UWF-SLO image obtained by photographing the fundus with IR light (IR fundus image).
  • control device 16 controls the light sources 40, 42, 44 to emit light simultaneously.
  • a G-color fundus image, an R-color fundus image, and a B-color fundus image whose respective positions correspond to each other are obtained.
  • An RGB color fundus image is obtained from the G color fundus image, the R color fundus image, and the B color fundus image.
  • the control device 16 controls the light sources 42 and 44 to emit light at the same time, and the fundus of the subject's eye 12 is photographed simultaneously with the G light and the R light.
  • a fundus image is obtained.
  • An RG color fundus image is obtained by mixing the G color fundus image and the R color fundus image at a predetermined mixing ratio.
  • UWF-SLO images also include UWF-SLO images (movies) captured by ICG fluorescence.
  • ICG indocyanine green
  • a UWF-SLO image moving image is a moving image from when indocyanine green (ICG) is injected into a blood vessel and reaches the retina until after it passes through the choroid.
  • Image data of the B-color fundus image, G-color fundus image, R-color fundus image, IR fundus image, RGB color fundus image, RG color fundus image, and UWF-SLO image are transmitted to the ophthalmologic apparatus 110 via the communication I/F 16F. to the management server 140.
  • the OCT system is implemented by the control device 16, OCT unit 20, and imaging optical system 19 shown in FIG. Since the OCT system includes the wide-angle optical system 30, it enables fundus imaging with a wide FOV 12A in addition to the above-described SLO fundus imaging.
  • the user designates a position where the OCT image is to be obtained, and the OCT image is obtained by scanning (capturing) the designated position.
  • the OCT unit 20 includes a light source 20A, a sensor (detection element) 20B, a first optical coupler 20C, a reference optical system 20D, a collimator lens 20E, and a second optical coupler 20F.
  • the light emitted from the light source 20A is split by the first optical coupler 20C.
  • One of the split beams is collimated by the collimating lens 20E and then enters the imaging optical system 19 as measurement light.
  • the measurement light is scanned in the X and Y directions by the second optical scanner 24 .
  • the scanning light passes through the wide-angle optical system 30 and the pupil 27 and illuminates the fundus.
  • the measurement light reflected by the fundus enters the OCT unit 20 via the wide-angle optical system 30 and the second optical scanner 24, and passes through the collimating lens 20E and the first optical coupler 20C to obtain the second light. Enter coupler 20F.
  • the other light emitted from the light source 20A and branched by the first optical coupler 20C enters the reference optical system 20D as reference light, passes through the reference optical system 20D, and enters the second optical coupler 20F. do.
  • the image processing device 17 operating under the control of the image processing control unit 206 generates OCT images such as tomographic images and en-face images based on OCT data detected by the sensor 20B.
  • Image data of the OCT image and position information on the acquisition position of the OCT (information indicating the area and location scanned during OCT imaging, such as the pixel position and coordinate data on the UWF-SLO image, or the drive signal of the scanner, etc. ) is sent from the ophthalmologic apparatus 110 to the management server 140 via the communication I/F 16F and stored in the storage device 254 .
  • the light source 20A exemplifies a wavelength sweep type SS-OCT (Swept-Source OCT). It may be an OCT system of any type.
  • SS-OCT Tin-Source OCT
  • the management server 140 has a computer main body 252 .
  • the computer main body 252 has a CPU 262 , a RAM 266 , a ROM 264 and an input/output (I/O) port 268 .
  • a storage device 254 , a display 256 , a mouse 255 M, a keyboard 255 K, and a communication interface (I/F) 258 are connected to the I/O port 268 .
  • the storage device 254 is, for example, a non-volatile memory such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • I/O port 268 is connected to network 130 via communication I/F 258 . Therefore, the management server 140 can communicate with the ophthalmic device 110 and the viewer 150 .
  • the storage device 254 stores an image processing program, which will be described later. Note that the image processing program may be stored in the ROM 264 .
  • the CPU 262 corresponds to the "processor” of the technology of the present disclosure. Also, the ROM 264 and the RAM 266 correspond to the "memory" of the technology of the present disclosure.
  • the management server 140 stores each data received from the ophthalmologic apparatus 110 in the storage device 254 and executes various image processing and data processing by the CPU 262 .
  • the image processing program has a display control function, an image processing control function, and a processing function.
  • the CPU 262 executes the image processing program having these functions, the CPU 262 functions as the display control unit 204, the image processing control unit 206, and the processing unit 208 as shown in FIG.
  • the image processing control unit 206 performs image processing such as generating an image in which the choroidal blood vessels and the like are sharpened from the fundus image, performs image processing for specifying the region of the structure of the fundus from the fundus image, and performs image processing to identify the structure area of the fundus from the fundus image. It functions as a fundus image processing unit 2060 that performs image processing such as specifying an area where no image is captured, and an image synthesizing unit 2062 that synthesizes a plurality of images as necessary.
  • the fundus image processing unit 2060 corresponds to the “image acquisition unit” and the “fundus image processing unit” of the technology of the present disclosure.
  • the image synthesizing unit 2062 corresponds to the “image synthesizing unit” of the technology of the present disclosure.
  • FIG. 6A is a diagram in which a UWF-SLO image 600 obtained by photographing the fundus of the subject's eye 12 is divided into a plurality of areas, and regular character strings are assigned to the areas. This is an example of using the symbol as position information indicating the imaging position of the OCT image.
  • Position information is a character string (A1, A2, A3, B1, B2, B3, C1, C2, C3) obtained by combining the first coordinate value, which is the alphabet in the vertical direction, and the second coordinate value, which is the number in the horizontal direction.
  • Character strings are not limited to alphabets and numbers. For example, "A-2" (three characters of A, hyphen, and 2) use alphabets and numbers, as well as symbols such as hyphens and spaces. You may make it raise a property.
  • Nine areas can be identified by identifying the nine areas of the UWF-SLO image with regular character strings. By setting such character string rules in advance, the user can roughly grasp the position of the UWF-SLO image 600 simply by looking at the position information, which is the character string.
  • Position information is generated by associating the position where the OCT image was captured with the symbol, and an OCT image on which the position information is superimposed is generated. Even if the OCT image is displayed on the front surface of the display, the user can grasp the position on the fundus of the OCT image displayed on the front surface of the display by looking at the superimposed position information.
  • the position information is a coordinate value on the UWF-SLO image, not only a character string combining alphabets representing the vertical position and numbers representing the horizontal position, but also the subject's ear (E) side, nose
  • E subject's ear
  • a character string 'A-2 N' is created by adding 'N' representing the nasal side to 'A-2'. do.
  • This string "A-2 N" may represent a nasal position within the region of A-2 in FIG. 6A.
  • the positional information on the UWF-SLO image 600 may be a positional representation based on structural features on the retina, in addition to the character string representation described above. For example, it may be a coordinate value using orthogonal coordinates in which x is set in the horizontal direction and y is set in the vertical direction, with the macula or ONH (optic disc) as the center.
  • FIG. 6B is a diagram showing an OCT image 700 at an imaging position designated by the user.
  • the OCT image 700 is an image generated only from OCT data detected by the sensor 20B.
  • On the OCT image 700 there are a region 720 of the retina and choroid, which are fundus structures, a region 740 of the vitreous body, and a region 760 outside the choroid (the region surrounded by the dotted line in FIG. 6B). Regions 740 and 760 are generally clusters of pixels with low luminance values.
  • a region 740 of the vitreous does not have a structure that reflects the measurement light, so the reflected light cannot be obtained, so the region 760 is photographed darkly. Because it is dark, the image is taken in the dark.
  • FIGS. 6B, 7A, 7B, 8, 9C, 11A, 12A, and 13A a region composed of pixels with low luminance values is also displayed in white in consideration of visibility. The area is displayed dark in the actual image.
  • FIG. 6B shows an example in which the OCT image 700 is displayed over the entire display 156 of the viewer 150 .
  • FIG. 7A is a view showing a display screen 700A in which the position information 300 relating to the position where the OCT data was obtained is superimposed on an area 740 where no structures of the fundus oculi are displayed as character information in the OCT image 700.
  • the character string of the position information 300 is a character string of "shooting position: A-2 N" using coordinate values indicating areas when the UWF-SLO image 600 is divided into nine areas, as described in FIG. 6A.
  • the position information 300 may be displayed in an area 760 instead of the area 740 .
  • FIG. 7B shows a display screen 700B when the silhouette image 310 of the UWF-SLO image is superimposed on the OCT image 700 instead of the character string in FIG. 7A as position information about the position where the OCT data was acquired. It is a diagram.
  • a silhouette image is a monochrome image in which the inside of the outline is filled. In this embodiment, it is an image in which the contour of the UWF-SLO image is filled with a single color such as gray.
  • the contour may be a contour extracted from the actual UWF-SLO image 600, a contour imitating the contour of the UWF-SLO image, or a contour of a figure obtained by deforming the UWF-SLO image.
  • the silhouette image 310 can also be said to be a guide image (navigation image) that indicates to the user the scanning position where the OCT image was captured.
  • the silhouette image 310 is combined with position information 302 indicated by an arrow that roughly indicates the position where the OCT data was acquired.
  • the arrow-shaped position information 302 is synthesized at a position on the silhouette image 310 corresponding to the photographing position on the fundus where the B-scan was performed. In FIG.
  • position information indicating the imaging position is displayed as a silhouette image 310 in a region 740 (see FIG. 6B) where no fundus structure exists on the OCT image 700 .
  • the silhouette image 310 may be displayed in the area 760 instead of the area 740 .
  • the position information 302 indicating the photographing position may be indicated in a bright color so that it stands out among the filled colors of the silhouette image.
  • the position information 302 may be displayed with an arrow in the case of B-scan. In C-scan or volume scan, a figure (circle, rectangle, etc.) corresponding to the scanned range may be displayed.
  • Silhouette image 310 may be a symbolic figure such as a so-called icon.
  • a technique such as CG may be used to superimpose a fundus structure such as ONH, macular, or choroidal blood vessels.
  • the actual UWF-SLO image 600 may be reduced and displayed.
  • the position information 302 indicating the imaging position of the OCT image 700 displayed on the display is displayed in a conspicuous color such as red.
  • position information indicating the imaging positions of other OCT images may be superimposed on the silhouette image in a relatively subdued color such as blue.
  • the display form of the imaging position may be changed such as a solid line and a dotted line.
  • FIG. 8 is a schematic diagram when the OCT image 700C and the silhouette image 310 are displayed on the same screen such as the display 156 so that they do not overlap.
  • the object to be observed in detail is the OCT image 700C, so the OCT image 700C is displayed as large as possible, and the silhouette image 310 synthesized with the position information 302, which is the mark of the imaging position, is small, for example, about the size of a so-called thumbnail. may be displayed in the size of
  • FIGS. 9A, 9B, and 9C are explanations showing one mode of time-series changes of screens such as the display 156 when the OCT image 700 is acquired by designating the imaging position 302 on the UWF-SLO image 650. It is a diagram. The imaging position of the OCT image is designated on the UWF-SLO image 650 . In FIG. 9A, position information 302, which is a mark indicating the imaging position, is displayed superimposed on the UWF-SLO image 650. In FIG. Then, the ophthalmologic apparatus 110 acquires an OCT image 700 by controlling the OCT unit 20 and the imaging optical system 19 for the specified imaging position.
  • FIG. 9B shows a process in which the OCT image 700 acquired at the specified imaging position 302 is displayed instead of the UWF-SLO image 650 with the imaging position 302 superimposed.
  • the UWF-SLO image 650 gradually fades out and the OCT image 700 gradually fades in over several seconds immediately after the OCT image acquisition. That is, the transmittance of the UWF-SLO image 650 on which the imaging position 302 is superimposed is changed from 100% to 0%, and at the same time, the transmittance of the OCT image 700 is changed from 0% to 100%.
  • FIG. 9B is a diagram showing an example of this process, showing a display screen in which a UWF-SLO image 6550 with a transmittance of 50% and an OCT image 700 with a transmittance of 50% are superimposed.
  • FIG. 9C is an OCT image 700 displayed instead of the UWF-SLO image 650 on which the imaging position 302 is superimposed.
  • the screen such as the display 156 displays the OCT image from the UWF-SLO image 650 displaying the imaging position 302.
  • the user can confirm the OCT image 700 after impressing the imaging position 302 .
  • the UWF-SLO image 650 superimposed with the imaging position 302 may be displayed instead of the OCT image 700 .
  • FIG. 10 is a flowchart of image processing in this embodiment. Each function shown in FIG. 4 is implemented by the CPU 262 of the management server 140 executing this image processing program.
  • the processing unit 208 acquires the subject ID entered by the user through the viewer 150 .
  • the fundus image processing unit 2060 processes subject information (name, age, etc.) of the subject ID stored in the storage device 254, a fundus image data set such as a UWF-SLO image, an OCT image, Then, information about the position where the OCT image was acquired is acquired.
  • image data set may include not only the UWF-SLO image, the OCT image, and the information on the position where the OCT image was acquired, but also the name of the disease, diagnosis history, examination data such as visual field examination, and the like.
  • the fundus image processing unit 2060 generates position information 300, 302, 310 based on the information on the positions where the OCT images were acquired.
  • the position information 300 is character information indicating an area on the UWF-SLO image described with reference to FIG. 7A. From the information about the position where the OCT image was acquired, the fundus image processing unit 2060 identifies the area where the OCT image was acquired, and character information consisting of a character string corresponding to the imaging position.
  • the position information 302 is the imaging position information obtained based on the OCT imaging position
  • the position information 310 is the aforementioned silhouette image. In order to display the position information 302 and the position information 310 in a superimposed manner, a silhouette image 310 superimposed with the OCT imaging position described with reference to FIG. FIG. 9B).
  • the fundus image processing unit 2060 determines the position where the position information 300 , 302 or 310 is superimposed on the OCT image 700 . Specifically, the fundus image processing unit 2060 identifies a region in the OCT image 700 that has no fundus structure and has an area capable of displaying the position information 300 , 302 or 310 . That is, the area 740 or area 760 shown in FIG. 6B is searched (extracted). If multiple areas satisfying the conditions are found, the largest area may be determined.
  • the position information 300, 302, or 310 is superimposed on the observation target region (720 in FIG. 6B, such as the retina or choroid, or the vitreous body region where the membrane is floating, etc.) in the OCT image 700 by the user.
  • Determine the display position that does not For example, if the OCT image 700 is an OCT image obtained by imaging the posterior segment of the subject's eye, the position information must be displayed so as not to overlap the retina.
  • the position information 300, 302 or 310 is placed on the vitreous side or the choroidal side where the fundus structures are not imaged depends on the physician's region of interest.
  • the position information 300, 302, or 310 may be superimposed on the choroid side, which is the lower layer of the retina.
  • the position information 300, 302 or 310 is positioned on the vitreous body side so as not to overlap with the region indicating the structure of the fundus.
  • the display position of the position information 300, 302 or 310 may be input by the user. Further, the position information 300, 302 or 310 is displayed so as not to overlap with the region indicating the structure of the fundus, and the display position of the position information 300, 302 or 310 is moved according to the user's operation. good too.
  • the fundus image processing unit 2060 determines whether or not the fundus structure is imaged based on whether or not pixels with low luminance values are gathered. Specifically, the fundus image processing unit 2060 generates a histogram in which the number of pixels is counted for each luminance value. Then, the fundus image processing unit 2060 calculates the ratio of the number of pixels having a certain brightness value or more or the ratio of the number of pixels having a certain brightness value or less from the histogram.
  • the fundus image processing unit 2060 may determine a region in which structures of the fundus are not displayed. For example, if the ratio of the number of pixels below a certain luminance value is equal to or greater than a predetermined percentage, it can be determined that the area does not contain the object. Further, when the ratio of the number of pixels having a certain luminance value or more is equal to or less than a predetermined percentage, it is possible to determine that the area does not include the object.
  • the threshold value of the luminance value is arbitrarily set, and may be set by the user.
  • the user can set thresholds such as 10%, 5%, 3%, and 1% of the maximum value of the brightness value in an OCT image, which is a tomographic image, by B-scanning.
  • the user may set, for example, 20%, 15%, 10%, 5%, etc. of the median luminance value in the OCT image.
  • FIG. 11A is a schematic diagram of a case where an area 320 for superimposed display of the position information 300, 302 or 310 is located at a position that does not overlap the area of the fundus structure in the OCT image 700, and FIG. is a histogram showing luminance values of pixels of .
  • the ratio of pixels with a luminance value of 50 or less is 1
  • the ratio of pixels with a luminance value of 100 or less is 1
  • the ratio of pixels with a luminance value of 150 or more is 0,
  • region 320 is a dark region that does not include a fundus structure. It shows that 11B, the area 320 is suitable for displaying the position information 300, 302 or 310 in a superimposed manner.
  • FIG. 12A is a schematic diagram in which an area 320 for superimposed display of the position information 300, 302 or 310 is located at a position overlapping a part of the fundus structure area in the OCT image 700
  • FIG. 4 is a histogram showing luminance values of pixels in region 320.
  • FIG. 12B the ratio of pixels with a luminance value of 50 or less is about 1, the ratio of pixels with a luminance value of 100 or less is about 1, the ratio of pixels with a luminance value of 150 or more is a value close to 0, and the region 320 is the fundus structure. This indicates that the region does not contain many 12B, the area 320 is not suitable for superimposing the position information 300, 302, or 310, but the superimposition has no effect when the user observes the OCT image. is presumed to be
  • FIG. 13A is a schematic diagram in which an area 320 for superimposed display of the position information 300, 302 or 310 is located at a position overlapping the area of the fundus structure in the OCT image 700, and FIG. is a histogram showing luminance values of .
  • the ratio of pixels with a luminance value of 50 or less is about 0.5
  • the ratio of pixels with a luminance value of 100 or less is about 0.7
  • the ratio of pixels with a luminance value of 150 or more is about 0.13. is the region containing the fundus structure. That is, when the histogram shows a shape as shown in FIG. 13B, it can be said that the area 320 is an inappropriate area for superimposing and displaying the position information 300, 302 or 310.
  • FIG. 13B shows a shape as shown in FIG. 13B, it can be said that the area 320 is an inappropriate area for superimposing and displaying the position information 300, 302 or 310.
  • the size of the area where the position information 300, 302, or 310 is displayed is arbitrarily set according to the imaging region, imaging magnification, and the like, and may be set by the user.
  • the size of the region can be set to, for example, 5%, 10%, 15%, 20%, or 25% of the OCT image. If an area of a predetermined size that does not contain the fundus structure cannot be specified in the OCT image, the size of the area may be set to be even smaller, and whether or not the fundus structure is included in the area may be determined. .
  • step 108 the image synthesizing unit 2062 generates an OCT image in which the position information 300, 302 or 310 is superimposed on the OCT image 700 as display screens (700A, 700B).
  • the processing unit 208 outputs the generated display screens (700A, 700B) to the storage device 254 for storage, outputs the image data of the display screens to the viewer 150, and terminates the program.
  • the viewer 150 that has received the image data of the display screen displays the display screen (700A, 700B) on the display 156.
  • FIG. Further, when an area of a predetermined size that does not include the fundus structure cannot be specified in the OCT image, the display control unit 204 adds the position information 300, 302 or 310 in the OCT image as shown in FIGS. 7A and 7B.
  • the second display screen (700C) that does not overlap the OCT image and the position information 300, 302, or 310 as shown in FIG. ) may be switched to the second display mode.
  • the second display screen On the second display screen, a part of the OCT image and the position information 300, 302 or 310 are overlapped with the position information 300, 302 or 310, as in the display screen 700D shown in FIG.
  • a display screen in which the position information 300, 302 or 310 protrudes from the OCT image is also included.
  • the image processing in the case of the hybrid model in which the ophthalmologic apparatus 110 has both the SLO unit 18 and the OCT unit 20 has been described.
  • the technology of the present disclosure is applicable not only to the hybrid model, but also to an OCT-dedicated model (not shown). Since the OCT dedicated machine does not have an SLO unit, instead of the UWF-SLO image, an enface OCT image generated from OCT volume data obtained by scanning a range with a high angle of view can be used.
  • An enface OCT image is an image obtained by cutting out a plane from OCT volume data.
  • the OCT dedicated machine performs a rough scan to acquire an enface OCT image, and a higher resolution OCT image (a large number of A-scans per unit area, A high-density scanned OCT image) is acquired.
  • a higher resolution OCT image (a large number of A-scans per unit area, A high-density scanned OCT image) is acquired.
  • the number of A-scans per unit time is limited, and there is a trade-off relationship between the range to be scanned and the density to be scanned.
  • Rough scanning means performing low-density scanning over a wide area
  • high-density scanning means performing high-density scanning over a narrow area.
  • An OCT image obtained by rough scanning has low resolution
  • an OCT image obtained by high density scanning has high resolution.
  • FIG. 14 A flowchart for generating a display screen showing the positional relationship between the enface OCT image and the high-density scan OCT image will be described with reference to FIG. 14 .
  • Each function shown in FIG. 4 is implemented by the CPU 262 of the management server 140 executing this image processing program.
  • the processing unit 208 acquires the subject ID entered by the user through the viewer 150 .
  • the fundus image processing unit 2060 processes the subject information (name, age, etc.) of the subject ID stored in the storage device 254, the environmentOCT image (fundus in this embodiment), which is a fundus image data set.
  • step 124 the fundus image processing unit 2060 generates positional information based on the information about the position where the high-density scan OCT image was acquired.
  • the fundus image processing unit 2060 generates a reduced version of the environment OCT image to which the acquisition position of the high-density scan OCT image is assigned.
  • the reduced version of the environment OCT image may be an image obtained by reducing the environment OCT image as it is, or may be a silhouette image showing only the outline of the environment OCT image on an icon.
  • a fundus structure such as ONH, macular, or choroidal blood vessels may be superimposed on the silhouette image using a technique such as CG.
  • the icon may be three-dimensionally depicted in a three-dimensional spherical shape as shown in FIG.
  • the fundus image processing unit 2060 determines the position where the acquired position information is superimposed on the high-density scan OCT image (for example, extracts a region where structures of the fundus are not displayed).
  • the acquisition position information is displayed so as not to overlap the area indicating the structure of the fundus.
  • a high-density scan OCT image pixels with low luminance values are generally gathered in a region where the structure of the fundus is not displayed.
  • information on the acquisition position is displayed in an area where pixels with the lowest luminance values are gathered.
  • step 130 the fundus image processing unit 2060 generates a display screen in which the reduced enface OCT image is superimposed on the high-density scan OCT image in the image synthesizing unit 2062 .
  • the processing unit 208 outputs the generated display screen to the storage device 254 for storage, outputs the image data of the display screen to the viewer 150, and terminates the program.
  • the viewer 150 that has received the image data of the display screen displays the display screen on the display 156 .
  • FIG. 15 shows a display screen 800A in which an icon 410 stereoscopically depicted in a three-dimensional spherical shape generated from an environment OCT image is superimposed on a high-density scan OCT image 800.
  • FIG. An icon 410 superimposes a photographing position 402 on which high-density scanning has been performed.
  • the area composed of pixels with low luminance values is also displayed in white in consideration of visibility, but the area is displayed dark in the actual image.
  • the icon 410 superimposed with the imaging position 402 is displayed at a position that does not overlap the fundus structure in the high-density scan OCT image 800 .
  • FIG. 16 shows an icon 410 stereoscopically depicted in a three-dimensional spherical shape generated from an environment OCT image superimposed on a high-density scan OCT image 810 when a volume scan is performed as a high-density scan.
  • 8 shows a display screen 800B displayed by pressing the button.
  • the high-density scan OCT image in FIG. 15 is a tomographic image obtained by B-scan, but FIG. 16 is different from FIG. 15 in that it is a stereoscopic OCT image (three-dimensional OCT image) obtained by volume scanning.
  • an image representing a wide area of the fundus such as an image obtained by processing a UWF-SLO image by image processing, is superimposed on the OCT image and displayed as the acquisition position of the OCT image.
  • This allows the user to observe the tomographic image of the fundus of the subject's eye while recognizing the acquisition position of the OCT image. This makes it easier for the user to determine the acquisition position of the tomographic image, particularly when observing the tomographic image of the fundus periphery where there is no characteristic structure such as the ONH or the macula.
  • the technique of the present disclosure it is possible to display the position information of the OCT imaging in an area where no fundus structure exists (an area of a predetermined size that is imaged in black). Therefore, even when an OCT image obtained by full-range OCT is enlarged and displayed, the user can recognize which part of the fundus the OCT image is.
  • image processing is performed by a software configuration using a computer, but the technology of the present disclosure is not limited to this.
  • image processing may be performed only by a hardware configuration such as FPGA (Field-Programmable Gate Array) or ASIC (Application Specific Integrated Circuit).
  • FPGA Field-Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • the technology of the present disclosure includes the following technology, since it includes the case where image processing is realized by software configuration using a computer and the case where it is not.
  • An image processing method including (Second technology) comprising a memory and a processor coupled to the memory; The processor obtaining an OCT image of the eye to be examined; a step of extracting a region other than the structure of the eye to be inspected in the OCT image; generating a first display screen on which position information regarding a scanning position for acquiring the OCT image is superimposed on the region;
  • a computer program product for image processing comprising: The computer program product comprises a computer readable storage

Abstract

脈絡膜血管を解析するための画像処理方法を提供する。 光干渉断層計(OCT)により被検眼のOCT画像を取得するステップと、前記OCT画像において、被検眼の構造物以外の領域を抽出するステップと、前記領域に、前記OCT画像を取得するためのスキャン位置に関する位置情報を重畳した第1表示画面を生成するステップと、からなる。

Description

画像処理方法、画像処理装置、及び画像処理プログラム
 本開示の技術は、画像処理方法、画像処理装置、及び画像処理プログラムに関する。
 特開2019-154993号公報には、被検眼の断層画像(光干渉断層計(OCT:Optical Coherence Tomography)により撮影された画像であり、OCT画像と称する)の表示方法に関する技術が開示されている。OCT画像の取得された被検眼における位置をユーザに示すことが求められている。
 本開示の技術の第1の態様の画像処理方法は、被検眼のOCT画像を取得するステップと、前記OCT画像において、被検眼の構造物以外の領域を抽出するステップと、前記領域に、前記OCT画像を取得するためのスキャン位置に関する位置情報を重畳した第1表示画面を生成するステップと、からなる。
 本開示の技術の第2の態様の画像処理装置は、被検眼のOCT画像を取得する画像取得部と、前記OCT画像において、被検眼の構造物以外の領域を抽出する眼底画像処理部と、前記領域に、前記OCT画像を取得するためのスキャン位置に関する位置情報を重畳した第1表示画面を生成する画像合成部と、を備える。
 本開示の技術の第3の態様の画像処理プログラムは、コンピュータを、画像取得部が取得した被検眼のOCT画像において、被検眼の構造物以外の領域を抽出する眼底画像処理部、及び前記領域に、前記OCT画像を取得するためのスキャン位置に関する位置情報を重畳した第1表示画面を生成する画像合成部、として機能させる。
眼科システム100のブロック図である。 眼科装置110の全体構成を示す概略構成図である。 管理サーバ140の電気系の構成のブロック図である。 管理サーバ140のCPU262の機能のブロック図である。 管理サーバ140のCPU262の画像処理制御部206の機能のブロック図である。 UWF-SLO画像600と文字情報の関係を示す図である。 OCT画像700と眼底構造物が無い領域との関係を示した図である。 OCT画像700中に、文字情報による位置情報300を重畳表示した場合の第1表示画面を示す図である。 OCT画像700中に、OCT撮影位置を示すマーク302合成されたシルエット画像310を重畳表示した第1表示画面の別の実施例を示す図である。 OCT画像700とシルエット画像310とを重畳しないように表示した第2表示画面700Cを示す図である。 OCT画像の撮影位置を示した位置情報302をUWF-SLO画像に重畳表示した図である。 UWF-SLO画像650に代わってOCT画像700が表示される過程を示した概略図である。 UWF-SLO画像650に代わって表示されたOCT画像700を示した概略図である。 本実施形態における画像処理のフローチャートである。 適切な位置に領域320がある場合の概略図である。 領域320の画素の輝度値を示したヒストグラムである。 眼底の構造物と領域320の一部が重なっている場合の概略図である。 領域320の画素の輝度値を示したヒストグラムである。 不適切な位置に領域320がある場合の概略図である。 領域320の画素の輝度値を示したヒストグラムである。 本実施形態におけるenface OCT画像と高密度スキャンOCT画像との位置関係を示す表示画面を生成するためのフローチャートである。 高密度スキャンOCT画像800上に、enface OCT画像から生成された三次元球面状の立体的に描写されたアイコン410が重畳して表示された表示画面800Aである。 高密度スキャンでボリュームスキャンを行った場合の高密度スキャンOCT画像810上に、enface OCT画像から生成された三次元球面状の立体的に描写されたアイコン410が重畳して表示された表示画面800Bである。 OCT画像700の一部と位置情報310の一部を重ねた場合の概略図である。
 以下、図面を参照して本実施形態を詳細に説明する。
 図1を参照して、眼科システム100の構成を説明する。図1に示すように、眼科システム100は、眼科装置110と、管理サーバ装置(以下、「管理サーバ」という)140と、表示装置(以下、「ビューワ」という)150と、を備えている。眼科装置110は、眼底画像を取得する。管理サーバ140は、眼科装置110によって複数の患者の眼底が撮影されることにより得られた複数の眼底画像及び眼軸長を、患者のIDに対応して記憶する。ビューワ150は、管理サーバ140により取得した眼底画像や解析結果を表示する。
 ビューワ150は、管理サーバ140により取得した眼底画像や解析結果を表示するディスプレイ156、操作に供されるマウス155M及びキーボード155Kを備える。
 眼科装置110、管理サーバ140、ビューワ150は、ネットワーク130を介して、相互に接続されている。ビューワ150は、クライアントサーバシステムにおけるクライアントであり、ネットワークを介して接続される。当該ネットワーク130にビューワ150が複数台接続される場合もある。また、システムの冗長性を担保するために、サーバ140が複数台、ネットワーク130を介して接続されていてもよい。
 眼科装置110が画像処理機能及びビューワ150の画像閲覧機能を備えるのであれば、眼科装置110がスタンドアロン状態で、眼底画像の取得、画像処理及び画像閲覧が可能となる。また、管理サーバ140がビューワ150の画像閲覧機能を備えるのであれば、眼科装置110と管理サーバ140との構成で、眼底画像の取得、画像処理及び画像閲覧が可能となる。
 なお、他の眼科機器(視野測定、眼圧測定などの検査機器)やAI(Artificial Intelligence)を用いた画像解析を行う診断支援装置がネットワーク130を介して、眼科装置110、管理サーバ140、及びビューワ150に接続されていてもよい。本開示において、各構成要素(装置等)は、矛盾が生じない限りは、1つのみ存在しても2つ以上存在してもよい 。
 次に、図2を参照して、眼科装置110の構成を説明する。 説明の便宜上、走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope)を「SLO」と称する。また、光干渉断層計(Optical Coherence Tomography)を「OCT」と称する。
 なお、眼科装置110が水平面に設置された場合の水平方向を「X方向」、水平面に対する垂直方向を「Y方向」とし、被検眼12の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Z方向」とする。従って、X方向、Y方向、及びZ方向は互いに垂直である。
 眼科装置110は、撮影装置14及び制御装置16を含む。撮影装置14は、SLOユニット18及びOCTユニット20を備えており、被検眼12の眼底の眼底画像を取得する。以下、SLOユニット18により取得された二次元眼底画像をSLO画像と称する。また、OCTユニット20により取得されたOCTデータに基づいて作成された網膜の断層画像や正面画像(en-face画像)などをOCT画像と称する。
 制御装置16は、CPU(Central Processing Unit(中央処理装置))16A、RAM(Random Access Memory)16B、ROM(Read-Only memory)16C、及び入出力(I/O)ポート16Dを有するコンピュータを備えている。
 制御装置16は、I/Oポート16Dを介してCPU16Aに接続された入力/表示装置16Eを備えている。入力/表示装置16Eは、被検眼12の画像を表示したり、ユーザから各種指示を受け付けたりするグラフィックユーザインターフェースを有する。グラフィックユーザインターフェースとしては、タッチパネル・ディスプレイが挙げられる。
 また、制御装置16は、I/Oポート16Dに接続された画像処理装置17を備えている。画像処理装置17は、撮影装置14によって得られたデータに基づき被検眼12の画像を生成する。なお、制御装置16は、通信インターフェース(I/F)16Fを介してネットワーク130に接続される。
 上記のように、図2では、眼科装置110の制御装置16が入力/表示装置16Eを備えているが、本開示の技術はこれに限定されない。例えば、眼科装置110の制御装置16は入力/表示装置16Eを備えず、眼科装置110とは物理的に独立した別個の入力/表示装置を備えるようにしてもよい。この場合、当該表示装置は、制御装置16のCPU16Aの制御下で動作する画像処理プロセッサユニットを備える。画像処理プロセッサユニットが、CPU16Aが出力指示した画像信号に基づいて、SLO画像等を表示するようにしてもよい。
 撮影装置14は、制御装置16のCPU16Aの制御下で作動する。撮影装置14は、SLOユニット18、撮影光学系19、及びOCTユニット20を含む。撮影光学系19は、第1光学スキャナ22、第2光学スキャナ24、及び広角光学系30を含む。
 第1光学スキャナ22は、SLOユニット18から射出された光をX方向、及びY方向に2次元走査する。第2光学スキャナ24は、OCTユニット20から射出された光をX方向、及びY方向に2次元走査する。第1光学スキャナ22及び第2光学スキャナ24は、光束を偏向できる光学素子であればよく、例えば、ポリゴンミラーや、ガルバノミラー等を用いることができる。また、それらの組み合わせであってもよい。
 広角光学系30は、共通光学系28を有する対物光学系(図2では不図示)、及びSLOユニット18からの光とOCTユニット20からの光を合成する合成部26を含む。
 なお、共通光学系28の対物光学系は、楕円鏡などの凹面ミラーを用いた反射光学系や、広角レンズなどを用いた屈折光学系、あるいは、凹面ミラーやレンズを組み合わせた反射屈折光学系でもよい。楕円鏡や広角レンズなどを用いた広角光学系を用いることにより、眼底中心部だけでなく眼底周辺部の網膜を撮影することが可能となる。
 楕円鏡を含むシステムを用いる場合には、国際公開WO2016/103484あるいは国際公開WO2016/103489に記載された楕円鏡を用いたシステムを用いる構成でもよい。国際公開WO2016/103484の開示及び国際公開WO2016/103489の開示の各々は、その全体が参照により本明細書に取り込まれる。
 広角光学系30によって、眼底において広い視野(FOV:Field of View)12Aでの観察が実現される。FOV12Aは、撮影装置14によって撮影可能な範囲を示している。FOV12Aは、視野角として表現され得る。視野角は、本実施形態において、内部照射角と外部照射角とで規定され得る。外部照射角とは、眼科装置110から被検眼12へ照射される光束の照射角を、瞳孔27を基準として規定した照射角である。また、内部照射角とは、眼底Fへ照射される光束の照射角を、眼球中心Oを基準として規定した照射角である。外部照射角と内部照射角とは、対応関係にある。例えば、外部照射角が120度の場合、内部照射角は約160度に相当する。本実施形態では、内部照射角は200度としている。
 ここで、内部照射角で160度以上の撮影画角で撮影されて得られたSLO眼底画像をUWF-SLO眼底画像と称する。なお、UWFとは、UltraWide Field(超広角)の略称を指す。
 SLOシステムは、図2に示す制御装置16、SLOユニット18、及び撮影光学系19によって実現される。SLOシステムは、広角光学系30を備えるため、広いFOV12Aでの眼底撮影を可能とする。
 SLOユニット18は、B(青色光)の光源40、G光(緑色光)の光源42、R光(赤色光)の光源44、及びIR光(赤外線(例えば、近赤外光))の光源46と、光源40、42、44、46からの光を、反射又は透過して1つの光路に導く光学系48、50、52、54、56とを備えている。光学系48、50、56は、ミラーであり、光学系52、54は、ビームスプリッタ―である。B光は、光学系48で反射し、光学系50を透過し、光学系54で反射し、G光は、光学系50、54で反射し、R光は、光学系52、54を透過し、IR光は、光学系52、56で反射して、それぞれ1つの光路に導かれる。
 SLOユニット18は、G光、R光、及びB光を発するモードと、赤外線を発するモードなど、波長の異なるレーザ光を発する光源あるいは発光させる光源の組合せを切り替え可能に構成されている。図2に示す例では、B光(青色光)の光源40、G光の光源42、R光の光源44、及びIR光の光源46の4つの光源を備えるが、本開示の技術は、これに限定されない。例えば、SLOユニット18は、更に、白色光の光源を更に備え、白色光のみを発するモード等の種々のモードで光を発するようにしてもよい。
 SLOユニット18から撮影光学系19に入射された光は、第1光学スキャナ22によってX方向及びY方向に走査される。走査光は広角光学系30及び瞳孔27を経由して、被検眼12の後眼部(眼底)に照射される。眼底により反射された反射光は、広角光学系30及び第1光学スキャナ22を経由してSLOユニット18へ入射される。
 SLOユニット18は、被検眼12の後眼部(眼底)からの光の内、B光を反射し且つB光以外を透過するビームスプリッタ64、ビームスプリッタ64を透過した光の内、G光を反射し且つG光以外を透過するビームスプリッタ58を備えている。SLOユニット18は、ビームスプリッタ58を透過した光の内、R光を反射し且つR光以外を透過するビームスプリッタ60を備えている。SLOユニット18は、ビームスプリッタ60を透過した光の内、IR光を反射するビームスプリッタ62を備えている。SLOユニット18は、ビームスプリッタ64により反射したB光を検出するB光検出素子70、ビームスプリッタ58により反射したG光を検出するG光検出素子72、ビームスプリッタ60により反射したR光を検出するR光検出素子74、及びビームスプリッタ62により反射したIR光を検出するIR光検出素子76を備えている。
 広角光学系30及びスキャナ22を経由してSLOユニット18へ入射された光(眼底により反射された反射光)は、B光の場合、ビームスプリッタ64で反射してB光検出素子70により受光され、G光の場合、ビームスプリッタ64を透過し、ビームスプリッタ58で反射してG光検出素子72により受光される。上記入射された光は、R光の場合、ビームスプリッタ64、58を透過し、ビームスプリッタ60で反射してR光検出素子74により受光される。上記入射された光は、IR光の場合、ビームスプリッタ64、58、60を透過し、ビームスプリッタ62で反射してIR光検出素子76により受光される。CPU16Aの制御下で動作する画像処理装置17は、B光検出素子70、G光検出素子72、R光検出素子74、及びIR光検出素子76で検出された信号を用いてUWF-SLO画像を生成する。B光検出素子70、G光検出素子72、R光検出素子74、及びIR光検出素子76として、例えば、PD(photodiode)及びAPD(avalanche photodiode:アバランシェ・フォトダイオード)が挙げられる。
 SLOユニット18では、対象物である眼底で反射(散乱)して戻ってきた光は第1光学スキャナ22を通って光検出素子に届くので、常に同じ位置、すなわちB光検出素子70、G光検出素子72、R光検出素子74、及びIR光検出素子76が存在する位置に戻ってくる。従って、光検出素子をエリアセンサのように平面状(2次元)に構成する必要はなく、PD又はAPD等のような点状(0次元)の検出器が本実施形態では最適である。しかしながら、PD又はAPD等に限らず、ラインセンサ(1次元)又はエリアセンサ(2次元)を用いることも可能である。
 UWF-SLO画像には、眼底がG色光で撮影されて得られた(G色眼底画像)と、眼底がR色光で撮影されて得られたUWF-SLO画像(R色眼底画像)とがある。UWF-SLO画像には、眼底がB色光で撮影されて得られたUWF-SLO画像(B色眼底画像)と、眼底がIR光で撮影されて得られたUWF-SLO画像(IR眼底画像)とがある。
 また、制御装置16が、同時に発光するように光源40、42、44を制御する。B光、G光及びR光で同時に被検眼12の眼底が撮影されることにより、各位置が互いに対応するG色眼底画像、R色眼底画像、及びB色眼底画像が得られる。G色眼底画像、R色眼底画像、及びB色眼底画像からRGBカラー眼底画像が得られる。制御装置16が、同時に発光するように光源42、44を制御し、G光及びR光で同時に被検眼12の眼底が撮影されることにより、各位置が互いに対応するG色眼底画像及びR色眼底画像が得られる。G色眼底画像及びR色眼底画像を所定の混合比で混合することにより、RGカラー眼底画像が得られる。
 UWF-SLO画像には、ICG蛍光撮影されたUWF-SLO画像(動画)もある。インドシアニン・グリーン(ICG)が血管に注入されると、眼底に到達し、最初は網膜に到達し、次に、脈絡膜に到達し、脈絡膜を通過する。UWF-SLO画像(動画)は、インドシアニン・グリーン(ICG)が血管に注入され網膜に到達した時から、脈絡膜を通過した後までの動画像である。
 B色眼底画像、G色眼底画像、R色眼底画像、IR眼底画像、RGBカラー眼底画像、RGカラー眼底画像、及びUWF-SLO画像の各画像データは、通信I/F16Fを介して眼科装置110から管理サーバ140へ送付される。
 OCTシステムは、図2に示す制御装置16、OCTユニット20、及び撮影光学系19によって実現される。OCTシステムは、広角光学系30を備えるため、上述したSLO眼底画像の撮影にくわえて、広いFOV12Aでの眼底撮影を可能とする。UWF-SLO画像上で、OCT画像を取得する位置がユーザによって指定され、指定された位置をスキャンする(撮影する)ことによりOCT画像が取得される。
 OCTユニット20は、光源20A、センサ(検出素子)20B、第1の光カプラ20C、参照光学系20D、コリメートレンズ20E、及び第2の光カプラ20Fを含む。
 光源20Aから射出された光は、第1の光カプラ20Cで分岐される。分岐された一方の光は、測定光として、コリメートレンズ20Eで平行光にされた後、撮影光学系19に入射される。測定光は、第2光学スキャナ24によってX方向及びY方向に走査される。走査光は広角光学系30及び瞳孔27を経由して、眼底に照射される。眼底により反射された測定光は、広角光学系30と第2光学スキャナ24とを経由してOCTユニット20へ入射され、コリメートレンズ20Eと第1の光カプラ20Cとを介して、第2の光カプラ20Fに入射する。
 光源20Aから射出され、第1の光カプラ20Cで分岐された他方の光は、参照光として、参照光学系20Dへ入射され、参照光学系20Dを経由して、第2の光カプラ20Fに入射する。
 第2の光カプラ20Fに入射されたこれらの光、即ち、眼底で反射された測定光と、参照光とは、第2の光カプラ20Fで干渉されて干渉光を生成する。干渉光はセンサ20Bで受光される。画像処理制御部206の制御下で動作する画像処理装置17は、センサ20Bで検出されたOCTデータに基づいて断層画像やen-face画像などのOCT画像を生成する。
 OCT画像の画像データとOCTの取得位置に関する位置情報(OCT撮影時にスキャンした領域、場所を示す情報であり、例えば、UWF-SLO画像上の画素位置や座標データ、あるいはスキャナの駆動信号などである)は、通信I/F16Fを介して眼科装置110から管理サーバ140へ送付され、記憶装置254に記憶される。
 なお、本実施形態では、光源20Aが波長掃引タイプのSS-OCT(Swept-Source OCT)を例示するが、SD-OCT(Spectral-Domain OCT)、TD-OCT(Time-Domain OCT)など、様々な方式のOCTシステムであってもよい。
 次に、図3を参照して、管理サーバ140の電気系の構成を説明する。図3に示すように、管理サーバ140は、コンピュータ本体252を備えている。コンピュータ本体252は、CPU262、RAM266、ROM264、入出力(I/O)ポート268を有する。I/Oポート268には、記憶装置254、ディスプレイ256、マウス255M、キーボード255K、及び通信インターフェース(I/F)258が接続されている。記憶装置254は、例えば、HDD(ハードディスクドライブ)やSSD(ソリッドステートドライブ)などの不揮発メモリで構成される。入出力(I/O)ポート268は、通信I/F258を介して、ネットワーク130に接続されている。従って、管理サーバ140は、眼科装置110、及びビューワ150と通信することができる。記憶装置254には、後述する画像処理プログラムが記憶されている。なお、画像処理プログラムを、ROM264に記憶してもよい。CPU262は、本開示の技術の「プロセッサ」に相当する。また、ROM264及びRAM266は、本開示の技術の「メモリ」に相当する。
 管理サーバ140は、眼科装置110から受信した各データを、記憶装置254に記憶するとともに、CPU262による様々な画像処理やデータ処理を実行する。
 次に、図4を参照して、管理サーバ140のCPU262が画像処理プログラムを実行することで実現される各種機能について説明する。画像処理プログラムは、表示制御機能、画像処理制御機能、及び処理機能を備えている。CPU262がこの各機能を有する画像処理プログラムを実行することで、CPU262は、図4に示すように、表示制御部204、画像処理制御部206、及び処理部208として機能する。
 次に、図5を参照して、画像処理制御部206の各種機能について説明する。画像処理制御部206は、眼底画像から脈絡膜血管等を鮮明化した画像を生成する等の画像処理を行ったり、眼底画像から眼底の構造物の領域を特定する画像処理を行ったり、当該構造物が写っていない領域を特定したりする画像処理を行う眼底画像処理部2060と、必要に応じて複数の画像を合成する画像合成部2062として機能する。眼底画像処理部2060は、本開示の技術の「画像取得部」及び「眼底画像処理部」に相当する。画像合成部2062は、本開示の技術の「画像合成部」に相当する。
 まず、OCT画像の撮影位置(OCT画像を取得するための眼底のスキャン位置)に関する位置情報について、説明する。
 図6Aは、被検眼12の眼底を撮影したUWF-SLO画像600を複数のエリアに分割し、当該エリアに規則性を有する文字列を付与した図である。当該記号をOCT画像の撮影位置を示す位置情報として利用する場合の例である。
 図6Aでは、紙面の縦方向にA、B、C、紙面の横方向に1、2、3の座標値が設定されており、UWF-SLO画像600は3×3の9エリアに分割される。縦方向のアルファベットである第1座標値と横方向の数字である第2座標値とを組み合わせた文字列(A1、A2、A3、B1、B2、B3、C1、C2、C3)が位置情報である。文字列は、アルファベットと数字だけでなく、例えば「A-2」のように(Aとハイフンと2の3文字)、アルファベットと数字のほかにハイフンやスペースなどの記号を用いて、ユーザの視認性を上げるようにしてもよい。
 UWF-SLO画像の9つのエリアが規則性のある文字列で識別されることにより、9エリアを識別することができる。かかる文字列の規則を事前にしておくことにより、このユーザは文字列である位置情報をみただけでUWF-SLO画像600の位置を大まかに把握することが可能となる。
 OCT画像が撮影された位置を当該記号と対応付けた位置情報を生成しておき、当該位置情報が重畳されたOCT画像を生成する。当該OCT画像をディスプレイ前面に表示したとしても、ユーザは重畳されている位置情報を見ることにより、ディスプレイ前面に表示されているOCT画像の眼底上の位置を把握することが可能になる。
 当該位置情報は、UWF-SLO画像上の座標値は、縦方向の位置を表すアルファベットと横方向の位置を表す数字の組み合わせた文字列だけでなく、被検者の耳(E)側、鼻(N)側、上(U)側あるいは下(D)側を示す文字を、当該文字列に追加し、文字数を増やすことにより、エリアを細分化した位置情報としてもよい。
 例えば、9つのエリアの中の「A-2」を細分化する場合、「A-2」に鼻側を表す「N」を付加した文字列である「A-2 N」という文字列を生成する。この文字列「A-2 N」は、図6AのA-2の領域内の鼻側の位置を表すことができる。
 UWF-SLO画像600上の位置情報は、上述したような文字列による表現以外に、網膜上の構造的特徴物に基づく位置の表現でもよい。例えば、黄斑、又はONH(視神経乳頭)を中心とし、横方向にx、縦方向にyを各々設定した直交座標を用いた、座標値であってもよい。
 次に、文字列である位置情報をOCT画像のどの位置に重畳させるのかを図6Bを用いて説明する。図6Bは、ユーザにより指定された撮影位置におけるOCT画像700を示した図である。当該OCT画像700は、センサ20Bで検出されたOCTデータのみによって生成された画像である。
 OCT画像700上には、眼底構造物である網膜や脈絡膜の領域720と、硝子体の領域740と脈絡膜より外側の領域760が存在する(図6Bにおいて点線で囲まれた領域である)。
 領域740と760は、一般に輝度値が低い画素が集まっている。硝子体の領域740は、測定光を反射する構造物が存在しないため反射光が得られないため暗く撮影され、領域760は、測定光が眼底の組織に吸収されてしまうため反射光として戻ってこないため暗く撮影される。
 図6B、図7A、図7B、図8、図9C、図11A、図12A、及び図13Aでは、視認性を考慮して輝度値が低い画素で構成された領域も白く表示しているが、当該領域は実際の画像では暗く表示される。
 また、図6Bでは、OCT画像700をビューワ150のディスプレイ156の全域に表示した例を示している。
 以下、図7Aから図9Cを用いて、本実施形態による、OCTの撮影位置の位置情報を表示する表示形態の例を説明する。
 図7Aは、OCT画像700中に、OCTデータが取得された位置に関する位置情報300を文字情報として、眼底の構造物が表示されていない領域740に、重畳表示した表示画面700Aを示した図である。位置情報300の文字列は、図6Aで説明した、UWF-SLO画像600を9エリアに分割したときのエリアを示す座標値を用いて「撮影位置:A-2 N」という文字列である。また領域740に代えて領域760に位置情報300を表示するようにしてもよい。
 OCT画像700がビューワ150のディスプレイ156の全域に表示されている場合、ユーザは、このOCT画像700の眼底上の位置を把握できない。主だった構造物が存在しない領域に位置を示す文字列を表示させることにより、この文字列をユーザが認識し、OCTデータの取得位置をユーザが把握できることになる。
 図7Bは、OCT画像700中に、OCTデータが取得された位置に関する位置情報として、図7Aの文字列に代えてUWF-SLO画像のシルエット画像310を重畳表示した場合の表示画面700Bを示した図である。
 シルエット画像とは、輪郭の中が塗りつぶされた単色の画像である。本実施例では、UWF-SLO画像の輪郭であって、当該輪郭の中を、例えばグレーなどの単色で塗りつぶした画像である。
 当該輪郭は実際のUWF-SLO画像600から抽出した輪郭でもよいし、UWF-SLO画像の輪郭を模した輪郭、あるいは、UWF-SLO画像をデフォルメした図形の輪郭であってもよい。シルエット画像310は、ユーザにOCT画像を撮影したスキャン位置を示すガイド画像(ナビゲーション画像)ということもできる。シルエット画像310には、OCTデータが取得された位置を大まかに示す矢印で示される位置情報302が合成されている。矢印の形状の位置情報302はBスキャンを実行した眼底上の撮影位置に対応してシルエット画像310上の位置に合成される。
 図7Bにおいては、OCT画像700上における眼底構造物が存在しない領域740(図6B参照)に撮影位置を示した位置情報がシルエット画像310として表示されている。領域740に代えて領域760にシルエット画像310を表示するようにしてもよい。
 また、撮影位置を示した位置情報302は明るい色で明示しシルエット画像の塗りつぶした色の中で目立つようにしてもよい。また、位置情報302はBスキャンの場合は矢印で表示してもよい。Cスキャンあるいはボリュームスキャンでは、スキャンした範囲に対応した図形(円形、矩形など)で表示してもよい。
 シルエット画像310は、いわゆるアイコンのような象徴的な図形であってもよい。また、UWF-SLO画像のシルエット画像310上に、CG等の手法を用いてONH、黄斑、又は脈絡膜の血管等の眼底構造物を重畳してもよい。さらには、アイコン状のUWF-SLO画像600のシルエット画像310に代えて、実際のUWF-SLO画像600を縮小して表示してもよい。
 また、当該OCT画像とは異なる撮影位置で他のOCT画像を撮影した場合は、ディスプレイに表示されている当該OCT画像700の撮影位置を示す位置情報302は赤等の目立つ色で表示する。一方、その他のOCT画像(ディスプレイに表示されていないが、撮影済みのOCT画像)の撮影位置を示す位置情報を青等の比較的落ち着いた色でシルエット画像中に重畳表示してもよい。色ではなく実線と点線などのように撮影位置の表示形態を変えるようにしてもよい。
 図8は、同じディスプレイ156等の画面に、OCT画像700Cと、シルエット画像310とを、双方が重ならないように表示した場合の概略図である。本実施形態において、詳細に観察すべき対象はOCT画像700Cなので、OCT画像700Cはできるだけ大きく表示し、撮影位置のマークである位置情報302が合成されたシルエット画像310は小さく、例えば、いわゆるサムネイル程度の大きさで表示してもよい。
 図9A、図9B及び図9Cは、UWF-SLO画像650上で撮影位置302を指定してOCT画像700を取得した際のディスプレイ156等の画面の時系列での変化の一態様を示した説明図である。OCT画像の撮影位置をUWF-SLO画像650上で指定する。図9Aでは、UWF-SLO画像650上に撮影位置を示すマークである位置情報302が重畳表示されている。そして、眼科装置110は指定した撮影位置に対してOCTユニット20と撮影光学系19を制御してOCT画像700を取得する。
 図9Bは、指定した撮影位置302で取得したOCT画像700が、撮影位置302が重畳表示されたUWF-SLO画像650に代わって表示されるプロセスを示している。図9Bでは、OCT画像の取得直後から数秒ほどの時間をかけて、UWF-SLO画像650が徐々にフェードアウトすると共に、OCT画像700が徐々にフェードインしてくる。
 つまり、撮影位置302が重畳表示されたUWF-SLO画像650の透過率を100%から0%に変化させ、同時に、OCT画像700の透過率を0%から100%へ変化させる。図9Bは、その過程の1例を示した図であり、透過率50%のUWF-SLO画像6550と透過率50%のOCT画像700が重畳された表示画面を示している。
 図9Cは、撮影位置302が重畳表示されたUWF-SLO画像650に代わって表示されたOCT画像700である。図9A、図9B及び図9Cに示したように、撮影位置302を指定してOCT画像700を取得した際に、ディスプレイ156等の画面が、撮影位置302を表示したUWF-SLO画像650からOCT画像に徐々に切り替わることにより、ユーザに撮影位置302を印象付けた後にOCT画像700を確認させることができる。
 また、これとは逆に、撮影位置302が重畳表示されたUWF-SLO画像650がOCT画像700に代わって表示されるようにしてもよい。
 図10は、本実施形態における画像処理のフローチャートである。管理サーバ140のCPU262がこの画像処理プログラムを実行することで、図4に示した各機能が実現される。
 ステップ100では、処理部208は、ビューワ150でユーザが入力した被検者IDを取得する。
 ステップ102では、眼底画像処理部2060は、記憶装置254に記憶されている被検者IDの被検者情報(氏名や年齢など)、眼底画像データセットである、UWF-SLO画像、OCT画像、および、当該OCT画像が取得された位置に関する情報を取得する。画像データセットが複数存在する場合は、すべての画像データセットを取得してもよいし、ビューワ150に選択を促す画面を表示させ、特定の画像データセットを取得するようにしてもよいし、最新日時の画像データセットを取得するようにしてもよい。また、画像データセットには、UWF-SLO画像、OCT画像、および、当該OCT画像が取得された位置に関する情報だけでなく、病名、診断経歴、視野検査など検査データなどを含んでいてもよい。
 ステップ104では、眼底画像処理部2060は、OCT画像が取得された位置に関する情報にもとづいて、位置情報300、302、310を生成する。
 位置情報300は、図7Aで説明したUWF-SLO画像上のエリアを示す文字情報である。OCT画像が取得された位置に関する情報から、眼底画像処理部2060はOCT画像が取得されたエリアを特定し、撮影位置に対応する文字列からなる文字情報を特定する。
 位置情報302はOCTの撮影位置に基づいて得られる撮影位置情報であり、位置情報310は前述したシルエット画像である。位置情報302と位置情報310とを重畳表示させるように、図7Bで説明したOCTの撮影位置が重畳されたシルエット画像310や、OCTの位置情報302が重畳されたUWF-SLO画像(図9A、図9B)を生成する。
 ステップ106では、眼底画像処理部2060は、OCT画像700上に位置情報300、302あるいは310を重畳する位置を決定する。具体的には、眼底画像処理部2060は、OCT画像700において、眼底構造物が無く、かつ、位置情報300、302あるいは310を表示可能な面積を有する領域を特定する。つまり、図6Bに示した領域740あるいは領域760を探索(抽出)する。条件を満たす複数の領域が見つかった場合は、一番広い領域に決定するようにしてもよい。
 具体的には、ユーザによるOCT画像700における観察対象領域(図6Bの720などの網膜や脈絡膜、あるいは、膜などが浮遊している硝子体領域など)に、位置情報300、302あるいは310が重ならないような表示位置を決定する。例えば、OCT画像700が、被検眼の後眼部を撮像して得られたOCT画像である場合は、位置情報は網膜に重ならないように表示されなければならない。
 位置情報300、302あるいは310を、眼底構造物が撮像されていない硝子体側に置くか、脈絡膜側に置くか、は医師の関心領域に依存する。硝子体牽引など、硝子体側の暗部の細かい構造を見たい場合は位置情報300、302あるいは310を網膜の下層である脈絡膜側に重畳してもよい。また、脈絡膜に特徴のあるパキコロイド疾患(CSCやPCVなど)、加齢黄斑変性などでは、眼底の構造物を示す領域と重ならないように硝子体側に位置情報300、302あるいは310を位置させる。
 位置情報300、302あるいは310の表示位置はユーザの入力によってもよい。また、位置情報300、302あるいは310を眼底の構造物を示す領域と重ならないように表示しておき、ユーザによる操作に応じて、位置情報300、302あるいは310の表示位置を移動させるようにしてもよい。
 以下、図11Aから図13Bを用いて、OCT画像において、眼底の構造物が表示されていない領域を画像処理で探索(抽出)する方法について説明する。眼底の構造物が表示されていない領域は、一般に輝度値が低い画素が集まっている。そこで眼底画像処理部2060は、眼底構造物が撮像されるか否かを、輝度値が低い画素が集まっているか否かにより判定する。
 具体的には、眼底画像処理部2060は、輝度値毎に画素数をカウントしたヒストグラムを生成する。そして、眼底画像処理部2060は、ある一定の輝度値以上の画素数比率、あるいは、ある一定の輝度値以下の画素数比率をヒストグラムから算出する。そして、算出された画素数比率から、眼底画像処理部2060は、眼底の構造物が表示されていない領域を決定してもよい。例えば、一定の輝度値以下の画素数比率が、所定%以上である場合には、その領域が対象物を含まない領域であると判定することが可能である。また一定の輝度値以上の画素数比率が、所定%以下である場合には、その領域が対象物を含まない領域であると判定することが可能である。
 この場合、輝度値の閾値は、任意に設定され、ユーザが設定してもよい。例えば、Bスキャンにより断層画像であるOCT画像における輝度値の最大値の10%、5%、3%、1%というようにユーザが閾値を設定できる。あるいは例えば当該OCT画像における輝度値の中央値の20%、15%、10%、5%などというようにユーザが設定してもよい。
 図11Aは、位置情報300、302あるいは310を重畳表示する領域320が、OCT画像700の中の眼底構造物の領域と重ならない位置にある場合の概略図であり、図11Bは、当該領域320の画素の輝度値を示したヒストグラムである。
 図11Bでは、輝度値50以下の画素の比率は1、輝度値100以下の画素の比率は1、輝度値150以上の画素の比率は0であり、領域320が眼底構造物を含まない暗い領域であることを示している。すなわち、ヒストグラムが図11Bのような形状を示す場合は、領域320は位置情報300、302あるいは310を重畳表示するために適切な領域であるといえる。
 図12Aは、位置情報300、302あるいは310を重畳表示する領域320が、OCT画像700の中の眼底構造物の領域の一部と重なる位置にある場合の概略図であり、図12Bは、当該領域320の画素の輝度値を示したヒストグラムである。
 図12Bでは、輝度値50以下の画素の比率は約1、輝度値100以下の画素の比率は約1、輝度値150以上の画素の比率は0に近い値であり、領域320が眼底構造物を多くは含まない領域であることを示している。すなわち、ヒストグラムが図12Bのような形状を示す場合は、領域320は位置情報300、302あるいは310を重畳表示するために適切ではないが、ユーザがOCT画像を観察するときに影響がない重畳表示であることが推測される。
 図13Aは、位置情報300、302あるいは310を重畳表示する領域320が、OCT画像700の中の眼底構造物の領域と重なる位置にある場合の概略図であり、図13Bは、領域320の画素の輝度値を示したヒストグラムである。
 図13Bでは、輝度値50以下の画素の比率を約0.5、輝度値100以下の画素の比率は約0.7、輝度値150以上の画素の比率は約0.13であり、領域320が眼底構造物を含む領域であることを示している。すなわち、ヒストグラムが図13Bのような形状を示す場合は、領域320は位置情報300、302あるいは310を重畳表示するために不適切な領域であるといえる。
 なお、位置情報300、302あるいは310が表示される領域のサイズは、撮像部位や撮影倍率などに応じて任意に設定され、ユーザが設定してもよい。領域のサイズは例えば、OCT画像の5%、10%、15%、20%、25%のいずれかに設定することができる。
 OCT画像中において眼底構造物を含まない所定サイズの領域が特定できない場合には、領域のサイズをさらに小さくして設定し、眼底構造物が当該領域に含まれるか否かを判定してもよい。
 次に、ステップ108では、画像合成部2062は、位置情報300、302あるいは310をOCT画像700上に重畳したOCT画像を表示画面(700A、700B)として生成する。
 ステップ110では、処理部208は、生成した表示画面(700A、700B)を記憶装置254に出力して記憶する処理を行うとともに、表示画面の画像データをビューワ150へ出力し、プログラムを終了する。
 表示画面の画像データを受信したビューワ150は、ディスプレイ156に表示画面(700A、700B)を表示する。
 また、OCT画像中において眼底構造物を含まない所定サイズの領域が特定できない場合には、表示制御部204が、図7Aや図7BのようなOCT画像の中に位置情報300、302あるいは310を重畳表示された第1表示画面(700A、700B)を表示する第1表示モードではなく、図8に示すようなOCT画像と位置情報300、302あるいは310が重ならいような第2表示画面(700C)を表示する第2表示モードに切り替えるようにしてもよい。
 当該第2表示画面には、図17に示す表示画面700Dように、OCT画像の一部と位置情報300、302あるいは310と重なる(つまり、位置情報300、302あるいは310がOCT画像の中に納まるのではなく、位置情報300、302あるいは310が当該OCT画像からはみ出る表示画面)も含まれる。
 上述の実施形態では、眼科装置110がSLOユニット18とOCTユニット20の双方を有するハイブリットモデルの場合の、画像処理について説明した。本開示の技術は、当該ハイブリットモデルだけではなく、図示せぬ、OCT専用モデルでも適用可能である。
 OCT専用機ではSLOユニットが無いため、UWF-SLO画像に代えて、高画角の範囲をスキャンして得らえたOCTボリュームデータから生成されたenface OCT画像を用いることができる。enface OCT画像とは、OCTボリュームデータから平面を切り出した画像である。
 具体的には、OCT専用機では、enface OCT画像を取得するラフスキャンを行い、enface OCT画像上で指定した撮影位置で、より解像度の高いOCT画像(単位面積当たりのAスキャンの数が多い、高密度スキャンOCT画像)を取得する。OCTの原理上、単位時間当たりのAスキャンの回数には制限があり、スキャンする範囲とスキャンする密度はトレードオフの関係にある。ラフスキャンは広範囲を低密度のスキャンを実行すること意味し、高密度スキャンは狭い範囲を高密度のスキャンで実行することを意味する。ラフスキャンで得られたOCT画像は解像度が低く、高密度スキャンで得られたOCT画像は解像度が高い。
 図14を用いて、enface OCT画像と高密度スキャンOCT画像との位置関係を示す表示画面を生成するためのフローチャートについて説明する。管理サーバ140のCPU262がこの画像処理プログラムを実行することで、図4に示した各機能が実現される。
 ステップ120では、処理部208は、ビューワ150でユーザが入力した被検者IDを取得する。
 ステップ122では、眼底画像処理部2060は、記憶装置254に記憶されている被検者IDの被検者情報(氏名や年齢など)、眼底画像データセットである、enfaceOCT画像(本実施例では眼底の正面画像であり、先の実施例のUWF-SLO画像に相当する画像である)、高密度スキャンOCT画像(本実施例ではBスキャンによる断層画像)、および、当該高密度スキャンOCT画像が取得された位置に関する情報を取得する。
 ステップ124では、眼底画像処理部2060は、高密度スキャンOCT画像が取得された位置に関する情報に基づいて、位置情報を生成する。
 ステップ126では、眼底画像処理部2060は、高密度スキャンOCT画像の取得位置を付与した縮小版のenface OCT画像を生成する。縮小版のenface OCT画像は、enface OCT画像をそのまま縮小した画像でもよいし、enface OCT画像の概略のみをアイコン上に示したシルエット画像でもよい。シルエット画像上には、CG等の手法を用いてONH、黄斑、又は脈絡膜の血管等の眼底の構造物を重畳してもよい。または、enface画像を眼球の形状に合わせて変形させる画像処理を行い、図15に示したような三次元球面状の立体的に描写されたアイコンでもよい。
 ステップ128では、眼底画像処理部2060は、高密度スキャンOCT画像上に取得位置の情報を重畳する位置を決定する(例えば、眼底の構造物が表示されていない領域を抽出する)。本実施形態では、取得位置の情報は、眼底の構造物を示す領域と重ならないように表示される。高密度スキャンOCT画像において、眼底の構造物が表示されていない領域は、一般に輝度値が低い画素が集まっている。本実施形態では、最も輝度値が低い画素が集まっている領域に取得位置の情報を表示する。
 ステップ130では、眼底画像処理部2060は、縮小版のenface OCT画像を高密度スキャンOCT画像上に重畳した表示画面を画像合成部2062において生成する。
 ステップ132では、処理部208は、生成した表示画面を記憶装置254に出力して記憶する処理を行うとともに、表示画面の画像データをビューワ150へ出力し、プログラムを終了する。
 表示画面の画像データを受信したビューワ150は、ディスプレイ156に表示画面を表示する。
 図15は、高密度スキャンOCT画像800上に、enface OCT画像から生成された三次元球面状の立体的に描写されたアイコン410が重畳して表示された表示画面800Aを示している。アイコン410には高密度スキャンが実行された撮影位置402が重畳表示されている。図15では、図7Aなどと同様に、視認性を考慮して輝度値が低い画素で構成された領域も白く表示しているが、当該領域は実際の画像では暗く表示される。撮影位置402が重畳されたアイコン410は、高密度スキャンOCT画像800における眼底構造物と重ならない位置に表示されている。
 また、図16は、高密度スキャンとして、ボリュームスキャンを行った場合の高密度スキャンOCT画像810上に、enface OCT画像から生成された三次元球面状の立体的に描写されたアイコン410が重畳して表示された表示画面800Bを示している。図15の高密度スキャンOCT画像はBスキャンによって得られた断層画像であるが、図16ではボリュームスキャンにより得られた立体OCT画像(3次元OCT画像)である点が図15とは異なる。
 以上説明したように、本実施形態では、OCT画像の取得位置を、眼底の広域を示す画像、例えばUWF-SLO画像を画像処理により加工した画像を、当該OCT画像に重畳して表示する。
 このことにより、ユーザはOCT画像の取得位置を認識しながら、被検眼の眼底部の断層画像を観察することが可能となる。
 このことにより、特に、ONH又は黄斑等の特徴的な構造が存在しない眼底周辺部の断層画像の観察において、ユーザの断層画像の取得位置の判断が容易となる。眼底周辺部のOCT画像には網膜又は脈絡膜の外形等の情報のみが存在するため、OCT画像の取得位置を判断することが困難であるためである。
 また、フルレンジOCTでは網膜の深さ方向において画像化できる範囲が大きくなるため、OCT画像の中に占める網膜などの眼底構造物の占める割合が小さくなる。逆に、定光が反射されない、あるいは、測定光が吸収されて反射光が戻ってこないなどの要因で、OCT画像の中に占める低輝度領域(黒く撮影される領域)が大きくなる。そのため、フルレンジOCTにより得られたOCT画像を表示画面であるディスプレイの全面に拡大表示すると、眼底のどの部位のOCT画像かをユーザは簡単に判断できない。本開示の技術により、眼底構造物が存在しない(黒く撮影されている所定の大きさの領域)に、OCT撮影の位置情報を表示することができる。よって、ユーザは、フルレンジOCTにより得られたOCT画像を拡大表示したときでも、眼底のどの部位のOCT画像かをユーザが認識できるという効果を奏する。
 以上説明した各実施形態における画像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
 以上説明した各実施形態では、コンピュータを利用したソフトウェア構成による画像処理を想定しているが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、FPGA(Field-Programmable Gate Array)又はASIC(Application Specific Integrated Circuit)等のハードウェア構成のみによって、画像処理が実行されるようにしてもよい。画像処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。
 このように本開示の技術は、コンピュータを利用したソフトウェア構成により画像処理が実現される場合とされない場合とを含むので、以下の技術を含む。
(第1の技術)
 プロセッサが行う画像処理であって、
 被検眼のOCT画像を取得するステップと、
 前記OCT画像において、被検眼の構造物以外の領域を抽出するステップと、
 前記領域に、前記OCT画像を取得するためのスキャン位置に関する位置情報を重畳した第1表示画面を生成するステップと、
 を含む画像処理方法。
(第2の技術)
 メモリと、前記メモリに接続するプロセッサとを備え、
 前記プロセッサは、
 被検眼のOCT画像を取得するステップと、
 前記OCT画像において、被検眼の構造物以外の領域を抽出するステップと、
 前記領域に、前記OCT画像を取得するためのスキャン位置に関する位置情報を重畳した第1表示画面を生成するステップと、
 を実行する画像処理装置。
(第3の技術)
 画像処理するためのコンピュータプログラム製品であって、
 前記コンピュータプログラム製品は、それ自体が一時的な信号ではないコンピュータ可読記憶媒体を備え、
 前記コンピュータ可読記憶媒体には、プログラムが格納されており、
 前記プログラムは、コンピュータに、
 被検眼のOCT画像を取得するステップと、
 前記OCT画像において、被検眼の構造物以外の領域を抽出するステップと、
 前記領域に、前記OCT画像を取得するためのスキャン位置に関する位置情報を重畳した第1表示画面を生成するステップと、
 を実行させるコンピュータプログラム製品。
 本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的にかつ個々に記載された場合と同様に、本明細書中に参照により取り込まれる。
 また、2021年2月25日に出願された日本国特許出願2021-029129号の開示は、その全体が参照により本明細書に取り込まれる。

Claims (7)

  1.  被検眼のOCT画像を取得するステップと、
     前記OCT画像において、被検眼の構造物以外の領域を抽出するステップと、
     前記領域に、前記OCT画像を取得するためのスキャン位置に関する位置情報を重畳した第1表示画面を生成するステップと、
     からなる画像処理方法。
  2.  前記位置情報は、前記スキャン位置に対応した文字情報であることを特徴とする請求項1に記載の画像処理方法。
  3.  前記位置情報は、
     前記スキャン位置を示すマークを、眼底画像の形状を模したシルエット画像に重畳した画像であることを特徴とする請求項1に記載の画像処理方法。
  4.  前記被検眼のSLO画像を取得するステップと、
     前記位置情報は、前記SLO画像に前記スキャン位置を示したガイド画像を、前記領域に適したサイズに調整した画像であることを特徴とした請求項1に記載の画像処理方法。
  5.  前記位置情報と前記OCT画像が重ならないようにレイアウトした第2表示画面を生成するステップと、
     前記第1表示画面及び前記第2表示画面のいずれかを出力するかを切り替えるステップと、
     を備えた請求項1に記載の画像処理方法。
  6.  被検眼のOCT画像を取得する画像取得部と、
     前記OCT画像において、被検眼の構造物以外の領域を抽出する眼底画像処理部と、
     前記領域に、前記OCT画像を取得するためのスキャン位置に関する位置情報を重畳した第1表示画面を生成する画像合成部と、
     を備えた画像処理装置。
  7.  コンピュータを、
     画像取得部が取得した被検眼のOCT画像において、被検眼の構造物以外の領域を抽出する眼底画像処理部、及び前記領域に、前記OCT画像を取得するためのスキャン位置に関する位置情報を重畳した第1表示画面を生成する画像合成部、として機能させる画像処理プログラム。
PCT/JP2022/007753 2021-02-25 2022-02-24 画像処理方法、画像処理装置、及び画像処理プログラム WO2022181729A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023502509A JPWO2022181729A1 (ja) 2021-02-25 2022-02-24

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021029129 2021-02-25
JP2021-029129 2021-02-25

Publications (1)

Publication Number Publication Date
WO2022181729A1 true WO2022181729A1 (ja) 2022-09-01

Family

ID=83049114

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/007753 WO2022181729A1 (ja) 2021-02-25 2022-02-24 画像処理方法、画像処理装置、及び画像処理プログラム

Country Status (2)

Country Link
JP (1) JPWO2022181729A1 (ja)
WO (1) WO2022181729A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014083263A (ja) * 2012-10-24 2014-05-12 Nidek Co Ltd 眼科撮影装置及び眼科撮影プログラム
JP2016214312A (ja) * 2015-05-14 2016-12-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2019502434A (ja) * 2015-12-02 2019-01-31 ノバルティス アーゲー 眼の可視化における光干渉断層計の位置インジケータ
JP2020036741A (ja) * 2018-09-04 2020-03-12 株式会社トプコン 眼科装置及びその作動方法
JP2020103579A (ja) * 2018-12-27 2020-07-09 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2021083919A (ja) * 2019-11-29 2021-06-03 キヤノン株式会社 医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014083263A (ja) * 2012-10-24 2014-05-12 Nidek Co Ltd 眼科撮影装置及び眼科撮影プログラム
JP2016214312A (ja) * 2015-05-14 2016-12-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2019502434A (ja) * 2015-12-02 2019-01-31 ノバルティス アーゲー 眼の可視化における光干渉断層計の位置インジケータ
JP2020036741A (ja) * 2018-09-04 2020-03-12 株式会社トプコン 眼科装置及びその作動方法
JP2020103579A (ja) * 2018-12-27 2020-07-09 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2021083919A (ja) * 2019-11-29 2021-06-03 キヤノン株式会社 医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TOYAMA TAKU, HASHIMOTO YOHEI, KAWAI HISASHI, AZUMA KUNIHIRO, SHIRAYA TOMOYASU, ARAKI FUMIYUKI, SUGIMOTO KOICHIRO, WATANABE YUTAKA,: "Continued smoking and posterior vitreous adhesion in the elderly evaluated on swept-source optical coherence tomography", SCIENTIFIC REPORTS, vol. 10, no. 1, 1 December 2020 (2020-12-01), XP055961699, DOI: 10.1038/s41598-020-75590-9 *

Also Published As

Publication number Publication date
JPWO2022181729A1 (ja) 2022-09-01

Similar Documents

Publication Publication Date Title
US11284791B2 (en) Image processing method, program, and image processing device
US11941788B2 (en) Image processing method, program, opthalmic device, and choroidal blood vessel image generation method
JP2023009530A (ja) 画像処理方法、画像処理装置、及びプログラム
CN112004457A (zh) 图像处理方法、程序、图像处理装置及眼科系统
JP2023120308A (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP2023060069A (ja) 画像処理方法、画像処理装置、画像処理プログラム、及び血管径算出装置
JP2024041773A (ja) 画像処理装置、眼科装置、画像処理方法、及び画像処理プログラム
WO2021074960A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP2023158161A (ja) 画像処理方法、プログラム、画像処理装置、及び眼科システム
JP7419946B2 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
WO2022181729A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP2022089086A (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
WO2021075026A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
WO2022177028A1 (ja) 画像処理方法、画像処理装置、及びプログラム
JP2017093854A (ja) 眼科撮影装置及び眼科画像表示装置
WO2021210281A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP7306482B2 (ja) 画像処理方法、画像処理装置、及びプログラム
WO2023199847A1 (ja) 画像処理方法、画像処理装置、及びプログラム
JP7272453B2 (ja) 画像処理方法、画像処理装置、およびプログラム
WO2022113409A1 (ja) 画像処理方法、画像処理装置、及びプログラム
WO2021210295A1 (ja) 画像処理方法、画像処理装置、及びプログラム
US20240153203A1 (en) Image processing method, image processing device, and program
WO2023282339A1 (ja) 画像処理方法、画像処理プログラム、画像処理装置及び眼科装置
CN111885954B (zh) 图像处理方法、存储介质及眼科装置
WO2023199848A1 (ja) 画像処理方法、画像処理装置、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22759764

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023502509

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22759764

Country of ref document: EP

Kind code of ref document: A1