WO2024084753A1 - 眼観察装置 - Google Patents

眼観察装置 Download PDF

Info

Publication number
WO2024084753A1
WO2024084753A1 PCT/JP2023/025749 JP2023025749W WO2024084753A1 WO 2024084753 A1 WO2024084753 A1 WO 2024084753A1 JP 2023025749 W JP2023025749 W JP 2023025749W WO 2024084753 A1 WO2024084753 A1 WO 2024084753A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
eye
observation device
fundus
Prior art date
Application number
PCT/JP2023/025749
Other languages
English (en)
French (fr)
Inventor
基史 祖父江
浩和 高田
Original Assignee
株式会社ナノルクス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ナノルクス filed Critical 株式会社ナノルクス
Publication of WO2024084753A1 publication Critical patent/WO2024084753A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography

Definitions

  • the present invention relates to an eye observation device for observing the inside of a subject's eyeball, and more specifically to a device for observing images of the inside of the eye or the fundus using infrared light.
  • the fundus imaging device described in Patent Document 2 irradiates the subject's eye with circularly polarized infrared light, converts the reflected light into linearly polarized light, and images it for each polarization direction, thereby imaging the fundus of the same subject in different polarization states.
  • the eye imaging device described in Patent Document 3 irradiates the subject's eye with near-infrared light containing two or more wavelength components, and simultaneously detects two or more reflected lights derived from the near-infrared light reflected at the fundus of the subject's eye or any position within the eye using an imaging element, thereby generating a color image similar to an image captured with visible light.
  • infrared light observation makes it possible to capture video of the inside of the eye, so one possible method is to extract and store multiple still frames from the captured video, and then process them to generate clear still images.
  • the human eye undergoes minute movements known as "fixational eye movement" even when staring at one point, and the shape of the fundus varies from person to person.
  • fixing eye movement Even when staring at one point, and the shape of the fundus varies from person to person.
  • capturing video of the inside of the eye is prone to image misalignment between successive image frames, and there is also the problem that infrared light is reflected inside the eye, causing the image to become blurred. For this reason, even if still images are generated from video captured using infrared light, it is difficult to obtain clear images of the inside of the eye and the fundus, just as with the flash photography mentioned above.
  • the present invention aims to provide an eye observation device that can obtain clear intraocular or fundus images when observing the inside of the eyeball using infrared light.
  • the eye observation device has an imaging unit that captures a moving image of the inside of a test eye using infrared light, and an image generation unit that generates a still image of the fundus and/or intraocular image from the moving image captured by the imaging unit, and the image generation unit includes an image capture unit that captures an image signal output from the imaging unit and cuts out an observation target area, a marker detection unit that extracts a plurality of still image frames from the moving image from which the observation target area has been cut out by the image capture unit, an exclusion processing unit that judges the still image frames extracted by the marker detection unit and excludes images whose positional deviation amount exceeds a threshold from the accumulation target, and an accumulation unit that accumulates the images judged to be accumulation targets by the exclusion processing unit to generate a fundus image and/or an intraocular image.
  • the marker detection unit may perform position detection using a separability filter.
  • the eye observation device of the present invention may further include a blur processing unit that performs deconvolution processing on the fundus image and/or intraocular image generated by the image generating unit to remove blurring in the image.
  • the image processing device may further include an image correction section that performs correction to emphasize feature points on the image from which blur has been removed in the blur processing section.
  • the integrating section may perform position correction of the images to be integrated by a template matching method.
  • the marker detection section may perform alignment using the optic disc on the retina as a marker.
  • the imaging section may be configured to include a light source that emits both infrared light and visible light, and the infrared light and the visible light may pass through the same optical path and be irradiated onto the subject's eye.
  • the imaging unit may capture a moving image of the inside of the subject's eye using three or more infrared lights having different central wavelengths, and the image generating unit may generate a still color image of the fundus and/or the inside of the eye.
  • the eye observation device of the present invention may have a display unit that displays the fundus image and/or intraocular image generated by the image generation unit.
  • the present invention makes it possible to obtain clear intraocular and fundus images when observing the inside of the eyeball using infrared light.
  • FIG. 1 is a block diagram showing a configuration of an eye observation device according to a first embodiment of the present invention.
  • 2 is a diagram showing an example of the configuration of an imaging unit 1 shown in FIG. 1 ;
  • 2 is a diagram showing another example of the configuration of the imaging unit 1 shown in FIG. 1 .
  • 1A to 1C are diagrams showing three types of semicircular separability filters with different radii.
  • FIG. 13 illustrates how a semicircular separability filter is applied.
  • FIG. 13 is a diagram comparing the detection results of the gradient filter method and the separability filter method when the optic disc is located toward the center of the screen.
  • FIG. 11 is a diagram comparing the detection results of the gradient filter method and the separability filter method when the optic disc is located in the peripheral portion of the screen.
  • FIG. 13 is a drawing-substitute photograph showing the positional deviation (dx, dy) from the first frame calculated using a semicircular separability filter and the detected position of the optic disc center point.
  • FIG. 11 is a block diagram showing the configuration of an eye observation device according to a second embodiment of the present invention.
  • A is an infrared image (photograph substitute for drawing) before blood vessel enhancement processing
  • B is an infrared image (photograph substitute for drawing) in which blood vessels have been enhanced using a morphological filter bank.
  • a to C are fundus images taken by the eye observation device shown in FIG. 9, where A is one frame of a moving image, B is an image after integration processing, and C is an image after deconvolution.
  • 1 is a fundus image (a photograph substituting a drawing) taken in an embodiment of the present invention.
  • Fig. 1 is a block diagram showing the configuration of the eye observation device according to this embodiment.
  • the eye observation device according to this embodiment includes an imaging unit 1 that captures a moving image of the inside of a subject's eye 50 using infrared light, and an image generating unit 2 that generates an image (still image) of an observation target part such as a fundus from an image signal output from the imaging unit 1.
  • the intraocular observation device according to this embodiment may be provided with a display unit 3 that displays the generated fundus image, intraocular image, or both.
  • microsaccades which are short, fast movements
  • drift which is a gradual movement
  • tremors which are fine movements.
  • microsaccades are high-speed movements with relatively large amounts of movement (up to 10 deg/sec), and are the cause of image discontinuity between successive image frames.
  • the fundus is generally said to move at about 100 Hz. Therefore, in the eye observation device of this embodiment, the imaging unit 1 uses an image sensor with an exposure time of 1/100th of a second and a global shutter.
  • the image generation unit 2 has been improved in terms of "improving marker detection ability,” “setting appropriate success/failure criteria,” and “improving accumulation accuracy.”
  • FIGS. 1 and 3 are diagrams showing an example of the configuration of the imaging unit 1.
  • the imaging unit 1 irradiates an eye 50 to be examined with infrared light, and captures a fundus image and an intraocular image by forming an image of the light reflected inside the eye 50.
  • the imaging unit 1 is composed of a light source 11, a light pipe 12, a condenser lens 13, a spectroscopic element 14, an objective lens 15, a focus lens 16, an imaging element 17, and the like.
  • the light source 11 may be any light source that emits one or more types of infrared light, and may be, for example, a light source that can emit near-infrared light in a broad band such as 700 to 1100 nm, or a light source that combines multiple light emitting diodes (LEDs) with different emission wavelengths.
  • a light source that can emit near-infrared light in a broad band such as 700 to 1100 nm
  • a light source that combines multiple light emitting diodes (LEDs) with different emission wavelengths LEDs
  • the light pipe 12 is an optical element that homogenizes the incident light by reflecting it multiple times on the sides of a polygonal prism or pyramid, and is also called a homogenizer. If the light source 11 is configured by combining multiple LEDs with different emission wavelengths, irradiation spots may occur due to the arrangement and characteristics of each LED, misalignment of the light source 11, etc. In such a case, if the light pipe 12 is placed between the light source 11 and the subject's eye 50, homogenized light will be emitted from the light pipe 12, and infrared light containing two or more wavelength components can be uniformly irradiated onto the subject's eye 50.
  • the light pipe 12 may not be provided.
  • Examples of light sources capable of uniform irradiation include a light source in which multiple LEDs with different emission wavelengths are closely arranged and sealed, and the emission positions of two or more infrared lights with different center wavelengths are close to each other, and a light source that uses a short-wavelength LED and a near-infrared phosphor to emit a wide band of near-infrared light from the same position.
  • a diffusion plate and/or an aperture is arranged behind the light pipe 12 (on the emission side), a pseudo point light source can be generated, making it possible to further reduce irradiation spotiness.
  • the spectroscopic element 14 reflects a portion of the infrared light emitted from the light source 11 and emits it toward the test eye 50, while transmitting light reflected from the fundus and/or inside the eye; for example, a beam splitter can be used.
  • a condenser lens 13 that focuses the illumination light (near-infrared light), a polarizing sheet (not shown) for removing the reflected image of the light source, and a mask (not shown) for shaping the illumination shape can also be arranged between the light pipe 12 and the spectroscopic element 14.
  • the objective lens 15 focuses the infrared light, which is the illumination light, onto the subject's eye 50, and may be, for example, a biconvex lens.
  • the objective lens 15 also focuses the reflected light from the subject's eye 50.
  • the focus lens 16 focuses the light that is reflected inside the subject's eye 50 and passes through the objective lens 15 and the spectroscopic element 14.
  • a polarizing sheet (not shown) may be provided between the spectroscopic element 14 and the focus lens 16. This makes it possible to suppress reflections on the lens and the surface of the eyeball, and the glare of reflected light from the subject's eye 50.
  • a wire grid polarizer that is also compatible with near-infrared light can be used as the polarizing sheet.
  • the imaging element 17 captures the fundus image and/or intraocular image formed by the focus lens 16 and outputs an image signal for each wavelength component, and one or more imaging elements are provided in the imaging unit 1.
  • the imaging element 17 may be, for example, a solid-state imaging element capable of simultaneously detecting multiple infrared light beams with different wavelengths, as described in PCT/JP2018/006193, PCT/JP2018/017925, and Japanese Patent No. 6886748.
  • a single imaging element 17 can detect multiple light beams (infrared light beams) reflected by the intraocular space and/or fundus of the subject's eye 50.
  • the first near-infrared pixel detects light in the near-infrared region that is correlated with red light (R)
  • the second near-infrared pixel detects light in the near-infrared region that is correlated with blue light (B)
  • the third near-infrared pixel detects light in the near-infrared region that is correlated with green light (G), thereby enabling the image generating unit 2 described below to generate a color image similar to color photography using visible light.
  • the light in the near-infrared region that is correlated with red light (R) is light of any wavelength in the range of 700 to 830 nm
  • the light in the near-infrared region that is correlated with blue light (B) is light of any wavelength in the range of 830 to 880 nm
  • the light in the near-infrared region that is correlated with green light (G) is light of any wavelength in the range of 880 to 1200 nm, each of which is light of a different wavelength.
  • multiple imaging elements 17 that detect infrared light of a single wavelength may be provided, and a spectroscopic element (prism) may be provided in front of the imaging elements 17 that disperses the reflected light from the subject's eye 50 into specific wavelengths and emits the light toward each imaging element 17.
  • a color image similar to that obtained by color photography using visible light can be generated by, for example, detecting light in the near-infrared region that is correlated with red light (R) using the first imaging element, detecting light in the near-infrared region that is correlated with blue light (B) using the second imaging element, and detecting light in the near-infrared region that is correlated with green light (G) using the third imaging element.
  • the imaging unit 1 in the eye observation device of this embodiment is not limited to the configuration shown in FIG. 2, and can be configured, for example, as shown in FIG. 3, to have a light source that emits both visible light and near-infrared light, and a fixation lamp projection mask, so that the visible light and near-infrared light pass through the same optical path and are irradiated onto the subject's eye 50.
  • the light source 18 emits visible light VIS for the fixation target and near-infrared light NIR for observation.
  • the visible light VIS and near-infrared light NIR emitted from the light source 18 are homogenized by the light pipe 12, then pass through the fixation lamp projection mask 19 and the condenser lens 13, are reflected by the spectroscopic element 14, and are irradiated onto the subject's eye 50 via the objective lens 15.
  • the image sensor 1 By configuring the image sensor 1 as shown in FIG. 3, it is possible to perform continuous photography (video recording) of the fundus and/or the inside of the eye using near-infrared light while the line of sight is fixed using a visible light fixation target.
  • the configuration shown in FIG. 3 shares a common optical path for the visible light VIS for the fixation target and the near-infrared light NIR for observation, so the configuration of the image sensor 1 can be simplified compared to the case where an optical system that irradiates the visible light VIS for the fixation target is provided separately from the near-infrared light NIR for observation.
  • the image generation unit 2 generates a fundus image and/or an intraocular image of the test eye 50 from each image signal output from the imaging unit 1, and is provided with an image capture unit 21, a marker detection unit 22, an exclusion processing unit 23, and an accumulation unit 24.
  • the image capture section 21 captures the image signal output from the imaging section 1 and cuts out the area to be observed.
  • the marker detection unit 22 extracts a plurality of still image frames from the moving image in which the observation target region has been cut out by the image capture unit 21. At this time, as a positioning marker for the reference position for aligning the images, for example, the optic disc on the retina is used, which is relatively easier to distinguish than blood vessels or choroidal patterns in an infrared light image inside the eyeball.
  • the edges around the optic disc were detected by applying a gradient filter after removing noise with a Gaussian filter, but this makes it difficult to detect accurately if the optic disc is located on the periphery of the image.
  • the macula is often photographed in the center of the screen, so the optic disc ends up being located on the periphery of the screen, and a solution to this problem is needed.
  • the eye observation device of this embodiment therefore uses a separability filter for detection in the marker detection unit 22.
  • a separability filter is a method capable of stably and accurately detecting circular or elliptical areas from within an image, such as pupil detection from a facial image.
  • the separability filter used in the eye observation device of this embodiment is not particularly limited, but in order to be able to handle cases where the optic disc is captured on the periphery of the image, it is preferable to use a semicircular separability filter that detects semicircular shapes rather than simple circles.
  • Figs. 4A-C show three types of semicircular separability filters with different radii, and Fig. 5 shows how to apply them. Since the size of the optic disc varies from person to person, ranging from about 1.1 to 1.9 mm in diameter, the eye observation device of this embodiment uses three types of semicircular separability filters with different radii, as shown in Figs. 4A-C, for example. This makes it possible to increase versatility.
  • the position is detected by searching for the position where the separation is maximum, which is calculated based on the luminance values of the pixels outside the semicircle (the hatched part of the semicircle shown in Figure 5) and inside the semicircle (the open part of the semicircle shown in Figure 5), and finding a semicircle that matches the optic disc on a line drawn radially from the center of the image.
  • a semicircular separability filter in the marker detection unit 22 even if only about half of the optic disc is captured, position detection is possible in the semicircular part near the center of the image, making it possible to detect the position of the optic disc over a wide area.
  • the semicircle with angle ⁇ ' divided in 18 directions at 20 degree intervals that is closest to the angle ⁇ of the polar coordinates of pixel P shown in Figure 5 is used to calculate the degree of separation as the ratio of the integrated brightness of the inner and outer regions of the semicircle.
  • a similar calculation is performed for three types of semicircles with different radii, and finally the three types of semicircle separation calculated for the entire area of the screen are compared to search for the area with the maximum degree of separation.
  • Figure 6 compares the detection results of the gradient filter method and the separability filter method when the optic disc is near the center of the screen
  • Figure 7 compares the detection results of the gradient filter method and the separability filter method when the optic disc is on the periphery of the screen.
  • both the gradient filter method and the separability filter method are equally capable of detecting the position of the optic disc nerve.
  • detection is difficult using the gradient filter method, but detection becomes possible by applying the separability filter method.
  • the optic disc is on the periphery of the screen, as shown in Figure 7, it is shown that tracking is performed accurately using the separability filter method.
  • Figure 8 is a photograph in lieu of a drawing showing the amount of positional deviation (dx, dy) from the first frame calculated using a semicircular separability filter and the detected position of the optic disc center point. As shown in Figure 8, the inventors confirmed whether the position detection results using the separability filter were correct by plotting the detected positions of the optic disc in the 100th and 200th frames of the video on an image.
  • a Gaussian filter was applied to the image after sharpening processing in which the optic disc was closer to the center of the screen as shown in Figure 6 to create a reference image that blurred the image, and 256 images were created by artificially shifting the position of the fundus image relative to this image, and random noise was added to each image so that the fundus image and noise did not have the same shift amount.
  • the amount of positional shift calculated using the separation filter in Figures 6 and 7 was used as the shift amount to approximate the actual movement of the fundus.
  • the deviation estimation error absolute value error, number of pixels
  • the semicircular separability filter requires more calculations than the circular separability filter
  • the separability filter method achieved a speed of 8 seconds.
  • This method requires calculating the separability for each of the three types of filters for all pixels (2 million pixels), which results in a huge amount of calculations, but the calculation efficiency can be improved by calculating the horizontal integral image in advance and quickly finding the integrated value for each region from the start and end positions of the horizontal semicircle.
  • the application of high-speed parallel calculation processing using a GPU and the setting of an efficient search range using the search history can shorten the processing time and increase practicality.
  • the exclusion processing unit 23 judges the images processed by the marker detection unit 22 and excludes inappropriate images from the accumulation target. Specifically, when an image is significantly displaced due to fixational eye movement such as microsaccade, the image is excluded from the accumulation target.
  • a moving image of the inside of the subject's eye 50 is taken at 60 fps for about 5 seconds, and about 300 image frames are obtained. Among these, images that have a position change exceeding a threshold value are excluded by the exclusion processing unit 23, thereby narrowing down the images to be accumulated.
  • the threshold value in this case is set to a value that ensures a certain number of images to be accumulated while suppressing image degradation due to image accumulation. Specifically, the threshold value is set based on the observation results of the amount of positional deviation of the optic disc position, and (1) images with a deviation of 60 pixels or less from the first frame, or (2) images with a deviation of 4 pixels or less from the immediately preceding frame are to be accumulated. Then, when images generated by changing the number of accumulated images were compared, it was confirmed that, although a larger number of accumulated images is preferable because it results in clearer images, the desired effect of reducing random noise was achieved by accumulating approximately 100 image frames. Therefore, the exclusion processing unit 23 ensures that at least 100 images are to be accumulated.
  • the integration unit 24 integrates the images determined to be integration targets by the exclusion processing unit 23 to generate a fundus image or an intraocular image. Accurate alignment is necessary to obtain a clear image by image integration. Alignment can be performed without pixel shift only by alignment using a separability filter, but when the optic disc, which is a marker, is unclear, more precise measurement of the amount of positional shift is required.
  • the eye photographing device of this embodiment measures the amount of positional deviation by template matching, while limiting the range of the image surrounding the center position of the optic disc to reduce the computational load. This makes it possible to perform highly accurate position correction without delaying the computation time.
  • the template image for template matching can be an image obtained by cutting out the optic disc area from the frame that is first detected as normal by the separability filter.
  • a method that prioritizes high speed and finds the similarity with the template image using a simple sum of squared pixel value differences can be applied.
  • a method that uses zero-means normalized cross-correlation is more robust to changes in lighting than a method that uses the sum of squared pixel value differences.
  • an algorithm that uses the sum of squared pixel value differences, which can be processed at higher speed is adopted.
  • the display unit 3 displays the fundus image and/or intraocular image generated by the image generating unit 2.
  • the display unit 3 may be provided in the eye observation device, but may also be a display device (monitor) provided separately from the eye observation device, or may be replaced by a display unit of a computer connected to the eye observation device.
  • the image generation unit extracts still images from video captured with infrared light, detects markers, and then the exclusion processing unit determines whether or not there is image misalignment and the degree of image misalignment.
  • the images that are the subject of integration as a result have their positional misalignment measured by template matching, and are integrated while correcting their positions. This makes it possible to reduce noise caused by fixational eye movement and individual differences in fundus shape, so that clear intraocular images and/or fundus images can be obtained when observing the inside of the eyeball with infrared light.
  • the eye observation device of this embodiment may be operated by a doctor at a medical institution to capture fundus or intraocular images, but by playing audio guidance such as "Please place your face on the chin rest,” “Please look at the internal fixation light,” and “Recording will begin. Please remain still and do not blink for 5 seconds," the subject can also operate the device themselves to capture fundus and/or intraocular images.
  • FIG. 9 is a block diagram showing the configuration of the eye observation device according to this embodiment.
  • the same components as those in the eye observation device shown in Fig. 1 are given the same reference numerals, and detailed descriptions thereof will be omitted.
  • the eye observation device according to this embodiment is provided with a sharpening processing unit 4 in addition to the above-mentioned imaging unit 1 and image generating unit 2.
  • the sharpening processing unit 4 sharpens the image generated by the image generating unit 2, and includes a blur processing unit 41 and an image correcting unit 42. Since biological tissue exhibits strong scattering properties for light in the infrared region, infrared light irradiated from a light source repeats multiple scattering inside the eyeball and diffuses in the space inside the living body. For this reason, images of the inside of the eyeball captured with infrared light are prone to blurring, and in order to obtain clear fundus images or intraocular images, a process is required to remove the blurring caused by scattering, assuming the effect of the spatial spread of near-infrared light based on the characteristics of light propagation in biological tissue.
  • the sharpening processing unit 4 performs deconvolution processing to remove blur, and then performs image correction such as emphasizing specific areas to make the image more suitable for examination.
  • the blurring processing unit 41 performs deconvolution processing on the images (fundus image and intraocular image) generated by the image generating unit 2.
  • the Richardson-Lucy deconvolution method (hereinafter referred to as the RL method), which is known as an algorithm capable of quickly removing blur from an image by iteration, can be applied to the image deconvolution processing.
  • the RL method has the restriction that the point spread function (PSF) of the image must be known, but the eye observation device of this embodiment assumes a Gaussian function and gives the number of iterations and the size of the kernel image as parameters.
  • the RL method can process quickly and is resistant to noise, but it has the disadvantage of being prone to generating ringing noise.
  • the eye observation device of this embodiment allows the user to set parameters via the GUI during execution, making it possible to achieve sharpening with reduced noise.
  • the deconvolution process can be performed using a blind deconvolution method that automatically estimates the PSF and parameters, but this method has the disadvantage that it takes a very long time for calculation processing.
  • this method when taking fundus or intraocular images, it is important to be able to check the results as quickly as possible, so if the response time when checking the image immediately after taking the image is important, the blind deconvolution method is not suitable.
  • the image correction unit 42 performs correction to emphasize characteristic points on the image processed by the blur processing unit 41.
  • the image correction unit 42 performs color adjustment and/or contrast adjustment on the images (fundus image and intraocular image) after deconvolution processing.
  • the image correction unit 42 may also perform filter processing for blood vessel extraction as post-processing.
  • a blood vessel extraction algorithm using, for example, a Gabor filter or a morphology filter bank can be applied as a method for extracting blood vessel features.
  • Figure 10A is an infrared image (fundus image) before blood vessel enhancement processing
  • Figure 10B is an infrared image (fundus image) in which blood vessels have been enhanced using a morphology filter bank. As shown in Figures 10A and 10B, the blood vessels included in the fundus image are enhanced by processing in the image correction unit 42, making diagnosis easier.
  • the sharpening processing unit performs "application of deconvolution” and “feature point emphasis processing”, which removes blurring caused by infrared light photography and allows for the acquisition of clear images suitable for image diagnosis.
  • the eye observation device of this embodiment utilizes color night vision technology using infrared multispectrum, and performs image processing using a tracking method that responds to irregular fixation eye movements and deconvolution that eliminates blurring within the body, making it possible to obtain clear, color fundus images using only non-dazzling infrared light.
  • Figures 11A to 11C are fundus images captured by the eye observation device of this embodiment, with Figure 11A being one frame of a video, Figure 11B being the image after accumulation processing, and Figure 11C being the image after deconvolution.
  • the frame (still image) extracted from the video shown in Figure 11A has a lot of noise and blur overall, but as shown in Figure 11B, the noise can be reduced by performing accumulation processing. Furthermore, by performing deconvolution processing, it becomes possible to clearly confirm details such as defects, as shown in Figure 11C.
  • the eye observation device of this embodiment can be practically used in medical settings, and the captured images are useful for detecting eye diseases and lifestyle-related diseases. Note that the configuration and effects of this embodiment other than those described above are the same as those of the first embodiment described above.
  • the eye observation device shown in Figure 9 was used to observe and photograph the inside of both eyes of 21 subjects (10 men and 11 women). Under the doctor's instructions, the subjects placed their faces on a chin rest and held them still. The doctor adjusted the camera position, then guided the subject's line of sight with a guide light and operated the operation screen of a personal computer to capture images of the fundus. The shooting time was 5 seconds, and the captured video was immediately transferred to the computer and saved, and additional computer operations were used to display and save the fundus image (still image) after image storage and sharpening on the monitor.
  • Figure 12 shows a fundus image taken in this embodiment.
  • the image taken using the eye observation device of the present invention clearly captures the shape of blood vessels, and it was possible to confirm hypertensive changes and arteriosclerotic changes, which are signs of hypertension and arteriosclerosis, as well as retinal hemorrhage, which is a sign of diabetic retinopathy.
  • Imaging unit 2. Image generation unit, 3. Display unit, 4. Sharpening processing unit, 11, 18. Light source, 12. Light pipe, 13. Condenser lens, 14. Spectroscopic element, 15. Objective lens, 16. Focus lens, 17. Imaging element, 19. Fixation lamp projection mask, 21. Image capture unit, 22. Marker detection unit, 23. Exclusion processing unit, 24. Integration unit, 41. Blur processing unit, 42. Image correction unit, 50. Subject's eye, 51. Intraocular image/fundus image

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

赤外光による眼球内部の観察において、鮮明な眼内像又は眼底像が得られる眼観察装置を提供する。　被検眼５０の内部を観察する眼観察装置に、赤外光により被検眼の内部を動画撮影する撮像部１と、撮像部１で撮影された動画から眼底又は眼内の静止画を生成する画像生成部２を設け、画像生成部２では、画像取込部２１において撮像部１から出力された画像信号を取り込んで観察対象領域を切り出し、マーカー検出部２２において画像取込部２１で観察対象領域を切り出した動画から複数枚の静止画像フレームを抽出し、除外処理部２３において抽出された静止画像フレームを判定して位置ずれ量が閾値を超える画像を積算対象から除外し、積算部２４において積算対象と判定された画像を積算して眼底像又は眼内像を生成する。

Description

眼観察装置
　本発明は、被検者の眼球内部を観察する眼観察装置に関し、より詳しくは赤外光により眼内又は眼底を画像観察する装置に関する。
　一般に、眼底検査をする際は、被検眼に可視光を照射し、眼底からの反射光を検出して画像化しているが、可視光照射による撮影は、眩しく、被検者に負担をかけるため、近年、赤外光を用いて眼底を撮影する方法が検討されている（例えば、特許文献１～３参照。）。特許文献１に記載の赤外光眼底撮影方法では、被検眼に６８０～７８０ｎｍの波長の赤外光を照射し、撮像素子によりその反射光を受光することで網膜上から網膜下の血管を選択的に撮影している。
　また、特許文献２に記載の眼底撮影装置では、被検眼に円偏光の赤外光を照射し、その反射光を直線偏光に変換して偏光方向毎に撮影することで、同一被検者の眼底を異なる偏光状態で撮影している。一方、特許文献３に記載の眼撮影装置では、２以上の波長成分を含む近赤外光を被検眼に照射し、撮像素子によって被検眼の眼底又は眼内の任意の位置で反射した近赤外光に由来する２以上の反射光を同時に検出することで、可視光により撮影した画像と同様のカラー画像を生成している。
特開２００８－１１０２０２号公報 特開２０１２－３４７２４号公報 特許第６８８６７４８号
　しかしながら、赤外光を用いた従来の眼観察装置には、以下に示す問題がある。可視光による通常の眼底撮影と同様に赤外光で静止画フラッシュ撮影を行う場合、安全性の観点から光量を極力少なくすることが望ましいが、光量の小ささを補うためにカメラのゲインを上げると画像にノイズがのりやすく、また、カメラの露光時間を長くすると眼球運動による画像のボケが大きくなる。このため、赤外光によるフラッシュ撮影では、鮮明な眼内像や眼底像を得ることが難しい。
　一方、赤外光による観察では眼球内部の動画撮影が可能となるため、撮影した動画から静止画フレームを複数枚抽出して蓄積し、それらを画像処理することによって鮮明な静止画を生成する方法も考えられる。ただし、人の眼は一点を見つめた状態でも「固視微動」と呼ばれる微小な動きがあり、また、眼底の形状にも個人差があるため、眼球内部の動画撮影には、連続する画像フレーム間で画像の位置ずれが発生しやすく、また、眼球内で赤外光が反射して画像がぼけるという問題がある。このため、赤外光を用いて撮影した動画から静止画を生成しても、前述したフラッシュ撮影と同様に、眼内及び眼底の鮮明な画像を得ることは難しい。
　そこで、本発明は、赤外光による眼球内部の観察において、鮮明な眼内像又は眼底像が得られる眼観察装置を提供することを目的とする。
　本発明に係る眼観察装置は、赤外光により被検眼の内部を動画撮影する撮像部と、前記撮像部で撮影された動画から眼底及び／又は眼内の静止画を生成する画像生成部とを有し、前記画像生成部は、前記撮像部から出力された画像信号を取り込み、観察対象領域を切り出す画像取込部と、前記画像取込部で観察対象領域を切り出した動画から複数枚の静止画像フレームを抽出するマーカー検出部と、前記マーカー検出部で抽出された静止画像フレームを判定し、位置ずれ量が閾値を超える画像を積算対象から除外する除外処理部と、前記除外処理部で積算対象と判定された画像を積算して、眼底像及び／又は眼内像を生成する積算部とを備える。
　前記マーカー検出部では、分離度フィルタを用いた位置検出を行ってもよい。
　本発明の眼観察装置は、更に、前記画像生成部において生成した眼底像及び／又は眼内像に対してデコンボリューション処理を行い、画像内のボケを除去するボケ処理部を有していてもよい。
　その場合、前記ボケ処理部においてボケが除去された画像に対して特徴点を強調する補正を行う画像補正部を更に有することもできる。
　前記積算部では、テンプレートマッチング法により積算する画像の位置補正を行ってもよい。
　前記マーカー検出部では、網膜上の視神経乳頭をマーカーとして位置合わせを行ってもよい。
　前記撮像部は、赤外光と可視光の両方を出射する光源を備え、前記赤外光と前記可視光とが同一光路を通過して前記被検眼に照射される構成とすることもできる。
　記撮像部は中心波長が異なる３以上の赤外光により被検眼内部を動画撮影し、前記画像生成部は眼底及び／又は眼内のカラーの静止画を生成してもよい。
　本発明の眼観察装置は、前記画像生成部で生成した眼底像及び／又は眼内像を表示する表示部を有していてもよい。
　本発明によれば、赤外光による眼球内部の観察において、鮮明な眼内像や眼底像が得られる。
本発明の第１の実施形態の眼観察装置の構成を示すブロック図である。 図１に示す撮像部１の構成例を示す図である。 図１に示す撮像部１の他の構成例を示す図である。 Ａ～Ｃは半径の異なる３種の半円形分離度フィルタを示す図である。 半円形分離度フィルタの適用方法を示す図である。 視神経乳頭が画面中央寄りにある場合における勾配フィルタ方式と分離度フィルタ方式の検出結果の比較した図である。 視神経乳頭が画面周辺部にある場合における勾配フィルタ方式と分離度フィルタ方式の検出結果の比較した図である。 半円形分離度フィルタで計算された１フレーム目からの位置ずれ量（ｄｘ，ｄｙ）と視神経乳頭中心点の検出位置を示す図面代用写真である。 本発明の第２の実施形態の眼観察装置の構成を示すブロック図である。 Ａは血管強調処理前の赤外光画像（図面代用写真）であり、Ｂはモルフォロジーフィルタバンクにより血管を強調した赤外光画像（図面代用写真）である。 Ａ～Ｃは図９に示す眼観察装置で撮影した眼底像であり、Ａは動画の１フレーム、Ｂは積算処理後の画像、Ｃはデコンボリューション後の画像である。 本発明の実施例で撮影した眼底像（図面代用写真）である。
　以下、本発明を実施するための形態について、添付の図面を参照して、詳細に説明する。なお、本発明は、以下に説明する実施形態に限定されるものではない。
（第１の実施形態）
　先ず、本発明の第１の実施形態に係る眼観察装置について説明する。図１は本実施形態の眼観察装置の構成を示すブロック図である。図１に示すように、本実施形態の眼観察装置は、赤外光により被検眼５０の内部を動画撮影する撮像部１と、撮像部１から出力された画像信号から眼底などの観察対象部分の画像（静止画）を生成する画像生成部２を備える。また、本実施形態の眼内観察装置では、生成した眼底像、眼内像又はその両方を表示する表示部３が設けられていてもよい。
　前述した眼球運動は不随意運動であり、意識しても完全に止めることはできない。そして、固視微動は、短時間で早い動きのマイクロサッケード、緩やかな動きのドリフト、細かな動きのトレモアの三種類に大別できることが知られている。とりわけ、マイクロサッケードは高速で移動量の比較的大きな動き（～１０ｄｅｇ／秒）であり、連続する画像フレーム間の画像の不連続の原因となっている。
　一般に、眼底は１００Ｈｚ程度の動きをするといわれている。そこで、本実施形態の眼観察装置では、撮像部１において、露光時間が１００分の１秒で、かつ、グローバルシャッターのイメージセンサーを用いることとした。
　また、眼底像の動画撮影において、画像積算によってノイズ低減を行うには、固視微動の影響を考慮しつつ、眼底像の各フレームの位置合わせをして画像を積算しなければならないが、正確な位置合わせは固視微動および眼底形状の個人差により困難である。そこで、本実施形態の眼観察装置では、画像生成部２において、「マーカー検出力の改善」、「適切な成否判定基準の設定」及び「積算精度の改善」を行った。
［撮像部１］
　図２及び図３は撮像部１の構成例を示す図である。撮像部１は、被検眼５０に赤外光を照射し、被検眼５０の内部で反射した光を結像して眼底像や眼内像を撮像するものであり、例えば図２に示すように、光源１１、ライトパイプ１２、コンデンサレンズ１３、分光素子１４、対物レンズ１５、フォーカスレンズ１６及び撮像素子１７などで構成されている。
　光源１１は、１種又は２種以上の赤外光を発するものであればよく、例えば、７００～１１００ｎｍといった広帯域の近赤外光を出射可能なもの、発光波長が異なる複数の発光ダイオード（ＬＥＤ：light emitting diode）を組み合わせたものなどを用いることができる。
　ライトパイプ１２は、入射した光を多角柱や多角錐の側面で複数回反射することで均一化して出射する光学素子であり、ホモジナイザーとも呼ばれる。光源１１を発光波長が異なる複数のＬＥＤを組み合わせた構成にすると、各ＬＥＤの配置や特性、光源１１の位置ずれなどによって照射斑が発生することがある。そのような場合は、光源１１と被検眼５０との間にライトパイプ１２を配置すれば、ライトパイプ１２内で均一化された光が出射されるため、被検眼５０に２以上の波長成分を含む赤外光を均一に照射することができる。
　なお、１種の赤外光のみ照射する場合や、２以上の波長成分を含む赤外光を均一に照射することが可能な光源を用いた場合は、ライトパイプ１２は設けなくてもよい。ここで、均一照射が可能な光源としては、例えば、発光波長が異なる複数のＬＥＤを近接配置して封止し、中心波長が異なる２以上の赤外光の出射位置を近接させたものや、短波長ＬＥＤと近赤外蛍光体を使用して、広帯域の近赤外光を同一位置から出射するようにしたものなどが挙げられる。また、ライトパイプ１２の後方（出射側）に拡散板及び／又は絞りを配置すれば、擬似的な点光源を生成することができるため、照射斑を更に低減することが可能となる。
　分光素子１４は、光源１１から発せられた赤外光の一部を反射して被検眼５０に向けて出射すると共に、眼底及び／又は眼内で反射した光を透過するものであり、例えばビームスプリッターなどを用いることができる。なお、ライトパイプ１２と分光素子１４の間には、照明光（近赤外光）を集光するコンデンサレンズ１３、光源の反射像を除去するための偏光シート（図示せず）及び照明形状を成形するためのマスク（図示せず）を配置することもできる。その場合、偏光シートには、近赤外光にも対応したワイヤーグリッド偏光子を用いることが好ましい。
　対物レンズ１５は、照明光である赤外光を被検眼５０に集光させるものであり、例えば両凸レンズなどを用いることができる。なお、対物レンズ１５は、被検眼５０からの反射光を集光する役割もある。
　フォーカスレンズ１６は、被検眼５０の内部で反射され、対物レンズ１５及び分光素子１４を通過した光を結像するものである。なお、ライトパイプ１２と分光素子１４の間に偏光シートを配置する代わりに、分光素子１４とフォーカスレンズ１６の間に偏光シート（図示せず）を設けてもよい。これにより、レンズや眼球表面での反射や被検眼５０からの反射光の写り込みを抑制できる。この場合も、偏光シートには近赤外光にも対応したワイヤーグリッド偏光子などを用いることができる。
　撮像素子１７は、フォーカスレンズ１６で結像された眼底像及び／又は眼内像を撮像して波長成分毎の画像信号を出力するものであり、撮像部１内に１又は２以上設けられている。撮像素子１７には、例えばＰＣＴ／ＪＰ２０１８／００６１９３、ＰＣＴ／ＪＰ２０１８／０１７９２５及び特許６８８６７４８号に記載されているような波長が異なる複数の赤外光を同時検出可能な固体撮像素子を用いることができる。この場合、１つの撮像素子１７で、被検眼５０の眼内及び／又は眼底で反射した複数の光（赤外光）を検出することができる。
　そして、例えば、第１近赤外画素で赤色光（Ｒ）と相関関係にある近赤外領域の光を検出し、第２近赤外画素で青色光（Ｂ）と相関関係にある近赤外領域の光を検出し、第３近赤外画素で緑色光（Ｇ）と相関関係にある近赤外領域の光を検出することで後述する画像生成部２において可視光によるカラー撮影と同様のカラー画像を生成することができる。ここで、赤色光（Ｒ）と相関関係にある近赤外領域の光は７００～８３０ｎｍの範囲で任意の波長の光であり、青色光（Ｂ）と相関関係にある近赤外領域の光は８３０～８８０ｎｍの範囲で任意の波長の光であり、緑色光（Ｇ）と相関関係にある近赤外領域の光は８８０～１２００ｎｍの範囲で任意の波長の光であり、それぞれ異なる波長の光である。
　又は、単一波長の赤外光を検出する複数の撮像素子１７を設けると共に、その手前に被検眼５０からの反射光を特定波長毎に分光して各撮像素子１７に向けて出射する分光素子（プリズム）を設けてもよい。この場合も、例えば、第１撮像素子で赤色光（Ｒ）と相関関係にある近赤外領域の光を検出し、第２撮像素子で青色光（Ｂ）と相関関係にある近赤外領域の光を検出し、第３撮像素子で緑色光（Ｇ）と相関関係にある近赤外領域の光を検出することで、可視光によるカラー撮影と同様のカラー画像を生成することができる。
　本実施形態の眼観察装置における撮像部１は、図２に示す構成に限定されるものではなく、例えば図３に示すように可視光と近赤外光の両方を出射する光源と、固視灯投影マスクを設け、可視光と近赤外光とが同一光路を通過し、被検眼５０に照射される構成にすることもできる。図３に示す構成では、光源１８から固視標用の可視光ＶＩＳと、観察用の近赤外光ＮＩＲを出射する。そして、光源１８から出射された可視光ＶＩＳ及び近赤外光ＮＩＲは、ライトパイプ１２で均一化された後、固視灯投影マスク１９及びコンデンサレンズ１３を通過し、分光素子１４で反射され、対物レンズ１５を経由して被検眼５０に照射される。
　一方、被検眼５０で反射された光は、対物レンズ１５、分光素子１４及びフォーカスレンズ１６を透過し、撮像素子１７に入射する。撮像部１を図３に示す構成にすることにより、可視光の固定標により視線を固定した状態で、近赤外光による眼底及び／又は眼内の連続撮影（動画撮影）を行うことができる。また、図３に示す構成は、固視標用の可視光ＶＩＳと観察用の近赤外光ＮＩＲの光路が共通しているため、観察用の近赤外光ＮＩＲとは別に、固視標用の可視光ＶＩＳを照射する光学系を設ける場合に比べて、撮像部１の構成を簡素化することができる。
［画像生成部２］
　画像生成部２は、撮像部１から出力された各画像信号から被検眼５０の眼底像及び／又は眼内像を生成するものであり、画像取込部２１、マーカー検出部２２、除外処理部２３及び積算部２４などが設けられている。
＜画像取込部２１＞
　画像取込部２１では、撮像部１から出力された画像信号を取り込み、観察対象となる領域を切り出す。
＜マーカー検出部２２＞
　マーカー検出部２２では、画像取込部２１で観察対象領域を切り出した動画から複数枚の静止画像フレームを抽出する。その際、画像の位置合わせを行うための基準位置の位置合わせ用マーカーとして、例えば眼球内部の赤外光画像において血管や脈絡膜のパターンよりも比較的判別しやすい網膜上の視神経乳頭を用いる。
　従来、視神経乳頭周辺のエッジは、ガウシアンフィルタによるノイズ除去後に勾配フィルタ（Gradient Filter）を適用して検出していたが、視神経乳頭が画像周辺部に位置すると正確に検出できなくなる。特に、眼底検診においては、黄斑部を画面中央に撮影することが多いため、視神経乳頭は画面周辺部に位置することになり、その解決が求められている。
　そこで、本実施形態の眼観察装置では、マーカー検出部２２における検出に分離度フィルタ（Separability Filter）を用いる。分離度フィルタは、顔画像からの瞳検出など画像中から円形または楕円形の領域を安定かつ高精度に検出可能な手法である。本実施形態の眼観察装置において使用する分離度フィルタは、特に限定されるものではないが、視神経乳頭が画像の外周部に写る場合でも対応できるようにするため、単純な円形ではなく、半円形を検出対象とする半円形分離度フィルタを使用することが好ましい。
　図４Ａ～Ｃは半径の異なる３種の半円形分離度フィルタを示す図であり、図５はその適用方法を示す図である。視神経乳頭の大きさは直径で約１．１～１．９ｍｍと個人差があるため、本実施形態の眼観察装置では、例えば図４Ａ～Ｃに示すような半径が異なる３種類の半円形分離度フィルタを用いる。これにより、汎用性を高めることができる。
　半円形分離度フィルタを用いた位置検出では、半円形の外部（図５に示す半円のハッチング部分）と半円形の内部（図５に示す半円の白抜き部分）の画素の輝度値に基づいて求めた分離度が最大となる位置を探索することによって、画像中心から放射状に引いた線上にある視神経乳頭に一致する半円を見つけて位置検出を行うことができる。このように、マーカー検出部２２において半円形分離度フィルタを使用することにより、視神経乳頭が半分程度しか写っていないような場合でも、画像の中心寄りの半円部分で位置検出ができるようになり、広範囲な視神経乳頭の位置検出が可能となる。
　具体的には、先ず、画像の各画素において、２０度刻みで１８方向に分割した半円のうち、図５に示す画素Ｐの極座標の角度θに最も近い２０度刻みで１８方向に分割した角度θ’の半円を用いて、分離度を半円形の内部領域と外部領域のそれぞれ輝度を積算しその比として計算する。そして、同様の計算を半径の異なる３種類の半円ごとに行い、最後に画面の全領域を対象に計算された３種類の半円形分離度を比較して分離度が最大値となる領域を探索する。
　図６は視神経乳頭が画面中央寄りにある場合における勾配フィルタ方式と分離度フィルタ方式の検出結果の比較した図であり、図７は視神経乳頭が画面周辺部にある場合における勾配フィルタ方式と分離度フィルタ方式の検出結果の比較した図である。図６に示す視神経乳頭が画面中央に位置する動画では、勾配フィルタ方式、分離度フィルタ方式とも同等に乳頭神経の位置を検知できることが確認できる。従来の課題であった視神経乳頭が画面周辺部に位置する動画では、勾配フィルタ方式では検出困難であったが、分離度フィルタ方式を適用することにより検出が可能となる。そして、図７に示す視神経乳頭が画面周辺部にある場合では、分離度フィルタ方式でトラッキングが正確に行われていることが示されている。
　図８は半円形分離度フィルタで計算された１フレーム目からの位置ずれ量（ｄｘ，ｄｙ）と視神経乳頭中心点の検出位置を示す図面代用写真である。本発明者は、図８に示すように、動画フレームのうち、１００フレーム目、２００フレーム目の視神経乳頭の検出位置を画像上にプロットすることで、分離度フィルタによる位置検出結果が正しいかどうかを確認した。
　評価用の動画は、図６に示す視神経乳頭が画面中央寄りの鮮明化処理後の画像にガウシアン（Gaussian）フィルタを適用して画像をぼかした基準画像を作成し、その画像に対して眼底像の位置を人工的にずらした画像２５６枚を作成し、さらに眼底像とノイズが同様のシフト量とならないように、各画像にランダムノイズを付加した。その際、シフト量は、実際の眼底の動きに近似させるため、図６及び図７の分離度フィルタで求めた位置ズレ量を使用した。
　このように作成した評価用の動画に対して、分離度フィルタ方式で位置ずれ量を計算したところ、ずれ量推計誤差（絶対値誤差、ピクセル数）は、平均でＸ軸方向１．１、Ｙ軸方向１．０と、１９２０×１０８０ピクセルの画像に対してほぼ正確にトラッキングできることが確認できた。
　また、演算速度に関しては、半円形分離度フィルタでは円形分離度フィルタに比べて演算量が増えるものの、分離度フィルタ方式で８秒と高速化を達成できた。この方法は、全画素（２００万画素）に対して３種類のフィルタ毎の分離度を計算するため、計算量が膨大になるが、水平方向のインテグラルイメージ（積分画像）を事前に計算しておき、水平方向の半円の起点と終点位置から高速に領域ごとの積算値を求めることにより、計算効率を高めることができる。更に、ＧＰＵを用いた高速並列演算処理の適用及び探索履歴を用いた効率的な探索範囲の設定することにより、処理時間を短縮し、実用度を高めることができる。
＜除外処理部２３＞
　除外処理部２３は、マーカー検出部２２で処理した画像を判定して、不適切な画像を積算対象から除外するものであり、具体的には、マイクロサッケードなどの固視微動によって画像が大きくずれた場合に、その画像を積算対象から除外する。本実施形態の眼観察装置では、例えば６０ｆｐｓで約５秒間、被検眼５０の内部の動画を撮影し、３００枚程度の画像フレームを取得する。このうち、しきい値を超える位置変化のあった画像を、除外処理部２３において除外することで、積算対象となる画像の絞り込みを行う。
　その際の閾値は、画像積算による画像劣化を抑えつつ、ある程度の積算枚数が確保できるような値とする。具体的には、視神経乳頭位置の位置ずれ量の観測結果から閾値を設定し、（１）第１フレームからのずれ量が６０ピクセル以下の画像、又は、（２）直前フレームからのずれ量が４ピクセル以下の画像を積算対象とする。そして、積算画像数を変えて生成される画像を比較したところ、積算画像数が多い方が鮮明な画像が得られるため望ましいが、１００枚程度の画像フレームの積算で、目的とするランダムノイズの低減の効果が確認された。そこで、除外処理部２３では、積算対象となる画像が少なくとも１００枚となるようにする。
＜積算部２４＞
　積算部２４は、除外処理部２３で積算対象と判定した画像を積算して、眼底像又は眼内像を生成するものである。画像積算により鮮明な画像を得るには、正確な位置合わせが必要である。分離度フィルタによる位置合わせだけでも、画素ずれなく位置合わせを行うこともできるが、マーカーである視神経乳頭が不鮮明な場合などでは、より精密な位置ずれ量の計測が必要となる。
　そこで、本実施形態の眼撮影装置では、視神経乳頭の中心位置の周辺画像について、範囲を限定して演算量の負荷を抑えつつ、テンプレートマッチングによって位置ずれ量を計測する。これにより、高精度な位置補正を演算時間の遅延なく実施することが可能となる。その際、テンプレートマッチングのテンプレート画像としては、分離度フィルタで最初に正常検出したフレームの視神経乳頭の領域切り出したものを使用することができる。
　また、テンプレートマッチングの手法としては、例えば、高速性を重視し、単純な画素値差分の二乗和（Sum of Squared Difference）によりテンプレート画像との類似度を求める方法を適用できる。一般に、画素値差分の二乗和を用いる方法よりも、零平均正規化相互相関（Zero-means Normalized Cross-Correlation）を使用する方法の方が、照明変化に対するロバスト性が高いと言われているが、本実施形態の眼撮影装置では、照明変化が少ないため、より高速で処理できる画素値差分の二乗和を用いるアルゴリズムを採用することとした。
［表示部３］
　表示部３は、画像生成部２で生成した眼底像及び／又は眼内像を表示するものである。表示部３は眼観察装置内に設けられていてもよいが、眼観察装置とは別に設けられた表示装置（モニター）でもよく、また、眼観察装置と接続されたコンピュータの表示部で代用することもできる。
　以上詳述したように、本実施形態の眼観察装置は、画像生成部において、赤外光で撮影した動画から静止画を切り出し、マーカー検出を行った後、除外処理部において画像のずれの有無・程度を判定し、その結果積算対象となった画像をテンプレートマッチングによって位置ずれ量を計測し、位置補正しつつ積算する。これより、固視微動や眼底形状の個人差に起因するノイズを低減することができるため、赤外光による眼球内部の観察において、鮮明な眼内像及び／又は眼底像が得られる。
　また、本実施形態の眼観察装置は、医療機関において医師が操作して眼底像又は眼内像の撮影を行ってもよいが、例えば「顔を顎乗せ台に乗せて下さい」、「内部の固視灯を見つめて下さい」、「撮影を始めます。５秒間瞬きせずに動かないで下さい。」といった音声ガイダンスを流すことで、被検者が自分自身で装置を操作し、眼底像及び／又は眼内像の撮影することもできる。
（第２の実施形態）
　次に、本発明の第２の実施形態の眼観察装置について説明する。図９は本実施形態の眼観察装置の構成を示すブロック図である。なお、図９においては、図１に示す眼観察装置の構成要素と同じものには同じ符号を付し、その詳細な説明を省略する。図９に示すように、本実施形態の眼観察装置には、前述した撮像部１、画像生成部２に加えて鮮明化処理部４が設けられている。
［鮮明化処理部４］
　鮮明化処理部４は、画像生成部２で生成した画像を鮮明化するものであり、ボケ処理部４１及び画像補正部４２などを備える。生体組織は、赤外領域の光に対して強い散乱性を示ため、光源から照射された赤外光は眼球の内部で多重散乱を繰り返し、生体内の空間を拡散する。このため、赤外光により眼球内部を撮影した画像にはボケが発生しやすく、鮮明な眼底像又は眼内像を得るには、生体組織における光伝搬の特性に基づいた近赤外光の空間的な広がりの効果を想定し、散乱によるボケを除去する処理が必要となる。
　そこで、本実施形態の眼観察装置では、鮮明化処理部４において、デコンボリューション処理を行ってボケの除去を行った後、更に、診察に適するよう特定部位の強調などの画像補正を行う。
＜ボケ処理部４１＞
　ボケ処理部４１は、画像生成部２で生成した画像（眼底像・眼内像）に対してデコンボリューション処理を行うものである。画像のデコンボリューション処理には、例えば反復により高速に画像のボケを除去することが可能なアルゴリズムとして知られているRichardson-Lucyデコンボリューション法（以下、ＲＬ法という。）を適用することができる。
　ＲＬ法は、画像の点広がり関数（Point Spread Function；ＰＳＦ）が既知である必要があるという制約はあるが、本実施形態の眼観察装置では、Gauss関数を想定し、繰り返し回数とカーネル画像のサイズをパラメータとして与える。ＲＬ法は、高速に処理でき、かつ、ノイズに強い反面、リンギングノイズを発生しやすい欠点があるが、本実施形態の眼観察装置では、実行時にパラメータをユーザがＧＵＩで設定可能とすることで、ノイズを抑えた鮮明化を実現可能とした。
　なお、デコンボリューション処理としては、ＰＳＦやパラメータを自動推定するブラインド・デコンボリューション手法を用いることもできるが、この方法には、演算処理に非常に時間がかかるというデメリットがある。一方、眼底像又は眼内像の撮影では、撮影結果をできるだけ早く確認できることが重要となるため、撮影直後に画像確認する際の応答時間を重視すると、ブラインド・デコンボリューション法は不向きである。ただし、高速処理が求められない用途では、ブラインド・デコンボリューション法を適用することも可能である。
＜画像補正部４２＞
　画像補正部４２は、ボケ処理部４１で処理した画像に対して、特徴点を強調する補正を行うものである。画像診断を行う場合、異常や疾患の有無をより判別しやすいよう画像の調整が必要となる場合がある。そこで、本実施形態の眼観察装置では、デコンボリューション処理後の画像（眼底像・眼内像）に対して、画像補正部４２において色調整及び／又はコントラスト調整を行う。
　画像補正部４２では、また、後処理として、血管抽出のためのフィルタ処理を行ってもよい。血管特徴を抽出する方法としては、例えばGaborフィルタやモルフォロジーフィルタバンクを用いた血管抽出アルゴリズムを適用することができる。図１０Ａは血管強調処理前の赤外光画像（眼底像）であり、図１０Ｂはモルフォロジーフィルタバンクにより血管を強調した赤外光画像（眼底像）である。図１０Ａ，Ｂに示すように、画像補正部４２での処理により、眼底像に含まれる血管部分が強調され、診断を容易にすることができる。
　本実施形態の眼観察装置では、前述した画像生成部の処理に加えて、鮮明化処理部において、「デコンボリューションの適用」及び「特徴点の強調処理」を行っているため、赤外光撮影に起因するボケを除去すると共に、画像診断に適した鮮明な画像を得ることができる。即ち、本実施形態の眼観察装置は、赤外マルチスペクトルを用いたカラー暗視技術を活用した上で、不規則な固視微動に対応したトラッキング手法及び生体内のボケを解消するデコンボリューション（deconvolution）による画像処理を行っているため、眩しくない赤外光のみで、カラーで鮮明な眼底画像を取得することができる。
　図１１Ａ～Ｃは本実施形態の眼観察装置で撮影した眼底像であり、図１１Ａは動画の１フレーム、図１１Ｂは積算処理後の画像、図１１Ｃはデコンボリューション後の画像である。図１１Ａに示す動画から抽出したフレーム（静止画）は全体的にノイズ及びボケが強いが、図１１Ｂに示すように、積算処理を行うことによりノイズを低減させることができる。更にデコンボリューション処理を行うことで、図１１Ｃに示すように、欠陥などの細部を明確に確認することが可能となる。
　本実施形態の眼観察装置は、医療現場で実務的に活用可能であり、撮影された画像は眼疾患及び生活習慣病疾患の検出に有用である。なお、本実施形態における上記以外の構成及び効果は、前述した第１の実施形態と同様である。
　以下、実施例により、本発明の効果について具体的に説明する。本実施例では、図９に示す眼観察装置を用いて、２１人の被検者（男性１０名、女性１１名）について、両眼の内部の観察及び撮影を行った。撮影は、被検者が医師の指示のもと、顔を顎乗せ台に乗せ静止し、医師がカメラの位置を調整した後、誘導灯で被検者の視線を誘導し、パーソナルコンピュータの操作画面を操作して眼底の画像を撮影した。撮影時間は５秒間とし、撮影した動画は直ちにコンピュータに転送して保存し、追加のコンピュータ操作で、画像蓄積後及び鮮明化後の眼底像（静止画）をモニタに表示して保存した。
　図１２は本実施例で撮影した眼底像である。図１２に示すように、本発明の眼観察装置を用いて撮影した画像では、血管形状が鮮明に捉えられ、高血圧や動脈硬化の所見である高血圧性変化や動脈硬化性変化、糖尿病網膜症所見である網膜出血を確認することができた。
　以上の結果から、本発明によれば、実際の医療現場において、眼科眼底検査を受ける患者について、眼疾患及び生活習慣病の症状高血圧・動脈硬化、糖尿病網膜などを判断できる画像を、患者が目を開け続けられる５秒以内の撮影時間で記録し、高齢者を含む眼科患者で撮影を成功し、医師がその場で画像観察できることを確認できた。
１　撮像部、２　画像生成部、３　表示部、４　鮮明化処理部、１１，１８　光源、１２　ライトパイプ、１３　コンデンサレンズ、１４　分光素子、１５　対物レンズ、１６　フォーカスレンズ、１７　撮像素子、１９　固視灯投影マスク、２１　画像取込部、２２　マーカー検出部、２３　除外処理部、２４　積算部、４１　ボケ処理部、４２　画像補正部、５０　被検眼、５１　眼内像・眼底像

Claims (9)

  1. 　赤外光により被検眼の内部を動画撮影する撮像部と、
    　前記撮像部で撮影された動画から眼底及び／又は眼内の静止画を生成する画像生成部と
    を有し、
    　前記画像生成部は、
    　　前記撮像部から出力された画像信号を取り込み、観察対象領域を切り出す画像取込部と、
    　　前記画像取込部で観察対象領域を切り出した動画から複数枚の静止画像フレームを抽出するマーカー検出部と、
    　　前記マーカー検出部で抽出された静止画像フレームを判定し、位置ずれ量が閾値を超える画像を積算対象から除外する除外処理部と、
    　　前記除外処理部で積算対象と判定された画像を積算して、眼底像及び／又は眼内像を生成する積算部と
    を備える眼観察装置。
  2. 　前記マーカー検出部では、分離度フィルタを用いた位置検出を行う請求項１に記載の眼観察装置。
  3. 　更に、前記画像生成部において生成した眼底像及び／又は眼内像に対してデコンボリューション処理を行い、画像内のボケを除去するボケ処理部を有する請求項１又は２に記載の眼観察装置。
  4. 　更に、前記ボケ処理部においてボケが除去された画像に対して特徴点を強調する補正を行う画像補正部を有する請求項３に記載の眼観察装置。
  5. 　前記積算部では、テンプレートマッチング法により積算する画像の位置補正を行う請求項１～４のいずれか１項に記載の眼観察装置。
  6. 　前記マーカー検出部では、網膜上の視神経乳頭をマーカーとして位置合わせを行う請求項１～５のいずれか１項に記載の眼観察装置。
  7. 　前記撮像部は、赤外光と可視光の両方を出射する光源を備え、前記赤外光と前記可視光とが同一光路を通過して前記被検眼に照射される請求項１～６のいずれか１項に記載の眼観察装置。
  8. 　前記撮像部は中心波長が異なる３以上の赤外光により被検眼内部を動画撮影し、前記画像生成部は眼底及び／又は眼内のカラーの静止画を生成する請求項１～７のいずれか１項に記載の眼観察装置。
  9. 　前記画像生成部で生成した眼底像及び／又は眼内像を表示する表示部を有する請求項１～８のいずれか１項に記載の眼観察装置。
PCT/JP2023/025749 2022-10-19 2023-07-12 眼観察装置 WO2024084753A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022167789A JP2024060426A (ja) 2022-10-19 2022-10-19 眼観察装置
JP2022-167789 2022-10-19

Publications (1)

Publication Number Publication Date
WO2024084753A1 true WO2024084753A1 (ja) 2024-04-25

Family

ID=90737362

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/025749 WO2024084753A1 (ja) 2022-10-19 2023-07-12 眼観察装置

Country Status (2)

Country Link
JP (1) JP2024060426A (ja)
WO (1) WO2024084753A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007135868A (ja) * 2005-11-18 2007-06-07 Canon Inc 眼科撮影装置
JP2010259531A (ja) * 2009-04-30 2010-11-18 Canon Inc 眼科撮影装置
JP2019000728A (ja) * 2018-10-11 2019-01-10 キヤノン株式会社 眼底画像処理装置及び眼底画像処理方法、撮影システム
WO2019203313A1 (ja) * 2018-04-18 2019-10-24 株式会社ニコン 画像処理方法、プログラム、及び画像処理装置
JP2020018795A (ja) * 2018-08-03 2020-02-06 株式会社ニデック 眼底撮影装置および眼科システム
WO2020213085A1 (ja) * 2019-04-17 2020-10-22 株式会社ニコン 動画処理装置、動画処理方法、および動画処理プログラム
WO2021256130A1 (ja) * 2020-06-17 2021-12-23 株式会社トプコン スリットランプ顕微鏡

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007135868A (ja) * 2005-11-18 2007-06-07 Canon Inc 眼科撮影装置
JP2010259531A (ja) * 2009-04-30 2010-11-18 Canon Inc 眼科撮影装置
WO2019203313A1 (ja) * 2018-04-18 2019-10-24 株式会社ニコン 画像処理方法、プログラム、及び画像処理装置
JP2020018795A (ja) * 2018-08-03 2020-02-06 株式会社ニデック 眼底撮影装置および眼科システム
JP2019000728A (ja) * 2018-10-11 2019-01-10 キヤノン株式会社 眼底画像処理装置及び眼底画像処理方法、撮影システム
WO2020213085A1 (ja) * 2019-04-17 2020-10-22 株式会社ニコン 動画処理装置、動画処理方法、および動画処理プログラム
WO2021256130A1 (ja) * 2020-06-17 2021-12-23 株式会社トプコン スリットランプ顕微鏡

Also Published As

Publication number Publication date
JP2024060426A (ja) 2024-05-02

Similar Documents

Publication Publication Date Title
JP5651119B2 (ja) 眼の画像化装置及び方法
US11986244B2 (en) Wide field fundus camera with auto-montage at a single alignment
EP2618724B1 (en) Examination instrument
US10888457B2 (en) Detachable miniature microscope mounted keratometer for cataract surgery
JP6899632B2 (ja) 眼科撮影装置
US9131837B2 (en) Method and apparatus for imaging the choroid
US11974809B2 (en) Non-mydriatic, non-contact system and method for performing widefield fundus photographic imaging of the eye
JP6886748B2 (ja) 眼撮影装置及び眼撮影システム
WO2024084753A1 (ja) 眼観察装置
JP5372540B2 (ja) 機能イメージング眼科装置及びマスク形成方法
JP2014083095A (ja) 眼科撮影装置、眼科撮影装置の制御方法、プログラム
JP7430082B2 (ja) 眼科装置及びその作動方法
KR101348939B1 (ko) 안저 카메라
EP3440990A1 (en) System for imaging a fundus of an eye
JP2011188946A (ja) 眼科装置及びその制御方法
JP6756873B2 (ja) 眼科撮影装置
JP2012225826A (ja) 干渉光計測装置
JP2010172614A (ja) 機能イメージング眼科装置
JP2022117069A (ja) 撮像装置
JP5718154B2 (ja) 干渉光計測装置
JP2022071191A (ja) 眼科装置、及びその制御方法
JP2021141943A (ja) 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
JP2020156623A (ja) 眼科装置