WO2023112978A1 - 眼科撮像装置、眼科用画像処理装置、眼科撮像装置の制御方法、眼科用画像処理方法、及びプログラム - Google Patents

眼科撮像装置、眼科用画像処理装置、眼科撮像装置の制御方法、眼科用画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2023112978A1
WO2023112978A1 PCT/JP2022/046155 JP2022046155W WO2023112978A1 WO 2023112978 A1 WO2023112978 A1 WO 2023112978A1 JP 2022046155 W JP2022046155 W JP 2022046155W WO 2023112978 A1 WO2023112978 A1 WO 2023112978A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
eye
images
light
movement
Prior art date
Application number
PCT/JP2022/046155
Other languages
English (en)
French (fr)
Inventor
宏佳 田中
信也 田中
樹 小林
祐輝 下里
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2021204978A external-priority patent/JP2023090164A/ja
Priority claimed from JP2021204903A external-priority patent/JP2023090115A/ja
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2023112978A1 publication Critical patent/WO2023112978A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement

Definitions

  • the present invention relates to an ophthalmic imaging apparatus, an ophthalmic image processing apparatus, a control method for an ophthalmic imaging apparatus, an ophthalmic image processing method, and a program.
  • a fundus camera and a scanning laser ophthalmoscope (SLO: scanning laser ophthalmoscope) apparatus have been put into practical use as apparatuses for acquiring a two-dimensional image of the fundus of an eye to be examined.
  • An apparatus for acquiring a tomographic image of an eye to be examined using optical coherence tomography (OCT) using low coherence light (hereinafter referred to as an OCT apparatus) has also been put to practical use.
  • OCT apparatus optical coherence tomography
  • a combined SLO device and OCT device is also a useful device.
  • the vitreous body which is an intraocular tissue
  • the vitreous body is usually a colorless and transparent jelly-like substance, but it is known that it changes with aging, liquefies, and causes slight opacity. Since measurement light is scattered and reflected in such opaque portions, even conventional SLO and OCT apparatuses can image these.
  • intraocular floaters such as vitreous opacities are regarded as obstacles for observing and photographing the retina.
  • a vitreous opacity site the method disclosed in Patent Document 1 for observing the retina while avoiding this, and the patent for quantifying the degree of opacity The method disclosed in Document 2 is known.
  • vitreous opacity sites As described above, fundus observation is performed in consideration of the effects thereof, but there is no apparatus or method for photographing or analyzing vitreous opacity sites. .
  • One embodiment of the present invention has been made in view of the situation described above, and one of the objects thereof is to provide an apparatus and method capable of imaging or analyzing a vitreous opacity site.
  • An ophthalmic imaging apparatus comprises: A measurement light source that emits measurement light, a scanning optical system that scans the interior of an eye to be inspected with the measurement light in accordance with predetermined scanning information, and a light receiving signal generated by receiving return light of the measurement light from the eye to be inspected.
  • an imaging head having a light receiving optical system for image generation means for generating an image using the scanning information and the light receiving signal; storage means for storing a plurality of the generated images of the same type for the same subject eye under predetermined motion; means for detecting the predetermined motion based on the stored image; Information about a moving object existing in the eye to be inspected that is induced by the predetermined movement and moves differently from the detected predetermined movement is stored in at least the stored image.
  • an extraction means for extracting using two; Prepare.
  • an ophthalmic image processing method comprises: acquiring multiple images of the same type of the same subject eye obtained at different times; a step of extracting an image of a moving object that moves relative to a background image from the plurality of images; including.
  • FIG. 1A is a diagram showing a schematic configuration of an ophthalmologic imaging apparatus according to a first embodiment
  • FIG. 1B is a block diagram showing the functional configuration of a control device 120 shown in FIG. 1 is a schematic diagram showing a schematic optical configuration of an imaging head according to a first example
  • FIG. 3 is a flowchart showing a series of processes of the analysis method according to the first embodiment, where (a) shows main processes executed during examination, and (b) shows step S303 in (a) in normal OCT imaging. (c) shows the detailed processing of device adjustment in the VTM imaging mode, which is characteristic of this embodiment.
  • FIG. 11 is a schematic diagram showing an example of a patient/examination selection screen; It is a schematic diagram which shows an example of an OCT examination screen.
  • FIG. 4 is a schematic diagram showing an example of a screen for setting imaging parameters; 4 is a flowchart showing a series of processes performed during SLO moving image reproduction; (a) shows the initial presentation position of the fixation lamp, (b) shows the presentation position after movement, and (c) shows the operation of each part when capturing an SLO moving image and the moving body. and a timing chart of the state of the moving object.
  • It is a schematic diagram which shows an example of an analysis screen. 4 is a flowchart showing a series of processes performed during analysis processing; It is a flow chart which shows a part of processing of the analysis method in the 2nd example. [Fig.
  • FIG. 11 is a schematic diagram showing an example of a VTM inspection screen in the second embodiment.
  • FIG. 11 is a schematic diagram showing an example of a VTM inspection screen in the second embodiment.
  • 4A to 4C are schematic diagrams illustrating the relationship of tomographic images obtained when sequential scanning is performed, and (a) to (c) are obtained by scanning different scanning lines arranged at arbitrary intervals with the measurement light. (d) shows a moving object identified by these tomographic images, and (e) shows an example of a method of displaying the moving object.
  • 4A and 4B are schematic diagrams each showing a modified example of an analysis screen;
  • FIG. 4A and 4B are schematic diagrams each showing a modified example of an analysis screen;
  • FIG. 4A and 4B are schematic diagrams each showing a modified example of an analysis screen;
  • FIG. 1 is a schematic diagram showing a modified example of an analysis screen
  • the ophthalmologic imaging apparatus uses the acquired image, and extracts from the image a moving body that moves differently from the subject's eye due to the movement of the subject's eye, such as a vitreous body opacity site, in the subject's eye.
  • the ophthalmic image processing apparatus uses an image acquired by an ophthalmologic imaging apparatus, and from the image, movement of the eye to be examined, such as a vitreous opacity region, in the eye to be examined induces movement of the eye to be examined.
  • movement of the eye to be examined such as a vitreous opacity region
  • an image processing apparatus that extracts moving objects that perform different movements.
  • FIG. 1 is a diagram showing an example of a schematic configuration of an ophthalmologic imaging apparatus according to the first embodiment of the present invention.
  • FIG. 1(a) is a diagram showing the configuration of the ophthalmologic imaging apparatus
  • FIG. 1(b) is a block diagram showing the functional configuration of the control device 120 shown in FIG. 1(a).
  • the ophthalmologic imaging apparatus includes an imaging head 110 (imaging apparatus), a control device 120, a display section 130, and an input section 140.
  • the ophthalmic image processor is contained within controller 120 .
  • the input unit 140 is composed of a keyboard, a pointing device, etc., which cooperate with the display unit 130 and act as a GUI.
  • the imaging head 110 incorporates an optical system for imaging a predetermined portion of the subject's eye, and is provided with an alignment mechanism that is movable in three axial directions, up, down, left, right, front and back, for alignment with the subject's eye. is configured integrally with
  • the control device 120 is communicably connected to the imaging head 110, the display unit 130, and the input unit 140, and can control them. Further, the control device 120 generates and saves an image from the imaging signal of the subject's eye acquired by the imaging head 110 , and displays the saved image and related information on the display unit 130 . Further, in this embodiment, the imaging head 110 has a built-in speaker serving as an instruction generation unit (to be described later) that generates an instruction to induce eye movement, and issues necessary instructions to the subject in accordance with instructions from the control device 120. It also functions as an audio interface that generates.
  • control device 120 can be configured using any general-purpose computer, it may be configured using a dedicated computer provided in the ophthalmologic imaging apparatus.
  • display unit 130 can be configured using an arbitrary display, but may be configured by a touch panel having a function integrated with the input unit 140 .
  • the imaging head 110, the control device 120, and the display unit 130 are provided separately, but they may be provided integrally.
  • FIG. 2 schematically shows an outline of an example of the optical configuration of the imaging head 110. As shown in FIG.
  • an objective lens 211 shared by the SLO optical system and the OCT optical system is arranged so as to face the eye E to be examined.
  • a first dichroic mirror 212 , a second dichroic mirror 213 and a beam splitter 210 are arranged on the optical axis of the objective lens 211 .
  • These optical members branch the optical axis of the objective lens 211 into an OCT optical path L1, an SLO optical path L2, an anterior segment observation optical path L3, and a fixation lamp optical path L4.
  • the OCT optical path L1 is an optical path for capturing a tomographic image of the fundus of the subject's eye and the vitreous body adjacent thereto
  • the SLO optical path L2 is an optical path for capturing a frontal image of the fundus.
  • the anterior segment observation optical path L3 is an optical path for observing the anterior segment
  • the fixation lamp optical path L4 is an optical path for presenting a fixation lamp for promoting fixation of the eye E to be examined.
  • the first dichroic mirror 212 branches the anterior segment observation optical path L3 from the optical axis of the objective lens 211 in the reflection direction according to the wavelength band of each light ray.
  • the second dichroic mirror 213 branches the OCT optical path L1 from the optical axis of the objective lens 211 in the reflection direction according to the wavelength band of each light ray.
  • the beam splitter 210 branches the fixation lamp optical path L4 in the reflection direction from the optical axis of the objective lens 211 according to the wavelength band, and branches the SLO optical path L2 in the transmission direction.
  • the optical paths provided in the transmission direction and the reflection direction of each dichroic mirror may be opposite to each other.
  • the SLO optical path L2 includes an SLO scanning means 214 shared by an SLO scanning optical system for scanning while irradiating the SLO measurement light into the eye to be examined and a light receiving optical system for receiving the return light from the eye to be examined E.
  • a focus lens 215 and a lens 216 are arranged.
  • a partial reflection mirror 217 is provided behind the lens 216 (in the direction opposite to the objective lens 211 on the optical path with respect to the lens 216) at a position conjugate with the pupil of the subject's eye.
  • the partial reflection mirror 217 reflects the SLO measurement light emitted from the SLO measurement light source 221 at the center of the optical axis, and transmits the return light from the subject's eye E in other regions.
  • a partially reflective mirror 217 separates the SLO measurement light and the return light in the form of beam splitting.
  • a system from the SLO measurement light source 221 provided in the reflection optical path of the partial reflection mirror 217 to the objective lens 211 as described above is the SLO scanning optical system.
  • the SLO scanning optical system scans the fundus of the subject's eye with the SLO measurement light.
  • the system from the objective lens 211 to the SLO photodiode 220 provided on the transmission optical path of the partial reflection mirror 217 is the SLO light receiving optical system.
  • Return light from the subject's eye E guided to the SLO photodiode 220 by the SLO light receiving optical system is transmitted to the control device 120 as an SLO light receiving signal.
  • the SLO scanning means 214 shared by the SLO scanning optical system and the light receiving optical system two-dimensionally scans the fundus of the subject's eye with the SLO measurement light emitted from the SLO measurement light source 221 .
  • the SLO scanning means 214 is used to guide return light from each scanning position to the SLO photodiode 220 .
  • the SLO scanning means 214 is composed of an X scanner for scanning the SLO measurement light in the X direction and a Y scanner for scanning in the Y direction.
  • the X scanner uses a polygon mirror because it needs to scan at high speed
  • the Y scanner uses a galvano mirror because it needs to scan at low speed.
  • the focus lens 215 is driven in the direction indicated by the arrow in the drawing by a motor (not shown) for focus adjustment.
  • the SLO measurement light source 221 is, for example, a light source that multiplexes and emits four different wavelength lasers of blue, green, red, and infrared. Controlled by controller 120 . Note that the central wavelength of the laser light emitted from the infrared light source is, for example, around 780 nm in order to enable wavelength separation from the OCT measurement light.
  • the first dichroic mirror 212 has a characteristic of reflecting light in a wavelength band near 970 nm and transmitting light in a wavelength band below that.
  • a lens 222 , a split prism 223 , a lens 224 , and a CCD 225 for anterior eye observation are arranged on an anterior eye observation optical path (anterior eye observation optical path L 3 ) formed by the first dichroic mirror 212 .
  • the CCD 225 captures an image of the anterior segment of the subject's eye illuminated by an anterior segment observation light source (wavelength: 970 nm) (not shown).
  • the split prism 223 is positioned so as to be conjugate with the pupil of the subject's eye E when the distance in the Z direction (front-rear direction) between the subject's eye E and the imaging head 110 on the anterior segment observation optical path L3 is appropriate. are placed in Accordingly, when the distance of the imaging head 110 in the Z direction (front-rear direction) is appropriate, the CCD 225 can capture an unseparated image of the pupil of the subject's eye. Moreover, when the distance in the Z direction is inappropriate, the CCD 225 can pick up an image of the pupil of the subject's eye separated in the deflection direction of the split prism.
  • the output signal of the CCD 225 is sent to the control device 120 , and the control device 120 detects the relative position between the subject's eye E and the imaging head 110 based on the signal received from the CCD 225 .
  • the imaging head 110 is provided with an alignment mechanism that moves the entire imaging head 110 in three-dimensional (X, Y, Z) directions in order to align the eye E to be examined. Based on the relative positional information between the subject's eye E and the imaging head 110 obtained from the video signal from the CCD 225, the control device 120 drives the alignment mechanism using three motors (not shown) to perform the alignment operation. do.
  • the OCT optical path L1 is used to capture a fundus tomographic image of the subject's eye E or the like.
  • the OCT scanning means 226 is used to scan the measurement light obtained from the OCT measurement light source 229 on the fundus of the subject's eye.
  • the OCT scanning means 226 is illustrated as one mirror in this embodiment, it is configured as an XY scanner composed of two galvanomirrors for respectively scanning measurement light in the XY two-axis directions.
  • the XY scanner may be configured using any deflection means according to a desired configuration.
  • the scanning means for measuring light may be constituted by deflection means capable of deflecting light in two-dimensional directions with a single mirror such as a MEMS mirror.
  • the focus lens 227 is for focusing the measurement light obtained from the OCT measurement light source 229 emitted from the optical fiber 230 onto the fundus of the subject's eye, and is driven in the arrow direction in the figure by a motor (not shown). Due to this focusing, the measurement light emitted from the end surface of the optical fiber 230 forms a point-like image on the fundus of the subject's eye, while the return light therefrom forms an image on the end surface of the optical fiber 230 and enters the optical fiber 230 again. It will be done.
  • An SLD Super Luminescent Diode
  • the SLD emits low coherent light with a center wavelength of 850 nm and a wavelength band of 50 nm, for example.
  • a light source other than SLD such as ASE (Amplified Spontaneous Emission) may be used as long as it can emit low coherent light having a predetermined center wavelength and wavelength band.
  • the optical fiber 230 is connected to the OCT measurement light source 229 via an optical coupler 234 and an optical fiber 231 .
  • Optical fiber 233 connected to optical coupler 234 is further connected to spectroscope 238 .
  • Light emitted from the OCT measurement light source 229 and incident on the optical fiber 231 is split into OCT measurement light and reference light by the optical coupler 234 , and the OCT measurement light is guided to the optical fiber 230 .
  • the OCT measurement light After being emitted from the optical fiber 230, the OCT measurement light is guided toward the subject's eye E via optical members up to the objective lens 211 provided on the optical path (OCT optical path L1) of the OCT optical system.
  • the optical members described above constitute an OCT scanning optical system.
  • the measurement light irradiated to the eye to be examined E is reflected and scattered by the fundus of the eye to be examined E, and reaches the optical coupler 234 again through the OCT scanning optical system as return light.
  • the optical fiber 232 connected to the optical coupler 234, the lens 235, the dispersion compensating glass 236, and the reference mirror 237 form a reference optical path.
  • the reference light obtained by splitting the light emitted from the OCT measurement light source by the optical coupler 234 is emitted toward the reference mirror 237 through the optical fiber 232 , the lens 235 and the dispersion compensating glass 236 .
  • the reference light reflected from the reference mirror 237 reaches the optical coupler 234 again through the same optical path.
  • the reference mirror 237 is held by a motor and drive mechanism (not shown) so that its position can be adjusted in the direction of the optical axis as indicated by arrows in the figure.
  • the optical path length of the OCT measurement light and the optical path length of the reference light which change according to the eye E to be examined, can be adjusted within the coherence length.
  • the adjusted reference light and the return light of the OCT measurement light are combined by the optical coupler 234 and guided to the spectroscope 238 via the optical fiber 233 as interference light.
  • the spectroscope 238 is composed of a lens 239 , a lens 241 , a diffraction grating 240 and a line sensor 242 .
  • the interference light emitted from the optical fiber 233 becomes parallel light through the lens 239 , is dispersed by the diffraction grating 240 , and is imaged on the line sensor 242 by the lens 241 .
  • the optical members described above constitute an OCT light receiving optical system.
  • the line sensor 242 reads the spectroscopic interference light, generates a received light signal for forming an OCT tomographic image, and transmits this to the control device 120 every 20 microseconds.
  • a lens 218 and a fixation lamp panel 219 are provided in a fixation lamp optical path L4 formed in the reflection direction by using a beam splitter 210 using, for example, plain glass.
  • the fixation light panel 219 is, for example, a high-intensity organic EL panel, and is controlled by the control device 120 to display various patterns selected by the examiner at desired positions. A visible image of this pattern is presented to the subject's eye E and acts as a fixation light that prompts the subject's fixation.
  • a Mach-Zehnder interferometer may be used.
  • a Mach-Zehnder interferometer when the light amount difference is large, and a Michelson interferometer when the light amount difference is relatively small.
  • a spectral domain (SD) OCT apparatus is used, but a swept source (SS) OCT apparatus using a swept wavelength light source is also applicable.
  • a composite system of an SLO optical system and an OCT optical system is used as an imaging system, but the composite system is not necessarily required, and the present invention can be achieved by using only the SLO optical system or only the OCT optical system.
  • a configured imaging head is also applicable.
  • FIG. 1B is a block diagram showing the control configuration of the control device 120.
  • the control device 120 includes an image generation unit 121 , a storage unit 122 , a control unit 123 , an analysis unit 124 , an acquisition unit 125 and an instruction generation unit 128 .
  • the image generation unit 121 functions as image generation means for generating an image using a received light signal or the like, which will be described later.
  • the storage unit 122 functions as storage means for storing scanning information, received light signals, images generated by the image generation unit 121, and the like.
  • the control unit 123 functions as control means for controlling the imaging head 110, the image generation unit 121, and the storage unit 122, for example, in this embodiment.
  • the analysis unit 124 functions as an analysis unit that analyzes the control information of the control unit 123 and the image (data) generated by the image generation unit 121 to generate necessary information.
  • the acquisition unit 125 functions as acquisition means for acquiring necessary information from the analysis unit 124, the imaging head 110, the display unit 130, and the input unit 140, for example, in this embodiment.
  • the analysis unit 124 also incorporates an information extraction unit 126 that extracts information on the movement of the eyeball of the eye E to be examined and the movement of, for example, a vitreous opacified part in the eyeball, which will be described later.
  • the instruction generation unit 128 generates an instruction, which will be described later, such as prompting the subject to blink. etc.
  • Each component other than the storage unit 122 of the control device 120 can be implemented by a module or the like executed by a processor such as a CPU (Central Processing Unit) or MPU (Micro Processing Unit).
  • the processor may be, for example, a GPU (Graphical Processing Unit) or FPGA (Field-Programmable Gate Array).
  • each component of the control device 120 may be implemented by a circuit or the like that implements a specific function, such as an ASIC.
  • the storage unit 122 may be configured by an arbitrary storage medium such as an optical disk such as a hard disk or a memory, for example.
  • the control unit 123 outputs a control signal to each unit based on the control information generated by the analysis unit 124 and the program constituting each component of the control device 120 stored in the storage unit 122 to control the device.
  • Targets to be controlled include, for example, the imaging head 110 , the display unit 130 , and each unit in the control device 120 .
  • the control device 120 or the control unit 123 functions as display control means for causing the display unit 130 to display an application window or the like, which will be described later.
  • the description that the control unit 123 controls the control is omitted below.
  • the acquisition unit 125 acquires information necessary for device operation, image generation, and image analysis.
  • the information necessary for image generation and analysis includes, for example, light reception signals and video signals for generating images, information representing the state of the optical system for converting the light reception signals into image data, and the like.
  • the received light signal and the video signal include the output of the SLO photodiode 220, CCD 225, or line sensor 242, for example.
  • the information representing the state of the optical system for converting the received light signal into image data includes, for example, the scanning information of the SLO scanning means 214 and the OCT scanning means 226, which are the two scanning means of the imaging head 110.
  • the acquisition unit 125 further functions as a GUI by cooperating with the display unit 130 to acquire operation/instruction information of the examiner, or acquires operation/instruction information of the examiner input via the input unit 140. to get
  • the image generation unit 121 generates images (data) using the signals acquired by the acquisition unit 125, but can also generate moving images (files) from a plurality of images generated from the signals acquired continuously.
  • Images to be generated include, for example, an SLO image, a tomographic image, and an anterior segment image.
  • the storage unit 122 stores necessary information.
  • the stored information includes, for example, an SLO image, a tomographic image, an anterior segment image, an SLO moving image, a tomographic moving image generated by the image generating unit 121, and imaging parameters used for imaging the subject's eye. included. Further, the storage unit 122 also stores computer programs and the like prepared for configuring each component of the control device 120 as necessary information.
  • the analysis unit 124 includes an information extraction unit 126.
  • the information extraction unit 126 analyzes the image (data) generated by the image generation unit 121 and generates necessary information such as information on eyeball movement and information on movement of a site with vitreous opacity. Further, the necessary information includes, for example, control information used when controlling the optical system, additional information to be stored together with the image, and the like.
  • the controller 123 sends a scanning control signal, which is scanning information, to the SLO scanning means 214 to start scanning with the SLO measurement light.
  • a scanning control signal which is scanning information
  • Return light from the fundus of the subject's eye is converted into a received light signal by the SLO photodiode 220 .
  • the image generation unit 121 samples the received light signal, and sequentially stores the pixel values of the pixels corresponding to the respective scanning positions, which is the scanning information, in the storage unit 122 to generate one sheet of fundus front image data.
  • the analysis unit 124 analyzes the image data at different positions of the focus lens 215, thereby detecting the in-focus state.
  • the control unit 123 performs position control of the focus lens 215 based on the detection result of the in-focus state, thereby realizing adjustment control of the apparatus such as SLO autofocus adjustment.
  • the wavelength region of the SLO measurement light emitted from the SLO measurement light source 221 it is possible to generate and store a monochrome moving image, a color still image, and a color moving image. can.
  • a monochrome moving image using only infrared wavelengths.
  • blue, green, and red wavelength regions are exclusively sequentially output to obtain image data of each color, which are combined to generate a color still image, which is then displayed. Display is desirable.
  • the control unit 123 turns on the OCT measurement light source 229 and further sends a scanning control signal to the OCT scanning means 226 to start two-dimensional scanning of the fundus of the subject's eye with the OCT measurement light.
  • Interference light obtained from the return light of the OCT measurement light from the fundus is split by the spectroscope 238, converted into a light reception signal by the line sensor 242, and the acquisition unit 125 acquires it.
  • the image generation unit 121 generates image data in the depth direction (Z direction) of the fundus of the subject's eye by, for example, Fourier transforming the received light signal acquired by the acquisition unit 125 .
  • image data in the depth direction at a predetermined position is obtained.
  • Acquiring image data consisting of a one-dimensional luminance or density distribution in the depth direction in this way is called an A scan.
  • the OCT scanning means 226 scans the fundus of the eye to be inspected E with the OCT measurement light in a predetermined main scanning direction, and the A-scan is repeatedly performed to obtain a plurality of continuous A-scan images, thereby obtaining one tomographic image. can get.
  • control device 120 scans the OCT measurement light in the X direction, a tomographic image on the XZ plane is obtained, and if it scans in the Y direction, a tomographic image on the YZ plane is obtained.
  • Scanning the fundus of the subject's eye E in a predetermined main scanning direction to obtain tomographic data in the scanning direction is called a B-scan, and the resulting tomographic image is called a B-scan image.
  • a three-dimensional OCT image can be obtained by scanning in a direction orthogonal to the XZ plane or YZ plane of the B scan. Further, by repeatedly performing B-scans, it is also possible to record a tomographic image as a tomographic moving image. In any case, recording includes a series of reproducible images taken at close times different from moving images, and recording them continuously means recording, and displaying them continuously means reproduction. I can say.
  • FIG. 3(a) shows the main processing executed during inspection.
  • FIG. 3(b) shows detailed processing of preview and device adjustment performed in step S303 in FIG. 3(a) in normal OCT imaging.
  • FIG. 3(c) shows detailed processing of apparatus adjustment in the characteristic vitreous turbidity motion imaging mode (hereinafter referred to as VTM imaging mode) in this embodiment.
  • VTM imaging mode characteristic vitreous turbidity motion imaging mode
  • the vitreous body opacity site means, in the vitreous body of the eye E to be examined, opacity occurring in the vitreous body itself, floating matter in the vitreous body caused by retinal detachment or the like, and blood exuding into the eye. corresponds to a part consisting of In addition, it is used as a general term for regions that can be grasped as opacified regions in the vitreous body in observation of fundus images and tomographic images of the fundus.
  • the examiner Prior to examination, the examiner causes the display unit 130 to display an application window 400 illustrated in FIG. Then, using the tab 450 of the patient/examination selection screen, the patient/examination selection screen is selected, and the patient to be examined is input or selected from the screen. For example, in the case of a first visit, the examiner enters all necessary information such as the patient's name in the patient input box 451 . If it is a revisit, a patient is selected from the patient candidates retrieved and displayed in the patient list 452 corresponding to partial input. After completing the input or selection, the examiner presses the OK button 455 . In response to this depression, the flow moves to step S302.
  • the ophthalmologic imaging apparatus used in this embodiment has an OCT imaging mode for imaging a normal OCT tomographic image and a VTM imaging mode.
  • a moving object such as a vitreous opacity site that floats in the eye to be inspected, that is, in the vitreous body and moves relative to the retina of the eye to be inspected is imaged.
  • the examiner selects an examination mode to be performed by selecting either the OCT examination screen tab 410 or the VTM examination screen tab 430 of the application window 400 shown in FIG.
  • the application window 400 can display an SLO moving image 412 and an anterior segment moving image 413 together with an acquired OCT tomographic image 411, as illustrated in FIG. An OCT examination screen is displayed.
  • the control device 120 causes the display unit 130 to display the selected OCT examination screen, and initializes the imaging head 110 . That is, the control device 120 sets the fixation light panel 219 so that the center of the fixation light panel 219 is lit so that the line-of-sight direction of the subject's eye E is parallel to the optical axis of the objective lens 211 of the imaging head 110 . In addition, the control device 120 sets the focus lens 215 and the focus lens 227 to the focus lens position (OD position) corresponding to the subject's eye of normal vision, that is, 0 diopters.
  • ⁇ S311 Manual Alignment> Using a GUI such as a slide bar provided in the window of the anterior segment moving image 413, the examiner manually adjusts the XY position of the imaging head 110 so that a part of the pupil is captured by the anterior segment observation system. adjust. This adjustment may be performed by providing a separate operation button on the screen, or by using a mouse or the like to designate a point on the screen that is to be positioned at the center of the window. Furthermore, the imaging head 110 and the subject's eye E can be adjusted in the optical axis (Z) direction by operating the wheel of a mouse, for example. When the position where a part of the pupil is imaged is reached, the examiner presses the start button 414 to start auto-alignment.
  • the image generation unit 121, the control unit 123, the analysis unit 124, and the acquisition unit 125 in the control device 120 cooperate to start automatic alignment.
  • the analysis unit 124 analyzes the anterior segment moving image 413 acquired by the acquisition unit 125 and obtains the pupil center of the eye E to be examined.
  • the stage is driven so that the center of the pupil is brought closer to the center of the anterior segment moving image that coincides with the optical axis of the imaging head 110, and the position of the imaging head 110 in the XY directions is adjusted.
  • the positions of the imaging head 110 and the subject's eye E in the optical axis (Z) direction are adjusted based on, for example, intervals between corneal reflection images of a plurality of anterior segment illumination light sources (not shown). Both adjustments may be performed alternately in succession, or may be performed in parallel.
  • the control unit 123 shifts the flow to step S313.
  • step S313 the control unit 123 instructs the SLO measurement light source 221 to emit only infrared light, drives the SLO scanning means 214, and starts capturing (previewing) an SLO moving image.
  • the edges of the pupil of the subject's eye in the anterior segment image become sharp.
  • the pupil split by the split prism 223 provided on the anterior segment observation optical path L3 can be clearly observed.
  • the control unit 123 drives the stage to adjust the position of the imaging head 110 in the XY directions so as to be closer to the center of the anterior segment moving image, and adjusts the imaging head 110 so that the split amount of the split pupil becomes zero. position in the Z direction.
  • the control unit 123 shifts the flow to step S314.
  • step S314 the control unit 123 starts scanning the fundus with the OCT measurement light at the same time as starting acquisition of the SLO moving image. After that, when acquisition of an appropriate SLO moving image is confirmed, autofocus adjustment is started.
  • the characteristic of the confocal SLO that the output of the SLO photodiode 220, that is, the received light signal is maximized when the fundus is properly focused is utilized. Then, by monitoring the received light signal while driving the focus lens 215, so-called mountain-climbing AF system autofocus is performed to determine the focus position.
  • the sharpness of the image may be used instead of the magnitude of the received light signal.
  • the focus adjustment of the OCT optical system may be performed in parallel by interlocking the focus lens 227 of the OCT optical system. Further, focus adjustment may be performed manually, and in that case, it may be possible to operate using a GUI such as the focus switch 415 provided on the OCT examination screen.
  • the information extraction unit 126 calculates the movement of the fundus of the subject's eye from the generated SLO moving image.
  • the control unit 123 gives a driving instruction (for correcting the scanning position) to the OCT scanning means 226 so as to correct the movement, and causes the scanning position of the OCT measurement light to follow. This is so-called fundus tracking.
  • fundus tracking As a result, the movement of the subject's eye E is canceled in the OCT moving image, and an OCT tomographic moving image from which the influence of the subject's eye E's movement is eliminated can be obtained.
  • the control device 120 accepts the examiner's operation on the reference optical path length adjustment section 416 on the selected OCT examination screen. Then, the reference mirror 237 is driven according to the received operation, and the OCT reference optical path length adjustment is executed. As described above, the device adjustment in the preview state in S303 is completed, and the control unit 123 shifts the flow to step S304 in FIG. 3A.
  • ⁇ S304 Imaging &Confirmation> When the apparatus adjustment in the preview state is completed and the examiner presses the capture button 417, for example, the above-described B-scan is executed to capture an OCT tomographic image. After imaging is completed, a confirmation screen (not shown) may be displayed in order to display the captured tomographic image and confirm the tomographic image, and for example, an OK button and a re-capture button may be provided there. On such a confirmation screen, if the imaging result is OK, press the OK button to save the tomographic image. Become.
  • ⁇ S305 Analysis> When the analysis screen is selected by the tab 490 after capturing the OCT tomographic image, a screen for displaying the analysis result of the captured OCT tomographic image, such as the layer thickness of the retinal layer, is displayed. It should be noted that the analysis of the OCT tomographic image, the displayed content, and the like are the same as those of a general OCT apparatus, and thus the description is omitted here.
  • VTM imaging mode Next, details of processing performed in the VTM imaging mode, which is a feature of this embodiment, will be described. Most of the processing executed in the VTM imaging mode is the same as in the OCT imaging mode described above, and follows the flow described in FIG. 3(a).
  • the examiner selects a display screen using the tab 430 of the VTM examination screen. This opens the VTM inspection screen in the application window 400 illustrated in FIG.
  • step S303 Details of the processing performed in step S303 in the VTM imaging mode are shown in FIG. 3(c), for example. Note that in FIG. 3C, the processing performed from the manual alignment of S311 to the autofocus of S314 is the same as in the case of the OCT imaging mode, so the description is omitted here.
  • step S316 the examiner searches for an opaque site 432 in the vitreous while dragging a fixation lamp mark 431 displayed on the SLO moving image 412 with a pointing device such as a mouse.
  • step S317 Manual Focus> When the opaque site 432 is found, the examiner operates the focus adjustment switch 433 as necessary to adjust the position of the focus lens or the like so that the opaque site 432 is focused.
  • a laser adjustment switch 434 provided below the focus adjustment switch 433 is a switch for adjusting the laser power in the SLO measurement light source 221.
  • the examiner adjusts this to adjust the light intensity of the SLO measurement light so that the turbidity part 432 can be seen. set to a light intensity that is easy to use.
  • the selection of the light source since it is usually desirable to observe in a non-mydriatic state, it is also possible to select an IR laser by selecting the IR radio button.
  • the IR radio button Of course, after dilating the pupil of the subject's eye using a mydriatic agent, it is also possible to record in color using a visible light laser, in which case the Color radio button should be selected.
  • light in each wavelength region of blue, green, and red is exclusively sequentially output as measurement light, and image data of each color can be acquired.
  • a color still image may be generated by synthesizing the pixel values of each color frame thus obtained.
  • the control unit 123 causes the instruction generation unit 128 to issue a predetermined instruction to the subject.
  • the instruction generating unit 128 instructs the subject to make an advance announcement such as "Please blink when the chime sounds" via the speaker built into the imaging head 110 .
  • the instruction generation unit 128 instructs the speaker to continue to sound a chime as a predetermined instruction to encourage blinking, and the control unit 123 instructs the acquisition unit 125, for example, 8 second video recording is started.
  • the auto-alignment is temporarily stopped, and the end of blinking, that is, the opening of the eyelid (the luminance of the anterior eye image has decreased and the pupil has been observed) is detected from the video signal of the image for observing the anterior eye by the analysis unit 124.
  • the control unit 123 instructs restart of auto-alignment. Marking or the like is performed on the image frame at this time, and the timing is stored in the storage unit 122 in association with the image. Recording may begin at this point.
  • the blinking detection described above may of course be detection of the start of blinking, and may be performed by monitoring the SLO light receiving signal.
  • the examiner can reproduce the SLO moving image recorded here in order to confirm it. That is, when the recording ends, the GUI 436 and the like for performing operations after imaging, such as a play button, a play position specifying bar, etc., become active, and when the play button 436a is pressed here, the SLO moving image starts playing. Repeated playback is also possible by entering the number of repetitions in the Repeat text box. Also, by pressing a rewind button, it is possible to return to the start of playback and perform operations such as replay or pause. When the stop button 436b is pressed, the display screen returns to the fundus preview.
  • the playback position specifying bar 437 indicates the playback timing during the recording time of the image being played back, and it is also possible to specify the recording timing to be played back.
  • a chime mark 437a and a timing mark 437b above it indicate the time when the chime sounds and the time when the eyelid opens (the brightness of the anterior segment image decreases and the pupil is observed), respectively. can be used to determine the playback start point.
  • the original image may be processed and displayed so that the examiner can more easily observe the opacity site.
  • retinal movement cancellation processing is performed by canceling the movement of the retinal pattern that is the background when an opacity site is displayed
  • opacity enhancement processing is performed to emphasize and display the vitreous opacity in the original image. Processing such as reducing the contrast of the retinal pattern is conceivable.
  • These processes can be executed or selected, for example, by selecting a display screen from the tab 470 of the VTM settings screen in the application window 400 shown in FIG. 7 and via the display screen. More specifically, this is done according to selection by three check boxes in area 471 shown on the VTM settings screen.
  • step S801 Read out moving image>
  • the control device 120 reads the moving image to be analyzed from the storage unit 122 in step S801. Taking the case where there is opacity in the vitreous body as an example, as shown in FIG. Imaged as a shadow. After the moving image is read out, the flow moves to step S802.
  • the vitreous opacity site is a moving object corresponding to the retinal pattern.
  • a process of canceling the movement of the background retinal pattern is executed. Specifically, first, the analysis unit 124 uses one image of temporally adjacent frames as a reference frame to calculate the positional displacement amount of the retinal pattern between a series of frames caused by the eye movement. For the amount of positional deviation, for example, image comparison is performed while shifting the position of about 50% of the central portion (70% x 70% portion) of the target frame and the reference frame, and the positional deviation that maximizes the image correlation is determined. Just ask. Then, the position of each frame is adjusted using the obtained shift amount to generate a moving image in which the movement of the retinal pattern is cancelled. By performing such processing, it is possible to generate a moving image in which the relative movement of the moving object with respect to the movement of the retinal pattern is extracted while the influence of the movement of the retinal pattern is reduced.
  • an eyeball movement which is a movement of the retinal pattern, occurs in response to an announcement to the subject, and a moving image of the fundus of the subject's eye during this movement is acquired to identify the movement of the retinal pattern. Detecting moving objects that show different movements. However, since the movement of the retinal pattern may be too large at the start of the eye movement, it is advantageous to detect the displacement between frames by counting backward from the end of the recording when the eye movement is calm. . After the amount of positional deviation between frames is obtained, the flow moves to step S803.
  • step S803 the frame images aligned in step S802 are averaged to reduce the influence of the moving object and generate an image of a retinal pattern that can serve as a background. For example, in the present embodiment, assuming that the amount of relative movement of the moving body is relatively large, each frame is added and averaged to generate a retinal pattern that can serve as a background in which the contrast of the portion of the moving body is sufficiently reduced. are doing.
  • step S804 Generate label image>
  • the analysis unit 124 generates a difference image from each frame of the moving image generated in step S802 and the retinal pattern image generated in step S803.
  • the differential image is subjected to binarization processing to generate a label image that distinguishes between the area where the moving object exists and the retinal pattern that is the background.
  • noise processing such as appropriate threshold determination, minute area removal, missing area removal, and fill-in processing may be performed.
  • step S805 Enhancement Processing, S806 Suppression Processing> edges of this label image are detected as the moving object enhancement processing to be performed. Then, by changing the luminance value of the pixels corresponding to the edge portion of the moving image generated in step S802 in which the retinal pattern shift amount has been canceled, red, such as blue and green, which are often contained in the retinal pattern, is distinguished. Emphasize the edge of the moving object by adding an outline of a color that is easy to read. Note that the method for emphasizing a moving object is not limited to this, and for example, a hue may be added to an area labeled as a moving object.
  • step S806 processing for suppressing the display state of the background area, such as reducing the contrast of the background area or reducing the brightness of the background area, is performed.
  • the examiner can more clearly recognize the moving object in the image in which the moving object is superimposed on the retinal pattern. It is preferable that both the processing in step S805 and the processing in step S806 are performed, but if it is easy to grasp the moving object, only one of them may be performed.
  • step S805 when the examiner presses the playback button 436a, playback of the moving image is started.
  • the moving image is displayed after the series of processes described above has been performed before playback. These processes may be processed each time prior to video reproduction, or the results of the processes may be stored in the storage unit 122 for a predetermined number of days so that they can be reused.
  • step S807 When the moving object enhancement processing in step S805 and the retinal pattern image suppression processing in step S806 are completed, the flow proceeds to step S807.
  • step S807 Save moving image>
  • the moving image thus recorded is checked, and if the result is OK, the OK button 438 is pressed to save the moving image as the inspection result. If the expected image cannot be recorded, the recording start (REC) button is pressed again. In that case, the current recorded data and its image processing result are discarded and re-imaging is performed. At the time of this confirmation, if it is necessary to readjust the alignment or focus, or search for opacity again, the Start button is pressed again, and after returning the inspection procedure to step S312, readjustment and reimaging are performed. If OK is selected, the original image is saved and the next inspection can be performed.
  • step S304 in FIG. 3A in the VTM imaging mode is completed.
  • step S304 as processing executed when the recording start (REC) button 435 is pressed, an example of instructing the subject to blink by voice output by the instruction generation unit 128 is performed. showed that.
  • the mode of giving instructions to the subject is not limited to this, and may be performed by, for example, blinking the fixation light panel 219 or changing the lighting mode, or both may be performed together.
  • a voice instruction such as "Please blink once when the fixation lamp blinks (or deforms)" may be given to the subject.
  • step S304 as an operation instruction when the recording start (REC) button 435 is pressed, an instruction to blink is given to the subject by voice output or the like, and the eyeball is blinked.
  • An example has been given that causes movement.
  • the instruction content that causes the eyeball movement is not limited to blinking, and may be an instruction that guides the line of sight by moving the position of the fixation lamp.
  • a mode using this movement of the fixation lamp is also prepared.
  • the voice instruction mode in Modification 2 can be specified by switching the radio button Blink/Fixation provided above the recording start (REC) button, for example.
  • the control device 120 moves the presentation position of the fixation light displayed on the fixation light panel 219 to induce eye movement.
  • the imaging head 110 captures an image of the subject's eye E that performs eye movement, and captures and stores the SLO moving image displayed on the display unit 130, that is, starts recording. Thereafter, after recording for a fixed time of, for example, 5 seconds, the recording is stopped at step S304 in the flowchart shown in FIG. 3(a). Since observation of the anterior segment continues during this time, the start and end of eye movement may be detected from the video signal, and the start and end of recording may be controlled using the detection results.
  • the operation of each part and the state of the moving object at this time are shown as a timing chart in Fig. 9(c).
  • the timing chart shows, from top to bottom, the audio output channel, the X coordinate value in the horizontal direction of the fixation light, the relative velocity V of the moving center of gravity position with respect to the retinal pattern, and the recording state. Show progress. Further, here, as an example of how to move the fixation lamp presentation position, the presentation position is moved laterally from the original position on the optical axis, which is the initial position shown in FIG. 9(a), as shown in FIG. It is moved 3 mm in the (X direction). Then, after the video recording is finished, the fixation lamp is moved so as to slowly return from the moved fixation lamp presentation position to the initial presentation position.
  • the recording start (RCE) button 435 When the recording start (RCE) button 435 is turned on, as described above, for example, "When the chime sounds, the fixation light will move. When the fixation light moves, immediately follow its movement.” A preliminary announcement is output from the speaker, and a chime is output after one second. When the chime ends, the fixation light moves from the presentation position shown in FIG. 9A to the presentation position shown in FIG. 9B in about one second. Accompanying this movement of the fixation lamp presentation position, an eye movement occurs in the subject's eye following the fixation lamp, and along with this, the center of gravity of one of the moving bodies, for example, one of the vitreous opacity sites, starts to move. .
  • This movement is accompanied by a predetermined lag time when liquefaction of the vitreous is advanced. Therefore, since the relative position of the opacified region with respect to the retinal pattern moves in the direction opposite to the moving direction of the retinal pattern (that is, the direction of eyeball movement), the relative velocity temporarily has a negative velocity.
  • the opacified part starts to move in the direction of eyeball movement, but even after the fixation lamp stops at the presentation position shown in FIG. Keep moving fast. Then, after 3 to 6 seconds, the vehicle decelerates and becomes almost stopped. In other words, the vitreous region is induced to move by the motion of the background retinal pattern, but the motion is different from the motion of the retinal pattern. In this embodiment, recording is continued for 7 seconds from the start of movement of the opacified site, and then stopped.
  • eye movement induction is not limited to one time, and can be repeated a predetermined number of times.
  • a return announcement such as "the fixation lamp will return slowly” is made, and after the video recording is stopped, the presentation position of the fixation lamp is slowly returned to the original position over about 4 seconds. Then, for example, just before the standby time of 3 seconds ends, the second chime is output, and the recording is restarted, repeating the measurement cycle.
  • a fixation movement area 472 displays changeable parameters for fixation lamp movement.
  • the parameters of the movement of the fixation lamp include movement direction (up, down, left, and right can be selected by pointing arrows), movement amount (designated by converted distance on the retina), number of repetitions, duration of repetition, and the like.
  • a GUI for setting these parameters is provided in area 472 .
  • the Announcement area 473 is provided with a GUI for designating whether or not there should be a cue or a voice announcement when an instruction to blink or an instruction to move the fixation lamp is issued.
  • the examiner may be allowed to freely change various parameters in addition to such simple individual parameter settings for the direction of fixation light movement, number of repetitions, and recording duration. Furthermore, a selectable sequence for performing inspection using a plurality of appropriate parameters may be prepared, and the examiner may select from among the options.
  • the recording time of the SLO moving image was set to a predetermined fixed time, but it is also effective to set it so as to wait until the motion of the opacified part accompanying the induced eye movement subsides.
  • the analysis unit 124 should confirm that the movement of the opacity site has stopped. This is performed, for example, by calculating a variation parameter relating to changes in the SLO moving image, such as the sum of pixel value variations between consecutive frames of the SLO moving image, and realized by the control unit 123 monitoring this variation parameter. can.
  • an upper limit time for example, 10 seconds
  • an upper limit time for example, 10 seconds
  • the displacement amount obtained in step S802 in the flowchart of FIG. 8, that is, the retinal pattern movement amount and the movement of the fixation lamp presentation position may be compared.
  • step S305 When recording of the moving image is completed in step S807, the flow moves to step S305, and analysis processing regarding the moving object (turbidity site) is executed. At that time, as shown in FIG. 10, after performing analysis processing on the stored moving image, an analysis screen displaying the state of the moving object highlighted for easy confirmation together with the analysis result is displayed on the display unit 130. is activated in The analysis processing performed here will be described below using the flowchart of FIG. 11 .
  • the analysis unit 124 first performs the series of processes shown in FIG. Specifically, the original image is read in step S801, and the image processing described above is performed in steps S802 to S804 to generate a label image. Of course, if it is stored, it goes without saying that the analysis of the moving object labeled with the label image can be started. The analysis unit 124 performs the following processes in subsequent steps S811 to S813.
  • the SLO moving image to be analyzed is a moving image in which the motion of the retinal pattern, which is the background, is canceled. Therefore, the trajectory determined here is a two-dimensional relative position with respect to the fundus of the subject's eye, and the velocity calculated based thereon is also a two-dimensional relative velocity.
  • the relative velocity calculated in this embodiment refers to the projection component in the direction of the induced eye movement. It should be noted that this may be a simple projection in the indicated direction, or the direction of the sum vector or the direction of the average vector of actually occurring eye movement vectors may be used.
  • the object of analysis is not limited to such relative velocity, and the absolute value change of velocity may be used as the object of analysis, or the apparent velocity of the moving body may be used instead of the relative velocity with respect to the retinal pattern.
  • these analysis targets may be prepared so as to be switchable, and may be used by switching them as appropriate.
  • the indicators related to the velocity of these moving bodies can be used as indicators representing the fluidity of the vitreous.
  • the velocity calculated for each frame that is, as a function of time, was used as an index representing this fluidity. good too.
  • statistics such as average speed and variance over recording time, or speed waveforms at each time may be calculated. That is, at least two frames taken at different times are required to obtain the dynamics of the moving object. Such statistical analysis processing will be described later in detail.
  • the index and calculation method representing liquidity are not limited to this. Acceleration may be the target, or changes in the direction of movement may be quantified.
  • the ratio of this relative speed to the moving speed of the retinal pattern may be taken with respect to the movement of the moving body caused by the movement of the eyeball caused by the movement of the fixation lamp.
  • other feature values of the moving object are also obtained.
  • Other feature quantities include, for example, the average observed area and average observed density over the recording time of each moving object, and furthermore, the hue and each amount of variation can be included. From these parameters, it is possible to understand the state of the moving object, and if the moving object is an opacified part of the vitreous body, it can be used to suitably determine the effect that it has on vision.
  • FIG. 10 an example of an analysis screen selected by the tab 490 for confirming playback of the analysis result and the stored moving image will be further described.
  • a case of analyzing a moving image in which the movement of the moving object caused by the guidance of the line of sight by the fixation lamp shown in Modification 2 is recorded will be described.
  • a moving image to be analyzed is displayed as the SLO moving image 412, and a GUI display area 492 for controlling playback of the moving image is prepared under the display area.
  • This display screen also has a group of playback control buttons 493, a group of image processing control check boxes 494, and a group of seek bar displays 495 for setting conditions for playback.
  • the playback control button group 493 is a button group for controlling playback operations such as playback, stop, pause, and playback from the beginning.
  • the image processing control check box group 494 works the same as the three check boxes shown on the VTM settings screen shown in FIG.
  • the seek bar in the seek bar display group 495 indicates the current playback position in a series of captured moving images, and moves rightward on the page according to the playback of the moving image, and the playback position can be changed by operating the slider. .
  • a speed graph of the moving object to be analyzed is displayed, and the time axis is aligned with the corresponding video playback position.
  • the dashed-dotted line on the graph is a marker indicating the current playback timing, and together with the graph display, it is possible to grasp the timing of the current playback.
  • the chime mark 437a drawn on the horizontal axis of the graph indicates the time point at which the chime sounds, which is the same as the mark on the display screen displayed on the VTM inspection screen in FIG. It is made to coincide with the start timing of the movement of the fixation light. Note that the check boxes on the upper right of each graph will be described later.
  • the moving body to be analyzed can be selected by clicking the moving body ID number 491 displayed on or near the moving body drawn in the SLO moving image 412 or by using the analysis target switching pull-down menu 496.
  • This selection result is indicated by, for example, a form in which the outer periphery of the moving object is emphasized (referring to the moving object whose moving object ID number is 1), or by displaying the moving object in a different color, as shown in FIG. be In the vicinity of the analysis object switching pull-down menu 496, the analysis result of the motion of the selected moving object is displayed.
  • the average speed graph 497 shows the average speed change of the speed graph for which the check box on the upper right of the graph on the seek bar is checked.
  • the average speed graph 497 represents a typical movement of the mobile object to be analyzed.
  • a plurality of speed graphs may be superimposed such that the chime output, that is, the timing of the start of movement of the fixation lamp, coincides.
  • a plurality of velocity graphs may be combined so that the rises of the observed velocities match, and may be switchable with the previous superimposed graph.
  • Floating period A period during which movement continues at a substantially constant speed after the movement of the moving object has started after eyeball movement has started. In this embodiment, for example, it is defined as a period from when the observed speed rises to 90% of the maximum speed and then decreases to 80%.
  • Tail period A period after the end of the floating period in which the speed of the moving object gradually decreases. In this embodiment, for example, it is defined as a period until the speed becomes 10% or less of the maximum speed.
  • Movement delay time Defined as the delay time from the bell mark (fixation lamp movement start time) to the floating period start time.
  • Moving object velocity parameter Average velocity VAve. of the moving object selected for analysis during the floating period. , the maximum speed VMax, and the reduction ratio RDecel. etc.
  • Moving body feature parameter average observation area SAve. , the average observed concentration DAve. etc.
  • a fixation lamp movement parameter 480 may be displayed. As the movement parameters, for example, the same items as those in the Fixation movement area 471 in the VTM settings screen can be displayed.
  • the examiner can switch the analysis target and confirm the analysis result.
  • this analysis and display of the analysis results can also be performed on moving images that have been recorded and stored in previous examinations.
  • selection of examinations and moving images is performed, for example, by tab 450 shown in FIG.
  • a desired inspection/moving image 454 may be selected from the list 453 . Since such processing is generally performed in a general ophthalmologic examination apparatus, detailed description is omitted here.
  • the moving object is extracted by creating a differential image between each series of frames and the background image (background subtraction method).
  • the extraction method is not limited to the background subtraction method.
  • it may be based on the optical flow calculation result by block matching or the like, and the inter-frame subtraction method detects a moving object from the AND of the differences of three or more frame images. It is also possible to use the results obtained by
  • Modification 3 a block matching method (also called a region-based method), which is one of the methods for obtaining optical flow, is adopted, and a moving object is detected using template matching. Specifically, one of two temporally adjacent images is set as a target image and the other is set as a reference image, and it is determined to which position in the target image a pixel at a predetermined position in the reference image has moved. More specifically, for example, a square small area centered on a predetermined pixel of the reference image, ie, a partial image, is used as a template block, and a template block is formed centering on a predetermined pixel position of the reference image.
  • a block matching method also called a region-based method
  • the degree of matching between both images can be checked by looking at the sum of the absolute differences or the correlation between the images. To shorten the calculation time, the calculation can be terminated when the value obtained by adding the residual error exceeds a certain threshold.
  • the method for obtaining the optical flow may be not only the block matching method but also the residual sequential test method with lower calculation cost, for example.
  • the moving image read in step 801 in the flow of FIG. 8 or FIG. 11 can be used as the target moving image for which the optical flow is to be obtained. That is, according to this modified example, it is possible to obtain the label image in step S804 by using the moving image in which the movement of the retinal pattern is not canceled without performing the processing in the following steps S802 and S803.
  • a moving object such as a vitreous opacity site that is the subject of analysis in this modified example moves differently from the movement of the background retinal pattern.
  • the moving object occupies a relatively small proportion of the entire screen, most of the optical flow of each pixel calculated in adjacent image pairs has a substantially uniform direction and magnitude corresponding to the movement of the retinal pattern caused by eye movement. have. Therefore, by recognizing a pixel in which a flow of a direction or magnitude that can be separated from this is recognized as a pixel constituting a moving object, identification of the moving object can be performed. Of course, this separation is not observed during the time period when the object moving object moves almost the same as the movement of the retinal pattern, so it is not always possible to separate the moving object.
  • the target image may be a moving image obtained by canceling the movement of the retinal pattern obtained in step S802, and the label image may be generated for this moving image.
  • the optical flow of the pixels, which are the retinal pattern is almost at the 0 level, so the search for the position where the degree of matching of the images is the highest converges within a narrower range. Therefore, not only can the search time be shortened, but instead of the above-described separation work performed by analyzing the direction and magnitude of the optical flow of each pixel, a simpler binarization process based on the magnitude of the flow can be used. It is possible to easily separate and identify moving objects. In this case, it is also possible to greatly reduce the amount of calculation by manually designating the existence range of the target moving object in advance.
  • Modification 4 shows an example of calculating an optical flow to detect a moving object, but as Modification 4, as described below, it is also useful to use an inter-frame difference method using three adjacent images. be.
  • the processing performed in this modified example is also basically the same as the processing shown in FIG. 8 or FIG. That is, after reading a moving image in step S801 and generating a moving image in which the movement of the retinal pattern is canceled in step S802, the following processing is executed in the next step of generating a label image in step S804.
  • N be the frame image from which the moving object is to be extracted and identified
  • N ⁇ 1 and N+1 be the images before and after it.
  • differential images ND1 and ND2 which are differential images of image N-1 and image N, and image N and image N+1, respectively, are created, and subjected to threshold processing to obtain binary images.
  • the moving object in the image N can be extracted or identified by performing AND processing of two binary images and taking out the common area of both. Then, based on the result, a label image that identifies the area where the moving object exists and the retinal pattern as the background is generated.
  • the subsequent processing is the same as the processing described in the first embodiment, the subsequent description is omitted.
  • the selection of images before and after this may not only target images of adjacent frames, but may also use images of frames that are separated by a predetermined time according to the moving speed of the moving object. Furthermore, it is conceivable to improve the extraction of the moving object by combining them in a timely manner.
  • the threshold used for binarization may reflect the variance of luminance values in images of a plurality of frames during a predetermined period in the past.
  • the ophthalmologic imaging apparatus includes the imaging head 110, the image generating means (image generating section 121), the storage means (storage section 122), and the means for detecting the movement of the subject's eye. (control unit 123) and extraction means (information extraction unit 126).
  • the imaging head has a measurement light source (221, 229), a scanning optical system (214, 226), and a light receiving optical system (220, 238).
  • the measurement light source emits SLO measurement light (or light for obtaining OCT measurement light).
  • the scanning optical system scans the inside of the eye to be inspected with the measurement light according to predetermined scanning information.
  • the light-receiving optical system receives the return light of the measurement light from the eye to be inspected and generates a light-receiving signal.
  • the image generating means can generate an image by specifying, for example, the position where the light receiving signal is acquired in the subject's eye based on the scanning information, and converting the light receiving signal corresponding to the specified position into luminance information or the like.
  • the storage means stores a plurality of images of the same kind relating to the same subject's eye, which are images generated by the image generating means.
  • the image to be stored is, for example, the movement of the subject's eye in response to voice instructions, or the movement that exceeds a predetermined threshold when the movement of the subject's eye is detected (unique movement such as vitreous opacity can be detected).
  • An image obtained under a predetermined motion such as Further, the same type of image includes, for example, a fundus front image and a fundus tomographic image.
  • the means for detecting the movement of the subject's eye detects the movement of the subject's eye by comparing a plurality of stored images obtained from the same subject's eye. In the eye of the subject, particularly in the vitreous body, there are moving bodies such as vitreous opacities. Because it floats in the vitreous body, it moves differently from the subject's eye.
  • the extraction means uses at least two of the images stored in the storage means to extract information about the moving object.
  • the above-described ophthalmologic imaging apparatus can further include instruction generation means (instruction generation unit 128) that issues an instruction to the subject to induce movement of the eye to be examined.
  • instruction generation means it is possible to have audio output means such as a speaker, a chime, or the like, which generates an audio instruction to the subject to induce blinking of the subject's eye.
  • the sound output means is provided in the imaging head 110. However, it may be provided in the examination room, for example, and the control unit 123 may instruct it by communication or the like. can also be placed in As described above, the detection of the predetermined movement of the eye to be inspected is performed from the image.
  • the image after the instruction is used for moving object detection. It can also be an image.
  • the movement of the subject's eye can be detected not only based on the image but also based on the received light signal. For example, the movement of the subject's eye can be detected based on the movement of the peak position of the received light signal, the movement of the boundary position that is considered to form an edge during image generation, and the like.
  • the imaging head can further include a fixation light presenting means (fixation light panel 219) for presenting a fixation light at a predetermined position for guiding fixation of the subject's eye.
  • the instruction generation means can also generate an instruction to the fixation light presentation means to move the presentation position of the fixation light in order to induce movement of the subject's eye.
  • the instruction generating means can repeat the various instructions described above a predetermined number of times. Note that the above-described means for detecting the movement of the subject's eye may detect the movement of the subject's eye based on the received light signal.
  • the above-described ophthalmologic imaging apparatus can further include blink detection means for detecting blinking of the subject's eye as one of movements of the subject's eye.
  • the blink detection means for example, means for imaging the anterior segment of the subject's eye (anterior segment observation optical system) of the imaging head 110 can be used. In this case, the start of movement of the subject's eye can be detected based on the image acquired by the imaging means.
  • the storage means can associate and store the image generated by the image generation means and the detected movement of the subject's eye.
  • the above-described ophthalmologic imaging apparatus can further include display control means (control section 123) that controls the connected or integrated display means (display section 130).
  • the display control means can further cause the display means to repeatedly display a moving image generated using a plurality of images based on the received light signals that are temporally successively acquired.
  • the ophthalmic image processing apparatus includes acquisition means (acquisition unit 125) and extraction means (information extraction unit 126).
  • the acquiring means acquires a plurality of images of the same type of the same eye to be examined obtained at different times, and the extracting means extracts the images relative to a background image such as a retinal pattern in the plurality of images.
  • An image of a moving body such as a moving vitreous body opacity site is extracted.
  • the background images should be obtained for at least two of the plurality of images, and the image of the moving object should also be extracted from these at least two images.
  • the ophthalmologic image processing apparatus can further include display control means (control section 123) for superimposing the image of the moving object on the background image and displaying the image on the display means (display section 130).
  • the acquisition means described above may directly acquire the fundus front image generated from the imaging head 110 of the ophthalmologic imaging apparatus and the scanning information of the SLO measurement light, and the image generated by these and stored in the storage unit 122, for example. You may acquire the fundus frontal image of the past which was carried out.
  • the imaging head 110 includes a measurement light source that emits measurement light, a scanning optical system that scans the inside of the subject's eye with the measurement light according to predetermined scanning information, and a measurement light that returns from the subject's eye. a light-receiving optical system for receiving light and generating a light-receiving signal. Then, the image generation unit 121 generates a plurality of images based on the light receiving signal and the scanning information obtained from the imaging head 110 and stores them in the storage unit 122 .
  • the above-described ophthalmologic image processing apparatus can extract a moving object from a color image, and can display a background image on which the image of the moving object is superimposed on the display unit 130 as a color image.
  • the measurement light source can radiate a plurality of measurement light beams having different wavelength ranges in the imaging head during image acquisition.
  • a plurality of images to be extracted of the moving object are images configured by synthesizing pixel values corresponding to respective wavelength regions of the plurality of measurement lights.
  • this embodiment may constitute an ophthalmologic imaging apparatus including an image processing device (analysis unit 124) and an imaging head 110 or the like that provides a plurality of images to the image processing device.
  • the above-described embodiment can also be understood as a control method for controlling an ophthalmologic imaging apparatus.
  • This control method uses predetermined scanning information for scanning the inside of the eye to be inspected with the measuring light, and a received light signal obtained by receiving the return light of the measuring light from the eye to be inspected. and generating an image (image generation processing in step S304). Then, the plurality of images that are continuously acquired and generated are stored as moving images in the storage unit 122 (the process of storing the generated images in step S304).
  • the stored moving image is read in step S801, and the movement of the subject's eye is detected based on the image in step S802. After the movement of the subject's eye is detected, in step S804, information about a moving object such as a vitreous opacity site is extracted from the read moving image or the like.
  • This ophthalmologic image processing method includes step S801 of acquiring a plurality of images, and step S804 of extracting an image of a moving object that moves relative to a background image from the plurality of images.
  • the plurality of images may be obtained directly from the ophthalmic imaging device with individual images forming a moving image, or from moving images stored as data.
  • the background images may be obtained for at least two of the plurality of images, and the image of the moving object may also be extracted from these at least two images.
  • the plurality of images are images of the same subject's eye obtained at different times, and are composed of images of the same type, such as fundus images or fundus tomographic images.
  • images of the same type such as fundus images or fundus tomographic images.
  • an image of a retinal pattern is exemplified as a background image.
  • a vitreous opacity region that is a moving object moves relative to the retinal pattern when the subject's eye moves, and is identified and extracted as a label image in step S804, for example.
  • a step S803 of generating a background image from a plurality of images can be further included in the plurality of images.
  • a retinal pattern image serving as a background is generated in the plurality of images by correcting the positional deviation of the plurality of images.
  • a background image can be obtained by averaging a plurality of images corrected for positional deviation.
  • step S803 for extracting the moving object described above can also be performed by calculating the optical flow described in the third modification.
  • a calculating step of calculating the flow is performed. An image of the moving object is then extracted based on this calculated optical flow.
  • a moving object can be extracted by generating a differential image between each of the series of frames and the background image. That is, step S803 can include generating a difference image between the background image and the plurality of images. Then, the moving object is extracted based on the generated difference image.
  • the step S803 of extracting a moving object can also be performed by using the inter-frame difference method described in the fourth modification. In this case, when extracting the moving object, a step of generating a differential image between at least three images among the plurality of images corrected for positional deviation, and a step of extracting the moving object based on the generated differential image. done.
  • the moving object extracted as described above is displayed by superimposing the image of the moving object on the background image (retinal pattern), for example, in the manner illustrated in FIG.
  • the image of the moving object may be emphasized with respect to the background image (retinal pattern), for example, processing for emphasizing edge portions, processing for changing color tone, and the like may be performed.
  • processing for emphasizing edge portions, processing for changing color tone, and the like may be performed.
  • the above-described ophthalmologic image processing method can further include at least one of steps S812 and S813 of measuring the feature amount of the moving object based on the image of the moving object.
  • the measuring step it is possible to measure the amount of relative movement of the moving body and calculate the relative velocity based on the measured amount of relative movement.
  • images of moving objects can be extracted for a plurality of images of moving objects. When the images of a plurality of moving bodies are extracted, it is desirable to calculate the relative velocity by setting a representative point for each of the images of the plurality of moving bodies and calculating the relative velocity for the representative points.
  • step S813 for measuring the feature amount of the moving object at least one of the size, density, and hue of the image of the extracted moving object can be measured.
  • the above-described images of the same type include either a front image of the fundus of the subject's eye or a tomographic image of the fundus.
  • the moving image targeted in the VTM imaging mode was the SLO moving image captured by the SLO optical system of FIG.
  • the ophthalmic imaging apparatus used in the first embodiment also has an OCT optical system. Therefore, even in the VTM imaging mode, an OCT moving image can be imaged in parallel.
  • an OCT moving image is used as a target for extracting a moving object in the VTM imaging mode.
  • the ophthalmologic imaging apparatus used in this embodiment is the same as the ophthalmologic imaging apparatus described in the first embodiment, so description thereof will be omitted here.
  • FIG. 12 is a flow chart of the processing executed for the preview and device adjustment executed in the second embodiment, but the processing executed up to step S317 is the same as that shown in FIG. ) is the same as the processing up to step S317. Therefore, description of the processing up to step S317 is omitted here.
  • the examiner After performing manual focusing in step S317, the examiner further prepares for OCT imaging using the VTM examination screen according to the present embodiment shown in FIG. 13A.
  • FIG. 13A shows a VTM inspection screen selected by tab 430 as an example with such a switch added. Note that the focus adjustment switch 433, the laser adjustment switch 434 below it, and the like are prepared on the VTM inspection screen as in the first embodiment. The examiner operates the focus adjustment switch 433 to adjust the focus on the opacified region 432 .
  • a drop-down menu prepared next to the OCT check box 441 is used to select the number of B-scan scans, and in this embodiment, 1, 3, 5, and 7 are presented in advance. The examiner selects an appropriate number of B-scans from among these. In the following description, an example in which three B-scans are selected will be described.
  • a scanning line mark 442 indicating the OCT scanning region is displayed in the SLO moving image 412, and scanning of the fundus with the OCT measurement light is started.
  • the initial values of the scanning information for OCT moving image capturing are, for example, three scanning lines, a scanning line interval of 0.5 mm, and the center of the central scanning line being positioned at the center of the SLO moving image 412. and Then, the OCT measurement light is scanned in the direction of the eyeball movement induced by the instruction to induce the eyeball movement.
  • the examiner can adjust the scanning conditions by manipulating the scanning line marks 442 . For example, dragging near the center of the scanning line mark 442 sets the scanning position, dragging the end point sets the scanning width, and operating an angle adjustment marker (not shown) that appears when the mouse is over the scanning line mark 442 sets the scanning angle. It may be adjustable. By adjusting the scanning conditions in this way, it is possible to set the scanning conditions so that the scanning line mark 442 covers the trajectory of the vitreous opacity site 432 that is assumed. After that, the examiner switches the display switching radio button 443 provided next to the anterior segment moving image 413 from Anterior to OCT, and confirms the OCT tomographic image.
  • FIG. 13B shows the VTM examination screen in which the display of the anterior segment moving image 413 is switched to the display of the OCT tomographic moving image 444 by switching the display switching radio button 443 .
  • a tomographic image displayed in the OCT tomographic moving image 444 is a tomographic moving image in a scanning line whose number is designated by a spin box provided below the display switching radio button 443 .
  • a vitreous opacity site 432 displayed on the SLO image is displayed like a tomographic image 445 of the vitreous opacity site on the OCT tomographic moving image 444 .
  • the scanning line on which the tomographic image is displayed in the scanning line mark 442 is displayed so as to be identifiable by, for example, displaying it as a thicker line than the other scanning line marks 442 or using a different color.
  • the apparatus adjustment in the preview state which is the process performed in step S303, is completed. After completion of device adjustment, the flow moves to step S304.
  • the process executed when the recording start (REC) button 435 is pressed is similar to the process executed in the first embodiment described above.
  • the instruction generation unit 128 issues an instruction to induce eye movements to the examinee.
  • the instruction for example, a warning announcement "Please blink when the chime sounds" is output, and after the chime prompting blinking, recording of a moving image for, for example, 8 seconds is started.
  • the OCT measuring light scans scanning lines displayed as scanning line marks 442 repeatedly in sequence, and a tomographic image is also recorded as a moving image in parallel with the SLO layer image.
  • the recorded SLO moving image and OCT moving image can be checked by pressing the playback button 436a and playing back the recording, as in the first embodiment. Also, in this embodiment, the reproduction of the OCT moving image and the SLO moving image are synchronized. At the time of reproduction, repeated reproduction, rewinding, pause, etc., which were possible in the first embodiment, are also enabled in this embodiment.
  • the original image when reproducing the moving image, in addition to reproducing the original image as it is, the original image is displayed after image processing so that the examiner can more easily observe the opacified part. We are doing what we can.
  • This also applies to the reproduction of OCT moving images in this embodiment. Specifically, in addition to the original image reproduction that reproduces the original image as it is, the reproduction can be performed by performing the above-described retinal movement cancellation processing, opacity enhancement processing, contrast gradual reduction processing, and the like.
  • the retinal movement canceling process is a process of canceling the movement of the retinal pattern, which is the background
  • the opacity enhancement process is a process of emphasizing and displaying the vitreous opacity in the original image.
  • the gradual reduction of contrast is a process of reducing the contrast of the retinal pattern, which is the background.
  • the analysis unit 124 uses one temporally adjacent frame image as a reference frame to calculate the amount of displacement of the tomographic images between a series of frames caused by eye movement. For the amount of positional deviation, for example, image comparison is performed while shifting the position of about 50% of the central portion (70% x 70% portion) of the retinal tomographic portion of the target frame and the reference frame, and the image correlation is maximized.
  • the position of each frame is adjusted using the obtained shift amount to generate a moving image in which the movement of the retinal pattern is cancelled.
  • steps S803 to S806 in the first embodiment are similarly executed in the tomographic moving image in the present embodiment. That is, each frame image is averaged to generate a tomographic image that is less affected by the moving object and can serve as a background. A label image identifying the retinal pattern is generated. Similar processing may be performed for the processing for emphasizing the moving object, the processing for reducing the contrast of the background region, and the like.
  • the selection method for reproducing moving images is also the same as in the first embodiment.
  • the display switching radio button 443 is used to switch the display from the anterior segment moving image 413 to the OCT tomographic moving image 444 .
  • the OCT tomographic moving image 444 is automatically switched to when the operation should be performed while viewing the OCT tomographic image.
  • the display may be configured to switch automatically.
  • Such an operation corresponds to, for example, the scanning line mark 442, the operation of the reference optical path length adjustment unit 416, or the reproduction of a moving image.
  • the display may be automatically switched to the OCT tomographic moving image 444 when the positional alignment is appropriately performed by auto-alignment and the amount of positional deviation is within the allowable range. Furthermore, it is also useful to be able to switch the display positions of the SLO moving image and the OCT moving image during playback.
  • Modification 2 The ophthalmologic imaging apparatus used in this embodiment analyzes the movement of a moving body, such as a vitreous opacity site recorded in a video that has been recorded and confirmed, that moves differently from the tomographic image of the subject's eye observed as a background. Has an analysis function. However, such an analysis is not performed for vitreous opacity sites and the like, and simple observation of moving objects in the vitreous is considered useful in eye examination. In Modified Example 2 described below, an example of such a moving object as an observer will be described.
  • the movement of the retinal pattern and tomographic image is canceled and the moving object is extracted by performing post-processing on the recorded moving image.
  • the processing for canceling the movement of the retinal pattern and the tomographic image is performed based on the tracking processing that is being performed during imaging.
  • fundus tracking is performed in step S314 of FIG. 3(b) and the like.
  • the information extraction unit 126 processes the SLO moving image generated by the image generation unit 121 to calculate the movement of the fundus of the subject's eye.
  • the controller 123 gives a driving instruction to the OCT scanning means 226 so that the OCT measurement light follows the movement of the eye E according to the calculation result.
  • the controller 123 controls the SLO scanning means 214 so that not only the OCT measurement light but also the SLO measurement light follow the movement of the subject's eye.
  • provisional measurement may be performed once before the main measurement, and a retinal pattern image that may serve as a background may be generated in advance based on the data.
  • the retinal pattern image and the real-time image captured in the main imaging are calculated and aligned in real time, and the image after alignment may be displayed.
  • the examiner can repeatedly reproduce and confirm the recorded behavior of a moving object such as a vitreous opacity site. Furthermore, by highlighting this, the behavior of the vitreous opacity site can be observed independently of the eye movement.
  • the ophthalmologic image processing apparatus uses the detection means (control section 123 that executes step S314) and the means (control section 123) that controls the scanning optical system (SLO scanning means 214) to perform movement.
  • the detection means detects the movement of the fundus of the subject's eye based on the plurality of images acquired for tracking.
  • means for controlling the scanning optical system controls the scanning optical system to correct the scanning position of the measurement light so as to reduce the detected movement.
  • the background image is preferably obtained with the scanning position of the measurement light corrected.
  • FIGS. 14(a), 14(b), and 14(c) show three tomographic images obtained by scanning different scanning lines arranged at arbitrary intervals with the measurement light.
  • Moving objects 445a, 445b, and 445c shown in each tomographic image indicate moving objects identified in each tomographic moving image.
  • the identified moving body can be judged as one moving body having contours on, for example, three slices, as shown in FIG. 14(d). Therefore, the shape can be defined by a polygon model whose contour points are the intersections of the contour and the grid of the B-scan cross section with a predetermined pitch. Also, a wire frame model can be formed by, for example, spline interpolation or the like, and the rough shape of the three-dimensional moving body can be estimated. Further, the feature amount of the moving object may be calculated using the estimated shape.
  • the number of slices is small, these processes are not so useful, and it is more important to grasp the positional relationship between the moving object and the retina.
  • the examiner can switch the moving object to be analyzed and confirm the analysis result for each moving object.
  • FIG. 15A shows an example of a method of displaying an OCT moving image on the analysis screen of this modified example.
  • a button 501 for opening the OCT moving image window is displayed on the left side of the SLO moving image 412 on the analysis screen.
  • a pop-up window 502 for displaying an OCT moving image opens, and a scanning line mark indicating the scanning position where the OCT imaging was performed on the SLO moving image 412. 442 is displayed.
  • the playback operation of the OCT moving image is always synchronized with the playback operation of the SLO moving image, and the playback conditions and the like can be controlled using the playback control button group 493, the image processing control check box group 494, the seek bar display group 495, and the like.
  • each B-scan moving image may be independently displayable (see FIG. 14(e)).
  • the pop-up window 502 can be moved to any position in the application window 400, its display magnification can be changed, and it can be made full-screen and closed by a button provided above. There may be.
  • the ophthalmic imaging apparatus it is also possible to extract a moving object using the tomographic image of the subject's eye acquired by the OCT optical system.
  • the light receiving optical system in order to generate a tomographic image in the imaging head 110, the light receiving optical system generates interference light between the reference light corresponding to the measurement light and the return light, and the image generating means (image generating unit 121) generates the A tomographic image of the subject's eye is generated using coherent light.
  • the scanning optical system (OCT scanning means 226) in the OCT optical system measures in a direction (scanning direction in the embodiment) determined based on the direction of movement of the subject's eye detected from the generated image. Scan the light.
  • the ophthalmologic imaging apparatus enables simple three-dimensional observation and analysis in addition to two-dimensional observation and analysis of a moving object. Therefore, it is possible to obtain more detailed information for determining the degree of liquefaction of the vitreous body, the behavior of moving objects such as vitreous opacity sites, and the degree of influence on visual function.
  • the present invention provides a program that implements one or more functions of the above-described embodiments and modifications to a system or device via a network or a storage medium, and the computer of the system or device reads and executes the program. It is feasible.
  • a computer has one or more processors or circuits and may include separate computers or a network of separate processors or circuits for reading and executing computer-executable instructions.
  • a processor or circuit may include a central processing unit (CPU), a microprocessing unit (MPU), a graphics processing unit (GPU), an application specific integrated circuit (ASIC), or a field programmable gateway (FPGA). Also, the processor or circuitry may include a digital signal processor (DSP), data flow processor (DFP), or neural processing unit (NPU).
  • CPU central processing unit
  • MPU microprocessing unit
  • GPU graphics processing unit
  • ASIC application specific integrated circuit
  • FPGA field programmable gateway
  • DSP digital signal processor
  • DFP data flow processor
  • NPU neural processing unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

硝子体混濁部位を対象として、これを撮影或いは解析することが可能な眼科撮像装置は、測定光を放射する測定光源、被検眼の眼内を所定の走査情報に従って測定光で走査する走査光学系、及び測定光の被検眼からの戻り光を受光して受光信号を発生する受光光学系を有する撮像ヘッドと、走査情報と受光信号とを用いて画像を生成する画像生成手段と、生成された画像であって、所定の動きの下の同じ被検眼に関する同種の複数の画像を記憶する記憶手段と、記憶された画像に基づいて所定の動きを検出する手段と、被検眼の眼内に存在する移動体であって、該所定の動きに誘発されて検出された所定の動きとは異なる動きをする移動体に関する情報を、記憶された画像の少なくとも2つを用いて抽出する抽出手段と、を備える。

Description

眼科撮像装置、眼科用画像処理装置、眼科撮像装置の制御方法、眼科用画像処理方法、及びプログラム
 本発明は、眼科撮像装置、眼科用画像処理装置、眼科撮像装置の制御方法、眼科用画像処理方法、及びプログラムに関する。
 眼科装置として、被検眼の眼底2次元画像を取得するための装置として眼底カメラや、走査型レーザ検眼鏡(SLO:Scanning Laser Ophthalmoscope:走査レーザ検眼鏡)装置が実用化されている。また、低コヒーレント光による光干渉断層法(OCT:Optical Coherence Tomography)を利用して被検眼の断層画像を取得するための装置(以下、これをOCT装置と記す。)も実用化されている。更に、SLO装置とOCT装置の複合装置も有用な装置である。
 一方、眼内組織である硝子体は、通常無色透明なゼリー状の物質だが、例えば加齢に伴い変化して液状化することや軽微な混濁が発生することが知られている。このような混濁が生じている部分では測定光の散乱や反射が発生するので、従来のSLOやOCT装置であってもこれらを撮像することはできる。しかし、一般的にはこのような硝子体混濁等、眼内浮遊物は網膜の観察・撮影の障害物としてとらえられている。このような硝子体が混濁した部位等(以下、硝子体混濁部位と称する。)については、これを避けて網膜を観察する特許文献1に開示する方法や、混濁の影響度を定量化する特許文献2に開示する方法が知られている。
特開平8-336501号公報 特開2015-085176号公報
 硝子体混濁部位に関しては、上述したように、その影響を考慮して眼底観察が行われているが、該硝子体混濁部位を対象としてこれを撮影或いは解析する装置や方法については存在していない。
 本発明の一実施態様は、上述した状況に鑑みたものであって、硝子体混濁部位を対象として、これを撮影或いは解析することが可能な装置や方法の提供を目的の一つとする。
 本発明の一実施態様に係る眼科撮像装置は、
 測定光を放射する測定光源と、被検眼の眼内を所定の走査情報に従って該測定光で走査する走査光学系と、前記測定光の前記被検眼からの戻り光を受光して受光信号を発生する受光光学系と、を有する撮像ヘッドと、
 前記走査情報と、前記受光信号とを用いて画像を生成する画像生成手段と、
 前記生成された画像であって、所定の動きの下の同じ被検眼に関する同種の複数の画像を記憶する記憶手段と、
 前記記憶された画像に基づいて前記所定の動きを検出する手段と、
 前記被検眼の眼内に存在する移動体であって、前記所定の動きに誘発されて前記検出された所定の動きとは異なる動きをする前記移動体に関する情報を、前記記憶された画像の少なくとも2つを用いて抽出する抽出手段と、
を備える。
 また、本発明の他の実施態様に係る眼科用画像処理方法は、
 異なる時間に得られた同一の被検眼に関する同種の複数の画像を取得するステップと、
 前記複数の画像において、背景となる画像に対して相対的に移動する移動体の画像を抽出するステップと、
を含む。
 本発明の一実施態様によれば、硝子体混濁部位を対象として、これを撮影或いは解析することが可能となる。
(a)は、第1の実施例に係る眼科撮像装置の概略的な構成を示す図であり、(b)は、(a)に示される制御装置120の機能構成を示すブロック図である。 第1の実施例に係る撮像ヘッドの概略的な光学構成を示す模式図である。 第1の実施例に係る解析方法の一連の処理を示すフローチャートであって、(a)は、検査時に実行される主たる処理を示し、(b)は通常のOCT撮像において(a)におけるステップS303で実行されるプレビューと装置調整の詳細処理を示し、(c)は本実施例において特徴的なVTM撮像モードにおける装置調整の詳細処理を示す。 患者/検査選択画面の一例を示す模式図である。 OCT検査画面の一例を示す模式図である。 VTM検査画面の一例を示す模式図である。 撮影パラメータを設定する画面の一例を示す模式図である。 SLO動画像再生時に行われる一連の処理を示すフローチャートである。 SLO動画像撮像時の各部の動作及び移動体に関し、(a)は、固視灯の初期提示位置を示し、(b)は、移動後の提示位置を示し、(c)は、各部の動作及び移動体の様子についてのタイミングチャートを示す。 解析画面の一例を示す模式図である。 解析処理時に行われる一連の処理を示すフローチャートである。 第2の実施例における解析方法の一部の処理を示すフローチャートである。 は、第2の実施例におけるVTM検査画面の一例を示す模式図である。 は、第2の実施例におけるVTM検査画面の一例を示す模式図である。 順次走査が行われた際に得られる断層画像の関係を例示する模式図であって、(a)~(c)は、任意の間隔で並ぶ異なる走査線を測定光で走査することで得られた断層画像を各々示し、(d)はこれら断層画像によって識別された移動体を示し、(e)は、該移動体の表示方法の一例を示す。 は、各々解析画面の変形例を示す模式図である。 は、各々解析画面の変形例を示す模式図である。
 以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。ただし、以下の実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。
(第1の実施例)
 以下、添付の図面を参照して本発明の好適な第1の実施例に係る眼科撮像装置及びその制御方法の一例について、さらには第1の実施例に係る眼科用画像処理装置及びその方法の一例について説明する。本実施例に係る眼科撮像装置は、取得した画像を用い、該画像から硝子体混濁部位等の被検眼内で被検眼の動きに誘発されて該被検眼とは異なる動きを行う移動体を抽出する眼科撮像装置の一態様として示される。また、本実施例に係る眼科用画像処理装置は、眼科撮像装置により取得された画像を用い、該画像から硝子体混濁部位等の被検眼内で被検眼の動きに誘発されて該被検眼とは異なる動きを行う移動体を抽出する画像処理装置の一態様として示される。
 図1は、本発明の第1の実施例に係る眼科撮像装置の概略的な構成の一例を示す図である。図1(a)は、該眼科撮像装置の構成を示す図であり、図1(b)は、図1(a)に示される制御装置120の機能構成を示すブロック図である。
 第1の実施例に係る眼科撮像装置は、撮像ヘッド110(撮像装置)と、制御装置120と、表示部130と、入力部140と、を備える。本実施例において、眼科用画像処理装置は、制御装置120内に包含される。入力部140は、表示部130と協調してGUIとして作用するキーボード、ポインティングデバイス等から構成されている。撮像ヘッド110は、被検眼の所定部位を撮像するための光学系が組み込まれ、被検眼に対して位置合わせを行うための上下左右前後の3軸方向に移動可能なアライメント機構が設けられたステージと一体的に構成されている。
 制御装置120は、撮像ヘッド110、表示部130、及び入力部140に各々通信可能に接続され、これらを制御することができる。制御装置120は、更に撮像ヘッド110で取得された被検眼の撮像信号から画像の生成や保存等を実行すると共ともに、保存された画像や関連情報を表示部130に表示させる。また、本実施例では、撮像ヘッド110は、眼球運動を誘発する指示を発生する後述する指示発生部となる内蔵のスピーカを有し、制御装置120からの指示に従い被検者に必要な指示を発生するオーディオインターフェースとしても機能する。
 なお、制御装置120は、任意の汎用コンピュータを用いて構成されることができるが、眼科撮像装置に設けた専用のコンピュータを用いて構成されてもよい。また、表示部130は任意のディスプレイを用いて構成されることができるが、入力部140と一体化された機能を持つタッチパネルで構成されても良い。また本実施例では、撮像ヘッド110、制御装置120、及び表示部130は別個に設けられているが、これらは一体的に設けてもよい。
<撮像ヘッド110光学系の説明>
 まず撮像ヘッド110の構成について説明する。図2は撮像ヘッド110の光学構成の一例の概略を模式的に示したものである。
 撮像ヘッド110では、SLO光学系と、OCT光学系とに共用される対物レンズ211が被検眼Eに対向するように配置される。対物レンズ211の光軸上には、第1ダイクロイックミラー212、第2ダイクロイックミラー213、及びビームスプリッタ210が配置される。これら光学部材により、対物レンズ211の光軸は、OCT光路L1、SLO光路L2、前眼部観察光路L3、及び固視灯光路L4に分岐される。OCT光路L1は、被検眼眼底及びそれに近接した硝子体の断層画像を撮像するための光路であり、SLO光路L2は、眼底正面画像を撮像するための光路である。また、前眼部観察光路L3は、前眼部を観察するための光路であり、固視灯光路L4は、被検眼Eの固視を促すための固視灯を提示する光路である。
 第1ダイクロイックミラー212は、対物レンズ211の光軸から前眼部観察光路L3を、各光線の波長帯域に応じて反射方向に分岐する。第2ダイクロイックミラー213は、対物レンズ211の光軸からOCT光路L1を、各光線の波長帯域に応じて反射方向に分岐する。ビームスプリッタ210は、対物レンズ211の光軸から、波長帯域に応じて固視灯光路L4を反射方向に分岐し、SLO光路L2を透過方向に分岐する。なお、各ダイクロイックミラー等の透過方向及び反射方向に設けられる光路は、互いに逆であってもよい。
 SLO光路L2は、被検眼眼内にSLO測定光を照射しながら走査するためのSLO走査光学系と被検眼Eからの戻り光を受光する受光光学系とに共用される、SLO走査手段214、フォーカスレンズ215、及びレンズ216が配される。レンズ216の後方(レンズ216に関して光路上で対物レンズ211とは逆の方向)の被検眼瞳と共役な位置には、部分反射ミラー217が設けられる。部分反射ミラー217は、光軸中心部分でSLO測定光源221から放射されるSLO測定光を反射し、その他の領域では被検眼Eからの戻り光を透過する。部分反射ミラー217は、SLO測定光と戻り光とを、光束分割の形式で分離する。
 部分反射ミラー217の反射光路に設けられたSLO測定光源221から上述の如くの対物レンズ211へ至る系が、SLO走査光学系である。SLO走査光学系により、SLO測定光が被検眼眼底上で走査されることになる。一方、対物レンズ211から部分反射ミラー217の透過光路に用意されたSLOフォトダイオード220までの系が、SLO受光光学系となる。SLO受光光学系により、SLOフォトダイオード220に導かれた被検眼Eからの戻り光はSLO受光信号として制御装置120へ送信される。
 SLO走査光学系と受光光学系とで共用されるSLO走査手段214は、SLO測定光源221から放射されたSLO測定光で被検眼眼底上を2次元走査する。また、SLO走査手段214は、同時に、各走査位置からの戻り光をSLOフォトダイオード220へ導光するために用いられる。SLO走査手段214は、SLO測定光をX方向に走査するXスキャナ、Y方向に走査するYスキャナから構成されている。本実施例では、Xスキャナは高速走査を行う必要があるためポリゴンミラーを用い、Yスキャナは低速走査でよいためガルバノミラーを用いることとしている。
 フォーカスレンズ215はフォーカス調整のため、不図示のモータによって、図中矢印で示す方向に駆動される。SLO測定光源221は例えば、青、緑、赤、赤外の4種類の異なる波長のレーザを合波して放射する光源であり、出力するレーザ波長は4種類の中から任意に選択可能で、制御装置120によって制御される。なお、赤外の光源から発せられるレーザ光の中心波長は、OCTの測定光との波長分離を可能とするため、例えば780nm付近の波長としている。
 第1ダイクロイックミラー212は、970nm付近の波長帯の光を反射し、それ以下の波長の光を透過させる特性を有する。第1ダイクロイックミラー212が形成する前眼部観察用の光路(前眼部観察光路L3)上には、レンズ222、スプリットプリズム223、レンズ224、及び前眼部観察用のCCD225が配置される。CCD225は、不図示の前眼部観察用光源(波長970nm)で照明された被検眼前眼部を撮像する。スプリットプリズム223は、前眼部観察光路L3上の、被検眼Eと撮像ヘッド110のZ方向(前後方向)の距離が適正となった場合に、被検眼Eの瞳孔と共役な位置となるように配置されている。これにより、撮像ヘッド110のZ方向(前後方向)の距離が適正な場合には、CCD225は、分離していない被検眼瞳の像を撮像できる。また、Z方向の距離が不適正な場合には、CCD225は、被検眼瞳をスプリットプリズムの偏向方向に分離した像を撮像することができる。CCD225の出力信号は制御装置120に送られ、制御装置120は、CCD225から受け取った信号に基づいて、被検眼Eと撮像ヘッド110との相対位置を検知する。
 なお、撮像ヘッド110には、被検眼Eに対してアライメントを行うために、撮像ヘッド110全体を3次元(X、Y、Z)方向に動かすアライメント機構が設けられている。制御装置120は、CCD225からの映像信号から得られた被検眼Eと撮像ヘッド110との相対位置情報を基に、不図示の3つのモータを用いてこのアライメント機構を駆動してアライメント操作を実行する。
 OCT光路L1は、被検眼Eの眼底断層画像等を撮像するために用いられる。OCT光路L1上には、測定光を眼底で走査するOCT走査光学系と、被検眼Eからの戻り光を受光するOCT受光光学系とで共用されるOCT走査手段226、フォーカスレンズ227、及びレンズ228が配置される。OCT走査手段226は、OCT測定光源229から得られる測定光を被検眼眼底上で走査するために用いられる。なお、本実施例では、OCT走査手段226は1枚のミラーとして図示してあるが、XY2軸方向の測定光の走査を各々行うための2つのガルバノミラーからなるXYスキャナとして構成される。なお、XYスキャナには所望の構成に応じて任意の偏向手段を用いて構成されてよい。また、測定光の走査手段は、例えばMEMSミラー等の一枚のミラーで2次元方向に光を偏向できる偏向手段により構成されてもよい。
 フォーカスレンズ227は、光ファイバー230から出射するOCT測定光源229から得た測定光を、被検眼眼底にフォーカスさせるためのものであり、不図示のモータによって図中矢印方向に駆動される。このフォーカス合わせによって、光ファイバー230の端面から射出される測定光は被検眼眼底に点状に結像される一方、そこからの戻り光は光ファイバー230の端面に結像され、再び光ファイバー230へと入射されることとなる。
 OCT測定光源229には、例えばSLD(Super Luminescent Diode)が用いられ、該SLDは、例えば、中心波長が850nmで、波長帯域が50nmの低コヒーレント光を出射する。なお、OCT測定光源229としては、所定の中心波長と波長帯域を有する低コヒーレント光を出射可能であれば、ASE(Amplified Spontaneous Emission)等のSLD以外の光源を用いてもよい。
 光ファイバー230は、光カプラー234、光ファイバー231を経てOCT測定光源229に接続される。光カプラー234に接続される光ファイバー233は、更に分光器238に接続されている。OCT測定光源229から放射され光ファイバー231に入射した光は、光カプラー234にてOCT測定光と参照光とに分割され、OCT測定光は、光ファイバー230に導かれる。OCT測定光は光ファイバー230から射出後、OCT光学系の光路(OCT光路L1)上に設けられた対物レンズ211までの光学部材を介して被検眼Eに向けて導かれる。以上の光学部材により、OCT走査光学系が構成される。被検眼Eに照射された測定光は、被検眼Eの眼底で反射散乱され、戻り光としてOCT走査光学系をへて再び光カプラー234に達する。
 一方、光カプラー234に接続される光ファイバー232、レンズ235、分散補償用ガラス236、及び参照ミラー237により、参照光路が形成される。OCT測定光源から出射された光を光カプラー234で分割して得られる参照光は、光ファイバー232を通じて、レンズ235及び分散補償用ガラス236を介し、参照ミラー237に向けて出射される。参照ミラー237から反射した参照光は、同じ光路を通じて再び光カプラー234に達する。参照ミラー237は、不図示のモータ及び駆動機構によって、図中矢印で示すように光軸方向に位置の調整可能に保持される。これにより、被検眼Eに応じて変化するOCT測定光の光路長と参照光の光路長とを可干渉距離内に調整可能としている。この調整が行われた参照光とOCT測定光の戻り光とは光カプラー234により合波され、干渉光として光ファイバー233を介して分光器238に導かれる。
 分光器238は、レンズ239、レンズ241、回折格子240、及びラインセンサー242から構成される。光ファイバー233から出射された干渉光は、レンズ239を介して平行光となった後、回折格子240で分光され、レンズ241によってラインセンサー242上に結像される。以上の光学部材により、OCT受光光学系が構成される。ラインセンサー242は、分光された干渉光を読み取り、OCT断層画像形成のための受光信号を生成して20マイクロ秒ごとにこれを制御装置120へ送信する。
 例えば素ガラスを利用したビームスプリッタ210を用いてその反射方向に形成される固視灯光路L4には、レンズ218及び固視灯パネル219が設けられている。固視灯パネル219は、例えば高輝度タイプの有機ELパネルであって、制御装置120により制御され、検者の選択した種々のパターンを所望の位置に表示することができる。このパターンの可視像が被検眼Eに提示され、被検者の固視を促す固視灯として作用する。
 なお、上述した本実施例では、干渉計としてマイケルソン干渉計を用いたが、マッハツェンダー干渉計を用いても良い。OCT測定光と参照光との光量差に応じて、光量差が大きい場合にはマッハツェンダー干渉計を、光量差が比較的小さい場合にはマイケルソン干渉計を用いることが望ましい。また本実施では、スペクトラルドメイン方式(SD:Spectral Domain)のOCT装置を採用したが、波長掃引光源を用いたスウェプトソース方式(SS:Swept Source)のOCT装置も適用可能である。更に、本実施例では、撮像系としてSLO光学系とOCT光学系の複合系を採用しているが、必ずしも複合系である必要はなく、本発明はSLO光学系のみ、もしくはOCT光学系のみで構成される撮像ヘッドも適用できる。
 <制御装置の説明>
 次に制御装置120について説明する。図1(b)は、制御装置120の制御構成を示すブロック図である。本実施例に係る制御装置120は、画像生成部121、記憶部122、制御部123、解析部124、取得部125、及び指示発生部128を備える。
 画像生成部121は、例えば本実施例において、後述する受光信号等を用いて画像を生成する画像生成手段として機能する。記憶部122は、例えば本実施例において、走査情報と受光信号や、画像生成部121により生成した画像等を記憶する記憶手段として機能する。制御部123は、例えば本実施例において、撮像ヘッド110、画像生成部121、記憶部122の制御を行う制御手段として機能する。解析部124は、例えば本実施例において、制御部123の制御情報や、画像生成部121が生成した画像(データ)を解析して必要な情報を生成する解析部として機能する。取得部125は、例えば本実施例において、解析部124、撮像ヘッド110、表示部130、及び入力部140から必要な情報を取得する取得手段として機能する。また、解析部124は、後述する被検眼Eの眼球の移動や眼球内の例えば硝子体の混濁した部位等の移動に関する情報を抽出する情報抽出部126を内蔵する。指示発生部128は、被検者に対して瞬きを促す等の後述する指示を発生するが、該指示発生部は、制御装置120に含まれてもよく、個別に例えば撮像ヘッド110に配置される等してもよい。
 制御装置120の記憶部122以外の各構成要素は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等のプロセッサーによって実行されるモジュール等によって実現することができる。なお、プロセッサーは、例えば、GPU(Graphical Processing Unit)やFPGA(Field-Programmable Gate Array)等であってもよい。また、制御装置120の各構成要素は、ASICなどの特定の機能を実現する回路等によって実現されてもよい。記憶部122は、例えば、ハードディスク等の光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。
 次に本発明の実施例として実際の装置の測定や解析の処理について述べる前に、まず各部の大きな役割分担について説明する。制御部123は、記憶部122に記憶された制御装置120の各構成要素を構成するプログラムや解析部124で生成された制御情報に基づいて制御信号を各部へ出力し、装置の制御を行う。制御する対象には、例えば、撮像ヘッド110、表示部130、制御装置120内の各部が含まれる。制御装置120或いは制御部123は、表示部130に後述するアプリケーションウィンドウ等を表示させる表示制御手段として機能する。なお、制御装置120内の取得部125、画像生成部121、解析部124等の制御については、以降において制御部123が制御を行うという説明は省略する。
 取得部125は、装置の動作、画像の生成、画像の解析に必要な情報を取得する。画像の生成や解析に必要な情報には、例えば、画像を生成するための受光信号や映像信号、受光信号を画像データにするための光学系の状態を表す情報、等が含まれる。受光信号や映像信号には、例えばSLOフォトダイオード220、CCD225、或いはラインセンサー242の出力が含まれる。また、受光信号を画像データにするための光学系の状態を表す情報には、例えば、撮像ヘッド110の2つの走査手段であるSLO走査手段214及びOCT走査手段226の走査情報が含まれる。取得部125は更に、表示部130と協調動作することでGUIとして機能して検者の操作・指示情報等を取得する、或いは入力部140を介して入力される検者の操作・指示情報等を取得する。
 画像生成部121は、取得部125で取得した信号を用いて画像(データ)を生成するが、連続して取得した信号から生成した複数の画像から動画像(ファイル)を生成することもできる。生成する画像としては、例えば、SLO画像、断層画像、前眼部画像等がある。
 記憶部122は、必要な情報を記憶する。記憶される情報には、例えば、画像生成部121によって生成されたSLO画像、断層画像、前眼部画像、SLO動画像、断層動画像や、被検眼の撮影に使われた撮影パラメータ、等が含まれる。また、記憶部122は更に、制御装置120の各構成要素を構成するために用意されたコンピュータプログラム等も必要な情報として記憶する。
 解析部124は、情報抽出部126を含む。情報抽出部126は、画像生成部121が生成した画像(データ)を解析して、例えば眼球運動に関する情報や硝子体混濁のある部位の移動に関する情報等、必要な情報を生成する。更に、必要な情報には、例えば、光学系の制御を行う際に用いる制御情報、画像と共に記憶すべき付帯情報等も含まれる。
 次に、SLO画像の生成、OCT画像の生成を例にとり各部の実際の基本動作を説明する。眼底正面(SLO)動画像を生成する方法では、制御部123は、SLO測定光源221を点灯後、SLO走査手段214に走査情報である走査制御信号を送り、SLO測定光の走査を開始する。被検眼眼底からの戻り光は、SLOフォトダイオード220により受光信号に変換される。画像生成部121は、この受光信号をサンプリングし、走査情報である各走査位置へ対応される画素の画素値として記憶部122へ逐次記憶することで一枚の眼底正面画像データを生成する。この画像データを読み出して表示部130に表示させることにより、静止画像の表示することができる。更に、この一連の制御を繰り返し行って逐次得られた静止画像を時系列に沿って連続的に表示させることにより、眼底正面動画像を表示することが可能となる。更に、この眼底正面動画像を生成中に、解析部124が異なるフォーカスレンズ215位置における画像データを解析することによって、合焦状態を検出することができる。制御部123は、合焦状態の検出結果に基づいてフォーカスレンズ215の位置制御を行なうことで、SLOオートフォーカス調整といったような装置の調整制御が実現できる。
 また、SLO測定光源221から放射されるSLO測定光の波長領域を切り替えることにより、モノクロ動画像、カラー静止画像、カラー動画像の生成や保存が可能となり、画像の用途により、これら画像を適時選択できる。例えば、本撮像前のプレビュー状態においては、赤外波長のみを用いたモノクロ動画像を選択することが望ましい。また、眼底の診断用としては、青、緑、及び赤の各波長領域を排他的に順次出力して各色の画像データを取得し、これら合成してカラーの静止画像を生成して、これを表示することが望ましい。
 次にOCT断層画像を生成する方法について説明する。制御部123は、OCT測定光源229を点灯させ、更にOCT走査手段226に走査制御信号を送ってOCT測定光による被検眼眼底の2次元走査を開始する。OCT測定光の眼底からの戻り光から得られた干渉光は、分光器238により分光され、ラインセンサー242により受光信号に変換され取得部125がそれを取得する。取得部125が取得した受光信号を例えばフーリエ変換することによって、画像生成部121は、被検眼眼底の深さ方向(Z方向)の画像データを生成する。
 この画像データを走査情報である走査位置に対応させることで、所定の位置における深さ方向の画像データを得る。このように深さ方向の1次元の輝度もしくは濃度分布からなる画像データを取得することを、Aスキャンと呼ぶ。OCT走査手段226によりOCT測定光を被検眼Eの眼底の所定の主走査方向に走査しながら、Aスキャンを繰り返し行い、連続した複数のAスキャン画像を取得することにより、1枚の断層画像が得られる。例えば、制御装置120が、OCT測定光をX方向に走査すればXZ面における断層画像が得られ、Y方向に走査すればYZ面における断層画像が得られる。このように被検眼Eの眼底を所定の主走査方向に走査して走査方向の断層のデータを取得することをBスキャンと呼び、得られる断層画像をBスキャン画像と呼ぶ。
 更に、BスキャンのXZ面或いはYZ面に対して直交する方向に走査することにより3次元OCT画像が得られる。また、Bスキャンを繰り返し行うことで、断層画像を断層動画像として記録することも可能である。いずれにしろ、動画像とは異なる近接した時刻に撮像された再生可能な一連の画像を含み、これを連続的に撮像記憶することが録画であり、連続的に表示することが再生であるともいえる。
 以上説明した撮像ヘッド110、制御装置120、表示部130、及び入力部140から構成される眼科撮像装置において、被検眼Eの観察から撮影、更には解析までの一連の処理について、図3(a)~(c)のフローチャートを用いて説明する。図3(a)は、検査時に実行される主たる処理を示す。図3(b)は通常のOCT撮像における図3(a)におけるステップS303で実行されるプレビューと装置調整の詳細処理を示す。また、図3(c)は本実施例において特徴的な硝子体混濁部位(Vitreous Turbidity Motion)撮像モード(以下VTM撮像モードと呼ぶ)における装置調整の詳細処理を示す。なお、本実施例において、硝子体混濁部位とは、被検眼Eの硝子体において、硝子体自体に生じた混濁、網膜剥離等により生じた硝子体中の浮遊物、眼内に滲み出た血液等からなる部位に対応する。そして、眼底画像や眼底の断層画像の観察において、硝子体において混濁した部位として把握可能な部位の総称として用いる。
<S301 患者選択>
 検者は、検査に先立って、撮像ヘッド110の起動準備が完了後、図4に例示するアプリケーションウィンドウ400を表示部130に表示させる。そして、患者/検査選択画面のタブ450を用いて、患者/検査選択画面を選択し、該画面から検査対象である患者の入力或いは選択を行う。例えば初診であれば、検者は患者入力ボックス451に患者名等の必要情報を全て入力する。再診であれば、一部入力に対応して患者一覧452に検索・表示される患者候補から患者を選択する。入力或いは選択が終了すると、検者はOKボタン455を押下げる。この押下げに応じて、フローはステップS302に移行される。
<S302 モード選択>
 本実施例に用いる眼科撮像装置では、通常のOCT断層画像を撮像するOCT撮像モードと、VTM撮像モードとが設けられている。VTM撮像モードでは、被検眼内、即ち硝子体中を浮遊して被検眼網膜に対して相対的に移動する硝子体混濁部位等の移動体を撮像する。検者は、ステップS302において、図4に示すアプリケーションウィンドウ400のOCT検査画面のタブ410とVTM検査画面のタブ430のいずれかを選択することにより、これから行う検査モードを選択する。検者がOCT検査画面のタブ410を選択すると、アプリケーションウィンドウ400には、図5に例示するように、取得したOCT断層画像411と共に、SLO動画像412及び、前眼部動画像413を表示可能なOCT検査画面が表示される。
 制御装置120は、表示部130に選択されたOCT検査画面を表示させると共に、撮像ヘッド110の初期化を行う。即ち、制御装置120は、固視灯パネル219に対し、被検眼Eの視線方向が撮像ヘッド110の対物レンズ211光軸と並行になるよう固視灯パネル219の中心を点灯するよう設定する。また、制御装置120は、フォーカスレンズ215及びフォーカスレンズ227を、正視、即ち0ジオプターの被検眼に対応するフォーカスレンズ位置(OD位置)にセットする。
<S303 プレビューと装置調整>
 次に検者は、プレビュー状態を達成しつつ装置の各種調整を行う。ここでは、OCT撮像モードが選択されている場合に実行される処理について述べる。以下、図5に例示されるアプリケーションウィンドウ400を用いて、通常のOCT撮像モードにおいて断層画像撮像時に行われる処理の詳細について、図3(b)に示すフローチャートを参照して説明する。
<S311 マニュアルアライメント>
 前眼部動画像413のウィンドウに設けられたスライドバー等のGUIを用いて、検者は、前眼部観察系で瞳孔の一部が撮像されるようにマニュアルで撮像ヘッド110のXY位置を調整する。この調整は別途操作ボタンを画面に設けても良いし、ウィンドウ中心に位置させたい画面上の点をマウス等で指定する方法を取ってもよい。更に撮像ヘッド110と被検眼Eの光軸(Z)方向の調整を例えばマウスのホイール操作で行うようにすることもできる。瞳孔の一部が撮像される位置になったら、検者はスタートボタン414を押下げてオートアライメントを開始する。
<S312 ラフオートアライメント>
 検者がスタートボタン414を押下げると、制御装置120における画像生成部121、制御部123、解析部124、及び取得部125は、連携して自動アライメントを開始する。まず、解析部124は、取得部125により取得された前眼部動画像413を解析し、被検眼Eの瞳孔中心を求める。この瞳孔中心を、撮像ヘッド110の光軸に一致している前眼部動画像の中心に近づけるようステージが駆動されて、撮像ヘッド110のXY方向の位置調整が行われる。そして、例えば不図示の複数の前眼部照明光源の角膜反射像の間隔等に基づいて、撮像ヘッド110と被検眼Eとの光軸(Z)方向の位置調整が行われる。両者の調整は交互に連続して行っても、並行して行ってもよい。撮像ヘッド110の位置が所定の許容範囲内に収まると、制御部123は、フローをステップS313に移行させる。
<S313 ファインオートアライメント>
 ステップS313において、制御部123は、SLO測定光源221から赤外光だけを放射するよう指示を行い、SLO走査手段214を駆動してSLO動画像の撮影(プレビュー)を開始する。ラフオートアライメント調整が行われると、前眼部画像における被検眼瞳のエッジはシャープになる。また、前述の如く前眼部観察光路L3上に設けられたスプリットプリズム223によってスプリットされた瞳が明瞭に観察されるようになる。制御部123は、ステージを駆動して撮像ヘッド110のXY方向の位置を更に前眼部動画像の中心に近づけるよう調整すると共に、スプリットされた瞳のスプリット量がゼロとなるように撮像ヘッド110のZ方向の位置を調整する。ファインオートアライメントの結果、位置ずれが所定量の範囲内に入ったことが確認されると、制御部123は、フローをステップS314に移行させる。
<S314 オートフォーカス>
 ステップS314において、制御部123は、SLO動画像の取得を開始すると同時にOCT測定光による眼底の走査を開始する。その後、適切なSLO動画像の取得が確認されると、オートフォーカス調整が開始される。本実施例では、眼底に正しくフォーカスが合うとSLOフォトダイオード220の出力、すなわち受光信号が最大になるコンフォーカルSLOの特性を利用する。そして、フォーカスレンズ215を駆動しつつ受光信号をモニターすることにより、フォーカス位置を決定するいわゆる山登りAF方式のオートフォーカスを行う。もちろんこの調整には受光信号の大小ではなく、映像としてのシャープさを利用してもよい。
 また、ここで、OCT光学系のフォーカスレンズ227を連動させることでOCT光学系のフォーカス調整を並行して行ってもよい。また、フォーカスの調整はマニュアルで行われてもよく、その際にはOCT検査画面に設けられたフォーカススイッチ415のようなGUIを用いて操作可能としてもよい。
 SLO光学系及びOCT光学系のフォーカス調整が終了後、情報抽出部126は生成されたSLO動画像から被検眼眼底の動きを算出する。制御部123はその動きを補正するようにOCT走査手段226に駆動指示(走査位置の補正用)を与え、OCT測定光の走査位置を追従させる。これがいわゆる眼底トラッキングである。これによりOCT動画像において被検眼Eの動きが相殺され、被検眼Eの動きの影響が排除されたOCT断層動画像が取得可能となる。例示した山登りAFが終了し、眼底トラッキングが開始されるとフローはステップS315に移行される。
<S315 (ワンタイム)参照光路長調整>
 この状態で、制御装置120は、選択されたOCT検査画面上の参照光路長調整部416に対する検者の操作を受け付ける。そして、受けた操作に応じて参照ミラー237を駆動してOCTの参照光路長調整が実行される。以上で、S303におけるプレビュー状態での装置調整が完了し、制御部123は、フローを図3(a)のステップS304に移行させる。
<S304 撮像&確認>
 プレビュー状態での装置調整が完了し、検者がキャプチャボタン417を押下げると、上述した例えばBスキャンが実行されて、OCT断層画像が撮像される。撮像終了後、撮像された断層画像を表示して該断層画像を確認するために、不図示の確認画面を表示し、例えば、そこにOKボタン、再撮影ボタンを設けてもよい。そのような確認画面において、撮像結果が、OKならOKボタン押下げて断層画像を保存し、NGなら再撮影ボタンを押下げて撮像した断層画像を破棄し、ステップS303からの処理を繰り返すことになる。
<S305 解析>
 OCT断層画像の撮像後、タブ490により解析画面を選択すると、撮像されたOCT断層画像に対する例えば網膜層における層厚等の解析結果を表示するための画面が表示される。なお、OCT断層画像の解析及び表示される内容等については、一般のOCT装置と同様であるため、ここでの説明は割愛する。
<VTM撮像モード>
 次に、本実施例における特徴であるVTM撮像モードの時に行われる処理の詳細について説明する。なお、VTM撮像モードで実行される処理の大部分は、上述したOCT撮像モードと同様であり、図3(a)で述べたフローに従う。VTM撮像モードの場合、ステップS302のモード選択において、検者がVTM撮像モードを選択するために、VTM検査画面のタブ430により表示画面を選択する。これにより、図6に例示されるアプリケーションウィンドウ400において、VTM検査画面が開く。VTM検査画面では、図5に例示したOCT検査画面に対して、例えば、硝子体混濁部位等の硝子体中の移動体を探索するための、動画表示に関するスイッチ、眼球運動に対応した撮像スイッチ、レーザ光の選択用スイッチ等が付加されている。その後、フローは、ステップS303のプレビューと装置調整の処理へと移行される。VTM撮像モード時にステップS303で行われる処理の詳細については、例えば図3(c)に示される。なお、図3(c)において、S311のマニュアルアライメントからS314のオートフォーカスまでに行われる処理はOCT撮像モードの場合と同じであるため、ここでの説明は割愛する。
<S316 混濁部位探索>
 ステップS314にて眼底部位に対するオートフォーカスが完了した後、フローはステップS316に移行される。ステップS316において、検者はSLO動画像412上に表示される固視灯マーク431をマウス等のポインティングデバイスでドラッグしながら硝子体における混濁部位432を探す。
<S317 マニュアルフォーカス>
 混濁部位432を発見した場合、検者は、必要に応じてフォーカス調整スイッチ433を操作して混濁部位432にフォーカスが合うようフォーカスレンズ等の位置調整を行う。フォーカス調整スイッチ433の下に設けられているLaser調整スイッチ434は、SLO測定光源221におけるLaserパワーの調整を行うスイッチで、検者はこれを調整してSLO測定光の光量を混濁部位432が見えやすい光量に設定する。また、光源の選択は、通常は無散瞳状態で観察することが望ましいので、IRラジオボタンを選択してIRレーザを選択することもできる。もちろん散瞳剤を用いて被検眼瞳孔を散大した上で、可視光レーザを用いてしてカラーで記録することも可能であり、その際はColorラジオボタンを選択すればよい。これにより、測定光として、青、緑、及び赤の各波長領域の光が排他的に順次出力し、各色の画像データが取得できる。このようにして得られた各色のフレームの画素値を合成してカラーの静止画像を生成してもよい。以上の操作を行うことで、ステップS303のプレビューと装置調整の処理が終了し、その後所定の時間が経過する、或いは不図示の調整終了ボタンの操作等により、フローはステップS304に移行される。
<S304 撮像&確認>
 検者により、録画開始(REC)ボタン435が押されると、制御部123は、指示発生部128により、被検者に所定の指示を行う。指示発生部128は、撮像ヘッド110に内蔵されたスピーカを介して、被検者に対し、「チャイムが鳴ったら瞬きをしてください」等の予告アナウンスを行うよう指示をする。そして、指示発生部128は、例えばアナウンスの終了2秒後、所定の指示として引き続きチャイムを鳴らすよう、該スピーカに指令して瞬きを促させると共に、制御部123が取得部125に対して、例えば8秒間の動画記録を開始させる。その後オートアライメントは一時停止し、解析部124による前眼部観察用の画像の映像信号から瞬きの終了、すなわち瞼が開いた(前眼部像の輝度が下がり、瞳孔が観察された)ことの検知に応じ、制御部123は、オートアライメントの再開を指示する。この時の画像フレームにマーキング等を行い、そのタイミングを画像に関連付けて記憶部122に記憶する。録画はこの時点から開始してもよい。上述の瞬きの検知は、もちろん瞬きの開始の検知であっても良く、SLO受光信号を監視して行ってもよい。
 検者は、ここで録画されたSLO動画像の確認を行うために、その再生を行うことができる。即ち、録画が終了すると、再生ボタン、再生位置指定バー等、撮像以降の操作を行うためのGUI436等がアクティブになり、ここで再生ボタン436aを押せば、SLO動画像の再生が開始される。Repeatテキストボックスで繰り返しの回数を入力しておけば、繰り返し再生も可能である。また、巻き戻しボタンを押せば再生開始時に戻り再度再生や、一時停止の操作を行うことも可能である。停止ボタン436bを押すと表示画面は眼底のプレビューに戻る。再生位置指定バー437は、再生されている画像の録画時間中の再生タイミングを示すと共に、再生させる録画タイミングを指定することも可能である。その上にあるチャイムマーク437aやタイミングマーク437bはそれぞれ、チャイムが鳴った時点、瞼が開いた(前眼部像の輝度が下がり、瞳孔が観察された)時点を示しており、検者はそれらを参考に再生開始時点を決定できる。
<録画再生時の処理>
 動画像の再生に際しては原画像のまま再生する原画像再生の他、検者が混濁部位の観察をより容易に行えるように原画像に対して画像処理を行って表示することもできる。本実施例では、例えば混濁部位を表示した際にその背景である網膜パターンの動きをキャンセルして見せる網膜移動キャンセル処理、原画像に硝子体混濁を強調して表示する混濁強調処理、背景である網膜パターンのコントラストを減ずる処理等が考えられる。これら処理の実行或いはその選択は、例えば図7に示したアプリケーションウィンドウ400におけるVTM settings画面のタブ470で表示画面を選択し、その表示画面を介して行える。より詳細には、VTM settings画面に示される領域471にある3つのチェックボックスによる選択に従って行われる。
 次に、混濁部位の表示に関して行われる処理について、図8のフローチャートを参照して説明する。なお、ここでは、SLO測定光としてIRレーザが選択され、近赤外光で撮像されたモノクロの動画に対して、全ての画像処理を施し、繰り返し再生を1回行う動画再生例について説明する。
<S801 動画像の読み出し>
 SLO動画像の録画が終了すると、ステップS801において、制御装置120は記憶部122から解析対象となる動画像を読み出す。硝子体に混濁がある場合を例にとると、解析対象の動画像には図6に示すように被検眼眼内を網膜パターンに対して相対的に移動する移動体として混濁部位432がやや暗い影として撮像されている。動画像が読み出されると、フローはステップS802に移行される。なお、以下では、硝子体混濁部位は、網膜パターンに対応して移動体として説明を続ける。
<S802 網膜パターンの移動キャンセル>
 次のステップS802では、背景である網膜パターンの移動をキャンセルする処理が実行される。具体的には、まず、解析部124は、時間的に隣接したフレームの1枚の画像をリファレンスフレームとして、眼球運動に起因する一連のフレーム間における網膜パターンの位置ずれ量を算出する。位置ずれ量は、例えば、対象となるフレームの中央部分50%程度の部分(70%x70%部分位)とリファレンスフレームとの位置をずらしながら画像比較を行い、画像相関が最大になる位置ずれを求めればよい。そして、求めたずれ量を用いて各フレームの位置を調整して網膜パターンの移動をキャンセルした動画像を生成する。このような処理を行うことにより、網膜パターン移動の影響を低減した状態で、網膜パターンの動きに対する移動体の相対移動が抽出された動画像を生成することができる。
 なお、本実施例では、上述したように、被検者に対するアナウンスに応じて網膜パターンの動きとなる眼球運動が生じ、この運動時の被検眼眼底の動画像を取得して網膜パターンの動きと異なる動きを示す移動体の検知を行っている。しかし、眼球運動開始時には網膜パターンの動きが大きすぎる場合があることから、このフレーム間の位置ずれ検出に関しては、眼球運動の落ち着いている録画終了時から時刻をさかのぼって算出することが有利である。各フレーム間での位置ずれ量が求められると、フローはステップS803に移行される。
<S803 網膜パターン画像の生成>
 次のステップS803では、ステップS802で位置合わせされた各フレーム画像の加算平均を行い、移動体の影響の少なくして、背景となり得る網膜パターンの画像を生成する。例えば本実施例においては、移動体の相対移動量が比較的大きい場合を想定し、各フレームの加算平均を行うことにより、移動体の部分のコントラストが十分低減された背景となり得る網膜パターンを生成している。網膜パターンの画像が生成されると、フローはステップS804に移行される。
<S804 ラベル画像の生成>
 次のステップS804では、解析部124は、ステップS802で生成された動画像の各フレームとステップS803で生成した網膜パターン画像からこれらの差分画像を生成する。そして、更に差分画像に2値化処理を施すことで移動体の存在する領域と背景である網膜パターンとを識別したラベル画像を生成する。もちろん2値化処理に於いて、適切な閾値決定や、微小領域除去、消失領域除去、穴埋め処理等のノイズ処理を行ってもよいことは言うまでもない。ラベル画像の生成後、フローはステップS805に移行される。
<S805 強調処理, S806 抑制処理>
 次のステップS805では、行う移動体の強調処理としては、例えばこのラベル画像のエッジを検出する。そして、ステップS802で生成された網膜パターンのずれ量がキャンセルされた動画像のエッジ部に相当する画素の輝度値を変更して、例えば青色や緑色のような網膜パターンに多く含まれる赤色と識別しやすい色の輪郭をつけて移動体のエッジ部を強調する。なお、移動体の強調方法はこれに限られず、例えば移動体としてラベリングされた領域に色相を付加してもよい。また、ステップS806では、背景領域のコントラストを低減する、背景領域の輝度を低減する等、背景領域の表示状態を抑制する処理を施す。このような抑制処理を行うことにより、移動体が網膜パターンに重畳された画像において、検者は移動体をより明瞭に認識することができる。なお、これらステップS805の処理とステップS806の処理は両方行われることが好ましいが、移動体の把握が容易であれば何れか一方のみを実行することとしてもよい。
 ここで、検者が再生ボタン436aを押すと、動画像の再生が開始されるが、VTM settings画面に示される領域471にある3つのチェックボックスにて処理の選択が行われている場合には、再生の前に上述の一連の処理が行われた後の動画像が表示される。これらの処理は動画再生に先立って毎回処理されてもよいし、処理の結果を記憶部122に所定日数の間記憶しておいて再利用を可能としてもよい。ステップS805の移動体の強調処理と、ステップS806の網膜パターン画像の抑制処理が終了すると、フローはステップS807に移行される。
<S807 動画像の保存>
 ステップS807では、このように録画された動画像の確認を行い、その結果がOKなら、OKボタン438を押して動画像を検査結果として保存する。期待通りの画像が録画できていなければ、再度、録画開始(REC)ボタンを押す。その場合現在の録画データ及びその画像処理結果は破棄され再撮像が行なわれる。この確認の際に、アライメントやフォーカスの再調整をする、又は混濁を探し直す必要がある場合は再度Startボタンを押し、検査手順をステップS312へ戻した後、再調整・再撮影が行われる。OKを選択すれば原画像は保存され、次の検査が可能となる。この時保存する対象は原画像のみならず、上述の画像処理後の動画像、即ち被検眼眼底の動きをキャンセルした動画像、及びラベル画像を保存してもよい。以上の処理を経ることにより、VTM撮像モードの図3(a)におけるステップS304の撮像&確認処理が終了する。
(変形例1)
 上述した第1の実施例では、ステップS304において、録画開始(REC)ボタン435を押した際に実行される処理として、指示発生部128による音声出力で被検者への瞬きの指示を行う例を示した。しかし、被検者への指示の態様はこれに限られず、例えば固視灯パネル219における点滅や点灯様式の変形で行ってもよく、両者を合わせて行ってもよい。更に、このような場合には、被検者に対し、「固視灯が点滅(もしくは変形)したら、瞬きを1回してください。」等の音声指示を併せて行ってもよい。
(変形例2)
 上述した第1の実施例及び変形例1では、ステップS304において、録画開始(REC)ボタン435を押したときの動作指示として、音声出力等による被検者への瞬き指示を行い、瞬きによって眼球運動を生じさせる例を示した。しかし、眼球運動を生じさせる指示内容は瞬きに限られず、固視灯位置の移動による視線の誘導による指示であってもよい。ここで例示する変形例2に係る眼科撮像装置では、この固視灯の移動を用いるモードも用意される。そして、この場合の変形例2における音声指示のモードは、例えば録画開始(REC)ボタンの上方に用意されたラジオボタンBlink/Fixationを切り替えることで指定できるようにすることができる。
 このモードを選択することにより、固視灯提示位置の移動による視線の誘導を利用して、眼球運動を生じさせることができる。また、この場合、被検者には前もって「固視灯が移動したら、その動きを即座に追ってください。」等の予告アナウンスを行っておくとよい。そして、検者が録画開始(REC)ボタン435を押すと、制御装置120は、固視灯パネル219に表示する固視灯の提示位置を移動させ、眼球運動を誘発する。撮像ヘッド110は、眼球運動を行う被検眼Eの撮影と、表示部130が表示しているSLO動画像の撮像と記憶、即ち録画を開始する。その後、例えば5秒間の固定時間録画をした後、図3(a)に示すフローチャートにおけるステップS304にて録画が停止される。この間、前眼部観察は継続されているので、例えばその映像信号から眼球運動の開始及び終了を検知して、検知結果を用いて録画の開始及び終了を制御してもよい。
 この時の各部の動作及び移動体の様子をタイミングチャートとして図9(c)に示す。タイミングチャートにおいて、上から順に音声出力チャネル、固視灯横方向X座標値、移動体重心位置の網膜パターンに対する相対速度V、及び録画状態を示し、横軸は録画開始ボタンONを起点とした時間経過を示す。また、ここでは、固視灯提示位置の例示的な動かし方として、提示位置を、図9(a)に示す初期位置である光軸上の原点位置から図9(b)に示すように横(X方向)へ3mm移動させている。そして、録画終了後、移動後の固視灯提示位置から初期の提示位置へゆっくり戻すように固視灯を動かしている。
 録画開始(RCE)ボタン435がONされると、上述したように、例えば「チャイムが鳴ると固視灯が移動します。固視灯が移動したら、その動きを即座に追ってください。」等の予告アナウンスがスピーカから出力され、1秒後にチャイムが出力される。チャイム終了に合わせ固視灯が図9(a)の提示位置から図9(b)の提示位置に1秒ほどで移動する。この固視灯提示位置の移動に伴い、固視灯を追う被検眼に眼球運動が発生し、それに伴い移動体の一つである例えば硝子体の混濁部位の一つの重心位置が移動を開始する。硝子体の液状化が進んでいる場合、この移動は所定の遅れ時間を伴う。従って、網膜パターンに対する混濁部位の相対位置は網膜パターンの移動方向(すなわち眼球運動の方向)とは逆に移動することになるので、相対速度としては一時的にマイナスの速度を有することになる。
 その後、硝子体の動きに追従して混濁部位は眼球運動方向に移動を開始するが、固視灯が図9(b)の提示位置に静止してからも混濁部位は例えば数秒間は略等速で移動を続ける。そして、その後、3~6秒後には、減速してほぼ停止状態になる。即ち、硝子体部位は背景となる網膜パターンの動きに誘発されて動くが、その動きは、網膜パターンの動きとは異なった動きとなる。本実施例では、混濁部位の移動開始から7秒間録画を継続した後、録画を停止している。
 もちろん、このような眼球運動の誘発は1回に限らず、所定回数繰り返すことも可能である。その場合には、例えば「固視灯はゆっくり戻ります」等の復帰アナウンスを行い、録画停止後、固視灯の提示位置を基の位置へ4秒ほどかけてゆっくり戻して行く。そして、例えば更なる待機時間3秒の終了間際に2回目のチャイムを出力するともに、再び録画を開始する測定サイクルを繰り返せばよい。
 なお、ここで例示した固視灯の移動パラメータは、動画像処理の選択と同様に、例えば図7に示したVTM settings画面を介して設定・変更が可能である。Fixation movementの領域472には、固視灯移動のパラメータが変更可能に表示される。固視灯移動のパラメータには、移動方向(上下左右の4方向が矢印の向きで選択できる)、移動量(網膜上の換算距離で指定する)、繰り返し回数、繰り返し持続時間等が含まれる。領域472には、これらパラメータを設定するGUIが設けられる。また、Announcementの領域473には、瞬きの指示発生や固視灯移動の指示発生に際しての合図や音声アナウンスの有無を指定するGUIが設けられている。
 もちろん、このようなシンプルな固視灯移動の方向・繰り返し回数・録画継続時間に対する個別のパラメータ設定だけでなく、各種パラメータは検者が自由に変更できるようにされていてもよい。更に、適切な複数のパラメータによる検査を行うシーケンスが選択可能に用意され、検者がその選択肢の中から選択するようにしてもよい。
 更に、本実施例では、SLO動画像の録画時間を所定の固定時間としていたが、誘導された眼球運動に伴う混濁部位の動きの収まりを待つように設定することも有効である。その場合、解析部124は混濁部位の動きが収まったことを確認すればよい。これは例えば、SLO動画像の連続するフレーム間の画素値変動の総和等のSLO動画像の変化に係る変動パラメータを算出することにより行われ、制御部123がこの変動パラメータを監視することにより実現できる。もちろん録画時間に上限時間、例えば10秒を設定しておいて、混濁部位の動きが収まらない場合においては、10秒をもって次のステップに遷移するようにしてもよい。一方で、被検者が正しく固視灯の動きを追従して視線を動かしているかどうかをモニターすることも可能である。この場合、上述した図8のフローチャートにおけるステップS802で求めた位置ずれ量、即ち網膜パターン移動量と固視灯提示位置の移動とを比較すればよい。更に、この両者の間に大きな乖離が見られる場合には、一度測定を中断し、警告を表示することも有用である。
<S305 解析>
 ステップS807において動画像の録画が完了すると、フローはステップS305に移行され、移動体(混濁部位)に関する解析処理が実行される。その際、図10に示すように、記憶された動画像の解析処理を行ったうえで、解析結果と共に確認しやすくするために強調表示した移動体の様子を表示する解析画面が、表示部130においてアクティベートされる。ここで行われる解析処理について図11のフローチャートを用いて以下に説明する。
 先の録画の際に、被検眼眼底の動きをキャンセルした動画像、及びラベル画像が保存されていない場合には、解析部124は図8に示した一連の処理を最初に行う。具体的には、ステップS801で原画像を読み出し、ステップS802~804にて上述した画像処理を行い、ラベル画像を生成する。もちろん、保存されている場合には、ラベル画像でラベリングされた移動体の解析から開始すればよいことは言うまでもない。解析部124は以降のステップS811~S813で以下の処理を行う。
<S811 移動体の識別>
 最終フレームで、被検眼眼内を移動する移動体が複数ある場合には、各々にID番号をつけてこれらを識別する。そして、各々の移動体パラメータ(面積、形状、色調等)に基づき隣接するフレームにおいて各移動体に付与されたIDを継承する。このIDは動画が再生される際、図10に例示される移動体ID番号491に例示されるように、移動体に付随したナンバーの様式で表示されてもよい。ID付与後、フローはステップS812に移行される。なお、ここで示す実施例では、ID付与後にエッジ強調処理を行うこととしているが、ID付与前に行ってもよく、IDが付与された移動体にのみ行うこととしてもよい。また、この処理を行わないこととしてもよい。
<S812 移動体の相対速度の算出>
 まず、各移動体の特徴量の一つである相対速度の算出のために、各フレームにおける各移動体の面積重心座標を算出し、軌跡を決定する。次に、各フレーム間の移動体の相対移動量としての移動距離とフレームレートから各移動体の速度を算出する。複数の移動体が存在する場合は、代表点としてその重心位置、中心位置等を求め群軌跡と群速度を算出して利用することも有用である。
 なお、本実施例では解析対象のSLO動画像は背景である網膜パターンの動きをキャンセルした動画像である。このため、ここで決定される軌跡は被検眼眼底に対する2次元の相対位置であり、それに基づき計算される速度も同様に2次元相対速度である。これ以降、本実施例において計算する相対速度は、誘発した眼球運動方向への射影成分を指すものとする。なお、これは単なる指示の方向への射影であってもよいし、実際の起こった眼球運動ベクトルの総和ベクトルの方向や平均ベクトルの方向を用いてもよい。しかし、解析対象はこのような相対速度に限られず、解析対象として速度の絶対値変化を用いてもよいし、網膜パターンに対する相対速度ではなく、移動体の見かけの速度を用いてもよい。更には、これら解析対象を切り替え可能に用意して、適宜切り替えて用いることとしてもよい。
 いずれにしろ、これら移動体の速度に係る指標は硝子体の流動性を表す指標として利用できる。本実施例ではこの流動性を表す指標として、フレームごと、すなわち時間の関数として算出した速度を用いたが、特定の異なる時間に得られた2つのフレーム間の移動体の平均速度を算出してもよい。また、録画時間にわたる平均速度、分散等の統計量、もしくは各時刻における速度波形を算出してもよい。即ち、移動体の動的特性を得るには少なくとも異なる時間に得られた2つのフレームが必要である。なお、このような統計解析処理については後程詳しく説明する。更に、流動性を表す指標及び算出方法はこれに限らない。加速度を対象としても良いし、移動方向の変化を定量化しても良い。また、固視灯の移動による眼球運動に起因する移動体の移動に対しては、この相対速度と網膜パターンの移動速度との比を取ってもよい。
<S813 移動体のその他の特徴量の算出>
 本実施例では、上述した移動体の速度等を算出した後、更に移動体のその他の特徴量についても得ることとしている。その他の特徴量としては、例えば各移動体の録画時間にわたる平均観測面積・平均観測濃度が含まれ、更には色相や各変動量を含めることができる。これらのパラメータから移動体の状態を理解することができ、移動体が硝子体の混濁部位の場合、それが視覚に与える影響を好適に判断することに利用できる。
 図10を用いて、上述した解析結果と記憶された動画を再生確認するために、タブ490により選択された解析画面の例を更に説明する。ここでは、変形例2で示した固視灯による視線の誘導により発生した移動体の移動が記録された動画像を解析した場合について説明する。
 SLO動画像412として解析対象となった動画像が表示され、その表示領域の下には動画の再生をコントロールするGUI表示領域492が用意される。また、この表示画面には、再生を行う際の条件を設定するための、再生コントロールボタン群493、画像処理コントロールチェックボックス群494、シークバー表示群495が用意されている。
 再生コントロールボタン群493は、再生、停止、一次停止、最初から再生等の再生動作をコントロールするボタン群となる。画像処理コントロールチェックボックス群494は、図7に示したVTM settings画面に示される3つのチェックボックスと同じ働きをする。
 次に、シークバー表示群495について詳細を説明する。シークバー表示群495にあるシークバーは一連の撮影動画像における現在の再生位置を表し、動画の再生に合わせて紙面上右方向に移動すると共に、スライダーに対する操作により再生位置の変更が可能となっている。シークバーの上には解析の対象となった移動体の速度グラフが表示され、対応する動画再生位置に時間軸を合わせて表示されている。グラフ上の一点鎖線は現在の再生タイミングを示すマーカーであり、グラフ表示と合わせ、現在の再生がどのタイミングのものなのか把握可能となっている。また、グラフ横軸に描かれているチャイムマーク437aは、チャイムが鳴った時点を示すことは図6のVTM検査画面で表示された表示画面のマークと同様であるが、チャイムが鳴った時点は固視灯の移動の開始タイミングに一致するようにしている。なお、各グラフ右上にあるチェックボックスについては後述する。
 解析対象である移動体の選択は、SLO動画像412に描画された移動体もしくはその近傍に表示された移動体ID番号491をクリックするか、解析対象切り替えプルダウンメニュー496から行うことができる。この選択結果は例えば、図10に示したように、移動体の外周が強調される形態(移動体IDナンバーが1の移動体参照)や、移動体を色付けして表示する等の方法で示される。また、解析対象切り替えプルダウンメニュー496近傍には選択した移動体の動きの解析結果が示される。以下それら解析結果を順に説明する。
 平均速度グラフ497は、シークバー上のグラフ右上にあるチェックボックスがチェックされている速度グラフの速度変化の平均を示す。即ち、平均速度グラフ497は、解析対象の移動体の典型的な移動の様子を表すものである。平均速度グラフ497の横軸である時間軸は、チャイム出力、即ち固視灯の移動開始のタイミングが一致するように、複数の速度グラフを重ねればよい。また、複数の速度グラフは、観測される速度の立ち上がりが一致するように合わせるようにしてもよく、先の重ね合わせのグラフと切り替え可能であってもよい。
 速度観測期間には以下のフローティングピリオドとテイルピリオドの2つが定義され、解析結果表示498には、移動体に関するその他の情報として、例えば以下のものが抽出・表示される。
 (1) フローティングピリオド(Floating period): 眼球運動が開始され移動体の移動が開始した後、ほぼ一定の速度で移動が継続する期間である。本実施例では、例えば、観測速度が最大速度の90%まで立ち上がった時点から、その後80%まで低下する期間として定義する。
 (2) テイルピリオド(Tail period): フローティングピリオド終了後、移動体の速度が徐々に減少していく期間である。本実施例では、例えば、速度が最大速度の10%以下となるまでの期間として定義する。
 (3) 移動遅延時間(Delay): ベルマーク(固視灯移動開始時刻)からフローティングピリオドの開始時刻までの遅れ時間として定義される。
 (4) 移動体速度パラメータ: 解析対象として選択した移動体のフローティングピリオド中の平均速度VAve.、最大速度VMax、テイルピリオドにおける減速比RDecel.等として定義される。
 (5) 移動体特徴パラメータ: 平均観測面積SAve.、平均観測濃度DAve.等として定義される。
 また、計測条件として、例えば、固視灯移動パラメータ480を表示してもよい。移動パラメータとしては、例えば、VTM settings画面内のFixation movementの領域471と同じ項目が表示されることができる。
<S814 動画の再生等>
 以上の様に用意されたGUIを用いて、検者は解析対象を切り替え、解析結果を確認することができる。また、加えて、録画された動画を自由に再生することにより、移動体の動きを詳細に観察することができる。上述したように、ここでは、VTM撮像モードで撮像した録画を保存した後、直ちに保存した画像における移動体の解析とその結果を表示する処理の一例について説明した。しかし、本実施例において、この解析と解析結果の表示は、過去の検査において録画され、記憶されている動画像に対して実施することもできる。そのような場合では、検査及び動画像の選択を、例えば図4に示したタブ450により行い、患者/検査選択画面において患者の指定がなされた後に現れる画面の左側に設けられた検査・動画像リスト453から対象としたい検査・動画像454を選べばよい。なお、このような処理は一般の眼科検査装置において一般に行われる処理であるために、ここでの詳細な説明は割愛する。
 なお、本実施例では背景である網膜パターンの動きを補正した上で、一連のフレーム各々と背景画像との差分画像を作ることで移動体を抽出している(背景差分法)。しかし、抽出方法は背景差分法に限られず、例えば、ブロックマッチング等によるオプティカルフロー算出結果に基づいてもよく、3枚以上のフレーム画像の差分の論理積から、移動物体を検出するフレーム間差分法による結果を用いる等によってもよい。
 以下では、ブロックマッチング法によるオプティカルフロー結果を利用して移動体の抽出を行った例を変形例3として説明する。また、フレーム間差分法を用いて移動体の抽出を行った例を変形例4として説明する。
(変形例3)
 変形例3では、オプティカルフローを求める方法の一つであるブロックマッチング法(別名領域ベース法とも呼ばれる)を採用し、テンプレートマッチングを用いて移動体を検出する。具体的には、時間的に隣接する2画像の一方を対象画像、もう一方を参照画像とし、参照画像の所定位置にある画素が対象画像のどの位置に移動したかを求める。より詳細には、例えば、参照画像の所定の画素を中心とした正方形の小領域、即ち部分画像をテンプレートブロックとし、参照画像の所定の画素位置を中心に、例えば部分画像の縦横2倍の即ち面積で4倍の範囲で画像の一致度が最も高くなる位置を探索する。そして参照画像の所定の画素位置を始点、対象画像で一致度が最も高くなる位置を終点としたベクトル量を各画素のオプティカルフローとして採用する。
 両画像の一致度を見るには、絶対値差分和や画像の相関を見ればよく、計算時間短縮のために残差を加算した値がある閾値を超えた場合に計算を終了してもよい。もちろんオプティカルフローを求める方法は、ブロックマッチング法のみならず、例えばより計算コストが小さい残差逐次検定法を使ってもよい。
 オプティカルフローを求める対象動画は、例えば、図8もしくは図11のフローにおいてステップ801にて読みだした動画像を用いることができる。即ち、本変形例によれば、次のステップS802、ステップS803の処理を行わず、網膜パターンの移動をキャンセルしていない動画像を対象画像としてステップS804のラベル画像を得ることもできる。
 本変形例が解析の対象としている硝子体混濁部位等の移動体は、背景である網膜パターンの動きとは異なる動きをするものである。移動体が画面全体に占める割合がそれほど大きくない場合、隣接した画像ペアで算出される各画素のオプティカルフローの大半は、眼球運動によって生ずる網膜パターンの動きに対応するほぼ均一な方向と大きさとを有する。従って、これと分離できる方向或いは大きさのフローが観測された画素を、移動体を構成する画素として認定することにより、移動体の識別を行うことができる。もちろん対象となる移動体が網膜パターンの動きとほぼ同様の動きをする時間帯においてはこの分離は観測されないので、常時移動体を分離できるわけではない。しかし、観測期間中所定の時間、この分離が確認できる画素を移動体と識別することにより、移動体の存在する領域と背景である網膜パターンとを識別したラベル画像を生成することができる。なお、本変形例において、それ以降の処理は実施例1で述べた処理と同様であるため、以降の説明は割愛する。
 また、一方で、対象画像をステップS802で得られる網膜パターンの移動をキャンセルした動画像とし、これを対象にラベル画像を生成してもよい。この時、網膜パターンである画素のオプティカルフローはほぼ0レベルとなるため、画像の一致度が最も高くなる位置の探索はより狭い範囲で収束することになる。従って、探索時間の短縮が図れるばかりでなく、上述した各画素のオプティカルフローの方向と大きさを解析して行う分離作業の代わりに、より単純なフローの大きさでの2値化処理にて容易に移動体を分離識別することが可能となる。またこの場合、あらかじめ対象とする移動体の存在範囲をマニュアル等で指定しておくことにより計算量を大幅に削減することも容易に可能となる。
(変形例4)
 変形例3でオプティカルフローを算出して移動体を検出する例を示したが、変形例4として以下に述べるように、近接する3枚の画像を用いたフレーム間差分法を用いることも有用である。本変形例で行われる処理も、図8もしくは図11に示した処理と基本的には同様である。即ち、ステップS801にて動画像を読みだし、ステップS802にて網膜パターンの移動をキャンセルした動画像を生成した後、次のステップ804のラベル画像の生成のステップにおいて、以下の処理を実行する。
 ここで、移動体を抽出識別する対象となるフレーム画像をNとし、その前後の画像をN-1、N+1とする。この場合、画像N―1と画像N、画像Nと画像N+1の各々の差分画像であるND1とND2とを作成し、これに閾値処理を施して2値画像を得る。ここで、2つの2値画の論理積処理を行い、両者の共通領域をとり出すことで、画像Nにおける移動体を抽出或いは識別することができる。そして、その結果に基づき、移動体の存在する領域と背景である網膜パターンとを識別したラベル画像を生成する。なお、本変形例において、それ以降の処理は第1の実施例で述べた処理と同様であるため、以降の説明は割愛する。
 本変形例において、この前後の画像の選択は隣接するフレームの画像を対象とするのみならず、移動体の移動速度に応じて所定時間間隔離されたフレームの画像を利用してもよい。更に、それらを適時組み合わせ、移動体の抽出を更に確実にする等の改善も考えられる。また、2値化を行う際の閾値も過去の所定期間の複数フレームの画像における輝度値の分散を閾値に反映してもよい。このような方法を採用すれば、光学ヘッドのアライメント状態による照明状態等による背景変化に対してその影響を受けにくくなり、検出性能の向上が期待できる。
 以上に述べたように、本実施例に係る眼科撮像装置は、撮像ヘッド110と、画像生成手段(画像生成部121)と、記憶手段(記憶部122)と、被検眼の動きを検出する手段(制御部123)と、抽出手段(情報抽出部126)と、を備える。撮像ヘッドは、測定光源(221,229)と、走査光学系(214,226)と、受光光学系(220,238)と、を有する。測定光源は、SLO測定光(又はOCT測定光を得る光)を放射する。走査光学系は、被検眼の眼内を所定の走査情報に従って該測定光で走査する。受光光学系は、測定光の被検眼からの戻り光を受光して受光信号を発生する。画像生成手段は、例えば走査情報により被検眼において受光信号を取得した位置を特定し、特定した位置に対応する受光信号を輝度情報等に変換することで画像を生成することができる。記憶手段は、画像生成手段によって生成された画像であって、同じ被検眼に関する同種の複数の画像を記憶する。その際、記憶対象となる画像は、例えば、音声指示に応じた被検眼の動き、被検眼の動きを検出した際に所定の閾値を超える動き(硝子体混濁部位等の独自の移動が検出可能な動き)、等の所定の動きの下で得られた画像となる。また、同種の画像とは、例えば眼底正面画像、及び眼底断層画像を含む。また、被検眼の動きを検出する手段は、同一被検眼から得られている記憶された複数の画像の比較等を行うことにより、被検眼の動きを検出する。被検眼の眼内、特に硝子体中には、例えば硝子体混濁部位等の移動体が存在するが、これら移動体は、被検眼の動きに誘発されて動くが、検出された被検眼の動きとは硝子体中に浮遊した状態にあるため、被検眼とは異なる動きをする。抽出手段は、記憶手段に記憶された画像の少なくとも2つを用いて、この移動体に関する情報を抽出する。
 なお、上述した眼科撮像装置においては、被検眼の動きを該被検眼に誘発させる指示を被検者に対して発する指示発生手段(指示発生部128)を更に備えることができる。この場合、指示発生手段として、被検眼の瞬きを誘発させるための音声指示を被検者に対して発生するスピーカ、チャイム、等の音声出力手段を有することができる。また、この音声出力手段は、本実施例では撮像ヘッド110に設けることとしているが、例えば検査室に設けて、制御部123が通信等によってこれに指示させることとする等、撮像ヘッド以外のところに配置することもできる。上述したように、被検眼の所定の動きの検出は画像により行うとしているが、指示発生手段からの例えば音声の指示によって所定の動きが開始されると、指示以降の画像を移動体検出に用いる画像とすることもできる。更に、被検眼の移動の検出は、画像のみならず、受光信号に基づいて行うこともできる。例えば、受光信号のピーク位置や、画像生成時にエッジを形成すると思われる境界位置等の移動に基づいて、被検眼の移動を検出することができる。
 また、撮像ヘッドは、被検眼の固視を誘導するための固視灯を所定の位置に提示する固視灯提示手段(固視灯パネル219)を更に有することができる。この場合、指示発生手段は、被検眼の動きを誘発するために、固視灯の提示位置を移動させる指示を固視灯提示手段に対して発生することもできる。更に、この指示発生手段は、上述した各種の指示を所定回数繰り返すこともできる。なお、上述した被検眼の動きを検出する手段は、受光信号に基づいて、この被検眼の動きを検出することとしてもよい。
 また、上述した眼科撮像装置においては、被検眼の動きの一つとして、被検眼の瞬きを検出する瞬き検出手段を更に備えることができる。この瞬き検出手段には、例えば撮像ヘッド110が有する、被検眼の前眼部を撮像する手段(前眼部観察光学系)を用いることができる。この場合、被検眼の動きの開始は、この撮像する手段が取得する画像に基づいて検出することができる。また、記憶手段は、画像生成手段により生成された画像と、検出された被検眼の動きとを関連付けて記憶することができる。
 また、上述した眼科撮像装置は、接続されている或いは一体化されている表示手段(表示部130)を制御する表示制御手段(制御部123)を更に備えることができる。表示制御手段は更に、時間的に連続して取得された受光信号に基づく複数の画像を用いて生成される動画像を、表示手段に繰り返して表示させることができる。
 また、本実施例に係る眼科用画像処理装置は、取得手段(取得部125)と、抽出手段(情報抽出部126)とを備える。取得手段は、異なる時間に得られた同一の被検眼に関する同種の複数の画像を取得し、抽出手段は、該複数の画像において、例えば網膜パターンのような背景となる画像に対して相対的に移動する硝子体混濁部位等の移動体の画像を抽出する。ここで、背景となる画像は、複数の画像の内の少なくとも2つに関して得られればよく、移動体の画像に関しても、この少なくとも2つの画像において抽出されればよい。なお、この眼科用画像処理装置は、背景となる画像に対して移動体の画像を重畳して表示手段(表示部130)に表示させる表示制御手段(制御部123)を更に備えることができる。
 更に、上述した取得手段は、眼科撮像装置の撮像ヘッド110と、SLO測定光の走査情報とから生成された眼底正面画像をそのまま取得してもよく、これらによって生成されて例えば記憶部122に保存された過去の眼底正面画像を取得してもよい。上述した実施例では、撮像ヘッド110は、測定光を放射する測定光源と、被検眼の眼内を所定の走査情報に従って該測定光で走査する走査光学系と、測定光の被検眼からの戻り光を受光して受光信号を発生する受光光学系と、を有する。そして、画像生成部121によって、撮像ヘッド110から得られる受光信号と走査情報とに基づいて複数の画像を生成し、記憶部122にこれを保存している。
 また、上述した眼科用画像処理装置は、カラー画像を対象として移動体を抽出することや、移動体の画像を重畳した背景画像をカラーの画像として表示部130に表示させることもできる。この場合、カラー画像を得るために、画像取得時に撮像ヘッドにおいて、波長領域の異なる複数の測定光を測定光源が放射可能とするとよい。移動体の抽出対象となる複数の画像は、該複数の測定光各々の波長領域に対応した画素値を合成することで構成される画像となる。また、本実施例は、画像処理装置(解析部124)と、該画像処理装置に対して複数の画像を提供する撮像ヘッド110等とから構成される眼科撮像装置を構成してもよい。
 上述した実施例は更に、眼科撮像装置を制御する制御方法としても把握可能である。この制御方法にあっては、被検眼の眼内を測定光で走査するための所定の走査情報と、該測定光の被検眼からの戻り光を受光することで得られる受光信号と、を用いて画像を生成するステップ(ステップS304における画像生成の処理)を含む。そして、連続的に取得して生成された複数の画像は、記憶部122で動画像として記憶(ステップS304における画像生成された画像を記憶する処理)される。記憶された動画像は、ステップS801で読み出され、ステップS802で該画像に基づいて被検眼の動きが検出される。被検眼の動きの検出後、ステップS804で、硝子体混濁部位等の移動体に関する情報が、読み出された動画像等から抽出される。
 上述した実施例は更に、眼科用画像処理方法としても把握可能である。この眼科用画像処理方法は、複数の画像を取得するステップS801と、該複数の画像において、背景となる画像に対して相対的に移動する移動体の画像を抽出するステップS804と、を含む。複数の画像は、動画像を形成する個々の画像を眼科撮像装置から直接得てもよく、データとして保存されている動画像から得てもよい。また、背景となる画像は、複数の画像の内の少なくとも2つに関して得られればよく、移動体の画像に関しても、この少なくとも2つの画像において抽出されればよい。この場合、複数の画像は、異なる時間に得られた同一の被検眼に関する画像であって、眼底画像又は眼底断層画像の同種の画像から構成される。また、複数の画像が例えば眼底正面画像である場合、背景となる画像は、網膜パターンの画像が例示される。移動体となる例えば硝子体混濁部位は、被検眼が動いた際に網膜パターンに対して相対的移動し、例えばステップS804においてラベル画像として識別され、抽出される。
 なお、上述したラベル画像の生成に際し、複数の画像において、背景となる画像を複数の画像から生成するステップS803を更に含むことができる。ステップS803では、複数の画像の位置ずれを補正することで、複数の画像において、背景となる網膜パターンの画像を生成する。その際、位置ずれ補正した複数の画像を加算平均し、これにより背景となる画像を得ることもできる。また、上述した移動体を抽出するステップS803は、変形例3で述べたオプティカルフローを算出することにより行うこともできる。この場合、移動体の抽出時には、複数の画像における一の画像に複数の部分画像を設定する部分設定ステップと、該複数の画像における一の画像とは異なる画像における、設定された部分画像のオプティカルフローを算出する算出ステップと、が行われる。そして、移動体の画像は、この算出されたオプティカルフローに基づいて抽出される。
 また、ラベル画像の生成に際し、ステップS803において、一連のフレーム各々と背景画像との差分画像を生成することで移動体を抽出することもできる。即ち、ステップS803は、背景となる画像と、複数の画像との差分画像を生成するステップを有することができる。そして、生成された差分画像に基づいて、移動体が抽出される。或いは、移動体を抽出するステップS803は、変形例4で述べたフレーム間差分法を用いることにより行うこともできる。この場合、移動体の抽出時には、位置ずれが補正された複数の画像における少なくとも3つの画像間における差分画像を生成するステップと、生成された差分画像に基づいて移動体を抽出するステップと、が行われる。
 以上のように抽出された移動体は、背景となる画像(網膜パターン)に対して該移動体の画像を重畳して、例えば図6に例示される態様で表示される。また、その際に、ステップS805のように、背景となる画像(網膜パターン)に対して、移動体の画像を強調させる、例えばエッジ部を強調する処理、色調を変える処理、等を行うこともできる。また、移動体を強調させる方法として、背景となる画像若しくはその領域のコントラスト、輝度、等を低減する処理を行う、或いは先の強調処理と合わせてこの処理を行う、等することもできる。
 また、上述した眼科用画像処理方法は、移動体の画像に基づいて移動体の特徴量を計測するステップS812及びステップS813の少なくともいずれかを更に含むことができる。この場合、計測するステップにおいて、移動体の相対移動量を計測し、該計測された相対移動量に基づいて相対速度を算出することができる。また、移動体の画像の抽出は、ステップS811で述べたように、複数の移動体の画像に関して抽出可能であるとよい。そして、相対速度の算出は、複数の移動体の画像が抽出された場合、該複数の移動体の画像各々の代表点を設定し、該代表点について相対速度を算出可能とすることが望ましい。また、移動体の特徴量を計測するステップS813で述べたように、抽出された移動体の画像の大きさ、濃度、色相の少なくとも一つを計測することもできる。ここで、上述した同種の画像は、被検眼の眼底の正面画像、と眼底の断層画像のいずれかが含まれる。
(第2の実施例)
 第1の実施例において、VTM撮像モードで対象とする動画像は、図2のSLO光学系により撮像されたSLO動画像とした。ここで、第1の実施例で用いた眼科撮像装置はOCT光学系も有している。従って、VTM撮像モードにおいてもOCT動画像を並行して撮像することもできる。本実施例では、VTM撮像モードで移動体の抽出を行う対象をOCT動画像としている。なお、本実施例において用いる眼科撮像装置は、第1の実施例で説明した眼科撮像装置と同様のため、ここでの説明は割愛する。
<VTM撮像モードにおけるOCT撮影>
 VTM撮像モードでのOCT動画像の撮像及びその解析で行われる処理は、第1の実施例で述べたSLO動画像の撮影及びその解析で行われる処理と多くが一致する。従って、ここでは、図3(a)のフローチャートで実行される処理において、第1の実施例と異なる処理が行われるステップS303及びステップS304について、以下に更に図12乃至図13Bを参照して説明する。なお、図12は、第2の実施例で実行されるプレビューと装置調整に関して実行される処理のフローチャートであるが、ステップS317までで実行される処理は、第1の実施例の図3(c)において実行されるステップS317までの処理と同じである。このため、ステップS317までの処理についてのここでの説明は割愛する。ステップS317でのマニュアルフォーカスの実行後、検者は、図13Aに示す本実施例に係るVTM検査画面を用いて更に、OCT撮像のための準備を進める。
<S318 OCT走査パラメータの設定>
 本実施例に係るVTM検査画面では、図6で例示した第1の実施例に係るVTM検査画面(SLO動画像対象)での各表示に加え、OCT動画像に対応するためのスイッチ等が付加されている。図13Aは、そのようなスイッチが付加された例として、タブ430により選択されるVTM検査画面を示している。なお、フォーカス調整スイッチ433、その下のLaser調整スイッチ434等は、第1の実施例と同様にVTM検査画面上に用意される。検者は、フォーカス調整スイッチ433を操作して混濁部位432に対してフォーカス調整する。
 調整終了後、並行してOCT撮像を行うためのオプションを有効にするために、OCTチェックボックス441をチェックする。OCTチェックボックス441の横に用意されたドロップダウンメニューはBスキャンの走査の本数の選択を行うものであり、本実施例では1、3、5、及び7本が予め提示されている。検者は、これらの中から適切なBスキャン数を選択する。なお、以下では、Bスキャンとして3本を選択した場合を例として説明する。
 OCTチェックボックス441がチェックされると、SLO動画像412には、OCT走査部位を示す走査ラインマーク442が表示されると共にOCT測定光による眼底の走査が開始される。なお、本実施例では、OCT動画撮像に係る走査情報の初期値は、例えば、走査線本数3本、走査線間隔0.5mm、中央走査線の中心がSLO動画像412の中央に位置することとする。そして、眼球運動を誘発する指示により誘発される眼球運動の方向にOCT測定光の走査を行うこととする。
 また、本実施例では、検者は、この走査ラインマーク442を操作することで走査条件を調整可能とすることもできる。例えば、走査ラインマーク442の中央付近をドラッグすることで走査位置を、端点をドラッグすることにより走査幅を、走査ラインマーク442にマウスオーバーすると現れる不図示の角度調整マーカーを操作して走査角度を調整可能としてもよい。このように走査条件を調整することにより、走査ラインマーク442が想定される硝子体の混濁部位432の軌跡をカバーするように、走査条件を設定することが可能となる。その後、検者は、前眼部動画像413の横に設けられた表示切替えラジオボタン443をAnteriorからOCTに切り替え、OCT断層像の確認を行う。
<S315 参照光路自動調整>
 図13Bは、表示切替えラジオボタン443の切り替えにより、前眼部動画像413の表示からOCT断層動画像444の表示に切り替わったVTM検査画面を示す。OCT断層動画像444に表示される断層画像は、表示切替えラジオボタン443の下方に設けられたスピンボックスで番号指定された走査線における断層動画像である。また、SLO画像上に表示されている硝子体の混濁部位432は、OCT断層動画像444上では、硝子体混濁部位の断層画像445の様に表示される。
 なお、本実施例において、走査ラインマーク442において断層画像が表示される走査線は、例えば他の走査ラインマーク442よりも太い線として表示する、もしくは色違いとするなどの方法により識別可能に表示してもよい。検者は、ここでOCT断層動画像444を観察しながら、参照光路長調整部416を操作してOCTの参照光路長を調整する。このような操作を行うことで、ステップS303で行われる処理であるプレビュー状態における装置調整が完了する。装置調整完了後、フローはステップS304に移行される。
<S304 撮像&確認>
 録画開始(REC)ボタン435が押された際に実行される処理は、上述した第1の実施例で実行される処理と類似する。検者により、録画開始(REC)ボタン435が押されると、指示発生部128により、被検者に対して眼球運動を誘発する指示がなされる。指示の例として、例えば「チャイムが鳴ったら瞬きをしてください」の予告アナウンスが出力され、瞬きを促すチャイムの後、例えば8秒間の動画記録が開始される。この際、OCT測定光は走査ラインマーク442として表示される走査線を順次繰り返し走査され、SLO層画像と並行して断層画像も動画像として記録される。
 録画が終了後、録画されたSLO動画像とOCT動画像の確認は、第1の実施例の場合と同様に再生ボタン436aを押して録画を再生することによって行われる。また、本実施例では、OCT動画とSLO動画の再生は同期がとられている。再生に際して、第1の実施例において可能とされていた、繰り返し再生、巻き戻し、一時停止、等について、本実施例でも同様に実行可能とされている。
<録画再生時の処理>
 第1の実施例では、動画像の再生に際しては原画像のまま再生する原画像再生の他、検者が混濁部位の観察をより容易に行えるように原画像に対して画像処理を行って表示できることとしている。本実施例におけるOCT動画像の再生に際しても、このことは同様である。具体的には、原画像のまま再生する原画像再生の他、上述した網膜移動キャンセル処理、混濁強調処理、コントラストの漸減処理等を行って再生することができる。網膜移動キャンセル処理は、背景である網膜パターンの動きをキャンセルして見せる処理であり、混濁強調処理は、原画像に硝子体混濁を強調して表示する処理となる。また、コントラストの漸減処理は、背景である網膜パターンのコントラストを減ずる処理となる。
 SLO動画像の表示時に、第1の実施例では、図8におけるステップS802で背景である網膜パターンの移動をキャンセルしている。本実施例でも、OCT断層動画像444にておいて、撮像された断層画像を対象として類似する処理を行って、断層画像の移動をキャンセルすることができる。具体的には、まず、解析部124は時間的に隣接したフレームの1枚の画像をリファレンスフレームとして、眼球運動に起因する一連のフレーム間における断層画像の位置ずれ量を算出する。位置ずれ量は、例えば、対象となるフレームの網膜断層部の中央部分50%程度の部分(70%x70%部分位)とリファレンスフレームとの位置をずらしながら画像比較を行い、画像相関が最大になる位置ずれ量を求めればよい。そして、求めたずれ量を用いて各フレームの位置を調整して網膜パターンの移動をキャンセルした動画像を生成する。このような処理を行うことにより、断層画像の移動の影響を低減した状態で、断層画像の動きに対する移動体の相対移動が抽出された動画像を生成することができる。
 なお、フレーム間の位置ずれ検出に関しては、眼球運動の落ち着いている録画終了時から時刻をさかのぼって算出することが有利であることは第1の実施例の場合と同様である。以降、第1の実施例におけるステップS803~S806において実行される処理に関しても、本実施例における断層動画像において同様に実行される。即ち、各フレーム画像の加算平均を行い移動体の影響の少ない、背景となり得る断層画像を生成し、生成された動画像の各フレームと断層画像とを利用して移動体の存在する領域と背景である網膜パターンとを識別したラベル画像を生成する。そして、移動体の強調処理や背景領域のコントラストを低減する処理等についても同様の処理を行えばよい。動画の再生時の選択方法に関しても第1の実施例と同様である。
<動画像の確認と保存>
 以上の機能を使いながら、録画された動画像の確認を行い、その結果がOKなら、OKボタン438を押して動画像を検査結果として保存する。期待通りの画像が録画できていなければ、再度、録画開始(REC)ボタンを押すことも第1の実施例と同様である。ただし、OCT撮像を動画的に行うために、本実施例では走査線の数を制限している。このため、この制限された走査線数で対象となる移動体をうまく記録するためのOCT撮像条件の調整はやや難しく、特に測定範囲の調整には少し時間がかかることは否めない。
(変形例1)
 上述した説明では、前眼部動画像413の表示からOCT断層動画像444への表示切り替えには、表示切替えラジオボタン443を用いている。しかし、表示切替えラジオボタン443でAnteriorが選択され前眼部動画像413が表示されている時であっても、OCT断層画像を見ながら行った方が良い操作の時にはOCT断層動画像444へ自動的に表示切り替わるよう構成してもよい。そのような操作には、例えば走査ラインマーク442や、参照光路長調整部416への操作時、もしくは動画再生時が相当する。また、オートアライメントにより位置合わせが適切に行われ、位置ずれ量が許容範囲内にある時には自動的にOCT断層動画像444に表示が切り替わるよう構成してもよい。更に、再生時において、SLO動画像とOCT動画像の表示位置を切り替え可能にしておくことも有用である。
(変形例2)
 本実施例に用いる眼科撮像装置は、録画し、確認した動画に記録された硝子体混濁部位等の、背景として観察される被検眼の断層画像とは異なる動きをする移動体の移動解析を行う解析機能を有する。しかし、硝子体混濁部位等について、このような解析は行わず、簡易的な硝子体中の移動体を観測できれば、眼の診察において有用と考えられる。以下に述べる変形例2では、そのような移動体の観察主体の実施例について説明する。
 第1の実施例及び第2の実施例は、録画された動画像に対してポスト処理を行うことで網膜パターンや断層画像の移動のキャンセル、更には移動体の抽出を実現している。これに対し、本変形例では、網膜パターンや断層画像の移動のキャンセル処理を、撮像中に行っているトラッキング処理に基づいて実施する。
 第1の実施例において、図3(b)等のステップS314で眼底トラッキングを実行している。ステップS314では、画像生成部121が生成したSLO動画像を情報抽出部126が処理して、被検眼眼底の動きを算出している。そして、その算出結果に応じて、被検眼Eの動きに対してOCT測定光が追従するよう、制御部123がOCT走査手段226に駆動指示を与えている。本変形例では、制御部123は、OCT測定光のみならずSLO測定光も被検眼の動きに対して追従するよう、SLO走査手段214を制御する。このようにSLO走査系に対しても眼底トラッキングをかけることにより、得られるSLO画像は背景となる網膜パターンが移動しない画像として取得される。従って、撮像後の後処理を行わなくとも、背景である網膜パターンの動きをキャンセルした状態の画像が経時的に得られ、移動体の相対移動を観察できるようになる。
 また、例えば本測定前に一度仮測定を実施し、そのデータを基に背景となり得る網膜パターン画像を前もって生成してもよい。この場合、この網膜パターン画像と本撮像で撮像したリアルタイムの画像とをリアルタイムで演算して位置合わせし、位置合わせ後の画像を表示すればよい。この方法によれば、移動体の抽出に合わせ、移動体の強調処理や背景領域を抑制する処理を施すことも可能である。なお、このような画像のリアルタイム演算を行う場合、計算負荷が大きくなる恐れがあることから、制御部はGPUなどを搭載することが望ましい。
 以上に説明したように、本変形例においても、検者は、記録された硝子体混濁部位等の移動体の挙動を繰り返し再生して確認可能である。また、更に、これを強調表示させて硝子体混濁部位の挙動を、眼球運動とは独立に観察することができる。
 即ち、本変形例に係る眼科用画像処理装置は、検出手段(ステップS314を実行する制御部123)と、走査光学系(SLO走査手段214)を制御する手段(制御部123)とにより、移動体の画像抽出を行うこともできる。この場合、検出手段は、トラッキングとのために取得した複数の画像に基づいて被検眼の眼底の移動を検出する。また、走査光学系を制御する手段は、検出された移動を低減するように、測定光の走査位置を補正するように前記走査光学系を制御する。そして、この場合、背景の画像は、測定光の走査位置を補正した状態で取得されるとよい。
<S305 解析>
 ここで、第2の実施例における移動体の解析と解析結果表示の処理とについて説明する。記憶された動画像の解析処理の結果は、第1の実施例の場合と同様に解析画面に表示されるが、解析処理は、各OCT走査線におけるBスキャン動画それぞれを対象として実行される。図14(a)、図14(b)、及び図14(c)は、任意の間隔で並ぶ異なる走査線を測定光で走査することで得られた3つの断層画像を示す。また、各断層画像に示される移動体445a、445b、及び445cは、それぞれの断層動画像内で識別された移動体を示している。
 各々の走査線幅がある程度の幅以下である場合、識別された移動体は、図14(d)に示されるように、例えば3枚のスライス上に輪郭を持つ一つの移動体と判断できる。よって、その輪郭とBスキャン断面の所定ピッチの格子との交点を輪郭点としたポリゴンモデルで形状を定義することができる。また、ワイヤーフレームモデルを例えばスプライン補完等で形成し、3次元移動体の概略形状を推定することもできる。また、更に推定した形状を用いて、移動体の特徴量の算出を行ってもよい。しかし、スライス数が少ない場合には、これらの処理はそれほど有用ではなく、移動体と網膜との位置関係の把握の方が重要となる。また、移動体の3次元的速度の解析を行う場合、これらを別々の移動体としてではなく一つの移動体として扱うことの方が大切である。解析時に実行されるそれ以外の処理に関しては、第1の実施例で述べた処理と同様であるため、ここでの説明は割愛する。
<S814 動画の再生等>
 第2の実施例においても、第1の実施例と同様に、検者は解析対象となる移動体を切り替え、それぞれの移動体に対する解析結果を確認することができる。また、合わせて、録画された動画を自由に再生することにより、移動体の動きを詳細に観察することも、第1の実施例と同様に可能である。
 図15Aに本変形例の解析画面におけるOCT動画の表示方法の一例を示す。OCT撮像が並行して行われた検査では、解析画面のSLO動画像412の左側に、OCT動画ウィンドウを開くためのボタン501が表示される。検者がこのボタンをクリックすると、図15Bに例示するように、OCT動画を表示するためのポップアップウィンドウ502が開くと共に、SLO動画像412上にOCT撮像が行われた走査位置を示す走査ラインマーク442が表示される。OCT動画像の再生動作は常にSLO動画像の再生動作に同期されており、再生コントロールボタン群493、画像処理コントロールチェックボックス群494、及びシークバー表示群495等を用いて再生条件等がコントロールできる。
 ポップアップウィンドウ502に表示されるOCT動画像では、例えば識別された移動体503にIDが振られると共に、移動体はBスキャン動画ごとに走査ラインマーク442と同色で色分けされ、重ねて表示されるとよい。また、各Bスキャン動画は、単独で表示可能であってもよい(図14(e)参照)。更に、ポップアップウィンドウ502は、アプリケーションウィンドウ400の任意の位置に移動可能であり、かつ表示倍率も可変であってよく、更に上方に設けられたボタンによって全画面化してもよく、閉じることが可能であってもよい。
 上述したように、本実施例に係る眼科撮像装置においては、OCT光学系により取得された被検眼の断層画像を用いて移動体の抽出を行うこともできる。この場合、撮像ヘッド110において、断層画像生成のために、受光光学系は、測定光に対応する参照光と戻り光との干渉光を生成し、画像生成手段(画像生成部121)は、該干渉光を用いて被検眼の断層画像を生成する。また、この場合、OCT光学系における走査光学系(OCT走査手段226)は、生成された画像から検出した被検眼の動きの方向に基づいて決定される方向(実施例では走査方向)に、測定光を走査するとよい。
 以上説明したように、第2の実施例に係る眼科撮像装置では、移動体の2次元観察・解析に加えて簡易的な3次元観察・解析も可能となる。従って、硝子体の液状化の程度、硝子体混濁部位等の移動体の挙動や視覚機能への影響度の判断のために、より詳細な情報を得ることが可能である。
(その他の実施例)
本発明は、上述の実施例及び変形例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、1つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。
 プロセッサー又は回路は、中央演算処理装置(CPU)、マイクロプロセッシングユニット(MPU)、グラフィクスプロセッシングユニット(GPU)、特定用途向け集積回路(ASIC)、又はフィールドプログラマブルゲートウェイ(FPGA)を含みうる。また、プロセッサー又は回路は、デジタルシグナルプロセッサ(DSP)、データフロープロセッサ(DFP)、又はニューラルプロセッシングユニット(NPU)を含みうる。
 以上、実施例及び変形例を参照して本発明について説明したが、本発明は上述した実施例及び変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の実施例及び各変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
 本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
 本願は、2021年12月17日提出の日本国特許出願特願2021-204978および2021年12月17日提出の日本国特許出願特願2021-204903を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。
110:撮像ヘッド、120:制御装置、130:表示装置、140:入力装置、121:画像生成部、122:記憶部、123:制御部、124:解析部、125:取得部、126:情報抽出部

Claims (34)

  1.  測定光を放射する測定光源と、被検眼の眼内を所定の走査情報に従って該測定光で走査する走査光学系と、前記測定光の前記被検眼からの戻り光を受光して受光信号を発生する受光光学系と、を有する撮像ヘッドと、
     前記走査情報と、前記受光信号とを用いて画像を生成する画像生成手段と、
     前記生成された画像であって、所定の動きの下の同じ被検眼に関する同種の複数の画像を記憶する記憶手段と、
     前記記憶された画像に基づいて前記所定の動きを検出する手段と、
     前記被検眼の眼内に存在する移動体であって、前記所定の動きに誘発されて前記検出された所定の動きとは異なる動きをする前記移動体に関する情報を、前記記憶された複数の画像の少なくとも2つを用いて抽出する抽出手段と、
    を備える、眼科撮像装置。
  2.  前記所定の動きを前記被検眼に誘発させる指示を被検者に対して発する指示発生手段を更に備える請求項1に記載の眼科撮像装置。
  3.  測定光を放射する測定光源と、被検眼の眼内を所定の走査情報に従って該測定光で走査する走査光学系と、前記測定光の前記被検眼からの戻り光を受光して受光信号を発生する受光光学系と、を有する撮像ヘッドと、
     前記走査情報と、前記受光信号とを用いて画像を生成する画像生成手段と、
     前記生成された画像であって、前記被検眼に所定の動きを誘発させる指示を指示発生手段が被検者に対して発した後の前記被検眼に関する同種の複数の画像を記憶する記憶手段と、
     前記被検眼の眼内に存在する移動体であって、前記所定の動きに誘発されて前記所定の動きとは異なる動きをする前記移動体に関する情報を、前記記憶された複数の画像の少なくとも2つを用いて抽出する抽出手段と、
    を備える、眼科撮像装置。
  4.  前記指示発生手段は、前記被検眼の瞬きを誘発させるための音声指示を前記被検者に対して発生する音声出力手段を有する、請求項2又は3に記載の眼科撮像装置。
  5.  前記撮像ヘッドは、前記被検眼の固視を誘導するための固視灯を所定の位置に提示する固視灯提示手段を更に有し、
     前記指示発生手段は、前記被検眼の動きを誘発するために前記固視灯の提示位置を移動させる指示を前記固視灯提示手段に対して発生する、請求項2又は3に記載の眼科撮像装置。
  6.  前記指示発生手段は、前記指示を所定回数繰り返す、請求項2乃至5のいずれか1項に記載の眼科撮像装置。
  7.  前記被検眼の瞬きを検出する瞬き検出手段を更に備える、請求項1乃至6のいずれか1項に記載の眼科撮像装置。
  8.  前記撮像ヘッドは、前記被検眼の前眼部を撮像する手段を更に有し、
     前記瞬き検出手段は、前記撮像する手段を含む、請求項7に記載の眼科撮像装置。
  9.  前記撮像ヘッドは、前記被検眼の前眼部を撮像する手段を更に有し、
     前記被検眼の動きの開始は、前記撮像する手段が取得した画像に基づいて検出される、請求項1乃至6のいずれか1項に記載の眼科撮像装置。
  10.  前記記憶手段は、前記生成された画像と、前記検出された被検眼の動きとを関連付けて記憶する、請求項1乃至9のいずれか1項に記載の眼科撮像装置。
  11.  時間的に連続して取得された受光信号に基づく複数の画像を用いて生成される動画像を繰り返して表示するように表示手段を制御する表示制御手段を更に備える、請求項1乃至10のいずれか1項に記載の眼科撮像装置。
  12.  前記同種の画像は、前記被検眼の眼底の正面画像、又は眼底の断層画像である、請求項1乃至11のいずれか1項に記載の眼科撮像装置。
  13.  前記受光光学系は、前記測定光に対応する参照光と前記戻り光との干渉光を生成し、
     前記画像生成手段は、前記干渉光を用いて前記被検眼の断層画像を生成する、請求項1乃至11のいずれか1項に記載の眼科撮像装置。
  14.  前記走査光学系は、前記被検眼の動きの方向に基づいて決定される方向に、前記測定光を走査する、請求項13に記載の眼科撮像装置。
  15.  異なる時間に得られた同一の被検眼に関する同種の複数の画像を取得する取得手段と、
     前記複数の画像において、背景となる画像に対して相対的に移動する移動体の画像を抽出する抽出手段と、
    を備える眼科用画像処理装置。
  16.  前記背景となる画像に対して前記移動体の画像を重畳して表示手段に表示させる表示制御手段を更に備える、請求項15に記載の眼科用画像処理装置。
  17.  前記取得手段は、測定光を放射する測定光源と、前記被検眼の眼内を所定の走査情報に従って該測定光で走査する走査光学系と、前記測定光の前記被検眼からの戻り光を受光して受光信号を発生する受光光学系と、を有する撮像ヘッドから得られる前記受光信号と前記走査情報とに基づいて生成された前記複数の画像を取得する、請求項15又は16に記載の眼科用画像処理装置。
  18.  前記複数の画像に基づいて前記被検眼の眼底の移動を検出する検出手段と、
     前記検出された移動を低減するように、前記測定光の走査位置を補正するように前記走査光学系を制御する手段と、を更に備え、
     前記背景の画像は、前記測定光の走査位置を補正した状態で取得される、請求項17に記載の眼科用画像処理装置。
  19.  前記測定光源は、波長領域の異なる複数の測定光を放射可能であり、
     前記複数の画像は、該複数の測定光の各々に対応した画素値から構成される画像である、請求項17又は18に記載の眼科用画像処理装置。
  20.  請求項15に記載の画像処理装置と、
     測定光を放射する測定光源と、前記被検眼の眼内を所定の走査情報に従って該測定光で走査する走査光学系と、前記測定光の前記被検眼からの戻り光を受光して受光信号を発生する受光光学系と、を有する撮像ヘッドと、
    を備え、
     前記取得手段は、前記撮像ヘッドから得られる前記受光信号と前記走査情報とに基づいて生成された前記複数の画像を取得する、眼科撮像装置。
  21.  測定光を放射する測定光源と、被検眼の眼内を所定の走査情報に従って該測定光で走査する走査光学系と、前記測定光の前記被検眼からの戻り光を受光して受光信号を発生する受光光学系と、を有する撮像ヘッドを備える眼科撮像装置の制御方法であって、
     前記走査情報と、前記受光信号とを用いて画像を生成するステップと、
     前記生成された画像であって、所定の動きの下の同じ被検眼に関する同種の複数の画像を記憶するステップと、
     前記記憶された画像に基づいて前記所定の動きを検出するステップと、
     前記被検眼の眼内に存在する移動体であって、前記所定の動きに誘発されて前記検出された所定の動きとは異なる動きをする前記移動体に関する情報を、前記記憶された複数の画像の少なくとも2つを用いて抽出するステップと、
    を含む、眼科撮像装置の制御方法。
  22.  測定光を放射する測定光源と、被検眼の眼内を所定の走査情報に従って該測定光で走査する走査光学系と、前記測定光の前記被検眼からの戻り光を受光して受光信号を発生する受光光学系と、を有する撮像ヘッドを備える眼科撮像装置の制御方法であって、
     前記走査情報と、前記受光信号とを用いて画像を生成するステップと、
     前記生成された画像であって、前記被検眼に所定の動きを誘発させる指示を指示発生手段が被検者に対して発した後の前記被検眼に関する同種の複数の画像を記憶するステップと、
     前記被検眼の眼内に存在する移動体であって、前記所定の動きに誘発されて前記所定の動きとは異なる動きをする前記移動体に関する情報を、前記記憶された複数の画像の少なくとも2つを用いて抽出するステップと、
    を含む、眼科撮像装置の制御方法。
  23.  コンピュータによって実行されると、該コンピュータに請求項21又は22に記載の眼科撮像装置の制御方法の各ステップを実行させる、プログラム。
  24.  異なる時間に得られた同一の被検眼に関する同種の複数の画像を取得するステップと、
     前記複数の画像の内の少なくとも2つにおいて、背景となる画像に対して相対的に移動する移動体の画像を抽出するステップと、
    を含む、眼科用画像処理方法。
  25.  前記背景となる画像を前記少なくとも2つの画像から生成するステップを更に含み、
     前記生成するステップは、前記少なくとも2つの画像の位置ずれを補正することにより、前記少なくとも2つの画像から前記背景となる画像を生成する、請求項24に記載の眼科用画像処理方法。
  26.  前記抽出するステップは、
     前記複数の画像における一の画像に複数の部分画像を設定する部分設定ステップと、
     前記複数の画像における前記一の画像とは異なる画像における、前記設定された部分画像のオプティカルフローを算出する算出ステップと、を有し、
     前記算出されたオプティカルフローに基づいて前記移動体の画像を抽出する、請求項24又は25に記載の眼科用画像処理方法。
  27.  前記抽出するステップは、
     前記背景となる画像と、前記少なくとも2つの画像との差分画像を生成するステップを有し、
     前記生成された差分画像に基づいて前記移動体を抽出する、請求項24又は25に記載の眼科用画像処理方法。
  28.  前記抽出するステップは、
     位置ずれが補正された複数の画像における少なくとも3つの画像間における差分画像を生成するステップを有し、
     前記生成された差分画像に基づいて前記移動体を抽出する、請求項24に記載の画像処理方法。
  29.  前記背景となる画像に対して前記移動体の画像を重畳して表示手段に表示させるステップを更に含み、
     前記表示させるステップにおいて、前記背景となる画像に対して前記移動体の画像を強調させる、請求項24乃至28のいずれか1項に記載の眼科用画像処理方法。
  30.  前記移動体の画像に基づいて前記移動体の特徴量を計測するステップを更に含み、
     前記計測するステップにおいて、前記移動体の相対移動量を計測し、該計測された相対移動量に基づいて相対速度を算出する、請求項24乃至29のいずれか1項に記載の眼科用画像処理方法。
  31.  前記移動体の画像を抽出するステップは、複数の前記移動体の画像を抽出可能であって、
     前記相対速度の算出は、前記複数の移動体の画像が抽出された場合、該複数の移動体の画像各々の代表点を設定し、該代表点の相対速度を算出可能である、請求項30に記載の眼科用画像処理方法。
  32.  前記特徴量を計測するステップにおいて、
     前記抽出された移動体の画像の大きさ、濃度、色相の少なくとも一つを計測する、請求項30又は31に記載の眼科用画像処理方法。
  33.  前記同種の画像は、前記被検眼の眼底の正面画像、又は眼底の断層画像である、請求項24乃至32のいずれか1項に記載の眼科用画像処理方法。
  34.  コンピュータによって実行されると、該コンピュータに請求項24乃至33のいずれか1項に記載の眼科用画像処理方法の各ステップを実行させる、プログラム。
PCT/JP2022/046155 2021-12-17 2022-12-15 眼科撮像装置、眼科用画像処理装置、眼科撮像装置の制御方法、眼科用画像処理方法、及びプログラム WO2023112978A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021204978A JP2023090164A (ja) 2021-12-17 2021-12-17 眼科撮像装置、眼科撮像装置の制御方法、及びプログラム
JP2021204903A JP2023090115A (ja) 2021-12-17 2021-12-17 眼科用画像処理方法、眼科用画像処理装置、プログラム、及び眼科撮像装置
JP2021-204978 2021-12-17
JP2021-204903 2021-12-17

Publications (1)

Publication Number Publication Date
WO2023112978A1 true WO2023112978A1 (ja) 2023-06-22

Family

ID=86774759

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/046155 WO2023112978A1 (ja) 2021-12-17 2022-12-15 眼科撮像装置、眼科用画像処理装置、眼科撮像装置の制御方法、眼科用画像処理方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2023112978A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011059018A1 (ja) * 2009-11-11 2011-05-19 株式会社ニデック 眼科装置
JP2015070359A (ja) * 2013-09-27 2015-04-13 株式会社京三製作所 人数カウント装置
JP2020018795A (ja) * 2018-08-03 2020-02-06 株式会社ニデック 眼底撮影装置および眼科システム
JP2020157098A (ja) * 2016-03-31 2020-10-01 株式会社ニデック 眼科撮影装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011059018A1 (ja) * 2009-11-11 2011-05-19 株式会社ニデック 眼科装置
JP2015070359A (ja) * 2013-09-27 2015-04-13 株式会社京三製作所 人数カウント装置
JP2020157098A (ja) * 2016-03-31 2020-10-01 株式会社ニデック 眼科撮影装置
JP2020018795A (ja) * 2018-08-03 2020-02-06 株式会社ニデック 眼底撮影装置および眼科システム

Similar Documents

Publication Publication Date Title
JP6865788B2 (ja) 眼科装置
JP6522827B2 (ja) 眼科装置
JP5989523B2 (ja) 眼科装置
JP5355994B2 (ja) 眼科撮影装置
JP5818409B2 (ja) 眼底撮像装置及びその制御方法
WO2014103646A1 (ja) 眼科装置
JP6215413B2 (ja) 眼科装置
JP6624641B2 (ja) 眼科装置
JP6411728B2 (ja) 眼科観察装置
WO2023112978A1 (ja) 眼科撮像装置、眼科用画像処理装置、眼科撮像装置の制御方法、眼科用画像処理方法、及びプログラム
JP2017205261A (ja) 眼科撮像装置及びその制御方法、並びに、プログラム
JP2023090115A (ja) 眼科用画像処理方法、眼科用画像処理装置、プログラム、及び眼科撮像装置
JP6739183B2 (ja) 眼科装置
JP2023090164A (ja) 眼科撮像装置、眼科撮像装置の制御方法、及びプログラム
JP6713297B2 (ja) 眼科装置
JP2018023818A (ja) 眼科観察装置
JP6503040B2 (ja) 眼科観察装置
JP7231366B2 (ja) 眼科装置および眼科装置の制御方法
JP7309404B2 (ja) 撮像装置およびその制御方法
JP6404431B2 (ja) 眼科観察装置
JP2024070524A (ja) 眼科撮像装置、画像処理装置、画像処理装置の作動方法、及びプログラム
JP2018023819A (ja) 眼科観察装置
JP2018023815A (ja) 眼科観察装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22907501

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE