WO2021176893A1 - 眼科装置、その制御方法、及び記録媒体 - Google Patents
眼科装置、その制御方法、及び記録媒体 Download PDFInfo
- Publication number
- WO2021176893A1 WO2021176893A1 PCT/JP2021/002714 JP2021002714W WO2021176893A1 WO 2021176893 A1 WO2021176893 A1 WO 2021176893A1 JP 2021002714 W JP2021002714 W JP 2021002714W WO 2021176893 A1 WO2021176893 A1 WO 2021176893A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- anterior
- unit
- ophthalmic apparatus
- scan
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 81
- 238000004458 analytical method Methods 0.000 claims description 129
- 238000012014 optical coherence tomography Methods 0.000 claims description 124
- 210000004087 cornea Anatomy 0.000 claims description 76
- 238000003708 edge detection Methods 0.000 claims description 51
- 238000005211 surface analysis Methods 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 16
- 238000013480 data collection Methods 0.000 claims description 10
- 238000003702 image correction Methods 0.000 claims description 7
- 210000002294 anterior eye segment Anatomy 0.000 abstract 2
- 230000003287 optical effect Effects 0.000 description 95
- 238000012937 correction Methods 0.000 description 61
- 238000012545 processing Methods 0.000 description 57
- 210000000695 crystalline len Anatomy 0.000 description 50
- 230000008569 process Effects 0.000 description 46
- 238000005259 measurement Methods 0.000 description 45
- 230000011218 segmentation Effects 0.000 description 37
- 238000010276 construction Methods 0.000 description 23
- 238000005286 illumination Methods 0.000 description 20
- 230000007246 mechanism Effects 0.000 description 15
- 210000001747 pupil Anatomy 0.000 description 13
- 239000013307 optical fiber Substances 0.000 description 12
- 239000006185 dispersion Substances 0.000 description 11
- 210000000554 iris Anatomy 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 239000000835 fiber Substances 0.000 description 7
- 230000004907 flux Effects 0.000 description 7
- 230000003595 spectral effect Effects 0.000 description 7
- 210000002159 anterior chamber Anatomy 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000010287 polarization Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 210000000720 eyelash Anatomy 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000004323 axial length Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 201000002862 Angle-Closure Glaucoma Diseases 0.000 description 1
- 208000010412 Glaucoma Diseases 0.000 description 1
- 206010020675 Hypermetropia Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000001742 aqueous humor Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000000762 glandular Effects 0.000 description 1
- 230000004305 hyperopia Effects 0.000 description 1
- 201000006318 hyperopia Diseases 0.000 description 1
- 230000004410 intraocular pressure Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
- A61B3/1225—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Definitions
- the present invention relates to an ophthalmic apparatus, a control method thereof, and a recording medium.
- Patent Documents 1 to 3 disclose angle analysis techniques
- Patent Documents 3 and 4 disclose corneal analysis techniques.
- Segmentation is a process of dividing a digital image into a plurality of parts (a plurality of image objects), and can also be said to be a process of identifying a region having a specific regularity from the digital image. Segmentation is realized by using image processing techniques such as threshold processing, clustering, region division, edge detection, and line segment extraction, and in recent years, a method using machine learning has also been put into practical use.
- segmentation is typically used to identify (extract) an image object corresponding to a specific site (eg, cornea, iris, pupil, lens, etc.) from the anterior segment image.
- a specific site eg, cornea, iris, pupil, lens, etc.
- an image object corresponding to the cornea and an image object corresponding to the iris are specified from the anterior eye image, and a portion where these image objects are in contact with each other is defined as an angle position.
- an image object corresponding to the anterior surface of the cornea and an image object corresponding to the posterior surface of the cornea are specified from the anterior ocular segment image, and the distance between these image objects is defined as the corneal film thickness.
- segmentation greatly affects the quality of anterior ocular analysis (eg, accuracy, accuracy, reproducibility, etc.). For example, when an image object corresponding to the cornea is specified from the anterior segment image, an image caused by disturbance such as a virtual image of the iris (folded image) or eyelashes is reflected on the image object corresponding to the cornea. , Segmentation cannot be done correctly.
- FIGS. 1A and 1B Examples of segmentation errors in the anterior ocular segment OCT image are shown in FIGS. 1A and 1B.
- the virtual image 1000 of the iris is reflected in the anterior segment image (B scan image) shown in FIG. 1A (a).
- FIG. 1A (b) shows an image object (anterior corneal image) 1010 corresponding to the anterior surface of the cornea and an image object (posterior corneal image) 1020 identified by applying segmentation to the anterior segment image. show.
- the posterior corneal image 1020 is deviated from the correct posterior corneal image 1040 within the region 1030 due to the influence of the contour of the virtual image 1000 of the iris.
- FIG. 1B (b) shows an anterior corneal image 1110 and a posterior corneal image 1120 identified by applying segmentation to this anterior eye image.
- the corneal anterior image 1110 is largely deviated from the correct corneal anterior image 1140 within the region 1130 due to the influence of the eyelash image.
- One object of the present invention is to improve the segmentation of the OCT image of the anterior segment of the eye.
- the ophthalmic apparatus includes an image acquisition unit that acquires an anterior segment image based on data collected from the anterior segment of the eye to be inspected by an optical coherence stromography (OCT) scan, and the image acquisition unit.
- a first image region specifying unit that analyzes the first portion of the anterior segment image acquired by the unit to specify a first image region corresponding to a predetermined portion of the anterior segment, and the first image region identifying portion.
- Including the second image region specifying portion that specifies the second image region corresponding to the predetermined portion in the second portion whose true subset is the first portion based on the first image region specified by. It is an ophthalmic device.
- the ophthalmic apparatus is set by the analysis area setting unit that sets the analysis area including the second image area specified by the second image area identification unit and the analysis area setting unit. Further includes a third image region specifying portion that analyzes the analysis region and identifies a third image region corresponding to the predetermined portion.
- the analysis area setting unit sets the analysis area by increasing the width of the second image area to a predetermined value.
- the third image region specifying unit identifies the third image region by applying edge detection to the analysis region set by the analysis region setting unit.
- the first image region identification unit identifies the first image region by applying edge detection to the first portion of the anterior eye region image.
- the threshold of the gradient intensity in the edge detection performed by the third image region identification unit is the gradient intensity in the edge detection executed by the first image region identification unit. Less than the threshold.
- the second image region identification unit applies curve fitting to the first image region specified by the first image region identification unit to apply curve fitting to the second image region. To identify.
- the second image region identification unit applies curve fitting based on a robust estimation algorithm for excluding outliers to the first image region.
- the robust estimation algorithm includes a Random Sample Consensus (RANSAC) algorithm.
- RANSAC Random Sample Consensus
- the OCT scan includes an A scan and a lateral scan orthogonal to the A scan, at least a portion of the A scan range and the lateral scan range. It further includes a partial setting unit that sets the portion of the anterior segment image defined by the portion as the first portion.
- the lateral scan includes a B scan
- the partial setting unit excludes at least a portion of the A scan range and both ends of the B scan range.
- the portion of the anterior segment image defined by the portion is set as the first portion.
- the partial setting unit analyzes the anterior ocular segment image to detect a feature point, and based on the detected feature point, said the anterior ocular segment image. Set the first part.
- the partial setting unit detects the feature points by applying edge detection to the entire anterior ocular segment image.
- the partial setting unit sets the first part so as to include the feature points.
- the partial setting unit applies the artifact detection to the anterior eye image, and when the artifact is detected from the anterior image, the partial setting unit does not include the artifact.
- the first part is set in.
- the predetermined portion of the anterior segment of the eye is the cornea.
- the first image region identifying portion analyzes the first portion of the anterior corneal image and obtains a first corneal anterior image corresponding to the anterior surface of the cornea.
- the first corneal posterior image corresponding to the posterior surface of the cornea is identified, and the second image region specifying portion is based on the first corneal anterior image, and the second cornea corresponding to the anterior surface in the second portion.
- the anterior surface image is specified, and the second corneal posterior surface image corresponding to the posterior surface is specified in the second portion based on the first corneal posterior surface image.
- an analysis area setting unit for setting a front surface analysis region including the second corneal anterior image and a posterior surface analysis region including the second corneal posterior image, and the front surface analysis. It further includes a third image region specifying portion that analyzes the region to identify the third corneal anterior image corresponding to the anterior surface and analyzes the posterior surface analysis region to identify the third corneal posterior surface image corresponding to the posterior surface. ..
- the analysis area setting unit increases the width of the second corneal anterior image to a predetermined value to set the anterior analysis area, and sets the anterior surface analysis area of the second corneal posterior image.
- the width is increased to a predetermined value to set the rear surface analysis area.
- the third image region identification unit applies edge detection to the anterior surface analysis region to identify the third corneal anterior image and edge detection to the posterior surface analysis region. Is applied to identify the posterior surface image of the third cornea.
- the first image region identifying portion applies edge detection to the first portion of the anterior eye portion image to apply edge detection to the first corneal anterior image and the first cornea. Identify the rear image.
- the threshold of the gradient intensity in the edge detection performed by the third image region identification unit is the gradient intensity in the edge detection executed by the first image region identification unit. Less than the threshold.
- the second image region identifying portion applies a curve fitting to the first corneal anterior image to identify the second corneal anterior image and the first corneal posterior surface. Curve fitting is applied to the image to identify the second corneal posterior image.
- the second image region identification unit performs curve fitting based on a robust estimation algorithm for excluding outliers in the first corneal anterior image and the first corneal posterior image. Applies to each of.
- the robust estimation algorithm includes a Random Sample Consensus (RANSAC) algorithm.
- RANSAC Random Sample Consensus
- the OCT scan includes an A scan and a lateral scan orthogonal to the A scan, at least a portion of the A scan range and the lateral scan range. It further includes a partial setting unit that sets the portion of the anterior segment image defined by the portion as the first portion.
- the lateral scan includes a B scan
- the partial setting unit covers at least a portion of the A scan range and predetermined areas at both ends of the B scan range.
- the portion of the anterior segment image defined by the excluded portion is set as the first portion.
- the partial setting unit analyzes the anterior ocular segment image to detect a position corresponding to the corneal apex, and the partial setting unit is based on the position corresponding to the corneal apex.
- the first portion of the anterior segment image is set.
- the partial setting unit applies edge detection to the entire anterior ocular segment image to detect the position corresponding to the corneal apex.
- the partial setting unit sets the first part so as to include the position corresponding to the corneal apex.
- the partial setting unit sets the first portion so that the position corresponding to the apex of the cornea is located at the central position in the direction of the lateral scan.
- the partial setting unit applies the artifact detection to the anterior eye image, and when the artifact is detected from the anterior image, the partial setting unit does not include the artifact.
- the first part is set in.
- a first image correction unit that corrects the distortion of the anterior eye portion image based on at least the third corneal anterior image is further included.
- a second image correction unit for correcting the pixel aspect ratio of the anterior eye portion image is further included.
- the ophthalmic apparatus further includes an analysis unit that analyzes the anterior ocular segment image and calculates a predetermined anterior segment parameter.
- the image acquisition unit applies the OCT scan to the anterior eye portion to collect data, and the data collected by the data collection unit. It includes an image construction unit that constructs the anterior eye portion image based on the image.
- the image acquisition unit includes a reception unit that receives the anterior eye portion image from the outside.
- a method of controlling an ophthalmic apparatus is a method of controlling an ophthalmic apparatus including a processor, which is collected from the anterior eye portion of the eye to be inspected by an optical coherence stromography (OCT) scan on the processor.
- OCT optical coherence stromography
- An anterior segment image based on the obtained data is acquired, the first portion of the anterior segment image is analyzed, a first image region corresponding to a predetermined portion of the anterior segment is specified, and the first image region is used. Based on this, the second image region corresponding to the predetermined portion is specified in the second portion whose true subset is the first portion.
- the processor is made to further set an analysis region including the second image region, and the analysis region is analyzed to obtain a third image region corresponding to the predetermined portion. Let me identify.
- Some exemplary embodiments are programs that cause a computer to perform the methods of the exemplary embodiments.
- Some exemplary embodiments are computer-readable non-temporary recording media on which the programs of the exemplary embodiments are recorded.
- Ophthalmic devices can measure the anterior segment of the living eye using Fourier domain OCT (eg, swept source OCT).
- OCT eg, swept source OCT
- the type of OCT applicable to the exemplary embodiment is not limited to swept source OCT and may be, for example, spectral domain OCT or time domain OCT.
- the ophthalmic apparatus may be capable of processing images acquired by modality other than OCT.
- some exemplary embodiments may be capable of processing images acquired by any of a fundus camera, a scanning laser ophthalmoscope (SLO), a slit lamp microscope, and an ophthalmic surgery microscope.
- Ophthalmic devices according to some exemplary embodiments may include any of a fundus camera, an SLO, a slit lamp microscope, and an ophthalmic surgery microscope.
- the ophthalmic apparatus is configured to acquire an image (anterior segment image) constructed based on data collected from the anterior segment of the living eye by OCT scanning and process the image (anterior segment image). ..
- the anterior segment image may contain artifacts such as, for example, a virtual image (folded image) or an image due to disturbance (see, eg, FIGS. 1A and 1B).
- One advantage of the exemplary embodiment is that segmentation can be performed correctly even in the presence of such artifacts.
- the aspect of acquiring an anterior segment image is arbitrary.
- some exemplary embodiments of the ophthalmic apparatus have a configuration in which an OCT scan is applied to the anterior segment of the living eye to collect data, and a configuration in which an anterior segment image is constructed based on the collected data. May be equipped.
- the ophthalmic apparatus of some exemplary embodiments may have a function of receiving an image of the anterior segment of the living eye from the outside.
- an image of the anterior segment of the living eye is acquired using an OCT device and stored in a medical image management system (for example, Picture Archiving and Communication Systems; PACS).
- a medical image management system for example, Picture Archiving and Communication Systems; PACS.
- Some exemplary embodiments of the ophthalmic apparatus are configured to access a medical image management system to receive anterior ocular images.
- the circuit configuration or processing circuit configuration is a general-purpose processor, a dedicated processor, an integrated circuit, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit) configured and / or programmed to execute at least a part of the disclosed functions. ), ASIC (Application Specific Integrated Circuit), programmable logic device (for example, SPLD (Simple Program Logical Device), CPLD (Complex Program Large Graphic Device), CPLD (Complex Program A processor is considered to be a processing circuit configuration or circuit configuration, including transistors and / or other circuit configurations.
- circuit configurations, units, means, or similar terms are disclosed.
- Hardware that performs at least a portion of the disclosed functionality, or hardware that is programmed to perform at least a portion of the disclosed functionality.
- Hardware is the hardware disclosed herein. It may be, or it may be known hardware programmed and / or configured to perform at least some of the described functions. Processors where the hardware can be considered as a type of circuit configuration. Where is the circuit configuration, unit, means, or similar terminology, a combination of hardware and software, which software is used to configure the hardware and / or processor.
- the ophthalmic apparatus 1 of the exemplary embodiment shown in FIG. 2 is a multifunction device that combines an OCT apparatus and a fundus camera, and has a function of applying OCT to the anterior segment of the eye and a function of photographing the anterior segment of the eye. ..
- the ophthalmic apparatus 1 includes a fundus camera unit 2, an OCT unit 100, and an arithmetic control unit 200.
- the fundus camera unit 2 is provided with various elements (for example, an optical system, a mechanism, etc.) for acquiring a front image of the eye to be inspected.
- the OCT unit 100 is provided with a part of various elements (for example, an optical system, a mechanism, etc.) for performing an OCT scan.
- the arithmetic control unit 200 includes one or more processors and one or more storage devices configured to perform various processes (calculations, controls, etc.).
- the ophthalmic apparatus 1 includes arbitrary elements and units such as a member for supporting the subject's face (chin rest, forehead pad, etc.) and an attachment for switching the site to which the OCT scan is applied. include.
- This attachment includes a lens group (lens unit).
- the anterior ocular segment OCT attachment 400 provided in the ophthalmic apparatus 1 of this example includes a lens group for switching the OCT scan application site between the posterior ocular segment and the anterior ocular segment.
- the anterior eye portion OCT attachment 400 may be configured in the same manner as the optical unit disclosed in, for example, Japanese Patent Application Laid-Open No. 2015-160103.
- the anterior segment OCT attachment 400 can be arranged between the objective lens 22 and the eye E to be inspected.
- the ophthalmic apparatus 1 can apply an OCT scan to the anterior segment.
- the anterior ocular segment OCT attachment 400 is retracted from the optical path, the ophthalmic apparatus 1 can apply an OCT scan to the posterior ocular segment.
- the front eye OCT attachment 400 is moved manually or automatically.
- Some exemplary embodiments of the ophthalmic device can apply an OCT scan to the posterior eye when the attachment is placed in the optical path, and to the anterior eye when the attachment is retracted from the optical path.
- An OCT scan may be applicable.
- the OCT scan application site that can be switched by the attachment is not limited to the combination of the posterior eye portion and the anterior eye portion, and may be a combination of any region of the eye.
- the configuration for switching the OCT scan application site is not limited to such attachments (lens group, lens unit, optical unit), and includes, for example, one or more lenses that can move along the optical path. May be good.
- the fundus camera unit 2 is provided with elements (optical system, mechanism, etc.) for photographing the eye E to be inspected (anterior eye portion Ea, fundus Ef, etc.) and acquiring a digital photograph.
- the acquired digital photograph of the eye E to be inspected is a front image such as an observation image and a photographed image.
- the observed image is obtained, for example, by taking a moving image using near-infrared light, and is used for alignment, focusing, tracking, and the like.
- the captured image is, for example, a still image using flash light in the visible region or the infrared region, and is used for diagnosis, analysis, and the like.
- the fundus camera unit 2 includes an illumination optical system 10 and a photographing optical system 30.
- the illumination optical system 10 irradiates the eye E to be inspected with illumination light.
- the photographing optical system 30 detects the return light of the illumination light from the eye E to be inspected.
- the measurement light from the OCT unit 100 is guided to the eye E to be inspected through the optical path in the fundus camera unit 2, and the return light is guided to the OCT unit 100 through the same optical path.
- the light (observation illumination light) output from the observation light source 11 of the illumination optical system 10 is reflected by the concave mirror 12, passes through the condenser lens 13, passes through the visible cut filter 14, and becomes near-infrared light. Further, the observation illumination light is once focused in the vicinity of the photographing light source 15, reflected by the mirror 16, and passes through the relay lens system 17, the relay lens 18, the diaphragm 19, and the relay lens system 20. Then, the observation illumination light is reflected at the peripheral portion of the perforated mirror 21 (the region around the perforated portion), passes through the dichroic mirror 46, is refracted by the objective lens 22, and illuminates the eye E to be inspected.
- the return light of the observation illumination light from the eye E to be inspected is refracted by the objective lens 22, passes through the dichroic mirror 46, passes through the hole formed in the central region of the perforated mirror 21, and passes through the dichroic mirror 55. , It is reflected by the mirror 32 via the photographing focusing lens 31. Further, this return light passes through the half mirror 33A, is reflected by the dichroic mirror 33, and is imaged on the light receiving surface of the image sensor 35 by the imaging lens 34. The image sensor 35 detects the return light at a predetermined frame rate.
- the focus of the photographing optical system 30 is typically adjusted to match the fundus Ef or the anterior eye portion Ea.
- the light output from the photographing light source 15 (photographing illumination light) is applied to the eye E to be inspected through the same path as the observation illumination light.
- the return light of the photographing illumination light from the eye E to be examined is guided to the dichroic mirror 33 through the same path as the return light of the observation illumination light, passes through the dichroic mirror 33, is reflected by the mirror 36, and is reflected by the imaging lens 37.
- An image is formed on the light receiving surface of the image sensor 38.
- the liquid crystal display (LCD) 39 displays a fixation target (fixation target image).
- a part of the light flux output from the LCD 39 is reflected by the half mirror 33A, reflected by the mirror 32, passes through the photographing focusing lens 31 and the dichroic mirror 55, and passes through the hole portion of the perforated mirror 21.
- the luminous flux that has passed through the hole of the perforated mirror 21 passes through the dichroic mirror 46, is refracted by the objective lens 22, and is projected onto the fundus Ef.
- the fixation position of the eye E to be inspected by the fixation target can be changed. That is, the line of sight of the eye E to be inspected can be guided in a desired direction by changing the fixation position.
- a graphical user interface (GUI) or the like for designating a desired fixation position can be provided.
- the configuration for presenting the fixation target whose fixation position can be changed to the eye E to be inspected is not limited to the display device such as LCD.
- a fixation matrix in which a plurality of light emitting units (light emitting diodes and the like) are arranged in a matrix (array) can be adopted instead of the display device.
- the fixation position can be changed by selectively lighting a plurality of light emitting units.
- a configuration in which the fixation position is changed by one or more movable light emitting units can be adopted.
- the alignment optical system 50 generates an alignment index used for aligning the optical system with respect to the eye E to be inspected.
- the alignment light output from the light emitting diode (LED) 51 passes through the diaphragm 52, the diaphragm 53, and the relay lens 54, is reflected by the dichroic mirror 55, passes through the hole portion of the perforated mirror 21, and passes through the dichroic mirror 46. It is transmitted and projected onto the eye E to be inspected through the objective lens 22.
- the return light of the alignment light from the eye E to be inspected is guided to the image sensor 35 through the same path as the return light of the observation illumination light.
- Manual alignment and auto-alignment can be executed based on the received light image (alignment index image).
- the alignment index image of this example consists of two bright spot images whose positions change depending on the alignment state.
- the two bright spot images are integrally displaced in the xy direction.
- the relative position of the eye E to be inspected and the optical system changes in the z direction the relative position (distance) between the two bright spot images changes.
- the distance between the eye E to be inspected and the optical system in the z direction matches the predetermined working distance, the two bright spot images overlap.
- two bright spot images are presented in or near a predetermined alignment target.
- the two bright spot images overlap and align. Presented within the target.
- the data processing unit 230 detects the positions of the two bright spot images, and the main control unit 211 controls the movement mechanism 150 described later based on the positional relationship between the two bright spot images and the alignment target. ..
- the main control unit 211 displays two bright spot images on the display unit 241 together with the observation image of the eye E to be inspected, and the user uses the operation unit 242 while referring to the two displayed bright spot images. To operate the moving mechanism 150.
- the alignment method is not limited to the above.
- the alignment means of the ophthalmic apparatus of some exemplary embodiments captures the anterior segment of the anterior segment from different directions substantially simultaneously to obtain two or more captured images and analyzes these captured images in three dimensions of the eye to be inspected.
- the position may be determined and the optical system may be moved based on the three-dimensional position (see, for example, Japanese Patent Application Laid-Open No. 2013-248376).
- the focus optical system 60 generates a split index used for focus adjustment with respect to the eye E to be inspected.
- the focus optical system 60 is moved along the optical path (illumination optical path) of the illumination optical system 10 in conjunction with the movement of the imaging focusing lens 31 along the optical path (photographing optical path) of the photographing optical system 30.
- the reflection rod 67 is inserted and removed from the illumination optical path. When adjusting the focus, the reflecting surface of the reflecting rod 67 is inclined and arranged in the illumination optical path.
- the focus light output from the LED 61 passes through the relay lens 62, is separated into two light beams by the split index plate 63, passes through the two-hole diaphragm 64, is reflected by the mirror 65, and is reflected by the condensing lens 66.
- the focus light is reflected by the perforated mirror 21 via the relay lens 20, passes through the dichroic mirror 46, and is projected onto the eye E to be inspected via the objective lens 22.
- the return light of the focus light from the eye E to be inspected is guided to the image sensor 35 through the same path as the return light of the alignment light.
- Manual focusing or auto focusing can be executed based on the received light image (split index image).
- the diopter correction lenses 70 and 71 can be selectively inserted into the photographing optical path between the perforated mirror 21 and the dichroic mirror 55.
- the diopter correction lens 70 is a plus lens (convex lens) for correcting high-intensity hyperopia.
- the diopter correction lens 71 is a minus lens (concave lens) for correcting intense myopia.
- the dichroic mirror 46 connects the optical path for OCT (measurement arm) to the optical path for digital photography (illumination optical path and optical path for photography).
- the dichroic mirror 46 reflects light in the wavelength band for OCT scanning and transmits light in the wavelength band for photographing.
- the measuring arm is provided with a collimator lens unit 40, a retroreflector 41, a dispersion compensation member 42, an OCT focusing lens 43, an optical scanner 44, and a relay lens 45 in this order from the OCT unit 100 side.
- the retroreflector 41 is movable in the directions indicated by the arrows in FIG. 2 (incident direction and exit direction of the measurement light LS). As a result, the length of the measuring arm is changed.
- the change in the measurement arm length is used, for example, for correcting the optical path length according to the axial length, correcting the optical path length according to the corneal shape and the fundus shape, adjusting the interference state, and the like.
- the dispersion compensating member 42 together with the dispersion compensating member 113 (described later) arranged on the reference arm, acts to match the dispersion characteristics of the measurement light LS and the dispersion characteristics of the reference light LR.
- the OCT focusing lens 43 is movable along the direction indicated by the arrow in FIG. 2 (optical axis of the measuring arm) in order to adjust the focus of the measuring arm. As a result, the focus state (focus position, focal length) of the measuring arm is changed.
- the ophthalmic apparatus 1 may be able to control the movement of the photographing focusing lens 31, the movement of the focus optical system 60, and the movement of the OCT focusing lens 43 in a coordinated manner.
- the optical scanner 44 is substantially arranged at a position optically conjugate with the pupil of the eye E to be inspected.
- the optical scanner 44 deflects the measurement light LS guided by the measurement arm.
- the optical scanner 44 includes, for example, a deflector (x-scanner) for scanning in the x direction and a deflector (y-scanner) for scanning in the y direction, and a deflection capable of two-dimensional scanning. It is a vessel.
- the optical scanner 44 is a galvano scanner that includes two galvano mirrors. Typically, one of the two deflectors is placed at a position optically conjugate with the pupil of the eye E to be inspected, or the pupil conjugate position is placed between the two deflectors.
- the measurement light LS can be shaken with the position in the pupil (or its vicinity) of the eye E to be examined as a pivot, and the OCT scan is applied to a wide range of the fundus Ef. Will be possible.
- the optical scanner 44 when the anterior eye OCT attachment 400 is retracted from the optical path, the optical scanner 44 is substantially optically conjugated to the pupil of the eye E to be inspected, as described above. NS.
- the optical scanner 44 when the anterior ocular OCT attachment 400 is inserted into the optical path, the optical scanner 44 is optically conjugated to a position between the anterior eye Ea and the anterior ocular OCT attachment 400.
- NS More specifically, when the anterior eye OCT attachment 400 is retracted from the optical path, for example, one of the x-scanner and the y-scanner is optically coupled to the pupil. Alternatively, the position between the x-scanner and the y-scanner is optically coupled to the pupil.
- the anterior eye OCT attachment 400 when the anterior eye OCT attachment 400 is inserted into the optical path, for example, either the x-scanner or the y-scanner is positioned between the anterior eye Ea and the anterior OCT attachment 400. In contrast, they are optically conjugated or the position between the x-scanner and the y-scanner is optically relative to the position between the anterior eye Ea and the anterior OCT attachment 400. Arranged in conjugation.
- the exemplary OCT unit 100 shown in FIG. 3 is provided with an optical system and a mechanism for applying the swept source OCT.
- This optical system includes an interference optical system.
- This interference optical system divides the light from the variable wavelength light source (wavelength sweep type light source) into the measurement light and the reference light, and superimposes the return light of the measurement light from the eye E to be inspected and the reference light passing through the reference optical path. Together, it generates interfering light and detects this interfering light.
- the detection result (detection signal) obtained by the interference optical system is a signal (interference signal) representing the spectrum of the interference light, and is sent to the arithmetic control unit 200 (image construction unit 220).
- the light source unit 101 includes, for example, a near-infrared wavelength tunable laser that changes the wavelength of emitted light at high speed.
- the light L0 output from the light source unit 101 is guided by the optical fiber 102 to the polarization controller 103, and its polarization state is adjusted. Further, the optical L0 is guided by the optical fiber 104 to the fiber coupler 105 and divided into the measurement optical LS and the reference optical LR.
- the optical path of the measurement light LS is called a measurement arm or the like, and the optical path of the reference light LR is called a reference arm or the like.
- the reference optical LR is guided by the optical fiber 110 to the collimator 111, converted into a parallel luminous flux, and guided to the retroreflector 114 via the optical path length correction member 112 and the dispersion compensation member 113.
- the optical path length correction member 112 is an optical element for matching the optical path length of the reference light LR and the optical path length of the measurement light LS.
- the dispersion compensating member 113 together with the dispersion compensating member 42 arranged on the measurement arm, acts to match the dispersion characteristics between the reference light LR and the measurement light LS.
- the retroreflector 114 is movable along the optical path of the reference light LR incident on it, thereby changing the length of the reference arm.
- the change of the reference arm length is used, for example, for correcting the optical path length according to the axial length, correcting the optical path length according to the corneal shape and the fundus shape, adjusting the interference state, and the like.
- the reference light LR that has passed through the retroreflector 114 is converted from a parallel luminous flux to a focused luminous flux by the collimator 116 via the dispersion compensating member 113 and the optical path length correction member 112, and is incident on the optical fiber 117.
- the reference light LR incident on the optical fiber 117 is guided by the polarization controller 118 to adjust its polarization state.
- the polarization controller 118 is an optical member for adjusting the interference state, and is used, for example, for optimizing the interference intensity between the measurement light LS and the reference light LR.
- the reference light LR that has passed through the polarization controller 118 is guided to the attenuator 120 through the optical fiber 119 to adjust the amount of light, and is guided to the fiber coupler 122 through the optical fiber 121.
- the measurement light LS generated by the fiber coupler 105 is guided to the collimator lens unit 40 through the optical fiber 127 and converted into a parallel luminous flux.
- the measurement light LS emitted from the collimator lens unit 40 passes through the retroreflector 41, the dispersion compensation member 42, the OCT focusing lens 43, the optical scanner 44 and the relay lens 45, is reflected by the dichroic mirror 46, and is refracted by the objective lens 22. It is projected onto the eye E to be inspected.
- the measurement light LS is scattered and reflected at various depth positions of the eye E to be inspected.
- the return light from the eye E to be inspected of the measurement light LS travels in the same direction as the outward path in the opposite direction, is guided to the fiber coupler 105, and reaches the fiber coupler 122 via the optical fiber 128.
- the fiber coupler 122 generates interference light by superimposing the measurement light LS incidented via the optical fiber 128 and the reference light LR incident via the optical fiber 121.
- the fiber coupler 122 generates a pair of interference light LCs by branching the generated interference light at a predetermined branching ratio (for example, 1: 1).
- the pair of interference light LCs are guided to the detector 125 through the optical fibers 123 and 124, respectively.
- the detector 125 includes, for example, a balanced photodiode.
- the balanced photodiode has a pair of photodetectors that detect each pair of interference light LCs, and outputs the difference between the pair of detection results obtained by these.
- the detector 125 sends this output (detection signal) to the data collection system (DAQ) 130.
- DAQ data collection system
- a clock KC is supplied to the data collection system 130 from the light source unit 101.
- the clock KC is generated in the light source unit 101 in synchronization with the output timing of each wavelength swept within a predetermined wavelength range by the tunable light source.
- the light source unit 101 branches the light L0 of each output wavelength to generate two branched lights, optically delays one of the branched lights, synthesizes the branched lights, and produces the obtained combined light. It is detected, and a clock KC is generated based on the detection result.
- the data collection system 130 samples the detection signal input from the detector 125 based on the clock KC.
- the data collection system 130 sends the result of this sampling to the arithmetic control unit 200.
- both an element for changing the measurement arm length for example, the retroreflector 41
- an element for changing the reference arm length for example, the retroreflector 114 or the reference mirror
- only one element may be provided.
- the element for changing the difference (optical path length difference) between the measurement arm length and the reference arm length is not limited to these, and may be any element (optical member, mechanism, etc.).
- the swept source OCT divides the light from the variable wavelength light source into the measurement light and the reference light, and superimposes the return light of the measurement light from the test object on the reference light to generate interference light.
- This is a method of constructing an image by detecting interference light with an optical detector and performing Fourier conversion or the like on the detection data collected in response to sweeping the wavelength and scanning the measurement light.
- the spectral domain OCT divides the light from the low coherence light source (broadband light source) into the measurement light and the reference light, and superimposes the return light of the measurement light from the test object on the reference light to generate interference light.
- This is a method in which the spectral distribution of this interference light is detected by a spectroscope, and the detected spectral distribution is subjected to Fourier transform or the like to construct an image.
- the swept source OCT is an OCT method for acquiring the spectral distribution of the interfering light by time division
- the spectral domain OCT is an OCT method for acquiring the spectral distribution of the interfering light by spatial division.
- Control system / processing system> 4 and 5 show configuration examples of the control system and the processing system of the ophthalmic apparatus 1.
- the control unit 210, the image construction unit 220, and the data processing unit 230 are provided in, for example, the arithmetic control unit 200.
- the ophthalmic apparatus 1 may include a communication device for performing data communication with an external device.
- the ophthalmic apparatus 1 may include a drive device (reader / writer) for performing a process of reading data from a recording medium and a process of writing data to a recording medium.
- the control unit 210 executes various controls.
- the control unit 210 includes a main control unit 211 and a storage unit 212.
- the main control unit 211 includes a processor and controls each element of the ophthalmic apparatus 1 (including the elements shown in FIGS. 2 to 5).
- the main control unit 211 is realized by the cooperation between the hardware including the processor and the control software.
- the photographing focusing drive unit 31A moves the photographing focusing lens 31 arranged in the photographing optical path and the focusing optical system 60 arranged in the illumination optical path under the control of the main control unit 211.
- the retroreflector (RR) drive unit 41A moves the retroreflector 41 provided on the measurement arm under the control of the main control unit 211.
- the OCT focusing drive unit 43A moves the OCT focusing lens 43 arranged on the measurement arm under the control of the main control unit 211.
- the retroreflector (RR) drive unit 114A moves the retroreflector 114 arranged on the reference arm under the control of the main control unit 211.
- Each of the above-mentioned drive units includes an actuator such as a pulse motor that operates under the control of the main control unit 211.
- the optical scanner 44 provided on the measuring arm operates under the control of the main control unit 211.
- the moving mechanism 150 moves at least the fundus camera unit 2 three-dimensionally, for example.
- the moving mechanism 150 includes an x stage that can move in the ⁇ x direction (horizontal direction), an x moving mechanism that moves the x stage, and a y stage that can move in the ⁇ y direction (vertical direction).
- the y-moving mechanism that moves the y-stage, the z-stage that can move in the ⁇ z direction (depth direction), and the z-moving mechanism that moves the z-stage are included.
- Each of these moving mechanisms includes an actuator such as a pulse motor that operates under the control of the main control unit 211.
- the insertion / removal mechanism 400A executes an operation of inserting the anterior eye portion OCT attachment 400 into the OCT optical path (measurement arm) and an operation of retracting the anterior eye portion OCT attachment 400 from the OCT optical path (measurement arm). ..
- the insertion / removal mechanism 400A includes an actuator such as a solenoid actuator that operates under the control of the main control unit 211.
- the storage unit 212 stores various data.
- the data stored in the storage unit 212 includes an OCT image, a digital photograph (anterior eye portion image, fundus image), eye test information, analysis data, and the like.
- the eye test information includes subject information such as patient ID and name, left eye / right eye identification information, electronic medical record information, and the like.
- the image construction unit 220 includes a processor and constructs OCT image data of the eye E to be inspected based on the signal (sampling data) input from the data collection system 130.
- the OCT image data constructed by the image construction unit 220 is one or more A-scan image data, and is typically B-scan image data (two-dimensional tomographic image data) composed of a plurality of A-scan image data.
- the process of constructing OCT image data includes noise removal (noise reduction), filter processing, fast Fourier transform (FFT), and the like, as in the conventional Fourier domain OCT.
- the image construction unit 220 executes a known process according to the type.
- the image construction unit 220 may be configured to construct three-dimensional data of the eye E to be inspected based on the signal input from the data collection system 130.
- This three-dimensional data is three-dimensional image data representing a three-dimensional region (volume) of the eye E to be inspected.
- This three-dimensional image data means image data in which the positions of pixels are defined by the three-dimensional coordinate system. Examples of 3D image data include stack data and volume data.
- the stack data is image data obtained by three-dimensionally arranging a plurality of tomographic images obtained along a plurality of scan lines based on the positional relationship of these scan lines. That is, the stack data is an image constructed by expressing a plurality of tomographic images originally defined by individual two-dimensional coordinate systems in one three-dimensional coordinate system (that is, embedding them in one three-dimensional space). It is data. In other words, in the stack data, a plurality of A scan image data acquired for each of a plurality of scan points (scan point arrays) arranged two-dimensionally are three-dimensionally arranged based on the positional relationship of these scan points. It is the image data obtained by.
- Volume data is image data in which voxels arranged three-dimensionally are pixels, and is also called voxel data. Volume data is constructed by applying interpolation processing, voxelization processing, etc. to the stack data.
- the image construction unit 220 renders the three-dimensional image data to construct an image for display.
- Examples of applicable rendering methods include volume rendering, surface rendering, maximum value projection (MIP), minimum value projection (MinIP), and multi-section reconstruction (MPR).
- the image construction unit 220 may be configured to construct an OCT front image (OCT en-face image) based on the three-dimensional image data.
- OCT en-face image For example, the image construction unit 220 can construct projection data by projecting three-dimensional image data in the z direction (A-line direction, depth direction).
- the image construction unit 220 can construct projection data from a part of the three-dimensional image data (for example, a slab).
- Partial data (for example, slab) of 3D image data is typically set using segmentation.
- Segmentation is a process of identifying a partial area in an image.
- segmentation is used to identify an image region that corresponds to a predetermined tissue of eye E to be inspected.
- the segmentation may include any known image processing technique, and may include, for example, image processing such as edge detection and / or segmentation utilizing machine learning (eg, deep learning).
- the segmentation is executed by, for example, the image construction unit 220 or the data processing unit 230.
- the data processing unit 230 of this embodiment is configured to be able to execute the segmentation described later, and has a feature that the segmentation can be correctly performed even for the anterior eye portion image including the artifact.
- the ophthalmic apparatus 1 may be capable of performing OCT motion contrast imaging.
- OCT motion contrast imaging is an imaging technique for extracting the movement of a liquid or the like existing in the eye (see, for example, Japanese Patent Application Laid-Open No. 2015-515894).
- the image construction unit 220 is realized by the collaboration between the hardware including the processor and the image construction software.
- the data processing unit 230 includes a processor and is configured to apply specific data processing to the image of the eye E to be inspected.
- the data processing unit 230 is realized, for example, by the collaboration between hardware including a processor and data processing software.
- the data processing unit 230 can perform alignment (registration) between the two images acquired for the eye E to be inspected. For example, the data processing unit 230 can perform registration between the three-dimensional image data acquired by using the OCT scan and the front image acquired by the fundus camera unit 2. In addition, the data processing unit 230 can perform registration between two OCT images acquired by using the OCT scan. In addition, the data processing unit 230 can perform registration between the two front images acquired by the fundus camera unit 2. It is also possible to apply registration to the analysis result of the OCT image and the analysis result of the front image. Registration can be performed by known techniques, including, for example, feature point extraction and affine transformation.
- the data processing unit 230 has a configuration for appropriately performing segmentation even for an anterior eye portion image including an artifact.
- An example of the configuration of such a data processing unit 230 is shown in FIG.
- the data processing unit 230 of this example includes at least a first image area specifying unit 232 and a second image area specifying unit 233. Further, the data processing unit 230 of this example may include an analysis area setting unit 234 and a third image area specifying unit 235. In addition, the data processing unit 230 of this example may include any one or more of a partial setting unit 231, a distortion correction unit 236, an aspect ratio correction unit 237, and an analysis unit 238.
- the anterior segment image processed by the data processing unit 230 uses an OCT scan that combines an A scan in the depth direction (axial direction) and a scan in the direction orthogonal to the A scan (horizontal scan). It is assumed that the image is obtained.
- the horizontal scan is realized by the optical scanner 44.
- the anterior eye image processed by the data processing unit 230 may typically be a (1 or more) B-scan image, a 3D image, or a (1 or more) circle-scan image.
- the case of processing one B-scan image will be particularly described, but it is possible to perform the same processing for other types of anterior segment images.
- the partial setting unit 231 identifies a portion of the anterior segment image defined by at least a part of the A scan range and a part of the lateral scan range.
- the portion of the anterior eye portion image identified by the partial setting unit 231 is analyzed by the first image region identification unit 232 in the subsequent processing.
- the portion of the anterior eye portion image set by the partial setting portion 231 is referred to as a first portion.
- the range of the A scan corresponds to the imaging range in the depth direction (z direction) (see the anterior segment image 300 shown in FIG. 6).
- the range of A scan is preset.
- the range of the lateral scan corresponds to the imaging range in the direction (lateral direction) in which the measurement light LS is shaken by the optical scanner 44 (see the anterior segment image 300 shown in FIG. 6).
- the range of horizontal scanning is determined by a preset scan mode (for example, scan pattern, scan length (angle of view: standard angle of view, wide angle, etc.)).
- the range in the depth direction is a part or the whole of the range of the A scan, and the horizontal range thereof is the horizontal scan.
- Part of the range (not the entire range of the horizontal scan).
- the range in the depth direction of the first portion of the anterior segment image set by the partial setting unit 231 may be a part or the whole of the A scan range, but the lateral range is horizontal. This is the area excluding a part of the scan range.
- the partial setting section 231 May set a portion of the anterior segment image defined by at least a part of the A scan range and a portion excluding both end portions of the B scan range as the first portion.
- the partial setting unit 231 can set the first portion 310 shown in FIG. 7 from the anterior eye portion image 300 (B scan image) shown in FIG.
- the first portion 310 includes a region (left end portion) 321 consisting of a group of pixels located within a predetermined distance with respect to the left end (left side) of the image frame of the anterior eye portion image 300, and within a predetermined distance with respect to the right end (right side).
- the region (right end portion) 322 consisting of the pixel group located in is corresponding to the region excluded from the anterior eye portion image 300.
- the first portion 310 is a partial region of the anterior ocular segment image 300 defined by the entire range of the A scan and a part of the range of the B scan.
- the first portion 310 is a region defined by the upper and lower ends of the image frame of the anterior eye portion image 300, the right end (right side) of the left end portion 321 and the left end (left side) of the right end portion 322.
- the first portion may be a partial region of the anterior ocular segment image defined by a portion of the A scan range and a portion of the B scan range.
- the dimensions of both end portions (excluded portions) excluded from the anterior eye portion image for setting the first portion may be default values or may be set based on the anterior eye portion image. For example, it is possible to set the dimensions of the excluded portion based on the standard depiction mode of the specific target portion by the first image region identification unit 232 and the standard depiction mode of the anterior eye portion image. ..
- the dimensions of the exclusion portion can be set so that the dimensions of the first image in the B scan direction are 6 mm.
- the length of the B scan of the anterior eye image 300 shown in FIG. 7 is 9 mm
- the left end portion 321 is a region where the distance to the left end of the image frame is 1.5 mm or less
- the right end portion 322 is to the right end. It is an area where the distance is 1.5 mm or less.
- the dimensions of the left end portion and the dimensions of the right end portion may be the same as each other or may be different from each other. Further, the shape of the left end portion and the shape of the right end portion are not limited to the rectangle as shown in FIG. 7, and may be arbitrary. When setting the first part by cutting out only a part of the A scan range, it is possible to set the dimensions and shape of the excluded part in the A scan range in the same way as the dimensions and shape in the B scan range. It is possible.
- the partial setting unit 231 executes a process of analyzing the anterior eye portion image to detect a feature point and a process of setting a first portion of the anterior eye portion image based on the detected feature point. It is composed of.
- the partial setting unit 231 may be configured to detect feature points by applying edge detection to the entire anterior eye portion image. This edge detection is performed so as to identify, for example, an image corresponding to the anterior surface of the cornea (anterior corneal image) from the anterior ocular segment image.
- the partial setting unit 231 can specify the position corresponding to the corneal apex (corneal apex position) from the detected corneal anterior image. In this example, the corneal apex position is the feature point.
- the setting of the first part based on the feature points can be performed based on the feature points.
- the partial setting unit 231 may be configured to set the first portion based on the distance from the feature point. For example, when the corneal apex position is specified as a feature point, the partial setting unit 231 sets a region consisting of a group of pixels whose distance from the corneal apex position is within a predetermined value (for example, 3 mm) in the B scan direction as the first part. Can be set. As a result, a range of 6 mm in B scan length centered on the corneal apex position in the B scan direction is set in the first portion.
- a predetermined value for example, 3 mm
- the first part can be set so as not to include the artifact. Therefore, for example, even when the OCT scan is performed with the alignment slightly deviated, the first portion can be preferably set.
- the first part is set to include the feature points, but some exemplary embodiments are not limited to this.
- diagnosis target observation target, analysis target
- the feature point is the center of the pupil
- the distance from the pupil edge in the B scan direction is equal to or greater than a predetermined value (for example, the standard value of the pupil radius).
- a predetermined value for example, the standard value of the pupil radius.
- the partial setting unit 231 is configured to execute a process of detecting an artifact in the anterior eye portion image and a process of setting a first portion of the anterior eye portion image based on the detected artifact. ..
- the partial setting unit 231 divides the anterior segment image into a plurality of partial images, evaluates the image quality of each partial image, and determines that the partial image whose image quality evaluation value is less than a predetermined value is an artifact. May be configured in.
- the partial setting unit 231 may be configured to detect an artifact based on the shape of a predetermined image object in the anterior eye portion image. For example, paying attention to the fact that the shape of the cornea (anterior surface of the cornea, posterior surface of the cornea) is substantially symmetric with respect to the straight line passing through the apex of the cornea (straight line extending in the depth direction), the partial setting unit 231 is symmetrical with the anterior corneal image. It may be configured so that the part where the sex is (largely) broken is judged as an artifact.
- the partial setting unit 231 may be configured to set the first part so as not to include the detected artifact. This makes it possible to provide the first image region identification unit 232 with a high-quality first portion that does not include artifacts.
- the partial setting unit 231 is realized by the collaboration between the hardware including the processor and the partial setting software.
- the first image region specifying unit 232 is configured to analyze the first portion of the anterior eye portion image set by the partial setting unit 231 to identify an image region corresponding to a predetermined portion of the anterior eye portion Ea. There is.
- the image area specified from the first part by the first image area specifying part 232 is called a first image area.
- the portion detected as the first image region from the first portion of the anterior segment image is preset.
- detected sites include the cornea, iris, anterior chamber, pupil, and crystalline lens.
- the detected site may be a part of any of the sites.
- the detected site may be a combination of at least a part of each of any two or more sites.
- the first image area identification unit 232 specifies the first image area by, for example, applying segmentation to the first part of the anterior eye portion image. This segmentation is performed, for example, to identify a region in the first portion that corresponds to a preset site.
- This segmentation may include any known image processing technique, and may include, for example, image processing such as edge detection and / or segmentation using machine learning.
- the first image region identification unit 232 identifies the first image region corresponding to the cornea of the anterior eye portion Ea or that portion by analyzing the first portion of the anterior eye region image. It is configured to do.
- the first image region identification unit 232 according to this example is the first image region (first corneal anterior image) corresponding to the anterior surface of the cornea and the cornea by analyzing the first portion of the anterior segment image. It is configured to identify the first image region (first corneal posterior image) corresponding to the posterior surface.
- the first image region identification unit 232 configured to apply edge detection to identify the first image region (particularly the first corneal anterior image and the first corneal posterior image). To explain.
- the first image region identifying portion 232 may, for example, have a gradient direction pointing toward the frame end of the anterior ocular segment image and a gradient greater than or equal to a predetermined threshold. It may be configured to identify an edge that is.
- the first image region specifying portion 232 in order to specify the posterior surface image of the first cornea, has a gradient direction facing the center side of the frame of the anterior eye portion image and a gradient equal to or higher than a predetermined threshold value. It may be configured to identify an edge that is.
- Edge detection based on such a gradient can also be applied when specifying a first image region corresponding to another part.
- the gradient direction is typically defined as the direction of the normal of the gradient.
- Edge detection for specifying the first corneal anterior image will be described in more detail with reference to FIGS. 8A and 8B.
- This example identifies the first corneal anterior image 311 from the first portion 310 shown in FIG.
- the first image region specifying portion 232 is configured to specify an edge whose gradient direction faces the frame end side of the anterior eye portion image and whose gradient intensity is equal to or higher than a predetermined threshold value as the first corneal anterior image.
- NS a case where the first image region identification unit 232 analyzes the one-dimensional region 312 shown in FIG. 8A will be described. A plurality of pixels are arranged in the one-dimensional region 312 (see also FIG. 8B). Reference numeral 313 in FIG.
- the luminance distribution graph 313 shows a luminance distribution graph in a plurality of pixels arranged in the one-dimensional region 312.
- the luminance gradient is larger than the predetermined threshold value 314, and the normal direction 313a indicating the direction of the gradient faces the left end 310L of the frame. ing.
- a portion having such a gradient is detected as an edge.
- the first corneal anterior image 311 is specified by performing such processing on various one-dimensional regions.
- the pixel on the one-dimensional region 312 corresponding to the first corneal front image 311 is located to the left of the corneal apex, and the corresponding normal direction 313a faces the left end 310L of the frame. ing.
- the corresponding normal direction is the right end side of the frame. Is facing. Therefore, an edge whose normal direction faces the right end side of the frame and whose gradient intensity is equal to or higher than a predetermined threshold value can be specified as the first corneal posterior surface image.
- the first image region identification unit 232 detects an edge whose gradient direction is toward the center of the frame of the anterior eye portion image and whose gradient is equal to or greater than a predetermined threshold value, thereby detecting the first corneal posterior surface image 315 shown in FIG. 8A. Can be identified.
- the first image area identification unit 232 is realized by the collaboration between the hardware including the processor and the first image area identification software.
- the second image area specifying unit 233 is a first image identified from the anterior eye portion image by the partial setting unit 231 based on the first image area (corresponding to a predetermined portion) specified by the first image area specifying unit 232.
- a second image region corresponding to the predetermined portion is specified in the second portion having the portion as a true subset.
- the second image region identification unit 233 sets the first portion 310 as a true portion based on the first corneal anterior image 311 identified from the first portion 310 of the anterior eye portion image 300 by the first image region identification unit 232. It may be configured to identify the second corneal anterior image corresponding to the anterior surface of the cornea in the second portion to be aggregated. Further, the second image region identification unit 233 sets the first portion 310 as a true portion based on the first corneal posterior surface image 315 identified from the first portion 310 of the anterior eye portion image 300 by the first image region identification portion 232. It may be configured to identify the second corneal posterior surface image corresponding to the corneal posterior surface in the second portion to be aggregated.
- the second part includes the first part and other parts.
- the second portion includes the first portion, and the dimensions (eg, area or volume) of the second portion are larger than the dimensions of the first portion.
- the first portion is a true subset of the anterior segment image, not the entire anterior segment image.
- the second part may be either the true subset of the anterior segment image or the entire anterior segment image, as defined in the subset theory.
- the dimensions of the second part may be set in advance or may be set for each process.
- the dimensions of the second portion may be set based on the dimensions of the first portion. For example, the relationship (for example, difference, ratio) between the dimensions of the first part and the dimensions of the second part is preset, and the second part is set by enlarging the first part based on this relationship. be able to.
- the shape of the second portion may be set in advance or may be set for each process.
- the second part is the entire anterior segment image.
- the anterior segment image is a relatively wide angle image (eg, a B scan of length 9, 12 or 16 millimeters), the true subset of which is set in the first portion, and the anterior segment.
- the entire image is set in the second part. This makes it possible to identify an image of a predetermined portion (second image region) over the entire relatively wide-angle anterior eye image in which artifacts are likely to be mixed.
- the process in which the second image region specifying unit 233 obtains the second image region from the first image region may include any known image processing technique, for example, segmentation using predetermined image processing and / or machine learning. May include.
- the predetermined image processing for enlarging (extending) the first image area to the second image area may include, for example, any one or more of curve fitting, edge detection, and region glowing.
- the second image region identification unit 233 applies a curve fitting to the first corneal anterior image 311 to provide an approximate curve (second corneal anterior image) corresponding to the anterior surface of the cornea in the anterior segment image 300 (overall). ) Is asked.
- the second image region identification unit 233 determines the morphology of the anterior surface of the cornea (the anterior image of the second cornea) in the entire anterior segment image 300 based on the first corneal anterior image 311 identified in the first portion 310. It is configured to estimate.
- an approximate curve 331 (second corneal anterior image) representing the estimated morphology of the corneal anterior surface in the entire anterior eye portion image 300 is determined.
- the approximate curve may be a curve of any aspect, for example a quaternary curve.
- the second image region identification unit 233 may be configured to apply curve fitting based on a robust estimation algorithm for excluding outliers to the first corneal anterior image 311.
- This robust estimation algorithm may include, for example, the Random Sample Consensus (RANSAC) algorithm.
- RANSAC Random Sample Consensus
- the second image region identification portion 233 applies an approximate curve (second cornea) corresponding to the posterior surface of the cornea in the anterior segment image 300 (overall) by applying curve fitting to the posterior surface image 315 of the first cornea.
- second cornea corresponding to the posterior surface of the cornea in the anterior segment image 300 (overall) by applying curve fitting to the posterior surface image 315 of the first cornea.
- Rear image is obtained.
- the second image region identification unit 233 determines the morphology of the posterior surface of the cornea (second corneal posterior image) in the entire anterior segment image 300 based on the first corneal posterior image 315 identified in the first portion 310. It is configured to estimate.
- an approximate curve 332 (second corneal posterior surface image) representing the estimated morphology of the posterior corneal surface in the entire anterior eye portion image 300 is determined.
- the approximate curve may be a curve of any aspect, for example a quaternary curve.
- the curve fitting applied to the first corneal posterior image 315 may be a curve fitting based on a robust estimation algorithm for excluding outliers, and may be, for example, a curve fitting including a RANSAC algorithm. By adopting such a robust estimation algorithm, it is possible to apply highly accurate curve fitting excluding outliers due to noise and the like to the first corneal posterior surface image 315, and the corneal posterior surface is well approximated. It becomes possible to obtain the second corneal posterior surface image 332.
- the second image area identification unit 233 is realized by the collaboration between the hardware including the processor and the second image area identification software.
- the analysis area setting unit 234 sets an analysis area including the second image area specified by the second image area identification unit 233.
- the analysis area is provided for the analysis process executed by the third image area specifying unit 235, and the setting of the analysis area corresponds to the mask processing for the analysis process executed by the third image area specifying unit 235. Therefore, the mode of the analysis region is mainly determined according to the mode of the analysis process.
- the analysis region setting unit 234 sets a region including the linear region and a region close thereto. It can be set in the analysis area.
- the analysis area setting unit 234 may be configured to set the analysis area by increasing the width of the second image area specified by the second image area identification unit 233 to a predetermined value.
- This predetermined value width of the analysis area
- This predetermined value may be uniform or non-uniform over the analysis area.
- the analysis area setting unit 234 can set the analysis area (front analysis area) 341 shown in FIG. 10 by increasing the width of the second corneal front image 331 shown in FIG. 9 to a predetermined value. ..
- the anterior surface analysis region 341 includes a second corneal anterior image 331.
- the analysis area setting unit 234 can set the analysis area (rear surface analysis area) 342 shown in FIG. 10 by increasing the width of the second corneal posterior image 332 shown in FIG. 9 to a predetermined value.
- the posterior surface analysis region 342 includes a second corneal posterior surface image 332.
- the width of the front analysis region 341 and the width of the rear analysis region 342 may be equal to each other or different from each other.
- the width of the linear region is defined, for example, in the direction orthogonal to the tangent at each point of the linear region.
- the width of the second image region which is a strip-shaped region, is defined, for example, in a direction orthogonal to the tangent line at each point of the axis image of the strip-shaped region.
- the axis image is, for example, a linear image obtained by applying thinning to a strip image.
- the width of the analysis area may be set in advance or may be set for each process.
- the width of the analysis area can be set based on the standard distribution of artifacts that occur around the image of a given site (eg, cornea, anterior cornea, posterior cornea) in the anterior ocular image. ..
- an artifact around the image of a predetermined part can be detected in the anterior eye image, and the width of the analysis area can be set based on the distribution of the artifact.
- the analysis area setting unit 234 is realized by the collaboration between the hardware including the processor and the analysis area setting software.
- the third image area identification unit 235 analyzes the analysis area set by the analysis area setting unit 234 and corresponds to a predetermined part of the anterior segment of the eye (same as the part corresponding to the first image area and the second image area). It is configured to specify the third image area to be used.
- the analysis method for specifying the third image region may be, for example, the same as or different from the analysis method for specifying the first image region.
- the third image region identification unit 235 can identify the third corneal front image 351 shown in FIG. 11 as the third image region corresponding to the front surface of the cornea by analyzing the front analysis region 341 shown in FIG. can. Further, the third image region identification unit 235 can identify the third corneal posterior image 352 shown in FIG. 11 as the third image region corresponding to the corneal posterior surface by analyzing the posterior surface analysis region 342 shown in FIG. can.
- the virtual image (folded image) 353 of the iris overlaps the image of the cornea (particularly around the posterior surface of the cornea), but the third posterior corneal image 352 is obtained without being affected by the virtual image 353. ing.
- both analysis methods may both be edge detection.
- the threshold value of the gradient intensity in the edge detection executed by the third image area identification unit 235 may be set smaller than the threshold value of the gradient intensity in the edge detection executed by the first image area identification unit 232. That is, the third image area identification unit 235 may be configured to detect a portion having a gradient intensity smaller than the gradient intensity that can be detected as an edge by the first image area identification unit 232 as an edge. Edges that exist in areas where artifacts overlap are less clear than edges that exist in areas where there are no artifacts.
- the third image area identification unit 235 is realized by the collaboration between the hardware including the processor and the third image area identification software.
- the distortion correction unit 236 is configured to correct the distortion of the anterior eye portion image based on the third image region specified by the third image region identification unit 235.
- the distortion correction unit 236 may be configured to correct the distortion of the anterior eye portion image 300 based on at least the third corneal anterior image 351 shown in FIG.
- This image distortion correction is an image correction based on the influence of refraction on the front surface of the cornea (refraction correction).
- y f (x) be the equation of the corneal anterior surface 410 (third corneal anterior image 351 or its approximate curve). It also sets the refractive index of air (eg 1.000292) and the refractive index of the cornea (eg 1.376).
- the exit angle (refractive angle) ⁇ out is calculated from the refractive index of air and the refractive index of the cornea according to Snell's law.
- the distance per pixel (resolution) in the air is rair
- the distance per pixel in the cornea (resolution) is r cor
- the scan length for example, 16 mm
- the number of pixels for example, 1024.
- the anterior segment image 300 caused by the refraction of the anterior surface of the cornea The distortion is corrected.
- the resolution in the vertical direction (frame vertical direction) in the coordinates (x', y') after refraction correction is uniformly the resolution air in the air .
- the distortion correction unit 236 is realized by the collaboration between the hardware including the processor and the distortion correction software.
- the aspect ratio correction unit 237 is configured to correct the pixel aspect ratio of the anterior eye portion image of the eye E to be inspected.
- the image construction unit 220 constructs an OCT image (anterior eye portion image, fundus image) having a predetermined pixel aspect ratio from the data collected by the OCT scan.
- the aspect ratio correction unit 237 is configured to convert this OCT image into an image having a pixel aspect ratio (1: 1) corresponding to the real space.
- pixel aspect ratio correction for example, as shown in FIG. 13, the anterior segment image 500 having a predetermined pixel aspect ratio constructed by the image construction unit 220 has an anterior segment image 500 ′ having a pixel aspect ratio of 1: 1. Is converted to.
- an anterior segment image that expresses the actual morphology of the anterior segment. Furthermore, by analyzing such an anterior segment image, analysis data according to the actual condition (scale, size, shape, etc.) of the anterior segment (for example, distribution data such as corneal thickness distribution, before angle parameters, etc.) It becomes possible to acquire eye parameters).
- the aspect ratio correction unit 237 is configured to correct the pixel aspect ratio of the front eye portion image whose distortion has been corrected by the distortion correction unit 236. That is, the ophthalmic apparatus 1 of this example is configured to perform pixel aspect ratio correction after image distortion correction.
- the stage and timing of pixel aspect ratio correction may be arbitrary.
- the timing of pixel aspect ratio correction is after OCT image construction, before partial setting, after partial setting, before specifying the first image area, after specifying the first image area. Before specifying the second image area, after specifying the second image area, before setting the analysis area, after setting the analysis area, before specifying the third image area, after specifying the third image area, before distortion correction, and , After image distortion correction.
- some exemplary embodiments may be configured to apply a correction process equivalent to the pixel aspect ratio correction to the analysis data obtained by the analysis unit 238.
- the aspect ratio correction unit 237 is realized by the cooperation between the hardware including the processor and the pixel aspect ratio correction software.
- the analysis unit 238 is configured to analyze the anterior eye portion image of the eye E to be inspected and calculate a predetermined anterior segment parameter.
- the analysis unit 238 may be configured to analyze at least an image of the anterior eye that has been image-distorted and calculate a predetermined anterior parameter. This makes it possible to perform the anterior segment parameter calculation with high accuracy and high accuracy based on the distortion-corrected anterior segment image.
- the analysis unit 238 analyzes the anterior eye portion image subjected to both image distortion correction and pixel aspect ratio correction to perform a predetermined front image. It may be configured to calculate eye parameters. This makes it possible to perform the anterior segment parameter calculation with higher accuracy and higher accuracy based on the anterior segment image in which both the distortion and the pixel aspect ratio are corrected.
- the pixel aspect ratio correction is executed after the image distortion correction, and the anterior segment analysis is executed after the pixel aspect ratio correction.
- the anterior segment parameter calculated by the analysis unit 238 may be arbitrary.
- the anterior segment parameter is a value representing the morphology of the anterior segment.
- anterior chamber parameters include corneal thickness (center thickness, peripheral thickness), angle parameter, anterior corneal radius of curvature, posterior corneal radius of curvature, anterior lens radius of curvature, posterior lens radius of curvature, corneal diameter (longitudinal, lateral). (White-to-White)), lens thickness, anterior chamber depth, anterior chamber volume, pupil diameter, pupil center (eccentricity), and the like.
- the anterior segment parameter may be distribution data, for example, an axial curvature map (axial curvature map), a tangential curvature map (tangential curvature map), a ridge map (elevation map), a refractive power map, and a thickness. It may be a curvature map, a wave surface aberration map, or the like.
- the method of calculating the anterior segment parameter is known (see, for example, Patent Documents 1 to 4).
- the calculation of the anterior segment parameter includes a process for identifying a predetermined part of the anterior segment (for example, segmentation, feature point detection, etc.) and a measurement process (for example, distance measurement, area measurement, volume measurement, etc.). , Ratio calculation, angle calculation, etc.) and included.
- the analysis unit 238 may be configured to obtain a corneal thickness analysis (corneal pachymetry map).
- the analysis unit 238 can obtain the corneal thickness distribution data of the eye E to be inspected based on the third corneal anterior image 351 and the third corneal posterior image 352 shown in FIG.
- the analysis unit 238 performs, for example, a process of obtaining a tangent line at each of a plurality of positions on the third corneal anterior image 351 (or a corneal posterior image 352) and a process along the direction of the normal line of the tangent line at each position.
- the analysis unit 238 may be configured to determine the angle parameters.
- the angle parameter is a parameter related to a site called the angle (anterior chamber angle) located between the cornea and the iris. There is a glandular column network in the corner.
- the size of the angle of the angle is one of the factors that determine the rate at which the aqueous humor flows out of the eye, and therefore one of the factors that determine the intraocular pressure.
- Angle parameters are referred to as important indicators in the diagnosis of glaucoma (particularly angle-closure glaucoma).
- angular parameters examples include AOD (angle opening distance), ACA (anterior chamber angle), TISA (trabecular iris space), ARA (angle reception area), ARA (angle reception area), AtA (angle-), etc.
- a method for calculating the angle parameter is known (see, for example, Patent Documents 1 to 3).
- the angle parameter calculation involves a process for identifying the position of the angle or a predetermined position near the angle (for example, segmentation, feature point detection, etc.) and a measurement process (for example, distance measurement, ratio). Calculation, angle calculation, etc.) and included.
- the analysis unit 238 is realized by the collaboration between the hardware including the processor and the analysis software.
- the user interface 240 includes a display unit 241 and an operation unit 242.
- the display unit 241 includes a display device 3.
- the operation unit 242 includes various operation devices and input devices.
- the user interface 240 may include a device such as a touch panel in which a display function and an operation function are integrated. It is also possible to build embodiments that do not include at least part of the user interface 240.
- the display device may be an external device connected to an ophthalmic device.
- the ophthalmic apparatus 1 acquires an image of the anterior segment of the eye to be inspected E.
- the ophthalmic apparatus 1 collects data from the anterior eye portion Ea by applying an OCT scan to the anterior eye portion Ea using an OCT scanner (measurement arm in the fundus camera unit 2, OCT unit 100, etc.).
- An anterior segment image is constructed from the collected data using the image construction unit 220.
- the control unit 210 sends the acquired front eye image (B scan image) 300 to the data processing unit 230.
- the anterior eye image 300 sent to the data processing unit 230 is input to the partial setting unit 231.
- the partial setting unit 231 fronts a portion (first portion) defined by at least a part of the A scan range and a part of the B scan range in the anterior eye portion image 300 acquired in step S1. It is set for the eye image 300. As a result, it is assumed that the first portion 310 shown in FIG. 7 is set with respect to the anterior eye portion image 300.
- the first image region identification unit 232 analyzes the first portion 310 of the anterior eye portion image 300 set in step S2 to obtain the first corneal anterior image 311 corresponding to the corneal anterior surface of the eye E to be examined. , The first corneal posterior surface image 315 corresponding to the corneal posterior surface is identified (see FIG. 8A).
- the second image region specifying portion 233 sets the entire anterior eye portion image 300 (more generally, the first portion 310 as a true subset) based on the first corneal anterior image 311 identified in step S3.
- the second corneal anterior image 331 corresponding to the anterior surface of the cornea is specified (see FIG. 9).
- the second image region specifying unit 233 has a first portion 310 as a true subset based on the first corneal posterior surface image 315 identified in step S3.
- the second corneal posterior surface image 332 corresponding to the corneal posterior surface is specified (see FIG. 9).
- the analysis area setting unit 234 sets the front surface analysis area 341 including the second corneal front image 331 identified in step S4 (see FIG. 10). Further, the analysis area setting unit 234 sets the posterior surface analysis region 342 including the second corneal posterior surface image 332 identified in step S4 (see FIG. 10).
- the third image region identification unit 235 analyzes the front surface analysis region 341 set in step S5 to identify the third cornea front surface image 351 corresponding to the front surface of the cornea (see FIG. 11). Further, the third image region identification unit 235 analyzes the posterior surface analysis region 352 set in step S5 to identify the third corneal posterior surface image 352 corresponding to the corneal posterior surface (see FIG. 11).
- the distortion correction unit 236 corrects the distortion of the anterior eye portion image 300 based on at least the third corneal anterior image 351 obtained in step S6.
- the aspect ratio correction unit 237 corrects the pixel aspect ratio of the front eye portion image 300 whose distortion has been corrected in step S7.
- the analysis unit 238 analyzes the anterior eye portion image 300 subjected to the image distortion correction in step S7 and the pixel aspect ratio correction in step S8 to calculate a predetermined anterior segment parameter.
- the main control unit 211 displays, for example, the front eye image 300 subjected to the image distortion correction in step S7 and the pixel aspect ratio correction in step S8, and the data obtained in the analysis in step S9 on the display unit 241. Let me.
- the main control unit 211 (or data processing unit 230) is between the anterior eye image 300 and the corneal distribution data. Perform registration.
- the main control unit 211 displays the corneal thickness distribution data on the anterior eye portion image 300 based on the registration result.
- the main control unit 211 displays, for example, the measurement position and the measured value of the angle parameter on the anterior eye portion image 300. Further, the main control unit 211 displays the measurement position and the measured value of the angle parameter on the partially enlarged image of the anterior eye portion image 300.
- the main control unit 211 stores the anterior eye portion image of the eye E to be inspected and the analysis result acquired in step S9 in, for example, the storage unit 212 and / or the storage device.
- the stored anterior segment images include, for example, the anterior segment image acquired in step S1, the anterior segment image with distortion corrected in step S7, and the anterior segment image with a pixel aspect ratio corrected in step S8. It may be any one or more of the images. This is the end of this operation example (end).
- the ophthalmic apparatus 1 described above includes an OCT scanner and an image construction unit
- some exemplary embodiments of the ophthalmic apparatus may not include one or both of the OCT scanner and the image construction unit.
- the ophthalmic apparatus 600 shown in FIG. 15 does not include both an OCT scanner and an image construction unit, but instead includes an image reception unit 630.
- the image receiving unit 630 has a function of receiving an image of the anterior segment of the eye to be inspected from the outside.
- the image receiving unit 630 may include a communication device for performing data communication with and from an external device, such as obtaining an anterior eye image of the eye to be inspected from the external device. It may be configured.
- the image receiving unit 630 may include a drive device for reading data recorded on the recording medium, and acquires an anterior eye portion image of the eye to be inspected from the recording medium. It may be configured as follows.
- the ophthalmic apparatus 1 described above collects data by itself to construct an OCT image, whereas the ophthalmic apparatus 600 of this modified example acquires an OCT image from the outside.
- the ophthalmic apparatus 600 of this modification may be, for example, a single computer or two or more computers, typically a personal computer or a server.
- the ophthalmic apparatus 600 includes at least a first image area specifying unit 650 and a second image area specifying unit 660 in addition to the control unit 610 and the user interface 620. Further, the ophthalmic apparatus 600 may include an analysis area setting unit 670 and a third image area specifying unit 680. In addition, the ophthalmic apparatus 600 may include any one or more of a partial setting unit 640, a distortion correction unit 690, an aspect ratio correction unit 700, and an analysis unit 710. Each of these elements may have the same configuration and functionality as the corresponding element in the ophthalmic apparatus 1 described above (see, for example, FIG. 5).
- the ophthalmic apparatus 600 acquires the anterior eye portion image of the eye E to be inspected from the outside by the image receiving unit 630 (S1).
- the partial setting unit 640 sets the first portion 310 with respect to the anterior eye portion image 300 acquired in step S1 (S2).
- the first image region identification unit 650 analyzes the first portion 310 of the anterior eye portion image 300 set in step S2 to obtain the first corneal anterior image 311 corresponding to the corneal anterior surface of the eye E to be examined. , The first corneal posterior surface image 315 corresponding to the corneal posterior surface is identified (S3).
- the second image region specifying portion 660 sets the entire anterior eye portion image 300 (more generally, the first portion 310 as a true subset) based on the first corneal anterior image 311 identified in step S3.
- the second corneal anterior image 331 corresponding to the corneal anterior surface is specified (S4).
- the second image region specifying unit 660 has a first portion 310 as a true subset based on the first corneal posterior surface image 315 identified in step S3.
- the second corneal posterior surface image 332 corresponding to the corneal posterior surface is specified (S4).
- the analysis area setting unit 670 sets the front surface analysis area 341 including the second corneal front image 331 identified in step S4 (S5). Further, the analysis area setting unit 670 sets the posterior surface analysis region 342 including the second corneal posterior surface image 332 identified in step S4 (S5).
- the third image area specifying unit 680 analyzes the front surface analysis area 341 set in step S5 and identifies the third corneal front image 351 corresponding to the front surface of the cornea (S6). Further, the third image region identification unit 680 analyzes the posterior surface analysis region 352 set in step S5 to identify the third corneal posterior surface image 352 corresponding to the corneal posterior surface (S6).
- the distortion correction unit 690 corrects the distortion of the anterior eye portion image 300 based on at least the third corneal anterior image 351 obtained in step S6 (S7).
- the aspect ratio correction unit 700 corrects the pixel aspect ratio of the front eye portion image 300 whose distortion has been corrected in step S7 (S8).
- the analysis unit 710 analyzes the anterior eye portion image 300 subjected to the image distortion correction in step S7 and the pixel aspect ratio correction in step S8, and calculates a predetermined anterior segment parameter (S9).
- the main control unit 610 uses, for example, a user interface between the anterior segment image 300 subjected to the image distortion correction in step S7 and the pixel aspect ratio correction in step S8 and the data obtained in the analysis in step S9. It is displayed on 620 (S10).
- the main control unit 610 stores the anterior eye portion image of the eye E to be inspected and the analysis result acquired in step S9 in the storage device (S11). This is the end of this operation example (end).
- the ophthalmic apparatus (1; 600) includes an image acquisition unit (2,100,220; 630), a first image area identification unit (232; 650), and a second image area identification unit. Includes parts (233; 660).
- the image acquisition unit is configured to acquire an anterior segment image based on data collected from the anterior segment of the eye to be inspected by an optical coherence tomography (OCT) scan.
- OCT optical coherence tomography
- the first image region specifying unit is configured to analyze the first portion of the anterior eye portion image acquired by the image acquisition unit to identify the first image region corresponding to a predetermined portion of the anterior eye portion.
- the second image area specifying part is a second image area corresponding to the predetermined part in the second part having the first part as a true subset based on the first image area specified by the first image area specifying part. Is configured to identify.
- Such an ophthalmic apparatus analyzes the first portion of the anterior segment image to identify an image of a predetermined region of the anterior segment, and based on the identified image, an image of the predetermined region in a wider second portion.
- the image of the predetermined portion can be specified from the first portion that does not include the artifact (or the influence of the artifact is small), and the image of the predetermined portion can be extended to the second portion over a wider area.
- the second part may include an artifact, or the influence of the artifact may be large.
- the above-mentioned ophthalmic apparatus contributes to the improvement of the segmentation of the OCT image of the anterior segment of the eye.
- the ophthalmic apparatus (1; 600) may further include an analysis region setting unit (234; 670) and a third image region identification unit (235; 680).
- the analysis area setting unit is configured to set an analysis area including the second image area specified by the second image area identification unit.
- the third image area specifying unit is configured to analyze the analysis area set by the analysis area setting unit and specify the third image area corresponding to the predetermined portion.
- the said person by analyzing the analysis area including the image of the predetermined part expanded from the first part to the second part by the second image area identification part, the said person can be said with higher accuracy and higher accuracy.
- An image of a predetermined part can be obtained. Therefore, it is possible to improve the accuracy and accuracy of segmentation in a wide range of the anterior segment image.
- the analysis area setting unit may be configured to increase the width of the second image area to a predetermined value to set the analysis area.
- the segmentation is further improved in accuracy and more accurate. Can be achieved.
- the third image area identification unit may be configured to specify the third image area by applying edge detection to the analysis area set by the analysis area setting unit.
- the first image region identifying portion may be configured to apply edge detection to the first portion of the anterior eye portion image to identify the first image region.
- the first image area specifying part executes the threshold of the gradient intensity in the edge detection executed by the third image area specifying part. It may be less than the threshold of the gradient intensity in the edge detection to be performed.
- processing is performed so as to detect a clear edge, but the effect is included (the influence of the artifact).
- processing can be performed so that even an edge that is obscured by the influence of an artifact can be detected. Therefore, it is possible to improve the segmentation as a whole process.
- the second image region identifying portion is configured to apply curve fitting to the first image region identified by the first image region identifying portion to identify the second image region. It's okay.
- the second image region identification unit may be configured to apply curve fitting based on a robust estimation algorithm to exclude outliers to the first image region.
- This robust estimation algorithm may include a Random Sample Consensus (RANSAC) algorithm.
- the OCT scan may include an A scan and a lateral scan orthogonal to the A scan.
- the ophthalmic apparatus may include a partial setting unit (231; 640).
- the partial setting unit is configured to set a portion of the anterior segment image defined by at least a part of the A scan range and a part of the lateral scan range as the first portion.
- the lateral scan may include a B scan.
- the partial setting unit is configured to set a portion of the anterior segment image defined by at least a part of the A scan range and a portion excluding both ends of the B scan range as the first portion. You can.
- the first part so as to avoid artifacts that tend to occur near both ends of the B-scan image.
- artifacts include virtual images (folded images) and eyelash images.
- the partial setting unit is configured to analyze the anterior eye image to detect feature points and set the first portion of the anterior eye image based on the detected feature points. It may have been done.
- the partial setting unit may be configured to detect feature points by applying edge detection to the entire front eye portion image. Further, the partial setting unit may be configured to set the first portion so as to include the detected feature points.
- the first part can be set based on the feature point. Therefore, even when the feature points deviate from the center of the image frame due to, for example, misalignment, the first portion can be preferably set with reference to the feature points.
- the partial setting unit may be configured to apply artifact detection to the anterior eye image. Further, the partial setting unit may be configured to set the first portion so as not to include the artifact when an artifact is detected in the anterior eye portion image.
- the predetermined part of the anterior segment of the eye may be the cornea.
- exemplary embodiments that can be applied to improve segmentation when the predetermined site is the cornea will be described.
- the first image region identification region analyzes the first portion of the anterior eye region image to include a first corneal anterior image corresponding to the anterior surface of the cornea and a first corneal posterior surface. 1 It is possible to identify the posterior surface image of the cornea. Further, the second image region specifying portion identifies the second corneal anterior image corresponding to the anterior surface of the cornea in the second portion based on the first corneal anterior image, and the second portion based on the first corneal posterior image. The second corneal posterior surface image corresponding to the posterior surface of the cornea can be identified.
- the analysis region setting unit can set a front surface analysis region including a second corneal anterior image and a posterior surface analysis region including a second corneal posterior image.
- the third image region identification unit analyzes the anterior surface analysis region to identify the third corneal anterior image corresponding to the anterior surface of the cornea, and analyzes the posterior surface analysis region to analyze the posterior surface analysis region to correspond to the posterior surface of the cornea. Can be identified.
- the analysis region setting unit can increase the width of the second corneal anterior image to a predetermined value to set the anterior analysis region and increase the width of the second corneal posterior image to a predetermined value.
- the rear surface analysis area can be set by increasing the number.
- the third image region identification unit can apply edge detection to the anterior analysis region to identify the third corneal anterior image and apply edge detection to the posterior analysis region.
- the posterior surface image of the cornea can be identified.
- the first image region identifying portion can apply edge detection to the first portion of the anterior eye region image to identify the first corneal anterior image and the first corneal posterior image.
- the gradient intensity threshold in edge detection performed by the third image region identification unit can be made smaller than the gradient intensity threshold in edge detection performed by the first image region identification unit. ..
- the second image region identification unit can apply curve fitting to the first corneal anterior image to identify the second corneal anterior image and perform curve fitting to the first corneal posterior image. It can be applied to identify the posterior surface image of the second cornea.
- the second image region identification unit may apply curve fitting based on a robust estimation algorithm to exclude outliers to the anterior and posterior corneal images, respectively.
- This robust estimation algorithm may include a Random Sample Consensus (RANSAC) algorithm.
- the OCT scan may include an A scan and a lateral scan orthogonal to the A scan.
- the partial setting unit can set a portion of the anterior segment image defined by at least a part of the A scan range and a part of the lateral scan range as the first portion.
- the lateral scan may include a B scan.
- the partial setting unit may set a portion of the anterior segment image defined by at least a part of the A scan range and a portion excluding the predetermined regions at both ends of the B scan range as the first portion. can.
- the partial setting section analyzes the anterior segment image to detect a position corresponding to the corneal apex and determines the first portion of the anterior segment image based on the position corresponding to the corneal apex. Can be set.
- the partial setting unit can apply edge detection to the entire anterior ocular segment image to detect a position corresponding to the corneal apex.
- the partial setting section can set the first portion to include a position corresponding to the apex of the cornea.
- the partial setting section can set the first portion so that the position corresponding to the corneal apex is located at the central position in the lateral scan direction.
- the partial setting unit can apply artifact detection to the anterior eye image.
- the partial setting unit can set the first portion so as not to include the artifact.
- the ophthalmic apparatus may further include a first image correction unit (236; 690) that corrects distortion of the anterior eye image based on at least the third corneal anterior image.
- the ophthalmic apparatus may further include a second image correction unit (237; 700) that corrects the pixel aspect ratio of the anterior eye image.
- the ophthalmic apparatus may further include an analysis unit (238; 710) that analyzes the anterior eye image and calculates a predetermined anterior parameter.
- the image acquisition unit is based on a data collection unit (2,100) that applies an OCT scan to the anterior eye to collect data and data collected by the data collection unit. It may include an image construction unit (220) that constructs an eye image.
- the image acquisition unit may include a reception unit (630) that receives an anterior eye image from the outside.
- Some exemplary embodiments provide a method of controlling an ophthalmic device.
- Ophthalmic devices to which this control method is applied include at least a processor.
- This control method includes a first control step, a second control step, and a third control step.
- the first control step controls the processor to acquire an anterior segment image based on data collected from the anterior segment of the eye under test by optical coherence tomography (OCT) scanning.
- OCT optical coherence tomography
- the second control step controls the processor to analyze the first portion of the anterior ocular segment image and identify a first image region corresponding to a predetermined portion of the anterior ocular segment.
- the third control step controls the processor based on the first image region so as to identify the second image region corresponding to a predetermined portion in the second portion having the first portion as a true subset.
- Some exemplary embodiments provide a program that causes a computer (ophthalmic apparatus) to execute such a control method. It is possible to combine any of the items described in the exemplary embodiments with this program.
- non-temporary recording medium may be in any form, and examples thereof include a magnetic disk, an optical disk, a magneto-optical disk, and a semiconductor memory.
- control method, program, and recording medium according to the exemplary embodiment contribute to the improvement of segmentation for the OCT image of the anterior eye portion, similarly to the ophthalmic apparatus described above.
- control methods, programs, and recording media according to the exemplary embodiments exhibit actions and effects according to the items to be combined.
- Ophthalmology device 2 Fundus camera unit 100 OCT unit 220 Image construction unit 230 Data processing unit 231 Part setting unit 232 First image area identification unit 233 Second image area specification unit 234 Analysis area setting unit 235 Third image area specification unit 236 Distortion Correction unit 237 Aspect ratio correction unit 238 Analysis unit 600 Ophthalmology device 630 Image reception unit 640 Partial setting unit 650 First image area identification unit 660 Second image area identification unit 670 Analysis area setting unit 680 Third image area specification unit 690 Distortion correction Part 700 Aspect ratio correction part 710 Analysis part
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ophthalmology & Optometry (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Eye Examination Apparatus (AREA)
- Geometry (AREA)
Abstract
例示的な態様に係る眼科装置(1)は、画像取得部(2,100,220)と、第1画像領域特定部(232)と、第2画像領域特定部(233)とを含む。画像取得部は、OCTスキャンにより被検眼の前眼部から収集されたデータに基づく前眼部画像を取得する。第1画像領域特定部は、画像取得部により取得された前眼部画像の第1部分を解析して前眼部の所定部位に相当する第1画像領域を特定する。第2画像領域特定部は、第1画像領域特定部により特定された第1画像領域に基づいて、当該第1部分を真部分集合とする第2部分において当該所定部位に相当する第2画像領域を特定する。
Description
この発明は、眼科装置、その制御方法、及び記録媒体に関する。
光コヒーレンストモグラフィ(OCT)を用いた前眼部解析技術が知られている。例えば、特許文献1~3には隅角解析技術が開示されており、特許文献3及び4には角膜厚解析技術が開示されている。
一般に画像診断分野では、セグメンテーションと呼ばれる画像処理が利用されている(例えば、特許文献2及び4を参照)。セグメンテーションは、デジタル画像を複数の部分(複数の画像オブジェクト)に分割する処理であり、また、デジタル画像から特定の規則性を持った領域を特定する処理とも言える。セグメンテーションは、例えば、閾値処理、クラスタリング、領域分割、エッジ検出、線分抽出などの画像処理技術を用いて実現され、近年では機械学習を利用した方法も実用化されている。
前眼部解析では、典型的には、特定の部位(例えば、角膜、虹彩、瞳孔、水晶体など)に相当する画像オブジェクトを前眼部画像から特定(抽出)するためにセグメンテーションが用いられる。例えば、隅角解析では、角膜に相当する画像オブジェクトと虹彩に相当する画像オブジェクトとを前眼部画像から特定し、これら画像オブジェクトが互いに接する部分を隅角位置として定めている。また、角膜厚解析では、角膜前面に相当する画像オブジェクトと角膜後面に相当する画像オブジェクトとを前眼部画像から特定し、これら画像オブジェクトの間の距離を角膜厚として定めている。
これらの例から分かるように、セグメンテーションは前眼部解析の品質(例えば、確度、精度、再現性など)に大きく影響する。例えば、角膜に相当する画像オブジェクトを前眼部画像から特定する場合において、虹彩の虚像(折り返し画像)や睫毛などの外乱に起因する像が角膜に相当する画像オブジェクトに重なって映り込んでいると、セグメンテーションを正しく行うことができない。
前眼部OCT画像のセグメンテーションエラーの例を図1A及び図1Bに示す。図1A(a)に示す前眼部画像(Bスキャン画像)には、虹彩の虚像1000が映り込んでいる。図1A(b)は、この前眼部画像にセグメンテーションを適用して特定された角膜前面に相当する画像オブジェクト(角膜前面画像)1010と角膜後面に相当する画像オブジェクト(角膜後面画像)1020とを示す。図1A(c)に示すように、虹彩の虚像1000の輪郭の影響により、角膜後面画像1020が、領域1030内において、正しい角膜後面画像1040から偏位している。
図1B(a)に示す前眼部画像(Bスキャン画像)の領域1100には、睫毛の像が映り込んでいる。図1B(b)は、この前眼部画像にセグメンテーションを適用して特定された角膜前面画像1110と角膜後面画像1120とを示す。角膜前面画像1110は、睫毛の像の影響により、領域1130内において、正しい角膜前面画像1140から大きく偏位している。
この発明の一つの目的は、前眼部のOCT画像に対するセグメンテーションの向上を図ることにある。
幾つかの例示的な態様に係る眼科装置は、光コヒーレンストモグラフィ(OCT)スキャンにより被検眼の前眼部から収集されたデータに基づく前眼部画像を取得する画像取得部と、前記画像取得部により取得された前記前眼部画像の第1部分を解析して前記前眼部の所定部位に相当する第1画像領域を特定する第1画像領域特定部と、前記第1画像領域特定部により特定された前記第1画像領域に基づいて、前記第1部分を真部分集合とする第2部分において前記所定部位に相当する第2画像領域を特定する第2画像領域特定部とを含む、眼科装置である。
幾つかの例示的な態様に係る眼科装置は、前記第2画像領域特定部により特定された前記第2画像領域を含む解析領域を設定する解析領域設定部と、前記解析領域設定部により設定された前記解析領域を解析して前記所定部位に相当する第3画像領域を特定する第3画像領域特定部とを更に含む。
幾つかの例示的な態様に係る眼科装置において、前記解析領域設定部は、前記第2画像領域の幅を所定値まで増加させて前記解析領域を設定する。
幾つかの例示的な態様に係る眼科装置において、前記第3画像領域特定部は、前記解析領域設定部により設定された前記解析領域にエッジ検出を適用して前記第3画像領域を特定する。
幾つかの例示的な態様に係る眼科装置において、前記第1画像領域特定部は、前記前眼部画像の前記第1部分にエッジ検出を適用して前記第1画像領域を特定する。
幾つかの例示的な態様に係る眼科装置において、前記第3画像領域特定部が実行する前記エッジ検出における勾配強度の閾値は、前記第1画像領域特定部が実行する前記エッジ検出における勾配強度の閾値よりも小さい。
幾つかの例示的な態様に係る眼科装置において、前記第2画像領域特定部は、前記第1画像領域特定部により特定された前記第1画像領域にカーブフィッティングを適用して前記第2画像領域を特定する。
幾つかの例示的な態様に係る眼科装置において、前記第2画像領域特定部は、外れ値を除外するためのロバスト推定アルゴリズムに基づくカーブフィッティングを前記第1画像領域に適用する。
幾つかの例示的な態様に係る眼科装置において、前記ロバスト推定アルゴリズムは、Random Sample Consensus(RANSAC)アルゴリズムを含む。
幾つかの例示的な態様に係る眼科装置において、前記OCTスキャンは、Aスキャンと、前記Aスキャンに直交する横スキャンとを含み、前記Aスキャンの範囲の少なくとも一部と前記横スキャンの範囲の一部とにより規定される前記前眼部画像の部分を前記第1部分として設定する部分設定部を更に含む。
幾つかの例示的な態様に係る眼科装置において、前記横スキャンは、Bスキャンを含み、前記部分設定部は、前記Aスキャンの範囲の少なくとも一部と前記Bスキャンの範囲の両端部分を除いた部分とにより規定される前記前眼部画像の部分を前記第1部分として設定する。
幾つかの例示的な態様に係る眼科装置において、前記部分設定部は、前記前眼部画像を解析して特徴点を検出し、検出された前記特徴点に基づいて前記前眼部画像の前記第1部分を設定する。
幾つかの例示的な態様に係る眼科装置において、前記部分設定部は、前記前眼部画像の全体にエッジ検出を適用して前記特徴点を検出する。
幾つかの例示的な態様に係る眼科装置において、前記部分設定部は、前記特徴点を含むように前記第1部分を設定する。
幾つかの例示的な態様に係る眼科装置において、前記部分設定部は、前記前眼部画像にアーティファクト検出を適用し、前記前眼部画像からアーティファクトが検出された場合、前記アーティファクトを含まないように前記第1部分を設定する。
幾つかの例示的な態様に係る眼科装置において、前記前眼部の前記所定部位は角膜である。
幾つかの例示的な態様に係る眼科装置において、前記第1画像領域特定部は、前記前眼部画像の前記第1部分を解析して、前記角膜の前面に相当する第1角膜前面画像と、前記角膜の後面に相当する第1角膜後面画像とを特定し、前記第2画像領域特定部は、前記第1角膜前面画像に基づいて、前記第2部分において前記前面に相当する第2角膜前面画像を特定し、前記第1角膜後面画像に基づいて、前記第2部分において前記後面に相当する第2角膜後面画像を特定する。
幾つかの例示的な態様に係る眼科装置において、前記第2角膜前面画像を含む前面解析領域と、前記第2角膜後面画像を含む後面解析領域とを設定する解析領域設定部と、前記前面解析領域を解析して前記前面に相当する第3角膜前面画像を特定し、前記後面解析領域を解析して前記後面に相当する第3角膜後面画像を特定する第3画像領域特定部とを更に含む。
幾つかの例示的な態様に係る眼科装置において、前記解析領域設定部は、前記第2角膜前面画像の幅を所定値まで増加させて前記前面解析領域を設定し、前記第2角膜後面画像の幅を所定値まで増加させて前記後面解析領域を設定する。
幾つかの例示的な態様に係る眼科装置において、前記第3画像領域特定部は、前記前面解析領域にエッジ検出を適用して前記第3角膜前面画像を特定し、前記後面解析領域にエッジ検出を適用して前記第3角膜後面画像を特定する。
幾つかの例示的な態様に係る眼科装置において、前記第1画像領域特定部は、前記前眼部画像の前記第1部分にエッジ検出を適用して前記第1角膜前面画像及び前記第1角膜後面画像を特定する。
幾つかの例示的な態様に係る眼科装置において、前記第3画像領域特定部が実行する前記エッジ検出における勾配強度の閾値は、前記第1画像領域特定部が実行する前記エッジ検出における勾配強度の閾値よりも小さい。
幾つかの例示的な態様に係る眼科装置において、前記第2画像領域特定部は、前記第1角膜前面画像にカーブフィッティングを適用して前記第2角膜前面画像を特定し、前記第1角膜後面画像にカーブフィッティングを適用して前記第2角膜後面画像を特定する。
幾つかの例示的な態様に係る眼科装置において、前記第2画像領域特定部は、外れ値を除外するためのロバスト推定アルゴリズムに基づくカーブフィッティングを前記第1角膜前面画像及び前記第1角膜後面画像のそれぞれに適用する。
幾つかの例示的な態様に係る眼科装置において、前記ロバスト推定アルゴリズムは、Random Sample Consensus(RANSAC)アルゴリズムを含む。
幾つかの例示的な態様に係る眼科装置において、前記OCTスキャンは、Aスキャンと、前記Aスキャンに直交する横スキャンとを含み、前記Aスキャンの範囲の少なくとも一部と前記横スキャンの範囲の一部とにより規定される前記前眼部画像の部分を前記第1部分として設定する部分設定部を更に含む。
幾つかの例示的な態様に係る眼科装置において、前記横スキャンは、Bスキャンを含み、前記部分設定部は、前記Aスキャンの範囲の少なくとも一部と前記Bスキャンの範囲の両端の所定領域を除いた部分とにより規定される前記前眼部画像の部分を前記第1部分として設定する。
幾つかの例示的な態様に係る眼科装置において、前記部分設定部は、前記前眼部画像を解析して角膜頂点に相当する位置を検出し、前記角膜頂点に相当する前記位置に基づいて前記前眼部画像の前記第1部分を設定する。
幾つかの例示的な態様に係る眼科装置において、前記部分設定部は、前記前眼部画像の全体にエッジ検出を適用して前記角膜頂点に相当する前記位置を検出する。
幾つかの例示的な態様に係る眼科装置において、前記部分設定部は、前記角膜頂点に相当する前記位置を含むように前記第1部分を設定する。
幾つかの例示的な態様に係る眼科装置において、前記部分設定部は、前記角膜頂点に相当する前記位置が前記横スキャンの方向における中心位置に配置されるように前記第1部分を設定する。
幾つかの例示的な態様に係る眼科装置において、前記部分設定部は、前記前眼部画像にアーティファクト検出を適用し、前記前眼部画像からアーティファクトが検出された場合、前記アーティファクトを含まないように前記第1部分を設定する。
幾つかの例示的な態様に係る眼科装置において、前記第3角膜前面画像に少なくとも基づいて前記前眼部画像の歪みを補正する第1画像補正部を更に含む。
幾つかの例示的な態様に係る眼科装置において、前記前眼部画像のピクセルアスペクト比を補正する第2画像補正部を更に含む。
幾つかの例示的な態様に係る眼科装置において、前記前眼部画像を解析して所定の前眼部パラメータを算出する解析部を更に含む。
幾つかの例示的な態様に係る眼科装置において、前記画像取得部は、前記前眼部にOCTスキャンを適用してデータを収集するデータ収集部と、前記データ収集部により収集された前記データに基づいて前記前眼部画像を構築する画像構築部とを含む。
幾つかの例示的な態様に係る眼科装置において、前記画像取得部は、前記前眼部画像を外部から受け付ける受付部を含む。
幾つかの例示的な態様に係る眼科装置の制御方法は、プロセッサを含む眼科装置を制御する方法であって、前記プロセッサに、光コヒーレンストモグラフィ(OCT)スキャンにより被検眼の前眼部から収集されたデータに基づく前眼部画像を取得させ、前記前眼部画像の第1部分を解析させて前記前眼部の所定部位に相当する第1画像領域を特定させ、前記第1画像領域に基づいて、前記第1部分を真部分集合とする第2部分において前記所定部位に相当する第2画像領域を特定させる。
幾つかの例示的な態様に係る制御方法は、前記プロセッサに、更に、前記第2画像領域を含む解析領域を設定させ、前記解析領域を解析させて前記所定部位に相当する第3画像領域を特定させる。
幾つかの例示的な態様は、例示的な態様の方法をコンピュータに実行させるプログラムである。
幾つかの例示的な態様は、例示的な態様のプログラムを記録したコンピュータ可読な非一時的記録媒体である。
例示的な実施形態によれば、前眼部のOCT画像に対するセグメンテーションの向上を図ることが可能である。
幾つかの例示的な態様に係る眼科装置、その制御方法、プログラム、及び記録媒体について図面を参照しながら詳細に説明する。本明細書にて引用された文献の開示内容や、その他の任意の公知技術を、例示的な態様に援用することが可能である。なお、特に言及しない限り、「画像データ」とそれに基づく「画像」とを区別せず、また、被検眼の「部位」とその「画像」とを区別しない。
幾つかの例示的な態様に係る眼科装置は、フーリエドメインOCT(例えば、スウェプトソースOCT)を利用して生体眼の前眼部を計測することが可能である。例示的な態様に適用可能なOCTのタイプは、スウェプトソースOCTに限定されず、例えばスペクトラルドメインOCT又はタイムドメインOCTであってもよい。
幾つかの例示的な態様に係る眼科装置は、OCT以外のモダリティにより取得された画像を処理可能であってよい。例えば、幾つかの例示的な態様は、眼底カメラ、走査型レーザー検眼鏡(SLO)、スリットランプ顕微鏡、及び眼科手術用顕微鏡のいずれかにより取得された画像を処理可能であってよい。幾つかの例示的な態様に係る眼科装置は、眼底カメラ、SLO、スリットランプ顕微鏡、及び眼科手術用顕微鏡のいずれかを含んでいてよい。
例示的な態様に係る眼科装置は、OCTスキャンにより生体眼の前眼部から収集されたデータに基づき構築された画像(前眼部画像)を取得し、これを処理するように構成されている。前眼部画像は、例えば虚像(折り返し画像)や外乱に起因する像のようなアーティファクトを含んでいてもよい(例えば図1A及び図1Bを参照)。このようなアーティファクトが存在する場合であってもセグメンテーションを正しく行えることが例示的な態様の一つの利点である。
例示的な態様において、前眼部画像を取得する態様は任意である。例えば、幾つかの例示的な態様の眼科装置は、生体眼の前眼部にOCTスキャンを適用してデータを収集する構成と、収集されたデータに基づいて前眼部画像を構築する構成とを備えていてよい。
また、幾つかの例示的な態様の眼科装置は、生体眼の前眼部画像を外部から受け付ける機能を備えていてよい。例えば、OCT装置を用いて生体眼の前眼部画像が取得され、医用画像管理システム(例えば、Picture Archiving and Communication Systems;PACS)に保存される。幾つかの例示的な態様の眼科装置は、医用画像管理システムにアクセスして前眼部画像の提供を受けるように構成されている。
以下の開示では、幾つかの例示的な態様に係る眼科装置に加え、幾つかの例示的な態様に係る眼科装置の制御方法、眼科装置の制御方法をコンピュータに実行させるための幾つかの例示的な態様に係るプログラム、及び、プログラムが記録された幾つかの例示的な態様に係る記録媒体について説明する。
本明細書に開示された要素の機能の少なくとも一部は、回路構成(circuitry)又は処理回路構成(processing circuitry)を用いて実装される。回路構成又は処理回路構成は、開示された機能の少なくとも一部を実行するように構成及び/又はプログラムされた、汎用プロセッサ、専用プロセッサ、集積回路、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)、従来の回路構成、及びそれらの任意の組み合わせのいずれかを含む。プロセッサは、トランジスタ及び/又は他の回路構成を含む、処理回路構成又は回路構成とみなされる。本開示において、回路構成、ユニット、手段、又はこれらに類する用語は、開示された機能の少なくとも一部を実行するハードウェア、又は、開示された機能の少なくとも一部を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されたハードウェアであってよく、或いは、記載された機能の少なくとも一部を実行するようにプログラム及び/又は構成された既知のハードウェアであってもよい。ハードウェアが或るタイプの回路構成とみなされ得るプロセッサである場合、回路構成、ユニット、手段、又はこれらに類する用語は、ハードウェアとソフトウェアとの組み合わせであり、このソフトウェアはハードウェア及び/又はプロセッサを構成するために使用される。
〈眼科装置の構成〉
図2に示す例示的な態様の眼科装置1は、OCT装置と眼底カメラとを組み合わせた複合機であり、前眼部にOCTを適用する機能と前眼部を撮影する機能とを備えている。眼科装置1は、眼底カメラユニット2、OCTユニット100、及び演算制御ユニット200を含む。眼底カメラユニット2には、被検眼の正面画像を取得するための各種の要素(例えば、光学系、機構など)が設けられている。OCTユニット100には、OCTスキャンを実行するための各種の要素(例えば、光学系、機構など)の一部が設けられている。OCTスキャンを実行するための他の要素は、眼底カメラユニット2に設けられている。演算制御ユニット200は、各種の処理(演算、制御等)を実行するように構成された1以上のプロセッサと1以上の記憶装置とを含む。これらに加え、眼科装置1は、被検者の顔を支持するための部材(顎受け、額当て等)や、OCTスキャンが適用される部位を切り替えるためのアタッチメント等の任意の要素やユニットを含む。
図2に示す例示的な態様の眼科装置1は、OCT装置と眼底カメラとを組み合わせた複合機であり、前眼部にOCTを適用する機能と前眼部を撮影する機能とを備えている。眼科装置1は、眼底カメラユニット2、OCTユニット100、及び演算制御ユニット200を含む。眼底カメラユニット2には、被検眼の正面画像を取得するための各種の要素(例えば、光学系、機構など)が設けられている。OCTユニット100には、OCTスキャンを実行するための各種の要素(例えば、光学系、機構など)の一部が設けられている。OCTスキャンを実行するための他の要素は、眼底カメラユニット2に設けられている。演算制御ユニット200は、各種の処理(演算、制御等)を実行するように構成された1以上のプロセッサと1以上の記憶装置とを含む。これらに加え、眼科装置1は、被検者の顔を支持するための部材(顎受け、額当て等)や、OCTスキャンが適用される部位を切り替えるためのアタッチメント等の任意の要素やユニットを含む。
OCTスキャン適用部位を切り替えるためのアタッチメントの例を説明する。このアタッチメントは、レンズ群(レンズユニット)を含む。本例の眼科装置1に設けられた前眼部OCT用アタッチメント400は、OCTスキャン適用部位を後眼部と前眼部との間で切り替えるためのレンズ群を含む。前眼部OCT用アタッチメント400は、例えば、特開2015-160103号公報に開示された光学ユニットと同様に構成されていてよい。
図2に示すように、前眼部OCT用アタッチメント400は、対物レンズ22と被検眼Eとの間に配置可能である。前眼部OCT用アタッチメント400が光路に配置されているとき、眼科装置1は前眼部にOCTスキャンを適用することが可能である。他方、前眼部OCT用アタッチメント400が光路から退避されているとき、眼科装置1は後眼部にOCTスキャンを適用することが可能である。前眼部OCT用アタッチメント400の移動は、手動又は自動で行われる。
幾つかの例示的な態様の眼科装置は、アタッチメントが光路に配置されているときに後眼部にOCTスキャンを適用可能であり、且つ、アタッチメントが光路から退避されているときに前眼部にOCTスキャンを適用可能であってよい。また、アタッチメントにより切り替えられるOCTスキャン適用部位は後眼部及び前眼部の組み合わせに限定されず、眼の任意の部位の組み合わせであってよい。なお、OCTスキャン適用部位を切り替えるための構成はこのようなアタッチメント(レンズ群、レンズユニット、光学ユニット)に限定されず、例えば、光路に沿って移動可能な1以上のレンズを含む構成であってもよい。
〈眼底カメラユニット2〉
眼底カメラユニット2には、被検眼E(前眼部Ea、眼底Efなど)を撮影してデジタル写真を取得するための要素(光学系、機構など)が設けられている。取得される被検眼Eのデジタル写真は、観察画像、撮影画像等の正面画像である。観察画像は、例えば近赤外光を用いた動画撮影により得られ、アライメント、フォーカシング、トラッキングなどに利用される。撮影画像は、例えば可視領域又は赤外領域のフラッシュ光を用いた静止画像であり、診断、解析などに利用される。
眼底カメラユニット2には、被検眼E(前眼部Ea、眼底Efなど)を撮影してデジタル写真を取得するための要素(光学系、機構など)が設けられている。取得される被検眼Eのデジタル写真は、観察画像、撮影画像等の正面画像である。観察画像は、例えば近赤外光を用いた動画撮影により得られ、アライメント、フォーカシング、トラッキングなどに利用される。撮影画像は、例えば可視領域又は赤外領域のフラッシュ光を用いた静止画像であり、診断、解析などに利用される。
眼底カメラユニット2は、照明光学系10と撮影光学系30とを含む。照明光学系10は被検眼Eに照明光を照射する。撮影光学系30は、被検眼Eからの照明光の戻り光を検出する。OCTユニット100からの測定光は、眼底カメラユニット2内の光路を通じて被検眼Eに導かれ、その戻り光は、同じ光路を通じてOCTユニット100に導かれる。
照明光学系10の観察光源11から出力された光(観察照明光)は、凹面鏡12により反射され、集光レンズ13を経由し、可視カットフィルタ14を透過して近赤外光となる。更に、観察照明光は、撮影光源15の近傍にて一旦集束し、ミラー16により反射され、リレーレンズ系17、リレーレンズ18、絞り19、及びリレーレンズ系20を経由する。そして、観察照明光は、孔開きミラー21の周辺部(孔部の周囲の領域)にて反射され、ダイクロイックミラー46を透過し、対物レンズ22により屈折されて被検眼Eを照明する。観察照明光の被検眼Eからの戻り光は、対物レンズ22により屈折され、ダイクロイックミラー46を透過し、孔開きミラー21の中心領域に形成された孔部を通過し、ダイクロイックミラー55を透過し、撮影合焦レンズ31を経由し、ミラー32により反射される。更に、この戻り光は、ハーフミラー33Aを透過し、ダイクロイックミラー33により反射され、結像レンズ34によりイメージセンサ35の受光面に結像される。イメージセンサ35は、所定のフレームレートで戻り光を検出する。撮影光学系30のフォーカス(焦点位置)は、典型的には、眼底Ef又は前眼部Eaに合致するように調整される。
撮影光源15から出力された光(撮影照明光)は、観察照明光と同様の経路を通って被検眼Eに照射される。被検眼Eからの撮影照明光の戻り光は、観察照明光の戻り光と同じ経路を通ってダイクロイックミラー33まで導かれ、ダイクロイックミラー33を透過し、ミラー36により反射され、結像レンズ37によりイメージセンサ38の受光面に結像される。
液晶ディスプレイ(LCD)39は固視標(固視標画像)を表示する。LCD39から出力された光束は、その一部がハーフミラー33Aに反射され、ミラー32に反射され、撮影合焦レンズ31及びダイクロイックミラー55を経由し、孔開きミラー21の孔部を通過する。孔開きミラー21の孔部を通過した光束は、ダイクロイックミラー46を透過し、対物レンズ22により屈折されて眼底Efに投射される。
LCD39の画面上における固視標画像の表示位置を変更することにより、固視標による被検眼Eの固視位置を変更できる。つまり、固視位置を変更することによって被検眼Eの視線を所望の方向に誘導することができる。所望の固視位置を指定するためのグラフィカルユーザーインターフェース(GUI)等を設けることができる。
固視位置を変更可能な固視標を被検眼Eに提示するための構成はLCD等の表示デバイスには限定されない。例えば、複数の発光部(発光ダイオード等)がマトリクス状(アレイ状)に配列された固視マトリクスを表示デバイスの代わりに採用することができる。この場合、複数の発光部を選択的に点灯させることによって固視位置を変更することができる。更に他の例として、移動可能な1以上の発光部によって固視位置を変更する構成を採用することができる。
アライメント光学系50は、被検眼Eに対する光学系のアライメントに用いられるアライメント指標を生成する。発光ダイオード(LED)51から出力されたアライメント光は、絞り52、絞り53、及びリレーレンズ54を経由し、ダイクロイックミラー55により反射され、孔開きミラー21の孔部を通過し、ダイクロイックミラー46を透過し、対物レンズ22を介して被検眼Eに投射される。アライメント光の被検眼Eからの戻り光は、観察照明光の戻り光と同じ経路を通ってイメージセンサ35に導かれる。その受光像(アライメント指標像)に基づいてマニュアルアライメントやオートアライメントを実行できる。
従来と同様に、本例のアライメント指標像は、アライメント状態により位置が変化する2つの輝点像からなる。被検眼Eと光学系との相対位置がxy方向に変化すると、2つの輝点像が一体的にxy方向に変位する。被検眼Eと光学系との相対位置がz方向に変化すると、2つの輝点像の間の相対位置(距離)が変化する。z方向における被検眼Eと光学系との間の距離が既定のワーキングディスタンスに一致すると、2つの輝点像が重なり合う。xy方向において被検眼Eの位置と光学系の位置とが一致すると、所定のアライメントターゲット内又はその近傍に2つの輝点像が提示される。z方向における被検眼Eと光学系との間の距離がワーキングディスタンスに一致し、且つ、xy方向において被検眼Eの位置と光学系の位置とが一致すると、2つの輝点像が重なり合ってアライメントターゲット内に提示される。
オートアライメントでは、データ処理部230が、2つの輝点像の位置を検出し、主制御部211が、2つの輝点像とアライメントターゲットとの位置関係に基づいて後述の移動機構150を制御する。マニュアルアライメントでは、主制御部211が、被検眼Eの観察画像とともに2つの輝点像を表示部241に表示させ、ユーザーが、表示された2つの輝点像を参照しながら操作部242を用いて移動機構150を動作させる。
なお、アライメント手法は上記のものに限定されない。幾つかの例示的な態様の眼科装置のアライメント手段は、前眼部を異なる方向から実質的に同時に撮影して2以上の撮影画像を取得し、これら撮影画像を解析して被検眼の3次元位置を求め、この3次元位置に基づき光学系を移動させるように構成されていてよい(例えば、特開2013-248376号公報を参照)。
フォーカス光学系60は、被検眼Eに対するフォーカス調整に用いられるスプリット指標を生成する。撮影光学系30の光路(撮影光路)に沿った撮影合焦レンズ31の移動に連動して、フォーカス光学系60は照明光学系10の光路(照明光路)に沿って移動される。反射棒67は、照明光路に対して挿脱される。フォーカス調整を行う際には、反射棒67の反射面が照明光路に傾斜配置される。LED61から出力されたフォーカス光は、リレーレンズ62を通過し、スプリット指標板63により2つの光束に分離され、二孔絞り64を通過し、ミラー65により反射され、集光レンズ66により反射棒67の反射面に一旦結像されて反射される。更に、フォーカス光は、リレーレンズ20を経由し、孔開きミラー21に反射され、ダイクロイックミラー46を透過し、対物レンズ22を介して被検眼Eに投射される。フォーカス光の被検眼Eからの戻り光は、アライメント光の戻り光と同じ経路を通ってイメージセンサ35に導かれる。その受光像(スプリット指標像)に基づいてマニュアルフォーカシングやオートフォーカシングを実行できる。
孔開きミラー21とダイクロイックミラー55との間の撮影光路に、視度補正レンズ70及び71を選択的に挿入することができる。視度補正レンズ70は、強度遠視を補正するためのプラスレンズ(凸レンズ)である。視度補正レンズ71は、強度近視を補正するためのマイナスレンズ(凹レンズ)である。
ダイクロイックミラー46は、デジタル撮影用光路(照明光路及び撮影光路)にOCT用光路(測定アーム)を結合する。ダイクロイックミラー46は、OCTスキャン用の波長帯の光を反射し、撮影用の波長帯の光を透過させる。測定アームには、OCTユニット100側から順に、コリメータレンズユニット40、リトロリフレクタ41、分散補償部材42、OCT合焦レンズ43、光スキャナ44、及びリレーレンズ45が設けられている。
リトロリフレクタ41は、図2中の矢印が示す方向(測定光LSの入射方向及び出射方向)に移動可能とされている。それにより、測定アームの長さが変更される。測定アーム長の変更は、例えば、眼軸長に応じた光路長の補正や、角膜形状や眼底形状に応じた光路長の補正や、干渉状態の調整などのために利用される。
分散補償部材42は、参照アームに配置された分散補償部材113(後述)とともに、測定光LSの分散特性と参照光LRの分散特性とを合わせるよう作用する。
OCT合焦レンズ43は、測定アームのフォーカス調整を行うために図2中の矢印が示す方向(測定アームの光軸)に沿って移動可能とされている。それにより、測定アームのフォーカス状態(焦点の位置、焦点距離)が変更される。眼科装置1は、撮影合焦レンズ31の移動、フォーカス光学系60の移動、及びOCT合焦レンズ43の移動を連係的に制御可能であってよい。
光スキャナ44は、実質的に、被検眼Eの瞳孔と光学的に共役な位置に配置される。光スキャナ44は、測定アームにより導かれる測定光LSを偏向する。光スキャナ44は、例えば、x方向のスキャンを行うための偏向器(x-スキャナ)と、y方向のスキャンを行うための偏向器(y-スキャナ)とを含む、2次元スキャンが可能な偏向器である。例えば、光スキャナ44は、2つのガルバノミラーを含むガルバノスキャナである。典型的には、2つの偏向器のいずれか一方が被検眼Eの瞳孔と光学的に共役な位置に配置され、或いは、2つの偏向器の間に瞳孔共役位置が配置される。これにより、眼底EfにOCTスキャンを適用するときに、被検眼Eの瞳孔内(又はその近傍)の位置をピボットとして測定光LSを振ることができ、眼底Efの広い範囲にOCTスキャンを適用することが可能になる。
本態様においては、前眼部OCT用アタッチメント400が光路から退避されているときには、上記のように、光スキャナ44は、実質的に、被検眼Eの瞳孔に対して光学的に共役に配置される。他方、前眼部OCT用アタッチメント400が光路に挿入されているとき、光スキャナ44は、前眼部Eaと前眼部OCT用アタッチメント400との間の位置に対して光学的に共役に配置される。より具体的には、前眼部OCT用アタッチメント400が光路から退避されているとき、例えば、x-スキャナ及びy-スキャナのいずれか一方が瞳孔に対して光学的に共役に配置されるか、或いは、x-スキャナとy-スキャナとの間の位置が瞳孔に対して光学的に共役に配置される。また、前眼部OCT用アタッチメント400が光路に挿入されているとき、例えば、x-スキャナ及びy-スキャナのいずれか一方が前眼部Eaと前眼部OCT用アタッチメント400との間の位置に対して光学的に共役に配置されるか、或いは、x-スキャナとy-スキャナとの間の位置が前眼部Eaと前眼部OCT用アタッチメント400との間の位置に対して光学的に共役に配置される。
〈OCTユニット100〉
図3に示す例示的なOCTユニット100には、スウェプトソースOCTを適用するための光学系や機構が設けられている。この光学系は干渉光学系を含む。この干渉光学系は、波長可変光源(波長掃引型光源)からの光を測定光と参照光とに分割し、被検眼Eからの測定光の戻り光と参照光路を経由した参照光とを重ね合わせて干渉光を生成し、この干渉光を検出する。干渉光学系により得られた検出結果(検出信号)は、干渉光のスペクトルを表す信号(干渉信号)であり、演算制御ユニット200(画像構築部220)に送られる。
図3に示す例示的なOCTユニット100には、スウェプトソースOCTを適用するための光学系や機構が設けられている。この光学系は干渉光学系を含む。この干渉光学系は、波長可変光源(波長掃引型光源)からの光を測定光と参照光とに分割し、被検眼Eからの測定光の戻り光と参照光路を経由した参照光とを重ね合わせて干渉光を生成し、この干渉光を検出する。干渉光学系により得られた検出結果(検出信号)は、干渉光のスペクトルを表す信号(干渉信号)であり、演算制御ユニット200(画像構築部220)に送られる。
光源ユニット101は、例えば、出射光の波長を高速で変化させる近赤外波長可変レーザーを含む。光源ユニット101から出力された光L0は、光ファイバ102により偏波コントローラ103に導かれてその偏光状態が調整される。更に、光L0は、光ファイバ104によりファイバカプラ105に導かれて測定光LSと参照光LRとに分割される。測定光LSの光路は測定アームなどと呼ばれ、参照光LRの光路は参照アームなどと呼ばれる。
参照光LRは、光ファイバ110によりコリメータ111に導かれて平行光束に変換され、光路長補正部材112及び分散補償部材113を経由し、リトロリフレクタ114に導かれる。光路長補正部材112は、参照光LRの光路長と測定光LSの光路長とを合わせるための光学素子である。分散補償部材113は、測定アームに配置された分散補償部材42とともに、参照光LRと測定光LSとの間の分散特性を合わせるよう作用する。リトロリフレクタ114は、これに入射する参照光LRの光路に沿って移動可能であり、それにより参照アームの長さが変更される。参照アーム長の変更は、例えば、眼軸長に応じた光路長の補正や、角膜形状や眼底形状に応じた光路長の補正や、干渉状態の調整などに利用される。
リトロリフレクタ114を経由した参照光LRは、分散補償部材113及び光路長補正部材112を経由し、コリメータ116によって平行光束から集束光束に変換され、光ファイバ117に入射する。光ファイバ117に入射した参照光LRは、偏波コントローラ118に導かれてその偏光状態が調整される。偏波コントローラ118は、干渉状態を調整するための光学部材であり、例えば、測定光LSと参照光LRとの干渉強度を最適化するために用いられる。偏波コントローラ118を通過した参照光LRは、光ファイバ119を通じてアッテネータ120に導かれてその光量が調整され、光ファイバ121を通じてファイバカプラ122に導かれる。
一方、ファイバカプラ105により生成された測定光LSは、光ファイバ127を通じてコリメータレンズユニット40に導かれて平行光束に変換される。コリメータレンズユニット40から出射した測定光LSは、リトロリフレクタ41、分散補償部材42、OCT合焦レンズ43、光スキャナ44及びリレーレンズ45を経由し、ダイクロイックミラー46により反射され、対物レンズ22により屈折されて被検眼Eに投射される。測定光LSは、被検眼Eの様々な深さ位置において散乱・反射される。測定光LSの被検眼Eからの戻り光は、往路と同じ経路を逆向きに進行してファイバカプラ105に導かれ、光ファイバ128を経由してファイバカプラ122に到達する。
ファイバカプラ122は、光ファイバ128を介して入射された測定光LSと、光ファイバ121を介して入射された参照光LRとを重ね合わせて干渉光を生成する。ファイバカプラ122は、生成された干渉光を所定の分岐比(例えば1:1)で分岐することで一対の干渉光LCを生成する。一対の干渉光LCは、それぞれ光ファイバ123及び124を通じて検出器125に導かれる。
検出器125は、例えばバランスドフォトダイオードを含む。バランスドフォトダイオードは、一対の干渉光LCをそれぞれ検出する一対のフォトディテクタを有し、これらにより得られた一対の検出結果の差分を出力する。検出器125は、この出力(検出信号)をデータ収集システム(DAQ)130に送る。
データ収集システム130には、光源ユニット101からクロックKCが供給される。クロックKCは、光源ユニット101において、波長可変光源により所定の波長範囲内で掃引される各波長の出力タイミングに同期して生成される。光源ユニット101は、例えば、各出力波長の光L0を分岐して2つの分岐光を生成し、これら分岐光の一方を光学的に遅延させ、これら分岐光を合成し、得られた合成光を検出し、その検出結果に基づいてクロックKCを生成する。データ収集システム130は、検出器125から入力される検出信号のサンプリングをクロックKCに基づいて実行する。データ収集システム130は、このサンプリングの結果を演算制御ユニット200に送る。
本例では、測定アーム長を変更するための要素(例えば、リトロリフレクタ41)と、参照アーム長を変更するための要素(例えば、リトロリフレクタ114、又は参照ミラー)との双方が設けられているが、一方の要素のみが設けられていてもよい。また、測定アーム長と参照アーム長との間の差(光路長差)を変更するための要素はこれらに限定されず、任意の要素(光学部材、機構など)であってよい。
このように、スウェプトソースOCTは、波長可変光源からの光を測定光と参照光とに分割し、被検物からの測定光の戻り光を参照光と重ね合わせて干渉光を生成し、この干渉光を光検出器で検出し、波長の掃引及び測定光のスキャンに応じて収集された検出データにフーリエ変換等を施して画像を構築する手法である。
一方、スペクトラルドメインOCTは、低コヒーレンス光源(広帯域光源)からの光を測定光と参照光とに分割し、被検物からの測定光の戻り光を参照光と重ね合わせて干渉光を生成し、この干渉光のスペクトル分布を分光器で検出し、検出されたスペクトル分布にフーリエ変換等を施して画像を構築する手法である。
すなわち、スウェプトソースOCTは、干渉光のスペクトル分布を時分割で取得するOCT手法であり、スペクトラルドメインOCTは、干渉光のスペクトル分布を空間分割で取得するOCT手法である。
〈制御系・処理系〉
眼科装置1の制御系及び処理系の構成例を図4及び図5に示す。制御部210、画像構築部220及びデータ処理部230は、例えば演算制御ユニット200に設けられている。眼科装置1は、外部装置との間でデータ通信を行うための通信デバイスを含んでいてもよい。眼科装置1は、記録媒体からデータを読み出す処理や、記録媒体にデータを書き込む処理を行うためのドライブ装置(リーダ/ライタ)を含んでいてもよい。
眼科装置1の制御系及び処理系の構成例を図4及び図5に示す。制御部210、画像構築部220及びデータ処理部230は、例えば演算制御ユニット200に設けられている。眼科装置1は、外部装置との間でデータ通信を行うための通信デバイスを含んでいてもよい。眼科装置1は、記録媒体からデータを読み出す処理や、記録媒体にデータを書き込む処理を行うためのドライブ装置(リーダ/ライタ)を含んでいてもよい。
〈制御部210〉
制御部210は、各種の制御を実行する。制御部210は、主制御部211と記憶部212とを含む。主制御部211は、プロセッサを含み、眼科装置1の各要素(図2~図5に示された要素を含む)を制御する。主制御部211は、プロセッサを含むハードウェアと、制御ソフトウェアとの協働によって実現される。
制御部210は、各種の制御を実行する。制御部210は、主制御部211と記憶部212とを含む。主制御部211は、プロセッサを含み、眼科装置1の各要素(図2~図5に示された要素を含む)を制御する。主制御部211は、プロセッサを含むハードウェアと、制御ソフトウェアとの協働によって実現される。
撮影合焦駆動部31Aは、主制御部211の制御の下に、撮影光路に配置された撮影合焦レンズ31と照明光路に配置されたフォーカス光学系60とを移動する。リトロリフレクタ(RR)駆動部41Aは、主制御部211の制御の下に、測定アームに設けられたリトロリフレクタ41を移動する。OCT合焦駆動部43Aは、主制御部211の制御の下に、測定アームに配置されたOCT合焦レンズ43を移動する。リトロリフレクタ(RR)駆動部114Aは、主制御部211の制御の下に、参照アームに配置されたリトロリフレクタ114を移動する。上記した駆動部のそれぞれは、主制御部211の制御の下に動作するパルスモータ等のアクチュエータを含む。測定アームに設けられた光スキャナ44は、主制御部211の制御の下に動作する。
移動機構150は、例えば、少なくとも眼底カメラユニット2を3次元的に移動する。典型的な例において、移動機構150は、±x方向(左右方向)に移動可能なxステージと、xステージを移動するx移動機構と、±y方向(上下方向)に移動可能なyステージと、yステージを移動するy移動機構と、±z方向(奥行き方向)に移動可能なzステージと、zステージを移動するz移動機構とを含む。これら移動機構のそれぞれは、主制御部211の制御の下に動作するパルスモータ等のアクチュエータを含む。
挿脱機構400Aは、前眼部OCT用アタッチメント400をOCT用光路(測定アーム)に挿入する動作と、前眼部OCT用アタッチメント400をOCT用光路(測定アーム)から退避する動作とを実行する。挿脱機構400Aは、主制御部211の制御の下に動作するソレノイドアクチュエータ等のアクチュエータを含む。
記憶部212は各種のデータを記憶する。記憶部212に記憶されるデータとしては、OCT画像、デジタル写真(前眼部画像、眼底画像)、被検眼情報、解析データなどがある。被検眼情報は、患者IDや氏名などの被検者情報や、左眼/右眼の識別情報や、電子カルテ情報などを含む。
〈画像構築部220〉
画像構築部220は、プロセッサを含み、データ収集システム130から入力された信号(サンプリングデータ)に基づいて、被検眼EのOCT画像データを構築する。画像構築部220により構築されるOCT画像データは、1以上のAスキャン画像データであり、典型的には複数のAスキャン画像データからなるBスキャン画像データ(2次元断層像データ)である。
画像構築部220は、プロセッサを含み、データ収集システム130から入力された信号(サンプリングデータ)に基づいて、被検眼EのOCT画像データを構築する。画像構築部220により構築されるOCT画像データは、1以上のAスキャン画像データであり、典型的には複数のAスキャン画像データからなるBスキャン画像データ(2次元断層像データ)である。
OCT画像データを構築する処理は、従来のフーリエドメインOCTと同様に、ノイズ除去(ノイズ低減)、フィルタ処理、高速フーリエ変換(FFT)などを含む。他のタイプのOCT装置の場合、画像構築部220は、そのタイプに応じた公知の処理を実行する。
画像構築部220は、データ収集システム130から入力された信号に基づいて、被検眼Eの3次元データを構築するように構成されてよい。この3次元データは、被検眼Eの3次元領域(ボリューム)を表現した3次元画像データである。この3次元画像データは、3次元座標系により画素の位置が定義された画像データを意味する。3次元画像データの例として、スタックデータやボリュームデータがある。
スタックデータは、複数のスキャンラインに沿って得られた複数の断層像を、これらスキャンラインの位置関係に基づき3次元的に配列して得られた画像データである。すなわち、スタックデータは、元々個別の2次元座標系により定義されていた複数の断層像を、1つの3次元座標系で表現する(つまり、1つの3次元空間に埋め込む)ことにより構築された画像データである。換言すると、スタックデータは、2次元的に配列された複数のスキャン点(スキャン点アレイ)についてそれぞれ取得された複数のAスキャン画像データを、これらスキャン点の位置関係に基づき3次元的に配列して得られた画像データである。
ボリュームデータは、3次元的に配列されたボクセルを画素とする画像データであり、ボクセルデータとも呼ばれる。ボリュームデータは、スタックデータに補間処理やボクセル化処理などを適用することによって構築される。
画像構築部220は、3次元画像データにレンダリングを施して表示用画像を構築する。適用可能なレンダリング法の例として、ボリュームレンダリング、サーフェスレンダリング、最大値投影(MIP)、最小値投影(MinIP)、多断面再構成(MPR)などがある。
画像構築部220は、3次元画像データに基づいてOCT正面画像(OCT en-face画像)を構築するように構成されてよい。例えば、画像構築部220は、3次元画像データをz方向(Aライン方向、深さ方向)に投影してプロジェクションデータを構築することができる。また、画像構築部220は、3次元画像データの一部(例えば、スラブ)からプロジェクションデータを構築することができる。
3次元画像データの部分データ(例えば、スラブ)は、典型的には、セグメンテーションを利用して設定される。セグメンテーションは、画像中の部分領域を特定する処理である。典型的には、セグメンテーションは、被検眼Eの所定組織に相当する画像領域を特定するために利用される。セグメンテーションは、任意の公知の画像処理技術を含んでいてよく、例えば、エッジ検出等の画像処理、及び/又は、機械学習(例えば、深層学習)を利用したセグメンテーションを含んでいてよい。セグメンテーションは、例えば、画像構築部220又はデータ処理部230により実行される。
なお、本態様のデータ処理部230は、後述のセグメンテーションを実行可能に構成されており、アーティファクトを含んだ前眼部画像に対してでもセグメンテーションを正しく行えるという特徴を有する。
眼科装置1は、OCTモーションコントラスト撮影(motion contrast imaging)を実行可能であってよい。OCTモーションコントラスト撮影は、眼内に存在する液体等の動きを抽出するイメージング技術である(例えば、特表2015-515894号公報を参照)。
画像構築部220は、プロセッサを含むハードウェアと、画像構築ソフトウェアとの協働によって実現される。
〈データ処理部230〉
データ処理部230は、プロセッサを含み、被検眼Eの画像に対して特定のデータ処理を適用するように構成されている。データ処理部230は、例えば、プロセッサを含むハードウェアと、データ処理ソフトウェアとの協働によって実現される。
データ処理部230は、プロセッサを含み、被検眼Eの画像に対して特定のデータ処理を適用するように構成されている。データ処理部230は、例えば、プロセッサを含むハードウェアと、データ処理ソフトウェアとの協働によって実現される。
データ処理部230は、被検眼Eについて取得された2つの画像の間の位置合わせ(レジストレーション)を行うことができる。例えば、データ処理部230は、OCTスキャンを用いて取得された3次元画像データと、眼底カメラユニット2により取得された正面画像との間のレジストレーションを行うことができる。また、データ処理部230は、OCTスキャンを用いて取得された2つのOCT画像の間のレジストレーションを行うことができる。また、データ処理部230は、眼底カメラユニット2により取得された2つの正面画像の間のレジストレーションを行うことができる。また、OCT画像の解析結果や、正面画像の解析結果に対してレジストレーションを適用することも可能である。レジストレーションは、公知の手法によって実行可能であり、例えば特徴点抽出とアフィン変換とを含む。
前述したように、データ処理部230は、アーティファクトを含んだ前眼部画像に対してでもセグメンテーションを適切に行うための構成を有する。このようなデータ処理部230の構成の一例を図5に示す。本例のデータ処理部230は、少なくとも、第1画像領域特定部232と、第2画像領域特定部233とを含む。更に、本例のデータ処理部230は、解析領域設定部234と、第3画像領域特定部235とを含んでいてよい。加えて、本例のデータ処理部230は、部分設定部231、歪み補正部236、アスペクト比補正部237、及び解析部238のうちのいずれか1つ以上を含んでいてよい。
本例において、データ処理部230により処理される前眼部画像は、深さ方向(軸方向)におけるAスキャンと、Aスキャンに直交する方向におけるスキャン(横スキャン)とを組み合わせたOCTスキャンを用いて得られた画像であるとする。なお、横スキャンは、光スキャナ44により実現される。データ処理部230により処理される前眼部画像は、典型的には、(1以上の)Bスキャン画像、3次元画像、又は、(1以上の)サークルスキャン画像であってよい。以下、一つのBスキャン画像を処理する場合について特に説明するが、他の種類の前眼部画像についても同様に処理を行うことが可能である。
〈部分設定部231〉
部分設定部231は、Aスキャンの範囲の少なくとも一部と横スキャンの範囲の一部とにより規定される前眼部画像の部分を特定する。部分設定部231により特定された前眼部画像の部分は、後段の処理において第1画像領域特定部232によって解析される。部分設定部231により設定される前眼部画像の部分を第1部分と呼ぶ。
部分設定部231は、Aスキャンの範囲の少なくとも一部と横スキャンの範囲の一部とにより規定される前眼部画像の部分を特定する。部分設定部231により特定された前眼部画像の部分は、後段の処理において第1画像領域特定部232によって解析される。部分設定部231により設定される前眼部画像の部分を第1部分と呼ぶ。
ここで、Aスキャンの範囲は、深さ方向(z方向)における画像化範囲に相当する(図6に示す前眼部画像300を参照)。Aスキャンの範囲は、予め設定される。また、横スキャンの範囲は、光スキャナ44により測定光LSが振られた方向(横方向)における画像化範囲に相当する(図6に示す前眼部画像300を参照)。横スキャンの範囲は、予め設定されたスキャンモード(例えば、スキャンパターン、スキャン長(画角:標準画角、広角など))などによって決定される。
部分設定部231により設定される前眼部画像の第1部分について、その深さ方向の範囲は、Aスキャンの範囲の一部又は全体であり、且つ、その横方向の範囲は、横スキャンの範囲の一部である(横スキャンの範囲の全体ではない)。換言すると、部分設定部231により設定される前眼部画像の第1部分について、その深さ方向の範囲は、Aスキャンの範囲の一部でも全体でもよいが、その横方向の範囲は、横スキャンの範囲の一部を除いた領域である。
幾つかの例示的な態様において、前眼部画像を取得するためのOCTスキャンが、例えばBスキャンや3次元スキャンやラジアルスキャンのように、Bスキャンを含む横スキャンである場合、部分設定部231は、Aスキャンの範囲の少なくとも一部とBスキャンの範囲の両端部分を除いた部分とにより規定される前眼部画像の部分を第1部分として設定してもよい。
例えば、部分設定部231は、図6に示す前眼部画像300(Bスキャン画像)から、図7に示す第1部分310を設定することができる。第1部分310は、前眼部画像300の画像フレームの左端(左辺)に対して所定距離以内に位置する画素群からなる領域(左端部分)321と、右端(右辺)に対して所定距離以内に位置する画素群からなる領域(右端部分)322とを、前眼部画像300から除いた領域に相当する。このように、第1部分310は、Aスキャンの範囲の全体とBスキャンの範囲の一部とにより規定される、前眼部画像300の部分領域である。換言すると、第1部分310は、前眼部画像300の画像フレームの上端及び下端と、左端部分321の右端(右辺)と、右端部分322の左端(左辺)とにより画定される領域である。なお、幾つかの例示的な態様において、第1部分は、Aスキャンの範囲の一部とBスキャンの範囲の一部とにより規定される、前眼部画像の部分領域であってもよい。
第1部分を設定するために前眼部画像から除外される両端部分(除外部分)の寸法は、既定値でもよいし、前眼部画像に基づき設定されてもよい。例えば、第1画像領域特定部232による特定の対象となる部位の標準的な描出態様や、前眼部画像の標準的な描出態様に基づいて、除外部分の寸法を設定することが可能である。
具体例として、角膜頂点が略フレーム中心に配置されるようにBスキャンを前眼部に適用する場合において、Bスキャンの長さが6ミリメートル程度であれば虹彩の虚像(折り返し画像)や睫毛の像などのアーティファクトが混入することは少ないという事実を参照することで、Bスキャン方向における第1画像の寸法が6ミリメートルとなるように、除外部分の寸法を設定することができる。例えば、図7に示す前眼部画像300のBスキャンの長さは9ミリメートルであり、左端部分321は画像フレームの左端に対する距離が1.5ミリメートル以下の領域であり、右端部分322は右端に対する距離が1.5ミリメートル以下の領域である。これにより、左端部分321と右端部分322とに挟まれた領域(Bスキャン方向の長さは6ミリメートル)が第1部分310として抽出される。
なお、左端部分の寸法と右端部分の寸法とは、互いに同じであってもよいし、互いに異なってもよい。また、左端部分の形状及び右端部分の形状は、図7に示すような矩形に限定されず、任意であってよい。また、Aスキャンの範囲の一部のみを切り出して第1部分を設定する場合、Bスキャンの範囲における寸法や形状と同じ要領で、Aスキャンの範囲における除外部分の寸法や形状を設定することが可能である。
以下、第1部分を設定する処理について、幾つかの例示的な態様を説明する。第1の処理例では、前眼部の特徴点を参照して前眼部画像の第1部分が設定される。そのために、部分設定部231は、前眼部画像を解析して特徴点を検出する処理と、検出された特徴点に基づいて前眼部画像の第1部分を設定する処理とを実行するように構成される。
特徴点の検出には、任意の公知の画像処理及び/又は任意の公知の機械学習を利用することができる。一つの例として、部分設定部231は、前眼部画像の全体にエッジ検出を適用して特徴点を検出するように構成されてよい。このエッジ検出は、例えば、角膜前面に相当する画像(角膜前面画像)を前眼部画像から特定するように行われる。部分設定部231は、検出された角膜前面画像から、角膜頂点に相当する位置(角膜頂点位置)を特定することができる。本例では、角膜頂点位置が特徴点となる。
特徴点に基づく第1部分の設定は、特徴点を基準として行うことができる。一つの例として、部分設定部231は、特徴点からの距離に基づき第1部分を設定するように構成されていてよい。例えば、特徴点として角膜頂点位置が特定された場合、部分設定部231は、Bスキャン方向において角膜頂点位置からの距離が所定値(例えば3ミリメートル)以内の画素群からなる領域を第1部分に設定することができる。これにより、Bスキャン方向において角膜頂点位置を中心とするBスキャン長6ミリメートルの範囲が第1部分に設定される。
本例によれば、角膜頂点位置が画像フレームの略中心に配置されていなくても、アーティファクトを含まないように第1部分を設定することができる。よって、例えばアライメントが多少ずれた状態でOCTスキャンが行われた場合であっても、第1部分を好適に設定することが可能である。
なお、本例では、特徴点を含むように第1部分が設定されているが、幾つかの例示的な態様はこれに限定されない。例えば、診断対象(観察対象、解析対象)が虹彩であり、且つ、特徴点が瞳孔中心である場合、Bスキャン方向において瞳孔縁からの距離が所定値(例えば、瞳孔半径の標準値)以上である画素群からなる領域を第1部分に設定することができる。
第1部分を設定するための第2の処理例を説明する。本例では、前眼部画像に混入したアーティファクトを参照して第1部分が設定される。そのために、部分設定部231は、前眼部画像中のアーティファクトを検出する処理と、検出されたアーティファクトに基づいて前眼部画像の第1部分を設定する処理とを実行するように構成される。
アーティファクト検出には、任意の公知の画像処理及び/又は任意の公知の機械学習を利用することができる。一つの例として、部分設定部231は、前眼部画像を複数の部分画像に分割し、各部分画像の画質評価を行い、画質評価値が所定値未満である部分画像をアーティファクトと判定するように構成されてよい。
他の例として、部分設定部231は、前眼部画像中の所定の画像オブジェクトの形状に基づきアーティファクトを検出するように構成されてよい。例えば、角膜頂点を通過する直線(深さ方向に延びる直線)に対して角膜(角膜前面、角膜後面)の形状が略対称であることに着目し、部分設定部231は、角膜前面画像の対称性が(大きく)崩れている部分をアーティファクトと判定するように構成されていてよい。
アーティファクトに基づく第1部分の設定において、部分設定部231は、検出されたアーティファクトを含まないように第1部分を設定するように構成されてよい。これにより、アーティファクトを含まない高画質の第1部分を第1画像領域特定部232に提供することが可能となる。
部分設定部231は、プロセッサを含むハードウェアと、部分設定ソフトウェアとの協働によって実現される。
〈第1画像領域特定部232〉
第1画像領域特定部232は、部分設定部231により設定された前眼部画像の第1部分を解析して、前眼部Eaの所定部位に相当する画像領域を特定するように構成されている。第1画像領域特定部232により第1部分から特定される画像領域を第1画像領域と呼ぶ。
第1画像領域特定部232は、部分設定部231により設定された前眼部画像の第1部分を解析して、前眼部Eaの所定部位に相当する画像領域を特定するように構成されている。第1画像領域特定部232により第1部分から特定される画像領域を第1画像領域と呼ぶ。
幾つかの例示的な態様において、前眼部画像の第1部分から第1画像領域として検出される部位は予め設定される。検出される部位の例として、角膜、虹彩、前房、瞳孔、水晶体などがある。また、検出される部位は、いずれかの部位の一部であってよい。また、検出される部位は、いずれか2以上の部位のそれぞれの少なくとも一部の組み合わせであってもよい。
第1画像領域特定部232は、例えば、前眼部画像の第1部分にセグメンテーションを適用することによって第1画像領域の特定を行う。このセグメンテーションは、例えば、予め設定された部位に相当する第1部分中の領域を特定するように実行される。このセグメンテーションは、任意の公知の画像処理技術を含んでいてよく、例えば、エッジ検出等の画像処理、及び/又は、機械学習を利用したセグメンテーションを含んでいてもよい。
幾つかの例示的な態様において、第1画像領域特定部232は、前眼部画像の第1部分を解析することにより、前眼部Eaの角膜又はその部分に相当する第1画像領域を特定するように構成される。例えば、本例に係る第1画像領域特定部232は、前眼部画像の第1部分を解析することにより、角膜の前面に相当する第1画像領域(第1角膜前面画像)と、角膜の後面に相当する第1画像領域(第1角膜後面画像)とを特定するように構成される。
ここでは、第1画像領域(特に、第1角膜前面画像及び第1角膜後面画像)を特定するためにエッジ検出を適用するように構成された第1画像領域特定部232について、幾つかの例を説明する。
幾つかの例示的な態様において、第1角膜前面画像を特定するために、第1画像領域特定部232は、例えば、勾配方向が前眼部画像のフレーム端側を向き且つ勾配が所定閾値以上であるエッジを特定するように構成されていてよい。
また、幾つかの例示的な態様において、第1角膜後面画像を特定するために、第1画像領域特定部232は、勾配方向が前眼部画像のフレーム中央側を向き且つ勾配が所定閾値以上であるエッジを特定するように構成されていてよい。
このような勾配(方向、強さ)に基づくエッジ検出は、他の部位に相当する第1画像領域を特定する場合にも適用可能である。なお、勾配方向は、典型的には、勾配の法線の方向として定義される。
第1角膜前面画像を特定するためのエッジ検出について、図8A及び図8Bを参照しつつ、より詳細に説明する。本例は、図7に示す第1部分310から第1角膜前面画像311を特定する。前述したように、第1画像領域特定部232は、勾配方向が前眼部画像のフレーム端側を向き且つ勾配強度が所定閾値以上であるエッジを第1角膜前面画像として特定するように構成される。本例では、図8Aに示す1次元領域312を第1画像領域特定部232が解析する場合について説明する。1次元領域312には複数のピクセルが配列されている(図8Bも参照)。図8Bの符号313は、1次元領域312に配列された複数のピクセルにおける輝度分布グラフを示している。輝度分布グラフ313の形状から分かるように、輝度分布グラフ313の一部において、輝度の勾配が所定閾値314よりも大きく、且つ、勾配の向きを示す法線方向313aがフレーム左端310Lの側を向いている。このような勾配を有する箇所がエッジとして検出される。更に、このような処理を様々な1次元領域について行うことにより第1角膜前面画像311が特定される。
なお、図8Aにおいて、第1角膜前面画像311に相当する1次元領域312上の画素は角膜頂点よりも左に位置しており、これに対応する法線方向313aはフレーム左端310Lの側を向いている。これに対し、図示は省略するが、第1角膜前面画像311に相当する1次元領域上の画素が角膜頂点よりも右に位置する場合には、これに対応する法線方向はフレーム右端の側を向いている。よって、法線方向がフレーム右端の側を向き且つ勾配強度が所定閾値以上であるエッジを第1角膜後面画像として特定することができる。
同様に、第1画像領域特定部232は、勾配方向が前眼部画像のフレーム中央側を向き且つ勾配が所定閾値以上であるエッジを検出することによって、図8Aに示す第1角膜後面画像315を特定することができる。
第1画像領域特定部232は、プロセッサを含むハードウェアと、第1画像領域特定ソフトウェアとの協働によって実現される。
〈第2画像領域特定部233〉
第2画像領域特定部233は、第1画像領域特定部232により特定された第1画像領域(所定部位に相当する)に基づいて、部分設定部231により前眼部画像から特定された第1部分を真部分集合とする第2部分において当該所定部位に相当する第2画像領域を特定するように構成されている。
第2画像領域特定部233は、第1画像領域特定部232により特定された第1画像領域(所定部位に相当する)に基づいて、部分設定部231により前眼部画像から特定された第1部分を真部分集合とする第2部分において当該所定部位に相当する第2画像領域を特定するように構成されている。
例えば、第2画像領域特定部233は、第1画像領域特定部232により前眼部画像300の第1部分310から特定された第1角膜前面画像311に基づいて、第1部分310を真部分集合とする第2部分において角膜前面に相当する第2角膜前面画像を特定するように構成されてよい。更に、第2画像領域特定部233は、第1画像領域特定部232により前眼部画像300の第1部分310から特定された第1角膜後面画像315に基づいて、第1部分310を真部分集合とする第2部分において角膜後面に相当する第2角膜後面画像を特定するように構成されてよい。
ここで、第2部分は、第1部分及びこれ以外の部分を含む。換言すると、第2部分は第1部分を含み、且つ、第2部分の寸法(例えば、面積又は体積)は第1部分の寸法よりも大きい。なお、第1の部分は、前眼部画像の真部分集合であり、前眼部画像の全体ではない。これに対し、第2の部分は、集合論における部分集合の定義の通り、前眼部画像の真部分集合及び前眼部画像の全体のいずれでもよい。
第2部分の寸法は、予め設定されていてよいし、処理毎に設定されてもよい。第2部分の寸法は、第1部分の寸法に基づき設定されてよい。例えば、第1部分の寸法と第2部分の寸法との間の関係(例えば、差、比)が予め設定されており、この関係に基づき第1部分を拡大することで第2部分を設定することができる。また、第2部分の形状は、予め設定されていてもよいし、処理毎に設定されてもよい。
典型的には、第2部分は前眼部画像の全体である。一つの具体例として、前眼部画像は比較的広角な画像(例えば、長さ9、12又は16ミリメートルのBスキャン)であり、その真部分集合が第1部分に設定され、この前眼部画像の全体が第2部分に設定される。これにより、アーティファクトが混入する可能性が高い比較的広角な前眼部画像の全体にわたって所定部位の像(第2画像領域)を特定することが可能である。
第2画像領域特定部233が第1画像領域から第2画像領域を求める処理は、任意の公知の画像処理技術を含んでいてよく、例えば、所定の画像処理及び/又は機械学習を利用したセグメンテーションを含んでいてよい。第1画像領域を第2画像領域に拡大(拡張)するための当該所定の画像処理は、例えば、カーブフィッティング、エッジ検出、及び、リジョングローイングのいずれか1以上を含んでいてよい。
一つの例として、前眼部画像300の第1部分310中の第1角膜前面画像311(図8Aを参照)にカーブフィッティングを適用する場合について説明する。本例において、第2画像領域特定部233は、第1角膜前面画像311にカーブフィッティングを適用することにより、前眼部画像300(全体)において角膜前面に相当する近似曲線(第2角膜前面画像)を求める。換言すると、第2画像領域特定部233は、第1部分310において特定された第1角膜前面画像311に基づいて、前眼部画像300の全体における角膜前面の形態(第2角膜前面画像)を推定するように構成される。これにより、例えば、図9に示すように、前眼部画像300の全体における角膜前面の推定形態を表す近似曲線331(第2角膜前面画像)が決定される。近似曲線は、任意の態様の曲線であってよく、例えば4次曲線である。
第2画像領域特定部233は、外れ値を除外するためのロバスト推定アルゴリズムに基づくカーブフィッティングを第1角膜前面画像311に適用するように構成されていてよい。このロバスト推定アルゴリズムは、例えば、Random Sample Consensus(RANSAC)アルゴリズムを含んでいてよい。このようなロバスト推定アルゴリズムを採用することで、ノイズ等に起因する外れ値が除外された高確度のカーブフィッティングを第1角膜前面画像311に適用することが可能となり、角膜前面を良好に近似した第2角膜前面画像331を得ることが可能となる。
更に、本例において、第2画像領域特定部233は、第1角膜後面画像315にカーブフィッティングを適用することにより、前眼部画像300(全体)において角膜後面に相当する近似曲線(第2角膜後面画像)を求める。換言すると、第2画像領域特定部233は、第1部分310において特定された第1角膜後面画像315に基づいて、前眼部画像300の全体における角膜後面の形態(第2角膜後面画像)を推定するように構成される。これにより、例えば、図9に示すように、前眼部画像300の全体における角膜後面の推定形態を表す近似曲線332(第2角膜後面画像)が決定される。近似曲線は、任意の態様の曲線であってよく、例えば4次曲線である。第1角膜後面画像315に適用されるカーブフィッティングは、外れ値を除外するためのロバスト推定アルゴリズムに基づくカーブフィッティングであってよく、例えばRANSACアルゴリズムを含んだカーブフィッティングであってよい。このようなロバスト推定アルゴリズムを採用することで、ノイズ等に起因する外れ値が除外された高確度のカーブフィッティングを第1角膜後面画像315に適用することが可能となり、角膜後面を良好に近似した第2角膜後面画像332を得ることが可能となる。
第2画像領域特定部233は、プロセッサを含むハードウェアと、第2画像領域特定ソフトウェアとの協働によって実現される。
〈解析領域設定部234〉
解析領域設定部234は、第2画像領域特定部233により特定された第2画像領域を含む解析領域を設定する。解析領域は、第3画像領域特定部235が実行する解析処理に提供され、解析領域の設定は、第3画像領域特定部235が実行する解析処理のためのマスク処理に相当する。よって、解析領域の態様は、主に当該解析処理の態様に応じて決定される。
解析領域設定部234は、第2画像領域特定部233により特定された第2画像領域を含む解析領域を設定する。解析領域は、第3画像領域特定部235が実行する解析処理に提供され、解析領域の設定は、第3画像領域特定部235が実行する解析処理のためのマスク処理に相当する。よって、解析領域の態様は、主に当該解析処理の態様に応じて決定される。
第2画像領域として線状領域(例えば、第2角膜前面画像331、第2角膜後面画像332)が得られた場合、解析領域設定部234は、この線状領域及びその近傍領域からなる領域を解析領域に設定することができる。
例えば、解析領域設定部234は、第2画像領域特定部233により特定された第2画像領域の幅を所定値まで増加させることによって解析領域を設定するように構成されていてよい。この所定値(解析領域の幅)は、解析領域にわたって一様であってもよいし、非一様であってもよい。
具体例として、解析領域設定部234は、図9に示す第2角膜前面画像331の幅を所定値まで増加させることによって、図10に示す解析領域(前面解析領域)341を設定することができる。前面解析領域341は、第2角膜前面画像331を含む。また、解析領域設定部234は、図9に示す第2角膜後面画像332の幅を所定値まで増加させることによって、図10に示す解析領域(後面解析領域)342を設定することができる。後面解析領域342は、第2角膜後面画像332を含む。前面解析領域341の幅と、後面解析領域342の幅とは、互いに等しくてもよいし、互いに異なってもよい。
線状領域の幅は、例えば、この線状領域の各点における接線に直交する方向において定義される。また、帯状領域である第2画像領域の幅は、例えば、この帯状領域の軸画像の各点における接線に直交する方向において定義される。ここで、軸画像は、例えば、帯状画像に細線化を適用して得られる線状画像である。
解析領域の幅(上記の所定値)は、予め設定されてもよいし、処理毎に設定されてもよい。前者の例として、前眼部画像において所定部位(例えば、角膜、角膜前面、角膜後面)の像の周囲に発生するアーティファクトの標準的な分布に基づいて、解析領域の幅を設定することができる。後者の例として、前眼部画像において所定部位の像の周囲のアーティファクトを検出し、このアーティファクトの分布に基づいて解析領域の幅を設定することができる。
解析領域設定部234は、プロセッサを含むハードウェアと、解析領域設定ソフトウェアとの協働によって実現される。
〈第3画像領域特定部235〉
第3画像領域特定部235は、解析領域設定部234により設定された解析領域を解析して、前眼部の所定部位(第1画像領域及び第2画像領域に対応する部位と同じ)に相当する第3画像領域を特定するように構成されている。第3画像領域を特定するための解析の手法は、例えば、第1画像領域を特定するための解析の手法と同じであってもよいし、異なってもよい。
第3画像領域特定部235は、解析領域設定部234により設定された解析領域を解析して、前眼部の所定部位(第1画像領域及び第2画像領域に対応する部位と同じ)に相当する第3画像領域を特定するように構成されている。第3画像領域を特定するための解析の手法は、例えば、第1画像領域を特定するための解析の手法と同じであってもよいし、異なってもよい。
例えば、第3画像領域特定部235は、図10に示す前面解析領域341を解析することで、角膜前面に相当する第3画像領域として図11に示す第3角膜前面画像351を特定することができる。また、第3画像領域特定部235は、図10に示す後面解析領域342を解析することで、角膜後面に相当する第3画像領域として図11に示す第3角膜後面画像352を特定することができる。前眼部画像300では、虹彩の虚像(折り返し画像)353が角膜の像(特に、角膜後面の周辺)に重なっているが、虚像353の影響を受けることなく第3角膜後面画像352が求められている。
幾つかの例示的な態様において、双方の解析手法はともにエッジ検出であってよい。この場合、第3画像領域特定部235が実行するエッジ検出における勾配強度の閾値は、第1画像領域特定部232が実行するエッジ検出における勾配強度の閾値よりも小さく設定されてよい。つまり、第3画像領域特定部235は、第1画像領域特定部232がエッジとして検出可能な勾配強度よりも小さい勾配強度の箇所をエッジとして検出するように構成されてよい。アーティファクトが重なっている領域に存在するエッジは、アーティファクトが無い領域に存在するエッジよりも不明瞭である。第3画像領域特定部235が実行するエッジ検出における勾配強度の閾値を比較的小さくすることで、不明瞭なエッジの検出の確実性(エッジ検出感度)を向上させることができる。
第3画像領域特定部235は、プロセッサを含むハードウェアと、第3画像領域特定ソフトウェアとの協働によって実現される。
〈歪み補正部236〉
歪み補正部236は、第3画像領域特定部235により特定された第3画像領域に基づいて前眼部画像の歪みを補正するように構成されている。本例では、歪み補正部236は、図11に示す第3角膜前面画像351に少なくとも基づいて前眼部画像300の歪みを補正するように構成されていてよい。この画像歪み補正は、角膜前面での屈折の影響に基づく画像補正である(屈折補正)。
歪み補正部236は、第3画像領域特定部235により特定された第3画像領域に基づいて前眼部画像の歪みを補正するように構成されている。本例では、歪み補正部236は、図11に示す第3角膜前面画像351に少なくとも基づいて前眼部画像300の歪みを補正するように構成されていてよい。この画像歪み補正は、角膜前面での屈折の影響に基づく画像補正である(屈折補正)。
屈折補正の例を図12を参照して説明する。角膜前面410(第3角膜前面画像351又はその近似曲線)の式をy=f(x)とする。また、空気の屈折率(例えば、1.000292)及び角膜の屈折率(例えば、1.376)を設定する。
角膜前面410上の点420に入射する光束(測定光LS)を考慮する。点420における測定光LSの入射角をθinとすると、空気の屈折率及び角膜の屈折率から、スネルの法則により、出射角(屈折角)θoutが算出される。
更に、空気中におけるピクセル当たりの距離(解像度)をrairとし、角膜中におけるピクセル当たりの距離(解像度)をrcorとし、スキャン長(例えば 16mm)をピクセル数(例えば1024)で除算した商をrhとする。また、関数T=|f(x)-y|を考慮する。
歪み補正前の前眼部画像300において角膜前面410よりも下方(フレーム下端側)に位置する点(ピクセル)P=(x,y)を考慮すると、この点P=(x,y)に屈折補正を適用した点P´=(x´,y´)は次式により表される:x´=T(rcor/rh)sin(θin-θout);y´=T(rcor/rair)cos(θin-θout)。
歪み補正前の前眼部画像300において角膜前面410よりも下方に位置する点(ピクセル)のそれぞれに対して当該屈折補正を適用することにより、角膜前面の屈折に起因する前眼部画像300の歪みが補正される。なお、屈折補正後の座標(x´,y´)における垂直方向(フレーム上下方向)の解像度は、一様に、空気中における解像度rairとなる。
歪み補正部236は、プロセッサを含むハードウェアと、歪み補正ソフトウェアとの協働によって実現される。
〈アスペクト比補正部237〉
アスペクト比補正部237は、被検眼Eの前眼部画像のピクセルアスペクト比を補正するように構成されている。画像構築部220は、OCTスキャンで収集されたデータから、所定のピクセルアスペクト比のOCT画像(前眼部画像、眼底画像)を構築する。
アスペクト比補正部237は、被検眼Eの前眼部画像のピクセルアスペクト比を補正するように構成されている。画像構築部220は、OCTスキャンで収集されたデータから、所定のピクセルアスペクト比のOCT画像(前眼部画像、眼底画像)を構築する。
典型的には、アスペクト比補正部237は、このOCT画像を実空間に相当するピクセルアスペクト比(1:1)の画像に変換するように構成される。ピクセルアスペクト比補正により、例えば、図13に示すように、画像構築部220により構築された所定のピクセルアスペクト比の前眼部画像500が、ピクセルアスペクト比が1:1の前眼部画像500´に変換される。
ピクセルアスペクト比補正を適用することで、実際の前眼部の形態を表現した前眼部画像を取得することが可能となる。更に、このような前眼部画像を解析することで、前眼部の実態(スケール、寸法、形状等)に応じた解析データ(例えば、角膜厚分布等の分布データ、隅角パラメータ等の前眼部パラメータ)を取得することが可能となる。
本例では、アスペクト比補正部237は、歪み補正部236により歪みが補正された前眼部画像のピクセルアスペクト比を補正するように構成されている。つまり、本例の眼科装置1は、画像歪み補正の後にピクセルアスペクト比補正を行うように構成されている。しかし、例示的な態様において、ピクセルアスペクト比補正を行う段階やタイミングは任意であってよい。幾つかの例示的な態様において、ピクセルアスペクト比補正を行うタイミングは、OCT画像構築の後、部分設定の前、部分設定の後、第1画像領域特定の前、第1画像領域特定の後、第2画像領域特定の前、第2画像領域特定の後、解析領域設定の前、解析領域設定の後、第3画像領域特定の前、第3画像領域特定の後、歪み補正の前、及び、画像歪み補正の後のうちのいずれかであってよい。
また、幾つかの例示的な態様は、解析部238により得られた解析データに対してピクセルアスペクト比補正と同等の補正処理を適用するように構成されていてよい。
アスペクト比補正部237は、プロセッサを含むハードウェアと、ピクセルアスペクト比補正ソフトウェアとの協働によって実現される。
〈解析部238〉
解析部238は、被検眼Eの前眼部画像を解析して所定の前眼部パラメータを算出するように構成されている。
解析部238は、被検眼Eの前眼部画像を解析して所定の前眼部パラメータを算出するように構成されている。
幾つかの例示的な態様において、解析部238は、少なくとも画像歪み補正が施された前眼部画像を解析して所定の前眼部パラメータを算出するように構成されてよい。これにより、歪みが補正された前眼部画像に基づき前眼部パラメータ演算を高確度、高精度で行うことが可能となる。
また、図5に示す例のように、幾つかの例示的な態様において、解析部238は、画像歪み補正及びピクセルアスペクト比補正の双方が施された前眼部画像を解析して所定の前眼部パラメータを算出するように構成されてよい。これにより、歪み及びピクセルアスペクト比の双方が補正された前眼部画像に基づき前眼部パラメータ演算をより高い確度、より高い精度で行うことが可能となる。なお、本例では、画像歪み補正の後にピクセルアスペクト比補正が実行され、且つ、ピクセルアスペクト比補正の後に前眼部解析が実行される。
解析部238により算出される前眼部パラメータは任意であってよい。前眼部パラメータは、前眼部の形態を表す値である。前眼部パラメータの例として、角膜厚(中心厚、周辺厚)、隅角パラメータ、角膜前面曲率半径、角膜後面曲率半径、水晶体前面曲率半径、水晶体後面曲率半径、角膜径(縦径、横径(White-to-White))、水晶体厚、前房深度、前房容積、瞳孔径、瞳孔中心(偏心)などがある。また、前眼部パラメータは、分布データであってよく、例えば、軸方向湾曲マップ(アキシャル曲率マップ)、接曲率マップ(タンジェンシャル曲率マップ)、隆起マップ(エレベーションマップ)、屈折力マップ、厚さマップ(パキメトリーマップ)、波面収差マップなどであってよい。
前眼部パラメータの演算手法は公知である(例えば、特許文献1~4を参照)。典型的には、前眼部パラメータの演算は、前眼部の所定部位を特定するための処理(例えば、セグメンテーション、特徴点検出など)と、計測処理(例えば、距離計測、面積計測、体積計測、比演算、角度演算など)とを含む。
幾つかの例示的な態様において、解析部238は、角膜厚解析(角膜パキメトリーマップ)を求めるように構成されてよい。例えば、解析部238は、図11に示す第3角膜前面画像351と第3角膜後面画像352とに基づいて被検眼Eの角膜厚分布データを求めることができる。そのために、解析部238は、例えば、第3角膜前面画像351(又は角膜後面画像352)上の複数の位置のそれぞれにおける接線を求める処理と、各位置の接線の法線の方向に沿って第3角膜前面画像351と第3角膜後面画像352との間の距離を求める処理と、複数の位置についてそれぞれ求められた複数の距離を当該複数の位置の配置に応じて配列してマップ化する処理とを含む。
幾つかの例示的な態様において、解析部238は、隅角パラメータを求めるように構成されてよい。隅角パラメータは、角膜と虹彩との間に位置する隅角(前房隅角)と呼ばれる部位に関するパラメータである。隅角には腺維柱帯網が存在する。隅角の角度の大きさは、房水が眼内から流出する速度を決定する要因の一つであり、したがって眼圧を決定する要因の一つである。隅角パラメータは、緑内障(特に、閉塞隅角緑内障)の診断における重要な指標として参照される。隅角パラメータの例として、AOD(angle opening distance)、ACA(anterior chamber angle)、TISA(trabecular iris space area)、ARA(angle recess area)、AtA(angle-to-angle distance)などが知られている(例えば、特許文献1~3を参照)。隅角パラメータの演算手法は公知である(例えば、特許文献1~3を参照)。典型的には、隅角パラメータの演算は、隅角の位置又は隅角近傍の所定位置を特定するための処理(例えば、セグメンテーション、特徴点検出など)と、計測処理(例えば、距離計測、比演算、角度演算など)とを含む。
解析部238は、プロセッサを含むハードウェアと、解析ソフトウェアとの協働によって実現される。
〈ユーザーインターフェイス240〉
ユーザーインターフェイス240は表示部241と操作部242とを含む。表示部241は表示装置3を含む。操作部242は各種の操作デバイスや入力デバイスを含む。ユーザーインターフェイス240は、例えばタッチパネルのような表示機能と操作機能とが一体となったデバイスを含んでいてもよい。ユーザーインターフェイス240の少なくとも一部を含まない実施形態を構築することも可能である。例えば、表示デバイスは、眼科装置に接続された外部装置であってよい。
ユーザーインターフェイス240は表示部241と操作部242とを含む。表示部241は表示装置3を含む。操作部242は各種の操作デバイスや入力デバイスを含む。ユーザーインターフェイス240は、例えばタッチパネルのような表示機能と操作機能とが一体となったデバイスを含んでいてもよい。ユーザーインターフェイス240の少なくとも一部を含まない実施形態を構築することも可能である。例えば、表示デバイスは、眼科装置に接続された外部装置であってよい。
〈眼科装置の動作〉
眼科装置1の動作について説明する。なお、患者IDの入力、前眼部OCT用アタッチメント400の測定アームへの挿入、固視標の提示、固視位置の調整、アライメント、フォーカス調整、OCT光路長調整など、従来と同様の準備的な処理は、既になされたものとする。眼科装置1の動作の一例を図14に示す。
眼科装置1の動作について説明する。なお、患者IDの入力、前眼部OCT用アタッチメント400の測定アームへの挿入、固視標の提示、固視位置の調整、アライメント、フォーカス調整、OCT光路長調整など、従来と同様の準備的な処理は、既になされたものとする。眼科装置1の動作の一例を図14に示す。
(S1:前眼部画像を取得)
まず、眼科装置1は、被検眼Eの前眼部画像を取得する。本例では、眼科装置1は、OCTスキャナ(眼底カメラユニット2内の測定アーム、OCTユニット100等)を用いて前眼部EaにOCTスキャンを適用することによって前眼部Eaからデータを収集し、画像構築部220を用いて収集データから前眼部画像を構築する。これにより、図6に示す前眼部画像300が取得されたとする。制御部210は、取得された前眼部画像(Bスキャン画像)300をデータ処理部230に送る。データ処理部230に送られた前眼部画像300は部分設定部231に入力される。
まず、眼科装置1は、被検眼Eの前眼部画像を取得する。本例では、眼科装置1は、OCTスキャナ(眼底カメラユニット2内の測定アーム、OCTユニット100等)を用いて前眼部EaにOCTスキャンを適用することによって前眼部Eaからデータを収集し、画像構築部220を用いて収集データから前眼部画像を構築する。これにより、図6に示す前眼部画像300が取得されたとする。制御部210は、取得された前眼部画像(Bスキャン画像)300をデータ処理部230に送る。データ処理部230に送られた前眼部画像300は部分設定部231に入力される。
(S2:第1部分を設定)
次に、部分設定部231は、ステップS1で取得された前眼部画像300においてAスキャンの範囲の少なくとも一部とBスキャンの範囲の一部とにより規定される部分(第1部分)を前眼部画像300に対して設定する。これにより、図7に示す第1部分310が前眼部画像300に対して設定されたとする。
次に、部分設定部231は、ステップS1で取得された前眼部画像300においてAスキャンの範囲の少なくとも一部とBスキャンの範囲の一部とにより規定される部分(第1部分)を前眼部画像300に対して設定する。これにより、図7に示す第1部分310が前眼部画像300に対して設定されたとする。
(S3:第1画像領域を特定)
次に、第1画像領域特定部232は、ステップS2で設定された前眼部画像300の第1部分310を解析することで、被検眼Eの角膜前面に相当する第1角膜前面画像311と、角膜後面に相当する第1角膜後面画像315とを特定する(図8Aを参照)。
次に、第1画像領域特定部232は、ステップS2で設定された前眼部画像300の第1部分310を解析することで、被検眼Eの角膜前面に相当する第1角膜前面画像311と、角膜後面に相当する第1角膜後面画像315とを特定する(図8Aを参照)。
(S4:第2画像領域を特定)
次に、第2画像領域特定部233は、ステップS3で特定された第1角膜前面画像311に基づいて、前眼部画像300の全体(より一般には、第1部分310を真部分集合とする第2部分)において角膜前面に相当する第2角膜前面画像331を特定する(図9を参照)。更に、第2画像領域特定部233は、ステップS3で特定された第1角膜後面画像315に基づいて、前眼部画像300の全体(より一般には、第1部分310を真部分集合とする第2部分)において角膜後面に相当する第2角膜後面画像332を特定する(図9を参照)。
次に、第2画像領域特定部233は、ステップS3で特定された第1角膜前面画像311に基づいて、前眼部画像300の全体(より一般には、第1部分310を真部分集合とする第2部分)において角膜前面に相当する第2角膜前面画像331を特定する(図9を参照)。更に、第2画像領域特定部233は、ステップS3で特定された第1角膜後面画像315に基づいて、前眼部画像300の全体(より一般には、第1部分310を真部分集合とする第2部分)において角膜後面に相当する第2角膜後面画像332を特定する(図9を参照)。
(S5:解析領域を設定)
次に、解析領域設定部234は、ステップS4で特定された第2角膜前面画像331を含む前面解析領域341を設定する(図10を参照)。更に、解析領域設定部234は、ステップS4で特定された第2角膜後面画像332を含む後面解析領域342を設定する(図10を参照)。
次に、解析領域設定部234は、ステップS4で特定された第2角膜前面画像331を含む前面解析領域341を設定する(図10を参照)。更に、解析領域設定部234は、ステップS4で特定された第2角膜後面画像332を含む後面解析領域342を設定する(図10を参照)。
(S6:第3画像領域を特定)
次に、第3画像領域特定部235は、ステップS5で設定された前面解析領域341を解析して、角膜前面に相当する第3角膜前面画像351を特定する(図11を参照)。更に、第3画像領域特定部235は、ステップS5で設定された後面解析領域352を解析して、角膜後面に相当する第3角膜後面画像352を特定する(図11を参照)。
次に、第3画像領域特定部235は、ステップS5で設定された前面解析領域341を解析して、角膜前面に相当する第3角膜前面画像351を特定する(図11を参照)。更に、第3画像領域特定部235は、ステップS5で設定された後面解析領域352を解析して、角膜後面に相当する第3角膜後面画像352を特定する(図11を参照)。
(S7:画像歪み補正を適用)
次に、歪み補正部236は、ステップS6で求められた第3角膜前面画像351に少なくとも基づいて前眼部画像300の歪みを補正する。
次に、歪み補正部236は、ステップS6で求められた第3角膜前面画像351に少なくとも基づいて前眼部画像300の歪みを補正する。
(S8:ピクセルアスペクト比補正を適用)
次に、アスペクト比補正部237は、ステップS7で歪みが補正された前眼部画像300のピクセルアスペクト比を補正する。
次に、アスペクト比補正部237は、ステップS7で歪みが補正された前眼部画像300のピクセルアスペクト比を補正する。
(S9:前眼部画像を解析)
次に、解析部238は、ステップS7の画像歪み補正とステップS8のピクセルアスペクト比補正とが施された前眼部画像300を解析して所定の前眼部パラメータを算出する。
次に、解析部238は、ステップS7の画像歪み補正とステップS8のピクセルアスペクト比補正とが施された前眼部画像300を解析して所定の前眼部パラメータを算出する。
(S10:前眼部画像と解析結果を表示)
主制御部211は、例えば、ステップS7の画像歪み補正とステップS8のピクセルアスペクト比補正とが施された前眼部画像300と、ステップS9の解析で得られたデータとを表示部241に表示させる。
主制御部211は、例えば、ステップS7の画像歪み補正とステップS8のピクセルアスペクト比補正とが施された前眼部画像300と、ステップS9の解析で得られたデータとを表示部241に表示させる。
幾つかの例示的な態様において、ステップS9で角膜厚分布データが得られた場合、主制御部211(又は、データ処理部230)は、前眼部画像300と角膜厚分布データとの間のレジストレーションを行う。主制御部211は、レジストレーションの結果に基づいて、前眼部画像300上に角膜厚分布データを表示させる。
幾つかの例示的な態様において、ステップS9で隅角パラメータが算出された場合、主制御部211は、例えば、隅角パラメータの計測位置及び計測値を前眼部画像300上に表示させる。また、主制御部211は、隅角パラメータの計測位置及び計測値を前眼部画像300の部分拡大像に重ねて表示させる。
(S11:前眼部画像と解析結果を保存)
主制御部211は、被検眼Eの前眼部画像と、ステップS9で取得された解析結果とを、例えば記憶部212及び/又は記憶装置に保存する。保存される前眼部画像は、例えば、ステップS1で取得された前眼部画像、ステップS7で歪みが補正された前眼部画像、及び、ステップS8でピクセルアスペクト比が補正された前眼部画像のうちのいずれか1つ以上であってよい。以上で、本動作例は終了である(エンド)。
主制御部211は、被検眼Eの前眼部画像と、ステップS9で取得された解析結果とを、例えば記憶部212及び/又は記憶装置に保存する。保存される前眼部画像は、例えば、ステップS1で取得された前眼部画像、ステップS7で歪みが補正された前眼部画像、及び、ステップS8でピクセルアスペクト比が補正された前眼部画像のうちのいずれか1つ以上であってよい。以上で、本動作例は終了である(エンド)。
〈変形例〉
前述した眼科装置1はOCTスキャナ及び画像構築部を備えているが、幾つかの例示的な態様の眼科装置はOCTスキャナ及び画像構築部の一方又は双方を備えていなくてよい。例えば、図15に示す眼科装置600は、OCTスキャナ及び画像構築部の双方を備えておらず、これらの代わりに画像受付部630を備えている。
前述した眼科装置1はOCTスキャナ及び画像構築部を備えているが、幾つかの例示的な態様の眼科装置はOCTスキャナ及び画像構築部の一方又は双方を備えていなくてよい。例えば、図15に示す眼科装置600は、OCTスキャナ及び画像構築部の双方を備えておらず、これらの代わりに画像受付部630を備えている。
画像受付部630は、被検眼の前眼部画像を外部から受け付ける機能を有する。幾つかの例示的な態様において、画像受付部630は、外部装置との間でデータ通信を行うための通信デバイスを含んでいてよく、被検眼の前眼部画像を外部装置から取得するように構成されていてよい。また、幾つかの例示的な態様において、画像受付部630は、記録媒体に記録されているデータを読み出すためのドライブ装置を含んでいてよく、被検眼の前眼部画像を記録媒体から取得するように構成されていてよい。
このように、前述の眼科装置1が自身でデータを収集してOCT画像を構築するものであるのに対し、本変形例の眼科装置600は、OCT画像を外部から取得するものである。本変形例の眼科装置600は、例えば、単一のコンピュータ又は2以上のコンピュータであり、典型的にはパーソナルコンピュータ又はサーバであってよい。
前述の眼科装置1と同様に、眼科装置600は、制御部610及びユーザーインターフェイス620に加え、少なくとも、第1画像領域特定部650と、第2画像領域特定部660とを含む。更に、眼科装置600は、解析領域設定部670と、第3画像領域特定部680とを含んでいてよい。加えて、眼科装置600は、部分設定部640、歪み補正部690、アスペクト比補正部700、及び解析部710のうちのいずれか1つ以上を含んでいてよい。これらの要素のそれぞれは、前述の眼科装置1における対応要素と同様の構成及び同様の機能を備えていてよい(例えば、図5を参照)。
図14を再び参照しつつ眼科装置600の動作の一例を説明する。まず、眼科装置600は、画像受付部630により、被検眼Eの前眼部画像を外部から取得する(S1)。
次に、部分設定部640は、ステップS1で取得された前眼部画像300に対して第1部分310を設定する(S2)。
次に、第1画像領域特定部650は、ステップS2で設定された前眼部画像300の第1部分310を解析することで、被検眼Eの角膜前面に相当する第1角膜前面画像311と、角膜後面に相当する第1角膜後面画像315とを特定する(S3)。
次に、第2画像領域特定部660は、ステップS3で特定された第1角膜前面画像311に基づいて、前眼部画像300の全体(より一般には、第1部分310を真部分集合とする第2部分)において角膜前面に相当する第2角膜前面画像331を特定する(S4)。更に、第2画像領域特定部660は、ステップS3で特定された第1角膜後面画像315に基づいて、前眼部画像300の全体(より一般には、第1部分310を真部分集合とする第2部分)において角膜後面に相当する第2角膜後面画像332を特定する(S4)。
次に、解析領域設定部670は、ステップS4で特定された第2角膜前面画像331を含む前面解析領域341を設定する(S5)。更に、解析領域設定部670は、ステップS4で特定された第2角膜後面画像332を含む後面解析領域342を設定する(S5)。
次に、第3画像領域特定部680は、ステップS5で設定された前面解析領域341を解析して、角膜前面に相当する第3角膜前面画像351を特定する(S6)。更に、第3画像領域特定部680は、ステップS5で設定された後面解析領域352を解析して、角膜後面に相当する第3角膜後面画像352を特定する(S6)。
次に、歪み補正部690は、ステップS6で求められた第3角膜前面画像351に少なくとも基づいて前眼部画像300の歪みを補正する(S7)。
次に、アスペクト比補正部700は、ステップS7で歪みが補正された前眼部画像300のピクセルアスペクト比を補正する(S8)。
次に、解析部710は、ステップS7の画像歪み補正とステップS8のピクセルアスペクト比補正とが施された前眼部画像300を解析して所定の前眼部パラメータを算出する(S9)。
次に、主制御部610は、例えば、ステップS7の画像歪み補正とステップS8のピクセルアスペクト比補正とが施された前眼部画像300と、ステップS9の解析で得られたデータとをユーザーインターフェイス620に表示させる(S10)。
次に、主制御部610は、被検眼Eの前眼部画像とステップS9で取得された解析結果とを記憶装置に保存する(S11)。以上で、本動作例は終了である(エンド)。
〈作用・効果〉
実施形態の幾つかの例示的な態様について、幾つかの特徴、幾つかの作用、及び幾つかの効果を説明する。
実施形態の幾つかの例示的な態様について、幾つかの特徴、幾つかの作用、及び幾つかの効果を説明する。
幾つかの例示的な態様に係る眼科装置(1;600)は、画像取得部(2,100,220;630)と、第1画像領域特定部(232;650)と、第2画像領域特定部(233;660)とを含む。画像取得部は、光コヒーレンストモグラフィ(OCT)スキャンにより被検眼の前眼部から収集されたデータに基づく前眼部画像を取得するように構成されている。第1画像領域特定部は、画像取得部により取得された前眼部画像の第1部分を解析して前眼部の所定部位に相当する第1画像領域を特定するように構成されている。第2画像領域特定部は、第1画像領域特定部により特定された第1画像領域に基づいて、当該第1部分を真部分集合とする第2部分において当該所定部位に相当する第2画像領域を特定するように構成されている。
このような眼科装置は、前眼部画像の第1部分を解析して前眼部の所定部位の像を特定し、特定された像に基づいてより広域の第2部分における当該所定部位の像を特定するように構成されている。これにより、例えばアーティファクトが含まれない(又は、アーティファクトの影響が小さい)第1部分から所定部位の像を特定し、当該所定部位の像をより広域の第2部分に拡張することができる。ここで、第2部分は、アーティファクトを含んでいてよく、又は、アーティファクトの影響が大きくてよい。したがって、アーティファクトを含む前眼部画像であっても、アーティファクトの影響を(大きく)受けることなく前眼部画像の広い範囲についてセグメンテーション(所定部位の像の特定)を行うことが可能である。このように、上記の眼科装置は、前眼部のOCT画像に対するセグメンテーションの向上に寄与する。
幾つかの例示的な態様において、眼科装置(1;600)は、解析領域設定部(234;670)と、第3画像領域特定部(235;680)とを更に含んでいてよい。解析領域設定部は、第2画像領域特定部により特定された第2画像領域を含む解析領域を設定するように構成されている。第3画像領域特定部は、解析領域設定部により設定された解析領域を解析して当該所定部位に相当する第3画像領域を特定するように構成されている。
このような構成によれば、第2画像領域特定部により第1部分から第2部分に拡張された当該所定部位の像を含む解析領域を解析することで、より高い確度、より高い精度で当該所定部位の像を求めることができる。したがって、前眼部画像の広い範囲におけるセグメンテーションの高確度化、高精度化を図ることが可能である。
幾つかの例示的な態様において、解析領域設定部は、第2画像領域の幅を所定値まで増加させて解析領域を設定するように構成されていてよい。
このような構成によれば、第2画像領域特定部により特定された当該所定部位の像の周囲(近傍)に対して更に解析を施すことで、セグメンテーションの更なる高確度化、更なる高精度化を図ることができる。
幾つかの例示的な態様において、第3画像領域特定部は、解析領域設定部により設定された解析領域にエッジ検出を適用して第3画像領域を特定するように構成されていてよい。また、幾つかの例示的な態様において、第1画像領域特定部は、前眼部画像の第1部分にエッジ検出を適用して第1画像領域を特定するように構成されていてよい。
第1画像領域特定部及び第3画像領域特定部の双方がエッジ検出を実行する場合において、第3画像領域特定部が実行するエッジ検出における勾配強度の閾値は、第1画像領域特定部が実行するエッジ検出における勾配強度の閾値未満であってよい。
このような構成によれば、例えば、アーティファクトを含まない(アーティファクトの影響が小さい)第1部分に対するエッジ検出では、明瞭なエッジを検出するように処理を行う一方で、アーティファクトを含む(アーティファクトの影響が大きい)第2部分に対するエッジ検出では、アーティファクトの影響で不明瞭になったエッジをも検出できるように処理を行うことができる。したがって、処理全体として、セグメンテーションの向上を図ることが可能である。
幾つかの例示的な態様において、第2画像領域特定部は、第1画像領域特定部により特定された第1画像領域にカーブフィッティングを適用して第2画像領域を特定するように構成されていてよい。
このような構成によれば、第1部分から第2部分への所定部位の像の拡張を好適に(例えば、容易に及び/又は円滑に)行うことが可能である。
幾つかの例示的な態様において、第2画像領域特定部は、外れ値を除外するためのロバスト推定アルゴリズムに基づくカーブフィッティングを第1画像領域に適用するように構成されていてよい。このロバスト推定アルゴリズムは、Random Sample Consensus(RANSAC)アルゴリズムを含んでいてもよい。
このような構成によれば、ノイズ等に起因する外れ値が除外された高確度のカーブフィッティングを第1画像領域に適用することが可能となり、前眼部の所定部位の形状を良好に近似した第2画像領域を得ることができる。
幾つかの例示的な態様において、OCTスキャンは、Aスキャンと、Aスキャンに直交する横スキャンとを含んでいてよい。更に、幾つかの例示的な態様に係る眼科装置は、部分設定部(231;640)を含んでいてもよい。部分設定部は、Aスキャンの範囲の少なくとも一部と横スキャンの範囲の一部とにより規定される前眼部画像の部分を第1部分として設定するように構成されている。
このような構成によれば、OCT画像中に部分的に発生する傾向があるアーティファクトを避けるように第1部分を設定することが可能になる。これにより、第1部分から所定部位の像を特定する処理を好適に行うことができ、更に、第1部分から第2部分へと所定部位の像を拡張する処理についても好適に行うことが可能となる。
幾つかの例示的な態様において、横スキャンは、Bスキャンを含んでいてよい。更に、部分設定部は、Aスキャンの範囲の少なくとも一部とBスキャンの範囲の両端部分を除いた部分とにより規定される前眼部画像の部分を第1部分として設定するように構成されていてよい。
このような構成によれば、Bスキャン画像の両端付近に発生する傾向があるアーティファクトを避けるように第1部分を設定することが可能になる。そのようなアーティファクトとして、虚像(折り返し画像)や、睫毛の像などがある。これにより、Bスキャン画像の第1部分から所定部位の像を特定する処理を好適に行うことができ、更に、第1部分から第2部分へと所定部位の像を拡張する処理についても好適に行うことが可能となる。
幾つかの例示的な態様において、部分設定部は、前眼部画像を解析して特徴点を検出し、検出された特徴点に基づいて前眼部画像の第1部分を設定するように構成されていてよい。ここで、部分設定部は、前眼部画像の全体にエッジ検出を適用して特徴点を検出するように構成されていてよい。また、部分設定部は、検出された特徴点を含むように第1部分を設定するように構成されていてよい。
このような構成によれば、画像フレーム内における特徴点(例えば角膜頂点)の位置に関わらず、その特徴点に基づいて第1部分(位置、寸法、範囲など)を設定することできる。よって、例えばアライメントずれに起因して特徴点が画像フレーム中心から外れた場合であっても、その特徴点を参照して第1部分を好適に設定することが可能である。
幾つかの例示的な態様において、部分設定部は、前眼部画像にアーティファクト検出を適用するように構成されていてよい。更に、部分設定部は、前眼部画像からアーティファクトが検出された場合、このアーティファクトを含まないように第1部分を設定するように構成されていてよい。
このような構成によれば、実際に検出されたアーティファクトを避けて第1部分を設定することができる。これにより、第1部分から所定部位の像を特定する処理を好適に行うことができ、更に、第1部分から第2部分へと所定部位の像を拡張する処理についても好適に行うことが可能となる。
前眼部の所定部位は角膜であってよい。以下、所定部位が角膜である場合におけるセグメンテーションの向上を図るために適用可能な例示的な態様について説明する。
幾つかの例示的な態様において、第1画像領域特定部は、前眼部画像の第1部分を解析して、角膜の前面に相当する第1角膜前面画像と、角膜の後面に相当する第1角膜後面画像とを特定することができる。更に、第2画像領域特定部は、第1角膜前面画像に基づいて、第2部分において角膜の前面に相当する第2角膜前面画像を特定し、第1角膜後面画像に基づいて、第2部分において角膜の後面に相当する第2角膜後面画像を特定することができる。
幾つかの例示的な態様において、解析領域設定部は、第2角膜前面画像を含む前面解析領域と、第2角膜後面画像を含む後面解析領域とを設定することができる。更に、第3画像領域特定部は、前面解析領域を解析して角膜の前面に相当する第3角膜前面画像を特定し、後面解析領域を解析して角膜の後面に相当する第3角膜後面画像を特定することができる。
幾つかの例示的な態様において、解析領域設定部は、第2角膜前面画像の幅を所定値まで増加させて前面解析領域を設定することができ、第2角膜後面画像の幅を所定値まで増加させて後面解析領域を設定することができる。
幾つかの例示的な態様において、第3画像領域特定部は、前面解析領域にエッジ検出を適用して第3角膜前面画像を特定することができ、後面解析領域にエッジ検出を適用して第3角膜後面画像を特定することができる。
幾つかの例示的な態様において、第1画像領域特定部は、前眼部画像の第1部分にエッジ検出を適用して第1角膜前面画像及び第1角膜後面画像を特定することができる。
幾つかの例示的な態様において、第3画像領域特定部が実行するエッジ検出における勾配強度の閾値を、第1画像領域特定部が実行するエッジ検出における勾配強度の閾値よりも小さくすることができる。
幾つかの例示的な態様において、第2画像領域特定部は、第1角膜前面画像にカーブフィッティングを適用して第2角膜前面画像を特定することができ、第1角膜後面画像にカーブフィッティングを適用して第2角膜後面画像を特定することができる。
幾つかの例示的な態様において、第2画像領域特定部は、外れ値を除外するためのロバスト推定アルゴリズムに基づくカーブフィッティングを第1角膜前面画像及び第1角膜後面画像のそれぞれに適用することができる。このロバスト推定アルゴリズムは、Random Sample Consensus(RANSAC)アルゴリズムを含んでいてもよい。
幾つかの例示的な態様において、OCTスキャンは、Aスキャンと、Aスキャンに直交する横スキャンとを含んでいてよい。この場合、部分設定部は、Aスキャンの範囲の少なくとも一部と横スキャンの範囲の一部とにより規定される前眼部画像の部分を第1部分として設定することができる。
幾つかの例示的な態様において、横スキャンは、Bスキャンを含んでいてよい。この場合、部分設定部は、Aスキャンの範囲の少なくとも一部とBスキャンの範囲の両端の所定領域を除いた部分とにより規定される前眼部画像の部分を第1部分として設定することができる。
幾つかの例示的な態様において、部分設定部は、前眼部画像を解析して角膜頂点に相当する位置を検出し、角膜頂点に相当する位置に基づいて前眼部画像の第1部分を設定することができる。
幾つかの例示的な態様において、部分設定部は、前眼部画像の全体にエッジ検出を適用して角膜頂点に相当する位置を検出することができる。
幾つかの例示的な態様において、部分設定部は、角膜頂点に相当する位置を含むように第1部分を設定することができる。
幾つかの例示的な態様において、部分設定部は、角膜頂点に相当する位置が横スキャンの方向における中心位置に配置されるように第1部分を設定することができる。
幾つかの例示的な態様において、部分設定部は、前眼部画像にアーティファクト検出を適用することができる。前眼部画像からアーティファクトが検出された場合、部分設定部は、このアーティファクトを含まないように第1部分を設定することができる。
幾つかの例示的な態様において、眼科装置は、第3角膜前面画像に少なくとも基づいて前眼部画像の歪みを補正する第1画像補正部(236;690)を更に含んでいてもよい。
幾つかの例示的な態様において、眼科装置は、前眼部画像のピクセルアスペクト比を補正する第2画像補正部(237;700)を更に含んでいてもよい。
幾つかの例示的な態様において、眼科装置は、前眼部画像を解析して所定の前眼部パラメータを算出する解析部(238;710)を更に含んでいてもよい。
幾つかの例示的な態様において、画像取得部は、前眼部にOCTスキャンを適用してデータを収集するデータ収集部(2,100)と、データ収集部により収集されたデータに基づいて前眼部画像を構築する画像構築部(220)とを含んでいてもよい。
幾つかの例示的な態様において、画像取得部は、前眼部画像を外部から受け付ける受付部(630)を含んでいてもよい。
幾つかの例示的な態様は、眼科装置を制御する方法を提供する。この制御方法が適用される眼科装置は、少なくともプロセッサを含む。この制御方法は、第1制御ステップと、第2制御ステップと、第3制御ステップとを含む。
第1制御ステップは、光コヒーレンストモグラフィ(OCT)スキャンにより被検眼の前眼部から収集されたデータに基づく前眼部画像を取得するように、プロセッサを制御する。第2制御ステップは、前眼部画像の第1部分を解析して前眼部の所定部位に相当する第1画像領域を特定するように、プロセッサを制御する。第3制御ステップは、第1画像領域に基づいて、第1部分を真部分集合とする第2部分において所定部位に相当する第2画像領域を特定するように、プロセッサを制御する。
このような眼科装置の制御方法に対して、例示的な態様において説明された事項のいずれかを組み合わせることが可能である。
幾つかの例示的な態様は、このような制御方法をコンピュータ(眼科装置)に実行させるプログラムを提供する。このプログラムに対して、例示的な態様において説明された事項のいずれかを組み合わせることが可能である。
このようなプログラムを記録したコンピュータ可読な非一時的記録媒体を作成することが可能である。この記録媒体に対して、例示的な態様において説明された事項のいずれかを組み合わせることが可能である。また、この非一時的記録媒体は任意の形態であってよく、その例として、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどがある。
例示的な態様に係る制御方法、プログラム、及び記録媒体は、前述した眼科装置と同様に、前眼部のOCT画像に対するセグメンテーションの向上に寄与する。また、例示的な態様に係る制御方法、プログラム、及び記録媒体は、組み合わされる事項に応じた作用及び効果を奏する。
以上に説明した構成は、この発明の実施態様の例に過ぎない。よって、この発明の要旨の範囲内における任意の変形(省略、置換、付加等)を施すことが可能である。
1 眼科装置
2 眼底カメラユニット
100 OCTユニット
220 画像構築部
230 データ処理部
231 部分設定部
232 第1画像領域特定部
233 第2画像領域特定部
234 解析領域設定部
235 第3画像領域特定部
236 歪み補正部
237 アスペクト比補正部
238 解析部
600 眼科装置
630 画像受付部
640 部分設定部
650 第1画像領域特定部
660 第2画像領域特定部
670 解析領域設定部
680 第3画像領域特定部
690 歪み補正部
700 アスペクト比補正部
710 解析部
2 眼底カメラユニット
100 OCTユニット
220 画像構築部
230 データ処理部
231 部分設定部
232 第1画像領域特定部
233 第2画像領域特定部
234 解析領域設定部
235 第3画像領域特定部
236 歪み補正部
237 アスペクト比補正部
238 解析部
600 眼科装置
630 画像受付部
640 部分設定部
650 第1画像領域特定部
660 第2画像領域特定部
670 解析領域設定部
680 第3画像領域特定部
690 歪み補正部
700 アスペクト比補正部
710 解析部
Claims (40)
- 光コヒーレンストモグラフィ(OCT)スキャンにより被検眼の前眼部から収集されたデータに基づく前眼部画像を取得する画像取得部と、
前記画像取得部により取得された前記前眼部画像の第1部分を解析して前記前眼部の所定部位に相当する第1画像領域を特定する第1画像領域特定部と、
前記第1画像領域特定部により特定された前記第1画像領域に基づいて、前記第1部分を真部分集合とする第2部分において前記所定部位に相当する第2画像領域を特定する第2画像領域特定部と
を含む、眼科装置。 - 前記第2画像領域特定部により特定された前記第2画像領域を含む解析領域を設定する解析領域設定部と、
前記解析領域設定部により設定された前記解析領域を解析して前記所定部位に相当する第3画像領域を特定する第3画像領域特定部と
を更に含む、請求項1の眼科装置。 - 前記解析領域設定部は、前記第2画像領域の幅を所定値まで増加させて前記解析領域を設定する、
請求項2の眼科装置。 - 前記第3画像領域特定部は、前記解析領域設定部により設定された前記解析領域にエッジ検出を適用して前記第3画像領域を特定する、
請求項2又は3の眼科装置。 - 前記第1画像領域特定部は、前記前眼部画像の前記第1部分にエッジ検出を適用して前記第1画像領域を特定する、
請求項4の眼科装置。 - 前記第3画像領域特定部が実行する前記エッジ検出における勾配強度の閾値は、前記第1画像領域特定部が実行する前記エッジ検出における勾配強度の閾値よりも小さい、
請求項5の眼科装置。 - 前記第2画像領域特定部は、前記第1画像領域特定部により特定された前記第1画像領域にカーブフィッティングを適用して前記第2画像領域を特定する、
請求項1~6のいずれかの眼科装置。 - 前記第2画像領域特定部は、外れ値を除外するためのロバスト推定アルゴリズムに基づくカーブフィッティングを前記第1画像領域に適用する、
請求項7の眼科装置。 - 前記ロバスト推定アルゴリズムは、Random Sample Consensus(RANSAC)アルゴリズムを含む、
請求項8の眼科装置。 - 前記OCTスキャンは、Aスキャンと、前記Aスキャンに直交する横スキャンとを含み、
前記Aスキャンの範囲の少なくとも一部と前記横スキャンの範囲の一部とにより規定される前記前眼部画像の部分を前記第1部分として設定する部分設定部を更に含む、
請求項1~9のいずれかの眼科装置。 - 前記横スキャンは、Bスキャンを含み、
前記部分設定部は、前記Aスキャンの範囲の少なくとも一部と前記Bスキャンの範囲の両端部分を除いた部分とにより規定される前記前眼部画像の部分を前記第1部分として設定する、
請求項10の眼科装置。 - 前記部分設定部は、
前記前眼部画像を解析して特徴点を検出し、
検出された前記特徴点に基づいて前記前眼部画像の前記第1部分を設定する、
請求項10又は11の眼科装置。 - 前記部分設定部は、前記前眼部画像の全体にエッジ検出を適用して前記特徴点を検出する、
請求項12の眼科装置。 - 前記部分設定部は、前記特徴点を含むように前記第1部分を設定する、
請求項12又は13の眼科装置。 - 前記部分設定部は、
前記前眼部画像にアーティファクト検出を適用し、
前記前眼部画像からアーティファクトが検出された場合、前記アーティファクトを含まないように前記第1部分を設定する、
請求項10又は11の眼科装置。 - 前記前眼部の前記所定部位は角膜である、
請求項1の眼科装置。 - 前記第1画像領域特定部は、前記前眼部画像の前記第1部分を解析して、前記角膜の前面に相当する第1角膜前面画像と、前記角膜の後面に相当する第1角膜後面画像とを特定し、
前記第2画像領域特定部は、
前記第1角膜前面画像に基づいて、前記第2部分において前記前面に相当する第2角膜前面画像を特定し、
前記第1角膜後面画像に基づいて、前記第2部分において前記後面に相当する第2角膜後面画像を特定する、
請求項16の眼科装置。 - 前記第2角膜前面画像を含む前面解析領域と、前記第2角膜後面画像を含む後面解析領域とを設定する解析領域設定部と、
前記前面解析領域を解析して前記前面に相当する第3角膜前面画像を特定し、前記後面解析領域を解析して前記後面に相当する第3角膜後面画像を特定する第3画像領域特定部と
を更に含む、請求項17の眼科装置。 - 前記解析領域設定部は、
前記第2角膜前面画像の幅を所定値まで増加させて前記前面解析領域を設定し、
前記第2角膜後面画像の幅を所定値まで増加させて前記後面解析領域を設定する、
請求項18の眼科装置。 - 前記第3画像領域特定部は、
前記前面解析領域にエッジ検出を適用して前記第3角膜前面画像を特定し、
前記後面解析領域にエッジ検出を適用して前記第3角膜後面画像を特定する、
請求項18又は19の眼科装置。 - 前記第1画像領域特定部は、前記前眼部画像の前記第1部分にエッジ検出を適用して前記第1角膜前面画像及び前記第1角膜後面画像を特定する、
請求項20の眼科装置。 - 前記第3画像領域特定部が実行する前記エッジ検出における勾配強度の閾値は、前記第1画像領域特定部が実行する前記エッジ検出における勾配強度の閾値よりも小さい、
請求項21の眼科装置。 - 前記第2画像領域特定部は、
前記第1角膜前面画像にカーブフィッティングを適用して前記第2角膜前面画像を特定し、
前記第1角膜後面画像にカーブフィッティングを適用して前記第2角膜後面画像を特定する、
請求項17~22のいずれかの眼科装置。 - 前記第2画像領域特定部は、外れ値を除外するためのロバスト推定アルゴリズムに基づくカーブフィッティングを前記第1角膜前面画像及び前記第1角膜後面画像のそれぞれに適用する、
請求項23の眼科装置。 - 前記ロバスト推定アルゴリズムは、Random Sample Consensus(RANSAC)アルゴリズムを含む、
請求項24の眼科装置。 - 前記OCTスキャンは、Aスキャンと、前記Aスキャンに直交する横スキャンとを含み、
前記Aスキャンの範囲の少なくとも一部と前記横スキャンの範囲の一部とにより規定される前記前眼部画像の部分を前記第1部分として設定する部分設定部を更に含む、
請求項17~25のいずれかの眼科装置。 - 前記横スキャンは、Bスキャンを含み、
前記部分設定部は、前記Aスキャンの範囲の少なくとも一部と前記Bスキャンの範囲の両端の所定領域を除いた部分とにより規定される前記前眼部画像の部分を前記第1部分として設定する、
請求項26の眼科装置。 - 前記部分設定部は、
前記前眼部画像を解析して角膜頂点に相当する位置を検出し、
前記角膜頂点に相当する前記位置に基づいて前記前眼部画像の前記第1部分を設定する、
請求項26又は27の眼科装置。 - 前記部分設定部は、前記前眼部画像の全体にエッジ検出を適用して前記角膜頂点に相当する前記位置を検出する、
請求項28の眼科装置。 - 前記部分設定部は、前記角膜頂点に相当する前記位置を含むように前記第1部分を設定する、
請求項28又は29の眼科装置。 - 前記部分設定部は、前記角膜頂点に相当する前記位置が前記横スキャンの方向における中心位置に配置されるように前記第1部分を設定する、
請求項30の眼科装置。 - 前記部分設定部は、
前記前眼部画像にアーティファクト検出を適用し、
前記前眼部画像からアーティファクトが検出された場合、前記アーティファクトを含まないように前記第1部分を設定する、
請求項26又は27の眼科装置。 - 前記第3角膜前面画像に少なくとも基づいて前記前眼部画像の歪みを補正する第1画像補正部を更に含む、
請求項18~22のいずれかの眼科装置。 - 前記前眼部画像のピクセルアスペクト比を補正する第2画像補正部を更に含む、
請求項33の眼科装置。 - 前記前眼部画像を解析して所定の前眼部パラメータを算出する解析部を更に含む、
請求項16~34のいずれかの眼科装置。 - 前記画像取得部は、
前記前眼部にOCTスキャンを適用してデータを収集するデータ収集部と、
前記データ収集部により収集された前記データに基づいて前記前眼部画像を構築する画像構築部と
を含む、請求項1~35のいずれかの眼科装置。 - 前記画像取得部は、前記前眼部画像を外部から受け付ける受付部を含む、
請求項1~36のいずれかの眼科装置。 - プロセッサを含む眼科装置を制御する方法であって、
前記プロセッサに、
光コヒーレンストモグラフィ(OCT)スキャンにより被検眼の前眼部から収集されたデータに基づく前眼部画像を取得させ、
前記前眼部画像の第1部分を解析させて前記前眼部の所定部位に相当する第1画像領域を特定させ、
前記第1画像領域に基づいて、前記第1部分を真部分集合とする第2部分において前記所定部位に相当する第2画像領域を特定させる、
眼科装置の制御方法。 - 前記プロセッサに、更に、
前記第2画像領域を含む解析領域を設定させ、
前記解析領域を解析させて前記所定部位に相当する第3画像領域を特定させる、
請求項38の方法。 - 請求項38又は39の方法をコンピュータに実行させるプログラムが記録されたコンピュータ可読な非一時的記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21764776.7A EP4115794A4 (en) | 2020-03-05 | 2021-01-27 | OPHTHALMIC DEVICE, ASSOCIATED CONTROL METHOD AND STORAGE MEDIUM |
US17/800,536 US20230115056A1 (en) | 2020-03-05 | 2021-01-27 | Ophthalmic apparatus, method of controlling the same, and recording medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020037418A JP7546366B2 (ja) | 2020-03-05 | 2020-03-05 | 眼科装置、その制御方法、プログラム、及び記録媒体 |
JP2020-037418 | 2020-03-05 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021176893A1 true WO2021176893A1 (ja) | 2021-09-10 |
Family
ID=77614008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/002714 WO2021176893A1 (ja) | 2020-03-05 | 2021-01-27 | 眼科装置、その制御方法、及び記録媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230115056A1 (ja) |
EP (1) | EP4115794A4 (ja) |
JP (1) | JP7546366B2 (ja) |
WO (1) | WO2021176893A1 (ja) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011147611A (ja) | 2010-01-21 | 2011-08-04 | Nidek Co Ltd | 前眼部断面画像解析方法及び前眼部断面画像解析装置 |
JP2012075640A (ja) * | 2010-09-30 | 2012-04-19 | Nidek Co Ltd | 眼科観察システム |
JP2013226383A (ja) | 2012-03-30 | 2013-11-07 | Canon Inc | 前眼部断層像解析方法及び前眼部断層像解析装置 |
JP2013248376A (ja) | 2012-05-01 | 2013-12-12 | Topcon Corp | 眼科装置 |
JP2015504740A (ja) * | 2012-01-19 | 2015-02-16 | カール ツアイス メディテック アクチエンゲゼルシャフト | 角膜のoct撮像における精度向上のためのシステムおよび方法 |
JP2015160103A (ja) | 2014-02-28 | 2015-09-07 | 株式会社トプコン | 眼科撮影装置およびこれに装着可能な光学ユニット |
JP2017158728A (ja) | 2016-03-08 | 2017-09-14 | 株式会社トプコン | 眼科装置 |
JP2017169671A (ja) * | 2016-03-22 | 2017-09-28 | 株式会社トプコン | 眼科撮影装置 |
JP2019063242A (ja) * | 2017-09-29 | 2019-04-25 | 株式会社ニデック | Oct装置、および、眼科用画像処理プログラム |
JP2019088382A (ja) * | 2017-11-13 | 2019-06-13 | キヤノン株式会社 | 画像処理装置、眼科撮影装置、画像処理方法、及びプログラム |
JP2019519859A (ja) * | 2016-06-29 | 2019-07-11 | シーイング マシーンズ リミテッド | 視線追跡を実行するシステム及び方法 |
JP2019213740A (ja) * | 2018-06-13 | 2019-12-19 | 株式会社トプコン | 眼科装置、その制御方法、プログラム、及び記録媒体 |
US20200035362A1 (en) * | 2018-07-27 | 2020-01-30 | University Of Miami | System and method for ai-based eye condition determinations |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007504562A (ja) * | 2003-09-04 | 2007-03-01 | サーノフ コーポレーション | 1つの画像から虹彩認証を行う方法および装置 |
JP6045171B2 (ja) | 2012-03-30 | 2016-12-14 | キヤノン株式会社 | 眼科システム |
JP6300443B2 (ja) * | 2013-01-31 | 2018-03-28 | キヤノン株式会社 | 光断層撮像装置およびその制御方法 |
JP6607346B2 (ja) * | 2015-06-11 | 2019-11-20 | 株式会社トーメーコーポレーション | 前眼部光干渉断層撮影装置および前眼部光干渉断層撮影方法 |
-
2020
- 2020-03-05 JP JP2020037418A patent/JP7546366B2/ja active Active
-
2021
- 2021-01-27 EP EP21764776.7A patent/EP4115794A4/en active Pending
- 2021-01-27 WO PCT/JP2021/002714 patent/WO2021176893A1/ja unknown
- 2021-01-27 US US17/800,536 patent/US20230115056A1/en active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011147611A (ja) | 2010-01-21 | 2011-08-04 | Nidek Co Ltd | 前眼部断面画像解析方法及び前眼部断面画像解析装置 |
JP2012075640A (ja) * | 2010-09-30 | 2012-04-19 | Nidek Co Ltd | 眼科観察システム |
JP2015504740A (ja) * | 2012-01-19 | 2015-02-16 | カール ツアイス メディテック アクチエンゲゼルシャフト | 角膜のoct撮像における精度向上のためのシステムおよび方法 |
JP2013226383A (ja) | 2012-03-30 | 2013-11-07 | Canon Inc | 前眼部断層像解析方法及び前眼部断層像解析装置 |
JP2013248376A (ja) | 2012-05-01 | 2013-12-12 | Topcon Corp | 眼科装置 |
JP2015160103A (ja) | 2014-02-28 | 2015-09-07 | 株式会社トプコン | 眼科撮影装置およびこれに装着可能な光学ユニット |
JP2017158728A (ja) | 2016-03-08 | 2017-09-14 | 株式会社トプコン | 眼科装置 |
JP2017169671A (ja) * | 2016-03-22 | 2017-09-28 | 株式会社トプコン | 眼科撮影装置 |
JP2019519859A (ja) * | 2016-06-29 | 2019-07-11 | シーイング マシーンズ リミテッド | 視線追跡を実行するシステム及び方法 |
JP2019063242A (ja) * | 2017-09-29 | 2019-04-25 | 株式会社ニデック | Oct装置、および、眼科用画像処理プログラム |
JP2019088382A (ja) * | 2017-11-13 | 2019-06-13 | キヤノン株式会社 | 画像処理装置、眼科撮影装置、画像処理方法、及びプログラム |
JP2019213740A (ja) * | 2018-06-13 | 2019-12-19 | 株式会社トプコン | 眼科装置、その制御方法、プログラム、及び記録媒体 |
US20200035362A1 (en) * | 2018-07-27 | 2020-01-30 | University Of Miami | System and method for ai-based eye condition determinations |
Non-Patent Citations (1)
Title |
---|
See also references of EP4115794A4 |
Also Published As
Publication number | Publication date |
---|---|
EP4115794A4 (en) | 2024-03-27 |
JP7546366B2 (ja) | 2024-09-06 |
US20230115056A1 (en) | 2023-04-13 |
JP2021137322A (ja) | 2021-09-16 |
EP4115794A1 (en) | 2023-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022040372A (ja) | 眼科装置 | |
JP7090438B2 (ja) | 眼科撮影装置、その制御方法、プログラム、及び記録媒体 | |
JP2022027879A (ja) | 眼科撮影装置、その制御方法、プログラム、及び記録媒体 | |
JP2024133106A (ja) | 眼科撮影装置 | |
WO2021153087A1 (ja) | 眼科装置、その制御方法、及び記録媒体 | |
JP7096116B2 (ja) | 血流計測装置 | |
US11311189B2 (en) | Ophthalmic imaging apparatus, controlling method thereof, ophthalmic imaging method, and recording medium | |
JP7378557B2 (ja) | 眼科撮影装置、その制御方法、プログラム、及び記録媒体 | |
WO2021153086A1 (ja) | 眼科装置、その制御方法、及び記録媒体 | |
WO2021176893A1 (ja) | 眼科装置、その制御方法、及び記録媒体 | |
JP7410481B2 (ja) | 画像処理方法、走査型イメージング方法、画像処理装置、その制御方法、走査型イメージング装置、その制御方法、プログラム、及び記録媒体 | |
JP6942627B2 (ja) | 眼科撮影装置、その制御方法、プログラム、及び記録媒体 | |
JP7050488B2 (ja) | 眼科撮影装置、その制御方法、プログラム、及び記録媒体 | |
JP7043302B2 (ja) | 眼科装置、その制御方法、プログラム、及び記録媒体 | |
JP7325675B2 (ja) | 眼科撮影装置 | |
JP2020110489A (ja) | 眼科装置、その制御方法、プログラム、及び記録媒体 | |
JP7236832B2 (ja) | 眼科撮影装置、その制御方法、プログラム、及び記録媒体 | |
WO2022085501A1 (ja) | 眼科装置、その制御方法、プログラム、及び記録媒体 | |
JP7355331B2 (ja) | 走査型イメージング装置、その制御方法、画像処理装置、その制御方法、走査型イメージング方法、画像処理方法、プログラム、及び記録媒体 | |
WO2024004455A1 (ja) | 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム | |
JP6942626B2 (ja) | 眼科撮影装置、その制御方法、プログラム、及び記録媒体 | |
JP2023040529A (ja) | 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム | |
JP2024099210A (ja) | 光コヒーレンストモグラフィ装置、その制御方法、及びプログラム | |
JP2022051943A (ja) | 眼科装置、その制御方法、プログラム、及び記録媒体 | |
JP2023066499A (ja) | 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21764776 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2021764776 Country of ref document: EP Effective date: 20221005 |