WO2023161272A1 - Verfahren und vorrichtung zur biometrischen analyse eines menschlichen auges - Google Patents

Verfahren und vorrichtung zur biometrischen analyse eines menschlichen auges Download PDF

Info

Publication number
WO2023161272A1
WO2023161272A1 PCT/EP2023/054412 EP2023054412W WO2023161272A1 WO 2023161272 A1 WO2023161272 A1 WO 2023161272A1 EP 2023054412 W EP2023054412 W EP 2023054412W WO 2023161272 A1 WO2023161272 A1 WO 2023161272A1
Authority
WO
WIPO (PCT)
Prior art keywords
eye
image data
computer
lens
pixel
Prior art date
Application number
PCT/EP2023/054412
Other languages
English (en)
French (fr)
Inventor
Martin VOLKWARDT
Wei-Jun Chen
Alexander Freytag
Ghazal GHAZAEI
Narmin GHAFFARI LALEH
Original Assignee
Carl Zeiss Meditec Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Meditec Ag filed Critical Carl Zeiss Meditec Ag
Publication of WO2023161272A1 publication Critical patent/WO2023161272A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present disclosure relates to a computer-implemented method for the biometric analysis of an eye based on image data recorded by means of an optical coherence tomography of an eye, and a device for data processing, comprising means for carrying out the method.
  • a computer program or computer program product comprising instructions which, when the program is executed by a computer, cause the latter to execute the method.
  • a computer-readable medium comprising instructions which, when executed by a computer, cause the computer to carry out the method.
  • a training data set can be provided, with which an algorithm based on artificial intelligence can be or is trained in such a way that it segments the image data according to the method after the training.
  • a segmentation model can be provided, which can be or is trained in such a way that it segments the image data according to the method after the training.
  • cataracts and clouding of the lens the lens of a human eye is clouded, with the progressive duration of the finding, assuming a symptomatic course, increasing clouding and an associated loss of visual acuity and sensitivity to glare in the affected eye.
  • surgical treatment of the affected eye may be indicated.
  • cataract surgery the lens of the affected eye is regularly removed, for example after performing a so-called cataract incision, and replaced with an artificial lens, optionally an intraocular lens (IOL).
  • IOL intraocular lens
  • the affected eye is measured and the biometric data obtained through the measurement are analyzed. This means that the affected eye is conventionally measured before or preoperatively and after or postoperatively.
  • Biometric parameters of the eye to be operated on such as an axial length of the eye, a central corneal thickness, a depth of an anterior chamber of the eye and/or a lens thickness, are determined in order to use the biometric parameters determined to determine a suitable or suitable eye for the respective eye.
  • select a suitable intraocular lens optionally with regard to its refractive properties.
  • IOL position, IOL tilting, and/or posterior capsular opacification is determined inter alia as part of the postoperative assessment.
  • OCT-B imaging is widely used (e.g. using time-domain OCT system, spectrum-domain OCT system/ spectrum domain OCT system or a swept source OCT system).
  • OCT optical coherence tomography
  • a structure of the eye can initially be resolved one-dimensionally in the axial direction or along a measurement axis.
  • A-scan i.e.
  • the measuring axis can be shifted, for example using a mirror system and performing an A-scan along each of the plurality of measurement axes.
  • measurements can be carried out along measurement axes that run obliquely or angled, optionally perpendicularly, to the measurement axes of the B-scan in order to obtain a three-dimensional image of the eye, ie a so-called C-scan.
  • C-scan a so-called C-scan.
  • correct and robust segmentation of the surfaces of the anatomical structure of the eye in the OCT scan, optionally in the OCT-B-scan is required.
  • the cornea, the lens and the retina can be distinguished from a complete OCT scan of the eye based on their spatial position, a sufficiently precise determination of their respective spatial boundaries or interfaces is challenging.
  • the challenges in the biometric OCT-B-scan segmentation are optionally due to the large variability of the measurement data, which is inter alia due to physiological differences (e.g. different shape and/or size of the eye, different lens types (phakic or pseudophakic IOL) and/ or floaters in the vitreous), pathologies (e.g. cataract, keratoconus and/or macular degeneration), different signal characteristics (i.e. a wide range of signal intensities due to different light reflection, scattering and/or absorption of the ocular tissue), measurement of the same eye under different conditions (e.g. regarding pupil size, examination time, evaluation before/after the operation) and/or noise or other disturbances (e.g. eye movements) occur.
  • physiological differences e.g. different shape and/or size of the eye, different lens types (phakic or pseudophakic IOL) and/ or floaters in the vitreous
  • pathologies e.g. cataract, keratoconus and/or macular degeneration
  • segmentation algorithms are conventionally used to analyze OCT-B scans.
  • Traditional segmentation algorithms for OCT-B scans mostly rely on step-by-step image processing, first performing feature extraction (also known as transformation) and then semantic segmentation (also known as filtering).
  • feature extraction raw data is input pixel by pixel and transformed into a specially defined feature space (e.g. frequency domain, wavelet pyramid, Gabor coefficient space, gradient space, etc.).
  • Semantic segmentation filters out irrelevant content from the feature space and highlights predefined object content, such as strong edges, peak distribution, minimum or maximum entropy, etc.
  • the image processing algorithms that perform these two steps are becoming common developed on the basis of existing expertise.
  • the gradient of the pixels is often calculated as a key feature, since OCT imaging interferes two-armed on the layered structure of the human eye, and further differentiation of individual surfaces from a gradient map is often based on the anatomical knowledge of the human Eye.
  • Two-armed means that a sample beam (from a measuring arm) and a reference beam (from a reference arm) interfere with beam path differences.
  • the interference here is high when the measuring beam passes from one optical medium into another optical medium due to different refractive indices.
  • the reconstruction (OCT-B-Scan) of the interference signal shows strong intensity signals in these areas.
  • the gradient at the boundary surfaces of the respective optical media in the eye is particularly large and is therefore generally suitable as a key feature for segmentation.
  • a phakic lens or a pseudophakic lens is located between the cornea and the retina, with the cornea regularly having two surfaces which are usually 400-500 ⁇ m apart along the visual axis.
  • OCT segmentation ie both retinal OCT-B scans and biometrics OCT-B scans.
  • US Pat. No. 10,123,689 B2 describes a method for editing a retinal layer boundary segmentation, comprising receiving a set of structural OCT-B scans and segmenting the retinal layer boundaries of the structural OCT-B scans.
  • the segmenting comprises receiving a set of relative retinal layer thickness data; enhancing intensity transition in the structural OCT B-scan images; selecting a first B-scan image from the set of structural OCT B-scans; selecting a first retinal layer boundary in the first B-scan image; applying a directional graph search to the first retinal layer boundary, thereby creating a first segmented retinal layer boundary; selecting a second retinal layer boundary on the first B-scan image; constraining a search region of the second retinal layer boundary using the first segmented retinal layer boundary and relative retinal layer thickness data set; and applying a directional graph search to the second retinal layer boundary; thereby creating a second segmented retinal layer boundary to thereby create a set of segmented retinal layer boundaries
  • the method further includes examining the set of segmented retinal layer boundaries; selecting a segmented retinal layer boundary in a B-scan; editing the segmented retinal layer boundary in a B-scan using a smart scissors tool based on directed graph search, or a portion thereof, thereby creating a new retinal layer boundary segmentation; and a propagation of the new retinal layer boundary segmentation to adjacent structural OCT B-scans.
  • Algorithm design is also often guided by expertise derived from academic statistics about people's health or from clinical experience with a variety of sick patients. Therefore, such conventional, classical algorithms usually reach their limits in segmentation in a healthy eye with unusual properties or in a diseased eye with unforeseeable diseases/disorders. The same applies to borderline cases where, for example, two objects that are close to each other in an OCT scan or even border each other, such as floaters in the vitreous and/or the capsular bag directly in front of and/or behind a phakic lens or IOL. Since the implementation of feature extraction and segmentation techniques must also be adapted to each application, conventional, classic image processing involves a high level of technical effort and cannot be easily transferred to the next application with different application conditions and prior knowledge.
  • deep learning techniques aim to realize both steps, i.e. feature extraction and semantic segmentation, in a single algorithm whose parameters are all jointly estimated or calculated by optimizing an (optionally single) loss function .to be learned.
  • deep learning algorithms are artificial neural networks (ANN), optionally convolutional neural networks (CNN), and, possibly in combination with convolutional neural networks or alternatively, transformers
  • ANN artificial neural networks
  • CNN convolutional neural networks
  • transformers transformers
  • expertise is often explicitly incorporated into the algorithm and step-by-step algorithmic analysis.
  • machine learning optionally deep-learning algorithms
  • the expertise is mainly implicitly taken into account by marked or labeled training data (also known as supervised machine learning).
  • the training data can have data sets that each have raw data (e.g.
  • the trained neural network can then be applied to unknown data (e.g. OCT-B scans of previously unknown patients).
  • the segmentation of medical image data is a central problem in medical image analysis.
  • the segmentation is for the computer-aided medical Diagnostics and therapy are of particular importance, as they form the basis for further analysis, measurement and 3D visualization of medical image objects.
  • Segmentation designates a method for generating content-related regions by combining neighboring pixels or voxels according to a specific homogeneity criterion.
  • a so-called segmentation map is output as a result of the segmentation, in which (assuming binary segmentation is involved) the pixels of the segmented image data are assigned to a foreground or a background.
  • US Pat. No. 10,198,832 B2 describes segmentation and subsequent classification of OCT scans using neural networks for tissue classification and disease screening.
  • the method described in US Pat. No. 10,198,832 B2 is particularly advantageous for tissue classification in which several adjacent tissue layers in the human retina are to be distinguished, since pixel-by-pixel segmentation may not be sufficient here to differentiate between the tissue layers.
  • the different types of tissue in the eye are segmented from one another in a segmentation map, i.e. the pixels of the image data are assigned to different types of tissue.
  • US Pat. No. 10,198,832 B2 does not provide a method by which boundary surfaces of eye structures and/or an IOL, which are optionally spaced apart along the eye axis, in OCT-B scans for biometric applications, such as the preoperative and/or postoperative analysis of an eye described above in cataract operations, can be segmented.
  • an object of the present disclosure can be seen as specifying a device and a method which are each suitable for overcoming at least one of the above-mentioned disadvantages of the prior art.
  • a robust and precise extraction of Position parameters of interfaces of spatially separated eye surfaces (e.g. cornea, lens and/or retina) and/or an IOL from an OCT-B scan of the eye are made possible.
  • the task is solved by a computer-implemented method for the biometric analysis of an (optionally human) eye based on image data recorded by means of an optical coherence tomography.
  • Biometrics is a science that deals with measurements on living beings and the measurement and evaluation methods required for this.
  • the present disclosure can be settled in this technical field. More specifically, the present disclosure relates to a method for analyzing image data or measurement data that was or is obtained from a human eye by means of an optical measurement method, more precisely optical coherence tomography.
  • Computer-implemented means that at least one, optionally all, of the steps of the method is carried out by a data processing system or a computer.
  • the method includes creating a probability map based on the image data using an algorithm based on artificial intelligence, the probability map for pixels of the image data each having a probability value for whether the respective pixel can be assigned to a boundary surface of an eye structure.
  • the segmentation targets ie the interfaces of the eye structures, are spatially (far) apart and arranged along the measurement axis as follows: cornea, lens, retina or retina.
  • the eye structure or structures are a lens, optionally a natural lens and/or an artificial lens, and a cornea and/or a retina of the eye.
  • a posterior boundary surface and/or an anterior boundary surface of the cornea and/or the endogenous lens and/or an anterior boundary surface of the retina is segmented. This can optionally be done preoperatively.
  • a posterior boundary surface and/or an anterior boundary surface of the cornea and/or the artificial lens and/or an anterior boundary surface of the retina is segmented. This can optionally be done postoperatively.
  • the artificial lens can be an aphakic intraocular lens (IOL).
  • the aphakic IOL is implanted after removal of the natural lens (aphakia), for example as part of a cataract operation.
  • An intraocular lens is made up of a central optical lens and a peripheral adjoining haptic that fixes the central optical lens in the eye.
  • the present method is intended to segment a posterior interface and/or an anterior interface of the IOL.
  • a phakic IOL can also be used, which is used in addition to the natural lens.
  • a posterior interface and/or an anterior interface of the phakic IOL and/or a posterior interface and/or an anterior interface of the body's own or natural lens can then be segmented using the method.
  • the algorithm according to the disclosure can be extended to more than five interfaces and thus overcome this disadvantage.
  • the transition from one eye structure to the adjacent eye structure or to the environment can be understood as the boundary surface. In the case of the cornea, this can be the transition to the eye chamber posteriorly and the transition to the environment anteriorly, since the cornea limits the eye to the outside.
  • the natural lens or aphakic IOL may be posterior to the vitreous and anterior to the chamber (for the phakic IOL, this may be posterior and anterior to the chamber).
  • this can be the anterior transition to the vitreous body.
  • the interface of the retina can optionally be the interface of the retinal pigment epithelium, ie its transition to the vitreous body. It is assumed that the eye has a structure in which the chamber of the eye is located between the cornea and the vitreous body. The retina is located adjacent to the vitreous body.
  • the two boundary surfaces of the cornea are thus arranged anteroposteriorly, followed by the two boundary surfaces of the lens, followed in turn by the boundary surface of the retina.
  • the image data recorded using optical coherence tomography can be scanned using an (optionally single) OCT biometric scan along an entire axial length of the eye, comprising the cornea, the lens and the retina, or along a part of the entire axial length of the eye, comprising the lens and the cornea and/or the retina.
  • an OCT biometric scan or OCT image data can be used for the method, which was/were recorded by means of optical coherence tomography (described above) essentially along an entire axial length of an (optionally human) eye .
  • the total axial length can be understood as a distance starting from the cornea via the lens and the vitreous body to the retina.
  • an OCT biometric scan is used that was recorded exclusively or only along a part of the entire ascent length of the eye, for example only along the part that affects an anterior chamber of the eye, ie comprising the lens and the cornea, or the back of the eye, ie comprising the lens and the retina.
  • biometrics in which ocular structures that are comparatively far apart are recognized and optionally their distances to one another are measured, must be distinguished from the application of diagnostics, in which tissue layers that are very close together are to be recognized or segmented .
  • OCT biometric scans Apart from these differences in the dimensions of OCT biometric scans versus OCT diagnostic scans, which means that the former contain significantly more background in the OCT image data, another difference between the two scans is that with OCT - Biometric scans usually also the lens should be recognized, which differs in its appearance in the OCT image data from other tissue layers, such as the retina and the cornea.
  • a model based on artificial intelligence is therefore fundamentally faced with different challenges when analyzing OCT biometric scans than when analyzing OCT diagnostic scans.
  • the method is therefore not intended to differentiate structures that are close to one another or that border one another by segmentation, but rather the boundaries (optionally anterior and posterior, but possibly also laterally) of the individual eye structures are determined as correctly or sufficiently correctly.
  • Image data can be used for the method that were recorded by means of optical coherence tomography (described above) essentially along the entire axial length of a human eye or become.
  • the total axial length can be understood as a distance starting from the cornea via the lens and the vitreous body to the retina.
  • the image data can be an OCT-A scan (one-dimensional), an OCT-B scan (two-dimensional) and/or an OCT-C scan (three-dimensional), as described above.
  • An algorithm based on artificial intelligence can be understood to be an algorithm that defines an artificial system that has learned relationships from examples or based on training data during a learning phase and can generalize them after the learning phase has ended (so-called machine learning).
  • the algorithm may include a statistical model based on training data. This means that in the case of the machine learning described above, the examples from the training data are not learned by heart, but patterns and regularities are recognized in the learning or training data.
  • the algorithm can also evaluate unknown image data (so-called learning transfer or generalization).
  • the algorithm based on artificial intelligence can have at least one artificial neural network.
  • An artificial neural network can be based on multiple interconnected units or nodes called artificial neurons.
  • a connection between the neurons can transmit information (sometimes also referred to as a signal) to one or more other neurons.
  • An artificial neuron receives input information, processes the input information and can then output output information based on the processing of the input information to the neuron or neurons connected to it.
  • the input and output information can be a real number, with the output information of the respective neuron being able to be calculated by an optionally non-linear function as the sum of its input information.
  • the connections can also be referred to as edges. Neurons and edges usually have a weighting that is adjusted in the course of the learning process or a training method using a loss function to be optimized.
  • Neurons can have a threshold so that output information is only sent if the output information exceeds this threshold.
  • Neurons can be grouped in layers. Different layers can do different transformations on their inputs. Information may be sent from a first layer (the input layer) to a last layer (the output layer), possibly via intermediate layers, possibly after passing through one or more of the layers multiple times. More precisely, the neurons can be arranged in several layers, where neurons of one layer can, optionally only, be connected to neurons of the immediately preceding and the immediately following layer. The layer that receives external data is the input layer. The layer that produces the end result is the output layer. There can be zero or more hidden layers in between. A single layer mesh can also be used. Multiple connection patterns are possible between two layers.
  • the two layers can be fully connected, ie any neuron in one of the layers can be connected to any neuron in the next layer.
  • the layers can also be connected by "pooling", ie a group of neurons in one layer connects to a single neuron in the next layer, thereby reducing the number of neurons in the next layer.
  • Networks that only have such connections between the layers form a directed acyclic graph and are referred to as feedforward networks.
  • networks that allow connections between neurons in the same or previous layers are referred to as recurrent networks
  • the artificial neural network has or consists of a convolutional neural network (CNN).
  • CNN convolutional neural network
  • the structure of a convolutional neural network has one or more convolutional layers, optionally followed by a pooling layer. In principle, this unit can be repeated any number of times, with sufficient repetitions one speaks of deep convolutional neural networks, which fall into the area of deep learning.
  • a convolutional layer can also be called a filter.
  • the input data in the present case the image data
  • the input data is available as a two-dimensional or three-dimensional matrix (two-dimensional for a grayscale image or three-dimensional for a color image, optionally RGB). Accordingly, the neurons are arranged in the convolutional layer.
  • each neuron is calculated via a discrete convolution.
  • a (comparatively small) convolution matrix (filter kernel) is moved step by step over the image data or input data.
  • the output of a neuron in the convolutional layer is calculated as the inner product of the filter kernel with the currently underlying image section. Accordingly, neighboring neurons in the convolutional layer react to overlapping areas (local surroundings in images or the image data).
  • the values of the kernel can be learned in the learning process described above using the loss function to be optimized. In the next step, pooling, information can be discarded.
  • a form of pooling that can be used here is the so-called max pooling, whereby from each 2 x 2 square (other square sizes are also conceivable) of neurons in the convolutional layer, only the activity of the most active (hence "Max” ) neurons is retained for further calculation steps; the activity of the remaining neurons is discarded.
  • the aim of pooling is to discard less relevant information.
  • Deviations from the classic structure of the U-net are therefore also conceivable.
  • the U-net is only one specific implementation option for the algorithm based on artificial intelligence, and the use of other/additional models is conceivable in addition or as an alternative.
  • These additional models can be, for example, the following architectures: - which are based on attention blocks and transformers (see e.g
  • the algorithm based on artificial intelligence has several (segmentation) models, each based on different conditions (e.g. for phakic, aphakic and/or pseudophakic (IOL) eyes and possibly different types of (severe) cataracts with peripheral , nuclear and/or posterior subcapsular opacity (which often cannot be correctly segmented by 'standard' segmentation models trained only on standard eyes and IOL types)) of the eye to be analysed/measured.
  • the method can thereby first determining the eye condition and then selecting the corresponding segmentation model based on the determined eye condition.
  • the algorithm based on artificial intelligence uses several (segmentation) models for different IOL types (e.g.
  • Phakic IOL and piggyback IOL are rare borderline cases where two lenses must be segmented instead of one (ie phakic IOL and autologous lens or piggyback IOL + conventional IOL). With phakic IOLs and piggyback IOLs, it is likely that standard segmentation models that have been trained cannot properly segment the body's lens or conventional IOL. In this case, the method can firstly have a determination of the IOL type and then a selection of the corresponding segmentation model based on the determined IOL type.
  • Some B-scans may be noisy or the model is uncertain about the exact region of segmentation. Therefore, the method is not limited to the use of a (single) OCT scan. Rather, it is also conceivable that image data from multiple OCT scans (optionally multiple OCT-B scans) are used. By using multiple, optionally adjacent, OCT-B scans and feeding them into the segmentation model, which learns from the average segmentation map data, a more robust segmentation can be achieved. In principle, it is conceivable that only a selection of OCT-B scans is made based on predetermined criteria (e.g.
  • the previously mentioned 2D algorithms can be extended to the processing of 3D data.
  • 2D convolutions can be replaced by 3D convolutions, 2D max pooling by 3D max pooling, etc.
  • the VNet according to Milletari, Fausto et. al. used as a segmentation model (Milletari, Fausto, Nassir Navab, and Seyed-Ahmad Ahmadi. "V-net: Fully convolutional neural networks for volumetric medical image segmentation.” 2016 fourth international conference on 3D vision (3DV). IEEE, 2016).
  • the probability map which can be output from the above models, can also be referred to as a segmentation map after their discretization. It is conceivable that the probability map has a probability value for each pixel of the image data as to whether the respective pixel is to be assigned to a boundary surface of an eye structure.
  • the algorithm based on artificial intelligence can receive the image data of the OCT scan (e.g. OCT-B scans) as input data and outputs a data set as output data that specifies a probability value for each of the pixels contained in the image data as to whether the pixel belongs to an interface of an eye structure to be identified. It is also conceivable that one probability map is issued for each class, i.e. with a binary analysis for foreground and background.
  • these two probability maps can represent the affiliation of the relevant pixel to the foreground or background class.
  • the (one) segmentation map can be obtained from the two probability maps, which has the value 0 or 1 per pixel.
  • a plausibility of the segmented interfaces can be based on previous knowledge/specialist knowledge (e.g. knowledge about distances between individual surfaces of the eye structures, such as that the central corneal thickness about 500 microns and/or the thickness of an IOL is typically 1 millimeter or less, and/or, for example, a knowledge of empirical correlations of different distances/size ratios of the eye, such as that a thickness of a crystalline lens is strongly related to the anterior chamber depth and the axial length of the eye correlates/connects) can be determined. It is conceivable that the method has a pixel-by-pixel comparison of the probability values with a limit value and an assignment of the pixels to the interface of the eye structure, the probability value of which exceeds the limit value.
  • each of the pixels is assigned either a 1 if the pixel belongs to the interface of the eye structure to be identified (i.e. has a probability value that exceeds the threshold) or a 0 if the pixel does not belong to the interface to be identified interface of the eye structure (i.e. has a probability value that falls below the threshold value).
  • the reverse is also conceivable.
  • This can also be referred to as binary segmentation, where each pixel is assigned to either the foreground (i.e. the eye structure interface to be identified) or the background (all other pixels not belonging to the eye structure interface to be identified) (or vice versa). ).
  • the probability vectors are usually assigned to classes using the arg-max operator, ie each pixel is assigned to the class with the largest predicted probability value. With two classes, this can be equivalent to a threshold/cutoff of 0.5 for the probability value. But others can too Threshold methods are applied, eg by selecting a suitable one
  • the method may include determining positional data of the pixels associated with the interface of the eye structure and determining a curve based on the positional data, the curve indicating a location of the interface of the eye structure.
  • This is also known as polynomial curve fitting.
  • Curve fitting also known as fitting, is a technique used to try to best fit a given mathematical model function to data points, in this case the position data of the pixels that are to be assigned to the interface of the respective eye structure. It is conceivable that the curve has one or more polynomials (so-called spline) and runs through one or more or all and/or between one or more or all of the pixels that are to be assigned to the interface.
  • a parabola (2nd order) is used for the anterior interfaces (i.e. the cornea and the lens) and a straight line (1st order) for the interface of the retina.
  • the position data have a lateral and an anterior or posterior component (ie are two-dimensional). That is, a position and curvature of the cornea and lens surfaces or the IOL surfaces and/or the retinal pigment epithelium (RPE) can/can be extracted in a post-processing step from the pixel predictions/the (optionally discretized) probability map using the determined curve(s). become.
  • the method is based on determining a position and/or a curvature of the corneal surface(s)/interface(s) of the cornea, the lens surface(s)/interface(s) of the lens and/or the interface of the retinal pigment epithelium of the specific curve or curves.
  • the method can include determining analysis image data by superimposing the curve determined on the basis of the image data recorded by means of optical coherence tomography, so that the position of the interface of the eye structure in the form of the curve determined (as a marking) is in the analysis Image data is included. It is optionally conceivable that these superimposed (analysis) image data are output, for example by means of a display device or a display. This can also be referred to as visualization. It is conceivable that at least one length, for example at least one distance between the boundary surfaces of the eye structures and/or a width of at least one eye structure, is determined based on a position of the boundary surfaces determined. This length can also be part of the visualization. This means that it is additionally or alternatively conceivable for the method to include determining a length (along the axis of the eye) between some or all of the boundary surfaces determined.
  • the method can include determining analysis image data by superimposing the determined length on the image data recorded using optical coherence tomography, so that the length (as a marking) is contained in the analysis image data.
  • the method described above offers advantages compared to conventional image processing methods in terms of accuracy of results of the method, robustness, scalability and transferability together with a low implementation outlay. This is explained in more detail below.
  • the ML-based approach demonstrated an essentially 100% success rate in detecting IOL surfaces with low signal intensities.
  • the ML based approach did not confuse the surfaces with high signal intensity and OCT detection errors.
  • Transferability and lower implementation effort The ML-based approach can be transferred comparatively well from one OCT scanner to other or further developed OCT scanners by retraining or adapting the segmentation model already used and not reprogramming it. This significantly reduces iteration cycles for product improvements.
  • a computer-implemented method includes training the above-described algorithm based on artificial intelligence.
  • What is described above with reference to the computer-implemented method for biometric analysis of the human eye also applies analogously to the computer-implemented method for training the algorithm based on artificial intelligence, the latter also being referred to as a computer-implemented training method.
  • the disclosure also relates to a computer-implemented method that includes both the steps of the training method, optionally as first steps, and the steps of the computer-implemented method for biometric analysis of the human eye, optionally as second steps or steps that follow the training method.
  • the artificial neural network described above is trained or learned by means of at least partially supervised learning or semi-supervised learning.
  • supervised learning input data is mapped to output data. This is done on the Basis of input-output pairs, the so-called training data.
  • supervised learning a difference is found between input data and output data, and this difference leads to an adjustment of the neural network with the aim of minimizing the difference.
  • a so-called loss function is optimized, ie minimized.
  • the loss function can be an (optionally inverted) logarithmic function (since such logarithmic functions penalize large deviations from actual to target more than small deviations).
  • the training may include adjusting model parameters of the artificial intelligence-based algorithm by optimizing pixel-wise loss functions.
  • a loss or merit function quantifies the differences or deviations between the output of the network (so-called prediction) and the desired output (so-called ground truth).
  • Standard loss functions for semantic segmentation are cross-entropy (CE), dice (coefficient) loss, and focal loss.
  • An optimization function takes as input an output of the loss function, called the loss value, and iteratively adjusts the model parameters during the training process based on the loss value so that the loss value decreases as the training progresses.
  • Common optimization functions include standard Stochastic Gradient Descent (SGD), SGD with Momentum, and Adam.
  • loss functions described above are basically suitable for every segmentation task and do not explicitly take into account specialist knowledge about or boundary conditions specific to the present case, such as an expected shape of objects or eye structures whose boundary surfaces are to be identified, an illumination process and/or a number of the eye structures and/or interfaces to be identified. Loss functions specially adapted to the application at hand can contain or take these application restrictions into account (e.g.
  • a rear corneal surface should be located to the right of the anterior corneal surface in the image data; that for normal and small pupils, lens interfaces should be located in the central part and not in the top and bottom parts of the B-scan, since the iris is located in these areas; that intensity values and axial intensity gradients for foreground regions should show little variation, at least for cornea and IOL; and/or that the corneal surfaces or the anterior and posterior corneal interfaces are nearly parallel and convex (larger deviations can occur in corneal diseases such as keratoconus); and/or in phakic (IOL) eyes, the anterior lens surface/interface is typically convex and the posterior lens surface/interface is typically concave and typically has a steeper radius of curvature than the anterior lens surface/interface).
  • OCT recordings are made or also camera images of the eye that are recorded with a different hardware lighting concept.
  • different wavelengths can also be called different OCT systems with which OCT recordings are realized.
  • This can be taken into account in the loss function.
  • Knowledge about the appearance of certain tissues in OCT recordings can also be taken into account, ie how they react to the OCT imaging or illumination. For example, the cornea and IOL should only vary slightly in their pixel intensities.
  • Such application knowledge can be explicitly taken into account in the loss function (e.g. by predicting class boundaries only in regions with strong variations, and penalizing them in regions with low intensity variation).
  • Loss functions adapted to the present application can also take into account other biometric parameters of the human eye for the comparison of prediction and annotation, such as an axial length of the human eye, an anterior chamber depth, a thickness of the middle of the cornea, an IOL thickness, a corneal curvature, etc.) . Additionally or alternatively, it may be considered that the ocular structure includes spatially separated anterior and posterior borders of the cornea, anterior and posterior borders of the phakic lens, anterior and posterior borders of the pseudophakic lens, and a single retinal layer.
  • training data can be used comprehensively, optionally pixel-by-pixel, labeled image data that is scanned by means of optical coherence tomography along an entire axial length of the eye, including the cornea (1), the lens (2) and the retina (3). , or along part of the entire axial length of the eye, comprising the lens (2) and the cornea (1) and/or the retina (3) were recorded.
  • the images or image data of the training data can be slightly randomly varied in order to artificially enlarge the available training data. This variation is also referred to as augmentation. Common methods for doing this include random contrast variation, intensity variation, slight random cropping, slight random rotation.
  • the pixels that are to be assigned to the interface of the eye structure can be labeled as such.
  • semi-supervised learning techniques can be applied, in which learning is carried out using annotated/labeled and unlabeled images, e.g. B. by forcing consistent predictions for the original image and a slightly transformed image (e.g., slightly cropped). Consequently, a number of labeled and, if necessary, a comparatively large number of unlabeled images can be used for the training in order to significantly increase the overall training data set. It is conceivable that the training data is at least partially labeled manually.
  • the training data is obtained from image data that is first segmented using an existing/conventional segmentation algorithm and that this pre-segmented image data is (optionally manually) relabeled, ie the segmentation suggestion of the existing segmentation algorithm is checked and corrected if necessary. Only those segmented image data that were incorrectly segmented by the conventional segmentation algorithm need to be labeled manually. This corrected segmented image data can be included in the training process as training data, as a result of which the segmentation model can be improved iteratively and the probability of incorrect segmentation using the segmentation model is therefore minimized.
  • the aim is to identify spatially separated eye structures within an OCT B-scan of the entire eye in biometric applications with OCT image segmentation using artificial intelligence or machine learning, optionally using deep learning methods.
  • model parameters of a model by optimizing pixel-by-pixel loss functions (e.g. binary cross-entropy).
  • the trained model can be applied to new/other OCT-B scans to use the model to predict, for each pixel of the OCT-B scan, a probability that that pixel belongs to a surface of the anatomical eye structures to be identified.
  • the predicted or determined probability map can be discretized using a certain threshold (e.g. 0.5) to identify the surface pixels of the eye structures (i.e. the pixels with a high probability).
  • a certain threshold e.g. 0.5
  • Polynomials e.g. parabolas
  • Polynomials can be fitted to the result of the discrete prediction in order to describe the finally identified surface for the calculation of the biometric parameters.
  • There may be multiple candidate polynomials for each of the respective surfaces e.g. multiple candidates for the posterior lens surface. Since an OCT measurement of the eye can have multiple individual B-scans (e.g. 18 B-scans, 3 times 6 meridians/orientations), the most plausible surface polynomials can be selected by ensuring that the results are consistent across all individual B-scans are consistent, including checking for anatomically plausible lengths and thicknesses where appropriate.
  • a device for data processing comprising means for executing one or both of the methods described above.
  • the device can be or comprise a computing device, optionally a computer, which can be part of a device designed to record image data of a human eye by means of optical coherence tomography.
  • the disclosure also relates, either in combination with or independently of the methods and the device described above, to a training data set for training a computer based on artificial intelligence Algorithm designed to create a probability map based on the image data for the biometric analysis of a human eye based on image data recorded by means of optical coherence tomography, the probability map for pixels of the image data each having a probability value for whether the respective Pixel of an interface of an eye structure is assigned.
  • the disclosure also relates, either in combination with or independently of the methods described above and the training data set and the device described above, to a segmentation model having an artificial neural network, the segmentation model being designed with the aid of the artificial neural network in order to biometric analysis of a human eye based on image data recorded by means of optical coherence tomography, to create a probability map based on the image data, the probability map for pixels of the image data each having a probability value for whether the respective pixel can be assigned to an interface of an eye structure.
  • the disclosure also relates, either in combination with or independently of the above-described methods and the above-described training data set and the device and the segmentation model, to a computer program or a computer program product, comprising instructions that are used when the program is executed by a computer cause the latter to create a probability map based on the image data for the biometric analysis of a human eye based on image data recorded by means of optical coherence tomography, the probability map for pixels of the image data each having a probability value for whether the respective pixel of an interface of a eye structure is assigned
  • the disclosure also relates, either in combination with or independently of the methods and methods described above Training data set and the device and the segmentation model and the computer program, on a computer-readable medium, comprising instructions which, when the program is executed by a computer, cause it to biometrically analyze a human eye based on image data recorded by means of optical coherence tomography, a Creating a probability map based on the image data, the probability map for pixels of the image data each having a probability value for whether the respective pixel is to be assigned to an interface of an eye structure.
  • the computer-readable medium is a physical storage medium such as a USB stick.
  • the commands it is also conceivable for the commands to be provided wirelessly, e.g. via the Internet.
  • updates to the computer program are provided regularly, e.g. via the computer-readable storage medium.
  • the device described above is designed to send image data recorded and segmented with the computer program and their associated raw data to a predetermined recipient, e.g. the manufacturer of the device, so that the latter can use this information for the updates. This offers the advantage that the updates can be subjected to certification.
  • the disclosure also relates, either in combination with or independently of the above-described methods and the above-described training data set and the device and the segmentation model and the computer program and the computer-readable medium, to a computer-implemented method for training an artificial intelligence-based (segmentation -) model or algorithm.
  • the training of the model based on artificial intelligence is carried out in such a way that the model after the Training is designed to create a probability map based on image data of an eye recorded by means of optical coherence tomography, the probability map for pixels of the image data each having a probability value for whether the respective pixel is to be assigned to an interface eye structure, the eye structure being a lens (2), optionally a natural lens and/or an artificial lens, and a cornea (1) and/or a retina (3) of the eye.
  • FIG. 1 schematically shows a flow chart of a computer-implemented method for biometric analysis of a human eye with a preceding training method for an algorithm based on artificial intelligence, which is used during the method for analyzing image data of the eye,
  • FIG. 2 schematically shows an architecture of an exemplary segmentation model used in the method from FIG.
  • FIG. 3 shows schematically an OCT-B-scan together with an associated labeled OCT-B-scan used as part of a training data set in the training method of FIG. 1, and
  • FIG. 4 schematically shows an OCT-B-scan together with an associated segmentation map.
  • FIG. 1 shows a flowchart of the computer-implemented method according to the disclosure, which can be roughly divided into two parts.
  • the part of the method shown on the left in Figure 1 corresponds to a sequence of a method for training an algorithm based on artificial intelligence (hereinafter referred to as training method) and the part of the method shown on the right in Figure 1 relates to a method for biometric analysis of a human eye based on Image data that is segmented using the algorithm trained during the training process (hereinafter referred to as the analysis process).
  • training method a method for training an algorithm based on artificial intelligence
  • the analysis process a method for biometric analysis of a human eye based on Image data that is segmented using the algorithm trained during the training process
  • the aim of the training process is for the algorithm based on artificial intelligence to be able to segment image data recorded by means of optical coherence tomography after the training process has been completed in such a way that boundary structures or boundary surfaces of predetermined eye structures, here a retina, an artificial and/or endogenous lens and a cornea of the human eye, are assigned as correctly as possible to a foreground and all other structures contained in the image data are assigned to a background.
  • boundary structures or boundary surfaces of predetermined eye structures here a retina, an artificial and/or endogenous lens and a cornea of the human eye
  • the algorithm based on artificial intelligence includes a so-called U-Net 3 (see also above), which can be described as having an architecture with a CNN for biomedical image segmentation and is shown in detail in FIG.
  • the ll-Net 3 is also referred to below as the segmentation model.
  • the ll-Net 3 is merely a specific example for a segmentation model and other segmentation models can also be used.
  • the II-Net 3 is U-shaped and has a contracting path (which is also referred to as an encoder, left-hand side in FIG. 2) and an expanding path (which is also referred to as a decoder, right-hand side in FIG. 2).
  • Each black box corresponds to a multi-channel feature map. The number of channels is indicated at the top of each box. The x-y size of each box's data is indicated at the bottom left of each box. White boxes represent copied feature maps. The arrows indicate the different operations.
  • the contracting path takes as input image data to be segmented and follows the typical architecture of a CNN. It comprises a repeated application of two 3x3 folds (unpadded folds), represented by horizontal right arrows in Figure 2, each followed by a rectified linear unit.
  • each step in the expansion path involves an upsampling of the feature map, followed by a 2x2 up-convolution that bisects the number of feature channels and is represented by vertical up arrows, a concatenation with the appropriately pruned feature map from the contraction path, and two 3x3 folds, each followed by a ReLU. Cropping is provided because edge pixels are lost with each fold.
  • a 1x1 convolution is used to map each 64-component feature vector to the desired number of classes, here two classes (i.e.
  • the segmentation map is output.
  • the segmentation model has a total of 23 convolutional strata/layers.
  • the input tiles are sized such that all 2x2 max pooling operations are applied to a layer with an even x and y size.
  • the parameters described above are only given as examples and can be varied depending on the application. As can be seen from FIG. 1, the training method of the U-Net 3 described above essentially has two steps S1 and S2.
  • a training data set for training the algorithm based on artificial intelligence here the ll-net 3, is created.
  • image data recorded by means of optical coherence tomography for example from clinical studies that have already been carried out, of an entire eye, i.e. which depict the eye along its entire axial length, are annotated or labeled.
  • this is done on a pixel basis, i.e. the pixels are marked in the image data that the ll-Net 3 of the boundary structure 11, 12, 21, 22, 41 of the respective eye structure 1, 2, 4 (see Figures 3 and 4) should assign.
  • the foreground pixels are marked. This is shown as an example for a cornea 1, a lens 2 and a retina 4 in FIG.
  • FIG. 3 A section of an OCT-B scan (OCT-C scans or OCT-A scans are also conceivable) is shown in FIG. 3 at the top, in which the cornea 1, the lens 2 and the retina 4 can be seen.
  • This OCT-B scan is shown labeled in Figure 3 below, with the anterior (left in Figure 3) boundary surface 11, 21, 41 and the posterior (right in Figure 3) boundary surface 12, 22 of the cornea 1, the lens 2 and the retina 4 are marked (for retina 4 only the anterior interface 41).
  • the boundary surfaces 11, 12, 21, 22, 41 of the eye structures 1, 2, 4 are marked, since only these can be assigned to the foreground. All other areas of the OCT-B scan are not marked and are therefore assigned to the background.
  • the corneal thickness ie a distance from the anterior interface 11 to the posterior interface 12 of the cornea 1
  • a distance from the anterior boundary surface 11 of the cornea 1 to the anterior boundary surface 21 of the lens 2 can be 700 to 8000 ⁇ m (usually around 4000 ⁇ m) in a human eye.
  • a lens thickness, ie a distance from the anterior interface 21 to the posterior interface 2 of the Lens 2 can be from 1 mm to 10 mm (usually around 4500 to 5000 pm) in a human eye.
  • a total length, ie from the anterior interface 11 of the cornea 1 to the anterior interface 41 of the retina 4 can be 14 to 38 mm (usually around 23 to 25 mm).
  • the training data set for the ll-Net 3 has several of these OCT-B-scan pairs shown in FIG. 3 (FIG. 3 above) together with the associated labeled OCT-B-scan (FIG. 3 below).
  • the training data record created as described above is now used in a second step S2 of the training method for training the ll-net 3 .
  • the individual data sets/pairs of the training data set are entered into the ll-Net 3.
  • the ll-Net 3 then outputs a probability map for the input data set containing a probability value for each pixel of the input OCT B-scan as to whether that pixel belongs to the foreground (or to the background).
  • the discretized probability map can also be referred to as a segmentation map.
  • the segmentation map is discretized by an Argmax operator or by a comparison with a threshold value, ie the probability values are compared pixel by pixel with a limit value and the pixels are assigned to the interface of the respective eye structure 1, 2 whose probability value exceeds the limit value.
  • the limit value is 0.5.
  • the probability map is compared pixel by pixel with the desired probability map, ie a comparison is made for each pixel to determine whether it has the correct probability value so that it can be correctly assigned to the foreground or the background.
  • the desired probability map is created from the labeled OCT-B-Scan (see FIG. 3 below) and can have or consist of ideal probability values (eg 100% and 0%).
  • the result of this target/actual comparison is entered pixel by pixel into a loss function (e.g. cross-entropy-loss) and these loss functions are optimized in the course of the training, ie the parameters of the U-Net are adjusted in such a way that the output of the loss function is minimized .
  • a loss function e.g. cross-entropy-loss
  • the training process ends and the trained ll-Net 3 can be used in the computer-implemented method for biometric analysis of a human eye based on image data recorded using optical coherence tomography, which is described in detail below so-called analysis methods.
  • this method essentially has five steps S3-S7.
  • the first two steps S3 and S4 of the analysis method have already been described above with reference to the training method and are therefore no longer described in detail.
  • image data of an OCT-B scan of a human eye which was recorded, for example, in preparation for a cataract operation and is unknown to the trained ll-Net 3, is entered into the trained ll-Net 3 and This creates a probability map for the input OCT-B scan in the manner described above, the probability map (as described above) for each pixel of the OCT-B scan having a probability value for whether the respective pixel of an interface 11, 12, 21, 22, 41 can be assigned to the cornea 1, the lens 2 or the retina 4 (see FIGS. 3 and 4).
  • this probability map is discretized, for example in the manner described above by comparing the probability value pixel by pixel with a limit value.
  • a discretized segmentation map 5 is shown as an example, simplified, purely schematic and not true to scale in FIG. 4 below for an OCT-B scan shown in FIG. 4 above, which was recorded along an entire axial length AL of a human eye.
  • each pixel whose probability value exceeds the threshold is assigned to the interface 11, 12, 21, 22, 41 of the cornea 1, the lens 2 or the retina 4, ie has the value “1”, or is is classified as background, ie has the value "0".
  • a third step S5 of the analysis method position data of the pixels that are assigned to the interface of the eye structure, ie that have the value “1”, are determined. As shown in FIG. 4, this can be done via the respective X and Y value of the pixel.
  • a curve is determined (shown with a dashed line in FIG. 4) for each of the identified boundary structures 11, 12, 21, 22, 41 based on the position data determined in the third step S5, the curves 11, 12, 21, 22, 41 indicates a position, curvature etc. of the respective interface 11, 12, 21, 22, 41 of the respective eye structure 1, 2, 4. It is conceivable that distances between and/or widths of the eye structures 1, 2, 4 are also determined based on a position of the boundary surfaces determined. For example, Figure 4 above shows that:
  • ACD of the (anterior) chamber of the eye which extends from the anterior interface 11 of the cornea 1 to the anterior interface 21 of the lens 2,
  • analysis image data is determined by superimposing the determined curves 11, 12, 21, 22, 41 on the image data recorded using optical coherence tomography ( Figure 4 above), so that the position of the Interfaces 11, 12, 21, 22, 41 of the eye structures 1, 2, 4 in the form of the specific curves 11, 12, 21, 22, 41 are contained in the analysis image data.
  • the analysis method described above can, for example, be used preoperatively to determine biometric parameters of an eye to be operated on and postoperatively, ie to check the surgical success, in cataract operations, since this allows correct and robust segmentation of the surfaces of the anatomical structure of the eye in the OCT scan, optionally in the OCT B scan.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

Bereitgestellt wird ein computerimplementiertes Verfahren zur biometrischen Analyse eines Auges basierend auf Bilddaten, die mittels einer optischen Kohärenztomographie aufgenommen wurden. Das Verfahren erstellt eine Wahrscheinlichkeitskarte basierend auf den Bilddaten mit Hilfe eines auf künstlicher Intelligenz beruhenden Algorithmus, wobei die Wahrscheinlichkeitskarte für Pixel der Bilddaten jeweils einen Wahrscheinlichkeitswert dafür aufweist, ob das jeweilige Pixel einer Grenzfläche einer Augenstruktur zuzuordnen ist. Bei der Augenstruktur handelt es sich um eine Linse, optional eine natürliche Linse und/oder eine künstliche Linse, und eine Cornea und/oder eine Retina des Auges.

Description

VERFAHREN UND VORRICHTUNG ZUR BIOMETRISCHEN ANALYSE EINES
MENSCHLICHEN AUGES
Die vorliegende Offenbarung betrifft ein computerimplementiertes Verfahren zur biometrischen Analyse eines Auges basierend auf Bilddaten, die mittels einer optischen Kohärenztomographie eines Auges aufgenommen wurden, sowie eine Vorrichtung zur Datenverarbeitung, umfassend Mittel zur Ausführung des Verfahrens. Denkbar ist auch die Bereitstellung eines Computerprogramms bzw. Computerprogrammprodukts, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren auszuführen. Denkbar ist auch die Bereitstellung eines computerlesbaren Mediums, umfassend Befehle, die bei der Ausführung durch einen Computer diesen veranlassen, das Verfahren auszuführen. Ferner kann ein Trainingsdatensatz bereitgestellt werden, mit dem ein auf künstlicher Intelligenz basierender Algorithmus so trainiert werden kann oder ist, dass dieser nach dem Training die Bilddaten gemäß dem Verfahren segmentiert. Ferner kann ein Segmentierungsmodel bereitgestellt werden, das so trainiert werden kann oder ist, dass dieses nach dem Training die Bilddaten gemäß dem Verfahren segmentiert.
Bei einem Vorliegen eines Katarakts (auch als Grauer Star und Linsentrübung bezeichnet) ist eine Linse eines Auges eines Menschen getrübt, wobei mit fortschreitender Dauer des Befundes, einen symptomatischen Verlauf vorausgesetzt, eine Trübung und ein damit einhergehender Sehschärfeverlust sowie eine Blendungsempfindlichkeit des betroffenen Auges zunimmt. Je nach Stadium des Katarakts kann eine operative Behandlung des betroffenen Auges indiziert sein. Bei einer Kataraktoperation wird die Linse des betroffenen Auges, beispielsweise nach Durchführung eines sog. Starschnitts, regelmäßig entfernt und durch eine künstliche Linse, optional eine Intraokularlinse (IOL), ersetzt.
Zur Vor- und Nachbereitung eines solchen operativen Eingriffs wird das betroffene Auge vermessen und die durch die Vermessung gewonnenen biometrischen Daten werden analysiert. Das heißt, herkömmlich wird das betroffene Auge vor bzw. präoperativ und nach bzw. postoperativ vermessen. Genauer gesagt werden bei der Vorbereitung der Kataraktoperation biometrische Parameter des zu operierenden Auges, wie z.B. eine axiale Länge des Auges, eine zentrale Hornhautdicke, eine Tiefe einer vorderen Augenkammer und/oder eine Linsendicke, bestimmt, um basierend auf den bestimmten biometrischen Parametern eine für das jeweilige Auge passende bzw. geeignete Intraokularlinse, optional hinsichtlich deren Brechungseigenschaften, auszuwählen. Nach einer Kataraktoperation wird im Rahmen der postoperativen Beurteilung inter alia eine IOL-Position, eine Kippung der IOL und/oder eine hintere Kapseltrübung bestimmt.
Herkömmlich geschieht das Vermessen des Auges unter zu Hilfenahme optischer Messtechnik. Bei der ophthalmologischen Untersuchung von Hornhaut, vorderer Augenkammer, Linse, Netzhaut usw. ist die OCT-B-Bildgebung weit verbreitet (z.B. unter Verwendung eines Zeitbereichs-OCT-Systems/engl. time-domain OCT system, eines Spektrumbereichs-OCT-Systems/engl. spectrum domain OCT system oder eines Swept-Source-OCT-Systems). Bei einer ausreichend großen Mess- bzw. Scantiefe eignet sich die optische Kohärenztomographie für die Vermessung einer gesamten axialen Länge des Auges. Genauer gesagt kann mit Hilfe der optischen Kohärenztomographie (engl. optical coherence tomography, OCT) eine Struktur des Auges in axialer Richtung bzw. entlang einer Messachse zunächst eindimensional aufgelöst werden. Dazu wird ein sogenannter A-Scan, d.h. ein einzelner Scan, aufgenommen bzw. eine einzelne Messung entlang einer Messachse durchgeführt, wobei der A-Scan die jeweiligen optischen Abstände zwischen einer Hornhautvorderfläche des Auges, einer Netzhaut des Auges und ggf. weiteren Strukturen entlang der Messachse zeigt. Um die Struktur des Auges zweidimensional vermessen zu können und so ein zweidimensionales Abbild des Auges, d.h. einen sog. B-Scan, (bei einer Verwendung von Infrarotlicht auch als Tomogramm bezeichnet) zu erhalten, kann die Messachse, beispielsweise mittels einem Spiegelsystem, verschoben werden und jeweils ein A-Scan entlang der Vielzahl der Messachsen durchgeführt werden. Es können darüber hinaus Messungen entlang von Messachsen, die schräg bzw. gewinkelt, optional senkrecht, zu den Messachsen des B-Scans verlaufen, durchgeführt werden, um so ein dreidimensionales Abbild des Auges, d.h. einen sog. C-Scan, zu erhalten. In beiden Anwendungsfällen (präoperativ, d.h. biometrische Parameter, und postoperativ, d.h. Überprüfung der Korrekturpositionierung) ist eine korrekte und robuste Segmentierung der Oberflächen der anatomischen Struktur des Auges im OCT-Scan, optional im OCT-B-Scan, erforderlich. Obwohl aus einem vollständigen OCT-Scan des Auges die Hornhaut, die Linse und die Netzhaut anhand ihrer räumlichen Position unterschieden werden können, ist eine ausreichend genaue Bestimmung von deren jeweiligen räumlichen Grenzen bzw. Grenzflächen herausfordernd.
Die Herausforderungen bei der biometrischen OCT-B-Scan-Segmentierung sind optional in der großen Variabilität der Messdaten begründet, die inter alia aufgrund von physiologischen Unterschieden (z.B. unterschiedliche Form und/oder Größe des Auges, unterschiedliche Linsentypen (phake oder pseudophake IOL) und/oder Floater im Glaskörper), Pathologien (z.B. Katarakt, Keratokonus und/oder Makuladegeneration), unterschiedliche Signalcharakteristiken (d.h. ein breites Spektrum von Signalintensitäten aufgrund unterschiedlicher Lichtreflexion, Streuung und/oder Absorption des Augengewebes), Messung ein und desselben Auges unter unterschiedlichen Bedingungen (z.B. hinsichtlich Pupillenweite, Untersuchungszeit, Bewertung vor/nach der OP), und/oder Rauschen bzw. anderen Störungen (z.B. Augenbewegungen) auftreten.
Zur Analyse von OCT-B-Scans werden daher herkömmlich Segmentierungsalgorithmen eingesetzt. Herkömmliche Segmentierungsalgorithmen für OCT-B-Scans beruhen meist auf einer schrittweisen Bildverarbeitung, bei der zunächst eine Merkmalsextraktion (auch bekannt als Transformation) und anschließend eine semantische Segmentierung (auch bekannt als Filtern) durchgeführt wird. Bei der Merkmalsextraktion werden Rohdaten pixelweise eingegeben und in einen speziell definierten Merkmalsraum transformiert (z.B. Frequenzbereich, Wavelet-Pyramide, Gabor-Koeffizientenraum, Gradientenraum usw.). Die semantische Segmentierung filtert irrelevante Inhalte aus dem Merkmalsraum heraus und hebt vordefinierte Objektinhalte hervor, wie z.B. starke Kanten, Spitzenverteilung, minimale oder maximale Entropie usw. Die Bildverarbeitungsalgorithmen, die diese beiden Schritte durchführen, werden häufig auf der Grundlage von bereits vorhandenem Fachwissen entwickelt. Beispielsweise wird bei OCT-Bildern für die Biometrie häufig der Gradient der Pixel als Schlüsselmerkmal berechnet, da die OCT-Bildgebung auf der Schichtstruktur des menschlichen Auges zweiarmig interferiert, und die weitere Unterscheidung einzelner Oberflächen aus einer Gradientenkarte basiert häufig auf dem anatomischen Wissen über das menschliche Auge. Zweiarmig bedeutet dabei, dass ein Probenstrahl (aus einem Messarm) und ein Referenzstrahl (aus einem Referenzarm) bei Strahlwegdifferenzen interferieren. Die Interferenz ist hierbei beim Durchgang des Messstrahls von einem optischen Medium in ein anderes optisches Medium aufgrund verschiedener Brechungsindizes hoch. Die Rekonstruktion (OCT-B-Scan) des Interferenzsignals weist in diesen Bereichen starke Intensitätssignale auf. Hierbei ist der Gradient an den Grenzflächen der jeweiligen optischen Medien im Auge besonders groß und eignet sich daher im Allgemeinen als Schlüsselmerkmal für die Segmentierung. So ist beispielsweise eine phake Linse oder eine pseudophake Linse zwischen Hornhaut und Netzhaut zu verorten, wobei die Hornhaut regelmäßig zwei Oberflächen aufweist, die entlang der Sehachse üblicherweise um 400-500 pm voneinander beabstandet sind. Solche herkömmlichen auf ophthalmologischem Fachwissen und klinischen Anforderungen beruhenden Algorithmen werden für die OCT-Segmentierung, d.h. sowohl für OCT-B-Scans der Netzhaut als auch für OCT- B-Scans der Biometrie, verwendet.
In diesem Zusammenhang beschreibt die US 10,123,689 B2 ein Verfahren zum Editieren einer Netzhautschicht-Grenzsegmentierung, umfassend ein Empfangen eines Satzes von strukturellen OCT-B-Scans und ein Segmentieren der Retinaschichtgrenzen der strukturellen OCT-B-Scans. Das Segmentieren weist ein Empfangen eines Satzes von relativen Netzhautschichtdickendaten; ein Verstärken des Intensitätsübergangs in den strukturellen OCT-B-Scan-Bildern; ein Auswählen eines ersten B-Scan-Bildes aus dem Satz struktureller OCT-B-Scans; ein Auswählen einer ersten Netzhautschichtgrenze in dem ersten B-Scan-Bild; ein Anwenden einer direktionalen Graphensuche auf die erste Netzhautschichtgrenze, wodurch eine erste segmentierte Netzhautschichtgrenze erzeugt wird; ein Auswählen einer zweiten Netzhautschichtgrenze auf dem ersten B-Scan-Bild; ein Einschränken eines Suchbereichs der zweiten Netzhautschichtgrenze unter Verwendung der ersten segmentierten Netzhautschichtgrenze und des Satzes relativer Netzhautschichtdickendaten; und ein Anwenden einer Richtungsgraphen-Suche auf die zweite Retinaschichtgrenze; dadurch Erzeugen einer zweiten segmentierten Retinaschichtgrenze, um dadurch einen Satz von segmentierten Retinaschichtgrenzen zu erzeugen. Weiterhin umfasst das Verfahren ein Überprüfen des Satzes von segmentierten Netzhautschichtgrenzen; ein Auswahlen einer segmentierten retinalen Schichtgrenze in einem B-Scan; ein Bearbeiten der segmentierten Retinaschichtgrenze in einem B-Scan unter Verwendung eines intelligenten Scherenwerkzeugs, das auf einer gerichteten Graphensuche basiert, oder eines Teils davon, wodurch eine neue Retinaschichtgrenzensegmentierung erzeugt wird; und eine Weitergabe der neuen Netzhautschichtgrenzensegmentierung an benachbarte strukturelle OCT-B-Scans.
Diese oben beschriebenen herkömmlichen, klassischen Verfahren der Bildverarbeitung weisen eine Reihe von Nachteilen auf, optional hinsichtlich ihrer Robustheit, einer Abhängigkeit von Annahmen, einer teilweise fehlenden Präzision bei Grenzfällen, sowie deren fehlende Übertragbarkeit auf ähnliche Anwendungsfälle. Im Detail bedeutet dies, dass herkömmliche Segmentierungsansätze teilweise bei einer (korrekten) Erkennung von IOL- Oberflächen bei geringer Signalintensität an ihre Grenzen stoßen. Dabei ist auch zu beobachten, dass herkömmliche Segmentierungsansätze teilweise Oberflächen mit einer hohen Signalintensität und OCT-Erfassungsfehlern verwechseln. Zudem bestimmen das Fachwissen bzw. Annahmen u.a. die Auswahl des Merkmalsraums und die schrittweise Merkmalsfilterung. Wenn das Fachwissen nicht repräsentativ ist oder die Annahmen falsch sind, ist die resultierende Segmentierungsgenauigkeit begrenzt. Das Design von Algorithmen wird zudem oft von Fachwissen geleitet, das aus akademischen Statistiken über die Gesundheit von Menschen oder aus klinischen Erfahrungen mit einer Vielzahl von kranken Patienten stammt. Daher stoßen solche herkömmlichen klassischen Algorithmen in der Regel bei einem gesunden Auge mit ungewöhnlichen Eigenschaften oder einem kranken Auge mit nicht vorhersehbaren Krankheiten/Störungen bei der Segmentierung an ihre Grenzen. Gleiches gilt für Grenzfälle, bei denen beispielsweise bei zwei Objekten, die in einem OCT-Scan nahe beieinander liegen oder sogar aneinander angrenzen, wie Floater im Glaskörper und/oder der Kapseltasche direkt vor und/oder hinter einer phaken Linse oder IOL. Da darüber hinaus die Implementierung von Merkmalsextraktions- und Segmentierungstechniken an jeden Anwendungsfall angepasst werden muss, ist die herkömmliche, klassische Bildverarbeitung mit einem hohen technischen Aufwand verbunden und lässt sich nicht ohne weiteres auf den nächsten Anwendungsfall mit anderen Anwendungsbedingungen und Vorkenntnissen übertragen.
Im Gegensatz zur oben beschriebenen herkömmlichen, klassischen Bildverarbeitung zielen Deep-Learning-Techniken darauf ab, beide Schritte, d.h. die Merkmalsextraktion und die semantische Segmentierung, in einem einzigen Algorithmus zu realisieren, dessen Parameter alle gemeinsam durch Optimierung einer (optional einzigen) Verlustfunktion geschätzt bzw. erlernt werden. Beispiele für Deep-Learning-Algorithmen sind künstliche neuronale Netze (engl. artificial neuronal networks, ANN), optional faltende neuronale Netze (engl. convolutional neuronal networks (CNN)), sowie, ggf. in Kombination zu faltenden neuronalen Netzen oder alternativ dazu, Transformer. Bei traditionellen OCT-Segmentierungsmethoden wird das Fachwissen oft explizit in den Algorithmus und die schrittweise algorithmische Analyse einbezogen. Im Gegensatz dazu wird beim maschinellen Lernen (optional bei deep-learning-algorithmen) das Fachwissen hauptsächlich implizit durch markierte bzw. gelabelte Trainingsdaten berücksichtigt (auch bekannt als überwachtes maschinelles Lernen, engl. supervised learning). Die Trainingsdaten können Datensätze aufweisen, die jeweils Rohdaten (z.B. pixelweise B-Scan-Bilder) und ein vom auf künstlicher Intelligenz bei Eingabe der Rohdaten erwartetes Ergebnis (z.B. pixelweise Annotation) aufweisen. Durch diese Beziehung zwischen Eingabedaten (engl. input data) und Ausgabedaten (engl. output data) wird das entsprechende Fachwissen während des Trainingsprozesses des auf künstlicher Intelligenz beruhenden Algorithmus implizit berücksichtigt. Das trainierte neuronale Netz kann dann auf unbekannte Daten (z.B. OCT-B-Scans von bis dato nicht bekannten Patienten) angewendet werden.
Die Segmentierung medizinischer Bilddaten ist dabei ein zentrales Problem der medizinischen Bildanalyse. Die Segmentierung ist für die computergestützte ärztliche Diagnostik und Therapie von besonderer Bedeutung, da sie die Grundlage für eine weitergehende Analyse, Vermessung und 3D-Visualisierung medizinischer Bildobjekte bildet. Die Segmentierung bezeichnet ein Verfahren zum Erzeugen von inhaltlich zusammenhängenden Regionen durch Zusammenfassung benachbarter Pixel oder Voxel entsprechend einem bestimmten Homogenitätskriterium. Zumeist wird als Ergebnis der Segmentierung eine sog. Segmentierungskarte ausgegeben, in der (vorausgesetzt es handelt sich um eine binäre Segmentierung) die Pixel der segmentierten Bilddaten einem Vordergrund oder einem Hintergrund zugewiesen sind.
In diesem Zusammenhang beschreibt die US 10,198,832 B2 eine Segmentierung und eine darauffolgende Klassifizierung von OCT-Scans mit Hilfe von neuronalen Netzen für die Gewebeklassifizierung und das Screening von Krankheiten. Das in US 10,198,832 B2 beschriebene Verfahren ist vor allem für eine Gewebeklassifizierung von Vorteil, bei der mehrere benachbarte Gewebeschichten in der menschlichen Netzhaut zu unterscheiden sind, denn hier kann eine pixelweise Segmentierung zur Unterscheidung der Gewebeschichten nicht ausreichend sein. Gemäß der US 10,198,832 B2 werden die verschiedenen Gewebearten des Auges in einer Segmentierungskarte voneinander segmentiert, d.h. , die Pixel der Bilddaten werden verschiedenen Gewebearten zugeordnet.
Die US 10,198,832 B2 stellt jedoch kein Verfahren zur Verfügung, mittels welchem Grenzflächen von, optional entlang der Augenachse voneinander beanstandeten, Augenstrukturen und/oder einer IOL in OCT-B-Scans für biometrische Anwendungen, wie der Eingangsbeschriebenen präoperativen und/oder postoperativen Analyse eines Auges bei Kataraktoperationen, segmentiert werden können.
Vor dem Hintergrund dieses Standes der Technik kann eine Aufgabe der vorliegenden Offenbarung darin gesehen werden, eine Vorrichtung und ein Verfahren anzugeben, welche jeweils geeignet sind, zumindest einen der oben genannten Nachteile des Standes der Technik zu überwinden. Optional soll eine für Biometrie-Anwendungen ausreichend robuste und präzise Extraktion von Positionsparametern von Grenzflächen von räumlich getrennten Augenoberflächen (z.B. Hornhaut, Linse und/oder Netzhaut) und/oder einer IOL aus einem OCT-B-Scan des Auges ermöglicht werden.
Gelöst wird die Aufgabe durch die Merkmale des unabhängigen Anspruchs. Die Unteransprüche haben bevorzugte Weiterbildungen der Erfindung zum Inhalt.
Danach wird die Aufgabe durch ein computerimplementiertes Verfahren zur biometrischen Analyse eines (optional menschlichen) Auges basierend auf Bilddaten, die mittels einer optischen Kohärenztomographie aufgenommen wurden, gelöst.
Die Biometrie ist eine Wissenschaft, die sich mit Messungen an Lebewesen und den dazu erforderlichen Mess- und Auswerteverfahren beschäftigt. Auf diesem technischen Gebiet kann die vorliegende Offenbarung angesiedelt werden. Genauer gesagt betrifft die vorliegende Offenbarung ein Verfahren zur Analyse von Bilddaten bzw. Messdaten, die mittels eines optischen Messverfahrens, genauer gesagt der optischen Kohärenztomographie, von einem Auge eines Menschen gewonnen wurden bzw. werden.
Computerimplementiert bedeutet, dass zumindest einer der, optional alle, Schritte des Verfahrens von einer Datenverarbeitungsanlage bzw. einem Computer durchgeführt wird.
Das Verfahren weist ein Erstellen einer Wahrscheinlichkeitskarte basierend auf den Bilddaten mit Hilfe eines auf künstlicher Intelligenz beruhenden Algorithmus auf, wobei die Wahrscheinlichkeitskarte für Pixel der Bilddaten jeweils einen Wahrscheinlichkeitswert dafür aufweist, ob das jeweilige Pixel einer Grenzfläche einer Augenstruktur zuzuordnen ist.
Mit anderen Worten, in dem vorliegenden Anwendungsfall der Biometrie sind die Segmentierungsziele, d.h. die Grenzflächen der Augenstrukturen, räumlich (weit) voneinander entfernt und entlang der Messachse wie folgt angeordnet: Hornhaut, Linse, Netzhaut bzw. Retina. Demnach handelt es sich bei der Augenstruktur bzw. den Augenstrukturen um eine Linse, optional eine natürliche Linse und/oder eine künstliche Linse, und eine Cornea und/oder eine Retina des Auges.
Denkbar ist, dass eine posteriore Grenzfläche und/oder eine anteriore Grenzfläche der Hornhaut und/oder der körpereigenen Linse und/oder eine anteriore Grenzfläche der Retina segmentiert wird. Dies kann optional präoperativ erfolgen.
Denkbar ist, dass eine posteriore Grenzfläche und/oder eine anteriore Grenzfläche der Hornhaut und/oder der künstlichen Linse und/oder eine anteriore Grenzfläche der Retina segmentiert wird. Dies kann optional postoperativ erfolgen.
Bei der künstlichen Linse kann es sich um eine aphake Intraokularlinse (IOL) handeln. Die aphake IOL wird nach Entfernung der natürlichen Linse (Aphakie) z.B. im Rahmen einer Kateraktoperation implantiert. Aufgebaut ist eine Intraokularlinse aus einer zentralen optischen Linse und einer peripher anschließenden Haptik, die die zentrale optische Linse im Auge fixiert. Mit dem vorliegenden Verfahren sollen eine posteriore Grenzfläche und/oder eine anteriore Grenzfläche der IOL segmentiert werden. Neben der aphaken IOL kann aber auch eine phake IOL zum Einsatz kommen, die zusätzlich zur natürlichen Linse eingesetzt wird. Dann kann mittels des Verfahrens eine posteriore Grenzfläche und/oder eine anteriore Grenzfläche der phaken IOL und/oder eine posterieore Grenzfläche und/oder eine antriore Grenzfläche der körpereigenen bzw. natürlichen Linse segmentiert werden. Das heißt, im Gegensatz zum eingangs beschriebenen herkömmlichen Segmentierungsalgorithmus, der darauf ausgelegt ist, maximal fünf Grenzflächen zu segmentieren und der im Falle von phaken lOLs oft fälschlicherweise die anteriore Grenzfläche der phaken IOL segmentiert, sodass zusammen mit der posterioren Grenzfläche der natürlichen Linse eine falsche Linsendicke berechnet wird, kann der offenbarungsgemäße Algorithmus auf mehr als fünf Grenzflächen erweitert werden und so diesen Nachteil überwinden. Als Grenzfläche kann dabei der Übergang von einer Augenstruktur zu benachbarten Augenstruktur bzw. zur Umgebung verstanden werden. Bei der Hornhaut kann dies posterior der Übergang zur Augenkammer sein und anterior der Übergang zur Umgebung, da die Hornhaut das Auge nach außen begrenzt. Bei der Linse, optional der natürlichen Linse oder apahaken IOL, kann dies posterior der Übergang zum Glaskörper und anterior zur Augenkammer sein (bei der phaken IOL kann dies posterior und anterior der Übergang zur Augenkammer sein). Bei der Retina kann dies anterior der Übergang zum Glaskörper sein. Bei der Grenzfläche der Retina kann es sich optional um die Grenzfläche des retinalen Pigmentepithels, d.h. dessen Übergang zum Glaskörper, handeln. Es wird dabei von einem Aufbau des Auges ausgegangen, bei dem sich zwischen Hornhaut und Glaskörper die Augenkammer befindet. An den Glaskörper angrenzend ist die Retina angeordnet. Anteroposterior sind damit die beiden Grenzflächen der Hornhaut, gefolgt von den beiden Grenzflächen der Linse wiederum gefolgt von der Grenzfläche der Retina angeordnet.
Die mittels der optischen Kohärenztomographie aufgenommen Bilddaten können mittels eines (optional einzigen) OCT-Biometrie-Scans entlang einer gesamten Achslänge des Auges, umfassend die Cornea, die Linse und die Retina, oder entlang eines Teils der gesamten Achslänge des Auges, umfassend die Linse und die Cornea und/oder die Retina, aufgenommen werden.
Das heißt, für das Verfahren kann (zumindest) ein OCT-Biometrie-Scan bzw. können OCT-Bilddaten verwendet werden, der/die mittels der (eingangs beschriebenen) optischen Kohärenztomographie im Wesentlichen entlang einer gesamten Achslänge eines (optional menschlichen) Auges aufgenommen wurden. Die gesamte Achslänge kann als eine Strecke ausgehend von der Hornhaut über die Linse und den Glaskörper bis hin zur Retina verstanden werden.
Denkbar ist auch, dass ein OCT-Biometrie-Scan verwendet wird, der ausschließlich bzw. nur entlang eines Teils der gesamten Aschlänge des Auges aufgenommen wurde, beispielweise nur entlang des Teils, der eine vordere Augenkammer betrifft, d.h. umfassend die Linse und die Kornea, oder des hinteren Teils des Auges, d.h. umfassend die Linse und die Retina.
Im Allgemeinen sei aber festgestellt, dass der Anwendungsfall der Biometrie, bei dem vergleichsweise weit voneinander entfernte Augenstrukturen erkannt und optional deren Abstände zueinander vermessen werden, von dem Anwendungsfall der Diagnostik zu unterscheiden ist, bei dem sehr eng beieinander liegende Gewebeschichten erkannt bzw. segmentiert werden sollen.
Mit anderen Worten, im Bereich der (retinalen) Diagnostik werden beispielweise verschiedene Gewebeschichten der Retina und damit ein und derselben Augenstruktur analysiert, wohingegen bei der Biometrie verschiedene Augenstrukturen (z.B. Linse und Cornea) erkannt und optional deren Abstand zueinander vermessen wird.
Abgesehen von diesen Unterschieden in den Dimensionen bei OCT-Biometrie-Scans versus OCT-Diagnostik-Scans, welche dazu führen, dass bei erstgenannten deutlich mehr Hintergrund in den OCT-Bilddaten enthalten ist, liegt ein weiterer Unterschied der beiden Scans darin, dass bei OCT-Biometrie-Scans zumeist auch die Linse erkannt werden soll, welche sich in ihrem Erscheinungsbild in den OCT-Bilddaten von anderen Gewebeschichten, wie der Retina und der Kornea, unterscheidet. Ein auf künstlicher Intelligenz beruhende Modell wird daher bei der Analyse von OCT- Biometrie-Scans grundsätzlich vor andere Herausforderungen gestellt als bei der Analyse von OCT-Diagnostik-Scans.
Es sollen also mit dem Verfahren keine nahe beieinander liegenden bzw. aneinander angrenzende Strukturen durch Segmentierung unterschieden werden, sondern die Grenzen (optional anterior und posterior, aber ggf. auch lateral) der einzelnen Augenstrukturen möglichst bzw. ausreichend korrekt bestimmt werden.
Für das Verfahren können Bilddaten verwendet werden, die mittels der (eingangs beschriebenen) optischen Kohärenztomographie im Wesentlichen entlang einer gesamten Achslänge eines menschlichen Auges aufgenommen wurden bzw. werden. Die gesamte Achslänge kann als eine Strecke ausgehend von der Hornhaut über die Linse und den Glaskörper bis hin zur Retina verstanden werden.
Bei den Bilddaten kann es sich um einen OCT-A-Scan (eindimensional), einen OCT- B-Scan (zweidimensional) und/oder einen OCT-C-Scan (dreidimensional), wie eingangs beschrieben, handeln.
Unter einem auf künstlicher Intelligenz beruhenden Algorithmus kann ein Algorithmus verstanden werden, welcher ein künstliches System definiert, das im Rahmen einer Lernphase aus Beispielen bzw. basierend auf Trainingsdaten Zusammenhänge erlernt hat und diese nach Beendigung der Lernphase verallgemeinern kann (sog. maschinelles Lernen). Der Algorithmus kann ein statistisches Modell aufweisen, das auf Trainingsdaten beruht. Das heißt, bei dem oben beschriebenen maschinellen Lernen werden nicht die Beispiele aus den Trainingsdaten auswendig gelernt, sondern Muster und Gesetzmäßigkeiten in den Lern- bzw. Trainingsdaten erkannt. So kann der Algorithmus auch unbekannte Bilddaten beurteilen (sog. Lerntransfer bzw. Generalisierung).
Der auf künstlicher Intelligenz beruhende Algorithmus kann zumindest ein künstliches neuronales Netz aufweisen. Ein künstliches neuronales Netz kann auf mehreren miteinander verbundenen Einheiten oder Knoten basieren, die als künstliche Neuronen bezeichnet werden. Eine Verbindung zwischen den Neuronen kann eine Information (teilweise auch als Signal bezeichnet) an ein oder mehrere andere Neuronen weiterleiten. Ein künstliches Neuron empfängt eine Eingangsinformation, verarbeitet die Eingangsinformation und kann daraufhin eine auf der Verarbeitung der Eingangsinformation basierende Ausgabeinformation an das bzw. die zu ihm verbundenen Neuronen ausgeben. Die Eingangs- und Ausgabeinformation kann eine reelle Zahl sein, wobei die Ausgabe-Information des jeweiligen Neurons durch eine, optional nicht lineare, Funktion als Summe seiner Eingangsinformationen berechnet werden kann. Die Verbindungen können auch als Kanten bezeichnet werden. Neuronen und Kanten haben in der Regel eine Gewichtung, die im Laufe des Lernprozesses bzw. eines Trainingsverfahrens mittels einer zu optimierenden Verlustfunktion angepasst wird. Die Gewichtung erhöht oder verringert die Ausgabe-Information. Neuronen können einen Schwellenwert haben, so dass eine Ausgabe-Information nur gesendet wird, wenn die Ausgabe-Information diesen Schwellenwert überschreitet. Neuronen können in Schichten zusammengefasst sein. Verschiedene Schichten können unterschiedliche Transformationen an ihren Eingängen vornehmen. Die Informationen können von einer ersten Schicht (der Eingabeschicht) zu einer letzten Schicht (der Ausgabeschicht) ggf. über Zwischenschichten gesendet werden, möglicherweise nachdem diese eine oder mehrere der Schichten mehrfach durchlaufen haben. Genauer gesagt können die Neuronen in mehreren Schichten angeordnet sein, wobei Neuronen einer Schicht, optional nur, mit Neuronen der unmittelbar vorangehenden und der unmittelbar folgenden Schicht verbunden sein können. Die Schicht, die externe Daten empfängt, ist die Eingabeschicht. Die Schicht, die das Endergebnis produziert, ist die Ausgabeschicht. Dazwischen können null oder mehr versteckte Schichten (engl. hidden layers) liegen. Es kann auch ein einschichtiges Netz verwendet werden. Zwischen zwei Schichten sind mehrere Verbindungsmuster möglich. Die zwei Schichten können vollständig verbunden sein, d.h. jedes Neuron einer der Schichten kann mit jedem Neuron in der nächsten Schicht verbunden sein. Die Schichten können aber auch mittels "pooling" verbunden sein, d. h. eine Gruppe von Neuronen in einer Schicht verbindet sich mit einem einzelnen Neuron in der nächsten Schicht, wodurch die Anzahl der Neuronen in der nächsten Schicht verringert wird. Netze, die nur solche Verbindungen zwischen den Schichten aufweisen bilden einen gerichteten azyklischen Graphen und werden als Feedforward-Netze bezeichnet. Alternativ dazu werden Netze, die Verbindungen zwischen Neuronen in derselben oder in vorhergehenden Schichten zulassen, als rekurrente Netze bezeichnet
Denkbar ist, dass das künstliche neuronale Netz ein faltendes neuronales Netz (engl. convolutional neuronal network (CNN)) aufweist oder daraus besteht. Grundsätzlich weist die Struktur eines Convolutional Neural Networks einen oder mehrere Convolutional Layer, optional gefolgt von einem Pooling Layer, auf. Diese Einheit kann sich prinzipiell beliebig oft wiederholen, bei ausreichend Wiederholungen spricht man dann von Deep Convolutional Neural Networks, die in den Bereich Deep Learning fallen. Ein Convolutional Layer kann auch als Filter bezeichnet werden. Im Regelfall liegen die Eingabedaten (im vorliegenden Fall die Bilddaten) als zwei- oder dreidimensionale Matrix (zweidimensional bei einem Graustufenbild oder dreidimensional bei einem Farbbild, optional RGB) vor. Dementsprechend sind die Neuronen im Convolutional Layer angeordnet. Die Aktivität jedes Neurons wird über eine diskrete Faltung berechnet. Dabei wird schrittweise eine (vergleichsweise kleine) Faltungsmatrix (Filterkemel) über die Bilddaten bzw. Eingabedaten bewegt. Die Ausgabe eines Neurons im Convolutional Layer berechnet sich als inneres Produkt des Filterkemels mit dem aktuell unterliegenden Bildausschnitt. Dementsprechend reagieren benachbarte Neuronen im Convolutional Layer auf sich überlappende Bereiche (lokale Umgebungen in Bildern bzw. den Bilddaten). Die Werte des Kemels können im oben beschriebenen Lernprozess mittels der zu optimierenden Verlustfunktion erlernt werden. Im folgenden Schritt, dem Pooling, können Informationen verworfen werden. Eine Form des Poolings, die hier zum Einsatz kommen kann, ist das sog. Max-Pooling, wobei aus jedem 2 x 2 Quadrat (es sind auch andere Quadratgrößen denkbar) aus Neuronen des Convolutional Layers nur die Aktivität des aktivsten (daher "Max") Neurons für weitere Berechnungsschritte beibehalten wird; die Aktivität der übrigen Neuronen wird verworfen. Durch das Pooling sollen weniger relevante Informationen verworfen werden.
Denkbar ist, dass der auf künstlicher Intelligenz beruhende Algorithmus ein sog. U- net nach Ronneberger et. al. (Ronneberger, Olaf, Philipp Fischer, und Thomas Brox: "U-net: Convolutional networks for biomedical image segmentation.", International Conference on Medical image computing and computer-assisted intervention, Springer, Cham, 2015, abrufbar unter: htps://arxiv.org/pdf/1505.04597.pdf) aufweist. Dabei kann die klassische U-net Architektur von Ronneberger et al. verwendet werden, die für die Segmentierung medizinischer Bilder entwickelt wurde. Bei dieser Architektur können mehrere Modellparameter festgelegt werden, wie z.B. u.a. eine Anzahl der Schichten, eine Anzahl der Filter, Filtergrößen, Normalisierungsschichten, Skip-Schichten, Aktivierungsfunktionen. Daher sind auch Abweichungen von dem klassischen Aufbau des U-nets denkbar. Darüber hinaus ist das U-net nur eine spezifische Implementierungsmöglichkeit des auf künstlicher Intelligenz beruhenden Algorithmus und eine Verwendung anderer/weiterer Modelle ist, zusätzlich oder alternativ, denkbar. Diese weiteren Modelle können z.B. folgende Architekturen sein: - die auf Aufmerksamkeitsblöcken und Transformatoren beruhen (s. z.B.
Xie, Enze, et al. "SegFormer: Simple and efficient design for semantic Segmentation with transformers." Advances in Neural Information Processing Systems 34 (2021 ), abrufbar unter: https://proceedings.neurips.cc/paper/2021/file/64f1f27bf1 b4ec22924fd0acb5 50c235-Paper.pdf), was vorteilhaft ist, um nicht-lokale Beziehungen zu erfassen,
- die auf Basis zusätzlicher adversarialer Verluste beruhen (s. z.B. Luc, Pauline, et al. "Semantic segmentation using adversarial networks." arXiv preprint arXiv: 1611 .08408 (2016), abrufbar unter: https://arxiv.org/pdf/1611.08408.pdf%5D), was vorteilhaft ist, um sehr "scharfe" Details vorherzusagen, und/oder
- die auf komplexeren Operationsblöcken für Down-Sampling und Up-
Sampling basieren (s. z.B. Mehta, Sachin, et al. "Espnetv2: A light-weight, power efficient, and general purpose convolutional neural network." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019, abrufbar unter: https://openaccess.thecvf.com/content_CVPR_2019/papers/Mehta_ESPNetv 2_A_Light- Weight_Power_Efficient_and_General_Purpose_Convolutional_Neural_CVP R_2019_paper.pdf), was vorteilhaft ist, um die Gesamtkomplexität des Modells und die Vorhersagegenauigkeit zu erhöhen.
Denkbar ist, dass der auf künstlicher Intelligenz beruhende Algorithmus mehrere (Segmentierungs-) Modelle aufweist, die jeweils auf verschiedene Zustände (z.B. für phake, aphake und/oder pseudophake (IOL-) Augen sowie ggf. verschiedene Arten von (schwerem) Katarakt mit peripherer, nukleärer und/oder hinterer subkapsulärer Trübung (die oftmals von "Standard' -Segmentierungsmodellen, die nur anhand von Standardaugen und IOL-Typen trainiert wurden, nicht richtig segmentiert werden können)) des zu analysierenden/vermessenden Auges angepasst sind. Das Verfahren kann dabei zunächst ein Bestimmen des Augenzustands und anschließend eine Auswahl des entsprechenden Segmentierungsmodells basierend auf dem bestimmten Augenzustand aufweisen. Denkbar ist, zusätzlich oder alternativ, dass der auf künstlicher Intelligenz beruhende Algorithmus mehrere (Segmentierungs-) Modelle für verschiedene IOL-Typen (z.B. für verschiedene IOL-Materialien (z.B. Acryl, Silikon, PMMA) und/oder verschiedene lOL-Geometrien (z. B. doppelt oder plan-konvex/konkav, positiver oder negativer Meniskus) und für eine phake IOL und/oder eine Huckepack-IOL usw.) aufweist. Phake IOL und Huckepack-IOL sind seltene Grenzfälle, bei denen statt einer zwei Linsen segmentiert werden müssen (d.h. phake IOL und körpereigene Linse oder Huckepack-IOL + herkömmliche IOL). Bei phaken lOLs und Huckepack-IOLs ist es wahrscheinlich, dass die körpereigene Linse oder die herkömmliche IOL von Standard-Segmentierungsmodellen, die trainiert wurden, nicht richtig segmentiert werden kann. Das Verfahren kann dabei zunächst ein Bestimmen des IOL-Typs und anschließend eine Auswahl des entsprechenden Segmentierungsmodells basierend auf dem bestimmten IOL-Typ aufweisen.
Einige B-Scans können verrauscht sein oder das Modell ist unsicher, was die genaue Segmentierungsregion betrifft. Daher ist das Verfahren nicht auf die Verwendung eines (einzigen) OCT-Scans limitiert. Vielmehr ist auch denkbar, dass Bilddaten mehrerer OCT-Scans (optional mehrerer OCT-B-Scans) verwendet werden. Durch die Verwendung mehrerer, optional benachbarter, OCT-B-Scans und deren Einspeisung in das Segmentierungsmodell, das aus den Daten der durchschnittlichen Segmentierungskarte lernt, kann eine robustere Segmentierung erzielt werden. Grundsätzlich denkbar ist dabei, dass lediglich eine Auswahl von OCT-B-Scans anhand vorbestimmter Kriterien (z.B. mittels Ähnlichkeitsmetriken oder zeitlichen Kriterien) getroffen wird und nur diese Auswahl in das Segmentierungsmodel eingegeben wird oder alle OCT-B-Scans in ein einziges Segmentierungsmodell eingegeben werden, und daraufhin eine einzige Segmentierungskarte vorhergesagt wird. Hier kann beispielsweise die vorher genannten 2D-Algorithmen auf die Verarbeitung von 3D-Daten erweitert werden. Beispielsweise können 2D Faltungen durch 3D Faltungen ersetzt werden, 2D max pooling durch 3D max pooling, usw. Dabei kann beispielsweise das VNet nach Milletari, Fausto et. al. als Segmentierungsmodell verwendet werden (Milletari, Fausto, Nassir Navab, und Seyed-Ahmad Ahmadi. "V-net: Fully convolutional neural networks for volumetric medical image segmentation." 2016 fourth international conference on 3D vision (3DV). IEEE, 2016).
Die Wahrscheinlichkeitskarte, welche von obigen Modellen ausgegeben werden kann, kann nach deren Diskretisierung auch als Segmentierungskarte (engl. Segmentation map) bezeichnet werden. Denkbar ist, dass die Wahrscheinlichkeitskarte für jeden Pixel der Bilddaten jeweils einen Wahrscheinlichkeitswert dafür aufweist, ob das jeweilige Pixel einer Grenzfläche einer Augenstruktur zuzuordnen ist. Das heißt, der auf künstliche Intelligenz beruhende Algorithmus kann als Eingangsdaten die Bilddaten des OCT-Scans (z.B. OCT-B-Scans) erhalten und gibt als Ausgangsdaten einen Datensatz aus, der für jedes der in den Bilddaten enthaltenen Pixel einen Wahrscheinlichkeitswert dafür angibt, ob das Pixel zu einer Grenzfläche einer zu identifizierenden Augenstruktur gehört. Denkbar ist auch, dass je Klasse, d.h. bei einer binären Betrachtung für Vordergrund und Hintergrund, je eine Wahrscheinlichkeitskarte ausgegebenen wird. Diese beiden Wahrscheinlichkeitskarten können je Pixel die Zugehörigkeit des betreffenden Pixels zur Klasse Vordergrund oder Hintergrund darstellen. Durch eine später im Detail beschriebene Argmax-Operation auf beide Wahrscheinlichkeitskarten oder mit der Anwendung eines Schwellenwerts auf eine der beiden Wahrscheinlichkeitskarte kann aus den beiden Wahrscheinlichkeitskarten die (eine) Segmentierungskarte erhalten werden, die je Pixel den Wert 0 oder 1 aufweist.
Denkbar ist, dass beim Erstellen der Wahrscheinlichkeitskarte und/oder zur Bewertung der erstellten Wahrscheinlichkeitskarte Erfahrungswerte berücksichtigt werden, d.h. es kann eine Plausibilität der segmentierten Grenzflächen anhand von Vorwissen/Fachwissen (z.B. Wissen über Abstände zwischen einzelnen Oberflächen der Augenstrukturen, wie z.B. dass die zentrale Hornhautdicke etwa 500 Mikrometer und/oder die Dicke einer IOL üblicherweise 1 Millimeter oder weniger beträgt; und/oder z.B. ein Wissen über eine empirische Korrelationen von verschiedenen Abständen/Größenverhältnissen des Auges, wie z.B. dass eine Dicke einer kristallinen Linse stark mit der Vorderkammertiefe und der axialen Länge des Auges korreliert/zusammenhängt) bestimmt werden. Denkbar ist, dass das Verfahren ein pixelweises Vergleichen der Wahrscheinlichkeitswerte mit einem Grenzwert und ein Zuordnen der Pixel zu der Grenzfläche der Augenstruktur aufweist, deren Wahrscheinlichkeitswert den Grenzwert übersteigt.
Denkbar ist also, eine semantische Segmentierung des OCT-Scans durchzuführen, d.h. (optional jedes) Pixel der Bilddaten des OCT-Scans einer von zumindest zwei vorbestimmten Kategorien zuzuordnen. Dies kann auch als Diskretisieren der Wahrscheinlichkeitskarte bezeichnet werden. Denkbar ist, dass jedem der Pixel entweder eine 1 zugewiesen wird, wenn das Pixel zu der zu identifizierenden Grenzfläche der Augenstruktur gehört (d.h. einen Wahrscheinlichkeitswert aufweist, der den Grenzwert übersteigt), oder eine 0 zugewiesen wird, wenn das Pixel nicht zu der zu identifizierenden Grenzfläche der Augenstruktur gehört (d.h. einen Wahrscheinlichkeitswert aufweist, der den Grenzwert unterschreitet). Dies ist auch umgekehrt denkbar. Dies kann auch als binäre Segmentierung bezeichnet werden, bei der das jeweilige Pixel entweder dem Vordergrund (d.h. der zu identifizierenden Grenzfläche der Augenstruktur) oder dem Hintergrund (alle anderen Pixel, die nicht zu der zu identifizierenden Grenzfläche der Augenstruktur gehören) zugewiesen wird (oder umgekehrt).
Die oben beschriebenen Standardmodellarchitekturen sagen Wahrscheinlichkeitskarten pro Klasse voraus, die pro Pixel einen
Wahrscheinlichkeitsvektor bzw. -wert enthalten, der die vorhergesagte
Wahrscheinlichkeit für jede der bekannten/vorbestimmten Klassen darstellt. Für den oben beschriebenen Fall von zwei Klassen, d.h. die Segmentierung von Vorder- und Hintergrund, kann dies als ein einziger Wert dargestellt werden. Um diskrete Vorhersagekarten zu erhalten, werden die Wahrscheinlichkeitsvektoren in der Regel mit dem Operator arg-max den Klassen zugeordnet, d.h. jedes Pixel wird der Klasse mit dem größten vorhergesagten Wahrscheinlichkeitswert zugewiesen. Bei zwei Klassen kann dies gleichbedeutend mit einem Schwellenwert/Grenzwert von 0,5 für den Wahrscheinlichkeitswert sein. Es können aber auch andere Schwellenwertverfahren angewandt werden, z.B. durch Auswahl eines geeigneten
Schwellenwerts/Grenzwerts, um die Rate von falschen Zuordnungen zu minimieren.
Das Verfahren kann ein Bestimmen von Positionsdaten der Pixel, die der Grenzfläche der Augenstruktur zugeordnet sind, und ein Bestimmen einer Kurve basierend auf den Positionsdaten, wobei die Kurve eine Lage der Grenzfläche der Augenstruktur angibt, umfassen. Dies ist auch als Kurvenanpassung (engl. polynomial curve fitting) bekannt. Kurvenanpassung, oder auch Fitten genannt, ist eine Technik mit der man versucht, eine gegebene mathematische Modellfunktion bestmöglich an Datenpunkte, hier die Positionsdaten der Pixel, die der Grenzfläche der jeweiligen Augenstruktur zuzuordnen sind, anzupassen. Denkbar ist, dass die Kurve ein odermehrere Polynome aufweist (sog. Spline) und durch einen oder mehrere oder alle und/oder zwischen einem oder mehreren oder allen der Pixel verläuft, die der Grenzfläche zuzuordnen sind. Denkbar ist, dass z.B. eine Parabel (2. Ordnung) für die vorderen Grenzflächen (d.h. der Hornhaut und der Linse) und eine Gerade (1. Ordnung) für die Grenzfläche der Retina verwendet wird. Denkbar ist, dass die Positionsdaten eine laterale und eine anteriore bzw. posteriore Komponente aufweisen (also zweidimensional sind). Das heißt, eine Position und Krümmung der Hornhaut und der Linsenoberflächen oder der lOL-Oberflächen und/oder des retinalen Pigmentepithels (RPE) kann/können in einem Nachbearbeitungsschritt aus den Pixelvorhersagen/der (optional diskretisierten) Wahrscheinlichkeitskarte mittels der bestimmten Kurve(n) extrahiert werden.
Denkbar ist, dass das Verfahren ein Bestimmen einer Position und/oder einer Krümmung der Hornhautoberfläche(n)/Grenzfläche(n) der Hornhaut, der Linsenoberfläche(n)/Grenzfläche(n) der Linse und/oder der Grenzfläche des retinalen Pigmentepithels basierend auf der bestimmten Kurve bzw. den bestimmten Kurven aufweist.
Das Verfahren kann ein Bestimmen von Analyse-Bilddaten durch Überlagern der basierend auf den mittels der optischen Kohärenztomographie aufgenommenen Bilddaten mit der bestimmten Kurve aufweisen, sodass die Lage der Grenzfläche der Augenstruktur in Form der bestimmten Kurve (als Markierung) in den Analyse- Bilddaten enthalten ist. Denkbar ist optional, dass diese überlagerten (Analyse-) Bilddaten ausgegeben werden, z.B. mittels einer Anzeigevorrichtung bzw. einem Display. Dies kann auch als Visualisierung bezeichnet werden. Denkbar ist, dass auch zumindest eine Länge, z.B. zumindest ein Abstand zwischen den Grenzflächen der Augenstrukturen den und/oder eine Breite zumindest einer Augenstrukturen, basierend auf einer Lage der Bestimmten Grenzflächen bestimmt werden. Auch diese Länge kann Teil der Visualisierung sein. Das heißt, zusätzlich oder alternativ ist denkbar, dass das Verfahren ein Bestimmen einer Länge (entlang der Augenachse) zwischen manchen oder allen der bestimmten Grenzflächen aufweist.
Das Verfahren kann, zusätzlich oder alternativ, ein Bestimmen von Analyse- Bilddaten durch Überlagern der basierend auf den mittels der optischen Kohärenztomographie aufgenommenen Bilddaten mit der bestimmten Länge aufweisen, sodass die Länge (als Markierung) in den Analyse-Bilddaten enthalten ist.
Das oben beschriebene Verfahren bietet Vorteile im Vergleich zu herkömmlichen Bildverarbeitungsverfahren hinsichtlich einer Genauigkeit von Ergebnissen des Verfahrens, einer Robustheit, einer Skalierbarkeit und einer Übertragbarkeit zusammen mit einem geringen Implementierungsaufwand. Dies wird nachfolgend weiter im Detail ausgeführt.
Genauigkeit: Es wurde festgestellt, dass der ML-basierte (ML, maschinelles Lernen, engl. machine learning) Ansatz bei allen getesteten IOL-B-Scans nahezu perfekt funktioniert. Die mögliche Vorhersagegenauigkeit wird hauptsächlich durch die Genauigkeit der gelabelten Daten begrenzt. Bei qualitativ hochwertigen Annotationen (d.h. mit hoher Pixelgenauigkeit und hoher Konsistenz) können auch sehr genaue Vorhersagen erwartet werden. Es sind genaue Segmentierungsergebnisse für die Biometriemessung sowohl bei phaken als auch bei pseudophaken (IOL-) Augen beobachtet worden und daher kann eine Verringerung der Anzahl von nicht gewünschten refraktiven Ergebnissen einer Kataraktoperation angenommen werden.
Robustheit: Der ML-basierte Ansatz zeigte eine im Wesentlichen 100 % Erfolgsrate bei der Erkennung von lOL-Oberflächen mit geringen Signalintensitäten. Der ML- basierte Ansatz verwechselte die Oberflächen mit hoher Signalintensität und OCT- Erfassungsfehlern nicht.
Skalierbarkeit: Der ML-basierte Ansatz lässt sich vergleichsweise einfach auf eine große Anzahl gesammelter Trainingsdaten skalieren, da im Wesentlichen ausschließlich die Berechnungszeit, nicht aber der Kodierungsaufwand steigt. Dadurch können mehr und mehr Grenzfälle einbezogen werden, indem die Anzahl an Trainingsdaten erhöht wird, anstatt immer mehr Grenzfälle bzw. Spezialfälle zu implementieren, wie dies bei klassischen Ansätzen der Fall ist.
Übertragbarkeit und geringerer Implementierungsaufwand: Der ML-basierte Ansatz kann vergleichsweise gut von einem OCT-Scanner auf andere oder weiterentwickelte OCT-Scanner übertragen werden, indem das bereits verwendete Segmentierungsmodell neu bzw. angepasst trainiert und nicht neu programmiert wird. Dies reduziert die Iterationszyklen für Produktverbesserungen erheblich.
Ferner wird ein computerimplementiertes Verfahren bereitgestellt, dass ein Trainieren des oben beschriebenen auf künstlicher Intelligenz beruhenden Algorithmus aufweist. Das oben mit Bezug zum computerimplementierten Verfahren zur biometrischen Analyse des menschlichen Auges Beschriebene gilt analog auch für das computerimplementierte Verfahren zum Trainieren des auf künstlicher Intelligenz beruhenden Algorithmus, wobei letzteres auch als computerimplementiertes Trainingsverfahren bezeichnet werden kann. Die Offenbarung betrifft auch ein computerimplementiertes Verfahren das sowohl die Schritte des Trainingsverfahrens, optional als erste Schritte umfasst, und die Schritte des computerimplementierten Verfahrens zur biometrischen Analyse des menschlichen Auges, optional als zweite bzw. dem Trainingsverfahren nachfolgende Schritte, umfasst.
Denkbar ist, dass das oben beschriebene künstliche neuronale Netz, optional das CNN, mittels zumindest teilweise überwachten Lernens (engl. supervised learning bzw. semi-supervised learning) trainiert bzw. angelernt wird. Bei dem überwachten Lernen werden Eingabedaten auf Ausgabedaten abgebildet. Dies erfolgt auf der Grundlage von Eingabe-Ausgabe-Paaren, den sog. Trainingsdaten. Beim überwachten Lernen wird eine Differenz zwischen Eingabedaten und Ausgabedaten ermittelt und diese Differenz führt zu einer Anpassung des neuronalen Netzes mit dem Ziel, die Differenz zu minimieren. Dafür wird eine sog. Verlustfunktion optimiert, d.h. minimiert. Bei der Verlustfunktion kann es sich um eine (optional invertierte) logarithmische Funktion handeln (da solche logarithmischen Funktionen große Abweichungen von Ist zu Soll stärker bestrafen als kleine Abweichungen).
Das Trainieren kann ein Anpassen von Model-Parametern des auf künstlicher Intelligenz beruhenden Algorithmus durch Optimieren pixelweiser Verlustfunktionen umfassen.
Eine Verlustfunktion (engl. loss oder merit function) quantifiziert die Unterschiede bzw. Abweichungen zwischen der Ausgabe des Netzwerks (sog. Vorhersage) und der gewünschten Ausgabe (sog. Grundwahrheit bzw. engl. ground truth). Standardverlustfunktionen für die semantische Segmentierung sind die Kreuzentropie (cross-entropy, CE), der Würfelkoeffizient (engl. dice (coefficient) loss) und der fokale Verlust (engl. focal loss). Eine Optimierungsfunktion nimmt eine Ausgabe der Verlustfunktion, den sog. Verlustwert, als Eingang, und passt die Modellparameter während des Trainingsprozesses iterativ auf der Grundlage des Verlustwertes so an, dass dieser im Laufe des Trainings kleiner wird. Gängige Optimierungsfunktionen sind u.a. der standardmäßige stochastische Gradientenabstieg (engl. standard Stochastic Gradient Descent, SGD), SGD mit Momentum und Adam.
Diese oben beschriebenen Verlustfunktionen sind grundsätzlich für jede Segmentierungsaufgabe geeignet und berücksichtigen nicht explizit ein Fachwissen über bzw. für den vorliegenden Fall spezifische Randbedingungen wie u.a. eine zu erwartende Form von Objekten bzw. Augenstrukturen, deren Grenzflächen zu identifizieren sind, einen Beleuchtungsprozess und/oder eine Anzahl der zu identifizierenden Augenstrukturen und/oder Grenzflächen. Speziell auf den vorliegenden Anwendungszweck angepasste Verlustfunktionen können diese Anwendungsbeschränkungen enthalten bzw. berücksichtigen (z.B. dass eine hintere Hornhautfläche in den Bilddaten rechts der vorderen Hornhautfläche angeordnet sein sollte; dass bei normalen und kleinen Pupillen Linsengrenzflächen bzw. Grenzflächen der Linse im mittleren Teil und nicht im obersten und untersten Teil des B-Scans angeordnet sein sollten, da in diesen Bereichen die Iris angeordnet ist; dass Intensitätswerte und axiale Intensitätsgradienten für Vordergrundregionen eine geringe Variation aufweisen sollten, zumindest für Hornhaut und IOL; und/oder dass die Hornhautoberflächen bzw. die vordere und hintere Hornhautgrenzfläche nahezu parallel verlaufen und konvex sind (größere Abweichungen können bei Hornhauterkrankungen wie Keratokonus auftreten); und/oder bei phaken (IOL-) Augen die vordere Linsenoberfläche/Linsengrenzfläche in der Regel konvex und die hintere Linsenoberfläche/Grenzfläche in der Regel konkav ist und in der Regel einen steileren Krümmungsradius als die vordere Linsenoberfläche/Linsengrenzfläche aufweist). Dabei kann auch berücksichtigt werden, dass im Rahmen der ophthalmologischen Diagnostik bspw. OCT-Aufnahmen entstehen oder auch Kamerabilder des Auges, die mit einem anderen hardwareseitigen Beleuchtungskonzept aufgenommen werden. Im hier genannten spezifischen Fall können auch unterschiedliche Wellenlängen verschiedene OCT-Systeme genannt werden, mit denen OCT-Aufnahmen realisiert werden. Dies kann in der Verlustfunktion berücksichtigt werden. Dabei kann auch ein Wissen über ein Aussehen bestimmter Gewebe in OCT-Aufnahmen berücksichtig werden, d.h. wie diese auf die OCT-Bildgebung bzw. Beleuchtung reagieren. Bsp. sollten Cornea und IOL in ihren Pixelintensitäten nur wenig variieren. Solches Applikationswissen kann explizit in der Verlustfunktion berücksichtigt werden (z.B. indem Klassengrenzen nur an Bereichen mit starken Variationen vorhergesagt werden sollten, und in Regionen geringer Intensitätsvariation bestraft werden).
Auf den vorliegenden Anwendungsfall angepasste Verlustfunktionen können auch weitere biometrische Parameter des menschlichen Auges für den Vergleich von Vorhersage und Annotation besonders berücksichtigen, wie z.B. eine Achsenlänge des menschlichen Auges, eine Vorderkammertiefe, eine Dicke der Hornhautmitte, eine IOL-Dicke, eine Hornhautkrümmung usw.). Zusätzlich oder alternativ kann berücksichtigt werden, dass die Augenstruktur räumlich getrennte anteriore und posteriore Grenzen der Hornhaut, anteriore und posteriore Grenzen der phaken Linse, anteriore und posteriore Grenzen der pseudophaken Linse und eine einzelne Netzhautschicht umfasst.
Zum Trainieren des auf künstlicher Intelligenz beruhenden Algorithmus können Trainingsdaten umfassend, optional pixelweise, gelabelte Bilddaten verwendet werden, die mittels einer optischen Kohärenztomographie entlang einer gesamten Achslänge des Auges, umfassend die Cornea (1 ), die Linse (2) und die Retina (3), oder entlang eines Teils der gesamten Achslänge des Auges, umfassend die Linse (2) und die Cornea (1 ) und/oder die Retina (3), aufgenommen wurden.
Während des Trainings des Modells können die Bilder bzw. Bilddaten der Trainingsdaten leicht zufällig variiert (engl. slightly randomly varied) werden, um die verfügbaren Trainingsdaten künstlich zu vergrößern. Dieses Variieren wird auch als Augmentierung bezeichnet (engl. augmentation). Gängige Verfahren hierfür sind u.a. zufällige Kontrastvariationen (engl. random contrast variation), Intensitätsvariationen (engl. intensity variation), leichtes zufälliges Beschneiden (engl. slight random cropping), leichtes zufälliges Drehen (engl. slight random rotation).
In den Trainingsdaten können die Pixel, die der Grenzfläche der Augenstruktur zuzuordnen sind, als solche gelabelt sein.
Zusätzlich oder alternativ zu einem (komplett) überwachten Lernen, bei dem alle Trainingsbilder vollständige pixelweise Annotationskarten haben sollten, können halbüberwachte Lerntechniken (engl. semi-supervised learning) angewandt werden, bei denen mittels annotierter/gelabelter und nicht gelabelter Bilder gelernt wird, z. B. durch Erzwingen konsistenter Vorhersagen für das Originalbild und ein leicht transformiertes Bild (z. B. leicht beschnitten, engl. slightly cropped). Folglich können mehrere gelabelte und, ggf. vergleichsweise viele, nicht gelabelte Bilder für das Training verwendet werden, um den gesamten Trainingsdatensatz erheblich zu vergrößern. Denkbar ist, dass die Trainingsdaten zumindest teilweise manuell gelabelt werden. Denkbar ist optional, dass die Trainingsdaten durch Bilddaten erhalten werden, die zunächst mittels eines bereits vorhandenen/herkömmlichen Segmentierungsalgorithmus segmentiert werden und diese vor-segmentierten Bilddaten (optional manuell) nachgelabelt werden, d.h. der Segmentierungsvorschlag des bereits vorhandenen Segmentierungsalgorithmus überprüft und ggf. korrigiert wird. So müssen nur diejenigen segmentierten Bilddaten manuell gelabelt werden, die vom herkömmlichen Segmentierungsalgorithmus inkorrekt segmentiert wurden. Diese korrigierten segmentierten Bilddaten können als Trainingsdaten in den Trainingsprozess aufgenommen werden, wodurch das Segmentierungsmodell iterativ verbessert werden kann und damit eine Wahrscheinlichkeit einer falschen Segmentierung mit dem Segmentierungsmodell minimiert wird.
Das oben Beschriebene lässt sich mit anderen Worten und auf eine konkretere, die Offenbarung nicht einschränkende Weise wie nachfolgend dargelegt zusammenfassen.
Ziel ist eine Identifizierung räumlich getrennter Augenstrukturen innerhalb eines OCT-B-Scans des gesamten Auges in Biometrie-Anwendungen mit OCT- Bildsegmentierung durch Mittel der künstlichen Intelligenz bzw. des maschinellen Lernens Maschinenlernen, optional mittels Deep-Learning-Methoden.
Es wird vorgeschlagen Oberflächen von Bestandteilen/Strukturen eines menschlichen Auges in OCT-B-Scans mit einem auf maschinellen Lernen beruhenden Segmentierungsmodell anstelle eines herkömmlichen, klassischen Verfahren der Bildverarbeitung zu segmentieren.
Dazu wird vorgeschlagen zunächst einen Trainingsdatensatz bzw. Trainingsdaten zu erstellen, indem OCT-B-Scans von klinischen Studien gesammelt werden, und, optional händisch, auf einer Pixelbasis (d.h.je Pixel) gelabelt werden.
Mit einer Modellarchitektur (z.B. dem oben beschriebenen U-net) und den Trainingsdaten (annotierte/gabelte B-Scans) können Modellparameter eines Modells durch Optimierung pixelweiser Verlustfunktionen (z.B. binäre Kreuzentropie) angepasst werden.
Nach dem Training kann das trainierte Modell auf neue/andere OCT-B-Scans angewendet werden, um mittels des Models für jedes Pixel des OCT-B-Scans eine Wahrscheinlichkeit vorherzusagen, dass dieses Pixels zu einer Oberfläche der zu identifizierenden anatomischen Augenstrukturen gehört.
Die vorhergesagte bzw. bestimmte Wahrscheinlichkeitskarte kann unter Verwendung eines bestimmten Schwellenwerts (z.B. 0,5) diskretisiert werden, um die Oberflächenpixel der Augenstrukturen (d.h. die Pixel mit einer hohen Wahrscheinlichkeit) zu identifizieren.
An das Ergebnis der diskreten Vorhersage können Polynome (z. B. Parabeln) angepasst werden, um die schließlich identifizierte Oberfläche für die Berechnung der biometrischen Parameter zu beschreiben. Es kann mehrere Polynomkandidaten für jede der jeweiligen Flächen geben (z.B. mehrere Kandidaten für die hintere Linsenfläche). Da eine OCT-Messung des Auges mehrere einzelne B-Scans (z.B. 18 B-Scans, 3 mal 6 Meridiane/Orientierungen) aufweisen kann, können die plausibelsten Oberflächenpolynome ausgewählt werden, indem sichergestellt wird, dass die Ergebnisse über alle einzelnen B-Scans hinweg konsistent sind, ggf. einschließlich einer Überprüfung auf anatomisch plausible Längen und Dicken.
Ferner wird eine Vorrichtung zur Datenverarbeitung, umfassend Mittel zur Ausführung eines oder beider der oben beschriebenen Verfahren bereitgestellt. Die Vorrichtung kann eine Rechenvorrichtung, optional ein Computer, sein oder umfassen, die/der Teil einer Vorrichtung sein kann, die ausgestaltet ist, Bilddaten eines menschlichen Auges mittels einer optischen Kohärenztomographie aufzunehmen.
Ferner bezieht sich die Offenbarung auch, entweder in Kombination mit oder unabhängig von den oben beschriebenen Verfahren und der Vorrichtung, auf einen Trainingsdatensatz zum Trainieren eines auf künstlicher Intelligenz beruhenden Algorithmus, der ausgestaltet ist, um zur biometrischen Analyse eines menschlichen Auges basierend auf Bilddaten, die mittels einer optischen Kohärenztomographie aufgenommen wurden, eine Wahrscheinlichkeitskarte basierend auf den Bilddaten zu erstellen, wobei die Wahrscheinlichkeitskarte für Pixel der Bilddaten jeweils einen Wahrscheinlichkeitswert dafür aufweist, ob das jeweilige Pixel einer Grenzfläche einer Augenstruktur zuzuordnen ist.
Ferner bezieht sich die Offenbarung auch, entweder in Kombination mit oder unabhängig von den oben beschriebenen Verfahren und dem oben beschriebenen Trainingsdatensatz und der Vorrichtung, auf ein Segmentierungsmodell aufweisend ein künstliches neuronales Netz, wobei das Segmentierungsmodell unter Zuhilfenahme des künstlichen neuronalen Netzes ausgestaltet ist, um zur biometrischen Analyse eines menschlichen Auges basierend auf Bilddaten, die mittels einer optischen Kohärenztomographie aufgenommen wurden, eine Wahrscheinlichkeitskarte basierend auf den Bilddaten zu erstellen, wobei die Wahrscheinlichkeitskarte für Pixel der Bilddaten jeweils einen Wahrscheinlichkeitswert dafür aufweist, ob das jeweilige Pixel einer Grenzfläche einer Augenstruktur zuzuordnen ist.
Ferner bezieht sich die Offenbarung auch, entweder in Kombination mit oder unabhängig von den oben beschriebenen Verfahren und dem oben beschriebenen Trainingsdatensatz und der Vorrichtung und dem Segmentierungsmodell, auf ein Computerprogramm bzw. ein Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, zur biometrischen Analyse eines menschlichen Auges basierend auf Bilddaten, die mittels einer optischen Kohärenztomographie aufgenommen wurden, eine Wahrscheinlichkeitskarte basierend auf den Bilddaten zu erstellen, wobei die Wahrscheinlichkeitskarte für Pixel der Bilddaten jeweils einen Wahrscheinlichkeitswert dafür aufweist, ob das jeweilige Pixel einer Grenzfläche einer Augenstruktur zuzuordnen ist
Ferner bezieht sich die Offenbarung auch, entweder in Kombination mit oder unabhängig von den oben beschriebenen Verfahren und dem oben beschriebenen Trainingsdatensatz und der Vorrichtung und dem Segmentierungsmodell und dem Computerprogramm, auf ein computerlesbares Medium, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, zur biometrischen Analyse eines menschlichen Auges basierend auf Bilddaten, die mittels einer optischen Kohärenztomographie aufgenommen wurden, eine Wahrscheinlichkeitskarte basierend auf den Bilddaten zu erstellen, wobei die Wahrscheinlichkeitskarte für Pixel der Bilddaten jeweils einen Wahrscheinlichkeitswert dafür aufweist, ob das jeweilige Pixel einer Grenzfläche einer Augenstruktur zuzuordnen ist.
Denkbar ist, dass es sich bei dem computerlesbaren Medium um ein physisches Speichermedium, wie z.B. einen USB-Stick handelt. Denkbar ist aber auch, dass die Befehle drahtlos, z.B. über das Internet, bereitgestellt werden.
Optional ist denkbar, dass regelmäßig Updates des Computerprogramms bereitgestellt werden, z.B. über das computerlesbare Speichermedium. Denkbar ist auch, dass die oben beschriebene Vorrichtung ausgestaltet ist, aufgenommen und mit dem Computerprogramm segmentierte Bilddaten und deren zugehörige Rohdaten an einem vorbestimmten Empfänger, z.B. den Hersteller der Vorrichtung, zu senden, sodass dieser diese Information für die Updates nutzen kann. Dies bietet den Vorteil, dass die Updates einer Zertifizierung unterzogen werden können.
Das oben mit Bezug zu den Verfahren Beschriebene gilt analog auch für die Vorrichtung, den Trainingsdatensatz, das Segmentierungsmodell, das Computerprogramm und das computerlesbare Medium und umgekehrt.
Ferner bezieht sich die Offenbarung auch, entweder in Kombination mit oder unabhängig von den oben beschriebenen Verfahren und dem oben beschriebenen Trainingsdatensatz und der Vorrichtung und dem Segmentierungsmodell und dem Computerprogramm und dem computerlesbaren Medium, auf ein computerimplementiertes Verfahren zum Trainieren eines auf künstlicher Intelligenz beruhenden (Segmentierungs-) Modells bzw. Algorithmus. Das Trainieren des auf künstlicher Intelligenz beruhenden Modells erfolgt so, dass das Modell nach dem Trainieren ausgestaltet ist, um eine Wahrscheinlichkeitskarte basierend auf mittels einer optischen Kohärenztomographie aufgenommener Bilddaten eines Auges zu erstellen, wobei die Wahrscheinlichkeitskarte für Pixel der Bilddaten jeweils einen Wahrscheinlichkeitswert dafür aufweist, ob das jeweilige Pixel einer Grenzfläche Augenstruktur zuzuordnen ist, wobei es sich bei der Augenstruktur um eine Linse (2), optional eine natürliche Linse und/oder eine künstliche Linse, und eine Cornea (1 ) und/oder eine Retina (3) des Auges handelt.
Das oben Beschriebene gilt analog auch für das (Trainings-) Verfahren zum Trainieren des auf künstlicher Intelligenz beruhenden (Segmentierungs-) Modells und umgekehrt.
Die oben genannten und im Folgenden erläuterten Merkmale und Ausführungsformen sind dabei nicht nur als in den jeweils explizit genannten Kombinationen offenbart anzusehen, sondern sind auch in anderen technisch sinnhaften Kombinationen und Ausführungsformen vom Offenbarungsgehalt umfasst.
Weitere optionale Einzelheiten und optionale Vorteile der Offenbarung sollen nun anhand von den folgenden optionalen Beispielen und optionalen Ausführungsformen der Offenbarung mit Bezug auf die Figuren näher erläutert werden.
Nachfolgend wird dazu eine Ausführungsform mit Bezug zu Figuren 1 bis 4 beschrieben.
Fig. 1 zeigt schematisch ein Ablaufdiagramm eines computerimplementierten Verfahrens zur biometrischen Analyse eines menschlichen Auges mit einem vorgeschalteten Trainingsverfahren für einen auf künstlicher Intelligenz beruhenden Algorithmus, der während des Verfahrens zur Analyse von Bilddaten des Auges zum Einsatz kommt,
Fig. 2 zeigt schematisch eine Architektur eines in dem Verfahren aus Figur 1 verwendeten beispielhaften Segmentierungsmodels, Fig. 3 zeigt schematisch einen OCT-B-Scan zusammen mit einem zugehörigen gelabelten OCT-B-Scan, die als ein Teil eines Trainingsdatensatzes im Trainingsverfahren aus Figur 1 verwendet werden, und
Fig. 4 zeigt schematisch einen OCT-B-Scan zusammen mit einer zugehörigen Segmentierungskarte.
In Figur 1 ist ein Ablaufdiagramm des offenbarungsgemäßen computerimplementierten Verfahrens gezeigt, welches sich grob in zwei Teile untergliedern lässt. Der in Figur 1 links dargestellte Teil des Verfahrens entspricht dabei einem Ablauf eines Verfahrens zum Trainieren eines auf künstlicher Intelligenz beruhenden Algorithmus (nachfolgend als Trainingsverfahren bezeichnet) und der in Figur 1 rechts dargestellte Teil des Verfahrens betrifft ein Verfahren zur biometrischen Analyse eines menschlichen Auges basierend auf Bilddaten, die mittels des während des Trainingsverfahrens trainierten Algorithmus segmentiert werden (nachfolgend als Analyseverfahren bezeichnet).
Ziel des Trainingsverfahrens ist es, dass der auf künstlicher Intelligenz beruhende Algorithmus nach Abschluss des Trainingsverfahrens mittels optischer Kohärenztomographie aufgenommene Bilddaten so segmentieren kann, dass Grenzstrukturen bzw. Grenzflächen von vorbestimmten Augenstrukturen, hier einer Retina, einer künstlichen und/oder körpereigenen Linse sowie einer Hornhaut des menschlichen Auges, möglichst korrekt einem Vordergrund zugeordnet werden und alle anderen in den Bilddaten enthaltenen Strukturen einem Hintergrund zugeordnet werden.
Der auf künstlicher Intelligenz beruhende Algorithmus umfasst vorliegend ein sog. U- Net 3 (s. auch oben), welches als eine Architektur aufweisend ein CNN für eine biomedizinische Bildsegmentierung beschrieben werden kann und im Detail in Figur 2 dargestellt ist. Das ll-Net 3 wird nachfolgend auch als Segmentierungsmodel bezeichnet. Das ll-Net 3 ist, wie oben beschrieben, lediglich ein konkretes Beispiel für ein Segmentierungsmodel und es können auch andere Segmentierungsmodelle verwendet werden.
Das ll-Net 3 ist U-förmig aufgebaut und weist einen kontrahierenden Pfad (der auch als Encoder bezeichnet wird, linke Seite in Figur 2) und einen expandierenden Pfad (der auch als Decoder bezeichnet wird, rechte Seite in Figur 2) auf. Jedes schwarze Kästchen entspricht einer mehrkanaligen Merkmalskarte (engl. feature map). Die Anzahl der Kanäle ist am oberen Rand des jeweiligen Kästchens angegeben. Die x- y-Größe der Daten des jeweiligen Kästchens ist am unteren linken Rand des jeweiligen Kästchens angegeben. Weiße Kästchen stellen kopierte Merkmalskarten dar. Die Pfeile kennzeichnen die verschiedenen Operationen. Der kontrahierende Pfad erhält als Eingabe zu segmentierende Bilddaten und folgt der typischen Architektur eines CNN's. Er umfasst eine wiederholte Anwendung von zwei 3x3- Faltungen (ungepolsterte bzw. engl. unpadded Faltungen), die in Figur 2 durch horizontale Pfeile nach rechts dargestellt sind, jeweils gefolgt von einer gleichgerichteten linearen Einheit bzw. engl. rectified linear unit (ReLU) und einer 2x2-Max-Pooling-Operation mit Stride 2 für das Downsampling, die mit einem vertikalen Pfeil nach unten dargestellt sind. Bei jedem Downsampling-Schritt wird die Anzahl der Merkmalskanäle verdoppelt. Jeder Schritt im Expansionspfad umfasst ein Upsampling der Merkmalskarte, gefolgt von einer 2x2-Faltung (engl. up-convolution), die die Anzahl der Merkmalskanäle halbiert und durch vertikale Pfeile nach oben dargestellt ist, einer Verkettung mit der entsprechend beschnittenen Merkmalskarte aus dem Kontraktionspfad und zwei 3x3-Faltungen, jeweils gefolgt von einer ReLU. Die Beschneidung ist vorgesehen, da bei jeder Faltung Randpixel verloren gehen. In der letzten Schicht wird eine 1x1 -Faltung verwendet, um jeden 64-Komponenten- Merkmalsvektor auf die gewünschte Anzahl von Klassen, hier zwei Klassen (d.h. Vordergrund und Hintergrund), abzubilden. Ausgegeben wird die Segmentierungskarte. Insgesamt weist das Segmentierungsmodel 23 faltende Schichten/Layer auf. Um eine nahtlose Kachelung der Ausgabesegmentierungskarte zu ermöglichen, wird die Größe der Eingabekacheln so gewählt, dass alle 2x2 Max- Pooling-Operationen auf eine Schicht mit einer geraden x- und y-Größe angewendet werden. Die oben beschriebenen Parameter sind nur beispielhaft genannt und können je nach Anwendungszweck variiert werden. Wie sich aus Figur 1 ergibt, weist das Trainingsverfahren des oben beschriebenen U- Nets 3 im Wesentlichen zwei Schritte S1 und S2 auf.
In einem ersten Schritt S1 des Trainingsverfahrens wird ein Trainingsdatensatz zum Trainieren des auf künstlicher Intelligenz beruhenden Algorithmus, hier des ll-Nets 3, erstellt.
Dazu werden mittels optischer Kohärenztomographie aufgenommene Bilddaten, beispielsweise aus bereits durchgeführten klinischen Studien, eines gesamten Auges, d.h. die das Auge entlang seiner gesamten axialen Länge abbilden, annotiert bzw. gelabelt. Dies erfolgt vorliegend auf einer Pixel-Basis, d.h. es werden die Pixel in den Bilddaten markiert, die das ll-Net 3 der Grenzstruktur 11 , 12, 21 , 22, 41 der jeweiligen Augenstruktur 1 , 2, 4 (s. Figuren 3 und 4) zuordnen soll. Mit anderen Worten, nur die Pixel des Vordergrunds werden markiert. Dies ist beispielhaft für eine Hornhaut 1 , eine Linse 2 und eine Retina 4 in Figur 3 dargestellt. In Figur 3 oben ist ein Ausschnitt eines OCT-B-Scan (es sind auch OCT-C-Scans oder OCT-A-Scans denkbar) darrgestellt, wobei in diesem die Hornhaut 1 , die Linse 2 und die Retina 4 zu sehen sind. In Figur 3 unten ist dieser OCT-B-Scan gelabelt dargestellt, wobei jeweils die anteriore (links in Figur 3) Grenzfläche 11 , 21 , 41 und die posteriore (rechts in Figur 3) Grenzfläche 12, 22 der Hornhaut 1 , der Linse 2 und der Retina 4 markiert sind (für Retina 4 ausschließlich die anteriore Grenzfläche 41 ). Es sind dabei ausschließlich die Grenzflächen 11 , 12, 21 , 22, 41 der Augenstrukturen 1 , 2, 4 markiert, da nur diese dem Vordergrund zuzuordnen sind. Alle anderen Bereiche des OCT-B-Scans sind nicht markiert und folglich dem Hintergrund zuzuordnen.
Im Allgemeinen sei angemerkt, dass die Hornhautdicke, d. h. ein Abstand von der anterioren Grenzfläche 11 zu der posterioren Grenzfläche 12 der Hornhaut 1 kann bei einem menschlichen Auge von 200 bis 1200 pm (üblicherweise um die 500 pm) betragen. Ein Abstand von der anterioren Grenzfläche 11 der Hornhaut 1 zu der anterioren Grenzfläche 21 der Linse 2 kann bei einem menschlichen Auge von 700 bis 8000 pm (üblicherweise um 4000 pm) betragen. Eine Linsendicke, d. h. ein Abstand von der anterioren Grenzfläche 21 zu der posterioren Grenzfläche 2 der Linse 2 kann bei einem menschlichen Auge von 1 mm bis 10 mm (üblicherweise um 4500 bis 5000 pm) betragen. Eine Gesamtlänge, d. h. von der anterioren Grenzfläche 11 der Hornhaut 1 bis zu der anterioren Grenzfläche 41 der Retina 4, kann 14 bis 38 mm (üblicherweise um 23 bis 25 mm) betragen.
Der Trainingsdatensatz für das ll-Net 3 weist mehrere dieser in Figur 3 dargestellten Paare aus OCT-B-Scan (Figur 3 oben) zusammen mit dem zugehörigen gelabelten OCT-B-Scan (Figur 3 unten) auf.
Der wie oben beschrieben erstellte Trainingsdatensatz wird nun in einem zweiten Schritt S2 des Trainingsverfahrens zum Trainieren des ll-Nets 3 verwendet. Dazu werden die einzelnen Datensätze/Paare des Trainingsdatensatzes in das ll-Net 3 eingegeben. Das ll-Net 3 gibt daraufhin für den eingegebenen Datensatz eine Wahrscheinlichkeitskarte aus, die einen Wahrscheinlichkeitswert für jedes Pixel des eingegebenen OCT-B-Scans enthält, ob dieses Pixel zum Vordergrund (oder zum Hintergrund) gehört. Die diskretisierte Wahrscheinlichkeitskarte kann auch als Segmentierungskarte bezeichnet werden. Die Segmentierungskarte wird durch einen Argmax-Operator oder durch einen Vergleich mit einem Schwellenwert diskretisiert, d.h. es erfolgt ein pixelweises Vergleichen der Wahrscheinlichkeitswerte mit einem Grenzwert und ein Zuordnen der Pixel zu der Grenzfläche der jeweiligen Augenstruktur 1 , 2, deren Wahrscheinlichkeitswert den Grenzwert übersteigt. Der Grenzwert beträgt vorliegend 0,5. Die Wahrscheinlichkeitskarte wird im Lernprozess mit der gewünschten Wahrscheinlichkeitskarte pixelweise verglichen, d.h. für jedes Pixel wird verglichen, ob dieses den korrekten Wahrscheinlichkeitswert aufweist, sodass es dem Vordergrund oder dem Hintergrund korrekt zugeordnet werden kann. Die gewünschte Wahrscheinlichkeitskarte wird dabei aus dem gelabelten OCT-B- Scan (s. Figur 3 unten) erstellt und kann ideale Wahrscheinlichkeitswerte aufweisen oder daraus bestehen (z.B. 100% und 0%). Das Ergebnis dieses Soll-Ist-Vergleichs wird pixelweise in eine Verlustfunktion (z.B. cross-entropy-loss) eingegeben und diese Verlustfunktionen werden im Laufe des Trainings optimiert, d.h. die Parameter des U-Nets werden so angepasst, dass die Ausgabe der Verlustfunktion minimiert wird. Ist ein gewünschter Genauigkeitsgrad des ll-Nets 3 erreicht, so endet das Trainingsverfahren und das trainierte ll-Net 3 kann in dem nachfolgend im Detail beschriebenen computerimplementiertes Verfahren zur biometrischen Analyse eines menschlichen Auges basierend auf Bilddaten, die mittels einer optischen Kohärenztomographie aufgenommen wurden, dem sog. Analyseverfahren, eingesetzt werden.
Wie sich aus Figur 1 ergibt, weist dieses Verfahren im Wesentlichen fünf Schritte S3 - S7 auf. Die ersten beiden Schritte S3 und S4 des Analyseverfahrens wurden bereits oben mit Bezug zum Trainingsverfahren beschrieben und werden daher nicht mehr im Detail beschrieben.
Das heißt, in dem ersten Schritt S3 des Analyseverfahrens werden Bilddaten eines OCT-B-Scans eines menschlichen Auges, der z.B. in Vorbereitung auf eine Kataraktoperation aufgenommen wurde und dem trainierten ll-Net 3 unbekannt ist, in das trainierte ll-Net 3 eingegeben und dieses erstellt in oben beschriebener Weise eine Wahrscheinlichkeitskarte für den eingegebene OCT-B-Scan, wobei die Wahrscheinlichkeitskarte (wie oben beschrieben) für jedes Pixel des OCT-B-Scans jeweils einen Wahrscheinlichkeitswert dafür aufweist, ob das jeweilige Pixel einer Grenzfläche 11 , 12, 21 , 22, 41 der Hornhaut 1 , der Linse 2 oder der Retina 4 (s. Figuren 3 und 4) zuzuordnen ist.
In dem zweiten Schritt S4 des Analyseverfahrens wird diese Wahrscheinlichkeitskarte, z.B. in oben beschriebener Weise durch pixelweises Vergleichen des Wahrscheinlichkeitswertes mit einem Grenzwert, diskretisiert. Solch eine diskretisierte Segmentierungskarte 5 ist beispielhaft, vereinfacht, rein schematisch und nicht maßstabsgetreu in Figur 4 unten für einen in Figur 4 oben dargestellten OCT-B-Scan, der entlang einer gesamten Achslänge AL eines menschlichen Auges aufgenommen wurde, dargestellt. In der diskretisierten Segmentierungskarte 5 ist jedes Pixel, dessen Wahrscheinlichkeitswert den Grenzwert übersteigt, der Grenzfläche 11 , 12, 21 , 22, 41 der Hornhaut 1 , der Linse 2 oder der Retina 4 zugeordnet, d.h. weist den Wert „1“ auf, oder ist als Hintergrund klassifiziert ist, d.h. weist den Wert „0“ auf. In einem dritten Schritt S5 des Analyseverfahrens erfolgt ein Bestimmen von Positionsdaten der Pixel, die der Grenzfläche der Augenstruktur zugeordnet sind, d.h. die den Wert „1“ aufweisen. Dies kann, wie in Figur 4 dargestellt, über den jeweiligen X und Y Wert des Pixels erfolgen.
In einem vierten Schritt S6 des Analyseverfahrens erfolgt ein Bestimmen einer Kurve (in Figur 4 mit gestrichelter Linie dargestellt) für jede der identifizierten Grenzstrukturen 11 , 12, 21 , 22, 41 basierend auf den im dritten Schritt S5 bestimmten Positionsdaten, wobei die Kurven 11 , 12, 21 , 22, 41 eine Lage, Krümmung usw. der jeweiligen Grenzfläche 11 , 12, 21 , 22, 41 der jeweiligen Augenstruktur 1 , 2, 4 angibt. Denkbar ist, dass auch Abstände zwischen den und/oder Breiten der Augenstrukturen 1 , 2, 4 basierend auf einer Lage der Bestimmten Grenzflächen bestimmt werden. So ist beispielhaft in Figur 4 oben dargestellt, dass:
- eine zentrale Hornhautdicke CCT, die von der anterioren Grenzfläche 11 zur posterioren Grenzfläche 12 der Hornhaut 1 reicht,
- eine Tiefe/Breite ACD der (vorderen) Augenkammer, die von der anterioren Grenzfläche 11 der Hornhaut 1 zu der anterioren Grenzfläche 21 der Linse 2 reicht,
- eine Linsendicke LT, die von der anterioren Grenzfläche 21 zu der posterioren Grenzfläche 22 der Linse 2 reicht, und
- die axiale Länge bzw. die Achslänge AL, die von ACS bis RPE reicht, bestimmt wurden.
In einem (optionalen) fünften Schritt S7 erfolgt ein Bestimmen von Analyse-Bilddaten durch Überlagern der basierend auf den mittels der optischen Kohärenztomographie aufgenommenen Bilddaten (Figur 4 oben) mit den bestimmten Kurven 11 , 12, 21 , 22, 41 , sodass die Lage der Grenzflächen 11 , 12, 21 , 22, 41 der Augenstrukturen 1 , 2, 4 in Form der bestimmten Kurven 11 , 12, 21 , 22, 41 in den Analyse-Bilddaten enthalten ist. Das oben beschriebene Analyseverfahren kann beispielsweise präoperativ zur Bestimmung biometrischer Parameter eines zu operierenden Auges und postoperativ, d.h. zur Überprüfung des operativen Erfolgs, bei Kataraktoperationen eingesetzt werden, da dieses eine korrekte und robuste Segmentierung der Oberflächen der anatomischen Struktur des Auges im OCT-Scan, optional im OCT- B-Scan, ermöglicht.
Bezugszeichenliste
1 Hornhaut 11 anteriore Grenzfläche der Hornhaut
12 posteriore Grenzfläche der Hornhaut
2 Linse
21 anteriore Grenzfläche der Linse
22 posteriore Grenzfläche der Linse 3 Segmentierungsmodel, hier U-Net
4 Retina
41 anteriore Grenzfläche der Retina/des retinalen Pigmentepithels
5 diskretisierte Segmentierungskarte
AL gesamte Achslänge Auge ACD Tiefe/Breite der Augenkammer
CCT zentrale Hornhautdicke
LT Linsendicke
S1-S7 Verfahrensschritte

Claims
Patentansprüche Computerimplementiertes Verfahren zur biometrischen Analyse eines Auges basierend auf Bilddaten, die mittels einer optischen Kohärenztomographie aufgenommen wurden, wobei das Verfahren aufweist:
- ein Erstellen einer Wahrscheinlichkeitskarte basierend auf den Bilddaten mit Hilfe eines auf künstlicher Intelligenz beruhenden Algorithmus, wobei die Wahrscheinlichkeitskarte für Pixel der Bilddaten jeweils einen Wahrscheinlichkeitswert dafür aufweist, ob das jeweilige Pixel einer Grenzfläche (11 , 12, 21 , 22, 41 ) einer Augenstruktur (1 , 2, 3) zuzuordnen ist, dadurch gekennzeichnet, dass
- es sich bei der Augenstruktur um eine Linse (2), optional eine natürliche Linse und/oder eine künstliche Linse, und eine Cornea (1 ) und/oder eine Retina (3) des Auges handelt. Computerimplementiertes Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die mittels der optischen Kohärenztomographie aufgenommen Bilddaten mittels eines OCT-Biometrie-Scans entlang einer gesamten Achslänge des Auges, umfassend die Cornea (1 ), die Linse (2) und die Retina (3), oder entlang eines Teils der gesamten Achslänge des Auges, umfassend die Linse (2) und die Cornea (1 ) und/oder die Retina (3), aufgenommen wurden. Computerimplementiertes Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Verfahren ein pixelweises Vergleichen der Wahrscheinlichkeitswerte mit einem Grenzwert und ein Zuordnen der Pixel zu der Grenzfläche (11 , 12, 21 , 22, 41 ) der Augenstruktur (1 , 2, 3) aufweist, deren Wahrscheinlichkeitswert den Grenzwert übersteigt. Computerimplementiertes Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das Verfahren aufweist:
- Bestimmen von Positionsdaten der Pixel, die der Grenzfläche (11 , 12, 21 , 22, 41 ) der Augenstruktur (1 , 2, 3) zugeordnet sind, und
- Bestimmen einer Kurve basierend auf den Positionsdaten, wobei die Kurve eine Lage und/oder eine Krümmung der Grenzfläche (11 , 12, 21 , 22, 41 ) der Augenstruktur (1 , 2, 3) angibt.
5. Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Verfahren ein Bestimmen von Analyse- Bilddaten durch Überlagern der basierend auf den mittels der optischen Kohärenztomographie aufgenommenen Bilddaten mit der bestimmten Kurve aufweist, sodass die Lage der Grenzfläche (11 , 12, 21 , 22, 41 ) der Augenstruktur (1 , 2, 3) in Form der bestimmten Kurve in den Analyse- Bilddaten enthalten ist.
6. Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass der auf künstlicher Intelligenz beruhende Algorithmus zumindest zwei Segmentierungsmodelle für jeweils einen Zustand des zu segmentierenden Auges aufweist und das Verfahren ferner umfasst:
- Bestimmen eines Zustands des Auges, optional basierend auf den Bilddaten, und
- Auswahl des entsprechenden Segmentierungsmodells basierend auf dem bestimmten Augenzustand aufweisen.
7. Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass der auf künstlicher Intelligenz beruhende Algorithmus zumindest zwei Segmentierungsmodelle für jeweils einen IOL- Typ und/oder eine IOL-Geometrie aufweist und das Verfahren ferner umfasst:
- Bestimmen des IOL-Typs und/oder der IOL-Geometrie, optional basierend auf den Bilddaten, und - Auswahl des entsprechenden Segmentierungsmodells basierend auf dem bestimmten des IOL-Typs und/oder der bestimmten IOL- Geometrie aufweisen.
8. Computerimplementiertes Verfahren, dadurch gekennzeichnet, dass das Verfahren ein Trainieren des auf künstlicher Intelligenz beruhenden Algorithmus nach einem der Ansprüche 1 bis 7 aufweist.
9. Computerimplementiertes Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass das Trainieren ein Anpassen von Model-Parametern des auf künstlicher Intelligenz beruhenden Algorithmus durch Optimieren pixelweiser Verlustfunktionen umfasst.
10. Computerimplementiertes Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass zum Trainieren des auf künstlicher Intelligenz beruhenden Algorithmus Trainingsdaten umfassend, optional pixelweise, gelabelte Bilddaten verwendet werden, die mittels einer optischen Kohärenztomographie entlang einer gesamten Achslänge des Auges, umfassend die Cornea (1), die Linse (2) und die Retina (3), oder entlang eines Teils der gesamten Achslänge des Auges, umfassend die Linse (2) und die Cornea (1) und/oder die Retina (3), aufgenommen wurden.
11. Computerimplementiertes Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass in den Trainingsdaten die Pixel, die der Grenzfläche der Augenstruktur zuzuordnen sind, als solche gelabelt sind.
12. Vorrichtung zur Datenverarbeitung, umfassend Mittel zur Ausführung des Verfahrens nach einem der Ansprüche 1 bis 11 .
13. Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 11 auszuführen.
14. Computerlesbares Medium, umfassend Befehle, die bei der Ausführung durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 11 auszuführen.
15. Computerimplementiertes Verfahren zum Trainieren eines auf künstlicher
Intelligenz beruhenden Modells, dadurch gekennzeichnet, dass das Trainieren des auf künstlicher Intelligenz beruhenden Modells so erfolgt, dass das Modell nach dem Trainieren ausgestaltet ist, um:
- eine Wahrscheinlichkeitskarte basierend auf mittels einer optischen Kohärenztomographie aufgenommener Bilddaten eines Auges zu erstellen, wobei die Wahrscheinlichkeitskarte für Pixel der Bilddaten jeweils einen Wahrscheinlichkeitswert dafür aufweist, ob das jeweilige Pixel einer Grenzfläche (11 , 12, 21 , 22, 41 ) einer Augenstruktur (1 , 2, 3) zuzuordnen ist, - wobei es sich bei der Augenstruktur um eine Linse (2), optional eine natürliche Linse und/oder eine künstliche Linse, und eine Cornea (1 ) und/oder eine Retina (3) des Auges handelt.
PCT/EP2023/054412 2022-02-28 2023-02-22 Verfahren und vorrichtung zur biometrischen analyse eines menschlichen auges WO2023161272A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022202054.5 2022-02-28
DE102022202054.5A DE102022202054A1 (de) 2022-02-28 2022-02-28 Verfahren und vorrichtung zur biometrischen analyse eines menschlichen auges

Publications (1)

Publication Number Publication Date
WO2023161272A1 true WO2023161272A1 (de) 2023-08-31

Family

ID=85328571

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/054412 WO2023161272A1 (de) 2022-02-28 2023-02-22 Verfahren und vorrichtung zur biometrischen analyse eines menschlichen auges

Country Status (2)

Country Link
DE (1) DE102022202054A1 (de)
WO (1) WO2023161272A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170119242A1 (en) * 2015-10-28 2017-05-04 Oregon Health & Science University Systems and methods for retinal layer segmentation in oct imaging and oct angiography
US10198832B2 (en) 2017-06-28 2019-02-05 Deepmind Technologies Limited Generalizable medical image analysis using segmentation and classification neural networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170119242A1 (en) * 2015-10-28 2017-05-04 Oregon Health & Science University Systems and methods for retinal layer segmentation in oct imaging and oct angiography
US10123689B2 (en) 2015-10-28 2018-11-13 Oregon Health & Science University Systems and methods for retinal layer segmentation in OCT imaging and OCT angiography
US10198832B2 (en) 2017-06-28 2019-02-05 Deepmind Technologies Limited Generalizable medical image analysis using segmentation and classification neural networks

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
JIAHONG OUYANG ET AL: "Accurate Tissue Interface Segmentation via Adversarial Pre-Segmentation of Anterior Segment OCT Images", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 7 May 2019 (2019-05-07), XP081273110 *
MILLETARI, FAUSTONASSIR NAVABSEYED-AHMAD AHMADI: "V-net: Fully convolutional neural networks for volumetric medical image segmentation.", 2016 FOURTH INTERNATIONAL CONFERENCE ON 3D VISION (3DV). IEEE, 2016
RONNEBERGER, OLAFPHILIPP FISCHERTHOMAS BROX: "International Conference on Medical", 2015, SPRINGER, CHAM, article "U-net: Convolutional networks for biomedical image segmentation."
S. Z.B. LUC, PAULINE ET AL.: "Semantic segmentation using adversarial networks.", ARXIV: 1611.08408, 2016, Retrieved from the Internet <URL:https://arxiv.org/pdf/1611.08408.pdf%5D>
S. Z.B. MEHTA, SACHIN ET AL.: "Espnetv2: A light-weight, power efficient, and general purpose convolutional neural network.", PROCEEDINGS OF THE IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 2019, Retrieved from the Internet <URL:https://openaccess.thecvf.com/content_CVPR2019/papers/Mehta_ESPNetv2_A_Light-Weight_Power_Efficient_and_General_Purpose_Convolutional_Neural_CVPR_2019_paper.pdf>
SHIN CHANGYEOB ET AL: "Semi-Automated Extraction of Lens Fragments Via a Surgical Robot Using Semantic Segmentation of OCT Images With Deep Learning - Experimental Results in Ex Vivo Animal Model", IEEE ROBOTICS AND AUTOMATION LETTERS, IEEE, vol. 6, no. 3, 12 April 2021 (2021-04-12), pages 5261 - 5268, XP011851754, DOI: 10.1109/LRA.2021.3072574 *
XIE, ENZE ET AL.: "SegFormer: Simple and efficient design for semantic segmentation with transformers.", ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS, vol. 34, 2021, Retrieved from the Internet <URL:https://proceedings.neurips.cc/paper/2021/file/64f1f27bf1b4ec22924fd0acb5>

Also Published As

Publication number Publication date
DE102022202054A1 (de) 2023-08-31

Similar Documents

Publication Publication Date Title
DE112019004104T5 (de) Medizinische bildverarbeitungsvorrichtung, medizinisches bildverarbeitungsverfahren und programm
JPWO2020022027A1 (ja) 学習装置及び学習方法
US20230036463A1 (en) Neural network processing of oct data to generate predictions of geographic-atrophy growth rates
EP3540632B1 (de) Verfahren zum klassifizieren von gewebeproben
DE102006057264A1 (de) Verfahren und Systeme zur automatischen Segmentierung einer biologischen Struktur
Paul et al. Octx: Ensembled deep learning model to detect retinal disorders
EP4285386A1 (de) Theorie-motivierte domänenkontrolle für ophthalmologische machine-learning-basierte vorhersagemethode
WO2021148517A1 (de) Physikalisch motiviertes machine-learning-system für optimierte intraokularlinsen-kalkulation
EP4081950A1 (de) System und verfahren zur qualitätszusicherung von datenbasierten modellen
DE102021109945B4 (de) Ki-basierte videoanalyse der kataraktchirurgie zur dynamischen anomalieerkennung und korrektur
Leopold et al. Deep learning for retinal analysis
Zhao et al. Retinal image classification via vasculature-guided sequential attention
EP4093329A1 (de) Machine-learning gestützte pipeline zur dimensionierung einer intraokularlinse
DE102011081987B4 (de) Verfahren zur Erzeugung eines Modells einer Oberfläche einer Hohlraumwand
WO2023161272A1 (de) Verfahren und vorrichtung zur biometrischen analyse eines menschlichen auges
Mahendran et al. Morphological process based segmentation for the detection of exudates from the retinal images of diabetic patients
EP3226206A1 (de) Klassifizierung mittels aufnahmen
DE102020101764A1 (de) MACHINE-LEARNING BASIERTE BRECHKRAFTBESTIMMUNG FÜR MAßNAHMEN ZUR KORREKTUR DER SEHFÄHIGKEIT VON OCT BILDERN
Alsaih et al. Retinal fluids segmentation using volumetric deep neural networks on optical coherence tomography scans
Yildirim et al. U-net-based segmentation of current imaging biomarkers in OCT-Scans of patients with Age Related Macular Degeneration
Filippenko et al. Automatic segmentation of the borders of the pathological focus in the macular area of the retina to calculate the area of the pathological focus
DE102020213489A1 (de) Verfahren und systeme zur vorhersage eines stroms virtueller topogramme
Renukadevi et al. Categorization of diabetic retinopathy using deep learning techniques
DE102011007088A1 (de) Verfahren zur Segmentierung von Objekten in einem dreidimensionalen Bilddatensatz mithilfe eines deformierbaren Modells
DE102023102375A1 (de) Verfahren und Vorrichtung zum Trainieren eines auf künstlicher Intelligenz beruhenden Modells

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23706766

Country of ref document: EP

Kind code of ref document: A1