WO2022162013A1 - Theorie-motivierte domänenkontrolle für ophthalmologische machine-learning-basierte vorhersagemethode - Google Patents

Theorie-motivierte domänenkontrolle für ophthalmologische machine-learning-basierte vorhersagemethode Download PDF

Info

Publication number
WO2022162013A1
WO2022162013A1 PCT/EP2022/051779 EP2022051779W WO2022162013A1 WO 2022162013 A1 WO2022162013 A1 WO 2022162013A1 EP 2022051779 W EP2022051779 W EP 2022051779W WO 2022162013 A1 WO2022162013 A1 WO 2022162013A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
training
ophthalmological
refractive power
machine learning
Prior art date
Application number
PCT/EP2022/051779
Other languages
English (en)
French (fr)
Inventor
Hendrik BURWINKEL
Holger Matz
Stefan Saur
Christoph Hauger
Original Assignee
Carl Zeiss Meditec Ag
Technische Universität München
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Meditec Ag, Technische Universität München filed Critical Carl Zeiss Meditec Ag
Priority to CN202280012340.9A priority Critical patent/CN117280425A/zh
Priority to EP22708353.2A priority patent/EP4285386A1/de
Priority to US18/263,162 priority patent/US20240120094A1/en
Priority to JP2023546052A priority patent/JP2024508379A/ja
Publication of WO2022162013A1 publication Critical patent/WO2022162013A1/de

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/14—Eye parts, e.g. lenses, corneal implants; Implanting instruments specially adapted therefor; Artificial eyes
    • A61F2/16—Intraocular lenses

Definitions

  • the invention relates to determining the refractive power of an intraocular lens and in particular to a computer-implemented method for determining the refractive power of an intraocular lens to be used using a learning model with a special loss function, a corresponding system and a corresponding computer program product for carrying out the method.
  • IOL intraocular lens
  • the biological lens is detached and removed from the capsular bag in a minimally invasive procedure.
  • the clouded lens is then replaced with an artificial lens implant.
  • This artificial lens implant or intraocular lens is inserted into the then empty capsular bag. Knowledge of the correct position of the intraocular lens and the required refractive power are mutually dependent.
  • an underlying task for the concept presented here is to specify a method and a system for improved IOL refractive power predictions for an intraocular lens.
  • a computer-implemented method for determining the refractive power of an intraocular lens to be inserted is presented.
  • the method can in particular include providing a physical model for determining the refractive power of an intraocular lens and training a machine learning system with clinical ophthalmological training data and associated desired results to form a learning model for determining the refractive power.
  • a loss function used for training can have two components: a first component of the loss function can take into account the corresponding clinical ophthalmological training data and associated and desired results, and a second component of the loss function can take into account limitations of the physical model in that a loss function component value of this second component becomes larger the farther a predicted value of refractive power during training deviates from results of the physical model with the same clinical ophthalmologic training data as input values.
  • the method can also include providing ophthalmological data of a patient and predicting the refractive power of the intraocular lens to be inserted using the trained machine learning system, with the ophthalmological data provided being able to be used as input data for the machine learning system.
  • a system for determining the refractive power of an intraocular lens to be used is presented.
  • the system can have a provisioning module in which a physical model for a refractive power determination for an intraocular lens is stored, and a training module that is adapted to train a machine learning system with clinical ophthalmological training data and associated desired results to form a learning model for the refractive power determination .
  • parameter values of the learning model can be stored in the learning system.
  • a loss function used for training can have two components in particular: a first component of the loss function can take into account corresponding clinical ophthalmological training data and associated and desired results, and a second component of the loss function can thereby take into account limitations of the physical model that a loss function component value of this second component becomes larger the farther a predicted value of the refractive power during training deviates from results of the physical model with the same clinical ophthalmological training data as input values.
  • the system can also have a memory for a patient's ophthalmological data and a prediction unit that is adapted to predict the refractive power of the intraocular lens to be used by means of the trained machine learning system, the ophthalmological data provided being used as input data for the machine learning system.
  • embodiments may relate to a computer program product, accessible from a computer-usable or computer-readable medium, having program code for use by, or in connection with, a computer or other instruction processing system.
  • a computer-usable or computer-readable medium can be any Be a device that is suitable for storing, communicating, forwarding or transporting the program code.
  • the computer-implemented method for determining the refractive power for an intraocular lens to be used has several advantages and technical effects that can also apply accordingly to the associated system:
  • a machine learning system for determining the refractive power for an intraocular lens to be used which is based exclusively on available clinical ophthalmological data based, would on the one hand require a comparatively long training time, and on the other hand known properties of physical models could not be taken into account so elegantly.
  • clinical training data were used exclusively, a large number of data points - i.e. training data - would be required in order to guarantee a large number of anatomical variability.
  • the entire parameter space can be systematically sampled using physical models.
  • the method presented here uses the best of both worlds: on the one hand the world of physical-mathematical models and on the other hand also the world of clinical ophthalmological data.
  • the machine learning model can be additionally pre-trained before being trained with clinical ophthalmologic data.
  • automatically generated training data can be generated using a physical model. This physical model does not necessarily have to be the same one that influences the loss function. In this way, influences from different physical models can be taken into account during training.
  • the method presented here has a decisive influence on the robustness of the training, both for the untrained case and for the case of a pre-trained system.
  • the physical constraint in the loss function ensures that the system cannot learn any physically inconsistent predictions while it is being trained on the real data.
  • the influence of outliers in the data set is intercepted and the trained entire network can provide a more stable prediction.
  • control over the loss function can mean that no "catastrophic forgetting" can set in, i.e. that the previously learned knowledge cannot simply be overwritten by training on the ophthalmological data.
  • the physical constraint in the loss function can force the network to continue to take physical constraints and boundaries into account.
  • the physical constraint in the loss function itself can cover the entire parameter space. It can provide the correct physical solution for every conceivable data point and can thus enable the entire parameter range to be represented systematically. This is a decisive advantage for a training process compared to the traditional method, since under normal circumstances only a small part of the parameter space can be represented by the existing real data. This can also always be faulty. All of this can be offset by the physical constraint. It therefore represents a decisive extension and improvement of the training process.
  • the correct weighting of the components relative to one another can represent a further crucial aspect of the concept presented.
  • the weighting that is carried out means that the machine learning model can, on the one hand, take the physical framework conditions into account and, on the other hand, has enough freedom to adapt to the ideal data situation. This balanced interaction can provide a crucial advantage in the training process and improve the final prediction of IOL refractive power for new ophthalmic data.
  • theoretical ophthalmological data can consist of literature data. Interpolations between the literature data - or data from other sources - can also generate intermediate values.
  • the additional reference data obtained in this way could supplement or replace the mathematical-physical model in addition to or instead of the physical model in the loss function.
  • the proposed concept could also be expanded to the effect that not only one physical model would be used to influence the loss function. Rather, the influencing of the loss function could also take into account at least one further physical model. In such a case, the loss function would be supplemented by another term that would be included with an additional weighting factor. The other function - in particular the supply of the input data - would take place in accordance with and in parallel with the first physical model.
  • a speed advantage can be achieved during training, which can result from training not only using the clinical ophthalmological data during training, but also by measuring outliers in the clinical ophthalmological data being corrected directly by the physical model.
  • significant computing power could be saved, and the available computing capacities can thus be better used.
  • the physical model can cover the entire expected anatomical variability, resulting in more robust systems for determining or predicting the IOL refractive power. And (ii) by combining the physical model with the clinical data, less clinical data is needed for a robust model. Consequently, robust clinic-specific, doctor-specific or lens-specific models can be created.
  • the first and the second component of the loss function can be weighted in a configurable manner.
  • This enables fine tuning of the learning model of the machine learning system to be trained.
  • it is configurable which of the two components of the loss function should be given more weight: (i) the clinical ophthalmological training data or (ii) the limitations of the physical model.
  • the influencing parameters can be adjusted individually and also depending on the type of physical model selected.
  • weightings of different strengths, depending on the type of physical model selected, or other or additional restrictions (“constraints”) could be specified.
  • weighting function of the following type can be used:
  • Delta first components, i.e. results of a deviation function (e.g. MSE, mean square error, i.e. the "mean of the square deviations") of the deviation values during training; and
  • Phy second component, i.e. the constraint imposed by the physical model.
  • the values for the weighting can be reset from training to training (or re-training).
  • An explicit user interface can be provided for this in order to enable training under optimal conditions. In this way, different physical framework conditions - i.e. physical models - could also be tried out in an elegant way.
  • the ophthalmological data can have OCT image data—i.e., complete “raw” image data or explicit ophthalmological values derived from OCT image data, or both OCT image data and values derived from the OCT image data.
  • OCT image data i.e., complete “raw” image data or explicit ophthalmological values derived from OCT image data, or both OCT image data and values derived from the OCT image data.
  • the image data are also biometric data. In this way there is great flexibility in the use of the training data to be used.
  • an expected position of the intraocular lens to be used can be used as an additional input data value for the machine learning system in productive operation. It can be expected that in this way a further improved determination of the refractive power of the IOL will be possible.
  • the learning model of the machine learning system can already be trained before the training with ophthalmological data by artificially generated training data that are based on laws of the physical model provided.
  • the laws can be represented by a physical model - ie formulas.
  • the physical model for the pre-training discussed here differs from the physical model during the main training discussed above. In this way, at least two different physical models could be considered: (i) one during the pre-training of the 2-stage training of the learning model of the machine learning system implemented in this way and (ii) a second during the subsequent main training of the learning model of the machine learning system.
  • the above weighting of the loss function could easily be adjusted via the specially adapted user interface.
  • the loss function would not have to be supplemented by an additional term.
  • the training time and/or the amount of real training data can be reduced in this way. Existing resources would be better used.
  • the physical model can also have literature data for determining the refractive power of the intraocular lens.
  • the literature data can be available in tabular form, from which value tuples - e.g. also by interpolation of the existing values - could be provided as a supplement or replacement for the physical model.
  • the physical model could be dispensed with, but without having to forego the influence of known limit values ("contraints").
  • the intraocular lens to be used can be a spherical, toric or multifocal intraocular lens—or other lens shapes—to be used. This would allow the concept presented here to be used comprehensively.
  • the training data and the physical model (or models) would also be selected accordingly.
  • the machine learning system can be a neural network.
  • This can be a convolutional neural network (CNN).
  • CNNs turn out to be particularly helpful when it comes to a Processing of image data that has to be classified, such as the raw data of the ophthalmological data can be.
  • any time-dependent data from 4D scans of the eye that may be present could also be used.
  • an RNN Recurrent Neural Network
  • an RNN Recurrent Neural Network
  • the ophthalmological data of an eye can have at least one from the group consisting of an axial length, an anterior chamber depth, a lens thickness, a posterior chamber depth, a cornea thickness, a cornea keratometry, a lens - Equatorial plane, white-to-white distance and a pupil size.
  • the second physical model can be represented as a mathematical model or as a ray tracing model. Consequently, in the second stage of generating training data, there are also options to use different methods in order to make improved model-based training data available. This can expand the scope for an individualization of the proposed method for specific purposes.
  • the clinical ophthalmological training data can be determined or generated manually or by means of a third machine learning system.
  • manual would mean that they would be measured using an eye scanning device.
  • the training data that would be generated using a third machine learning system would be more artificial in nature, although it would also be possible to use a comparatively small amount of clinical ophthalmological data to generate a larger amount of training data using the third, already trained, machine learning system to provide for the final learning step.
  • the method presented here could also be used with a comparatively small amount of clinical ophthalmological data would not normally suffice to be refined from the physical model(s) to real clinical data by means of the two-stage training.
  • a GAN generative adversarial network
  • FIG. 1 shows a flowchart-like representation of an embodiment of the computer-implemented method for determining the refractive power of an intraocular lens to be inserted.
  • FIG 2 depicts an eye along with various biometric parameters of the eye.
  • FIG. 3 shows a schematic structure of essential functional components of the underlying proposed method or the associated system.
  • Figure 4 represents a diagram of the inventive prediction system.
  • FIG. 5 is a diagram of a computer system that may additionally include the system of FIG. 4 in whole or in part.
  • intraocular lens describes an artificial lens that can be surgically inserted into a patient's eye in place of the natural, biological lens.
  • the term "loss function" describes an error function that outputs a value or a set of error values during training of a machine learning system, which is usually larger the further the predicted value and the expected value of the machine learning system at a Set of associated input values are apart.
  • MSE mean square error or cross-entropy.
  • the output value or values of the loss function are fed into the neural network—or the nodes or the weight functions—(backpropagation). In this way, actually predicted output values of the machine learning system converge in the direction of the annotated - i.e. desired - result values.
  • machine learning system describes a system that is also typically associated with a method that learns from examples.
  • the machine learning system is fed with annotated (ie also containing metadata) training data in order to predict previously defined output values - in the case of a classification system, output classes. If the output classes are correctly output with sufficient precision - ie a predetermined error rate - the machine learning system is said to be trained.
  • machine learning is a basic concept or a basic function from the field of artificial intelligence, with e.g. statistical methods being used to give computer systems the ability to "learn”. For example, certain behavioral patterns are optimized within a specific area of responsibility.
  • the methods used enable trained machine learning systems to analyze data without the need for explicit procedural programming.
  • a NN neural network
  • CNN convolutional neural network
  • machine learning systems to form a network of nodes that act as artificial neurons and artificial connections between the artificial neurons ( so-called links), whereby parameters (e.g. weight parameters for the connection) can be assigned to the artificial connections.
  • the weight parameter values of the connections automatically adjust based on input signals to produce a desired result.
  • desired output data annotations
  • a mapping from input data to output data is learned.
  • neural network describes a network of electronically implemented nodes with one or more inputs and one or more outputs for performing arithmetic operations (activation functions). Selected nodes are connected to each other by means of connections - so-called links or edges.
  • the links may have certain attributes, such as weight parameter values, which may affect output values from previous nodes.
  • Neural networks are typically constructed in several layers. There is at least an input layer, a hidden layer and an output layer.
  • image data can be fed to the input layer and the output layer can have classification results regarding the image data.
  • typical neural networks have a large number of hidden layers up. The way in which the nodes are connected to links depends on the type of neural network in question.
  • the predicted value of the neural learning system can be the sought-after refractive power of the intraocular lens.
  • recurrent neural network refers to neural networks which, in contrast to feed-forward networks, are characterized by connections from neurons (i.e. nodes) in a layer to neurons in the same or in a previous layer. In the brain, this is the preferred way of connecting neural networks, especially in the neocortex.
  • recurrent connections of model neurons are often used to discover time-coded - i.e. dynamic - information in the data. Examples of such recurrent neural networks are the Elman network, the Jordan network, the Hopfield network and the fully interconnected neural network. They are also suitable for examining dynamic behavior in images of eyes, in particular for taking into account the accommodation behavior of the eye.
  • CNN Convolutional Neural Network
  • CNN convolutional Neural Network
  • parameter value describes geometric or biometric values or ophthalmological data of a patient's eye. Examples of parameter values of an eye are discussed in more detail with reference to FIG. 2 .
  • scan result describes digital data, e.g. based on digital images/recordings, which represents the result of an OCT examination (optical coherence tomography) on a patient's eye.
  • OCT examination optical coherence tomography
  • OCT optical coherence tomography
  • OCT optical coherence tomography
  • A-scan also axial depth scan
  • A-scan describes a one-dimensional result of a scan of a patient's eye, which provides information about geometric dimensions and locations of structures within the eye.
  • B-scan describes a lateral superimposition of several of the A-scans mentioned in order to produce a section through the eye. Volume views can also be generated by combining several layers of the eye generated in this way.
  • en-face OCT here describes a method for producing transversal sectional images of the eye—in contrast to longitudinal sectional images with the above-mentioned A or B scans.
  • dynamic eye data describes a sequence of 2D sectional images of the eye—usually at the same point—in order to identify dynamic, i.e. temporal, changes—e.g. the eye’s ability to adapt.
  • digital image e.g. from a scan - here describes an image or the result of generating a quantity of data in the form of pixel data of a real existing object: here, for example, a retina of an eye.
  • a "digital image” can be understood as a two-dimensional signal matrix.
  • the individual vectors of the matrix can also be joined together in order to generate an input vector for a layer of a CNN.
  • the digital images can also be individual frames of video sequences.
  • clinical ophthalmological training data describes data about patient eyes and intraocular lenses that have already been used in these patients in the past.
  • the clinical ophthalmological training data can be determined ophthalmological parameter values, as well as the refractive power and the position of the inserted lens. This data is used to train the machine learning system, which has previously been trained on the basis of data from a physical model.
  • the clinical ophthalmological training data are usually annotated.
  • training data describes data with which the machine learning system can be trained. This training data for the machine learning system is ophthalmic data and associated refractive power values from previous successful lens exchange surgeries.
  • the term "physical model” refers to a mathematical formula that relates various parameters of an eye to make refractive power determinations. Well-known formulas are those of Haigis and the Universal Barrett II formula. A ray tracing method could also be used.
  • refractive power of an intraocular lens describes the refractive index of the IOL.
  • Figure 1 depicts a flowchart-like representation of an embodiment of the inventive computer-implemented method 100.
  • the method 100 includes providing 102 a physical model for a refractive power determination for an intraocular lens. This can be a formula for determining a refractive power based on a set of input parameters, data from another trained machine learning system, or literature data, e.g. stored in tabular form.
  • the method 100 includes training 104 a machine learning system with clinical ophthalmological training data and associated desired results to form a learning model for determining refractive power, with a loss function for training having two components.
  • the desired results are the predicted results of the machine learning system given the presence of certain input parameter values.
  • the combination of input data and expected result data is also referred to as 'ground truth' in the context of machine learning. This applies in particular to the so-called "supervised learning" undertaken here.
  • a first component of the loss function takes into account the corresponding clinical ophthalmological training data and associated desired results.
  • This component of the loss function can use the well-known mean square error method.
  • the component of the loss function quaddratic becomes larger the further the predicted value deviates from the annotated associated result (prediction) value. Using the square ensures that both numerically positive values and numerically negative deviation values are taken into account in the same way.
  • the second component of the loss function takes into account limitations of the physical model in that a loss function component value of this second component becomes larger the further a predicted value of the refractive power is by the machine learning system during training from results of the physical model with the same clinical ophthalmological training data as input values for the physical model.
  • the method 100 also includes providing 106 determined ophthalmological data of a patient and predicting 108 the refractive power of the intraocular lens to be used by means of the trained machine learning system, with the ophthalmological data provided being used as input data for the machine learning system
  • a position of the intraocular lens to be inserted can also be used as an additional input value for the machine learning system (cf. 110).
  • 2 shows an eye 200 with different biometric or ophthalmological parameters of an eye.
  • the following parameters are shown: axial length 202 (AL, axial length), anterior chamber thickness 204 (ACD, anterior chamber depth), keratometry value 206 (K, Radius), refractive power of the lens (Power), lens thickness 208 (LT, central cornea thickness 210 (CCT), white-to-white distance 212 (WTW, white-to-white distance ), pupil size 214 (PS), posterior chamber depth (PCD) 216, retina thickness 218 (RT).
  • At least one of these parameters is contained both in the ophthalmological training data and in the ophthalmological data of a patient, which are each contained in the subject matter of the concept presented here.
  • FIG. 3 shows a schematic structure 300 of essential function blocks that are useful for carrying out the proposed method.
  • a suitable physical model 302 of an eye for a refractive power determination is selected and provided.
  • training data 304 for the machine learning system 310 is made available.
  • this is so-called ground truth data, i.e. result values for the prediction of the refractive power values 308 and (annotated) measured ophthalmological data 306.
  • the complete image data of the corresponding eye can also be used additionally or alternatively (e.g. A-Scan, B-Scan, etc.).
  • the input values of the training data are provided to a calculation module for result values for the physical model.
  • this determines the deviation of the output of the machine learning system 310 (described in more detail in the next paragraph) from the physically correct solution and returns a value that increases as the output from of the machine learning system 310 removed from this solution.
  • other sources such as literature values, can also be used.
  • the machine learning system 310 under training is represented as a deep neural network (DNN).
  • DNN deep neural network
  • This has an input layer of nodes (left) and an output layer (right) of nodes. True, only four or two knots shown, but with a neural network that can actually be used, the number of input nodes and output nodes would typically be significantly higher.
  • the parameters for the nodes or the corresponding weight functions of the connections between the nodes are determined iteratively.
  • the loss function 312 determines which values the weight functions or also parameter values of the nodes assume during the training. Simply put, training continues until a deviation between the desired IOL power and the IOL power predicted by the machine learning system falls below a predetermined minimum value.
  • the special feature of the method proposed here is that the value of the loss function 312 is not only based on the difference described above, but also has a second - typically additive, e.g. additionally linear - component, which is determined by the results of the Calculation module for the underlying physical model 302 is determined.
  • a second - typically additive e.g. additionally linear - component, which is determined by the results of the Calculation module for the underlying physical model 302 is determined.
  • a synchronization unit is advantageously available, which controls the supply of further training data in such a way that new training data are only made available when both components of the loss function have been used for one Back-Propagation Cycle step were available and so the training step could be fully completed.
  • the then trained machine learning system 314 can now receive ophthalmological data 316 of a patient and, using its trained machine learning model, can predict the refractive power 318 by means of the prediction unit 320 for an intraocular lens to be used.
  • image data of the patient's eye determined can be used as input values for the trained machine learning system 314 either instead of or in addition to the ophthalmologic data 316 .
  • FIG. 4 shows—for the sake of completeness—a preferred exemplary embodiment of components of the system 400 for determining refractive power, which support the training of the machine learning system of the proposed method 100 and which are also used in the operative phase of the method.
  • the system 400 includes a processor 402 that can execute program modules or program code stored in the memory 404.
  • the processor influences the function of the following components in such a way that the elements of the method can be executed.
  • the system 400 has a provision module 406 for storing the physical model.
  • the physical model In this case, for example, literature values for combinations of measured ophthalmological data and associated IOL refractive power values can also be stored, or the model can be stored in the form of a physical formula with corresponding parameters.
  • a physical model calculation unit 408 using the memory of the physical model providing module 406 may be provided.
  • a calculation unit 418 for the loss function can also be present, which takes into account the two components described above.
  • the training module 410 which is adapted to train a machine learning system with clinical ophthalmic training data and associated desired results to form a learning model for IOL refractive power determination, uses the results of the loss function during training.
  • the loss function has the following components: (i) a first component, which takes into account the corresponding clinical ophthalmological training data and associated and desired results, and (ii) a second component, which takes into account limitations of the physical model in that an associated loss -Function component value of this second component becomes larger, the further away a predicted value of the refractive power during the training is from results of the physical model - or possibly other boundary conditions ("constraints") with the same clinical ophthalmological training data as input values.
  • a polynomial or exponential function for example, can also be used for this.
  • a patient's ophthalmic data is provided to machine learning system 412 (which corresponds to machine learning system 310 of Figure 3).
  • the prediction unit 416 (cf. FIG. 3, 320) outputs the prediction data determined by the machine learning system 412 for the refractive power of the intraocular lens to be used, with the ophthalmological data provided being used as input data for the machine learning system.
  • the memory 414 can also be used for the ophthalmological training data.
  • the modules and units - in particular the processor 402, the memory 404, the provision module 406 for storing the physical model, the calculation unit 408 for the physical model, the calculation unit 418 for the loss function , the training module 410, the machine learning system 412, the memory 416 for the ophthalmological data and the prediction unit 416 - can be connected to electrical signal lines or via a system-internal bus system 420 for the purpose of signal or data exchange.
  • a display unit can also be connected to the system-internal bus system 420 or the prediction unit 416 in order to output, display or otherwise further process or forward the refractive power.
  • the predicted refractive power results according to the predicted class that is predicted with the greatest probability.
  • the final refractive power of the IOL can also be implemented using a regression system as a machine learning system with numerical output variables.
  • Figure 5 illustrates a block diagram of a computer system which may include at least portions of the refractive power determination system.
  • Embodiments of the concept proposed here can in principle be used together with practically any type of Computer, regardless of the platform used in it for storing and/or executing program codes.
  • 5 shows a computer system 500 by way of example, which is suitable for executing program code in accordance with the method presented here, but which can also contain the prediction system in whole or in part.
  • the computer system 500 has a plurality of general purpose functions.
  • the computer system can be a tablet computer, a laptop or notebook computer, another portable or mobile electronic device, a microprocessor system, a microprocessor-based system, a smartphone, a computer system with specially configured special functions, or even a component of a microscope system be.
  • the computer system 500 can be set up to execute instructions that can be executed by the computer system—such as, for example, program modules—that can be executed in order to implement functions of the concepts proposed here.
  • the program modules can have routines, programs, objects, components, logic, data structures, etc. in order to implement specific tasks or specific abstract data types.
  • the components of the computer system may include: one or more processors or processing units 502, a memory system 504, and a bus system 506 that connects various system components, including the memory system 504, to the processor 502.
  • computer system 500 includes a plurality of volatile or non-volatile storage media accessible by computer system 500 .
  • the data and/or instructions (commands) of the storage media can be stored in volatile form - such as in a RAM (random access memory) 508 - to be executed by the processor 502.
  • RAM random access memory
  • Further components of the memory system 504 can be a permanent memory (ROM) 510 and a long-term memory 512, in which the program modules and data (reference number 516), as well as workflows, can be stored.
  • the computer system has a number of dedicated devices (keyboard 518, mouse/pointing device (not shown), display 520, etc.) for communication. These dedicated devices can also be integrated into a touch-sensitive display be united.
  • a separately provided I/O controller 514 ensures smooth data exchange with external devices.
  • a network adapter 522 is available for communication via a local or global network (LAN, WAN, for example via the Internet). The network adapter can be accessed by other components of computer system 500 via bus system 506 . It should be understood that other devices may be connected to computer system 500, although not shown.
  • At least parts of the system 400 for determining the refractive power of an IOL can be connected to the bus system 506.
  • the principle presented here can be embodied both as a system, as a method, combinations thereof and/or also as a computer program product.
  • the computer program product can have one (or more) computer-readable storage medium(s) having computer-readable program instructions for causing a processor or a control system to execute various aspects of the present invention.
  • Electronic, magnetic, optical, electromagnetic, infrared media or semiconductor systems are used as the transmission medium; for example SSDs (solid state device/drive), RAM (Random Access Memory) and/or ROM (Read-Only Memory), EEPROM (Electrically Eraseable ROM) or any combination thereof.
  • Propagating electromagnetic waves, electromagnetic waves in waveguides or other transmission media (eg light pulses in optical cables) or electrical signals that are transmitted in wires can also be used as transmission media.
  • the computer-readable storage medium may be an embodying device that stores instructions for use by an instruction execution device.
  • the computer-readable program instructions described here can also be downloaded onto a corresponding computer system, for example as a (smartphone) app from a service provider via a cable-based connection or a cellular network.
  • the computer-readable program instructions for performing operations of the invention described herein may be machine-dependent or machine-independent instructions, microcode, firmware, state-defining data, or any source or object code written, for example, in C++, Java, or the like or be written in conventional procedural programming languages, such as the "C" programming language or similar programming languages.
  • the computer-readable program instructions are executable entirely by a computer system. In some embodiments, it can also be electronic circuits, such as programmable logic circuits, field-programmable gate arrays (FPGA) or programmable logic arrays (PLA), which execute the computer-readable program instructions by using status information of the computer-readable program instructions. to configure or customize the electronic circuitry in accordance with aspects of the present invention.
  • the computer-readable program instructions may be provided to a general-purpose computer, special-purpose computer, or other programmable data processing system to produce a machine such that the instructions are executed by the processor or the computer or other programmable data processing device be, generate means to the functions or implement operations illustrated in the flowchart and/or block diagrams.
  • these computer-readable program instructions can also be stored on a computer-readable storage medium.
  • each block in the illustrated flowchart or block diagrams may represent a module, segment, or portion of instructions, which represents a plurality of executable instructions for implementing the specific logical function.
  • the functions that are shown in the individual blocks can be executed in a different order—if appropriate, also in parallel.

Abstract

Es wird ein Computer-implementiertes Verfahren zur Brechkraftbestimmung für eine einzusetzende Intraokularlinse vorgestellt. Das Verfahren weist ein Bereitstellen eines physikalischen Modells für eine Brechkraftbestimmung und ein Trainieren eines maschinellen Lernsystems mit klinischen ophthalmologischen Trainingsdaten und zugehörigen gewünschten Ergebnissen zur Bildung eines Lernmodells für die Brechkraftbestimmung auf. Dabei weist eine Loss-Funktion für das Trainieren zwei Komponenten auf: eine erste Komponente der Loss-Funktion berücksichtigt klinische ophthalmologischen Trainingsdaten und zugehörige und gewünschte Ergebnisse und eine zweite Komponente der Loss-Funktion berücksichtigt Einschränkungen des physikalischen Modells dadurch, dass ein Loss-Funktionskomponentenwert dieser zweiten Komponente umso größer wird, je weiter sich ein vorhergesagter Wert der Brechkraft während des Trainings von Ergebnissen des physikalischen Modells bei gleichen klinischen ophthalmologischen Trainingsdaten als Eingangswerte entfernt. Außerdem weist das Verfahren ein Bereitstellen von ophthalmologischen Daten eines Patienten und ein Vorhersagen der Brechkraft der einzusetzenden Intraokularlinse mittels des trainierten maschinellen Lernsystems, wobei die bereitgestellten ophthalmologischen Daten als Eingangsdaten genutzt werden.

Description

B E S C H R E I B U N G
Theorie-motivierte Domänenkontrolle für ophthalmologische Machine-Learning-basierte Vorhersagemethode
Gebiet der Erfindung
[0001] Die Erfindung bezieht sich auf eine Brechkraftbestimmung für eine Intraokularlinse und insbesondere auf ein Computer-implementiertes Verfahren zur Brechkraftbestimmung für eine einzusetzende Intraokularlinse mittels eines Lernmodells mit einer speziellen Loss-Funktion, ein entsprechendes System sowie ein entsprechendes Computerprogrammprodukt zur Ausführung des Verfahrens.
Technischer Hintergrund
[0002] In der Augenheilkunde ist es in den letzten Jahren immer üblicher geworden, die biologische Linse eines Auges gegen eine künstliche Intraokularlinse (IOL) - beispielsweise bei (Alters-) Fehlsichtigkeit oder bei Katarakten - auszutauschen. Dabei wird die biologische Linse durch einen minimalinvasiven Eingriff aus dem Kapselsack herausgelöst und entfernt. Die, im Falle eines Kataraktes, getrübte Linse wird dann durch ein künstliches Linsenimplantat ersetzt. Dieses künstliche Linsenimplantat oder Intraokularlinse wird dabei in den dann leeren Kapselsack eingesetzt. Die Kenntnis der richtigen Position der Intraokularlinse und der erforderlichen Brechkraft bedingen sich gegenseitig.
[0003] In bekannten aktuell verfügbaren IOL-Kalkulationsformeln werden physikalische Modelle unterschiedlicher Komplexität verwendet (z.B. das Vergenz-Prinzip in der bekannten Haigis-Formel). Auf diese Weise ist es möglich, nicht nur datenbasiert, sondern mit Hilfe von physikalischem Vorwissen, eine brauchbare lOL-Brechkraft-Bestimmung durchzuführen. Trotz einer etwas verbesserten Genauigkeit handelt es sich bei diesen Formeln immer um Näherungen, die die komplette, komplexe Realität des biologischen Auges nicht abbilden können. Mithilfe der Nutzung von Ray-Tracing-Verfahren lässt sich die Genauigkeit eines Modells noch weiter verbessern, da viele andere ältere Modelle nur in paraxialer Näherung arbeiten; doch auch hier fließen Näherungen über zum Beispiel die Form der brechenden Grenzflächen in das System ein. Physikalische Modelle lassen sich mit Hilfe diverser Parameter in Bezug auf eine Datenlage feinjustieren bzw. tunen. Ihr Aufbau und die Wahl dieser Parameter ist aber vom jeweiligen Entwickler vorgegeben und daher nicht zwingend die bestmögliche Darstellung. Eine optimale Anpassung des gesamten Systems lässt sich in dieser Form nur sehr bedingt durchführen und ist durch das gewählte Modell in seiner Flexibilität eingeschränkt.
[0004] Ausgehend von den Nachteilen der bekannten Verfahren zur näherungsweisen Bestimmung einer korrekten Brechkraft für eine einzusetzende IOL besteht eine zugrundeliegende Aufgabe für das hier vorgestellte Konzept darin, ein Verfahren und ein System für verbesserte IOL-Brechkraftvorhersagen für eine Intraokularlinse anzugeben.
Übersicht über die Erfindung
[0005] Diese Aufgabe wird durch das hier vorgeschlagene Verfahren, das entsprechende System und das zugehörige Computerprogrammprodukt entsprechend den unabhängigen Ansprüchen gelöst. Weitere Ausgestaltungen werden durch die jeweils abhängigen Ansprüche beschrieben.
[0006] Entsprechend einem Aspekt der vorliegenden Erfindung wird ein Computerimplementiertes Verfahren zur Brechkraftbestimmung für eine einzusetzende Intraokularlinse vorgestellt. Das Verfahren kann dabei insbesondere ein Bereitstellen eines physikalischen Modells für eine Brechkraftbestimmung für eine Intraokularlinse und ein Trainieren eines maschinellen Lernsystems mit klinischen ophthalmologischen Trainingsdaten und zugehörigen gewünschten Ergebnissen zur Bildung eines Lernmodells für die Brechkraftbestimmung aufweisen. Dabei kann eine eingesetzte Loss-Funktion für das Trainieren zwei Komponenten aufweisen: eine erste Komponente der Loss-Funktion kann entsprechende der klinischen ophthalmologischen Trainingsdaten und zugehörige und gewünschte Ergebnisse berücksichtigen und eine zweite Komponente der Loss-Funktion kann Einschränkungen des physikalischen Modells dadurch berücksichtigen, dass ein Loss-Funktionskomponentenwert dieser zweiten Komponente umso größer wird, je weiter sich ein vorhergesagter Wert der Brechkraft während des Trainings von Ergebnissen des physikalischen Modells bei gleichen klinischen ophthalmologischen Trainingsdaten als Eingangswerte entfernt. Das Verfahren kann weiterhin ein Bereitstellen von ophthalmologischen Daten eines Patienten und eine Vorhersagen der Brechkraft der einzusetzenden Intraokularlinse mittels des trainierten maschinellen Lernsystems aufweisen, wobei die bereitgestellten ophthalmologischen Daten als Eingangsdaten für das maschinelle Lernsystem genutzt werden können.
[0007] Gemäß einem anderen Aspekt der vorliegenden Erfindung wird ein System zur Brechkraftbestimmung für eine einzusetzende Intraokularlinse vorgestellt. Das System kann insbesondere ein Bereitstellungsmodul, in dem ein physikalisches Modell für eine Brechkraftbestimmung für eine Intraokularlinse gespeichert ist, und ein Trainingsmodul, das angepasst ist zum Trainieren eines maschinellen Lernsystems mit klinischen ophthalmologischen Trainingsdaten und zugehörigen gewünschten Ergebnissen zur Bildung eines Lernmodells für die Brechkraftbestimmung, aufweisen. Dabei können in dem Lernsystem Parameterwerte des Lernmodells gespeichert sein. Eine genutzte Loss-Funktion für das Trainieren kann insbesondere zwei Komponenten aufweisen: eine erste Komponente der Loss-Funktion kann entsprechende der klinischen ophthalmologischen Trainingsdaten und zugehörige und gewünschte Ergebnisse berücksichtigen, und eine zweite Komponente der Loss-Funktion kann Einschränkungen des physikalischen Modells dadurch berücksichtigen werden, dass ein Loss-Funktionskomponentenwert dieser zweiten Komponente umso größer wird, je weiter sich ein vorhergesagter Wert der Brechkraft während des Trainings von Ergebnissen des physikalischen Modells bei gleichen klinischen ophthalmologischen Trainingsdaten als Eingangswerte entfernt.
[0008] Außerdem kann das System einen Speicher für ophthalmologische Daten eines Patienten sowie eine Vorhersageeinheit aufweisen, die angepasst ist zum Vorhersagen der Brechkraft der einzusetzenden Intraokularlinse mittels des trainierten maschinellen Lernsystems, wobei die bereitgestellten ophthalmologischen Daten als Eingangsdaten für das maschinelle Lernsystem genutzt werden.
[0009] Darüber hinaus können sich Ausführungsformen auf ein Computerprogrammprodukt beziehen, auf welches von einem Computer-verwendbaren oder Computer-lesbaren Medium zugegriffen werden kann, das Programm-Code zur Nutzung durch, oder in Verbindung mit, einem Computer oder anderen Instruktionsverarbeitungssystemen aufweist. Im Kontext dieser Beschreibung kann ein Computer-verwendbares oder Computer-lesbares Medium jede Vorrichtung sein, die zur Speicherung, zum Kommunizieren, zur Weiterleitung oder zum Transport des Programm-Codes geeignet ist.
[0010] Das Computer-implementierte Verfahren zur Brechkraftbestimmung für eine einzusetzende Intraokularlinse weist mehrere Vorteile und technische Effekte auf, die auch entsprechend für das zugehörige System gelten können: Ein maschinelles Lernsystem für die Brechkraftbestimmung für eine einzusetzende Intraokularlinse, das ausschließlich auf verfügbaren klinischen ophthalmologischen Daten basiert, würde einerseits eine vergleichsweise lange Trainingszeit benötigen, und anderseits würden bekannte Eigenschaften von physikalischen Modellen nicht so elegant berücksichtigt werden können. Außerdem wären bei einer ausschließlichen Nutzung von klinischen Trainingsdaten sehr viele Datenpunkte - d.h. Trainingsdaten - erforderlich, um einen hohe Anzahl von anatomischer Variabilität zu garantieren. Außerdem würde keine aktive Kontrolle darüber bestehen, welche Variabilität bei den rein klinischen - d.h. ophthalmologischen - Trainingsdaten tatsächlich existiert. Durch physikalische Modelle kann der gesamte Parameterraum systematisch gesampelt warden.
[0011] Das hier vorgestellte Verfahren nutzt dagegen das Beste aus beiden Welten: einerseits der Welt der physikalisch-mathematischen Modelle und andererseits aber auch die Welt der klinischen ophthalmologischen Daten. Darüber hinaus kann das maschinelle Lernmodell vor dem Trainieren mit klinischen ophthalmologischen Daten zusätzlich vortrainiert sein. Dazu können automatisch erzeugte Trainingsdaten mittels eines physikalischen Modells erzeugt werden. Dieses physikalische Modell muss nicht zwingend das Gleiche sein, welches die Loss-Funktion beeinflusst. Auf diese Weise ließen sich Einflüsse von unterschiedlichen physikalischen Modellen beim Training berücksichtigen.
[0012] Das vorgestellte Verfahren hat hierbei einen entscheidenden Einfluss auf die Robustheit des Trainings, sowohl für den untrainierten Fall als auch für den Fall eines vortrainierten Systems. Im Falle eines untrainierten neuronalen Netzwerkes sorgt der physikalische Constraint in der Loss-Funktion dafür, dass das System während es auf den realen Daten trainiert wird, keine physikalisch inkonsistenten Vorhersagen lernen kann. Somit wird der Einfluss von Ausreißern im Datensatz abgefangen und das trainierte gesamte Netzwerk kann eine stabilere Prädiktion liefern. Im Fall, dass das maschinelle Lernmodell bereits auf künstlichen Daten mithilfe des physikalischen Constraints vortrainiert wurde und somit physikalisches Wissen enthält, kann die Kontrolle über die Loss-Funktion dazu führen, dass kein „katastrophales Vergessen“ einsetzen kann, dass also das zuvor gelernte Wissen durch das Training auf den ophthalmologischen Daten nicht einfach überschrieben werden kann. Der physikalische Constraint in der Loss-Funktion kann das das Netzwerk zwingen, weiterhin die physikalische Rahmenbedingungen und Grenzen zu berücksichtigen.
[0013] Aufgrund dieses Constraints und der zusätzlichen physikalischen Information, die während des Trainings zur Verfügung gestellt werden kann, können insgesamt deutlich weniger Daten für das Training benötigt werden, da die physikalischen Rahmenbedingungen nicht aus den Daten gelernt werden müssen. Dies kann eine deutlich flexiblere und schnellere Anwendung der Methode ermöglichen, da zuvor keine große Datenmengen (d.h. , klinische Trainingsdaten) gesammelt werden müssen. Des Weiteren ist es möglich, auf Klinikspezifischen Datensätzen zu trainieren, um so das Verfahren und das entsprechende System auf diese genau abzustimmen zu können. Dies wird ermöglicht, da nur vergleichsweise wenige klinische Daten für das Training nötig werden.
[0014] Der physikalische Constraint in der Loss-Funktion selbst kann eine Abdeckung des gesamten Parameterraums darstellen. Für jeden erdenklichen Datenpunkt kann er die korrekte physikalische Lösung liefern und kann damit ermöglichent, den gesamten Parameterbereich systematisch zu repräsentieren. Dies ist gegenüber dem traditionellen Verfahren ein entscheidender Vorteil für einen Trainingsprozess, da unter normalen Umständen durch die vorhandenen realen Daten nur ein kleiner Teil des Parameter-Raums dargestellt werden kann. Dieser kann außerdem immer fehlerbehaftet sein. All dies durch den physikalischen Constraint ausgeglichen werden. Er stellt somit eine entscheidende Erweiterung und Verbesserung des Trainingsprozesses dar.
[0015] Da neben diesem direkten Training mit Hilfe des physikalischen Modells auch immer die realen Daten berücksichtigt werden müssen, kann die korrekte Gewichtung der Komponenten zueinander ein weiterer entscheidender Aspekt des vorgestellten Konzeptes darstellen. Durch die vorgenommene Gewichtung kann erreicht werden, dass das maschinelle Lernmodell einerseits die physikalichen Rahmenbedingungen berücksichtigen kann, und andererseits genug Freiraum hat, sich an die ideale Datensituation anzupassen. Dieses ausgeglichene Zusammenspiel kann einen entscheidenden Vorteil im Trainingsprozess liefern und die finale Vorhersage der IOL Brechkraft für neue ophthalmologische Daten verbessern. [0016] Zusätzlich wäre es auch möglich, theoretische ophthalmologische Daten zu berücksichtigen. Diese können aus Literaturdaten bestehen. Interpolationen zwischen den Literaturdaten - oder Daten aus anderen Quellen - können auch Zwischenwerte generieren. Diese so gewonnenen zusätzlichen Referenzdaten könnten neben oder anstelle des physikalischen Modells in der Loss-Funktion das mathematisch-physikalische Modell ergänzen oder ersetzen.
[0017] Auf diese Weise besteht ein großer Spielraum hinsichtlich der Berücksichtigung von mathematisch-physikalischen Modellen beim Trainieren des mit den klinischen ophthalmo- logischen Daten trainierten maschinellen Lernsystems. Andererseits ergibt sich auch ein großer Quellenpool von zusätzlichen Daten, die nicht in dem gerade genutzten physikalischen Einflussmodell auf die Loss-Funktion genutzt werden.
[0018] Das vorgeschlagene Konzept ließe sich auch dahingehend erweitern, dass nicht nur ein physikalisches Modell bei der Beeinflussung der Loss-Funktion genutzt würde. Vielmehr könnte die Einflussnahme auf die Loss-Funktion auch mindestens ein weiteres physikalisches Modell berücksichtigen. In so einem Fall würde die Loss-Funktion durch einen weiteren Term ergänzt, der mit einem zusätzlichen Gewichtsfaktor eingehen würde. Die sonstige Funktion - insbesondere das Zuführen der Eingangsdaten - würde entsprechend und parallel des ersten physikalischen Modells erfolgen.
[0019] Insgesamt kann ein Geschwindigkeitsvorteil beim Training erreicht werden, der dadurch entstehen kann, dass während des Trainings nicht nur mittels der klinischen ophthalmologischen Daten trainiert wird, sondern dadurch, dass Messausreißer bei den klinischen ophthalmologischen Daten durch das physikalische Modell unmittelbar korrigiert werden. Man könnte auch mit weniger, oder weniger gut, annotierten Daten in die Trainingsphase für das maschinelle Lernsystem gehen Insgesamt könnte deutlich Rechenleistung gespart werden, und somit können die vorhandenen Rechnerkapazitäten besser eingesetzt werden.
[0020] Im Folgenden werden weitere Ausführungsbeispiele vorgestellt, die sowohl im Zusammenhang mit dem Verfahren, wie auch mit dem entsprechenden System, Gültigkeit haben können. [0021] Zusammenfassen lässt sich somit sagen, dass im Gegensatz zu bekannten maschinellen Lernsystemen und entsprechenden Verfahren zur Bestimmung der IOL- Brechkraft, die beim Training realdatenbasiert - d.h. basierend auf ophthalmologischen Daten - arbeiten und somit eine große Trainingsdatenmenge brauchen und keine Möglichkeit von soliden Vorhersagen (d.h. lOL-Brechkraftbestimmungen) außerhalb ihres durch den Trainingsdatensatz abgedeckten Parameterraumes ermöglichen, das hier vorgestellte Verfahren und System die Randbedingungen von physikalischen Modelle und von klinisch, ophthalmologischen Trainingsdaten gleichermaßen und entsprechend gewichtet nutzen kann. Damit kann das hier vorgestellte Konzept über die klassischen Verfahren hinausgehen, bei denen die Anzahl der typischerweise verfügbaren klinischen Trainingsdaten nicht ausreichen, um die Gesamtheit der physikalischen Rahmenbedingungen abzudecken. Außerdem können diese noch mit Messfehlern behaftet sein, was die Situation weiter erschwert. Kurz: (i) Durch das physikalische Modell kann die gesamte erwartete anatomische Variabilität abgedeckt werden, sodass robustere Systeme zur Bestimmung bzw. Vorhersage für die IOL-Brechkraft entstehen. Und (ii) durch die Kombination des physikalischen Modells mit den klinische Daten werden weniger klinische Daten für ein robustes Modell benötigt. Folglich können robuste klinikspezifische, arztspezifische bzw. linsenspezifische Modelle erstellt werden.
[0022] Gemäß einer vorteilhaften Ausführungsform des Verfahrens kann die erste und die zweite Komponenten der Loss-Funktion konfigurierbar gewichtet werden. Damit ist ein Fine- Tuning des Lernmodells des zu trainierenden maschinellen Lernsystems möglich. So ist beispielsweise konfigurierbar, welche der beiden Komponenten der Loss-Funktion mehr Gewicht bekommen sollte: (i) die klinischen ophthalmologischen Trainingsdaten oder (ii) die Einschränkungen durch das physikalische Modell. Auf diese Weise lassen sich ganz individuell, und auch in Abhängigkeit von der gewählten Art des physikalischen Modells, die Einflussparameter justieren. Auf diese Weise ließen sich unterschiedlich starke Gewichtungen, je nach Art des gewählten physikalischen Modells, oder auch andere oder zusätzliche Einschränkungen („constraints“) festlegen. Damit ist einen Motivation für die Einführung der Gewichtung unmittelbar erkennbar, nämlich ein Balance zwischen katastrophalen Interferenzen, die vom physikalischen Modell herrühren können, und der Gefahr durch Over- Fitting auf Basis der klinischen Daten herzustellen. [0023] Gemäß einer weiteren vorteilhaften Ausführungsform des Verfahrens kann eine Gewichtungsfunktion der folgenden Art angewendet werden:
W = B * [ a*(Delta) - (1-a)*Phy ], wobei Folgendes gilt:
W = Wert der Loss-Funktion,
B = allgemeine Konstante oder weiterer Funktionsterm der Loss-Funktion, a = Gewichtungskonstante,
Delta = erste Komponenten, d.h. Ergebnisse einer Abweichungsfunktion (z.B. MSE, mean square error, also das „Mittel der quadratischen Abweichungen“) der Abweichungswerte beim Training; und
Phy = zweite Komponente, d.h., die Einschränkung durch das physikalische Modell.
[0024] Die Werte für die Gewichtung können von Training zu Training (oder Re-Training) neu gesetzt werden. Dafür kann ein explizites User-Interface vorhanden sein, um ein Trainieren unter optimalen Bedingungen zu ermöglichen. Hierdurch ließen sich auch elegant verschiedene physikalische Rahmenbedingungen - d.h. physikalische Modelle - ausprobieren.
[0025] Gemäß einer ergänzenden vorteilhaften Ausführungsform des Verfahrens können die ophthalmologischen Daten OCT-Bilddaten - d.h. komplette „rohe“ Bilddaten oder explizite aus OCT-Bilddaten abgeleitete ophthalmologische Werte oder sowohl OCT-Bilddaten als auch aus den OCT-Bilddaten abgeleitete Werte aufweisen. Weiterhin ist es durchaus möglich, dass die Bilddaten auch biometrische Daten sind. Auf diese Weise besteht eine große Flexibilität in der Nutzung der zu verwendenden Trainingsdaten.
[0026] Gemäß einer weiterentwickelten Ausführungsform des Verfahrens kann eine erwartete Position der einzusetzenden Intraokularlinse als zusätzlicher Eingangsdatenwert für das maschinelle Lernsystem im produktiven Betrieb genutzt werden. Es kann erwartet werden, dass auf diese Weise eine nochmals verbesserte Brechkraftbestimmung der IOL möglich wird.
[0027] Gemäß einer erweiterten Form einer Ausführungsform des Verfahrens kann das Lernmodell des maschinellen Lernsystems vor dem Training mit ophthalmologischen Daten bereits durch künstlich erzeugte Trainingsdaten, die auf Gesetzmäßigkeiten des bereitgestellten physikalischen Modells beruhen, trainiert werden. Die Gesetzmäßigkeiten lassen sich durch ein physikalisches Modell - d.h. Formeln - darstellen. Dabei ist es auch möglich, dass sich das physikalische Modell für das hier angesprochene Vortraining von dem physikalischen Modell während des weiter oben angesprochenen Haupttrainings unterscheidet. Auf diese Weise könnten mindestens zwei unterschiedliche physikalische Modelle berücksichtigt werden: (i) eines beim Vortraining des auf diese Weise implementierten 2-stufigen Trainings des Lernmodells des maschinellen Lernsystems und (ii) ein zweites beim sich anschließenden Haupttraining des Lernmodells des maschinellen Lernsystems. Abhängig von den so gewählten physikalischen Modellen könnte die o.g. Gewichtung der Loss-Funktion über das speziell angepasste User-Interface leicht eingestellt werden. Durch diese Art der Berücksichtigung von zwei unterschiedlichen physikalischen Modellen müsste die Loss- Funktion nicht um einen weiteren Term ergänzt werden. Außerdem kann so die Trainingszeit und/oder die Menge der realen Trainingsdaten reduziert werden. Vorhanden Ressourcen würden besser genutzt.
[0028] Folglich würde hierdurch das zu trainierende Lernmodell von dem Vortraining durch physikalische Modelle zeitlich profitieren. Theoretisch ließen sich immer feinere physikalische Modelle für das Training bzw. zur Erzeugung von Trainingsdaten verwenden.
[0029] Gemäß einer erweiterten Form einer Ausführungsform des Verfahrens kann das physikalische Modell auch Literaturdaten für eine Brechkraftbestimmung für die Intraokularlinse aufweisen. Die Literaturdaten können in tabellarischer Form vorliegen, aus denen als Ergänzung oder Ersatz für das physikalische Modell Wertetupel - z.B. auch durch Interpolation der vorhandenen Werte - bereitgestellt werden könnten. Auf diese Weise ließe sich auf das physikalische Modell verzichten, ohne aber auf den Einfluss von bekannten Grenzwerten („contraints“) verzichten zu müssen.
[0030] Gemäß einer gut nutzbaren Ausführungsform des Verfahrens kann es sich bei der einzusetzenden Intraokularlinse um eine sphärische, torische oder multifokale einzusetzende Intraokularlinse - oder weitere Linsenformen - handeln. Damit wäre das hier vorgestellte Konzept umfassend einsetzbar. Vorteilhafterweise würden auch die Trainingsdaten und das physikalische Modell (oder die phys. Modelle) entsprechend ausgewählt.
[0031] Gemäß einem weiteren Ausführungsbeispiel des Verfahrens kann das maschinelle Lernsystem ein neuronales Netzwerk sein. Dabei kann es sich um ein Convolutional Neural Network (CNN) handeln. CNNs erweisen sich als besonders hilfreich, wenn es um eine Verarbeitung von Bilddaten geht, die zu klassifizieren sind, wie es die Rohdaten der ophthalmologischen Daten sein können.
[0032] Alternativ könnten auch eventuell vorhandene zeitabhängige Daten aus 4D-Scans des Auges (drei Raumrichtungen und Veränderungen der Scan-Daten des Auges abhängig von der Zeit) verwendet werden. In diesem Fall könnte entweder als Ersatz für das oben genannte CNN oder in Ergänzung ein RNN (Recurrent Neural Network) verwendet werden.
[0033] Gemäß einem vorteilhaften Ausführungsbeispiel des Verfahrens können die ophthalmologischen Daten eines Auges mindestens eines aus der Gruppe aufweisen, die besteht aus einer axialen Länge, einer Vorderkammertiefe, einer Linsendicke, einer Hinterkammertiefe, einer Cornea-Dicke, einer Cornea-Keratometrie, einer Linsen- Äquatorialebene, Weiß-zu-Weiß-Abstand und einer Pupillengröße. Dabei versteht es sich, dass jeweilige numerische Werte der genannten Parameter gemeint sind. Diese Augenparameterwerte lassen sich heutzutage elegant mittels eines Augenscans mit hoher Genauigkeit ermitteln.
[0034] Gemäß einem erweiterten Ausführungsbeispiel des Verfahrens kann das zweite physikalische Modell als ein mathematisches Modell oder als ein Ray-Tracing-Modell darstellbar sein. Folglich gibt es auch in der zweiten Stufe der Erzeugung von Trainingsdaten die Optionen unterschiedliche Verfahren einzusetzen, um verbesserte modellbasierte Trainingsdaten verfügbar zu machen. Dies kann den Spielraum bei einer Individualisierung des vorgeschlagenen Verfahrens für bestimmte Einsatzzwecke erweitern.
[0035] Gemäß einem wiederum erweiterten Ausführungsbeispiel des Verfahrens können die klinischen ophthalmologischen Trainingsdaten manuell oder mittels eines dritten maschinellen Lernsystems bestimmt oder erzeugt werden. Manuell würde in diesem Zusammenhang bedeuten, dass sie mittels einer Augen-Scan-Vorrichtung vermessen würden. Im Gegensatz dazu wären die Trainingsdaten, die mittels eines dritten maschinellen Lernsystems erzeugt würden, eher künstlicher Natur, wobei es allerdings auch möglich wäre, eine vergleichsweise geringe Menge an klinischen ophthalmologischen Daten einzusetzen, um mittels des dritten, bereits trainierten, maschinellen Lernsystems eine größere Trainingsdatenmenge für den finalen Lernschritt bereitzustellen. Auf diese Weise wäre das hier vorgestellte Verfahren auch mit einer vergleichsweise geringen Menge an klinischen ophthalmologischen Daten einsetzbar, die normalerweise nicht ausreichen würden, um mittels des zwei-stufigen Trainierens vom(n) physikalischen Modell(en) auf echte klinische Daten präzisiert zu werden. Beispielsweise könnte hierfür ein GAN (generative adversarial network) eingesetzt werden.
Übersicht über die Figuren
[0036] Es sei darauf hingewiesen, dass Ausführungsbeispiele der Erfindung mit Bezug auf unterschiedliche Implementierungskategorien beschrieben sein können. Insbesondere sind einige Ausführungsbeispiele in Bezug auf ein Verfahren beschrieben, während andere Ausführungsbeispiele im Kontext von entsprechenden Vorrichtungen beschrieben sein können. Unabhängig davon ist es einem Fachmann möglich, aus der hier vorstehenden und nachfolgenden Beschreibung - wenn nicht anderweitig darauf hingewiesen - mögliche Kombinationen der Merkmale des Verfahrens sowie mögliche Merkmalskombinationen mit dem entsprechenden System zu erkennen und zu kombinieren, auch, wenn sie zu unterschiedlichen Anspruchskategorien gehören.
[0037] Bereits oben beschriebene Aspekte sowie zusätzliche Aspekte der vorliegenden Erfindung ergeben sich unter anderem aus den beschriebenen Ausführungsbeispielen und aus den zusätzlichen weiteren, durch Bezug auf die Figuren beschriebenen, konkreten Ausgestaltungen.
[0038] Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden beispielhaft und mit Bezug auf die folgenden Figuren beschrieben:
Fig. 1 stellt eine flussdiagrammartige Darstellung eines Ausführungsbeispiels des Computer-implementierten Verfahrens zur Brechkraftbestimmung für eine einzusetzende Intraokularlinse dar.
Fig. 2 stellt ein Auge zusammen mit verschiedenen biometrischen Parametern des Auges dar.
Fig. 3 stellt einen schematischen Aufbau wesentlicher Funktionskomponenten des zugrundeliegenden vorgeschlagenen Verfahrens bzw. des zugehörigen Systems dar. Fig. 4 stellt ein Diagramm des erfinderischen Vorhersagesystems dar.
Fig. 5 stellt ein Diagramm eines Computersystems dar, welches zusätzlich das System gemäß Fig. 4 ganz oder teilweise aufweisen kann.
Detaillierte Figurenbeschreibung
[0039] Im Kontext dieser Beschreibung sollen Konventionen, Begriffe und/oder Ausdrücke folgendermaßen verstanden werden:
[0040] Der Begriff „Intraokularlinse“ beschreibt eine künstliche Linse, die operativ anstelle der natürlichen, biologischen Linse in das Auge eines Patienten eingesetzt werden kann.
[0041] Der Begriff „Loss-Funktion“ beschreibt eine Fehlerfunktion, die einen Wert oder einen Satz von Fehlerwerten während des Trainings eines maschinellen Lernsystems ausgibt, welcher normalerweise umso größer ist, je weiter der vorhergesagte Wert und der erwartete Wert des maschinellen Lernsystems bei einem Satz von zugehörigen Eingangswerten auseinander liegen. Zur Bestimmung und Verwendung dieser Differenz sind mehrere Verfahren möglich (z.B. MSE = mean square error oder auch cross-entropy). Der oder die Ausgabewerte der Loss-Funktion werden in das neuronale Netzwerk - bzw. den Knoten oder den Gewichtsfunktionen- zugeführt (Backpropagation). Auf diese Weise konvergieren tatsächlich vorhergesagte Ausgabewerte des maschinellen Lernsystems in Richtung der annotierten - also gewünschten - Ergebniswerte.
[0042] Der Begriff „maschinelles Lernsystem“ beschreibt ein System, das auch typischerweise einem Verfahren zugeordnet ist, welches aus Beispielen lernt. Dazu wird das maschinelle Lernsystem mit annotierten (d.h. auch Metadaten enthaltend) Trainingsdaten gefüttert, um bereits vorher festgelegte Ausgabewerte - im Falle eines Klassifikationssystems Ausgabeklassen - vorherzusagen. Wenn die Ausgabeklassen mit genügender Präzision - d.h. einer vorher bestimmten Fehlerrate - korrekt ausgegeben werden, bezeichnet man das maschinelle Lernsystem als trainiert. Es sind verschiedene maschinelle Lernsysteme bekannt. Dazu gehören neuronale Netzwerke, gefaltete neuronale Netzwerke (CNN = Convolutional Neural Network) oder auch rekurrente neuronale Netzwerke (RNN, Recurrent Neural Network).
[0043] Grundsätzlich ist der Begriff „Machine-Learning“ (bzw. maschinelles Lernen) ein Grundbegriff bzw. eine Grundfunktion aus dem Gebiet der künstlichen Intelligenz, wobei z.B. statistische Verfahren verwendet werden, um Computersystemen die Fähigkeit des „Lernens“ zu geben. Beispielsweise werden dabei bestimmte Verhaltensmuster innerhalb eines spezifischen Aufgabenbereiches optimiert. Die verwendeten Verfahren versetzen trainierte Systeme des maschinellen Lernens in die Lage, Daten zu analysieren, ohne, dass es dazu einer expliziten prozeduralen Programmierung bedarf. Typischerweise handelt es sich z.B. bei einem NN (neuronales Netzwerk) oder CNN (Convolutional Neural Network) um Beispiele für Systeme für maschinelles Lernen, um ein Netzwerk von Knoten zu bilden, welche als künstliche Neuronen agieren, und um künstliche Verbindungen zwischen den künstlichen Neuronen (sogenannte Links), wobei den künstlichen Verbindungen Parameter (z.B. Gewichtsparameter für die Verbindung) zugeordnet werden können. Während des Trainings des neuronalen Netzes passen sich die Gewichtsparameterwerte der Verbindungen automatisch auf Basis von Eingangssignalen zur Erzeugung eines gewünschten Ergebnisses an. Beim überwachten Lernen werden die als Eingabewerte (Trainingsdaten) gelieferten Bilder - allgemein (Eingangs-)Daten - durch gewünschte Ausgabedaten (Annotationen) ergänzt, um einen gewünschten Ausgabewert (gewünschte Klasse) zu erzeugen. Ganz allgemein betrachtet, wird eine Abbildung von Eingangsdaten auf Ausgangsdaten gelernt.
[0044] Der Begriff „neuronales Netzwerk“ beschreibt ein Netzwerk aus elektronisch realisierten Knoten mit einem oder mehreren Eingängen und einem oder mehreren Ausgängen zur Durchführung von Rechenoperationen (Aktivierungsfunktionen). Dabei sind ausgewählte Knoten mittels Verbindungen - sogenannte Links oder Edges - miteinander verbunden. Die Verbindungen können bestimmte Attribute, zum Beispiel Gewichtsparameterwerte, aufweisen, durch die Ausgangswerte von vorangegangenen Knoten beeinflusst werden können.
[0045] Neuronale Netze sind typischerweise in mehreren Schichten aufgebaut. Es ist mindestens eine Eingangsschicht, eine verborgene Schicht und eine Ausgangschicht vorhanden. In einem einfachen Beispiel können Bilddaten der Eingangsschicht zugeführt werden, und die Ausgangsschicht kann Klassifikationsergebnisse bezüglich der Bilddaten aufweisen. Typische neuronale Netze weisen allerdings eine große Vielzahl von verborgenen Schichten auf. Die Art und Weise der Verbindung der Knoten mit Links hängt von der Art des jeweiligen neuronalen Netzes ab. Im vorliegenden Beispiel kann der Vorhersagewert des neuronalen Lernsystems die gesuchte Brechkraft der Intraokularlinse sein.
[0046] Der Begriff „rekurrentes neuronales Netzwerk“ bezeichnet neuronale Netze, die sich im Gegensatz zu den Feed-Forward-Netzen durch Verbindungen von Neuronen (d.h. Knoten) einer Schicht zu Neuronen derselben oder einer vorangegangenen Schicht auszeichnen. Im Gehirn ist dies die bevorzugte Verschaltungsweise neuronaler Netze, insbesondere im Neocortex. In künstlichen neuronalen Netzen werden häufig rekurrente Verschaltungen von Modellneuronen benutzt, um zeitlich kodierte - d.h. dynamische - Informationen in den Daten zu entdecken. Beispiele für solche rekurrenten neuronalen Netze sind das Elman-Netz, das Jordan-Netz, das Hopfield-Netz sowie das vollständig verschaltete neuronale Netz. Sie eignen sich auch für die Untersuchung eines dynamischen Verhaltens in Aufnahmen von Augen, insbesondere für eine Berücksichtigung des Akkommodationsverhaltens des Auges.
[0047] Der Begriff „Convolutional Neural Network“ (CNN) - als ein Beispiel für einen Klassifikator/ein Klassifikatorsystem - beschreibt eine Klasse von künstlichen neuronalen Netzwerken, die auf Feed-Forward-Techniken basieren. Sie werden häufig für Bildanalysen mit Bildern, bzw. deren Pixeln, als Eingangsdaten eingesetzt. Hauptbestandteil von Convolutional Neural Networks sind dabei Faltungsschichten (daher der Name), welche eine effiziente Auswertung durch Parameter-Sharing ermöglicht. Im Gegensatz zum CNN würde in einem klassischen neuronalen Netzwerk typischerweise jeder Pixel des aufgenommenen Bildes einem künstlichen Neuron des neuronalen Netzwerkes als Eingangswert zugewiesen.
[0048] Der Begriff „Parameterwert“ beschreibt geometrische bzw. biometrische Werte, bzw. ophthalmologische Daten eines Auges eines Patienten. Beispiele für Parameterwerte eines Auges werden anhand von Fig. 2 näher diskutiert.
[0049] Der Begriff „Scan-Ergebnis“ beschreibt digitale Daten, z.B. basierend auf digitalen Bildern/Aufnahmen, welche das Ergebnis einer OCT-Untersuchung (optische Kohärenztomographie) an einem Auge eines Patienten darstellt.
[0050] Der Begriff „optische Kohärenztomographie“ (abgekürzt OCT = optical coherence tomopgraphy) beschreibt ein in der Augenheilkunde bekanntes bildgebendes Verfahren, um zwei- und dreidimensionale Aufnahmen (2D oder 3D) aus streuenden Materialien (beispielsweise biologisches Gewebe) in Mikrometerauflösung zu erhalten. Dabei werden im Wesentlichen eine Lichtquelle, ein Strahlenteiler und ein Sensor - beispielsweise in Form eines digitalen Bildsensors - eingesetzt. In der Ophthalmologie werden durch OCT räumliche Unterschiede im Reflexionsverhalten einzelner Netzhautschichten erfasst, und morphologische Strukturen können hochaufgelöst dargestellt werden.
[0051] Der Begriff „A-Scan“ (auch axialer Tiefenscan) beschreibt ein eindimensionales Ergebnis eines Scans eines Patientenauges, welches Aufschluss über geometrische Dimensionen und Orte von Strukturen innerhalb des Auges beschreibt.
[0052] Der Begriff „B-Scan “ beschreibt eine laterale Überlagerung mehrerer der genannten A- Scans, um einen Schnitt durch das Auge zu erzeugen. Durch eine Kombination von mehreren, so erzeugten, Schichten des Auges sind auch Volumenansichten erzeugbar.
[0053] Der Begriff „en-face OCT“ beschreibt hier ein Verfahren zur Herstellung von transversalen Schnittbildern des Auges - im Gegensatz zu longitudinalen Schnittbildern mit den oben genannten A- bzw. B-Scans.
[0054] Der Begriff „dynamische Augendaten“ beschreibt eine Abfolge von 2D-Schnittbildern des Auges - meist an der gleichen Stelle - um dynamische, d.h. , zeitliche Veränderungen - z.B. die Adaptionsfähigkeit des Auges - zu erkennen.
[0055] Der Begriff „digitales Bild“ - z.B. aus einem Scan - beschreibt hier eine Abbildung oder das Ergebnis einer Erzeugung einer Datenmenge in Form von Pixel-Daten eines real existierenden Gegenstandes: hier beispielsweise eine Retina eines Auges. Verallgemeinert kann ein „digitales Bild“ als eine zweidimensionale Signalmatrix verstanden werden. Die Einzelvektoren der Matrix lassen sich auch aneinander fügen, um so einen Eingangsvektor für eine Schicht eines CNN zu erzeugen. Die digitalen Bilder können auch einzelne Frames von Videosequenzen sein.
[0056] Der Begriff „klinische ophthalmologische Trainingsdaten“ - beschreibt Daten über Patientenaugen und bereits bei diesen Patienten in der Vergangenheit eingesetzte Intraokularlinsen. Zu den klinischen ophthalmologischen Trainingsdaten können ermittelte ophthalmologische Parameterwerte, wie auch die Brechkraft und die Position der eingesetzten Linse, gehören. Diese Daten werden zu Trainingszwecken des maschinellen Lernsystems, das bereits vorher auf Basis von Daten aus einem physikalischen Modell trainiert wurde, genutzt. Die klinischen ophthalmologischen Trainingsdaten sind in der Regel annotiert.
[0057] Der Begriff „Trainingsdaten“ beschreibt Daten mit denen das maschinelle Lernsystem trainiert werden kann. Diese Trainingsdaten für das maschinelle Lernsystem sind ophthalmologische Daten und zugehörige Brechkraftwerte von vorangegangenen erfolgreichen Linsentauschoperationen.
[0058] Der Begriff „physikalisches Modell“ bezieht sich auf eine mathematische Formel, welche verschiedene Parameter eines Auges in Beziehung zueinander setzt, um Brechkraftbestimmungen vorzunehmen. Bekannte Formeln sind die von Haigis und die Universal Barrett II Formel. Außerdem ließe sich ein Ray-Tracing-Verfahren verwenden.
[0059] Der Begriff „Brechkraft einer Intraokularlinse“ beschreibt den Brechungsindex der IOL.
[0060] Im Folgenden wird eine detaillierte Beschreibung der Figuren angegeben. Dabei versteht es sich, dass alle Details und Anweisungen in den Figuren schematisch dargestellt sind. Zunächst wird ein Blockdiagramm eines Ausführungsbeispiels des erfindungsgemäßen Computer-implementierten Verfahrens zur Brechkraftbestimmung für eine einzusetzende Intraokularlinse dargestellt. Nachfolgend werden weitere Ausführungsbeispiele, bzw. Ausführungsbeispiele für das entsprechende System beschrieben:
[0061] Fig. 1 stellt eine flussdiagrammartige Darstellung eines Ausführungsbeispiels des erfinderischen Computer-implementierten Verfahrens 100 dar. Das Verfahren 100 weist ein Bereitstellen 102 eines physikalischen Modells für eine Brechkraftbestimmung für eine Intraokularlinse auf. Dabei kann es sich um eine Formel für eine Bestimmung einer Brechkraft auf der Basis einer Reihe von Eingangsparametern, Daten aus einem anderen trainierten maschinellen Lernsystem oder um Literaturdaten handeln, z.B. in tabellarisch gespeicherter Form.
[0062] Weiterhin weist das Verfahren 100 ein Trainieren 104 eines maschinellen Lernsystems mit klinischen ophthalmologischen Trainingsdaten und zugehörige gewünschten Ergebnissen zur Bildung eines Lernmodells für die Brechkraftbestimmung auf, wobei eine Loss-Funktion für das Trainieren zwei Komponenten aufweist. Bei den gewünschten Ergebnissen handelt es sich um vorherzusagende Ergebnisse des maschinellen Lernsystems beim Vorhandensein bestimmter Eingangsparameterwerte. Die Kombination aus Eingangsdaten und erwarteten Ergebnisdaten wird auch als ‘Ground-Truth' (Grundwahrheit) im Kontext von maschinellem Lernen bezeichnet. Dies gilt insbesondere für das hier vorgenommene sog. „supervised learning", also beaufsichtigtes Lernen.
[0063] Eine erste Komponente der Loss-Funktion berücksichtigt die entsprechenden der klinischen ophthalmologischen Trainingsdaten sowie zugehörige, gewünschte Ergebnisse. Diese Komponente der Loss-Funktion kann das bekannte Mean-Square-Error-Verfahren nutzen. Dabei wird die Komponente der Loss-Funktion (quadratisch) größer, je weiter der vorhergesagte Wert von dem annotierten zugehörigen Ergebnis-(Vorhersage)-Wert abweicht. Die Nutzung des Quadrats stellt sicher, dass sowohl numerisch positive Werte als auch numerisch negative Abweichungswerte in gleicher weise berücksichtigt werden.
[0064] Durch die zweite Komponente der Loss-Funktion werden Einschränkungen des physikalischen Modells dadurch berücksichtigt, dass ein Loss-Funktionskomponentenwert dieser zweiten Komponente umso größer wird, je weiter sich ein vorhergesagter Wert der Brechkraft durch das maschinelle Lernsystem während des Trainings von Ergebnissen des physikalischen Modells bei gleichen klinischen ophthalmologischen Trainingsdaten als Eingangswerte für das physikalische Modell entfernt.
[0065] Das Verfahren 100 weist weiterhin ein Bereitstellen 106 von ermittelten ophthalmologischen Daten eines Patienten sowie das Vorhersagen 108 der Brechkraft der einzusetzenden Intraokularlinse mittels des trainierten maschinellen Lernsystems auf, wobei die bereitgestellten ophthalmologischen Daten als Eingangsdaten für das maschinelle Lernsystem genutzt werdem
[0066] Optional (deshalb gestrichelt dargestellt) kann auch eine Position der einzusetzenden Intraokularlinse als zusätzlicher Eingabewert für das maschinelle Lernsystem genutzt werden (vgl. 110). [0067] Fig. 2 stellt ein Auge 200 mit verschiedenen biometrischen bzw. ophthalmologischen Parametern eines Auges dar. Insbesondere sind folgende Parameter dargestellt: axiale Länge 202 (AL, axial length), vordere Kammerdicke 204 (ACD, anterior chamber depth), Keratometriewert 206 (K, Radius), Brechkraft der Linse (Power), Linsendicke 208 (LT, lense thickness), zentrale Korneadicke 210 (CCT, central cornea thickness), Weiß-zu-Weiß-Abstand 212 (WTW, white-to-white distance), Pupillengröße 214 (PS, pupil size), hintere Kammertiefe 216 (PCD, posterior chamber depth), Retinadicke 218 (RT, retina thickness). Mindestens einer dieser Parameter ist sowohl in den ophthalmologischen Trainingsdaten als auch in den ophthalmologischen Daten eines Patienten enthalten, die jeweils in dem Gegenstand des hier vorgestellten Konzeptes enthalten sind.
[0068] Fig. 3 stellt einen schematischen Aufbau 300 wesentlicher Funktionsblöcke, die für die Ausführung des vorgeschlagenen Verfahrens nützlich sind, dar. Zunächst wird ein geeignetes physikalisches Modell 302 eines Auges für eine Brechkraftbestimmung ausgewählt und bereitgestellt. Andererseits werden Trainingsdaten 304 für das maschinelle Lernsystem 310 zur Verfügung gestellt. Dabei handelt es sich einerseits um sog. Ground-Truth-Daten, also Ergebniswerte für die Vorhersage der Brechkraftwerte 308 sowie (annotierte) gemessene ophthalmologische Daten 306. Alternativ können statt der gemessenen ophthalmologischen Daten auch zusätzlich oder alternativ die kompletten Bilddaten des entsprechenden Auges genutzt werden (zum Beispiel A-Scan, B-Scan, usw.).
[0069] Gleichzeitig werden die Eingangswerte der Trainingsdaten (gemessene ophthalmologische Daten 306) einem Berechnungsmodul für Ergebniswerte für das physikalische Modell bereitgestellt. Dieses bestimmt parallel zu den gewünschten bzw. annotierten IOL-Brechkraftwerten die Abweichung der Ausgabe des maschinellen Lernsystems 310 (wird im nächsten Absatz genauer beschrieben) von der physikalisch korrekten Lösung und gibt einen Wert zurück, der umso größer wird, je weiter sich die Ausgabe von des maschinellen Lernsystems 310 von dieser Lösung entfernt. Anstelle der errechneten oder anderweitig bestimmten Ausgabe des physikalischen Modells 302 können auch andere Quellen, wie beispielsweise Literaturwerte, genutzt werden.
[0070] Das maschinelle Lernsystem 310 im Training ist als tiefes neuronales Netzwerk (DNN, deep neural network) dargestellt. Dieses weist eine Eingangsschicht von Knoten (links) und eine Ausgangsschicht (rechts) von Knoten auf. Zwar sind nur vier bzw. zwei Knoten dargestellt, bei einem wirklich einsetzbaren neuronalen Netzwerk wäre die Anzahl der Eingangsknoten und Ausgangsknoten allerdings typischerweise deutlich höher. Zwischen der Eingangsschicht und der Ausgangsschicht befindet sich eine Mehrzahl von weiteren Schichten mit Knoten (typischerweise mehr als die beispielhaft dargestellten 2 Innenschichten des DNN), die über jeweilige Gewichtsfunktionen selektiv miteinander verbunden sind.
[0071] Beim Training des maschinellen Lernsystems bzw. dessen Lernmodell werden die Parameter für die Knoten bzw. die entsprechenden Gewichtsfunktionen der Verbindungen zwischen den Knoten iterativ bestimmt. Welche Werte die Gewichtsfunktionen bzw. auch Parameterwerte der Knoten während des Trainings annehmen, wird durch die Loss-Funktion 312 bestimmt. Einfach ausgedrückt, wird das Training so lange fortgesetzt, bis eine Abweichung zwischen der gewünschten IOL-Brechkraft und der durch das maschinelle Lernsystem vorhergesagten IOL-Brechkraft unter einen vorgegebenen Minimalwert fällt.
[0072] Die Besonderheit des hier vorgeschlagenen Verfahrens liegt jetzt allerdings darin, dass der Wert der Loss-Funktion 312 nicht nur auf der oben beschriebenen Differenz beruht, sondern eine zweite - typischerweise additive, z.B. zusätzlich lineare - Komponente aufweist, welche durch die Ergebnisse des Berechnungsmoduls für das zu Grunde liegende physikalische Modell 302 bestimmt wird. Durch die Gewichtung der Komponenten der Loss- Funktion 312 ist eine Feinabstimmung während des Trainings des maschinellen Lernsystems 310 in eleganter und vorteilhafter Weise möglich.
[0073] Um eine synchrone Verfügbarkeit der beiden Komponenten der Loss-Funktion sicherzustellen steht vorteilhafterweise eine Synchronisationseinheit zur Verfügung, die das Zuführen von weiteren Trainingsdaten dahingehend steuert, dass neue Trainingsdaten erst dann verfügbar gemacht werden, wenn vorher beide Komponenten der Loss-Funktion für einen Back-Propagation-Zyklus-Schritt verfügbar waren und so der Trainingsschritt komplette fertiggestellt werden konnte.
[0074] Wenn das Training des maschinellen Lernsystems 310 abgeschlossen ist, kann es produktiv eingesetzt werden. Das dann trainierte maschinelle Lernsystem 314 kann nun ophthalmologische Daten 316 eines Patienten empfangen und durch sein trainiertes maschinelles Lernmodell die Brechkraft 318 mittels der Vorhersageeinheit 320 für eine einzusetzende Intraokularlinse Vorhersagen. Dabei kann zusätzlich die gewünschte Position der einzusetzenden Intraokularlinse als zusätzlicher Eingangsparameterwert für das trainierte maschinelle Lernsystem 314 eingesetzt werden. Außerdem können entweder anstatt oder zusätzlich zu den ophthalmologischen Daten 316 ermittelte Bilddaten des Auges des Patienten als Eingangswerte für das trainierte maschinelle Lernsystem 314 genutzt werden.
[0075] Fig. 4 stellt - der Vollständigkeit halber - ein bevorzugtes Ausführungsbeispiel von Komponenten des Systems 400 zur Brechkraftbestimmung dar, die das Trainieren des maschinellen Lernsystems des vorgeschlagenen Verfahrens 100 unterstützen und die auch in der operativen Phase des Verfahrens zum Einsatz kommen.
[0076] Das System 400 weist einen Prozessor 402 auf, welcher Programmmodule oder Programmcode, die in dem Speicher 404 gespeichert sind, ausführen kann. Dadurch beeinflusst der Prozessor die Funktion der folgenden Komponenten in einer Weise, dass die Elemente des Verfahrens ausgeführt werden können. Insbesondere weist das System 400 dazu ein Bereitstellungsmodul 406 zum Speichern für das physikalische Modell auf. Dabei können beispielsweise auch Literaturwerte für Kombinationen von gemessenen ophthalmologischen Daten und zugehöriger IOL- Brech kraftwerte gespeichert sein, oder das Modell kann in Form einer physikalischen Formel mit entsprechenden Parametern abgespeichert sein. Darüber hinaus kann eine Berechnungseinheit 408 für das physikalische Modell, welches von dem Speicher des Bereitstellungsmoduls 406 für das physikalische Modell Gebrauch macht, vorhanden sein.
[0077] Ergänzend kann auch eine Berechnungseinheit 418 für die Loss-Funktion vorhanden sein, welche die beiden oben beschriebenen Komponenten berücksichtigt.
[0078] Das Trainingsmodul 410, das angepasst ist zum Trainieren eines maschinellen Lernsystems mit klinischen ophthalmologischen Trainingsdaten und zugehörigen gewünschten Ergebnissen zur Bildung eines Lernmodells für die Brechkraftbestimmung der IOL, nutzt die Ergebnisse der Loss-Funktion während des Trainings. Die Loss-Funktion weist dabei folgende Komponenten auf: (i) eine erste Komponente, die entsprechende der klinischen ophthalmologischen Trainingsdaten und zugehörige und gewünschte Ergebnisse berücksichtigt, und (ii) eine zweite Komponente, welche Einschränkungen des physikalischen Modells dadurch berücksichtigt, dass ein zugehöriger Loss-Funktionskomponentenwert dieser zweiten Komponente umso größer wird, je weiter sich ein vorhergesagter Wert der Brechkraft während des Trainings von Ergebnissen des physikalischen Modells - oder gegebenenfalls anderer Randbedingungen („constraints“) bei gleichen klinischen ophthalmologischen Trainingsdaten als Eingangswerten entfernt. Hierfür kann neben linearen Ansätzen auch z.B. eine Polynom- oder Exponentialfunktion eingesetzt werden.
[0079] Über den Speicher 414 werden die ophthalmologischen Daten eines Patienten schließlich dem maschinellen Lernsystem 412 (welches dem maschinellen Lernsystem 310 von Fig. 3 entspricht) bereitgestellt. Das Vorhersageeinheit 416 (vgl. Fig. 3, 320) gibt die von dem maschinellen Lernsystem 412 ermittelten Vorhersagedaten für die Brechkraft der einzusetzenden Intraokularlinse aus, wobei die bereitgestellten ophthalmologischen Daten als Eingangsdaten für das maschinelle Lernsystem genutzt werden. Der Speicher 414 kann auch für die ophthalmologischen Trainingsdaten einsetzbar sein.
[0080] Es sei ausdrücklich darauf hingewiesen, dass die Module und Einheiten - insbesondere der Prozessor 402, der Speicher 404, das Bereitstellungsmodul 406 für das Speichern des physikalischen Modells, die Berechnungseinheit 408 für das physikalische Modell, die Berechnungseinheit 418 für die Loss-Funktion, das Trainingsmodul 410, das maschinelle Lernsystem 412, der Speicher 416 für die ophthalmologischen Daten sowie die Vorhersageeinheit 416 - mit elektrischen Signalleitungen oder über ein systeminternes Bussystem 420 zum Zwecke des Signal- oder Datenaustausches verbunden sein können. Zusätzlich kann auch eine Anzeigeeinheit an das systeminterne Bussystem 420 oder die Vorhersageeinheit 416 angeschlossen sein, um die Brechkraft auszugeben, anzuzeigen oder anderweitig weiterzuverarbeiten oder weiterzuleiten.
[0081] Wird als maschinelles Lernsystem ein Klassifikationssystem eingesetzt, ergibt sich die vorhergesagte Brechkraft entsprechend der vorhergesagten Klasse, die mit der größten Wahrscheinlichkeit vorhergesagt wird. Alternativ kann die finale Brechkraft der IOL auch mittels eines Regressionssystems als maschinelles Lernsystem mit numerischen Ausgabegrößen implementiert werden.
[0082] Fig. 5 stellt ein Blockdiagramm eines Computersystems dar, welches mindestens Teile des Systems zur Brechkraftbestimmung aufweisen kann. Ausführungsformen des hier vorgeschlagenen Konzepts können grundsätzlich zusammen mit praktisch jedem Typ von Computer, unabhängig von der darin verwendeten Plattform zur Speicherung und/oder Ausführung von Programmcodes, genutzt werden. Fig. 5 stellt beispielhaft ein Computersystem 500 dar, welches zur Ausführung von Programmcode entsprechend des hier vorgestellten Verfahrens geeignet ist, aber auch das Vorhersagesystem ganz oder teilweise enthalten kann.
[0083] Das Computersystem 500 weist eine Mehrzahl von allgemein nutzbaren Funktionen (general purpose functions) auf. Dabei kann das Computersystem ein Tablet-Computer, ein Laptop-ZNotebook-Computer, ein anderes tragbares oder mobiles elektronisches Gerät, ein Mikroprozessorsystem, ein Mikroprozessor-basiertes System, ein Smartphone, ein Computersystem mit speziell eingerichteten Sonderfunktionen, oder auch ein Bestandteil von einem Mikroskopsystem sein. Das Computersystem 500 kann eingerichtet sein zur Ausführung vom Computer-System ausführbaren Anweisungen - wie beispielsweise Programmmodulen - die ausgeführt werden können, um Funktionen der hier vorgeschlagenen Konzepte umzusetzen. Dazu können die Programmmodule Routinen, Programme, Objekte, Komponenten, Logik, Datenstrukturen usw. aufweisen, um bestimmte Aufgaben oder bestimmte abstrakte Datentypen zu implementieren.
[0084] Die Komponenten des Computersystems können Folgendes aufweisen: einen oder mehrere Prozessoren oder Verarbeitungseinheiten 502, ein Speichersystem 504 und ein Bussystem 506, welches verschiedene Systemkomponenten, inklusive des Speichersystems 504, mit dem Prozessor 502 verbindet. Typischerweise weist das Computersystem 500 eine Mehrzahl von durch das Computersystem 500, zugreifbaren flüchtigen oder nicht-flüchtigen Speichermedien auf. Im Speichersystem 504 können die Daten und/oder Instruktionen (Befehle) der Speichermedien in flüchtiger Form - wie beispielsweise in einem RAM (random access memory) 508 - gespeichert sein, um von dem Prozessor 502 ausgeführt zu werden. Diese Daten und Instruktionen realisieren einzelne oder mehrere Funktionen bzw. Schritte des hier vorgestellten Konzeptes. Weitere Komponenten des Speichersystems 504 können ein Permanentspeicher (ROM) 510 und ein Langzeitspeicher 512 sein, in dem die Programmmodule und Daten (Bezugszeichen 516), wie auch Workflows, gespeichert sein können.
[0085] Das Computersystem weist zur Kommunikation eine Reihe von dedizierten Vorrichtungen (Tastatur 518, Maus/Pointing Device (nicht dargestellt), Bildschirm 520, usw.) auf. Diese dedizierten Vorrichtungen können auch in einem berührungsempfindlichen Display vereint sein. Ein separat vorgesehener I/O-Controller 514 sorgt für einen reibungslosen Datenaustausch zu externen Geräten. Zur Kommunikation über ein lokales oder globales Netzwerk (LAN, WAN, beispielsweise über das Internet) steht ein Netzwerkadapter 522 zur Verfügung. Auf dem Netzwerkadapter kann durch andere Komponenten des Computersystems 500 über das Bussystem 506 zugegriffen werden. Dabei versteht es sich, dass - obwohl nicht dargestellt - auch andere Vorrichtungen an das Computersystem 500 angeschlossen sein können.
[0086] Darüber hinaus können mindestens Teile des Systems 400 für die Brechkraftbestimmung einer IOL (vgl. Fig. 4) an das Bussystem 506 angeschlossen sein.
[0087] Die Beschreibung der verschiedenen Ausführungsbeispiele der vorliegenden Erfindung wurde zum besseren Verständnis dargestellt, dient aber nicht einer unmittelbaren Einschränkung der erfinderischen Idee auf diese Ausführungsbeispiele. Weitere Modifikationen und Variationen erschließt sich der Fachmann selbst. Die hier genutzte Terminologie wurde so gewählt, um die grundsätzlichen Prinzipien der Ausführungsbeispiele am besten zu beschreiben und sie dem Fachmann leicht zugänglich zu machen.
[0088] Das hier vorgestellte Prinzip kann sowohl als System, als Verfahren, Kombinationen davon und/oder auch als Computerprogrammprodukt verkörpert sein. Dabei kann das Computerprogrammprodukt ein (oder mehrere) Computer-lesbare/s SpeichermediumZ-medien aufweisen, welches Computer-lesbare Programminstruktionen aufweist, um einen Prozessor oder ein Steuerungssystem dazu zu veranlassen, verschiedene Aspekte der vorliegenden Erfindung auszuführen.
[0089] Als Medien kommen elektronische, magnetische, optische, elektromagnetische, Infrarot-Medien oder Halbleitersysteme als Weiterleitungsmedium zum Einsatz; beispielsweise SSDs (solid state device/drive als Festkörperspeicher), RAM (Random Access Memory) und/oder ROM (Read-Only Memory), EEPROM (Electrically Eraseable ROM) oder eine beliebige Kombination davon. Als Weiterleitungsmedien kommen auch sich ausbreitende elektromagnetische Wellen, elektromagnetische Wellen in Wellenleitern oder anderen Übertragungsmedien (z.B. Lichtimpulse in optischen Kabeln) oder elektrische Signale, die in Drähten übertragen werden, in Frage. [0090] Das Computer-lesbare Speichermedium kann eine verkörpernde Vorrichtung sein, welche Instruktionen für eine Nutzung durch ein Instruktionsausführungsgerät vorhält bzw. speichert. Die Computer-lesbaren Programminstruktionen, die hier beschrieben sind, können auch auf ein entsprechendes Computersystem heruntergeladen werden, beispielsweise als (Smartphone-) App von einem Service-Provider über eine kabelbasierte Verbindung oder ein Mobilfunknetzwerk.
[0091] Die Computer-lesbaren Programminstruktionen zur Ausführung von Operationen der hier beschriebenen Erfindung können maschinenabhängig sein oder maschinenunabhängige Instruktionen, Microcode, Firmware, Status-definierende Daten oder jeglicher Source-Code oder Objektcode sein, der beispielsweise in C++, Java oder ähnlichen bzw. in konventionellen prozeduralen Programmiersprachen, wie beispielsweise der Programmiersprache „C“ oder ähnlichen Programmiersprachen geschrieben sein. Die Computer-lesbaren Programminstruktionen können komplett durch ein Computersystem ausgeführt werden. In einigen Ausführungsbeispielen können es auch elektronische Schaltkreise, wie beispielsweise programmierbare Logikschaltkreise, Feld-programmierbare Gate Arrays (FPGA) oder programmierbare Logik-Arrays (PLA), sein, die die Computer-lesbaren Programminstruktionen durch Nutzung von Statusinformationen der Computer-lesbaren Programminstruktionen ausführen, um die elektronischen Schaltkreise entsprechend Aspekten der vorliegenden Erfindung zu konfigurieren bzw. zu individualisieren.
[0092] Darüber hinaus ist die hier vorgestellte Erfindung mit Bezug auf Flussdiagramme und/oder Blockdiagramme von Verfahren, Vorrichtungen (Systemen) und Computerprogramm- Produkten entsprechend Ausführungsbeispielen der Erfindung dargestellt. Es sei darauf hingewiesen, dass praktisch jeder Block der Flussdiagramme und/oder Blockdiagramme als Computer-lesbare Programminstruktionen ausgestaltet sein kann.
[0093] Die Computer-lesbaren Programminstruktionen können einem General-Purpose- Computer, einem Spezialcomputer oder einem anderweitig programmierbaren Datenverarbeitungssystem zur Verfügung gestellt werden, um eine Maschine herzustellen, so dass die Instruktionen, welche durch den Prozessor oder den Computer oder andere programmierbare Datenverarbeitungsvorrichtungen ausgeführt werden, Mittel erzeugen, um die Funktionen oder Vorgänge, die in dem Flussdiagramm und/oder Blockdiagrammen dargestellt sind, zu implementieren. Diese Computer-lesbaren Programminstruktionen können entsprechend auch auf einem Computer-lesbaren Speichermedium gespeichert werden.
[0094] In diesem Sinne kann jeder Block in dem dargestellten Flussdiagramm oder den Blockdiagrammen ein Modul, ein Segment oder Anteile an Instruktionen darstellen, welche mehrere ausführbare Instruktionen zur Implementierung der spezifischen Logikfunktion darstellt. In einigen Ausführungsbeispielen können die Funktionen, die in den einzelnen Blöcken dargestellt sind, in einer anderen Reihenfolge - gegebenenfalls auch parallel - ausgeführt werden.
[0095] Die dargestellten Strukturen, Materialien, Abläufe und Äquivalente aller Mittel und/oder Schritte mit zugehörigen Funktionen in den untenstehenden Ansprüchen sind dazu gedacht, alle Strukturen, Materialien oder Abläufe anzuwenden, wie es durch die Ansprüche ausgedrückt ist.
BEZUGSZEICHEN
100 Verfahren zur Brechkraftbestimmung
102 Verfahrensschritt zu 100
104 Verfahrensschritt zu 100
106 Verfahrensschritt zu 100
108 Verfahrensschritt zu 100
110 optionaler Verfahrensschritt zu 100
200 Augenparameter
202 axiale Länge
204 vordere Kammerdicke
206 Keratometriewert
208 Linsendicke
210 zentrale Corneadicke
212 Weiß-zu-Weiß-Abstand
214 Pupillengröße
216 hintere Kammertiefe
218 Retinadicke
300 Funktionsblöcke für die Ausführung des Verfahrens
302 physikalisches Modell
304 Trainingsdaten
306 ophthalmologische Trainingseingangsdaten
308 annotierte Trainingsergebnisdaten
310 maschinelles Lernsystem 312 Loss-Funktion
314 Trainiertes maschinelles Lernsystem
316 ophthalmologischen Daten eines Patienten
318 vorhergesagte Brechkraft der einzusetzenden IOL
320 Vorhersageeinheit
400 System zur Brechkraftvorhersage
402 Prozessor
404 Speicher
406 Speicher für physikalisches Modell
408 Berechnungseinheit für physikalisches Modell
410 Trainingseinheit maschinelles Lernsystem
Speicher für ophthalmologische Daten
Vorhersageeinheit
Berechnungseinheit für Loss-Funktion
Bussystem
Vorhersagesystem
Computersystem
Prozessor
Speichersystem
Bussystem
RAM
ROM
Langzeitspeicher
I/O-Controller
Programmmodule, potenzielle Daten
Tastatur
Bildschirm
Netzwerkadapter

Claims

PATENTANSPRÜCHE
1 . Ein Computer-implementiertes Verfahren (100) zur Brechkraftbestimmung für eine einzusetzende Intraokularlinse, das Verfahren (100) aufweisend
- Bereitstellen (102) eines physikalischen Modells für eine Brechkraftbestimmung für eine Intraokularlinse,
- Trainieren (104) eines maschinellen Lernsystems (310, 412) mit gemessenen klinischen ophthalmologischen Trainingsdaten (304) und zugehörigen gewünschten Ergebnissen (306) zur Bildung eines Lernmodells für die Brechkraftbestimmung, wobei eine Loss-Funktion (312) für das Trainieren zwei Komponenten aufweist, wobei eine erste Komponente der Loss-Funktion entsprechende der gemessenen klinischen ophthalmologischen Trainingsdaten (304) und zugehörige und gewünschte Ergebnisse (306) berücksichtigt, wobei eine zweite Komponente der Loss-Funktion (312) Einschränkungen des physikalischen Modells dadurch berücksichtigt, dass ein Loss-Funktions- komponentenwert dieser zweiten Komponente umso größer wird, je weiter sich ein vorhergesagter Wert der Brechkraft während des Trainings von Ergebnissen des physikalischen Modells bei gleichen klinischen ophthalmologischen Trainingsdaten (304) als Eingangswerte entfernt,
- Bereitstellen (106) von gemessenen ophthalmologischen Daten eines Patienten,
- Vorhersagen (108) der Brechkraft der einzusetzenden Intraokularlinse mittels des trainierten maschinellen Lernsystems, wobei die bereitgestellten, gemessenen ophthalmologischen Daten als Eingangsdaten für das maschinelle Lernsystem genutzt werden.
28 Das Verfahren (100) gemäß Anspruch 1 , wobei die erste und die zweite Komponenten der Loss-Funktion (312) konfigurierbar gewichtet werden. Das Verfahren (100) gemäß Anspruch 2, wobei eine Gewichtungsfunktion der folgenden Art angewendet wird
W = B * [ a*(Delta) - (1-a)*Phy ], wobei
W = Wert der Loss-Funktion,
B = allgemeine Konstante oder weiterer Funktionsterm der Loss-Funktion (312), a = Gewichtungskonstante, Delta = erste Komponente, und Phy = zweite Komponente. Das Verfahren (100) gemäß einem der vorangegangenen Ansprüche,
- wobei die gemessenen ophthalmologischen Daten OCT-Bilddaten sind oder
- wobei die gemessenen ophthalmologischen Daten explizite aus OCT-Bilddaten abgeleitete Werte sind oder
- wobei die gemessenen ophthalmologischen Daten sowohl OCT-Bilddaten als auch aus OCT-Bilddaten abgeleitete Werte ausweisen. Das Verfahren (100) gemäß einem der vorangegangenen Ansprüche, wobei eine erwartete Position der einzusetzenden Intraokularlinse als zusätzliche Eingangsdaten für das maschinelle Lernsystem (310, 412) genutzt werden. Das Verfahren 8100) gemäß einem der vorangegangenen Ansprüche, wobei das Lernmodell das maschinelle Lernsystem (310, 412) vor dem Training mit gemessenen ophthalmologischen Daten bereits durch künstlich erzeugte Trainingsdaten, die auf Gesetzmäßigkeiten des bereitgestellten physikalischen Modells beruhen, trainiert wurde. Das Verfahren (100) gemäß einem der vorangegangenen Ansprüche, wobei das physikalische Modell auch Literaturdaten für eine Brechkraftbestimmung für eine Intraokularlinse aufweist. Das Verfahren (100) gemäß einem der vorangegangenen Ansprüche, wobei es sich bei der einzusetzende Intraokularlinse um eine sphärische, torische oder multifokale einzusetzende Intraokularlinse handelt. Ein System (400) zur Brechkraftbestimmung für eine einzusetzende Intraokularlinse, das System (400) aufweisend
- ein Bereitstellungsmodul (406) in dem ein physikalisches Modell für eine Brechkraftbestimmung für eine Intraokularlinse gespeichert ist,
- ein Trainingsmodul (410), das angepasst ist zum Trainieren eines maschinellen Lernsystems (310, 412) mit gemessenen, klinischen ophthalmologischen Trainingsdaten (304) und zugehörigen gewünschten Ergebnissen (306) zur Bildung eines Lernmodells für die Brechkraftbestimmung, wobei in dem Lernsystem (310, 412) Parameterwerte des Lernmodells gespeichert sind, und wobei eine Loss-Funktion für das Trainieren zwei Komponenten aufweist, wobei eine erste Komponente der Loss-Funktion (312) entsprechende der gemessenen klinischen ophthalmologischen Trainingsdaten (304) und zugehörige und gewünschte Ergebnisse (306) berücksichtigt, wobei eine zweite Komponente der Loss-Funktion (312) Einschränkungen des physikalischen Modells dadurch berücksichtigt, dass ein Loss-Funktions- komponentenwert dieser zweiten Komponente umso größer wird, je weiter sich ein vorhergesagter Wert der Brechkraft während des Trainings von Ergebnissen des physikalischen Modells bei gleichen gemessenen klinischen ophthalmologischen Trainingsdaten als Eingangswerte entfernt,
- einen Speicher (414) für gemessene ophthalmologische Daten (316) eines Patienten,
- eine Vorhersageeinheit (320, 416), die angepasst ist zum Vorhersagen der Brechkraft der einzusetzenden Intraokularlinse mittels des trainierten maschinellen Lernsystems (314), wobei die gespeicherten, gemessenen ophthalmologischen Daten als Eingangsdaten für das trainierte maschinelle Lernsystem (314, 412) genutzt werden. Ein Computerprogrammprodukt zur Brechkraftbestimmung für eine einzusetzende Intraokularlinse, wobei das Computerprogrammprodukt ein Computer-lesbares Speichermedium aufweist, welches darauf gespeicherte Programminstruktionen aufweist, wobei die Programminstruktionen durch einen oder mehrere Computer (500) oder Steuereinheiten ausführbar sind, und den einen oder die mehreren Computer (500) oder Steuereinheiten dazu veranlasst, das Verfahren entsprechend einem der Ansprüche 1 bis 8 auszuführen.
PCT/EP2022/051779 2021-01-29 2022-01-26 Theorie-motivierte domänenkontrolle für ophthalmologische machine-learning-basierte vorhersagemethode WO2022162013A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202280012340.9A CN117280425A (zh) 2021-01-29 2022-01-26 基于机器学习的眼科预测方法的理论驱动域控制
EP22708353.2A EP4285386A1 (de) 2021-01-29 2022-01-26 Theorie-motivierte domänenkontrolle für ophthalmologische machine-learning-basierte vorhersagemethode
US18/263,162 US20240120094A1 (en) 2021-01-29 2022-01-26 Theory-motivated domain control for ophthalmological machine-learning-based prediction method
JP2023546052A JP2024508379A (ja) 2021-01-29 2022-01-26 機械学習に基づく眼科的予測方法のための理論駆動型ドメイン制御

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021102142.1 2021-01-29
DE102021102142.1A DE102021102142A1 (de) 2021-01-29 2021-01-29 Theorie-motivierte Domänenkontrolle für ophthalmologische Machine-Learning-basierte Vorhersagemethode

Publications (1)

Publication Number Publication Date
WO2022162013A1 true WO2022162013A1 (de) 2022-08-04

Family

ID=80682932

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/051779 WO2022162013A1 (de) 2021-01-29 2022-01-26 Theorie-motivierte domänenkontrolle für ophthalmologische machine-learning-basierte vorhersagemethode

Country Status (6)

Country Link
US (1) US20240120094A1 (de)
EP (1) EP4285386A1 (de)
JP (1) JP2024508379A (de)
CN (1) CN117280425A (de)
DE (1) DE102021102142A1 (de)
WO (1) WO2022162013A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117238514A (zh) * 2023-05-12 2023-12-15 中山大学中山眼科中心 一种人工晶状体屈光力预测方法、系统、设备及介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022125419A1 (de) 2022-09-30 2024-04-04 Carl Zeiss Meditec Ag Trainings-domänen-basiertes ai-boosting einer iol-bestimmung
DE102022128198A1 (de) 2022-10-25 2024-04-25 Carl Zeiss Meditec Ag Vergrössern einer Trainingsdatenmenge zur Verbesserung einer Vorhersagegenauigkeit einer AI-basierten IOL-Bestimmung

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190099262A1 (en) * 2017-09-29 2019-04-04 John Gregory LADAS Systems, apparatuses, and methods for intraocular lens selection using artifical intelligence
EP3491996A1 (de) * 2016-07-29 2019-06-05 Nidek Co., Ltd. Ophthalmologische vorrichtung und programm zur bestimmung einer iol-stärke
US20200015894A1 (en) * 2018-07-12 2020-01-16 Alcon Research, Ltd. Systems and methods for intraocular lens selection

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006059829A1 (de) 2006-12-15 2008-06-19 Slawomir Suchy Universalcomputer

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3491996A1 (de) * 2016-07-29 2019-06-05 Nidek Co., Ltd. Ophthalmologische vorrichtung und programm zur bestimmung einer iol-stärke
US20190099262A1 (en) * 2017-09-29 2019-04-04 John Gregory LADAS Systems, apparatuses, and methods for intraocular lens selection using artifical intelligence
US20200015894A1 (en) * 2018-07-12 2020-01-16 Alcon Research, Ltd. Systems and methods for intraocular lens selection

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HENDRIK BURWINKEL ET AL: "Domain-specific loss design for unsupervised physical training: A new approach to modeling medical ML solutions", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 9 May 2020 (2020-05-09), XP081999030, DOI: 10.1007/978-3-030-59713-9_52 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117238514A (zh) * 2023-05-12 2023-12-15 中山大学中山眼科中心 一种人工晶状体屈光力预测方法、系统、设备及介质
CN117238514B (zh) * 2023-05-12 2024-05-07 中山大学中山眼科中心 一种人工晶状体屈光力预测方法、系统、设备及介质

Also Published As

Publication number Publication date
JP2024508379A (ja) 2024-02-27
DE102021102142A1 (de) 2022-08-04
CN117280425A (zh) 2023-12-22
EP4285386A1 (de) 2023-12-06
US20240120094A1 (en) 2024-04-11

Similar Documents

Publication Publication Date Title
WO2022162013A1 (de) Theorie-motivierte domänenkontrolle für ophthalmologische machine-learning-basierte vorhersagemethode
WO2021148517A1 (de) Physikalisch motiviertes machine-learning-system für optimierte intraokularlinsen-kalkulation
Jiang et al. Bayesian modeling of flexible cognitive control
DE112019004104T5 (de) Medizinische bildverarbeitungsvorrichtung, medizinisches bildverarbeitungsverfahren und programm
WO2021148518A1 (de) Machine-learning gestützte pipeline zur dimensionierung einer intraokularlinse
DE102011106714A1 (de) "Verfahren zur optimierten Vorhersage der postoperativen, anatomischen Position einer in ein pseudophakes Auge implantierten Intraokularlinse"
DE112013002998T5 (de) Verfahren und System zum Schätzen einer postoperativen Intraokularlinsenposition
WO2021148519A1 (de) MACHINE-LEARNING BASIERTE BRECHKRAFTBESTIMMUNG FÜR MAßNAHMEN ZUR KORREKTUR DER SEHFÄHIGKEIT VON OCT BILDERN
CH714206B1 (de) Verfahren und Vorrichtungen zum Entwerfen optischer Systeme.
WO2021130340A1 (de) System und verfahren zur qualitätszusicherung von datenbasierten modellen
DE102021109945B4 (de) Ki-basierte videoanalyse der kataraktchirurgie zur dynamischen anomalieerkennung und korrektur
DE102020106607A1 (de) Maschinelles Lernsystem für eine Zustandserkennung einer Operation und Assistenzfunktion
DE102020101761A1 (de) Machine-learning basierte iol-positionsbestimmung
DE102022128197B3 (de) Interpolationsbasierte Reverse Inference eines refraktiven Ergebnisses von AI-Basierter IOL-Bestimmung
DE102019133174A1 (de) Kontextsensitiver Weißabgleich für Operationsmikroskope
DE112020004025T5 (de) Gegnerisches und koopoeratives Nachahmungslernen zur dynamischen Behandlung
EP3748574A1 (de) Adaptive bereinigung von messdaten um unterschiedliche arten von störungen
DE102023126722A1 (de) Physikalische augmentierung von patientendaten für medizinische anwendungen
DE102022128198A1 (de) Vergrössern einer Trainingsdatenmenge zur Verbesserung einer Vorhersagegenauigkeit einer AI-basierten IOL-Bestimmung
Schiffler et al. Memory-reliant post-error slowing is associated with successful learning and fronto-occipital activity
WO2023161272A1 (de) Verfahren und vorrichtung zur biometrischen analyse eines menschlichen auges
DE102022125421A1 (de) Physische iol-positionsbestimmung auf basis unterschiedlicher intraokularlinsentypen
Abu et al. Machine Learning Algorithms for Optic Pathway Disease Diagnostics: A Review
DE102022125419A1 (de) Trainings-domänen-basiertes ai-boosting einer iol-bestimmung
Princy et al. Glow Worm Optimization based ANFIS with Mahalanobis Distance for Effective True Blood Vessel Detection

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22708353

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18263162

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2023546052

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2022708353

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022708353

Country of ref document: EP

Effective date: 20230829