WO2022263515A1 - Co-design von optischem filter und fluoreszenz-anwendungen mit künstlicher intelligenz - Google Patents

Co-design von optischem filter und fluoreszenz-anwendungen mit künstlicher intelligenz Download PDF

Info

Publication number
WO2022263515A1
WO2022263515A1 PCT/EP2022/066313 EP2022066313W WO2022263515A1 WO 2022263515 A1 WO2022263515 A1 WO 2022263515A1 EP 2022066313 W EP2022066313 W EP 2022066313W WO 2022263515 A1 WO2022263515 A1 WO 2022263515A1
Authority
WO
WIPO (PCT)
Prior art keywords
digital
machine learning
training
learning system
image
Prior art date
Application number
PCT/EP2022/066313
Other languages
English (en)
French (fr)
Inventor
Stefan Saur
Mirco WILTBACH
Alexander Freytag
Anna ALPEROVICH
Original Assignee
Carl Zeiss Meditec Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Meditec Ag filed Critical Carl Zeiss Meditec Ag
Priority to CN202280042864.2A priority Critical patent/CN117546206A/zh
Publication of WO2022263515A1 publication Critical patent/WO2022263515A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the invention relates to a prediction method using a machine learning model, and more particularly to a computer-implemented method for predicting digital fluorescence images.
  • the invention further relates to a prediction system for predicting digital fluorescence images and a computer program product.
  • Brain tumors relate to a type of cancer that is not uncommon, which is comparatively aggressive and often has relatively poor treatment success with a survival chance of approximately 1/3. Treatment of such disorders typically requires surgical removal, radiation therapy, and/or subsequent, usually lengthy, chemotherapy. A biopsy often forms the basis for the decision for the respective treatment, whereby molecular tests are also used. Of course, there are medical risks associated with such procedures. Due to the recently very advanced possibilities of analyzing radiometrically recorded images, such tumor examinations can at least complement biopsies. This may be the case when biopsies are not possible or undesirable. Recently, these image-based diagnoses can also be used during an operation. However, the required computing power is currently extremely high, which is why real real-time support has not yet been possible.
  • a computer-implemented method for predicting digital fluorescence images can include recording a first digital image of a tissue sample using a microsurgical optical system with a first digital image recording unit with a first number of color channel information items—or number of color channels—using white light and at least one optical filter. Furthermore, the method can predict a second digital image in the form of a digital fluorescence representation of the recorded first digital image using a trained have a machine learning system which has a trained learning model for predicting a corresponding digital fluorescence representation of an input image.
  • the first recorded digital image can be used as an input image for the trained machine learning system, and parameter values of the at least one optical filter can have been determined during training of the machine learning system.
  • a prediction system for predicting digital fluorescence images can be a microsurgical optical system with a first digital image recording unit with a first number of color channel information - or number of color channels - and an optical filter for recording a first digital image of a tissue sample using white light and at least one trained machine learning system exhibit.
  • the machine learning system can have a trained learning model for predicting a corresponding digital fluorescence representation of an input image. It can be adapted to predict a second digital image in the form of a digital fluorescence representation of the captured first digital image.
  • the first recorded digital image can serve as an input image for the trained machine learning system, and parameter values of the at least one optical filter can have been determined during training of the machine learning system.
  • the practice according to which different powerful underlying computer systems are used for the creation of the machine learning model in the training phase and the use of the machine learning model in the prediction phase, is further developed by the method proposed here.
  • the time available for the development of the machine learning model is longer in the training phase than in the prediction phase.
  • the prediction phase i.e. during productive use - it should be possible to output the machine learning system with the shortest possible time delay. This is particularly essential when the machine learning system is used in real-time situations - such as to support surgical procedures.
  • a hyperspectral camera can be used to create the training data, which has a large number of different makes color channel information available. From this starting point, the number of color channels is then significantly reduced by a digitally simulated optical filter in an integrated approach during the training process in order to anticipate the available resources during the prediction phase already during the training phase. For this purpose, both the machine learning system with its integrated machine learning model and the parameters of the digitally simulated optical filter are adjusted or trained simultaneously in an integrated optimization process. In addition, additional boundary conditions such as the spectrum of the illumination light used for the tissue sample illuminated by the digital recording system can be taken into account.
  • the determined parameters of the digitally simulated optical filter can then be transferred to a real, existing physical filter.
  • a digital recording unit e.g. an RGB camera
  • a digital recording unit e.g. an RGB camera
  • the boundary conditions of the digital recording unit that will later be available for productive use - e.g. the RGB camera - could already be specified during the training.
  • the surgeon can thus be provided with a representation of the tissue to be operated on in a fluorescence representation, which allows him to clearly and without further distracting his attention distinguish between healthy and diseased tissue. This applies even though in productive operation - i.e. during the prediction phase (inference) - only a comparatively simple camera (in contrast to a hyperspectral camera for the training phase) can be used.
  • surgeon has a very advantageous optical representation of the tissue to be operated on in real time without the need for time-consuming, multi-dimensional biopsies.
  • the system presented here is ultimately based very advantageously on an optimization of hardware in the form of the optical filter to be physically produced for the prediction phase, the parameters of which are determined during the integrated optimization during the training phase, and the software of the machine learning system used.
  • the trained learning model of the trained machine learning system can provide a plurality of first digital training images of tissue samples that were recorded under white light using a microsurgical optical system with a second image recording unit.
  • a second number of color channel information items for each first digital training image, a second number of color channel information items—for example 64 color channels of a hyperspectral camera—can be available for different spectral ranges.
  • the method can also include providing a plurality of second digital training images, each representing the same tissue samples as the first set of digital training images, wherein the second digital training images can have indications of diseased elements of the tissue samples, and training the machine learning system to form the trained machine learning model to predict a digital image of a type of the plurality of second digital training images.
  • the following can be used as input values for the machine learning system: the majority of the first digital training images in the form of the second number of color channel information (ie e.g. 64 color channels), the majority of the second digital training images as "ground truth", parameter values for reducing the second number the color channel information through at least one digitally simulated optical filter to form the first plurality of color channel information.
  • the expert knows the term "ground truth" as the learning objective of the training.
  • the majority of the first digital training images can be used as training data for predicting a digital image of the type of majority of the second digital training images, after the second number of color channel information items has been reduced to the first number of color channel information items by means of the digitally simulated optical filter .
  • at least some of the parameter values of the at least one optical filter can be output as output values of the machine learning system after the training of the machine learning system has been completed.
  • the part of the parameter values of the at least one optical filter can also mean that all determined parameter values are output.
  • tissue samples can be, for example, diseased tissue in the form of cancerous tissue, in particular diseased brain tissue.
  • second training images were generated as images taken under visible light and/or under special lighting conditions - e.g. UV light.
  • the parameter values of the at least one optical filter can have the number of first color channel information items and/or a filter shape of the digitally simulated optical filter.
  • the filter can also consist of a plurality of digitally simulated optical filters. In this way, different parameter values of the optical filter can be varied. In the production of optical filters, several of these parameter values can be realized at the same time.
  • the second number of color channel information (i.e. the number of color channels) can be larger than the first number of color channel information.
  • the second number can represent the color channel number of a hyperspectral camera - e.g. 64 color channels (more generally e.g. 30 to 130 color channels) - while the first number represents the color channel number of the first digital image acquisition unit.
  • This can have under 10 - or preferably 3 to 4 - color channels.
  • the number of color channels can be significantly reduced, which means that the required computing power can be significantly reduced. This has a positive effect on using the method directly during an ongoing operation.
  • the parameter values for reducing the second number of color channels can relate to a filter form of the filter or to a respective center frequency of the first number of color channel information items.
  • the parameter values for reducing the second number of color channels can also relate to one or more camera sensitivity curves (eg one per color channel) as an envelope or their number and/or shapes of the geometrically described structures; this can refer to a Gaussian distribution, a rectangular shape, etc.
  • parameter values for controlling the source of the white light during the recording of the first digital image can be generated as additional output values of the machine learning system after the training of the machine learning system has been completed.
  • the environment variables that were used during the training of the machine learning system with its machine learning model can also be used for the actual, productive use of the method.
  • the digital fluorescence representation may correspond to a representation as would be produced using a light source in the UV range - e.g., BLUE400.
  • spectral ranges can also be displayed preferentially.
  • the term “fluorescence display” should also be usable for these other spectral ranges.
  • a contrast agent in the tissue sample would make sense for a fluorescence display: for example 5-ALA (aminolevulinic acid) for excitation in the wavelength range 430-440nm or sodium fluorescein for excitation in the wavelength range around 560nm.
  • the structure of the learning model can correspond to an encoder-decoder model.
  • embodiments may relate to a computer program product, accessible from a computer-usable or computer-readable medium, having program code for use by, or in connection with, a computer or other instruction processing system.
  • a computer-usable or computer-readable medium can be any device suitable for storing, communicating, transmitting, or transporting program code.
  • FIG. 1 shows a flowchart-like representation of an embodiment of the computer-implemented method according to the invention for the prediction of digital fluorescence images.
  • FIG. 2 shows an extension of the exemplary embodiment according to FIG. 1.
  • FIG 3 shows a diagram of an embodiment for the training phase and the prediction phase for the machine learning system and a use of the filters.
  • Figure 4 shows a diagram of an embodiment of the number of color channels during training.
  • Fig. 5 represents two possible wavelength distributions as a result of joint optimization of the machine learning system and the digitally simulated filter.
  • FIG. 7 illustrates an embodiment of a computer system that includes the system of FIG.
  • the term 'machine learning system' can describe a system or a method here, with the aid of which output values are generated in a non-procedurally programmed manner.
  • a machine learning model present in the machine learning system is trained with training data and the associated desired output values (annotated data or ground truth data).
  • the productive phase i.e. the prediction phase (inference phase)
  • the prediction phase inference phase
  • This also includes neural networks, which can be trained and used as classifiers, for example.
  • the desired output values for given input values are typically learned using a method called "backpropagation", in which parameter values of nodes in the neural network or connections between the nodes are automatically adjusted.
  • backpropagation a method in which parameter values of nodes in the neural network or connections between the nodes are automatically adjusted.
  • the inherent machine learning model is adjusted or trained to form the trained machine learning system with the trained machine learning model.
  • the term 'prediction' can describe the phase of the productive use of a machine learning system according to what has been said before. During the prediction phase of the machine learning system, output values are generated or predicted on the basis of the trained machine learning model, which is provided with previously unknown input data.
  • the term 'digital fluorescence image' here describes a digital image of a tissue sample whose appearance is that of an image which is viewed under light of a specific wavelength (eg UV light) with the aid of a contrast agent previously added to the tissue sample.
  • the term 'first digital image' here describes a recording of a digital image with a digital image recording unit (eg RGB camera) with a low number of color channels (eg monochrome or 3 to 4 color channels, generally less than 10 color channels). This first digital image is acquired during the prediction phase in order to predict a digital fluorescence image from it.
  • the terms 'number of color channels' and 'number of color channel information' can be understood as synonyms in the context of this application.
  • tissue sample' here can describe biological material. In this method, it is advantageously available for investigations. This can be “normal” human tissue or brain tissue.
  • microsurgical optical system' can describe a surgical microscope here. This can be used for surgical operations - for example minimally invasive interventions. It can have lighting, a digital recording unit (e.g. a digital camera with one or more color channels), an image processing and operating unit and an output screen.
  • a digital recording unit e.g. a digital camera with one or more color channels
  • an image processing and operating unit e.g. a digital camera with one or more color channels
  • the term 'digital image recording unit' can describe a camera with a digital image converter. This can capture multiple color channel information in parallel. In the case of a hyperspectral camera, for example, 64 color channels can be recorded; however, other numbers of color channels are also conceivable (e.g. 30 to 130). Such a camera could be used for capturing training images, while a camera with a much more common number of color channels - e.g., on the order of 3 to 4 (or monochrome) - would be usable for productive use during the prediction phase.
  • the term 'first number of color channel information' can describe the number of color channels of the image acquisition unit that is used in the prediction mode.
  • the term 'optical filter' here can be a device that allows incident optical rays to pass selectively according to certain criteria.
  • the criteria can be wavelength-selective (or polarization-state dependent), so that the filter is more permeable to certain different wavelength ranges and less permeable to others (up to practically not at all).
  • the term 'second digital image' may describe the predicted image generated by the machine learning system in production.
  • the term 'digital fluorescence representation' may mean a specific representation of a digital image that appears as if illuminated with light of a specific wavelength (e.g., UV light) causing fluorescence effects related to the light of the specific wavelength to a contrast agent present, for example, in a biological tissue.
  • a specific wavelength e.g., UV light
  • the term 'white light' describes light from a light source (e.g. white light LED, xenon, etc.) which emits primarily in the visible wave spectrum.
  • a light source e.g. white light LED, xenon, etc.
  • the term “parameter values of the at least one optical filter” essentially describes wavelengths—or their ranges—in which the filter is transparent.
  • the envelope in a transmission-versus-wavelength representation can be another parameter - just like a mean value of the transmission range.
  • first digital training image' here describes a digital image for which a large number (e.g. 64 or more generally: 30 to 130) color channels are available.
  • the term 'second image acquisition unit' describes an image acquisition unit which is adapted to provide a large number of color channel data for an acquisition, as is the case with a hyperspectral camera, for example.
  • the term 'second digital training image' describes a digital image of the ground truth data that is essential for training a machine learning system in supervised learning.
  • the ground truth data reflects the kind of digital images that are expected to be predicted (i.e., to be "learned").
  • the term 'indications of diseased elements of the tissue samples' can be characterized by different annotations in a digital image. It can be a pixel-by-pixel annotation of a specific image section, an area marked in some other way, or a specific form of segmentation of the digital image.
  • the term 'parameter values for reducing the second number of color channel information' can describe characteristics of the digitally simulated filter. It can affect the number or the transmission characteristics of the filter.
  • the term 'digitally simulated optical filter' denotes a unit of the machine learning system that modifies the color channel information. These can be digital color transmission filters.
  • the term 'filter form of the digitally simulated optical filter' can refer, for example, to the envelope of the spectral lines (or wavelength range) transparent to the filter, their mean values or an associated standard deviation.
  • the term 'white light source control parameter values' can describe characteristics of the white light used to create the digital images. Essentially, these can be spectral range and intensity values of the light emitted by the illumination source.
  • the term 'encoder-decoder model' here describes an architecture of a machine learning system in which input data is encoded or coded in order to then be decoded again immediately afterwards. In the middle between the encoder and the decoder, the necessary data is available as a type of feature vector. Depending on the training of the machine learning model, certain features in the input data can then be particularly emphasized during decoding.
  • 'U-Net architecture' describes here an architecture of a machine learning model, which internally has a contracting and an expanding path. A more detailed definition is given in connection with FIG.
  • the method includes recording 102 a first digital image of a tissue sample - for example, from diseased brain tissue - by a microsurgical optical system with a first digital image acquisition unit, eg one RGB camera - with a first number of color channel information - eg with 3 to 4 color channels - using white light and at least one optical filter.
  • the filter is typically located between the illuminated tissue sample and the camera.
  • the method 100 has a prediction 104 of a second digital image in the form of a digital fluorescence representation of the recorded first digital image by means of a trained machine learning system, which has a trained learning model for predicting a corresponding digital fluorescence representation of an input image.
  • the first recorded digital image for the trained machine learning system is used as input data or input image; in addition, parameter values of the at least one optical filter were determined during training of the machine learning system.
  • FIG. 2 shows an extension of the exemplary embodiment according to FIG. 1, in particular the training phase 200 of the method described above, which is shown in FIG. 1 during its productive or prediction phase.
  • the training of the combined machine learning model of the trained combined machine learning system includes providing 202 a plurality of first digital training images of tissue samples - i.e. again brain tissue or cancer tissue, for example - which are examined under white light by means of a microsurgical optical system - i.e., e.g. a surgical microscope - Were recorded with a second image recording unit, wherein a second number of color channel information for different spectral ranges is available for each first digital training image. This second number is typically larger than the first number of color channels in the productive prediction mode according to Fig. 1.
  • a hyperspectral camera with, for example, 64 color channels would be used advantageously.
  • the training phase 200 includes providing 204 a plurality of second digital training images, each of which represents the same tissue samples as the first set of digital training images.
  • the second digital training images contain indications of diseased elements in the tissue samples. These indications can take various forms, such as pixel-by-pixel annotations, optically emphasized encircling and/or borders of diseased tissue areas or other image segmentations.
  • the representation can be both that under normal visible eg white light or under special light and highlighted with a contrast agent (fluorescence imaging).
  • the training phase 200 comprises the actual training 206 of the machine learning system - under so-called supervised learning - to form the trained machine learning model for predicting a digital image of a kind of the plurality of the second digital training images, i.e. with visible markers of diseased tissue.
  • the following input values are used for the combined machine learning system: (i) the majority of the first digital training images in the form of the second quantity of color channel information - i.e. with the higher quantity of color channel information - (ii) the majority of the second digital training images as ground truth - i.e. the desired result images to be trained - and (iii) parameter values for reducing the second set of color channel information by at least one digitally simulated optical filter to form the first set of color channel information.
  • the parameter values can include the number of filters, information about color spectra or filter shapes.
  • the plurality of first digital training images are used after reducing the second number of color channel information to the first number of color channel information by the digitally simulated optical filter.
  • parameter values of the at least one optical filter are output as output values of the machine learning system after the training of the machine learning system has been completed. This means that the learning system learns the properties of the simulated optical filter, so to speak, during the training of the machine learning system to form the machine learning model.
  • the parameter values of the at least one optical filter can, for example, relate to a number of filters or associated frequency bands. The properties of the digitally simulated filter can then be used directly to produce such an optical filter for use in the prediction phase, as also described in more detail in FIG.
  • Figure 3 shows a simultaneous representation 300 of the training phase and the prediction phase for the machine learning system and usage of the filters.
  • the left side of the figure relates to the training phase, while the right side of the figure relates to the prediction phase .
  • Multiple tissue samples 302 are combined by a digital Recording system 304 with a high number of color channels 306 for generating training data from the tissue 302 recorded.
  • These digital images (first training data) are passed through a digitally simulated filter 308 so that these digital images 310 are available behind the digitally simulated filter 308 in a representation with a reduced number of color channels 310 .
  • the properties of the optical filter(s) 308 are varied, thereby influencing the learning speed and the learning success (fast or slow convergence) of the machine learning system 312.
  • the phase of using the trained machine learning system 324 also begins with a recording of a biological tissue 302a.
  • a biological tissue 302a This can happen, for example, during an operation or an examination using an image recording unit 320 - i.e. e.g. an RGB camera.
  • the potentially diseased tissue 302a is illuminated, for example, with white light (illumination source not shown) and converted into a digital image by the recording unit/camera 320 after the rays have been filtered by the optical filter or filters 318 .
  • This digital image consists of the color information of, for example, 3-4 color channels 322.
  • the number of color channels 322 corresponds to that of the color channels 312 that are selected from the color channels 306 of the hyperspectral camera 304 by the digitally simulated optical filter 310 during the training of the machine learning system 312 were generated.
  • the respective equivalent elements of the training phase and the prediction phase are indicated by dashed arrows from the left side of FIG. 3 to the right side of FIG.
  • the digital image captured by the camera 320 (e.g., an RGB camera) with the fewer number of color channels 322 becomes the trained machine Learning system 324 supplied - ie used as input data - to output a digital output image 326 in the form of a fluorescence display.
  • the filter 308 is simulated digitally during the training of the machine learning system 312, while the filter 318, which is used during the prediction phase of the trained machine learning system 324, is a real existing filter , which has the optical characteristics or parameters that the trained machine learning system 314 also outputs at the end of the training. Consequently, the real optical filter 318 is manufactured exactly according to the specifications determined during the joint optimization 314 of the digitally simulated filter 308 and the machine learning system 312 parameters in training. Ground truth data 316 are required as additional input values for the training.
  • Fig. 4 shows a diagram of an embodiment 400 in terms of the number of color channels during training are neutralized (i.e. made independent), so that these properties can also be used as additional constraints when training the machine learning system 414.
  • boundary conditions can be their number as well as the availability of the light at different wavelengths, its density and the respective intensity.
  • the color information that is then available through the same number of color channels 406 for a recorded image is then abstracted from the properties of the light source used.
  • the boundary conditions of the simulated optical filter 408, which are optimized together with the properties of the machine learning system 414 (cf. correspondingly the machine learning system 312, 324 of FIG. 3), can be taken into account.
  • camera sensitivity parameters in particular with regard to specific wavelengths
  • additional boundary conditions 410 can also be taken into account as additional boundary conditions 410 .
  • the result is a digital image with a reduced number 412 of color channels, which is smaller (or significantly smaller) than the number of color channels 402 of the digital input image.
  • the double arrows between the symbolically represented boundary conditions 404, 408, 410 symbolize the influence on the machine learning system 414 during the training.
  • the machine learning system 414 is also supplied with reference data (ground truth data) 416 during the training, which data represent the respective expected result for a digital training image.
  • This ground truth data 416 ultimately represents the expected output image in fluorescence representation, which is expected (to be predicted) given the presence of a digital input image with the high number of color channels 402 .
  • further parameters 418 can be output. These primarily relate to the characteristics of the digitally simulated optical filter 408 and, for example, spectral range properties of the illumination source for the prediction phase or also spectral range sensitivity parameters of the digital recording unit to be used in the prediction phase (i.e. the RGB camera, a monochromatic camera, or similar) .
  • a U-Net for example, can be used as the machine learning system 414 .
  • this consists of a contracting path and an expanding path, as indicated by the symbol 414 .
  • it may consist of a repeated application of two 3x3 unpadded convolutions, each preceded by a reinforcing linear unit (ReLU) and a 2x2 pooling operation with steps of 2 for downsampling. The number of feature channels is doubled with each downsampling step.
  • ReLU reinforcing linear unit
  • the expanding path consists of upsampling the feature map, followed by a 2x2 convolution (“up-sampling”), which bisects the number of feature channels in each case, and lining them up through the contracting path accordingly "Cut" feature images and two 3x3 folds, each of which is followed by a ReLU.
  • Diagram 502 essentially shows three separate frequency /wavelength ranges that can easily be converted into an RGB representation.
  • the diagram 504 has four filter areas with different attenuation for different frequency ranges. It should be pointed out that there are actually only two possible examples in which each spectral range can represent a sensor channel of the digital recording unit.
  • the height of the vertical lines corresponds to the weighted sensitivities of the respective filter at the respective wavelength.
  • An additional boundary condition of the representation 502 relates to the fact that the three channels each have a Gaussian sensitivity distribution with a relatively small standard deviation.
  • the representation 504 has four maxima, one of which can be in the blue area, one in the green area and two in the red area, for example.
  • the standard deviation is comparatively small. If no optimization were provided during the learning phase of the machine learning system, the intensity lines of potential filters would be distributed mathematically more chaotically along the x-axis (not shown); no separate spectral ranges would be recognizable that could be converted into a real, physical optical filter.
  • the real optical filter (cf. 318, Fig. 3) has exactly the same sensitivity curves.
  • the representation 502 represents a fully described sensitivity specification (i.e. no variation of the filter parameters is made during training).
  • the representation 504 would then correspond to the characteristics (or parameters) of the sensitivity curves of a camera to be used later (during the prediction phase); i.e., Gaussian sensitivity curves with boundary conditions such as small standard deviation and a specific value for the highest sensitivity value of a given wavelength etc.
  • Gaussian sensitivity curves with boundary conditions such as small standard deviation and a specific value for the highest sensitivity value of a given wavelength etc.
  • the last case described in the penultimate paragraph would probably be difficult to implement in a 1:1 manner in terms of hardware in terms of an actual physical filter to realize.
  • properties of the light source used can be used as additional boundary conditions during the training phase in further embodiments.
  • Further embodiments can provide a chronological sequence of digitally recorded images.
  • the goal here would be to avoid rapidly changing digital speckle formation when using consecutive images (“flickering”).
  • post-processing of the individual recorded frames could be provided through smoother transitions in time.
  • the generation of a 3D model so that all 2D operations of the 2D model are performed in 3D space ie 3D convolutions, 3D pooling, etc.
  • a combination of a 2D model with time-limited models can also be used.
  • the prediction system 600 for predicting digital fluorescence images.
  • the prediction system has a memory 604, which stores program code, and one or more processors 602 connected to the memory, which, when they execute the program code, cause the prediction system 600 to control the following units: a first digital image acquisition unit 606 with a first Number of color channel information for capturing a first digital image of a tissue sample by a microsurgical optical system using white light and at least one optical filter and a trained machine learning system 608 for predicting a second digital image in the form of a digital fluorescence representation of the captured first digital image.
  • the trained machine learning system has a trained learning model for predicting a corresponding digital fluorescence representation of an input image; the first captured digital image is used as an input image for the trained machine learning system; and parameter values of the at least one optical filter were determined during training of the machine learning system.
  • the prediction system 600 can either explicitly have a second image acquisition unit 610 for a plurality of first digital training images of tissue samples, which were acquired under white light by means of a microsurgical optical system, or through the interaction of the program code stored in the memory 604 with the processor 602 fulfill their function.
  • a second set of color channel information for different spectral ranges is available for each first digital training image.
  • a provision unit 612 for providing a plurality of second digital training images can be present, each representing the same tissue samples as the first set of digital training images, the second digital training images having indications of diseased elements of the tissue samples.
  • the provisioning unit 612 may be implemented as an image store.
  • a training system 614 for training the machine learning system to form the trained machine learning model for predicting a digital image of one type of the plurality of second digital training images may be provided.
  • the following is used as input values for the machine learning system: the majority of the first digital training images in the form of the second quantity of color channel information, the majority of the second digital training images as ground truth (or ground truth data) and parameter values for reducing the second Number of color channel information through at least one digitally simulated optical filter to form the first number of color channel information, wherein the plurality of first digital training images is used as training data for predicting a digital image of the type of the plurality of second digital training images after the second number of color channels information was reduced to the first number of color channel information by means of the digitally simulated optical filter.
  • Parameter values of the at least one optical filter are also output as output values of the machine learning system after the training of the machine learning system has been completed.
  • modules and/or units - in particular the processor 602, the memory 604, the first digital image acquisition unit 606, the trained machine learning system 608, the second image acquisition unit 610, the provision unit 612 and the training system 614 - Can be connected to electrical signal lines or via a system-internal bus system 616 for the purpose of signal and/or data exchange and cooperative behavior.
  • Figure 7 illustrates a diagram of a computer system 700 that may include at least portions of the prediction system.
  • embodiments of the concept proposed here can be used with practically any type of computer, regardless of the platform used therein for storing and/or executing program codes.
  • FIG. 6 shows a computer system 700 by way of example, which is suitable for executing program code in accordance with the method presented here.
  • a computer system already present in a surgical microscope can also—possibly with appropriate extensions—serve as a computer system for executing the concept presented here.
  • the computer system 700 has a plurality of general purpose functions.
  • the computer system can be a tablet computer, a laptop/notebook computer, another portable or mobile electronic device, a microprocessor system, a microprocessor-based system, a computer system with specially set up special functions or also a component of a computer-controlled microscope system.
  • the computer system 700 may be configured to execute instructions executable by a computer system - such as program modules - which can be executed to implement functions of the concepts proposed here.
  • the program modules can have routines, programs, objects, components, logic, data structures, etc. in order to implement specific tasks or specific abstract data types.
  • the components of the computer system may include: one or more processors or processing units 702, a memory system 704, and a bus system 706 that connects various system components, including the memory system 704, to the processor 702.
  • computer system 700 includes a plurality of accessible volatile or non-volatile storage media to which computer system 700 has access.
  • the data and/or instructions (commands) of the storage media can be stored in volatile form--such as in a RAM (Random Access Memory) 708--to be executed by the processor 702.
  • RAM Random Access Memory
  • Further components of the memory system 704 can be a permanent memory (ROM) 710 and a long-term memory 712 in which the program modules and data (reference number 716) as well as workflows can be stored.
  • the computer system has a number of dedicated devices (keyboard 718, mouse pointing device (not shown), display 720, etc.) for communication. These dedicated devices can also be integrated into a touch-sensitive display.
  • a separately provided I/O controller 714 ensures smooth data exchange with external devices.
  • a network adapter 722 is available for communication via a local or global network (LAN, WAN, for example via the Internet). The network adapter can be accessed by other components of computer system 700 via bus system 706 . It should be understood that other devices may be connected to computer system 700, although not shown.
  • the prediction system 600 for predicting digital fluorescence images can be connected to the bus system 706.
  • the prediction system 600 and the computer system 700 may share memory and/or the processor, if desired.
  • the principle presented here can be embodied both as a system, as a method, combinations thereof and/or also as a computer program product.
  • the computer program product may include one (or more) computer-readable storage medium(s) having computer-readable program instructions for causing a processor or a control system to perform various aspects of the present invention.
  • Electronic, magnetic, optical, electromagnetic, infrared media or semiconductor systems are used as the transmission medium; for example SSDs (solid state device/drive), RAM (Random Access Memory) and/or ROM (Read-Only Memory), EEPROM (Electrically Eraseable ROM) or any combination thereof.
  • Solid state device/drive solid state device/drive
  • RAM Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrically Eraseable ROM
  • Propagating electromagnetic waves, electromagnetic waves in waveguides or other transmission media (e.g. light pulses in optical cables) or electrical signals that are transmitted in wires can also be considered as transmission media.
  • the computer-readable storage medium may be an embodying device that stores instructions for use by an instruction execution device.
  • the computer-readable program instructions described here can also be downloaded onto a corresponding computer system, for example as a (smartphone) app from a service provider via a cable-based connection or a mobile network.
  • the computer-readable program instructions for performing operations of the invention described herein may be machine-dependent or machine-independent instructions, microcode, firmware, state-defining data, or any source or object code written, for example, in C++, Java, or the like or written in conventional procedural programming languages, such as the "C" programming language or similar programming languages.
  • the computer-readable program instructions can be executed entirely by a computer system. In some According to embodiments, it can also be electronic circuits, such as programmable logic circuits, field-programmable gate arrays (FPGA) or programmable logic arrays (PLA), which execute the computer-readable program instructions by using status information of the computer-readable program instructions in order to to configure or individualize electronic circuits according to aspects of the present invention.
  • FPGA field-programmable gate arrays
  • PLA programmable logic arrays
  • the computer readable program instructions may be provided to a general purpose computer, special purpose computer, or other programmable data processing system to produce a machine such that the instructions are executed by the processor or the computer or other programmable data processing device , generate means to implement the functions or operations illustrated in the flowchart and/or block diagrams.
  • these computer-readable program instructions can also be stored on a computer-readable storage medium.
  • each block in the illustrated flowchart or block diagrams may represent a module, segment, or portions of instructions, which represent a plurality of executable instructions for implementing the specific logical function.
  • the functions that are shown in the individual blocks can be executed in a different order—if appropriate, also in parallel.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Analysis (AREA)

Abstract

Es wird Computer-implementiertes Verfahren zur Vorhersage von digitalen Fluoreszenzbildern beschrieben. Das Verfahren weist ein Aufnehmen eines ersten digitalen Bildes einer Gewebeprobe durch ein mikrochirurgisches optisches System mit einer ersten digitalen Bildaufnahmeeinheit mit einer ersten Anzahl von Farbkanalinformationen unter Verwendung von weißem Licht und mindestens einem optischen Filter sowie ein Vorhersagen eines zweiten digitalen Bildes in Form einer digitalen Fluoreszenzdarstellung des aufgenommenen ersten digitalen Bildes mittels eines trainierten maschinellen Lernsystems auf, welches ein trainiertes Lernmodell zur Vorhersage einer entsprechenden digitalen Fluoreszenzdarstellung eines Eingangsbildes aufweist. Dabei wird das erste aufgenommene digitale Bild als Eingangsbild für das trainierte maschinelle Lernsystem verwendet, und Parameterwerte des mindestens einen optischen Filters wurden während eines Trainings des maschinellen Lernsystems bestimmt.

Description

CO-DESIGN VON OPTISCHEM FILTER UND FLUORESZENZ-ANWENDUNGEN MIT
KÜNSTLICHER INTELLIGENZ
Gebiet der Erfindung
[0001] Die Erfindung bezieht sich auf ein Vorhersageverfahren mittels eines maschinellen Lernmodells und insbesondere ein Computer-implementiertes Verfahren zur Vorhersage von digitalen Fluoreszenzbildern. Die Erfindung bezieht sich ferner auf ein Vorhersagesystem zur Vorhersage von digitalen Fluoreszenzbildern und ein Computerprogrammprodukt.
Technischer Hintergrund
[0002] Gehirntumore betreffen eine nicht selten vorkommende Krebsart, die vergleichsweise aggressiv ist und häufig relativ geringe Behandlungserfolge mit einer Überlebenschance von ca. 1/3 hat. Eine Behandlung derartiger Erkrankungen erfordert typischerweise einen chirurgischen Eingriff zur Entfernung, eine Strahlentherapie und/oder eine anschließende meist langwierige Chemotherapie. Oft bildet eine Biopsie die Entscheidungsgrundlage für die jeweilige Behandlung, wobei auch molekulare Tests herangezogen werden. Natürlich bestehen bei derartigen Eingriffen medizinische Risiken. Durch die in der letzten Zeit sehr fortgeschrittenen Analysemöglichkeiten von radiometrisch aufgenommenen Bildern können derartige Tumoruntersuchungen Biopsien mindestens komplementieren. Dies kann der Fall sein, wenn Biopsien nicht möglich oder unerwünscht sind. Neuerdings können diese bildbasierten Diagnosen auch während einer Operation genutzt werden. Allerdings ist die erforderliche Rechenleistung derzeit extrem hoch, weshalb eine wirkliche Realtime- Unterstützung bisher nicht möglich ist.
[0003] Nicht nur im Bereich von Hirntumoren müssen erkrankte Gewebebereiche komplett und so präzise wie möglich entfernt werden, um zu verhindern, dass erkranktes Gewebe - also tumorhaltiges Gewebe - wieder in gesundes Gewebe hineinwächst, und um so viel gesundes Gewebe zu erhalten wie möglich. Diese Teilentfernung von Gewebe (Resektion) wird normalerweise von einem Chirurgen in einem Operationsaal, der mit speziellen Instrumenten ausgestattet ist, durchgeführt. Hierfür wird in der Regel auch ein Operationsmikroskop verwendet. Dabei ist unter dem typischen weißen Operationslicht die genaue Grenzlinie zwischen gesundem und krebshaltigem Gewebe nur schwer erkennbar. Hierdurch besteht klar die Gefahr, dass nach der Resektion zu viel gesundes Gewebe oder zu wenig krebshaltiges Gewebe entfernt wurde. Beide Ergebnisse können als suboptimal bezeichnet werden.
[0004] Bisher ist es außerdem in der Regel erforderlich, ein Kontrastmittel zu injizieren, um unter einer optimierten Beleuchtung (z.B. BLUE400 oder YELLOW560) relativ klar zwischen gesundem und krankhaftem Gewebe zu unterscheiden. Dadurch wird es auch erforderlich, dass während der Operation häufiger zwischen Beleuchtungsvorgaben gewechselt werden muss, was in aller Regel zu längeren Operationszeiten, insgesamt höheren Operationskosten und zu weniger Patientenfreundlichkeit führt.
[0005] Zwar existieren bisher erste Ansätze, um mit Hilfe künstlicher Intelligenz ein Fluores zenzbild aus einer Gewebeaufnahme zu ermitteln, die unter weißem Licht aufgenommen wurde. Dennoch werden dafür hochauflösende Kameras mit einer Vielzahl vom Farbkanälen benötigt.
[0006] Wünschenswert wäre also eine minimalinvasive Operationsunterstützung, die dem Chirurgen in Realzeit - d.h. ohne wesentliche Zeitverzögerung - und ohne große Aufmerk samkeitsablenkung hilft, eindeutig zwischen gesundem und krebshaltigem Gewebe zu unterscheiden, um so die Patienten nur geringen zusätzlichen Behandlungen (z.B. Chemo therapie) auszusetzen.
Übersicht über die Erfindung
[0007] Diese Aufgabe wird durch das hier vorgeschlagene Verfahren, das entsprechende System und das zugehörige Computerprogrammprodukt entsprechend den unabhängigen Ansprüchen gelöst. Weitere Ausgestaltungen werden durch die jeweils abhängigen Ansprüche beschrieben.
[0008] Entsprechend einem Aspekt der vorliegenden Erfindung wird ein Computer implementiertes Verfahren zur Vorhersage von digitalen Fluoreszenzbildern vorgestellt. Das Verfahren kann dabei ein Aufnehmen eines ersten digitalen Bildes einer Gewebeprobe durch ein mikrochirurgisches optisches System mit einer ersten digitalen Bildaufnahmeeinheit mit einer ersten Anzahl von Farbkanalinformationen - bzw. Anzahl von Farbkanälen - unter Verwendung von weißem Licht und mindestens einem optischen Filter aufweisen. Weiterhin kann das Verfahren ein Vorhersagen eines zweiten digitalen Bildes in Form einer digitalen Fluoreszenzdarstellung des aufgenommenen ersten digitalen Bildes mittels eines trainierten maschinellen Lernsystems aufweisen, welches ein trainiertes Lernmodell zur Vorhersage einer entsprechenden digitalen Fluoreszenzdarstellung eines Eingangsbildes aufweist. Dabei kann das erste aufgenommenen digitale Bild als Eingangsbild für das trainierte maschinelle Lernsystems verwendet werden, und Parameterwerte des mindestens einen optischen Filters können während eines Trainings des maschinellen Lernsystems bestimmt worden sein.
[0009] Entsprechend einem anderen Aspekt der vorliegenden Erfindung wird ein Vorher sagesystem zur Vorhersage von digitalen Fluoreszenzbildern vorgestellt. Das Vorhersage system kann ein mikrochirurgisches optisches Systems mit einer ersten digitalen Bild aufnahmeeinheit mit einer ersten Anzahl von Farbkanalinformationen - bzw. Anzahl von Farbkanälen - und einem optischen Filter zum Aufnehmen eines ersten digitalen Bildes einer Gewebeprobe unter Verwendung von weißem Licht sowie mindestens ein trainiertes maschinelles Lernsystem aufweisen. Das maschinelle Lernsystem kann dabei ein trainiertes Lernmodell zur Vorhersage einer entsprechenden digitalen Fluoreszenzdarstellung eines Eingangsbildes aufweisen. Es kann angepasst sein zum Vorhersagen eines zweiten digitalen Bildes in Form einer digitalen Fluoreszenzdarstellung des aufgenommenen ersten digitalen Bildes. Dabei kann das erste aufgenommene digitale Bild als Eingangsbild für das trainierte maschinelle Lernsystem dienen, und Parameterwerte des mindestens einen optischen Filters können während eines Trainings des maschinellen Lernsystems bestimmt worden sein.
[0010] Das vorgeschlagene computerimplementiertes Verfahren zur Vorhersage von digitalen Fluoreszenzbildern weist mehrere Vorteile und technische Effekte auf, die auch entsprechend für das zugehörige System gelten können:
[0011] Die Praxis, gemäß der für die Erstellung des maschinellen Lernmodells in der Trainingsphase und die Nutzung des maschinellen Lernmodells in der Vorhersagephase unterschiedlich leistungsfähige zu Grunde liegende Computersysteme genutzt werden, wird durch das hier vorgeschlagene Verfahren weiterentwickelt. Grundsätzlich ist die zur Verfügung stehende Zeit für die Entwicklung des maschinellen Lernmodells in der Trainingsphase größer als während der Vorhersagephase. In der Vorhersagephase - d.h. während der produktiven Nutzung - sollte eine Ausgabe des maschinellen Lernsystems mit einer möglichst kurzen Zeitverzögerung möglich sein. Dies ist vor allem dann essenziell, wenn das maschinelle Lernsystem in Echtzeitsituationen - wie beispielsweise zur Unterstützung von chirurgischen Eingriffen - genutzt wird.
[0012] Nach dem hier vorgeschlagenen Konzept kann zur Erstellung der Trainingsdaten einen Hyperspektralkamera sinnvoll eingesetzt werden, die eine große Anzahl von unterschiedlichen Farbkanalinformationen verfügbar macht. Von diesem Ausgangspunkt wird dann während des Trainingsprozesses in einem integrierten Ansatz die Anzahl der Farbkanäle durch ein digital simuliertes optisches Filter signifikant reduziert, um die vorhandenen Ressourcen während der Vorhersagephase bereits während der Trainingsphase zu antizipieren. Dazu werden in einem integrierten Optimierungsprozess sowohl das maschinelle Lernsystem mit seinem integrierten maschinellen Lernmodell als auch Parameter des digital simulierten optischen Filters gleich zeitig angepasst bzw. trainiert. Außerdem können zusätzliche Randbedingungen wie beispiels weise das Spektrum des verwendeten Beleuchtungslichtes für die durch das digitale Auf nahmesystem beleuchtete Gewebeprobe berücksichtigt werden.
[0013] Nach dem Ende des Trainings können dann die ermittelten Parameter des digital simulierten optischen Filters in ein real existierendes physisches Filter übernommen werden. Außerdem kann eine digitale Aufnahmeeinheit (z.B. eine RGB-Kamera) genutzt werden, deren Anzahl an Farbkanälen und Typ (z.B. in Bezug auf eine Wellenlängenempfindlichkeit) möglichst gut an die reduzierte Anzahl der Farbkanäle während des Trainingsprozesses angepasst ist. So könnten auch schon während des Trainings die Randbedingungen der im späteren produktiven Einsatz zur Verfügung stehenden digitalen Aufnahmeeinheit - z.B. der RGB Kamera - vorgegeben sein. Diese Maßnahmen reduzieren die erforderliche Rechen leistung während der Vorhersagephase signifikant und helfen dabei, das vorgeschlagene Verfahren und das entsprechende System in Echtzeit (realtime) zur Unterstützung von chirurgischen Eingriffen nutzbar zu machen. Bisher vorgeschlagene Verfahren sind an dieser Hürde gescheitert, da keine integrierte Optimierung vorgesehen war oder die erforderliche Rechenleistung für eine Echtzeitunterstützung nicht ausreichte.
[0014] Dem Chirurgen kann also eine Darstellung des zu operierenden Gewebes in einer Fluoreszenzdarstellung bereitgestellt werden, die es ihm erlaubt, eindeutig und ohne weitere Ablenkung seiner Aufmerksamkeit zwischen gesundem und erkranktem Gewebe zu unter scheiden. Dies gilt, obwohl im produktiven Betrieb - d.h. während der Vorhersagephase (inference) - nur eine vergleichsweise einfache Kamera (im Gegensatz zu einer Hyper spektralkamera für die Trainingsphase) verwendet werden kann.
[0015] Auf diese Weise entsteht für den Chirurgen eine sehr vorteilhafte optische Darstellung des zu operierenden Gewebes in Echtzeit ohne dass zeitaufwändige, mehrdimensionale Biopsien erforderlich wären.
[0016] Auf der technischen Seite entfallen auch eine Aneinanderreihung von unterschiedlich optimierten einzelnen maschinellen Lernsystemen, eine Datenübergabe zwischen den Lernsystemen und ein zusätzlicher hoher zeitlicher und Optimierungsaufwand der einzelnen maschinellen Lernsysteme.
[0017] Das hier vorgestellte System stützt sich letztlich sehr vorteilhaft auf eine Optimierung von Hardware in Form des physisch herzustellenden optischen Filters für die Vorhersage phase, deren Parameter während der integrierten Optimierung während der Trainingsphase ermittelt werden, und der Software des eingesetzten maschinellen Lernsystems.
[0018] Im Folgenden werden weitere Ausführungsbeispiele vorgestellt, die sowohl im Zusammenhang mit dem Verfahren, wie auch mit dem entsprechenden System Gültigkeit haben können.
[0019] Gemäß einer vorteilhaften Ausführungsform des Verfahrens, kann das trainierte Lernmodell des trainierten maschinellen Lernsystems ein Bereitstellen einer Mehrzahl von ersten digitalen Trainingsbilder von Gewebeproben aufweisen, die unter weißem Licht mittels eines mikrochirurgischen optischen Systems mit einer zweiten Bildaufnahmeeinheit aufge nommen wurden. Dabei kann für jedes erste digitale Trainingsbild eine zweite Anzahl von Farbkanalinformationen - beispielsweise 64 Farbkanäle einer Hyperspektralkamera - für unterschiedliche Spektralbereiche verfügbar sein.
[0020] Außerdem kann das Verfahren ein Bereitstellen einer Mehrzahl von zweiten digitalen Trainingsbildern, die jeweils die gleichen Gewebeproben darstellen wie der erste Satz von digitalen Trainingsbildern, wobei die zweiten digitalen Trainingsbilder Hinweise auf erkrankte Elementes der Gewebeproben aufweisen können, und ein Trainieren des maschinellen Lernsystems zur Bildung des trainierten maschinellen Lernmodells zur Vorhersage eines digitalen Bildes einer Art der Mehrzahl der zweiten digitalen T rainingsbilder aufweisen. Dabei kann Folgendes als Eingangswerte für das maschinelle Lernsystem genutzt werden: die Mehrzahl der ersten digitalen Trainingsbilder in Form der zweiten Anzahl von Farbkanal informationen (d.h. z.B. 64 Farbkanäle), die Mehrzahl der zweiten digitalen Trainingsbilder als „Ground Truth“, Parameterwerte zur Reduzierung der zweiten Anzahl der Farbkanal informationen durch mindestens ein digital simuliertes optisches Filter zur Bildung der ersten Anzahl von Farbkanalinformationen. Dabei kennt der Fachmann den Begriff „Ground Truth“ als das Lernziel des Trainings. Hierbei handelt es sich um die annotierte Version von Trainings bildern, deren Erscheinungsbild bei unbekannten Eingaben für das maschinelle Lernsystem vorhergesagt - bzw. als Ausgabenwert/Ausgabeabbildung generiert - werden soll. [0021] Dabei kann als Trainingsdaten zur Vorhersage eines digitalen Bildes der Art der Mehr zahl der zweiten digitalen Trainingsbilder die Mehrzahl der ersten digitalen Trainingsbilder verwendet werden, nachdem die zweite Anzahl von Farbkanalinformationen mittels des digital simulierten optischen Filters auf die erste Anzahl von Farbkanalinformationen reduziert wurde. Zusätzlich können als Ausgabenwerte des maschinellen Lernsystems nach einem Abschluss des Trainings des maschinellen Lernsystems zumindest ein Teil der Parameterwerte des mindestens einen optischen Filters ausgegeben werden. In diesem Zusammenhang kann der Teil der Parameterwerte des mindestens einen optischen Filters auch bedeuten, dass alle ermittelten Parameterwerte ausgegeben werden.
[0022] Es sei darauf hingewiesen, dass die Gewebeproben beispielsweise krankhaftes Gewebe in Form von Krebsgewebe, insbesondere erkranktes Gehirngewebe, sein können. Außerdem sollte beachtet werden, dass die zweiten Trainingsbilder als Bildaufnahmen unter sichtbarem Licht und/oder unter besonderen Lichtverhältnissen - z.B. UV-Licht - erzeugt wurden.
[0023] Gemäß einerweiteren vorteilhaften Ausführungsform des Verfahrens können die Parameterwerte des mindestens einen optischen Filters die Anzahl von ersten Farbkanal informationen und/oder eine Filterform des digital simulierten optischen Filters aufweisen.
Dabei ist zu beachten, dass das Filter auch aus einer Mehrzahl von digital simulierten optischen Filtern bestehen kann. Auf diese Weise lassen sich unterschiedliche Para meterwerte des optischen Filters variieren. Bei einer Produktion von optischen Filtern können mehrere dieser Parameterwerte gleichzeitig realisiert werden.
[0024] Gemäß einer eleganten Ausführungsform des Verfahrens kann die zweite Anzahl an Farbkanalinformation (d.h. die Anzahl der Farbkanäle) größer als die erste Anzahl an Farbkanalinformation sein. Beispielsweise kann die zweite Anzahl die Farbkanalanzahl einer Hyperspektralkamera darstellen - z.B. 64 Farbkanäle (allgemeiner z.B. 30 bis 130 Farbkanäle) - während die erste Anzahl die Farbkanalanzahl der ersten digitalen Bildaufnahmeeinheit darstellt. Diese kann unter 10 - bzw. bevorzugt 3 bis 4 - Farbkanäle aufweisen. Auf diese Weise lässt sich die Anzahl der Farbkanäle signifikant reduzieren, wodurch sich die erfor derliche Rechenleistung deutlich reduzieren lässt. Dies wirkt sich positiv auf eine Nutzung des Verfahrens direkt während einer laufenden Operation aus.
[0025] Gemäß einer erweiterten Ausführungsform des Verfahrens können die Parameterwerte zur Reduzierung der zweiten Anzahl der Farbkanäle sich auf eine Filterform des Filters oder einer jeweiligen Mittelfrequenz der ersten Anzahl der Farbkanalinformationen beziehen. Gemäß einer an dieser Ausführungsform angelehnten weiteren Ausführungsform können sich die Parameterwerte zur Reduzierung der zweiten Anzahl der Farbkanäle auch auf eine oder mehrere Kamerasensitivitätskurven (z.B. eine pro Farbkanal) als Einhüllende bzw. deren Anzahl und/oder Formen der geometrischen beschriebenen Strukturen beziehen; dies kann sich auf eine Gauß’sche Verteilung, eine Rechteckform, usw. beziehen.
[0026] Gemäß einer erweiterten Ausführungsform des Verfahrenskann können als zusätzliche Ausgabenwerte des maschinellen Lernsystems nach einem Abschluss des Trainings des maschinellen Lernsystems Parameterwerte zur Steuerung der Quelle des weißen Lichts während des Aufnehmens des ersten digitalen Bildes erzeugt werden. Auch hierdurch lassen sich die Umgebungsvariablen, die während des Trainings des maschinellen Lernsystems mit seinem maschinellen Lernmodell genutzt wurden, auch für den tatsächlichen, produktiven Einsatz des Verfahrens nutzbar machen.
[0027] Gemäß einer nützlichen Ausführungsform des Verfahrens kann die digitale Fluoreszenzdarstellung einer Darstellung entsprechen, wie sie unter Verwendung einer Lichtquelle im UV-Bereich - z.B. BLUE400 - erzeugt würde. Außerdem lassen sich auch Spektralbereiche bevorzugt darstellen. Trotzdem sollte im Kontext dieser Anmeldung auch für diese anderen Spektralbereiche die Bezeichnung „Fluoreszenzdarstellung“ nutzbar sein. Sinnvollerweise würde für eine Fluoreszenzdarstellung - je nach verwendetem Licht - ein Kontrastmittel in der Gewebeprobe verwendet werden: beispielsweise 5-ALA (Amino- lävulinsäure) für eine Anregung im Wellenlängenbereich 430-440nm oder Sodium-Fluorescin für eine Anregung im Wellenlängenbereich um 560nm.
[0028] Gemäß einer zusätzlichen, vorteilhaften Ausführungsform des Verfahrens kann das Lernmodell im Aufbau einem Encoder-Decoder-Modell entsprechen.
[0029] Darüber hinaus können sich Ausführungsformen auf ein Computerprogrammprodukt beziehen, auf welches von einem Computer-verwendbaren oder Computer-lesbaren Medium zugegriffen werden kann, das Programm-Code zur Nutzung durch, oder in Verbindung mit, einem Computer oder anderen Instruktionsverarbeitungssystemen aufweist. Im Kontext dieser Beschreibung kann ein Computer-verwendbares oder Computer-lesbares Medium jede Vorrichtung sein, die zur Speicherung, zum Kommunizieren, zur Weiterleitung oder zum Transport des Programm-Codes geeignet ist. Übersicht über die Figuren
[0030] Es sei darauf hingewiesen, dass Ausführungsbeispiele der Erfindung mit Bezug auf unterschiedliche Implementierungskategorien beschrieben sein können. Insbesondere sind einige Ausführungsbeispiele in Bezug auf ein Verfahren beschrieben, während andere Ausführungsbeispiele im Kontext von entsprechenden Vorrichtungen beschrieben sein können. Unabhängig davon ist es einem Fachmann möglich, aus der hier vorstehenden und nachfolgenden Beschreibung - wenn nicht anderweitig darauf hingewiesen - mögliche Kombinationen der Merkmale des Verfahrens sowie mögliche Merkmalskombinationen mit dem entsprechenden System zu erkennen und zu kombinieren, auch, wenn sie zu unterschiedlichen Anspruchskategorien gehören.
[0031] Bereits oben beschriebene Aspekte sowie zusätzliche Aspekte der vorliegenden Erfindung ergeben sich unter anderem aus den beschriebenen Ausführungsbeispielen und aus den zusätzlichen weiteren, durch Bezug auf die Figuren beschriebenen, konkreten Ausgestaltungen.
[0032] Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden beispielhaft und mit Bezug auf die folgenden Figuren beschrieben:
Fig. 1 stellt eine flussdiagrammartige Darstellung eines Ausführungsbeispiels des erfindungsgemäßen Computer-implementierten Verfahrens zur Vorhersage von digitalen Fluoreszenzbildern dar.
Fig. 2 zeigt eine Erweiterung des Ausführungsbeispiels gemäß Fig. 1 dar.
Fig. 3 zeigt ein Diagramm eines Ausführungsbeispiels für die Trainingsphase und die Vorhersagephase für das maschinelle Lernsystem sowie eine Nutzung der Filter.
Fig. 4 zeigt ein Diagramm eines Ausführungsbeispiels der Anzahl der Farbkanäle während des Trainings.
Fig. 5 stellt zwei mögliche Wellenlängenverteilungen als Ergebnis der gemeinsamen Optimierung des maschinellen Lernsystems und des digital simulierten Filters dar.
Fig. 6 zeigt das Vorhersagesystem zur Vorhersage von digitalen Fluoreszenzbildern. Fig. 7 stellt ein Ausführungsbeispiel eines Computersystems dar, welches das System entsprechend Fig. 6 aufweist.
Detaillierte Figurenbeschreibung
[0033] [0020] Im Kontext dieser Beschreibung sind Konventionen, Begriffe und/oder Ausdrücke folgendermaßen zu verstehen:
[0034] Der Begriff 'maschinelles Lernsystem' kann hier ein System oder auch ein Verfahren beschreiben, mithilfe dessen Ausgabewerte in nicht-prozedural programmierter Weise erzeugt werden. Dazu wird im Falle von überwachtem Lernen („supervised learning“) ein im maschinellen Lernsystem vorhandenes maschinelles Lernmodell mit Trainingsdaten und dazugehörigen gewünschten Ausgabewerten (annotierten Daten oder Ground-Truth-Daten) trainiert. Nach der Trainingsphase kann sich die produktive Phase, d.h. die Vorhersagephase („prediction phase“, „inference phase“), anschließen, während der Ausgabewerte aus bisher unbekannten Eingabewerten in nicht-prozeduraler Art generiert/vorhergesagt werden. Dem Fachmann ist eine Vielzahl von unterschiedlichen Architekturen für maschinelle Lernsysteme bekannt. Dazu gehören auch neuronale Netzwerke, die beispielsweise als Klassifikator trainiert und eingesetzt werden können. Während der Trainingsphase werden die gewünschten Ausgabewerte bei vorgegebene Eingabewerten typischerweise durch ein Verfahren namens „Backpropagation“ gelernt, wobei Parameterwerte von Knoten des neuronalen Netzwerkes bzw. Verbindungen zwischen den Knoten automatisch angepasst werden. Auf diese Weise wird das inhärent vorhandene, maschinelle Lernmodell justiert bzw. trainiert, um das trainierte maschinelle Lernsystem mit dem trainierten maschinellen Lernmodell zu bilden.
[0035] Der Begriff 'Vorhersage' kann entsprechend dem vorher Gesagten die Phase des produktiven Einsatzes eines maschinellen Lernsystems beschreiben. Während der Vorher sagephase des maschinellen Lernsystems werden Ausgabewerte auf der Basis des trainierten maschinellen Lernmodells, welchem bisher unbekannte Eingabedaten zur Verfügung gestellt werden, generiert bzw. vorhergesagt.
[0036] Der Begriff 'digitales Fluoreszenzbild' beschriebt hier ein digitales Bild einer Gewebe probe, dessen Erscheinungsform diejenige eines Bildes ist, welches unter Licht einer bestimmten Wellenlänge (z.B. UV-Licht) unter Zuhilfenahme eines zuvor der Gewebeprobe hinzugesetzten Kontrastmittels betrachtet wird. [0037] Der Begriff 'erstes digitales Bildes' beschreibt hier einen Aufnahme eines digitalen Bildes mit einer digitalen Bildaufnahmeeinheit (z.B. RGB-Kamera) mit einer niedrigen Anzahl von Farbkanälen (z.B. monochrom oder 3 bis 4 Farbkanäle, generell unter 10 Farbkanälen). Dieses erste digitale Bild wird während der Vorhersagephase aufgenommen, um daraus ein digitales Fluoreszenzbild vorherzusagen. Generell können die Begriffe 'Anzahl von Farb kanälen' und 'Anzahl von Farbkanalinformationen' im Kontext dieser Anmeldung als Synonyme verstanden werden.
[0038] Der Begriff 'Gewebeprobe' kann hier biologisches Material beschreiben. Es steht in diesem Verfahren vorteilhafter Weise für Untersuchungen zur Verfügung. Dabei kann es sich um „normales“ menschliches Gewebe oder auch Hirngewebe handeln.
[0039] Der Begriff 'mikrochirurgisches optisches System' kann hier ein Operationsmikroskop beschreiben. Dieses kann für chirurgische Operation - beispielsweise minimal invasive Eingriffe - verwendet werden. Es kann eine Beleuchtung, eine digitale Aufnahmeeinheit (z.B. eine Digitalkamera mit einem oder mehreren Farbkanälen), eine Bildverarbeitungs- und Bedieneinheit und einen Ausgabebildschirm aufweisen.
[0040] Der Begriff 'digitale Bildaufnahmeeinheit' kann hier eine Kamera mit einem digitalen Bildwandler beschreiben. Diese kann mehrere Farbkanalinformationen parallel erfassen. Im Falle eine Hyperspektralkamera können beispielsweise 64 Farbkanäle erfasst werden; allerdings sind auch andere Anzahlen von Farbkanälen denkbar (z.B. 30 bis 130). Eine derartige Kamera könnten für eine Aufnahme von Trainingsbildern verwendet werden, während eine Kamera mit einer wesentlich üblicheren Anzahl von Farbkanälen - z.B. in der Größenordnung von 3 bis 4 (oder monochrom) - für einen produktiven Einsatz während der Vorhersagephase nutzbar wäre.
[0041] Der Begriff 'ersten Anzahl von Farbkanalinformationen' kann hier die Anzahl der Farbkanäle der Bilderfassungseinheit beschreiben, die im Vorhersagebetrieb genutzt wird.
[0042] Der Begriff 'optisches Filter' kann hier eine Vorrichtung sein, die einfallende optische Strahlen nach bestimmten Kriterien selektiv passieren lässt. Die Kriterien können wellen längenselektiv sein (oder polarisationszustandsabhängig), sodass das Filter für bestimmte verschiedene Wellenlängenbereiche durchlässiger ist und für andere weniger durchlässig (bis praktisch gar nicht). [0043] Der Begriff 'zweites digitales Bild' kann das vorhergesagte Bild beschreiben, welches durch das maschinelle Lernsystem im produktiven Betrieb erzeugt wird.
[0044] Der Begriff 'digitale Fluoreszenzdarstellung' kann hier eine bestimmte Darstellung eines digitalen Bildes sein, das so erscheint, als würde es mit Licht einer bestimmten Wellenlänge (z.B. UV-Licht) beleuchtet werden, wodurch durch das Licht der bestimmten Wellenlänge Fluoreszenzeffekte in Bezug auf ein Kontrastmittel, das beispielsweise in einem biologischen Gewebe vorhanden ist, sichtbar würden.
[0045] Der Begriff 'weißes Licht' beschreibt Licht einer Lichtquelle (z.B. Weißlicht LED, Xenon, etc.), welche primär im sichtbaren Wellenspektrum emittiert.
[0046] Der Begriff 'Parameterwerte des mindestens einen optischen Filters' beschreibt im Wesentlichen Wellenlängen - bzw. deren Bereiche - in denen das Filter durchlässig ist. Die Einhüllende in einer Transmission-versus-Wellenlängen-Darstellung kann - genau wie ein Mittelwert des Transmissionsbereiches - ein weiterer Parameter sein.
[0047] Der Begriff 'erstes digitales Trainingsbild' beschreibt hier ein digitales Bild, für welches eine hohe Anzahl (z.B. 64 oder genereller: 30 bis 130) Farbkanäle verfügbar ist.
[0048] Der Begriff 'zweite Bildaufnahmeeinheit' beschreibt eine Bildaufnahmeeinheit, die angepasst ist, eine hohe Anzahl von Farbkanaldaten für eine Aufnahme bereitzustellen, wie es beispielsweise bei einer Hyperspektralkamera der Fall ist.
[0049] Der Begriff 'zweites digitales Trainingsbild' beschreibt ein digitales Bild der Ground- Truth-Daten, die zum Training eines maschinellen Lernsystems beim überwachten Lernen unerlässlich sind. Die Ground-Truth-Daten geben die Art von digitalen Bildern wieder, die als Vorhersage erwartet werden, d.h. die „gelernt“ werden sollen).
[0050] Der Begriff 'Hinweise auf erkrankte Elemente der Gewebeproben' kann durch unter schiedliche Annotationen in einem digitalen Bild gekennzeichnet sein. Es kann sich um pixelweise Annotation eines bestimmten Bildausschnittes handeln, einen anderweitig farblich markierten Bereich oder eine bestimmte Form der Segmentierung des digitalen Bildes.
[0051] Der Begriff 'Parameterwerte zur Reduzierung der zweiten Anzahl der Farbkanal informationen' kann Charakteristiken des digital simulierten Filters beschreiben. Es kann die Anzahl betreffen oder auch die Transmissionscharakteristik des Filters. [0052] Der Begriff 'digital simuliertes optisches Filter' bezeichnet eine Einheit des maschinellen Lernsystems, die die Farbkanalinformation verändert. Dabei kann es sich um digitale Farbtransmissionsfilter handeln.
[0053] Der Begriff 'Filterform des digital simulierten optischen Filters' kann beispielsweise die Einhüllende der für das Filter durchlässigen Spektrallinien (bzw. Wellenlängenbereich), deren Mittelwerte oder eine zugehörige Standardabweichung bezeichnen.
[0054] Der Begriff 'Parameterwerte zur Steuerung der Quelle des weißen Lichts' kann Charakteristiken des verwendeten weißen Lichtes beschreiben, die zu Erstellung der digitalen Bilder verwendet werden. Im Wesentlichen kann es sich dabei um Spektralbereichs- und Intensitätswerte des ausgesendeten Lichtes der Beleuchtungsquelle handeln.
[0055] Der Begriff 'Encoder-Decoder-Modell' beschreibt hier eine Architektur eines maschinellen Lernsystems, bei dem Eingangsdaten enkodiert bzw. kodiert werden, um dann sofort anschließend wieder dekodiert zu werden. In der Mitte zwischen dem Encoder und dem Decoder liegen die notwendigen Daten als eine Art Merkmalsvektor vor. Bei der Dekodierung können dann je nach Training des maschinellen Lernmodells bestimmte Merkmale in den Eingangsdaten besonders hervorgehoben werden.
[0056] Der Begriff 'U- Net- Architektur' beschreibt hier eine Architektur eines maschinellen Lernmodells, welches im Innern einen kontrahierenden und einen expandierenden Pfad aufweist. Eine detailliertere Definition ist im Zusammenhang mit Figur 4 angegeben.
[0057] Im Folgenden wird eine detaillierte Beschreibung der Figuren angegeben. Dabei versteht es sich, dass alle Details und Anweisungen in den Figuren schematisch dargestellt sind. Zunächst wird eine flussdiagrammartige Darstellung eines Ausführungsbeispiels des erfindungsgemäßen Computer-implementierten Verfahrens zur Vorhersage von digitalen Fluoreszenzbildern dargestellt. Nachfolgend werden weitere Ausführungsbeispiele, bzw. Ausführungsbeispiele für das entsprechende System beschrieben:
[0058] Fig. 1 stellt eine flussdiagrammartige Darstellung eines bevorzugten Ausführungs beispiels des Computer-implementierten Verfahrens 100 zur Vorhersage von digitalen Fluoreszenzbildern dar. Dabei weist das Verfahren ein Aufnehmen 102 eines ersten digitalen Bildes einer Gewebeprobe - z.B. von erkranktem Gehirngewebe - durch ein mikro chirurgisches optisches Systems mit einer ersten digitalen Bildaufnahmeeinheit, z.B. einer RGB-Kamera - mit einer ersten Anzahl von Farbkanalinformationen - z.B. mit 3 bis 4 Farbkanäle - unter Verwendung von weißem Licht und mindestens einem optischen Filter auf. Das Filter befindet sich typischerweise zwischen der beleuchteten Gewebeprobe und der Kamera.
[0059] Weiterhin weist das Verfahren 100 ein Vorhersagen 104 eines zweiten digitalen Bildes in Form einer digitalen Fluoreszenzdarstellung des aufgenommenen ersten digitalen Bildes mittels eines trainierten maschinellen Lernsystems auf, welches ein trainiertes Lernmodell zur Vorhersage einer entsprechenden digitalen Fluoreszenzdarstellung eines Eingangsbildes aufweist.
[0060] Als Eingangsdaten bzw. Eingangsbild wird das erste aufgenommenen digitale Bild für das trainierte maschinelle Lernsystems verwendet; außerdem wurden Parameterwerte des mindestens einen optischen Filters während eines Trainings des maschinellen Lernsystems bestimmt.
[0061] Fig. 2 zeigt eine Erweiterung des Ausführungsbeispiels gemäß Fig. 1, insbesondere die Trainingsphase 200 des oben beschriebenen Verfahrens, das in Fig. 1 während seiner produktiven bzw. Vorhersagephase dargestellt ist. Dabei weist das Trainieren des kombinierten maschinellen Lernmodells des trainierten kombinierten maschinellen Lern systems eine Bereitstellen 202 einer Mehrzahl von ersten digitalen Trainingsbildern von Gewebeproben - d.h. beispielsweise wieder Gehirngewebe oder Krebsgewebe - auf, die unter weißem Licht mittels eines mikrochirurgischen optischen Systems - d.h., z.B. einem Operationsmikroskop - mit einer zweiten Bildaufnahmeeinheit aufgenommen wurden, wobei für jedes erste digitale Trainingsbild eine zweite Anzahl von Farbkanalinformationen für unterschiedliche Spektralbereiche verfügbar ist. Diese zweite Anzahl ist typischerweise größer als die erste Anzahl von Farbkanälen im produktiven Vorhersagebetrieb gemäß Fig. 1. Vorteilhafterweise würde man eine Hyperspektralkamera mit z.B. 64 Farbkanälen einsetzen.
[0062] Außerdem weist die Trainingsphase 200 ein Bereitstellen 204 einer Mehrzahl von zweiten digitalen Trainingsbildern auf, die jeweils die gleichen Gewebeproben darstellen wie der erste Satz von digitalen Trainingsbildern. Dabei enthalten die zweiten digitalen Trainings bilder Hinweise auf erkrankte Elemente der Gewebeproben. Diese Hinweise können verschiedene Formen annehmen wie z.B. pixelweise Annotationen, optisch hervorgehobene Einkreisungen und/oder Umrandungen von erkranktem Gewebebereichen oder anderweitige Bildsegmentierungen. Die Darstellung kann sowohl diejenige unter normalem sichtbaren z.B. weißem Licht oder unter speziellem Licht und einer Hervorhebung durch ein Kontrastmittel sein (Fluoreszenzdarstellung).
[0063] Weiterhin weist die Trainingsphase 200 das eigentliche Trainieren 206 des maschi nellen Lernsystems - unter sog. überwachtem Lernen (supervised learning) - zur Bildung des trainierten maschinellen Lernmodells zur Vorhersage eines digitalen Bildes einer Art der Mehrzahl der zweiten digitalen Trainingsbildern auf, d.h. mit sichtbaren Markierungen von erkranktem Gewebe. Dabei werden folgendes Eingangswerte für das kombinierte maschinelle Lernsystem genutzt: (i) die Mehrzahl der ersten digitalen Trainingsbildern in Form der zweiten Anzahl von Farbkanalinformationen - d.h. mit der höheren Anzahl von Farbkanalinformationen - (ii) die Mehrzahl der zweiten digitalen T rainingsbilder als Ground T ruth - d.h. die gewünsch ten, zu trainierenden Ergebnisbilder - und (iii) Parameterwerte zur Reduzierung der zweiten Anzahl der Farbkanalinformationen durch mindestens ein digital simuliertes optisches Filter zur Bildung der ersten Anzahl von Farbkanalinformationen. Die Parameterwerte können dabei die Anzahl der Filter, Angaben zu Farbspektren oder Filterformen aufweisen.
[0064] Außerdem werden als Trainingsdaten zur Vorhersage eines digitalen Bildes der Art der Mehrzahl der zweiten digitalen Trainingsbilder die Mehrzahl der ersten digitalen Trainingsbilder verwendet, nachdem die zweite Anzahl von Farbkanalinformationen mittels des digital simu lierten optischen Filters auf die erste Anzahl von Farbkanalinformationen reduziert wurde.
Diese geschieht in einem Zuge, ohne dass verschiedene System oder unterschiedliche maschinelle Lernsysteme eingesetzt werden.
[0065] Zusätzlich werden als Ausgabenwerte des maschinellen Lernsystems nach einem Abschluss des Trainings des maschinellen Lernsystems Parameterwerte des mindestens eines optischen Filters ausgegeben. D.h. das Lernsystem lernt also sozusagen die Eigen schaften des simulierten optischen Filters während des Trainings des maschinellen Lern systems zur Bildung des maschinellen Lernmodells. Die Parameterwerte des mindestens einen optischen Filters können z.B. eine Anzahl von Filtern oder zugehörige Frequenzbänder betreffen. Die Eigenschaften des digital simulierten Filters können dann direkt genutzt werden, um ein derartiges optisches Filter herzustellen, um es in der Vorhersagephase zu nutzen, wie in Fig. 3 auch näher beschrieben.
[0066] Fig. 3 zeigt eine gleichzeitige Darstellung 300 der Trainingsphase und der Vorhersage phase für das maschinelle Lernsystem sowie eine Nutzung der Filter dar. Die linke Seite der Figur bezieht sich auf die Trainingsphase, während sich die rechte Seite der Figur auf die Vorhersagephase bezieht. Mehrere Gewebeproben 302 werden durch ein digitales Aufnahmesystem 304 mit einer hohen Anzahl von Farbkanälen 306 zur Erzeugung von Trainingsdaten von dem Gewebe 302 aufgenommen. Diese digitalen Bilder (erste Trainings daten) werden durch ein digital simuliertes Filter 308 geleitet, so dass diese digitalen Bilder 310 hinter dem digital simulierten Filter 308 in einer Darstellung mit einer reduzierten Anzahl von Farbkanälen 310 zur Verfügung stehen.
[0067] Diese so in der Anzahl der Farbkanäle reduzierten digitalen Bilder 310 werden dann als Trainingsdaten für das maschinelle Lernsystem 312 genutzt. Als annotierten Daten für das Training dem maschinellen Lernsystem 312 werden markierte Versionen digitaler Bilder der ersten Trainingsdaten als zweite Trainingsdaten zugeführt.
[0068] Zusätzlich werden die Eigenschaften des oder der optischen Filter 308 variiert, wodurch die Lerngeschwindigkeit und der Lernerfolg (schnelle oder langsame Konvergenz) des maschinellen Lernsystems 312 beeinflusst werden. Auf diese Weise ergibt sich eine gemeinsame Optimierung 314 des oder der digital simulierten optischen Filter 308 sowie der Parameter des maschinellen Lernsystems 312, so dass am Ende der Trainingsphase ein maschinelles Lernmodell zur Verfügung steht, welches in der Vorhersagephase (rechte Seite von Fig. 3) produktiv genutzt werden kann.
[0069] Die Phase der Nutzung des trainierten maschinellen Lernsystems 324, die auf der rechten Seite von Fig. 3 beispielhaft abgebildet ist, beginnt auch mit einer Aufnahme eines biologischen Gewebes 302a. Dies kann zum Beispiel während einer Operation oder einer Untersuchung mittels einer Bildaufnahmeeinheit 320 - d.h. z.B. einer RGB-Kamera - geschehen. Das potenziell erkrankte Gewebe 302a wird beispielsweise mit weißem Licht (Beleuchtungsquelle nicht dargestellt) beleuchtet und nach einer Filterung der Strahlen durch das oder die optischen Filter 318 von der Aufnahmeeinheit/Kamera 320 in ein digitales Bild umgewandelt. Dieses digitale Bild besteht aus den Farbinformationen von zum Beispiel 3-4 Farbkanälen 322. Idealerweise entspricht die Anzahl der Farbkanäle 322 denjenigen der Farbkanäle 312, die während des Trainings des maschinellen Lernsystems 312 durch das digital simulierte optische Filter 310 aus den Farbkanälen 306 der Hyperspektralkamera 304 erzeugt wurden. Die jeweilig äquivalenten Elemente der Trainingsphase und der Vorhersagephase sind durch gestrichelte Pfeile von der linken Seite von Fig. 3 zur rechten Seite von Fig. 3 angedeutet.
[0070] Das durch die Kamera 320 (zum Beispiel eine RGB-Kamera) aufgenommene digitale Bild mit der geringeren Anzahl von Farbkanälen 322 wird dem trainierten maschinellen Lernsystem 324 zugeführt - d.h. als Eingangsdaten genutzt - um ein digitales Ausgabebild 326 in Form einer Fluoreszenzdarstellung auszugeben.
[0071] In diesem Zusammenhang sei noch einmal explizit darauf hingewiesen, dass das Filter 308 während des Trainings des maschinellen Lernsystems 312 digital simuliert wird, während das Filter 318, welches während der Vorhersagephase des trainierten maschinellen Lern systems 324 genutzt wird ein real existierendes Filter ist, welches die optischen Charak teristiken bzw. Parameter aufweist, welche das trainierte maschinelle Lernsystem 314 am Ende des Trainings auch ausgibt. Folglich wird das reale optische Filter 318 genau nach den Spezifikationen hergestellt, die bei der gemeinsamen Optimierung 314 des digital simulierten Filters 308 und der Parameter des maschinellen Lernsystems 312 im Training ermittelt wurden. Für das Training werden als zusätzliche Eingabewerte noch Ground-Truth-Daten 316 benötigt.
[0072] Fig. 4 stellt ein Diagramm eines Ausführungsbeispiels 400 bezüglich der Anzahl der Farbkanäle während des Trainings dar. Die N Farbkanäle 402, die beispielsweise das Ergebnis einer digitalen Aufnahme (eines digitalen Bildes) einer Hyperspektralkamera sind, können bezüglich der Eigenschaften 404 der Lichtquelle neutralisiert (d.h. unabhängig gemacht) werden, so dass diese Eigenschaften auch als zusätzliche Randbedingungen (constraints) beim Training des maschinellen Lernsystems 414 genutzt werden können. Beispiele für derartige Randbedingungen können deren Anzahl genauso wie die Verfügbarkeit des Lichtes bei unterschiedlichen Wellenlängen, dessen Dichte und jeweilige Intensität sein.
[0073] Die Farbinformation, die dann durch die gleiche Anzahl von Farbkanälen 406 für ein aufgenommenes Bild zur Verfügung stehen, sind dann von den Eigenschaften der genutzten Lichtquelle abstrahiert. Als nächstes können die Randbedingungen des simulierten optischen Filters 408, welche zusammen mit den Eigenschaften des maschinellen Lernsystems 414 (vgl. entsprechend das maschinelle Lernsystem 312, 324 von Fig. 3) optimiert werden, berücksich tigt werden. Darüber hinaus können auch Kameraempfindlichkeitsparameter (insbesondere in Bezug auf bestimmte Wellenlängen) als zusätzliche Randbedingungen 410 berücksichtigt werden. Im Ergebnis entsteht ein digitales Bild mit einer reduzierten Anzahl 412 von Farb kanälen, welche kleiner (oder signifikant kleiner) ist als die Anzahl der Farbkanäle 402 des digitalen Eingangsbildes.
[0074] Die Doppelpfeile zwischen den symbolisch dargestellten Randbedingungen 404, 408, 410 symbolisieren den Einfluss auf das maschinelle Lernsystem 414 während des Trainings. Diesem werden als Eingangsdaten das oder die digitalen Trainingsbilder mit der verringerten Anzahl 412 von Farbkanälen zugeführt. Im Sinne des überwachten Lernens (supervised learning) werden dem maschinellen Lernsystem 414 während des Trainings auch Referenz daten (Ground-Truth-Daten) 416 zugeführt, welche das jeweilig erwartete Ergebnis für ein digitales Trainingsbild darstellen. Diese Ground-Truth-Daten 416 stellen letztlich das erwartete Ausgabebild in Fluoreszenzdarstellung dar, welches beim Vorliegen eines digitalen Eingangs bildes mit der hohen Anzahl der Anzahl der Farbkanäle 402 erwartet wird (vorhergesagt) werden soll.
[0075] Darüber hinaus können weitere Parameter 418 ausgegeben werden. Diese betreffen in erster Linie die Charakteristiken des digital simulierten optischen Filters 408 sowie beispiels weise Spektralbereich Eigenschaften der Beleuchtungsquelle für die Vorhersagephase oder auch Spektralbereich Empfindlichkeitsparameter der in der Vorhersagephase einzusetzenden digitalen Aufnahmeeinheit (d.h., der RGB-Kamera, einer monochromatischen Kamera, o.Ä).
[0076] Als maschinelles Lernsystem 414 kann beispielsweise ein U-Net eingesetzt werden. Dieses besteht bekanntermaßen aus einem kontrahierenden Pfad und einem expandierenden Pfad, wie dies durch das Symbol 414 angedeutet ist. Es kann beispielsweise aus einer wiederholten Anwendung von zwei 3x3 Faltungen (unpadded convolutions) bestehen, die jeweils einer verstärkenden linearen Einheit (ReLU) und einer 2x2 Pooling-Operation mit 2er- Schritten für ein Downsampling vorausgehen. Dabei wird mit jedem Downsampling-Schritt die Anzahl der Merkmalskanäle verdoppelt. Auf der anderen Seite besteht der expandierende Pfad aus einem Upsampling der Merkmals-Abbildung (feature map) gefolgt von einer 2x2- Faltung („up-sampling“), welches die Anzahl der Merkmalskanäle jeweils halbiert, und einer Aneinanderreihung der durch den kontrahierenden Pfad entsprechend „beschnittenen“ Merkmals-Abbildungen sowie zwei 3x3-Faltungen, an die sich jeweils eine ReLU anschließt.
[0077] Für den Fall, dass unterrepräsentierte Fluoreszenzgruppen vorliegen würden, können Daten-Augmentations-Techniken (L/R-Spiegelbilder, oben/unten-Spiegelbilder, zufällige Rotation, zufällige Bildbeschneidungen [crops] usw.) angewendet werden, um die Anzahl der Trainingsbilder in allen möglichen Gruppen in möglichst gleicher Stärke zu verwenden. Alternativ könnten auch Bilder von anatomischen Varianten herangezogen werden.
[0078] Fig. 5 stellt zwei mögliche Wellenlängenverteilungen (bzw. Frequenzverteilungen) als Ergebnis der gemeinsamen Optimierung des maschinellen Lernsystems (vgl. Fig. 3, 312) und des digital simulierten Filters dar. Das Diagramm 502 zeigt im Wesentlichen drei voneinander getrennte Frequenz-/Wellenlängenbereiche an, die sich leicht in eine RGB-Darstellung um- setzen lassen. Das Diagramm 504 weist vier Filterbereiche mit unterschiedlicher Dämpfung für unterschiedliche Frequenzbereiche auf. Es sei darauf hingewiesen, dass es sich tatsächlich nur um zwei mögliche Beispiele handelt, bei denen jeder Spektralbereich einen Sensorkanal der digitalen Aufnahmeeinheit darstellen kann. Die Höhe der vertikalen Linien entspricht gewichteten Empfindlichkeiten des jeweiligen Filters bei der jeweiligen Wellenlänge. Dabei betrifft eine zusätzliche Randbedingung der Darstellung 502, dass die drei Kanäle jeweils eine Gauß'sche Empfindlichkeitsverteilung mit einer relativ geringen Standardabweichung aufweisen. Die Darstellung 504 weist vier Maxima auf von denen beispielsweise eines im blauen, eines im grünen und zwei im roten Bereich liegen können. Auch hier ist die Standard abweichung vergleichsweise gering. Falls keine Optimierung während der Lernphase des maschinellen Lernsystems vorgesehen würde, würden sich die Intensitätslinien von potentiellen Filtern quasi mathematisch chaotischer über die x-Achse verteilen (nicht dargestellt); es würden keine separaten Spektralbereiche erkennbar sein, die sich in ein reales, physikalisches optisches Filter umsetzen ließen.
[0079] Idealerweise hat das reale optische Filter (vgl. 318, Fig. 3) genau die gleichen Empfindlichkeitskurven.
[0080] Dabei stellen diese drei möglichen vorgestellten physikalischen Randbedingungen für die Filter gute Beispiele dar. Dabei stellt die Darstellung 502 eine komplett beschriebene Empfindlichkeitspezifikation dar (d.h., während des Trainings wird keine Variation der Filter parameter vorgenommen). Die Darstellung 504 würde dabei den Charakteristika (oder Parametern) der Empfindlichkeitskurven einer später einzusetzenden Kamera (während der Vorhersagephase) entsprechen; d.h., Gauß'sche Befindlichkeitskurven mit Randbedingungen wie beispielsweise geringer Standardabweichung und einem bestimmten Wert für den höchsten Empfindlichkeitswert einer vorgegebenen Wellenlänge usw. Der letzte im vorletzten Absatz beschriebene Fall ließe sich hinsichtlich eines tatsächlichen physikalischen Filters wahrscheinlich hardwaretechnisch nur schwer in einer 1:1-Weise realisieren lassen.
[0081] In gleicher weise ließen sich in weiteren Ausführungsformen Eigenschaften der benutzten Lichtquelle als zusätzliche Randbedingungen während der Trainingsphase nutzen.
[0082] Weitere Ausführungsformen können eine zeitliche Abfolge von Digital aufgenommenen Bildern vorsehen. Das Ziel hierbei wäre eine Vermeidung von sich stark verändernden digi talen Fleckenbildungen, wenn aufeinanderfolgende Bilder verwendet werden („Flackern“). Als einfache Gegenmaßnahme könnte ein Post-Processing der einzelnen aufgenommenen Frames (Einzelbilder) durch weichere Übergänge in der Zeit vorgesehen werden. In einer weiterentwickelten Form könnte in einerweiteren Ausführungsform die Erzeugung eines 3D- Modells vorgesehen sein, so dass alle 2D-Operationen des 2-D-Modells im dreidimensionalen Raum ausgeführt werden (d.h. 3D-Faltungen, 3D-Pooling, usw.). Als zusätzliches weiter entwickeltes Ausführungsbeispiel kann auch eine Kombination eines 2-D-Modells mit zeitlich begrenzten Modellen genutzt werden.
[0083] Fig. 6 zeigt ein Ausführungsbeispiel des Vorhersagesystems 600 zur Vorhersage von digitalen Fluoreszenzbildern. Das Vorhersagesystem weist dabei einen Speicher 604, der einen Programmcode speichert, und einen oder mehrere mit dem Speicher verbundene Prozessoren 602 auf, die, wenn sie den Programmcode ausführen, das Vorhersagesystem 600 zum Steuern folgender Einheiten veranlassen: einer ersten digitalen Bildaufnahmeeinheit 606 mit einer ersten Anzahl von Farbkanalinformationen zum Aufnehmen eines ersten digitalen Bildes einer Gewebeprobe durch ein mikrochirurgisches optisches Systems unter Verwendung von weißem Licht und mindestens einem optischen Filter und eines trainierten maschinellen Lernsystems 608 zum Vorhersagen eines zweiten digitalen Bildes in Form einer digitalen Fluoreszenzdarstellung des aufgenommenen ersten digitalen Bildes. Dabei weist das trainiertes maschinelle Lernsystem ein trainiertes Lernmodell zur Vorhersage einer entsprech enden digitalen Fluoreszenzdarstellung eines Eingangsbildes auf; das erste aufgenommene digitale Bild wird als Eingangsbild für das trainierte maschinelle Lernsystems verwendet; und Parameterwerte des mindestens einen optischen Filters wurden während eines Trainings des maschinellen Lernsystems bestimmt.
[0084] Weiterhin kann das Vorhersagesystem 600 entweder explizit eine zweiten Bildauf nahmeeinheit 610 zum einer Mehrzahl von ersten digitalen Trainingsbilder von Gewebe proben, die unter weißem Licht mittels eines mikrochirurgischen optischen Systems aufgenommen wurden, aufweisen oder durch das Zusammenwirkungen des in dem Speicher 604 gespeicherten Programmcode mit dem Prozessor 602 deren Funktion erfüllen. Dabei ist für jedes erste digitale Trainingsbild eine zweite Anzahl von Farbkanalinformationen für unterschiedliche Spektralbereiche verfügbar ist.
[0085] Weiterhin kann eine Bereitstellungseinheit 612 zum Bereitstellen einer Mehrzahl von zweiten digitalen Trainingsbildern vorhanden sein, die jeweils die gleichen Gewebeproben darstellen wie der erste Satz von digitalen Trainingsbildern, wobei die zweiten digitalen Trainingsbildern Hinweise auf erkrankte Elementes der Gewebeproben aufweisen. Die Bereitstellungseinheit 612 kann als ein Bilderspeicher implementiert sein.
[0086] Außerdem kann weiterhin ein Trainingssystem 614 zum Trainieren des maschinellen Lernsystems zur Bildung des trainierten maschinellen Lernmodells zur Vorhersage eines digitalen Bildes einer Art der Mehrzahl der zweiten digitalen T rainingsbilder vorgesehen sein. Dabei wird Folgendes als Eingangswerte für das maschinelle Lernsystem genutzt: die Mehrzahl der ersten digitalen Trainingsbilder in Form der zweiten Anzahl von Farbkanal informationen, die Mehrzahl der zweiten digitalen Trainingsbilder als Ground Truth (bzw. Ground-Truth-Daten) und Parameterwerte zur Reduzierung der zweiten Anzahl der Farbkanalinformationen durch mindestens ein digital simuliertes optisches Filter zur Bildung der ersten Anzahl von Farbkanalinformationen, wobei als Trainingsdaten zur Vorhersage eines digitalen Bildes der Art der Mehrzahl der zweiten digitalen T rainingsbilder die Mehrzahl der ersten digitalen Trainingsbilder verwendet wird, nachdem die zweite Anzahl von Farbkanal informationen mittels des digital simulierten optischen Filters auf die erste Anzahl von Farb kanalinformationen reduziert wurde. Als Ausgabenwerte des maschinellen Lernsystems nach einem Abschluss des Trainings des maschinellen Lernsystems werden außerdem Parameterwerte des mindestens einen optischen Filters ausgegeben.
[0087] Es sei ausdrücklich darauf hingewiesen, dass die Module und/oder Einheiten - insbesondere der Prozessor 602, der Speicher 604, die erste digitale Bildaufnahmeeinheit 606, das trainierte maschinelle Lernsystem 608, die zweite Bildaufnahmeeinheit 610, die Bereitstellungseinheit 612 und das Trainingssystem 614 - mit elektrischen Signalleitungen oder über ein systeminternes Bussystem 616 zum Zwecke des Signal- und/oder Datenaustausches und des kooperativen Verhaltens verbunden sein können.
[0088] Fig. 7 stellt ein Diagramm eines Computersystems 700 dar, welches mindestens Teile des Vorhersagesystems aufweisen kann. Ausführungsformen des hier vorgeschlagenen Konzepts können grundsätzlich mit praktisch jedem Typ von Computer, unabhängig von der darin verwendeten Plattform zur Speicherung und/oder Ausführung von Programmcodes, genutzt werden. Fig. 6 stellt beispielhaft ein Computersystem 700 dar, welches zur Ausführung von Programmcode entsprechend des hier vorgestellten Verfahrens geeignet ist. Ein bereits in einem Operationsmikroskop vorhandenes Computer-System kann auch - ggfs mit entsprech enden Erweiterungen - als Computersystem für die Ausführung des hier vorgestellten Konzeptes dienen.
[0089] Das Computersystem 700 weist eine Mehrzahl von allgemein nutzbaren Funktionen (general purpose functions) auf. Dabei kann das Computersystem ein Tablet-Computer, ein Laptop-/Notebook-Computer, ein anderes tragbares oder mobiles elektronisches Gerät, ein Mikroprozessorsystem, ein Mikroprozessor-basiertes System, ein Computersystem mit speziell eingerichteten Sonderfunktionen oder auch ein Bestandteil eines computergesteuerten Mikroskopsystems sein. Das Computersystem 700 kann eingerichtet sein zur Ausführung vom durch ein Computersystem ausführbaren Anweisungen - wie beispielsweise Programm modulen - die ausgeführt werden können, um Funktionen der hier vorgeschlagenen Konzepte umzusetzen. Dazu können die Programmmodule Routinen, Programme, Objekte, Kompo nenten, Logik, Datenstrukturen usw. aufweisen, um bestimmte Aufgaben oder bestimmte abstrakte Datentypen zu implementieren.
[0090] Die Komponenten des Computersystems können Folgendes aufweisen: einen oder mehrere Prozessoren oder Verarbeitungseinheiten 702, ein Speichersystem 704 und ein Bussystem 706, welches verschiedene Systemkomponenten, inklusive des Speichersystems 704, mit dem Prozessor 702 verbindet. Typischerweise weist das Computersystem 700 eine Mehrzahl von zugreifbaren flüchtigen oder nicht-flüchtigen Speichermedien auf, auf den das Computersystem 700 Zugriff hat. Im Speichersystem 704 können die Daten und / oder Instruktionen (Befehle) der Speichermedien in flüchtiger Form - wie beispielsweise in einem RAM (Random Access Memory) 708 - gespeichert sein, um von dem Prozessor 702 ausgeführt zu werden. Diese Daten und Instruktionen realisieren einzelne oder mehrere Funktionen bzw. Schritte des hier vorgestellten Konzeptes. Weitere Komponenten des Speichersystems 704 können ein Permanentspeicher (ROM) 710 und ein Langzeitspeicher 712 sein, in dem die Programmodule und Daten (Bezugszeichen 716) wie auch Workflows, gespeichert sein können.
[0091] Das Computersystem weist zur Kommunikation eine Reihe von dedizierten Vorrichtungen (Tastatur 718, Maus Pointing Device (nicht dargestellt), Bildschirm 720, usw.) auf. Diese dedizierten Vorrichtungen können auch in einem berührungsempfindlichen Display vereint sein. Ein separat vorgesehener I/O-Controller 714 sorgt für einen reibungslosen Datenaustausch mit externen Geräten. Zur Kommunikation über ein lokales oder globales Netzwerk (LAN, WAN, beispielsweise über das Internet) steht ein Netzwerkadapter 722 zur Verfügung. Auf den Netzwerkadapter kann durch andere Komponenten des Computersystems 700 über das Bussystem 706 zugegriffen werden. Dabei versteht es sich, dass - obwohl nicht dargestellt - auch andere Vorrichtungen an das Computersystem 700 angeschlossen sein können.
[0092] Zusätzlich können mindestens Teile des Vorhersagesystems 600 zur Vorhersage von digitalen Fluoreszenzbildern (vgl. Fig. 6) an das Bussystem 706 angeschlossen sein. Das Vorhersagesystem 600 und das Computersystem 700 können ggfs einen Speicher und/oder den Prozessor gemeinsam nutzen. [0093] Die Beschreibung der verschiedenen Ausführungsbeispiele der vorliegenden Erfindung wurde zum besseren Verständnis dargestellt, dient aber nicht einer unmittelbaren Einschrän kung der erfinderischen Idee auf diese Ausführungsbeispiele. Weitere Modifikationen und Variationen erschließt sich der Fachmann selbst. Die hier genutzte Terminologie wurde so gewählt, um die grundsätzlichen Prinzipien der Ausführungsbeispiele am besten zu beschreiben und sie dem Fachmann leicht zugänglich zu machen.
[0094] Das hier vorgestellte Prinzip kann sowohl als System, als Verfahren, Kombinationen davon und/oder auch als Computerprogrammprodukt verkörpert sein. Dabei kann das Computerprogrammprodukt ein (oder mehrere) Computer-lesbare/s Speichermedium/-medien aufweisen, welches Computer-lesbare Programminstruktionen aufweist, um einen Prozessor oder ein Steuerungssystem dazu zu veranlassen, verschiedene Aspekte der vorliegenden Erfindung auszuführen.
[0095] Als Medien kommen elektronische, magnetische, optische, elektromagnetische, Infrarot-Medien oder Halbleitersysteme als Weiterleitungsmedium zum Einsatz; beispielsweise SSDs (solid state device/drive als Festkörperspeicher), RAM (Random Access Memory) und/oder ROM (Read-Only Memory), EEPROM (Electrically Eraseable ROM) oder eine beliebige Kombination davon. Als Weiterleitungsmedien kommen auch sich ausbreitende elektromagnetische Wellen, elektromagnetische Wellen in Wellenleitern oder anderen Übertragungsmedien (z.B. Lichtimpulse in optischen Kabeln) oder elektrische Signale, die in Drähten übertragen werden, in Frage.
[0096] Das Computer-lesbare Speichermedium kann eine verkörpernde Vorrichtung sein, welche Instruktionen für eine Nutzung durch ein Instruktionsausführungsgerät vorhält bzw. speichert. Die Computer-lesbaren Programminstruktionen, die hier beschrieben sind, können auch auf ein entsprechendes Computersystem heruntergeladen werden, beispielsweise als (Smartphone-)App von einem Service-Provider über eine kabelbasierte Verbindung oder ein Mobilfunknetzwerk.
[0097] Die Computer-lesbaren Programminstruktionen zur Ausführung von Operationen der hier beschriebenen Erfindung können maschinenabhängig sein oder maschinenunabhängige Instruktionen, Microcode, Firmware, Status-definierende Daten oder jeglicher Source-Code oder Objektcode sein, der beispielsweise in C++, Java oder ähnlichen bzw.in konventionellen prozeduralen Programmiersprachen, wie beispielsweise der Programmiersprache „C“ oder ähnlichen Programmiersprachen geschrieben ist. Die Computer-lesbaren Programm instruktionen können komplett durch ein Computersystem ausgeführt werden. In einigen Ausführungsbeispielen können es auch elektronische Schaltkreise, wie beispielsweise programmierbare Logikschaltkreise, Feld-programmierbare Gate Arrays (FPGA) oder programmierbare Logik-Arrays (PLA), sein, die die Computer-lesbaren Programminstruktionen durch Nutzung von Statusinformationen der Computer-lesbaren Programminstruktionen ausführen, um die elektronischen Schaltkreise entsprechend Aspekten der vorliegenden Erfindung zu konfigurieren bzw. zu individualisieren.
[0098] Darüber hinaus ist die hier vorgestellte Erfindung mit Bezug auf Flussdiagramme und/oder Blockdiagramme von Verfahren, Vorrichtungen (Systemen) und Computerprogramm produkten entsprechend Ausführungsbeispielen der Erfindung dargestellt. Es sei darauf hingewiesen, dass praktisch jeder Block der Flussdiagramme und/oder Blockdiagramme als Computer-lesbare Programminstruktionen ausgestaltet sein kann.
[0099] Die computerlesbaren Programminstruktionen können einem General-Purpose- Computer, einem Spezialcomputer oder einem anderweitig programmierbaren Datenver arbeitungssystem zur Verfügung gestellt werden, um eine Maschine herzustellen, so dass die Instruktionen, welche durch den Prozessor oder den Computer oder andere programmierbare Datenverarbeitungsvorrichtungen ausgeführt werden, Mittel erzeugen, um die Funktionen oder Vorgänge, die in dem Flussdiagramm und/oder Blockdiagrammen dargestellt sind, zu imple mentieren. Diese computerlesbaren Programminstruktionen können entsprechend auch auf einem Computer-lesbaren Speichermedium gespeichert werden.
[0100] In diesem Sinne kann jeder Block in dem dargestellten Flussdiagramm oder den Blockdiagrammen ein Modul, ein Segment oder Anteile an Instruktionen darstellen, welche mehrere ausführbare Instruktionen zur Implementierung der spezifischen Logikfunktion darstellen. In einigen Ausführungsbeispielen können die Funktionen, die in den einzelnen Blöcken dargestellt sind, in einer anderen Reihenfolge - gegebenenfalls auch parallel - ausgeführt werden.
[0101] Die dargestellten Strukturen, Materialien, Abläufe und Äquivalente aller Mittel und/oder Schritte mit zugehörigen Funktionen in den untenstehenden Ansprüchen sind dazu gedacht, alle Strukturen, Materialien oder Abläufe anzuwenden, wie es durch die Ansprüche ausgedrückt ist. BEZUGSZEICHEN
100 Verfahren
102 Schritt des Verfahrens 100
104 Schritt des Verfahrens 100
200 erweitertes Verfahren 100
202 Schritt des Verfahrens 200
204 Schritt des Verfahrens 200
206 Schritt des Verfahrens 200
300 Gegenüberstellung Trainingsphase vs. Vorhersagephase 302 Gewebe
304 Hyperspektralkamera, Aufnahmesystem
306 Farbkanäle
310 reduzierte Anzahl Farbkanäle
312 maschinelles Lernsystem im Training
314 gemeinsame Optimierung
316 Ground-Truth-Daten
318 physiches Filter
320 Bildaufnahmeeinheit, Kamera
322 Farbkanäle
324 Lernsystem
326 Ausgabebild
400 Ausführungsbeispiel
402 Farbkanäle
404 Randbedingungen, Eigenschaften
406 Farbkanäle
408 Filter, Randbedingung
410 Filter, Randbedingungen
412 verringerte Anzahl von Farbkanälen
414 Lernsystem
416 Ground-Truth-Daten
418 weitere Ausgabeparameter
502 drei voneinander getrennte Frequenz-/Wellenlängenbereiche
504 Darstellung mit vier Wellenlängenmaxima
600 Vorhersagesystem
602 Prozessor
604 Speicher Bildaufnahmeeinheit Lernsystem Bildaufnahmeeinheit Bereitstellungseinheit Trainingssystem Bussystem Computersystem Prozessor Speichersystem Bussystem RAM ROM Langzeitspeicher I/O-Controller Programmodule und Daten Tastatur Bildschirm Netzwerkadapter

Claims

ANSPRÜCHE
1. Ein Computer-implementiertes Verfahren (100) zur Vorhersage von digitalen Fluoreszenzbildern (326), das Verfahren (100) aufweisend
- Aufnehmen (102) eines ersten digitalen Bildes einer Gewebeprobe (302a) durch ein mikrochirurgisches optisches System mit einer ersten digitalen Bildaufnahmeeinheit (304) mit einer ersten Anzahl von Farbkanalinformationen (322) unter Verwendung von weißem Licht und mindestens einem optischen Filter (318),
- Vorhersagen (104) eines zweiten digitalen Bildes (326) in Form einer digitalen Fluoreszenzdarstellung des aufgenommenen ersten digitalen Bildes mittels eines trainierten maschinellen Lernsystems (324), welches ein trainiertes Lernmodell zur Vorhersage einer entsprechenden digitalen Fluoreszenzdarstellung eines Eingangsbildes aufweist,
- wobei das erste aufgenommene digitale Bild als Eingangsbild für das trainierte maschinelle Lernsystem (324) verwendet wird, und
- wobei Parameterwerte des mindestens einen optischen Filters während eines Trainings des maschinellen Lernsystems (324) bestimmt wurden.
2. Das Verfahren (100) gemäß Anspruch 1, wobei ein Trainieren des Lernmodells des trainierten maschinellen Lernsystems aufweist:
- Bereitstellen (202) einer Mehrzahl von ersten digitalen Trainingsbildern von Gewebeproben (302), die unter weißem Licht mittels eines mikrochirurgischen optischen Systems mit einer zweiten Bildaufnahmeeinheit (304) aufgenommen wurden, wobei für jedes erste digitale Trainingsbild eine zweite Anzahl von Farbkanalinformationen (306) für unterschiedliche Spektralbereiche verfügbar ist,
- Bereitstellen (204) einer Mehrzahl von zweiten digitalen Trainingsbildern (316), die jeweils die gleichen Gewebeproben (302) darstellen wie der erste Satz von digitalen Trainingsbildern, wobei die zweiten digitalen Trainingsbildern Hinweise auf erkrankte Elemente der Gewebeproben aufweisen,
- Trainieren (206) des maschinellen Lernsystems (312) zur Bildung des trainierten maschinellen Lernmodells zur Vorhersage eines digitalen Bildes einer Art der Mehrzahl der zweiten digitalen Trainingsbilder, wobei Folgendes als Eingangswerte für das maschinelle Lernsystem genutzt wird:
- die Mehrzahl der ersten digitalen Trainingsbilder in Form der zweiten Anzahl von Farbkanalinformationen (306),
- die Mehrzahl der zweiten digitalen Trainingsbilder als Ground Truth (316),
- Parameterwerte zur Reduzierung der zweiten Anzahl der Farbkanalinformationen (306) durch mindestens ein digital simuliertes optisches Filter (308) zur Bildung der ersten Anzahl von Farbkanalinformationen, wobei als Trainingsdaten zur Vorhersage eines digitalen Bildes der Art der Mehrzahl der zweiten digitalen Trainingsbilder die Mehrzahl der ersten digitalen Trainingsbilder verwendet wird, nachdem die zweite Anzahl von Farbkanalinformationen (306) mittels des digital simulierten optischen Filters (308) auf die erste Anzahl von Farbkanalinformationen (310, 322) reduziert wurde, und wobei als Ausgabenwerte des maschinellen Lernsystems nach einem Abschluss des Trainings des maschinellen Lernsystems zumindest ein Teil der Parameterwerte des mindestens eines optischen Filters ausgegeben werden.
3. Das Verfahren (100) gemäß Anspruch 1 oder 2, wobei die Parameterwerte des mindestens einen optischen Filters (318) aufweisen: die Anzahl von ersten Farbkanalinformationen (310, 322) und/oder eine Filterform des digital simulierten optischen Filters (308).
4. Das Verfahren (100) gemäß Anspruch 1 oder 2, wobei die zweite Anzahl an Farbkanalinformationen größer ist als die erste Anzahl an Farbkanalinformationen.
5. Das Verfahren (100) gemäß einem der vorangegangen Ansprüche, wobei die Parameterwerte zur Reduzierung der zweiten Anzahl der Farbkanäle (306) mindestens eines ausgewählt aus der Gruppe ist, die aus einer Filterform und einer jeweiligen Mittelfrequenz der ersten Anzahl der Farbkanalinformationen (310, 322) besteht.
6. Das Verfahren (100) gemäß Anspruch 2, wobei als zusätzliche Ausgabenwerte des maschinellen Lernsystems (312) nach einem Abschluss des Trainings des maschinellen Lernsystems (312) Parameterwerte zur Steuerung der Quelle des weißen Lichtes während des Aufnehmens des ersten digitalen Bildes erzeugt werden.
7. Das Verfahren (100) gemäß einem der vorangegangenen Ansprüche, wobei die digitale Fluoreszenzdarstellung einer Darstellung entspricht, wie sie unter Verwendung einer Lichtquelle im UV-Bereich erzeugt würde.
8. Das Verfahren (100) gemäß einem der vorangegangenen Ansprüche, wobei das Lernmodell im Aufbau einem Encoder-Decoder-Modell entspricht.
9. Das Verfahren (100) gemäß einem der vorangegangenen Ansprüche, wobei das Encoder-Decoder-Modell ein Faltungsnetzwerk in Form einer U- Net-Architektur ist.
10. Ein Vorhersagesystem (600) zur Vorhersage von digitalen Fluoreszenzbildern (326), wobei das Vorhersagesystem (600) folgendes aufweist
- einen Speicher (604), der einen Programmcode speichert, und einen oder mehrere mit dem Speicher (604) verbundene Prozessoren (602), die, wenn sie den Programmcode ausführen, das Vorhersagesystem (600) zum Steuern folgernder Einheiten veranlassen:
- eine erste digitale Bildaufnahmeeinheit (606) mit einer ersten Anzahl von Farbkanalinformationen (306) zum Aufnehmen eines ersten digitalen Bildes einer Gewebeprobe (302a) durch ein mikrochirurgisches optisches System unter Verwendung von weißem Licht und mindestens einem optischen Filter (318),
- ein trainiertes maschinelle Lernsystem (326) zum Vorhersagen eines zweiten digitalen Bildes (326) in Form einer digitalen Fluoreszenzdarstellung des aufgenommenen ersten digitalen Bildes, wobei das trainiertes maschinelle Lernsystem (326) ein trainiertes Lernmodell zur Vorhersage einer entsprechenden digitalen Fluoreszenzdarstellung eines Eingangsbildes aufweist,
- wobei das erste aufgenommenen digitale Bild als Eingangsbild für das trainierte maschinelle Lernsystems (326) verwendet wird, und
- wobei Parameterwerte des mindestens einen optischen Filters (318) während eines Trainings des maschinellen Lernsystems (312) bestimmt wurden.
11. Ein Computerprogrammprodukt zur Vorhersage von digitalen Fluoreszenzbildern, wobei das Computerprogrammprodukt ein Computer-lesbares Speichermedium aufweist, welches darauf gespeicherte Programminstruktionen aufweist, wobei die Programminstruktionen durch einen oder mehrere Computer oder Steuereinheiten ausführbar sind, und den einen oder die mehreren Computer oder Steuereinheiten dazu veranlasst, das Verfahren entsprechend einem der Ansprüche 1 bis 9 auszuführen.
PCT/EP2022/066313 2021-06-16 2022-06-15 Co-design von optischem filter und fluoreszenz-anwendungen mit künstlicher intelligenz WO2022263515A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280042864.2A CN117546206A (zh) 2021-06-16 2022-06-15 使用人工智能的光学滤波器和荧光应用的协同设计

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021115587.8A DE102021115587A1 (de) 2021-06-16 2021-06-16 Co-design von optischem filter und fluoreszenz-anwendungen mit künstlicher intelligenz
DE102021115587.8 2021-06-16

Publications (1)

Publication Number Publication Date
WO2022263515A1 true WO2022263515A1 (de) 2022-12-22

Family

ID=82385317

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/066313 WO2022263515A1 (de) 2021-06-16 2022-06-15 Co-design von optischem filter und fluoreszenz-anwendungen mit künstlicher intelligenz

Country Status (3)

Country Link
CN (1) CN117546206A (de)
DE (1) DE102021115587A1 (de)
WO (1) WO2022263515A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190384048A1 (en) * 2012-01-20 2019-12-19 The Trustees Of Dartmouth College Method and apparatus for quantitative hyperspectral fluorescence and reflectance imaging for surgical guidance

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190384048A1 (en) * 2012-01-20 2019-12-19 The Trustees Of Dartmouth College Method and apparatus for quantitative hyperspectral fluorescence and reflectance imaging for surgical guidance

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
COLIN L COOKE ET AL: "Physics-enhanced machine learning for virtual fluorescence microscopy", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 9 April 2020 (2020-04-09), XP081641026 *
ERIC M CHRISTIANSEN ET AL: "In Silico Labeling: Predicting Fluorescent Labels in Unlabeled Images", CELL, vol. 173, no. 3, 19 April 2018 (2018-04-19), USA, pages 792 - 803, e1, XP002788720, ISSN: 1097-4172, Retrieved from the Internet <URL:https://www.sciencedirect.com/science/article/pii/S0092867418303647?via%3Dihub> [retrieved on 20190218], DOI: 10.1016/J.CELL.2018.03.040 *
NIE SHIJIE ET AL: "Deeply Learned Filter Response Functions for Hyperspectral Reconstruction", 2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, IEEE, 18 June 2018 (2018-06-18), pages 4767 - 4776, XP033473388, DOI: 10.1109/CVPR.2018.00501 *

Also Published As

Publication number Publication date
DE102021115587A1 (de) 2022-12-22
CN117546206A (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
EP2074933B1 (de) Verfahren zur Analyse und Bearbeitung von Fluoreszenzbildern
DE102011078278A1 (de) Verfahren zur Bilderzeugung und Bildauswertung
EP0896661A1 (de) Verfahren zur automatisierten mikroskopunterstützten untersuchung von gewebeproben oder körperflüssigkeitsproben
EP3195250B1 (de) Verfahren zum erzeugen eines ergebnisbilds und optische vorrichtung
DE102009035441B4 (de) Verfahren und Bildverarbeitungssystem zur Erzeugung eines Volumenansichtsbilds vom Inneren eines Körpers
EP3332710B1 (de) Charakterisierung von plaque
DE112004001440T5 (de) Entfalten eines virtuellen Organs zur Visualisierung
DE112015006295T5 (de) Bildverarbeitungsvorrichtung, Vorrichtung zur biologischen Beobachtung und Bildverarbeitungsverfahren
EP3540632A1 (de) Verfahren und analysegeräte zum klassifizieren von gewebeproben
WO2019091509A1 (de) Verfahren zur auswertung des hautbildes eines menschen im rahmen der hautkrebs- vorsorgeuntersuchung sowie vorrichtung zu dessen betrieb
DE202018006284U1 (de) Vorrichtung, insbesondere für Mikroskope und Endoskope, unter Anwendung einer Grundlinienschätzung und halbquadratischen Minimierung für die Unschärfereduzierung von Bildern
DE102009042326A1 (de) Interaktive Veränderung der Darstellung eines mittels Volume Rendering dargestellten Objekts
DE102021210435A1 (de) Verfahren und Vorrichtung zur Visualisierung von dreidimensionalen Objekten
DE102009032442B4 (de) Verfahren und Vorrichtung zur Nachbearbeitung von mittels eines bildgebenden Systems erfassten Messwerten
DE112018000393T5 (de) Endoskopsystem und Bildanzeigevorrichtung
DE102006012943B4 (de) Verfahren zur automatischen Auswertung eines Abbildungsdatensatzes eines Objektes und medizinisches Abbildungssystem
DE102017204175A1 (de) Verfahren zu einem Auffinden von Auffälligkeiten in medizinischen Bilddaten eines Bereichs des Patienten, der außerhalb eines zu untersuchenden Bereichs des Patienten angeordnet ist, sowie eine medizinische Bildgebungsvorrichtung hierzu
EP3379487B1 (de) Kontrastverstärkte wiedergabe von spektralen ct-bilddaten
DE102004056589A1 (de) Verfahren und Vorrichtung zur Durchführung segmentierungsbasierter Bildoperationen
WO2022263515A1 (de) Co-design von optischem filter und fluoreszenz-anwendungen mit künstlicher intelligenz
DE102017203048B3 (de) Verfahren zum Bestimmen eines Projektionsdatensatzes, Projektionsbestimmungssystem, Computerprogrammprodukt und computerlesbares Speichermedium
DE102009006765A1 (de) Verfahren zur Ansteuerung einer Bildausgabeeinrichtung, Verfahren zur Ermittlung von tangentialen Schnittebenen, Ansteuerungsmodul und Schnittebenenermittlungseinheit
EP3488281B1 (de) Ermitteln eines gewebetyps eines gewebes eines tierischen oder menschlichen individuums
DE102021115588A1 (de) Multi-task-lernen von weisslichtaufnahmen für ein operationsmikroskop
DE10224756B4 (de) Verfahren und Vorrichtung zur Erzeugung einer kombinierten Parameterkarte

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22737386

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023577468

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202280042864.2

Country of ref document: CN

Ref document number: 18571021

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE