WO2021104740A1 - Optisches beobachtungsgerät sowie verfahren und datenverarbeitungssystem zum ermitteln von informationen zum unterscheiden zwischen gewebeflüssigkeitszellen und gewebezellen - Google Patents

Optisches beobachtungsgerät sowie verfahren und datenverarbeitungssystem zum ermitteln von informationen zum unterscheiden zwischen gewebeflüssigkeitszellen und gewebezellen Download PDF

Info

Publication number
WO2021104740A1
WO2021104740A1 PCT/EP2020/078947 EP2020078947W WO2021104740A1 WO 2021104740 A1 WO2021104740 A1 WO 2021104740A1 EP 2020078947 W EP2020078947 W EP 2020078947W WO 2021104740 A1 WO2021104740 A1 WO 2021104740A1
Authority
WO
WIPO (PCT)
Prior art keywords
tissue
cells
image
resolution
images
Prior art date
Application number
PCT/EP2020/078947
Other languages
English (en)
French (fr)
Inventor
Patrick Hoyer
Stefan Saur
Gerald Panitz
Original Assignee
Carl Zeiss Meditec Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Meditec Ag filed Critical Carl Zeiss Meditec Ag
Priority to CN202080082858.0A priority Critical patent/CN114787858A/zh
Priority to US17/780,017 priority patent/US20220392061A1/en
Publication of WO2021104740A1 publication Critical patent/WO2021104740A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • Optical observation apparatus and method and data processing system for determining information for distinguishing between tissue fluid cells and tissue cells
  • the present invention relates to a computer-implemented method for obtaining information for distinguishing between
  • Tissue fluid cells and tissue cells in a high-resolution image of a tissue area a data processing system for carrying out the method as well as a computer program and a non-volatile computer-readable storage medium with instructions for determining information for distinguishing between tissue fluid cells and tissue cells in a high-resolution image of a tissue area.
  • the invention relates to a method for recording a high-resolution image of a tissue area with information associated with the image for distinguishing between tissue fluid cells and tissue cells by means of a scanning imaging method and an optical observation device.
  • microelectromechanical systems MEMS, microelectromechanical systems
  • MEMS mirror moving microelectromechanical Mirror
  • Imaging methods are used in particular in the context of optical coherence tomography (OCT, Optical Coherence Tomography) or in the context of confocal imaging, as described, for example, in US 2010/0157308 A1 and US 9,921, 406 B2.
  • OCT optical coherence tomography
  • confocal imaging as described, for example, in US 2010/0157308 A1 and US 9,921, 406 B2.
  • the objects are first scanned along a line, for example, which is usually referred to as the x-direction or x-line. This is followed by a line feed in the y direction and then another scan along a line in the x direction.
  • a line feed in the y direction defines the resolution of the image obtained with the scanning imaging method if all lines are used for the scan.
  • an image in which all lines are used for the scan also requires the longest scanning process, since many lines must be scanned. Due to the long scan time, the frame rate in a video stream that is sent to the scanning
  • Imaging method is based, low.
  • the frame rate indicates how many individual images (frames) per second (frames per second, "fps") can be reached in the video stream.
  • fps frames per second
  • the time required to record a single image with the scanning imaging method must be reduced. This is usually achieved by not using all lines in a scan for a single image, but only, for example, every 10th line, whereby the frame rate can be increased, but at the expense of the resolution of the individual images.
  • a scanning endoscope system with adjustable resolution is described, for example, in US 2010/0157037 A1 for an edoscope with a spiral-shaped scanning scanner.
  • scanning imaging methods are used, for example, in the context of confocal microscopy, in particular in the context of confocal endomicroscopy, as well as in the context of optical coherence tomography, in order to take high-resolution images of tissue areas, on the basis of which tissue changes can be diagnosed.
  • the problem here is that makes it difficult to distinguish between tissue cells and cells of tissue fluids in the images obtained with the scanning imaging method.
  • a second object is to provide a computer program and a non-transitory computer-readable storage medium with instructions which enable information for distinguishing between tissue fluid cells and tissue cells to be determined in a high-resolution image of a tissue area.
  • a third object of the present invention is to provide a method for recording a high-resolution image of a tissue region by means of a scanning imaging method, with which information associated with the high-resolution image for distinguishing between tissue fluid cells and tissue cells can also be determined.
  • a fourth object of the present invention is to provide an optical observation device which enables information for distinguishing between tissue fluid cells and tissue cells to be determined in a high-resolution image of a tissue region.
  • the first object is achieved by a computer-implemented method according to claim 1 and by a data processing system according to claim 12, the second object by a computer program according to claim 10 and a non-volatile computer-readable storage medium according to claim 11, the third object by a method for recording a high-resolution image Claim 13 and the fourth task by one Optical observation device according to claim 16.
  • the dependent claims claim advantageous embodiments of the invention.
  • tissue fluid cells are those cells that are integrated into an extracellular matrix.
  • Tissue cells are in particular the cells of the epithelial tissue, the connective and supporting tissue, the muscle tissue and the nerve tissue.
  • Tissue fluid cells are those cells which are located in a tissue fluid, in particular in the blood or in the lymph.
  • cached images are used which were recorded and cached before the high-resolution image was recorded with a low resolution and a high frame rate.
  • the information for distinguishing between tissue fluid cells and tissue cells is obtained from the temporarily stored images with the low resolution and the high frame rate.
  • microendoscopic optical observation devices are often operated with a scanning image recording device in a low image resolution while the user navigates to the tissue area of interest or searches the tissue in order to find tissue changes.
  • the image resolution is not to be understood as the optical resolution as it results from the optical properties of the imaging optical elements, but rather the pixel resolution, which results from the size of the pixels forming the image and the distance between these pixels results. Due to the reduced image resolution, a more rapid recording of an individual image (frame) is possible with the scanning image recording device, so that a high frame rate can be achieved. As a result, the user can be presented with a frame rate of 4 frames per second or more.
  • the computer-implemented method according to the invention makes use of the fact that a number of low-resolution images were recorded at a high frame rate before the high-resolution image was recorded. These images contain information that can be used to distinguish tissue fluid cells from tissue cells embedded in the extracellular matrix.
  • the computer-implemented method according to the invention can take these images from a buffer in which they are continuously buffered. If a high-resolution image is now created, the method can fall back on the temporarily stored images in order to obtain and process the information which enables the differentiation between tissue fluid cells and tissue cells. This information is based in particular on the detection of changes in position of cells in relation to an image background. Cells distributed in the individual images, for example, which have essentially the same relative position to one another in all individual images, can be viewed as the image background.
  • the computer-implemented method can generate a video sequence from at least some of the cached images of the low resolution and the high frame rate, which is then next to the high-resolution image is displayed or is superimposed on the high-resolution image.
  • the tissue fluid cells move in relation to the tissue cells embedded in the extracellular matrix and are therefore easy to identify for a viewer of the video sequence.
  • An alternative way of displaying the information for distinguishing between tissue fluid cells and tissue cells is to use an image background, such as cells that have essentially the same relative position to one another in all individual images, and such image elements in the cached images with the low resolution and the high frame rate that move in relation to the background of the image.
  • image background such as cells that have essentially the same relative position to one another in all individual images
  • image elements in the cached images with the low resolution and the high frame rate that move in relation to the background of the image.
  • Those picture elements which have been determined as picture elements moving with respect to the picture background can then be shown highlighted in an image. In particular, they can also be superimposed on the high-resolution image, so that the tissue fluid cells are highlighted directly in the high-resolution image.
  • the image elements moving with respect to the image background can be determined, for example, on the basis of an analysis of a video sequence created on the basis of the images with the low resolution and the high frame rate. Basically, however, two images are sufficient which are at a suitable time interval from one another in order to infer the moving image elements from the different position of certain image elements relative to the image background.
  • the object from which the high-resolution image is recorded is living tissue, physiological processes lead to constant movement of the tissue.
  • the imaged object takes up slightly different positions in the image.
  • the The image background, against which the tissue fluid cells move also moves itself.
  • the cached pictures used to generate the video sequence or to determine the picture elements moving relative to the picture background can be used with the lower Resolution and the high frame rate can be registered against a reference image. This means that all images except the reference image are subjected to a transformation, which means that certain structures of the image background are located in the same image section in each image.
  • the transformations used usually contain at least one displacement of the object in the image. However, they can also contain a rotation or a distortion if the physiological processes lead, for example, to a rotation or a cyclical expansion and contraction of the tissue.
  • the high-resolution image can also be used as a reference image. If necessary, the resolution of the high-resolution reference image can be adapted to the low-resolution images, or the low-resolution images can be adapted to the high resolution of the high-resolution image by means of an interpolation. Alternatively, one of the cached images with the low resolution and the high frame rate can also be selected as the reference image. Typically, an image with sufficient sharpness is used here.
  • the tissue cells embedded in the extracellular matrix can also be classified.
  • a classification can be carried out using suitable software.
  • the prerequisite for the classification is that tissue fluid cells are not mistakenly viewed as cells embedded in the extracellular matrix or vice versa.
  • the present computer-implemented method according to the invention therefore creates the prerequisite for classifying the tissue cells embedded in the extracellular matrix.
  • the classification allows tissue cells to be identified according to their classification. For example, the Tissue cells can be subdivided into a first type of tissue cells, which have no change from the normal state, and into a second type of tissue cells, which show a change from the normal state, by means of the identification. With the help of the classification and the identification, a preselection of tissue areas can then be made, for example, which must be checked for changes by a pathologist.
  • the computer-implemented method according to the invention can comprise a method step in which a check is carried out for each cached image with the low resolution and the high frame rate as to whether it is suitable for obtaining the information for distinguishing between tissue fluid cells and tissue cells. Criteria for suitability can be: Sufficient contrast, sufficient sharpness, no disruptive movement adifacts, etc. Only those cached images with the low resolution and the high frame rate are then used to obtain the information for differentiating between tissue fluid cells and tissue cells for which it is determined that they are suitable for obtaining this information. In this way it can be ensured that the quality of the information acquisition is not reduced by bad individual images.
  • the computer-implemented method according to the invention can also include a step in which it is checked whether there is a sufficient number of cached images with the low resolution and the high frame rate that are suitable for obtaining the information for differentiating between tissue fluid cells and tissue cells. If this check shows that there is not a sufficient number of cached images with the low resolution and the high frame rate that are suitable for obtaining information for distinguishing between tissue fluid cells and tissue cells, the computer-implemented method initiates the acquisition of further images with the low resolution and the high resolution Frame rate. It is true that this delays the acquisition of the information for distinguishing between tissue fluid cells and Tissue cells, however, this approach increases the likelihood that high quality information for distinguishing between tissue fluid cells and tissue cells can be obtained.
  • a computer program for determining information for distinguishing between tissue fluid cells and tissue cells in a high-resolution image of a tissue area.
  • the computer program includes instructions which, when executed on a computer, cause the computer to access cached images with a low resolution and a high frame rate prior to capturing the high resolution image and the information for distinguishing between tissue fluid cells and tissue cells from the cached images with the low resolution and high frame rate.
  • the computer program according to the invention thus contains instructions with the aid of which the computer-implemented method according to the invention can be carried out on a computer or some other data processing device.
  • the computer program according to the invention can also include instructions with the aid of which the described further embodiments of the computer-implemented method according to the invention can be executed on a computer or another data processing device.
  • the properties and advantages described with reference to the computer-implemented method according to the invention and its further refinements can thus be implemented with the aid of the computer program.
  • a non-transitory computer-readable storage medium with instructions stored thereon for determining information for distinguishing between tissue fluid cells and tissue cells in a high-resolution image of a tissue region.
  • the instructions When executed on a computer, the instructions cause the computer to look at both low resolution and high resolution images cached prior to capturing the high resolution image To access the frame rate and extract the information to distinguish between tissue fluid cells and tissue cells from the cached images with the low resolution and the high frame rate.
  • the non-volatile computer-readable storage medium according to the invention enables the computer program according to the invention to be loaded into a computer or other data processing device, so that the computer-implemented method according to the invention can be carried out with the computer or with the other data processing device.
  • a data processing system for determining information for distinguishing between tissue fluid cells and tissue cells in a high-resolution image of a tissue area.
  • the data processing system which can in particular be based on a commercially available computer, comprises a processor and at least one memory, the processor being configured to use, based on instructions from a computer program stored in the memory, images with a low resolution and an image temporarily stored before the high-resolution image was recorded to access the high frame rate and extract the information to distinguish between tissue fluid cells and tissue cells from the cached images with the low resolution and the high frame rate.
  • a method for recording a high-resolution image of an area of tissue provided with associated information for distinguishing between tissue fluid cells and tissue cells by means of a scanning imaging method.
  • a first scan mode images of the tissue area are recorded with a low resolution and a high frame rate.
  • the recorded images with the low resolution and the high frame rate are buffered for a certain period of time.
  • a trigger signal there is a change to a second scan mode with high resolution, in which a high-resolution image is recorded.
  • the information for distinguishing between tissue fluid cells is determined according to the steps of the computer-implemented method according to the invention.
  • After the high-resolution image has been recorded it is possible to return to the first scan mode in order to continue with the recording of images with the low resolution and the high frame rate. This is particularly advantageous if the cached images with the low resolution and the high frame rate do not include enough images that are suitable for obtaining the information for distinguishing between tissue fluid cells and tissue cells. Further images with the low resolution and the high frame rate recorded after the high-resolution image was recorded can then be used to obtain the information for distinguishing between tissue fluid cells and tissue cells.
  • the recording of a high-resolution image can automatically trigger the acquisition of the information for distinguishing between tissue fluid cells and tissue cells. In this way, no further triggering step is necessary, which is particularly advantageous when a scanning image recording device is used in the course of an operation to carry out the method. The surgeon then only needs to trigger the recording of the high-resolution image and can then concentrate on the operation again.
  • the present invention also provides an optical observation device that has a scanning image recording device and one according to the invention
  • the optical observation device can in particular be an endomicroscope and further in particular a confocal endomicroscope or an endomicroscope designed to perform an optical coherence topography.
  • the method according to the invention for recording the high-resolution image of a tissue area with associated information for distinguishing between tissue fluid cells and tissue cells can be carried out.
  • the optical observation device according to the invention therefore enables the properties and advantages associated with the method according to the invention to be implemented. Further features, properties and advantages of the present invention emerge from the following description of exemplary embodiments with reference to the accompanying figures.
  • FIG. 1 shows, in a highly schematic representation, an endomicroscope which is designed to carry out a scanning imaging method.
  • FIG. 2 shows a high-resolution image in a schematic representation.
  • FIG. 3 shows, in schematic representations, a low-resolution image.
  • FIG. 4 shows an example of the computer-implemented method for determining information for distinguishing between tissue fluid cells and tissue cells in a high-resolution image using a flow chart.
  • FIG. 5 shows a sequence of recorded images.
  • FIG. 6 shows, in a highly schematic representation, an image with tissue cells and a tissue fluid cell in a first position.
  • FIG. 7 shows the image from FIG. 6 with the tissue fluid cell in a second position.
  • FIG. 1 shows an endomicroscope with a scanning device as an exemplary embodiment for an optical observation device with an image recording device which is designed to record images of an object composed of a pixel grid.
  • Figures 2 and 3 show highly schematic images that have been obtained on the basis of scans carried out with the endomicroscope.
  • the endomicroscope 1 shown in FIG. 1 comprises an optical fiber 3 with an input end 5 and an output end 7.
  • the input end 5 faces the observation object 9 and is located in a scanning device 11 with the aid of which the end 5 is located along two directions, in the following as x -Direction and y-direction, can be offset laterally to the observation object 9.
  • the scanning device can in particular be implemented by means of microelectromechanical systems (MEMS, microelectromechanical systems).
  • MEMS microelectromechanical systems
  • a scanning device that uses microelectromechanical systems is described, for example, in US 2016/0051131 A1. Reference is made to this document with regard to the construction of a suitable scanning device.
  • the observation object 9 can be scanned at a stationary fiber end 5 with the aid of a movable microelectromechanical mirror (MEMS mirror) or with the aid of several movable microelectromechanical mirrors.
  • MEMS mirror movable microelectromechanical mirror
  • the second end 7 of the optical fiber 3 faces a sensor 13 with which an amount of light falling on the sensor 13 can be detected.
  • the sensor 13 is located in a housing 15 which, in the present exemplary embodiment, is designed as a separate module, but that too can be designed as a handle, and in which a light source (not shown in the figure) for generating illuminating light for illuminating the observation object 9 and a coupling device for coupling the illuminating light into the second end 7 of the optical fiber 3 are accommodated.
  • the light source can in particular be a laser light source.
  • the light source can, however, also be arranged outside the housing 15 and connected to it via a light guide. The exit end of the light guide is then located in the housing 15.
  • the coupling device couples the illuminating light emerging from the exit end of the light guide into the second end 7 of the optical fiber 3.
  • the illuminating light can be white light, i.e. have a broadband spectrum, or light with a spectrum that consists of one or more narrowband spectral ranges, for example one or more narrowband spectral ranges suitable for exciting fluorescence in the observation object 9.
  • Illumination light coupled into the second end 7 of the optical fiber 3 is guided through the optical fiber 3 to the first end 5, from which the illumination light is directed towards the
  • Observation object 9 exits. Illumination light reflected by the observation object 9 or excited by the illumination light from
  • the observation object 9 such as fluorescent light
  • the observation object 9 enters the first end 5 of the optical fiber 3 and is guided by this to the second end 7, from which it exits in the direction of the sensor 13.
  • the ends 5, 7 of the optical fiber 3 there can also be focusing optics with which light is directed onto the surface of the observation object 9
  • the endomicroscope 1 can in particular be designed as a confocal endomicroscope. Additionally or alternatively, it can also be designed as an endomicroscope for performing optical coherence tomography (OCT, Optical Coherence Tomography).
  • OCT optical coherence tomography
  • Confocal microscopy and optical coherence tomography are generally known methods and are described, for example, in US 2010/0157308 A1 and US 9,921, 406 B2. The description of details on confocal microscopy and optical coherence tomography is therefore within the scope of the present description waived. Instead, reference is made to US 2010/0157308 A1 and US 9,921, 406 B2.
  • the image acquisition with the aid of the endomicroscope 1 is controlled in the present exemplary embodiment with the aid of a computer 17.
  • the control can also take place by means of a dedicated control device.
  • the computer 17 used for control in the present exemplary embodiment is connected both to the scanning device 11 and to the sensor 13.
  • the scanning device 11 is controlled by the computer 17 in such a way that the observation object 9 is scanned along a grid 19 with grid points 21 (see FIG. 2).
  • the observation object 9 is illuminated with illuminating light and the reflected illuminating light or the light emitted by the observation object 9 due to an excitation by means of the illuminating light is recorded.
  • the computer From the reflected illumination light recorded at the raster points 21 or the light emitted by the observation object recorded at the raster points 21, the computer then generates an image whose pixel raster corresponds to the raster 19 used during scanning.
  • the optical fiber 3, the scanning device 11, the sensor 13 and the computer 17 together therefore form an image recording device in which the computer 17 serves as an image generating device.
  • the grid comprises grid lines that extend in the x direction in FIG. 2 and grid columns that extend in the y direction in FIG. 2.
  • the observation object is scanned line by line, so that a line is scanned, ie a scan takes place along the x-direction, and after the line is completed, the optical fiber 3 is offset in the y-direction before a line extending in the x direction is scanned again with the optical fiber 3 offset in the y direction.
  • the sensor 13 is exposed for each raster point 21 at which the optical fiber is located at the time of recording. This way you will be using of the sensor 13 and the scanning device 11 generate an image of the observation object 9 line by line, as is shown schematically in FIG.
  • FIG. 2 shows, in a highly schematic manner, an image in which all raster points 21 of the raster 19 were used when the observation object 9 was scanned.
  • FIG. 2 schematically shows a structure 23 of the observation object 9, which is shown as a ring for illustration purposes.
  • Raster points 21 which are located above the structure 23 lead to a different signal on the sensor 13 than those raster points 21 which are not located above the structure 23.
  • the signal generated by the raster points 21 located above the structure 23 is represented by hatched raster points 21. With small dimensions of the raster points 21 and correspondingly small distances between the raster points 21, as is made possible by the use of the optical fiber 3, a high resolution of structures 23 of the observation object 9 is possible.
  • the computer 17 can be used to control the scanning device 11 in such a way that certain lines 25 are omitted when scanning along the grid 19.
  • certain lines 25 are omitted when scanning along the grid 19.
  • the raster points 21 of the lines 21 used during scanning are shown in the figure with solid lines, the raster points 21 of the lines 25 omitted during scanning are shown in dashed lines.
  • While recording a video stream with reduced resolution is sufficient in some cases, for example as long as one is only navigating to an examination site, there are situations in which a high-resolution image of the structures 23 in the observation object 9 is required. This applies in particular when the examination site has been reached with the endomicroscope 1 and the examination site is to be examined with regard to changes.
  • the low-resolution individual images of the video stream are temporarily stored in the memory of the computer 17 for a certain time in the present exemplary embodiment, for which a ring memory can be used, for example, i.e. a memory in which data is stored over a certain storage period, including those Data in the memory for which the storage period has been reached will be overwritten with current data.
  • a ring memory can be used, for example, i.e. a memory in which data is stored over a certain storage period, including those Data in the memory for which the storage period has been reached will be overwritten with current data.
  • the command can be, for example, a keyboard input or, if the computer 17 is equipped to receive voice commands, a voice command. But there is also the possibility of using an external input device that is connected to the computer 17 via cable or radio.
  • Such an external input device can be, for example, a foot switch, upon actuation of which a trigger signal is sent to the computer 17.
  • Footswitches and voice commands have opposite one Keyboard input has the advantage that the user of the endomicroscope 1 does not need a hand to generate the trigger signal.
  • the computer-implemented method is carried out on the computer 17. Its execution is triggered by a trigger signal, for example by pressing a foot switch, by entering a keyboard or by a voice command.
  • the trigger signal can be a signal designed exclusively for carrying out the method, but it can also, as in the present exemplary embodiment, be a different triggering of a high-resolution image 34 (see FIG. 5).
  • the method accesses the low-resolution individual images 33A-E of the video stream that are located in the ring buffer and recorded before the high-resolution image 34 was recorded.
  • the low-resolution individual images 33A-E are not stored in a memory of the computer 17, but rather externally, for example in a memory of the endomicroscope 1, accessing the low-resolution individual images 33A-E of the video stream also includes reading in the low-resolution individual images 33A-E into the computer 17. It should be noted at this point that the low-resolution individual images 33A-E in the present exemplary embodiment are indeed the individual images of a video stream, but this is not absolutely necessary for the present invention.
  • the individual images 33A-E are evaluated for their quality in step S3 and those individual images with an insufficient quality are sorted out.
  • the evaluation of the individual images with regard to their quality can in particular with regard to the sharpness of the respective individual image, the presence of movement artifacts, the contrast, etc. respectively.
  • a quality parameter can be determined on the basis of the image sharpness, the contrast, the presence of movement artifacts, etc.
  • Those low-resolution individual images 33A-E which do not achieve a predetermined value for the quality parameter are sorted out. There is also the possibility of defining several quality parameters and sorting out all those images that do not achieve the specified value for at least one quality parameter.
  • a check is carried out in step S4 to determine whether there is sufficient overlap of the image fields of the respective individual images.
  • those individual images for which there is insufficient overlap of the image fields are sorted out.
  • a reference image can be determined from the individual images 33A-E with low resolution and the overlap of the remaining individual images 33A-E with the reference image can be determined.
  • the overlap can be represented, for example, by a numerical value which indicates which portion of the image field of the respective individual image 33A-E corresponds to the image field of the reference image.
  • the high-resolution image 34 can also serve as a reference image.
  • step S5 it is checked in step S5 whether the remaining number of individual images 33A-E with low resolution is sufficient to accommodate the Learn how to distinguish between tissue fluid cells and tissue cells embedded in an extracellular matrix.
  • a lower limit for the number of individual images can be set which should not be undercut.
  • a maximum time span between two individual images 33A-E with low resolution can be specified which should not be exceeded.
  • an entire time span can also be specified which is to be covered by the individual images 33A-E with low resolution.
  • step S5 If it is determined in step S5 that the number of individual images 33A-E with low resolution is insufficient to determine the information for distinguishing between tissue fluid cells and tissue cells embedded in an extracellular matrix, the method proceeds to step S6 in which further individual images 35A- C with low resolution can be added to the already existing individual images 33A-E.
  • step S6 the endomicroscope 1 continues with the recording of low-resolution individual images 35A-C. In step S6, it is therefore only necessary to access the low-resolution individual images 35A-C recorded after the high-resolution image was created.
  • step S6 the recording of a number of low-resolution individual images 35A-C is triggered in step S6. Regardless of whether the recording of a number of low-resolution individual images 35A-C is triggered in step S6, or whether the endomicroscope 1 automatically continues with the recording of low-resolution individual images 35A-C after the high-resolution image 34 has been created, the method returns from step S6 back to step S3 to carry out the check of steps S3, S4 and S5 again. This continues until it is determined in step S5 that there is a sufficient number of low-resolution individual images 33A-E, 35A-C.
  • FIG. 5 shows, in a schematic representation, the chronological sequence of the recording of low-resolution individual images 33A-D and 35A-C, which are recorded at different times and used in steps S3 to S6. Furthermore, FIG. 5 shows a high-resolution image 34 that is recorded at a point in time to. Triggering the For example, the high-resolution image 34 at the point in time to simultaneously triggers the determination of information for distinguishing between tissue fluid cells and tissue cells in the high-resolution image 34. For this purpose, in accordance with step S2, the cached , low-resolution individual images recorded at times ti to t-m are evaluated in accordance with steps S3 to S5.
  • step S5 the evaluation according to steps S3 to S5 shows that the number of low-resolution individual images 33A-E which meet the required quality criteria is not sufficient to determine the information for distinguishing between tissue fluid cells and tissue cells embedded in an extracellular matrix
  • the Low-resolution individual images 35A-C up to and including points in time ti-t3 recorded, which are recorded after the high-resolution image 34 has been recorded.
  • step S7 the method continues to step S7, in which it registers the low-resolution images.
  • step S5 As soon as it is established in step S5 that there is a sufficient number of low-resolution individual images 33A-E, 35A-C, the method proceeds to step S7, in which the individual images with low resolution are registered against the reference image.
  • the reference image is the high-resolution image 34, it is advantageous for the quality of the registration if pixel values are calculated for the pixels omitted in the low-resolution individual images 33A-E, 35A-C by means of an interpolation on the basis of the pixels not omitted.
  • step S8 On the basis of a comparison of the registered individual images with one another, in the present exemplary embodiment those image elements are then determined in step S8 which each occupy the same position in the image field in the individual images 33A-E, 35A-C.
  • These picture elements are shown in FIGS. 6 and 7 and identified with the reference numeral 29.
  • those picture elements are determined together which occupy different positions in the individual images 33A-E, 35A-C.
  • Such a picture element is identified by way of example in FIGS. 6 and 7 with the reference number 31.
  • Those image elements 29 that are in the same position of the image field in the individual images 33A-E, 35A-C represent the tissue cells embedded in the extracellular matrix, those image elements 31 whose position differs from one another in the image field in the individual images moving tissue fluid cells.
  • the information obtained is suitably prepared for display in step S9.
  • the preparation can include, for example, that the tissue cells embedded in the extracellular matrix or the tissue fluid cells are highlighted in color in the high-resolution image.
  • step S10 the processed information is then output to an external monitor for display.
  • the information can also be displayed on the monitor of the computer 17. After the information has been presented, the method ends.
  • the tissue cells can be classified by determining the information that enables the tissue cells embedded in the extracellular matrix to be distinguished from the tissue fluid cells. Such a classification can take place by means of suitable software and, for example, be based on methods as described in the following publications: A. BenTaieb et al. "Deep Learning Models for Digital Pathology", arXiv: 1910: 12329v2 [cs.CV] 29 Oct 2019; A. Bizzego et al. "Evaluating reproducibility of AI algorithms in digital pathology with DAPPER “in PLoS Comput Biol 15 (3): e1006269, March 27, 2019 and T. Fuchs et al.
  • tissue cells can be identified differently in the present exemplary embodiment. For example, by means of the identification in the high-resolution image, a distinction can be made between tissue cells that show no change compared to the normal state and those that show a change.
  • the present invention has been made on the basis of exemplary
  • Exemplary embodiments are described in detail for explanatory purposes. However, a person skilled in the art recognizes that it is possible to deviate from the exemplary embodiments within the scope of the present invention, as has already been indicated in the context of the exemplary embodiments.
  • the low-resolution individual images instead of using the low-resolution individual images to determine the image areas forming the background and image areas moving in relation to the background, it is possible to combine the registered low-resolution individual images into a short video sequence that is displayed next to the high-resolution image.
  • a user of the endomicroscope can identify the tissue fluid cells on the basis of their movement shown in the short video sequence.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

Es wird ein Verfahren zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild (34) von einem Gewebebereich zur Verfügung gestellt. In dem Verfahren wird auf vor dem Aufnehmen des hochaufgelösten Bildes (34) zwischengespeicherte Bilder (33A-E) mit einer niedrigen Auflösung und einer hohen Bildrate zugegriffen und die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen aus den zwischengespeicherten Bildern (33A-E) mit der niedrigen Auflösung und der hohen Bildrate gewonnen.

Description

Optisches Beobachtungsgerät sowie Verfahren und Datenverarbeitungssystem zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen
Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zum Ermitteln von Informationen zum Unterscheiden zwischen
Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild von einem Gewebebereich, ein Datenverarbeitungssystem zum Durchführen des Verfahrens sowie ein Computerprogramm und ein nichtflüchtiges computerlesbares Speichermedium mit Instruktionen zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild von einem Gewebebereich. Daneben betrifft die Erfindung ein Verfahren zum Aufnehmen eines hochaufgelösten Bildes von einem Gewebebereich mit dem Bild zugeordneten Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen mittels eines scannenden Bildgebungsverfahrens sowie ein optisches Beobachtungsgerät.
In der Endoskopie und insbesondere in der Endomikroskopie wurde die Entwicklung scannender Bildgebungsverfahren durch die Entwicklung von auf mikroelektromechanischen Systemen (MEMS, micro-elctro-mechanical Systems) beruhenden Scaneinrichtungen begünstigt, die das laterale Scannen eines Objekts mit einer bewegten optischen Faser oder mittels eines beweglichen mikroelektromechanischen Spiegels (MEMS-Spiegels) bei feststehende Faser ermöglichen. Eine auf mikroelektromechanischen
Systemen beruhende Scaneinrichtung für eine optische Faser ist beispielsweise in US 2016/0051131 A1 beschrieben. Scannende
Bildgebungsverfahren kommen dabei insbesondere im Rahmen der optischen Kohärenztomografie (OCT, Optical Coherence Tomography) oder im Rahmen der konfokalen Abbildung zum Einsatz, wie sie beispielsweise in US 2010/0157308 A1 und US 9,921 ,406 B2 beschrieben sind.
Bei scannenden Bildgebungsverfahren werden die Objekte beispielsweise zunächst entlang einer Linie gescannt, die üblicherweise als x-Richtung oder x-Zeile bezeichnet wird. Danach erfolgt ein Zeilenvorschub in y-Richtung und anschließend wieder ein Scan entlang einer Linie in x-Richtung. Der kleinstmögliche Abstand, den die Zeilen in y-Richtung voneinander haben können, definiert dabei die Auflösung des mit dem scannenden Bildgebungsverfahren gewonnenen Bildes, wenn für den Scan alle Zeilen herangezogen werden. Ein Bild, bei dem für den Scan alle Zeilen herangezogen werden, erfordert jedoch auch den längsten Scanprozess, da viele Zeilen gescannt werden müssen. Aufgrund der langen Scandauer ist die Bildrate in einem Videostream, der auf dem scannenden
Bildgebungsverfahren beruht, gering. Die Bildrate gibt dabei an, wie viele Einzelbilder (Frames) pro Sekunde (Frames per Second, „fps“) im Videostream erreichbar sind. Um höhere Bildraten erreichen zu können, muss die Zeitdauer, die zur Aufnahme eines Einzelbildes mit dem scannenden Bildgebungsverfahren benötigt wird, reduziert werden. Dies wird in der Regel dadurch erreicht, dass bei einem Scan für ein Einzelbild nicht alle Zeilen herangezogen werden, sondern nur beispielsweise jede 10. Zeile, wodurch sich die Bildrate erhöhen lässt, allerdings auf Kosten der Auflösung der Einzelbilder. Ein scannendes Endoskopsystem mit einstellbarer Auflösung ist beispielsweise in US 2010/0157037 A1 für ein Edoskop mit einem spiralförmig scannenden Scanner beschreiben.
Im medizinischen Bereich kommen scannende Bildgebungsverfahren beispielsweise im Rahmen der konfokalen Mikroskopie, insbesondere im Rahmen der konfokalen Endomikroskopie, sowie im Rahmen der optischen Kohärenztomographie zur Anwendung, um hochaufgelöste Bilder von Gewebebereichen aufzunehmen, anhand derer Gewebeveränderungen diagnostiziert werden können. Dabei besteht die Problematik, dass sich in den mit den scannenden Bildgebungsverfahren gewonnenen Bildern nur schwer zwischen Gewebezellen und Zellen von Gewebeflüssigkeiten unterscheiden lässt.
Es ist daher eine erste Aufgabe der vorliegenden Erfindung, ein computerimplementiertes Verfahren zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild von einem Gewebebereich sowie ein Datenverarbeitungssystem zum Durchführen des Verfahrens zur Verfügung zu stellen.
Eine zweite Aufgabe ist es, ein Computerprogramm und ein nichtflüchtiges computerlesbares Speichermedium mit Instruktionen zur Verfügung zu stellen, die ein Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild von einem Gewebebereich ermöglichen.
Eine dritte Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zum Aufnehmen eines hochaufgelösten Bildes von einem Gewebebereich mittels eines scannenden Bildgebungsverfahrens zur Verfügung zu stellen, mit dem auch dem hochaufgelösten Bild zugeordnete Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen ermittelt werden können.
Eine vierte Aufgabe der vorliegenden Erfindung ist es, ein optisches Beobachtungsgerät zur Verfügung zu stellen, das ein Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild von einem Gewebebereich ermöglicht.
Die erste Aufgabe wird durch ein computerimplementiertes Verfahren nach Anspruch 1 sowie durch ein Datenverarbeitungssystem nach Anspruch 12 gelöst, die zweite Aufgabe durch ein Computerprogramm nach Anspruch 10 und ein nichtflüchtiges computerlesbares Speichermedium nach Anspruch 11, die dritte Aufgabe durch ein Verfahren zum Aufnehmen eines hochaufgelösten Bildes nach Anspruch 13 und die vierte Aufgabe durch ein optisches Beobachtungsgerät nach Anspruch 16. Die abhängigen Ansprüche beanspruchen vorteilhafte Ausgestaltungen der Erfindung.
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein computerimplementiertes Verfahren zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild vom einem Gewebebereich zur Verfügung gestellt. Im Rahmen der vorliegenden Erfindung wird zwischen Gewebeflüssigkeitszellen einerseits und Gewebezellen anderseits unterschieden. Als Gewebezellen werden dabei solche Zellen angesehen, die in eine extrazelluläre Matrix eingebunden sind. Gewebezellen sind insbesondere die Zellen des Epithelgewebes, des Binde- und Stützgewebes, des Muskelgewebes sowie des Nervengewebes. Als Gewebeflüssigkeitszellen werden dagegen solche Zellen angesehen, die sich in einer Gewebeflüssigkeit, insbesondere im Blut oder in der Lymphe, befinden.
In dem erfindungsgemäßen computerimplementierten Verfahren wird auf zwischengespeicherte Bilder zurückgegriffen, die vor dem Aufnehmen des hochaufgelösten Bildes mit einer niedrigen Auflösung und einer hohen Bildrate aufgenommen und zwischengespeichert worden sind. Die Information zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen wird aus den zwischengespeicherten Bildern mit der niedrigen Auflösung und der hohen Bildrate gewonnen.
Insbesondere mikroendoskopische optische Beobachtungsgeräte werden häufig mit einer scannenden Bildaufnahmevorrichtung in einer niedrigen Bildauflösung betrieben, während der Nutzer zum interessierenden Gewebebereich navigiert oder das Gewebe absucht, um Gewebeveränderungen zu finden. Unter der Bildauflösung ist im Rahmen der vorliegenden Erfindung nicht die optische Auflösung, wie sie sich aus den optischen Eigenschaften der abbildenden optischen Elemente ergibt, zu verstehen, sondern die Pixelauflösung, die sich aus der Größe der das Bild formenden Pixel und dem Abstand dieser Pixel voneinander ergibt. Aufgrund der verringerten Bildauflösung ist eine raschere Aufnahme eines Einzelbildes (Frames) mit der scannenden Bildaufnahmevorrichtung möglich, so dass eine hohe Bildrate erreicht werden kann. Im Ergebnis kann dem Nutzer eine Bildrate von 4 Bildern pro Sekunde oder mehr dargeboten werden. Sobald der Nutzer den Zielbereich erreicht hat oder eine Stelle mit Gewebeänderungen gefunden hat, wird ein hochaufgelöstes Bild benötigt, um den entsprechenden Gewebebereich genauer zu untersuchen. Dabei besteht die Schwierigkeit, im hochaufgelösten Bild zwischen Gewebeflüssigkeitszellen einerseits und in eine extrazelluläre Matrix eingebetteten Gewebezellen andererseits zu unterscheiden. Um die nötigen Informationen zu gewinnen, die eine Unterscheidung zwischen Gewebeflüssigkeitszellen und Gewebezellen ermöglicht, nutzt das erfindungsgemäße computerimplementierte Verfahren die Tatsache aus, dass vor dem Aufnehmen des hochaufgelösten Bildes eine Anzahl niedrig aufgelöster Bilder mit hoher Bildrate aufgenommen worden ist. Diese Bilder enthalten Informationen, mit denen sich Gewebeflüssigkeitszellen von in die extrazelluläre Matrix eingebetteten Gewebezellen unterscheiden lassen. Aufgrund der hohen Bildrate sind die sich gegenüber der extrazellulären Matrix bewegenden Gewebeflüssigkeitszellen in den niedrig aufgelösten Bildern wegen ihrer Bewegung und der daraus resultierenden veränderten Position in den Einzelbildern leicht aufzufinden, sofern eine Anzahl an zeitlich aufeinander folgender niedrig aufgelöster Bilder vorhanden ist. Diese Bilder kann das erfindungsgemäße computerimplementierte Verfahren einem Zwischenspeicher entnehmen, in dem diese laufend zwischengespeichert werden. Wenn nun ein hochaufgelöstes Bild erstellt wird, kann das Verfahren auf die zwischengespeicherten Bilder zurückgreifen, um die Informationen, welche die Unterscheidung zwischen Gewebeflüssigkeitszellen und Gewebezellen ermöglicht, zu gewinnen und aufzubereiten. Diese Informationen beruhen insbesondere auf der Detektion von Positionsänderungen von Zellen in Bezug auf einen Bildhintergrund. Als Bildhintergrund können bspw. in den Einzelbildern verteilte Zellen angesehen werden, die in allen Einzelbildern im Wesentlichen dieselbe relative Position zueinander aufweisen,
Im einfachsten Fall kann das computerimplementierte Verfahren zumindest aus einem Teil der zwischengespeicherten Bilder der niedrigen Auflösung und der hohen Bildrate eine Videosequenz erzeugen, die dann neben dem hochaufgelösten Bild dargestellt wird oder dem hochaufgelösten Bild überlagert wird. In dieser Videosequenz bewegen sich die Gewebeflüssigkeitszellen gegenüber den in die extrazelluläre Matrix eingebetteten Gewebezellen und sind daher für einen Betrachter der Videosequenz leicht zu identifizieren.
Eine alternative Möglichkeit, die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen darzustellen, besteht darin, in den zwischengespeicherten Bildern mit der niedrigen Auflösung und der hohen Bildrate einen Bildhintergrund wie etwa Zellen, die in allen Einzelbildern im Wesentlichen dieselbe relative Position zueinander aufweisen, und solche Bildelemente, die sich gegenüber dem Bildhintergrund bewegen, zu ermitteln. Diejenigen Bildelemente, die als sich gegenüber dem Bildhintergrund bewegende Bildelemente ermittelt worden sind, können dann in einem Bild hervorgehoben dargestellt werden. Insbesondere können sie auch dem hochaufgelösten Bild überlagert werden, so dass die Gewebeflüssigkeitszellen direkt im hochaufgelösten Bild hervorgehoben dargestellt sind. Alternativ besteht auch die Möglichkeit, ein zweites Bild neben dem hochaufgelösten Bild darzustellen, in dem die Gewebeflüssigkeitszellen hervorgehoben sind. Das Ermitteln der sich gegenüber dem Bildhintergrund bewegenden Bildelemente kann beispielsweise anhand einer Analyse einer auf der Basis der Bilder mit der niedrigen Auflösung und der hohen Bildrate erstellten Videosequenz erfolgen. Grundsätzlich reichen aber zwei Bilder aus, die einen geeigneten zeitlichen Abstand voneinander haben, um aus der unterschiedlichen Position von bestimmten Bildelementen relativ zum Bildhintergrund auf die sich bewegenden Bildelemente zu schließen.
Selbstverständlich besteht auch die Möglichkeit, die Videosequenz dem hochaufgelösten Bild zu überlagern.
Wenn das Objekt, von dem das hochaufgelöste Bild aufgenommen wird, lebendes Gewebe ist, führen physiologische Prozesse dazu, dass eine ständige Bewegung des Gewebes stattfindet. Dies führt dazu, dass bei den zwischengespeicherten Bildern das abgebildete Objekt jeweils leicht unterschiedliche Positionen im Bild einnimmt. Mit anderen Worten, der Bildhintergrund, gegenüber dem sich die Gewebeflüssigkeitszellen bewegen, bewegt sich selber ebenfalls. Um diese Bewegung in der erstellten Videosequenz oder in dem Bild, in dem die sich gegenüber dem Bildhintergrund bewegenden Bildelemente hervorgehoben dargestellt sind, auszugleichen, können die zum Erzeugen der Videosequenz oder die zum Ermitteln der sich gegenüber dem Bildhintergrund bewegenden Bildelemente herangezogenen zwischengespeicherten Bilder mit der niedrigen Auflösung und der hohen Bildrate gegen ein Referenzbild registriert werden. Das heißt, alle Bilder außer dem Referenzbild werden einer Transformation unterzogen, die dazu führt, dass sich bestimmte Strukturen des Bildhintergrundes in jedem Bild im selben Bildausschnitt befinden. Die verwendeten Transformationen beinhalten in der Regel zumindest eine Verschiebung des Objektes im Bild. Sie können aber auch eine Rotation oder eine Verzerrung beinhalten, wenn die physiologischen Prozesse beispielsweise zu einer Drehung oder einer zyklischen Expansion und Kontraktion des Gewebes führen. Dabei kann insbesondere auch das hochaufgelöste Bild als Referenzbild Verwendung finden. Ggf. kann das hochaufgelöste Referenzbild dabei in seiner Auflösung an die niedrig aufgelösten Bilder angepasst werden, oder die niedrig aufgelösten Bilder können mittels einer Interpolation an die hohe Auflösung des hochaufgelösten Bildes angepasst werden. Alternativ kann aber auch eines der zwischengespeicherten Bilder mit der niedrigen Auflösung und der hohen Bildrate als Referenzbild ausgewählt werden. Typischerweise wird hierbei ein Bild mit ausreichender Schärfe herangezogen.
Im Rahmen des erfindungsgemäßen Verfahrens können außerdem die in die extrazelluläre Matrix eingebetteten Gewebezellen klassifiziert werden. Eine derartige Klassifikation kann mittels einer geeigneten Software erfolgen. Voraussetzung für die Klassifikation ist, dass nicht fälschlicherweise Gewebeflüssigkeitszellen als in die extrazelluläre Matrix eingebettete Zellen angesehen werden oder umgekehrt. Das vorliegende erfindungsgemäße computerimplementierte Verfahren schafft daher die Voraussetzung dafür, dass eine Klassifikation der in die extrazelluläre Matrix eingebetteten Gewebezellen möglich wird. Die Klassifikation lässt es zu, Gewebezellen gemäß ihrer Klassifizierung zu kennzeichnen. Beispielsweise können die Gewebezellen mittels der Kennzeichnung in eine erste Art von Gewebezellen, die keine Veränderung gegenüber dem Normalzustand aufweisen, und in eine zweite Art von Gewebezellen, die eine Veränderung gegenüber dem Normalzustand aufweisen, unterteilt werden. Mit Hilfe der Klassifizierung und der Kennzeichnung kann dann beispielsweise eine Vorauswahl an Gewebebereichen getroffen werden, die von einem Pathologen auf Veränderungen hin überprüft werden müssen.
Das erfindungsgemäße computerimplementierte Verfahren kann einen Verfahrensschritt umfassen, in dem für jedes zwischengespeicherte Bild mit der niedrigen Auflösung und der hohen Bildrate überprüft wird, ob es sich für die Gewinnung der Information zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen eignet. Kriterien für die Eignung können sein: Ausreichender Kontrast, ausreichende Schärfe, keine störenden Bewegungsadefakte, etc. Es werden dann nur diejenigen zwischengespeicherten Bilder mit der niedrigen Auflösung und der hohen Bildrate für das Gewinnen der Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen herangezogen, für die festgestellt worden ist, dass sie sich für die Gewinnung dieser Informationen eignen. Auf diese Weise kann sichergestellt werden, dass die Qualität der Informationsgewinnung durch schlechte Einzelbilder nicht herabgesetzt wird.
Optional kann das erfindungsgemäße computerimplementierte Verfahren auch einen Schritt umfassen, in dem überprüft wird, ob eine ausreichende Anzahl an für die Gewinnung der Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen geeigneten zwischengespeicherten Bildern mit der niedrigen Auflösung und der hohen Bildrate vorhanden ist. Falls diese Überprüfung ergibt, dass keine ausreichende Anzahl an für die Gewinnung von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen geeigneten zwischengespeicherten Bildern mit der niedrigen Auslösung und der hohen Bildrate vorhanden ist, veranlasst das computerimplementierte Verfahren die Aufnahme weiterer Bilder mit der niedrigen Auflösung und der hohen Bildrate. Zwar verzögert sich dadurch das Gewinnen der Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen, jedoch erhöht diese Vorgehensweise die Wahrscheinlichkeit, dass eine qualitativ hochwertige Information zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen gewonnen werden kann.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird ein Computerprogramm zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild von einem Gewebebereich zur Verfügung gestellt. Das Computerprogramm umfasst Instruktionen, die, wenn sie auf einem Computer ausgeführt werden, den Computer dazu veranlassen, vor dem Aufnehmen des hochaufgelösten Bildes zwischengespeicherte Bilder mit einer niedrigen Auflösung und einer hohen Bildrate zuzugreifen und die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen aus den zwischengespeicherten Bildern mit der niedrigen Auflösung und hohen Bildrate zu gewinnen. Das erfindungsgemäße Computerprogramm enthält somit Instruktionen, mit deren Hilfe das erfindungsgemäße computerimplementierte Verfahren auf einem Computer oder einer sonstigen Datenverarbeitungsvorrichtung ausgeführt werden kann. Das erfindungsgemäße Computerprogramm kann dabei auch Instruktionen umfassen, mit deren Hilfe die beschriebenen weiteren Ausgestaltungen des erfindungsgemäßen computerimplementierten Verfahrens auf einen Computer oder einer sonstigen Datenverarbeitungsvorrichtung ausgeführt werden können. Die mit Bezug auf das erfindungsgemäße computerimplementierte Verfahren und seine weiteren Ausgestaltungen beschriebenen Eigenschaften und Vorteile können so mit Hilfe des Computerprogramms realisiert werden.
Gemäß einem dritten Aspekt der Erfindung wird außerdem ein nicht flüchtiges computerlesbares Speichermedium mit darauf gespeicherten Instruktionen zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild von einem Gewebebereich zur Verfügung gestellt. Wenn sie auf einem Computer ausgeführt werden, veranlassen die Instruktionen den Computer dazu, auf vor dem Aufnehmen des hochaufgelösten Bildes zwischengespeicherte Bilder mit einer niedrigen Auflösung und einer hohen Bildrate zuzugreifen und die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen aus den zwischengespeicherten Bildern mit der niedrigen Auflösung und der hohen Bildrate zu gewinnen. Das erfindungsgemäße nicht flüchtige computerlesbare Speichermedium ermöglicht es, das erfindungsgemäße Computerprogramm in einen Computer oder eine sonstige Datenverarbeitungsvorrichtung zu laden, so dass mit dem Computer bzw. mit der sonstigen Datenverarbeitungsvorrichtung das erfindungsgemäße computerimplementierte Verfahren ausgeführt werden kann. Die mit Bezug auf das erfindungsgemäße computerimplementierte Verfahren und seine weiteren Ausgestaltungen beschriebenen Eigenschaften und Vorteile können so mit Hilfe eines Computers oder einer sonstigen Datenverarbeitungsvorrichtung realisiert werden.
Gemäß einem vierten Aspekt der vorliegenden Erfindung wird ein Datenverarbeitungssystem zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild von einem Gewebebereich zur Verfügung gestellt. Das Datenverarbeitungssystem, das insbesondere auf einem handelsüblichen Computer basieren kann, umfasst einen Prozessor und wenigstens einen Speicher, wobei der Prozessor dazu ausgestaltet ist, basierend auf Instruktionen eines im Speicher gespeicherten Computerprogramms auf vor dem Aufnehmen des hochaufgelösten Bildes zwischengespeicherte Bilder mit einer niedrigen Auflösung und einer hohen Bildrate zuzugreifen und die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen aus den zwischengespeicherten Bildern mit der niedrigen Auflösung und der hohen Bildrate zu gewinnen. Mit Hilfe eines derartigen Datenverarbeitungssystems lässt sich die Ausführung des erfindungsgemäßen computerimplementierten Verfahrens und seiner weiteren Ausgestaltungen und damit der mit dem computerimplementierten Verfahren verbundenen Eigenschaften und Vorteile realisieren.
Gemäß einem fünften Aspekt der Erfindung wird außerdem ein Verfahren zum Aufnehmen eines hochaufgelösten Bildes von einem Gewebebereich mit zugeordneten Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen mittels eines scannenden Bildgebungsverfahrens zur Verfügung gestellt. In einem ersten Scanmodus werden von dem Gewebebereich Bilder mit einer niedrigen Auflösung und einer hohen Bildrate aufgenommen. Die aufgenommenen Bilder mit der niedrigen Auflösung und der hohen Bildrate werden für einen bestimmten Zeitraum zwischengespeichert. Auf ein Auslösesignal hin wird in einen zweiten Scanmodus mit hoher Auflösung gewechselt, in dem ein hochaufgelöstes Bild aufgenommen wird. Außerdem werden die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen gemäß den Schritten des erfindungsgemäßen computerimplementierten Verfahrens ermittelt. Dadurch wird es möglich, dem aufgenommen hochaufgelösten Bild Informationen zuzuordnen, anhand derer eine Unterscheidung zwischen Gewebeflüssigkeitszellen und Gewebezellen möglich ist. Nach dem Aufnehmen des hochaufgelösten Bildes kann dabei in den ersten Scanmodus zurückgekehrt werden, um mit der Aufnahme von Bildern mit der niedrigen Auflösung und der hohen Bildrate fortzufahren. Dies ist insbesondere dann vorteilhaft, wenn die zwischengespeicherten Bilder mit der niedrigen Auflösung und der hohen Bildrate nicht genügend Bilder umfassen, die zum Gewinnen der Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen geeignet sind. Es können dann weitere, nach dem Aufnehmen des hochaufgelösten Bildes aufgenommene Bilder mit der niedrigen Auflösung und der hohen Bildrate zum Gewinnen der Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen herangezogen werden.
Im Rahmen des erfindungsgemäßen Verfahrens kann das Aufnehmen eines hochaufgelösten Bildes automatisch das Gewinnen der Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen auslösen. Auf diese Weise ist kein weiterer Auslöseschritt nötig, was insbesondere dann vorteilhaft ist, wenn zur Durchführung des Verfahrens eine scannende Bildaufnahmevorrichtung im Rahmen einer Operation zum Einsatz kommt. Der Operateur braucht dann lediglich die Aufnahme des hochaufgelösten Bildes auszulösen und kann sich dann wieder auf die Operation konzentrieren. Schließlich stellt die vorliegende Erfindung auch ein optisches Beobachtungsgerät zur Verfügung, das eine scannende Bildaufnahmevorrichtung sowie ein erfindungsgemäßes
Datenverarbeitungssystem umfasst. Das optische Beobachtungsgerät kann insbesondere ein Endomikroskop und weiter insbesondere ein konfokales Endomikroskop oder ein zum Durchführen einer optischen Kohärenztopographie ausgebildetes Endomikroskop sein. Mit dem erfindungsgemäßen optischen Beobachtungsgerät lässt sich das erfindungsgemäße Verfahren zum Aufnehmen des hochaufgelösten Bildes von einem Gewebebereich mit zugeordneten Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen durchführen. Das erfindungsgemäße optische Beobachtungsgerät ermöglicht daher die Realisierung der mit dem erfindungsgemäßen Verfahren verbundenen Eigenschaften und Vorteile. Weitere Merkmale, Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung exemplarischer Ausführungsbeispiele unter Bezugnahme auf die beiliegenden Figuren.
Figur 1 zeigt in einer stark schematisierten Darstellung ein Endomikroskop, welches zum Ausführen eines scannenden Bildgebungsverfahrens ausgestaltet ist.
Figur 2 zeigt in einer schematisierten Darstellung ein hochaufgelöstes Bild.
Figur 3 zeigt in schematisierten Darstellungen ein niedrig aufgelöstes Bild. Figur 4 zeigt ein Beispiel für das computerimplementierte Verfahren zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild anhand eines Flussdiagramms.
Figur 5 zeigt eine Abfolge von aufgenommenen Bildern. Figur 6 zeigt in einer stark schematisierten Darstellung ein Bild mit Gewebezellen und einer Gewebeflüssigkeitszelle in einer ersten Position.
Figur 7 zeigt das Bild aus Figur 6 mit der Gewebeflüssigkeitszelle in einer zweiten Position.
Die Erfindung wird nachfolgend zu Erläuterungszwecken anhand exemplarischer Ausführungsbeispiele im Detail beschrieben. Dabei zeigt Figur 1 als ein exemplarisches Ausführungsbeispiel für ein optisches Beobachtungsgerät mit einer Bildaufnahmeeinrichtung, die zum Aufnehmen von aus einem Pixelraster zusammengesetzten Bildern von einem Objekt ausgebildet ist, ein Endomikroskop mit einer Scaneinrichtung. Die Figuren 2 und 3 zeigen stark schematisiert Bilder, die anhand von mit dem Endomikroskop durchgeführten Scans gewonnen worden sind.
Das in Figur 1 gezeigte Endomikroskop 1 umfasst eine optische Faser 3 mit einem Eingangsende 5 und einem Ausgangsende 7. Das Eingangsende 5 wird dem Beobachtungsobjekt 9 zugewandt und befindet sich in einer Scaneinrichtung 11 mit deren Hilfe das Ende 5 entlang zweiter Richtungen, in folgenden als x-Richtung und y-Richtung bezeichnet, lateral zum Beobachtungsobjekt 9 versetzt werden kann. Die Scaneinrichtung kann insbesondere mittels mikroelektromechanischer Systeme (MEMS, micro- elctro-mechanical Systems) realisiert sein. Eine Scaneinrichtung, die mikroelektromechanische Systeme verwendet, ist bspw. in US 2016/0051131 A1 beschrieben. Auf dieses Dokument wird hinsichtlich des Aufbaus einer geeigneten Scaneinrichtungen verwiesen. Alternativ kann das Scannen des Beobachtungsobjekts 9 bei einem stationären Faserende 5 mit Hilfe eines beweglichen mikroelektromechanischen Spiegels (MEMS- Spiegels) oder mit Hilfe mehrerer beweglicher mikroelektromechanischer Spiegel erfolgen.
Das zweite Ende 7 der optischen Faser 3 ist einem Sensor 13 zugewandt, mit dem eine auf den Sensor 13 fallende Lichtmenge erfasst werden kann. Der Sensor 13 befindet sich in einem Gehäuse 15, das im vorliegenden Ausführungsbeispiel als gesondertes Modul ausgebildet ist, das aber auch als Handgriff ausgebildet sein kann, und in dem außerdem eine Lichtquelle (in der Figur nicht dargestellt) zum Generieren von Beleuchtungslicht zur Beleuchtung des Beobachtungsobjekts 9 und eine Einkoppelvorrichtung zum Einkoppeln des Beleuchtungslichtes in das zweite Ende 7 der optischen Faser 3 untergebracht sind. Die Lichtquelle kann insbesondere eine Laserlichtquelle sein. Die Lichtquelle kann jedoch auch außerhalb des Gehäuses 15 angeordnet und mit diesem über einen Lichtleiter verbunden sein. Im Gehäuse 15 befindet sich dann das Austrittsende des Lichtleiters. In diesem Fall koppelt die Einkoppelvorrichtung das aus dem Austrittsende des Lichtleiters austretende Beleuchtungslicht in das zweite Ende 7 der optischen Faser 3 ein. Das Beleuchtungslicht kann Weißlicht sein, also ein breitbandiges Spektrum aufweisen, oder Licht mit einem Spektrum, welches aus einem oder mehreren schmalbandigen Spektralbereichen besteht, bspw. aus einem oder mehreren zur Anregung einer Fluoreszenz im Beobachtungsobjekt 9 geeigneten schmalbandigen Spektralbereichen.
In das zweite Ende 7 der optischen Faser 3 eingekoppeltes Beleuchtungslicht wird durch die optische Faser 3 zum ersten Ende 5 geleitet, aus dem das Beleuchtungslicht in Richtung auf das
Beobachtungsobjekt 9 austritt. Vom Beobachtungsobjekt 9 reflektiertes Beleuchtungslicht oder durch das Beleuchtungslicht angeregtes, vom
Beobachtungsobjekt 9 emittiertes Licht, etwa Fluoreszenzlicht, tritt wiederum in das erste Ende 5 der der optischen Faser 3 ein und wird von dieser zum zweiten Ende 7 geleitet, aus dem es in Richtung auf den Sensor 13 austritt. An oder vor den Enden 5, 7 der optischen Faser 3 können sich zudem Fokussieroptiken befinden, mit denen Licht auf die Oberfläche des
Beobachtungsobjektes 9 bzw. auf den Sensor 13 fokussiert werden kann. Das Endomikroskop 1 kann insbesondere als konfokales Endomikroskop ausgebildet sein. Zusätzlich oder alternativ kann es auch als Endomikroskop zur Durchführung einer optischen Kohärenztomografie (OCT, Optical Coherence Tomography) ausgebildet sein. Konfokale Mikroskopie und optische Kohärenztomografie sind allgemein bekannte Verfahren und bspw. in US 2010/0157308 A1 und US 9,921 ,406 B2 beschrieben. Auf die Beschreibung von Details zur konfokalen Mikroskopie und zur optischen Kohärenztomografie wird im Rahmen der vorliegenden Beschreibung daher verzichtet. Stattdessen wird auf die US 2010/0157308 A1 und die US 9,921 ,406 B2 verwiesen.
Die Bildaufnahme mit Hilfe des Endomikroskops 1 wird im vorliegenden exemplarischen Ausführungsbeispiel mit Hilfe eines Computers 17 gesteuert. Die Steuerung kann aber auch mittels einer dedizierten Steuereinrichtung erfolgen. Der im vorliegenden exemplarischen Ausführungsbeispiel zur Steuerung verwendete Computer 17 ist sowohl mit der Scaneinrichtung 11 als auch mit dem Sensor 13 verbunden. Die Scaneinrichtung 11 wird im vorliegenden Ausführungsbeispiel von dem Computer 17 derart gesteuert, dass das Beobachtungsobjekt 9 entlang eines Rasters 19 mit Rasterpunkten 21 gescannt wird (siehe Figur 2). An jedem gescannten Rasterpunkt 21 erfolgen ein Beleuchten des Beobachtungsobjekts 9 mit Beleuchtungslicht und eine Aufnahme des reflektierten Beleuchtungslichtes oder des von dem Beobachtungsobjekt 9 aufgrund einer Anregung mittels des Beleuchtungslichtes emittierten Lichtes. Aus dem an den Rasterpunkten 21 aufgenommenen reflektierten Beleuchtungslicht oder dem an den Rasterpunkten 21 aufgenommenen vom Beobachtungsobjekt emittierten Licht erzeugt der Computer dann ein Bild, dessen Pixelraster dem beim Scannen verwendeten Raster 19 entspricht. Die optische Faser 3, die Scaneinrichtung 11, der Sensor 13 und der Computer 17 bilden zusammen daher eine Bildaufnahmeeinrichtung in der der Computer 17 als Bilderzeugungseinrichtung dient.
Im vorliegenden exemplarischen Ausführungsbeispiel umfasst das Raster Rasterzeilen, die sich in Figur 2 in x-Richtung erstrecken und Rasterspalten, die sich in Figur 2 in y-Richtung erstrecken. Das Scannen des Beobachtungsobjekts erfolgt dabei im vorliegenden exemplarischen Ausführungsbeispiel zeilenweise, also so, dass eine Zeile gescannt wird, d.h. ein Scan entlang der x-Richtung erfolgt, und, nachdem die Zeile vollendet ist, ein Versatz der optischen Faser 3 in y-Richtung erfolgt, bevor mit der in y- Richtung versetzten optischen Faser 3 wieder eine sich in x-Richtung erstreckende Zeile gescannt wird. Während des Scanvorgangs wird für jeden Rasterpunkt 21, an dem sich die optische Faser zum Zeitpunkt einer Aufnahme befindet, der Sensor 13 belichtet. Auf diese Weise wird mit Hilfe des Sensors 13 und der Scaneinrichtung 11 zeilenweise ein Bild von dem Beobachtungsobjekt 9 generiert, wie es schematisch in Figur 2 gezeigt ist.
Figur 2 zeigt stark schematisiert ein Bild, in dem beim Scannen des Beobachtungsobjekts 9 alle Rasterpunkte 21 des Rasters 19 verwendet worden sind. Dabei zeigt Figur 2 schematisch eine Struktur 23 des Beobachtungsobjektes 9, die zu Illustrationszwecken als Ring dargestellt ist. Rasterpunkte 21, die sich über der Struktur 23 befinden, führen auf dem Sensor 13 zu einem anderen Signal als solche Rasterpunkte 21, die sich nicht über der Struktur 23 befinden. In Figur 2 ist das von den über der Struktur 23 befindlichen Rasterpunkten 21 generierte Signal durch schraffierte Rasterpunkte 21 dargestellt. Mit kleinen Abmessungen der Rasterpunkte 21 und entsprechend kleinen Abständen zwischen den Rasterpunkten 21 , wie sie die Verwendung der optischen Faser 3 ermöglicht, ist eine hohe Auflösung von Strukturen 23 des Beobachtungsobjektes 9 möglich. Aufgrund der mit der hohen Auflösung verbundenen hohen Zahl an zu scannenden Rasterpunkten benötigt das Erzeugen eines hochaufgelösten Bildes mit Hilfe des scannenden Bildgebungsverfahrens relativ viel Zeit. Falls mit dem scannenden Bildgebungsverfahren eine Videosequenz aufgenommen werden soll, können daher aufgrund der für die Aufnahme eines Einzelbildes mit Hilfe des scannenden Bildgebungsverfahrens benötigten Zeitdauer nur geringe Bildraten erreicht werden.
Um die Bildrate zu erhöhen, besteht die Möglichkeit, die Zahl der beim Scannen verwendeten Rasterpunkte 21 zu verringern, wie dies in Figur 3 gezeigt ist, um die Geschwindigkeit, mit der der Scan für ein Einzelbild durchgeführt werden kann, zu erhöhen. Dazu kann im vorliegenden exemplarischen Ausführungsbeispiel mit dem Computer 17 derart steuernd auf die Scaneinrichtung 11 eingewirkt werden, dass bestimmte Zeilen 25 beim Scannen entlang des Rasters 19 ausgelassen werden. Mit anderen Worten, beim Scannen wird nur jede n-te Zeile gescannt, wie dies schematisch in Figur 3 dargestellt ist, wo beispielhaft nur jede dritte Zeile gescannt wird. Die Rasterpunkte 21 der beim Scannen verwendeten Zeilen 21 sind in der Figur mit durchgezogenen Linien dargestellt, die Rasterpunkte 21 der beim Scannen ausgelassenen Zeilen 25 gestrichelt. In der gezeigten Darstellung wird nur jede dritte Zeile des Rasters 19 beim Scannen genutzt, so dass sich die Bildrate etwa verdreifachen lässt. In der Realität werden mehr als zwei Zeilen zwischen zwei gescannten Zeilen ausgelassen, um die Bildrate auf mindestens 4 fps zu erhöhen. Das Auslassen von Zeilen 25 den beim Scannen führt zu einer Verringerung der Bildauflösung in y-Richtung. In Figur 3 ist zu erkennen, dass aufgrund der verringerten Zeilenanzahl im Bild zur Darstellung der Struktur 23 weniger Rasterpunkte 21 zur Verfügung stehen als bei Verwendung aller Zeilen.
Während das Aufnehmen eines Videostreams mit verringerter Auflösung in einigen Fällen ausreicht, beispielsweise solange nur zu einer Untersuchungsstelle navigiert wird, gibt es Situationen, in denen ein hochaufgelöstes Bild der Strukturen 23 im Beobachtungsobjekt 9 erforderlich ist. Dies gilt insbesondere dann, wenn mit dem Endomikroskop 1 die Untersuchungsstelle erreicht ist und die Untersuchungsstelle im Hinblick auf Veränderungen untersucht werden soll.
Während des Aufnehmens des Videostreams werden im vorliegenden exemplarischen Ausführungsbeispiel die niedrig aufgelösten Einzelbilder des Videostreams für eine bestimmte Zeit im Speicher des Computers 17 zwischengespeichert, wozu beispielsweise ein Ringspeicher Verwendung finden kann, also ein Speicher, in dem Daten über einen bestimmten Speicherzeitrum gespeichert und dabei diejenigen Daten im Speicher, für welche der Speicherzeitrum erreicht ist, mit aktuellen Daten überschrieben werden. Wenn der Nutzer die Untersuchungsstelle erreicht hat, kann er die Aufnahme eines hochaufgelösten Bildes auslösen, in dem er einen entsprechenden Befehl als Auslösesignal in den Computer 17 eingibt. Der Befehl kann beispielsweise eine Tastatureingabe oder, falls der Computer 17 zur Entgegennahme von Sprachbefehlen ausgerüstet ist, Sprachbefehl sein. Es besteht aber auch die Möglichkeit, ein externes Eingabegerät zu verwenden, das mit dem Computer 17 über Kabel oder Funk verbunden ist. Ein solches externes Eingabegerät kann beispielsweise ein Fußschalter sein, auf dessen Betätigung hin ein Auslösesignal an den Computer 17 gesendet wird. Fußschalter und Sprachbefehle haben dabei gegenüber einer Tastatureingabe den Vorteil, dass der Nutzer des Endomikroskops 1 keine Hand zum Erzeugen des Auslösesignals benötigt.
Ein Ausführungsbeispiel für das computerimplementierte Verfahren zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und in eine extrazelluläre Matrix eingebetteten Zellen in einem hochaufgelösten Bild wird nachfolgend anhand des in Figur 4 gezeigten Flussdiagramms erläutert.
Das computerimplementierte Verfahren wird im vorliegenden exemplarischen Ausführungsbeispiel auf dem Computer 17 ausgeführt. Seine Ausführung wird durch ein Auslösesignal, beispielsweise durch betätigen eines Fußschalters, durch eine Tastatureingabe oder einen Sprachbefehl, ausgelöst. Das Auslösesignal kann ein ausschließlich zum Ausführen des Verfahrens ausgestaltetes Signal sein, es kann aber auch, wie im vorliegenden Ausführungsbeispiel ein anders auslösen eines hochaufgelösten Bildes 34 (siehe Figur 5) gekoppeltes Signal sein. Nachdem in Schritt S1 das Verfahren auf das Auslösesignal hin gestartet worden ist, greift das Verfahren in Schritt S2 auf die im Ringspeicher befindlichen, vor dem Aufnehmen des hochaufgelösten Bildes 34 aufgenommenen niedrig aufgelösten Einzelbilder 33A-E des Videostreams zu. Falls die niedrig aufgelösten Einzelbilder 33A-E nicht in einem Speicher des Computers 17 gespeichert sind, sondern extern wie bspw. in einem Speicher des Endomikroskops 1, umfasst das Zugreifen auf die niedrig aufgelösten Einzelbilder 33A-E des Videostreams auch ein Einlesen der niedrig aufgelösten Einzelbilder 33A-E in den Computer 17. An dieser Stelle sei angemerkt, dass die niedrig aufgelösten Einzelbilder 33A-E im vorliegenden Ausführungsbeispiel zwar die Einzelbilder eines Videostreams sind, dies für die vorliegende Erfindung jedoch nicht zwingend erforderlich ist.
Nach dem in Schritt S2 auf die zwischengespeicherten Einzelbilder 33A-E zugegriffen worden ist, werden die Einzelbilder 33A-E in Schritt S3 auf ihrer Qualität hin ausgewertet und diejenigen Einzelbilder mit einer zu geringen Qualität aussortiert. Das Auswerten der Einzelbilder im Hinblick auf ihre Qualität kann insbesondere im Hinblick auf die Schärfe des jeweiligen Einzelbildes, das Vorliegen von Bewegungsartefakten, den Kontrast etc. erfolgen. Insbesondere kann auf der Basis der Bildschärfe, des Kontrastes, des Vorhandenseins von Bewegungsartefakten, etc. ein Qualitätsparameter ermittelt werden. Diejenigen niedrig aufgelösten Einzelbilder 33A-E, die einen vorgegebenen Wert des Qualitätsparameters nicht erreichen, werden aussortiert. Dabei besteht auch die Möglichkeit, mehrere Qualitätsparameter zu definieren und all diejenigen Bilder auszusortieren, die für wenigstens einen Qualitätsparameter den vorgegebenen Wert nicht erreichen.
Für die Einzelbilder, deren Qualität einen ausreichenden Wert aufweist, erfolgt in Schritt S4 eine Prüfung dahingehend, ob ein ausreichender Überlapp der Bildfelder der jeweiligen Einzelbilder vorhanden ist. diejenigen Einzelbilder, für die kein ausreichender Überlapp der Bildfelder vorhanden ist, werden aussortiert. Um einen ausreichenden Überlapp festzustellen, kann beispielsweise aus den Einzelbildern 33A-E mit niedriger Auflösung ein Referenzbild bestimmt und der Überlapp der übrigen Einzelbilder 33A-E mit dem Referenzbild ermittelt werden. Der Überlapp kann beispielsweise durch einen Zahlenwert repräsentiert werden, der anzeigt, welcher Anteil des Bildfeldes des jeweiligen Einzelbildes 33A-E mit dem Bildfeld des Referenzbildes übereinstimmt. Obwohl im vorliegenden Ausführungsbeispiel zuerst diejenigen Einzelbilder mit nicht ausreichender Bildqualität aussortiert werden, bevor solche Einzelbilder aussortiert werden, die keinen ausreichenden Überlapp mit dem Referenzbild aufweisen, besteht auch die Möglichkeit, die Reihenfolge der Prüfung umzudrehen, d.h. zuerst diejenigen Einzelbilder auszusortieren, die keinen ausreichenden Überlapp mit dem Referenzbild aufweisen und im Anschluss daran diejenigen Einzelbilder auszusortieren, deren Qualität nicht ausreichend ist. Anstatt eines Einzelbildes kann auch das hochaufgelöste Bild 34 als Referenzbild dienen.
Nachdem in den Schritten S3 und S4 die Bilder, deren Qualität nicht ausreichend ist, oder die keinen ausreichenden Überlapp aufweisen, aussortiert worden sind, wird in Schritt S5 überprüft, ob die verbleibende Anzahl an Einzelbildern 33A-E mit niedriger Auflösung ausreichend ist, um die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und in einer extrazellulären Matrix eingebetteten Gewebezellen zu ermitteln. Hierzu kann beispielsweise eine Untergrenze für die Anzahl an Einzelbildern vorgegeben werden, die nicht unterschritten werden soll. Zusätzlich oder alternativ kann eine maximale Zeitspanne zwischen zwei Einzelbildern 33A-E mit niedriger Auflösung vorgegeben werden, die nicht überschritten werden soll. Weiter zusätzlich oder alternativ kann auch eine gesamte Zeitspanne vorgegeben werden, die von den Einzelbildern 33A-E mit niedriger Auflösung abgedeckt werden soll.
Wird in Schritt S5 festgestellt, dass die Zahl an Einzelbildern 33A-E mit niedriger Auflösung nicht ausreicht um die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und in einer extrazellulären Matrix eingebetteten Gewebezellen zu ermitteln, schreitet das Verfahren zu Schritt S6 fort, in dem weitere Einzelbilder 35A-C mit niedriger Auflösung zu den bereits vorhandenen Einzelbildern 33A-E hinzugenommen werden. Typischerweise fährt das Endomikroskop 1 nach dem Erstellen des hochaufgelösten Bildes mit der Aufnahme niedrig aufgelöster Einzelbilder 35A-C fort. In Schritt S6 braucht daher lediglich auf die nach dem Erstellen des hochaufgelösten Bildes aufgenommenen niedrig aufgelösten Einzelbilder 35A-C zugegriffen zu werden. Falls das Endomikroskop 1 nach dem Erstellen des hochaufgelösten Bildes 34 nicht automatisch mit dem Aufnehmen von niedrig aufgelösten Einzelbildern 35A-C fortfährt, wird in Schritt S6 die Aufnahme einer Anzahl niedrig aufgelöster Einzelbilder 35A-C ausgelöst. Unabhängig davon, ob die Aufnahme einer Anzahl niedrig aufgelöster Einzelbilder 35A-C in Schritt S6 ausgelöst wird, oder ob das Endomikroskop 1 nach dem Erstellen des hochaufgelösten Bildes 34 automatisch mit der Aufnahme niedrig aufgelöster Einzelbilder 35A-C fortfährt, kehrt das Verfahren von Schritt S6 zu Schritt S3 zurück, um die Prüfung der Schritte S3, S4 und S5 erneut auszuführen. Dies erfolgt solange, bis in Schritt S5 festgestellt wird, dass eine ausreichende Anzahl an niedrig aufgelösten Einzelbildern 33A-E, 35A-C vorliegt.
Figur 5 zeigt in einer schematischen Darstellung die zeitliche Abfolge des Aufnehmens niedrig aufgelöster Einzelbilder 33A-D sowie 35A-C, die zu verschiedenen Zeitpunkten aufgenommen und in den Schritten S3 bis S6 verwendet werden. Weiterhin stellt Figur 5 ein hochaufgelöstes Bild 34 dar, dass zu einem Zeitpunkt to aufgenommen wird. Das Auslösen des hochaufgelösten Bildes 34 zum Zeitpunkt to löst beispielsweise gleichzeitig das Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen im hochaufgelösten Bild 34 aus. Hierzu werden gemäß Schritt S2 die zwischengespeicherten, zu den Zeitpunkten t-i bis t-m aufgenommenen niedrig aufgelösten Einzelbilder gemäß der Schritte S3 bis S5 ausgewertet. Gleichzeitig wird im vorliegenden exemplarischen Ausführungsbeispiel nach dem Aufnehmen des hochaufgelösten Bildes 34 die Aufnahme niedrig aufgelöster Einzelbilder 35A-C fortgesetzt. Wenn die Auswertung gemäß der Schritt S3 bis S5 ergibt, dass die Anzahl an niedrig aufgelösten Einzelbildern 33A-E welche die geforderten Qualitätskriterien erfüllen, nicht ausreicht, um die Information zum Unterscheiden zwischen Gewebeflüssigkeitszellen und ein eine extrazelluläre Matrix eingebetteten Gewebezellen zu ermitteln, werden zu den Zeitpunkten ti-t3 aufgenommenen niedrig aufgelöste Einzelbilder 35A-C bis hinzugenommen, die nach dem Aufnehmen des hochaufgelösten Bildes 34 aufgenommen werden. Sobald in Schritt S5 festgestellt wird, dass eine ausreichende Anzahl an niedrig aufgelösten Einzelbildern vorhanden ist, welche die Qualitätskriterien erfüllen, fährt das Verfahren zu Schritt S7 fort, in dem es die niedrig aufgelösten Bilder registriert.)
Sobald in Schritt S5 festgestellt wird, dass eine ausreichende Anzahl an niedrig aufgelösten Einzelbildern 33A-E, 35A-C vorliegt, schreitet das Verfahren zu Schritt S7 fort, in dem die Einzelbilder mit niedriger Auflösung gegen das Referenzbild registriert werden. Wenn das Referenzbild das hochaufgelöste Bild 34 ist, ist es für die Qualität der Registrierung vorteilhaft, wenn für die in den niedrig aufgelösten Einzelbildern 33A-E, 35A-C weggelassenen Pixel mittels einer Interpolation auf der Basis der nicht weggelassenen Pixel Pixelwerte berechnet werden.
Anhand eines Vergleiches der registrierten Einzelbilder miteinander werden im vorliegenden Ausführungsbeispiel dann in Schritt S8 diejenigen Bildelemente ermittelt, die in den Einzelbildern 33A-E, 35A-C jeweils die gleiche Position im Bildfeld einnehmen. Diese Bildelemente sind in den Figuren 6 und 7 dargestellt und mit der Bezugsziffer 29 gekennzeichnet. Durch Vergleich der niedrig aufgelösten Einzelbilder 33A-E, 35A-C miteinander werden außerdem solche Bildelemente ermittelt, die in den Einzelbildern 33A-E, 35A-C unterschiedliche Positionen einnehmen. Ein solches Bildelement ist in den Figuren 6 und 7 exemplarisch mit der Bezugsziffer 31 gekennzeichnet. Diejenigen Bildelemente 29, die in den Einzelbildern 33A-E, 35A-C jeweils in derselben Position des Bildfeldes vorliegen, stellen die in die extrazelluläre Matrix eingebetteten Gewebezellen dar, diejenigen Bildelemente 31, deren Position sich im Bildfeld in den Einzelbildern voneinander unterscheidet, die sich bewegenden Gewebeflüssigkeitszellen. Nachdem in Schritt S8 die Information, welche Bildelemente in einer extrazellulären Matrix eingebettete Gewebezellen und welche Bildelement Gewebeflüssigkeitszellen darstellen, gewonnen wurde, wird die gewonnene Information in Schritt S9 für eine Darstellung geeignet aufbereitet. Die Aufbereitung kann beispielsweise beinhalten, dass im hochaufgelösten Bild die in die extrazelluläre Matrix eingebetteten Gewebezellen oder die Gewebeflüssigkeitszellen farblich hervorgehoben werden. Alternativ besteht auch die Möglichkeit, auf der Basis der niedrig aufgelösten Einzelbilder 33A- E, 35A-C eine kurze Videosequenz zu generieren, die nach einer Registrierung mit dem hochaufgelösten Bild 34 dem hochaufgelösten Bild überlagert wird. Statt einer Überlagerung besteht auch die Möglichkeit, die Videosequenz neben dem hochaufgelösten Bild 34 darzustellen. Die aufbereitete Information wird dann zur Darstellung an einen externen Monitor ausgegeben (Schritt S10). Alternativ kann die Information auch auf dem Monitor des Computers 17 dargestellt werden. Nach dem Darstellen der Information endet das Verfahren.
An das Ermitteln der Information, die ein Unterscheiden der in die extrazelluläre Matrix eingebetteten Gewebezellen von den Gewebeflüssigkeitszellen ermöglicht, können die Gewebezellen klassifiziert werden. Eine derartige Klassifikation kann mittels einer geeigneten Software erfolgen und bspw. auf Verfahren beruhen, wie sie in den folgenden Publikationen beschrieben sind: A. BenTaieb et al. „Deep Learning Models for Digital Pathology“, arXiv:1910:12329v2 [cs.CV] 29 Oct 2019; A. Bizzego et al. „Evaluating reproducibility of AI algotithms in digital pathology with DAPPER“ in PLoS Comput Biol 15(3):e1006269, March 27, 2019 und T. Fuchs et al. Computational pathology: Challenges and promises for tissue analysis“ in Computerized Medical Imaging and Graphics 35 (2011), Seiten 515-530. Mit Hilfe der Klassifizierung können die Gewebezellen im vorliegenden exemplarischen Ausführungsbeispiel unterschiedlich gekennzeichnet werden. Beispielsweise kann mittels der Kennzeichnung im hochaufgelösten Bild eine Unterscheidung zwischen Gewebezellen, die keine Veränderung gegenüber dem Normalzustand aufweisen, und solchen, die eine Veränderung aufweisen, vorgenommen werden. Die vorliegende Erfindung wurde anhand von exemplarischen
Ausführungsbeispielen zu Erläuterungszwecken im Detail beschrieben. Ein Fachmann erkennt jedoch, dass im Rahmen der vorliegenden Erfindung von den exemplarischen Ausführungsbeispielen abgewichen werden kann, wie dies auch bereits im Rahmen der exemplarischen Ausführungsbeispiele angedeutet worden ist. So besteht beispielsweise die Möglichkeit, statt anhand der niedrig aufgelösten Einzelbilder den Hintergrund bildende Bildbereiche und sich gegenüber dem Hintergrund bewegende Bildbereiche zu bestimmen, die Möglichkeit, die registrierten niedrigen aufgelösten Einzelbilder lediglich zu einer kurzen Videosequenz zusammenzufügen, die neben dem hochaufgelösten Bild dargestellt wird. In der aus den registrierten niedrig aufgelösten Einzelbildern aufgebauten Videosequenz kann ein Nutzer des Endomikroskops die Gewebeflüssigkeitszellen anhand ihrer in der kurzen Videosequenz dargestellten Bewegung identifizieren. Ein automatisiertes Ermitteln der den Bildhintergrund bildenden Bildbereiche und der sich gegenüber dem ermittelten Bildhintergrund bewegende Bildbereiche, wie dies im beschriebenen exemplarischen Ausführungsbeispiel erfolgt ist, ist deshalb nicht zwingend notwendig. Ein Fachmann erkennt, dass weitere Abwandlungen von den beschriebenen exemplarischen Ausführungsbeispielen möglich sind. Die vorliegende Erfindung soll daher lediglich durch die gehängten Ansprüche beschränkt sein. Bezugszeichenliste
I Endomikroskop
3 optische Faser
5 erstes Ende
7 zweites Ende
9 Beobachtungsobjekt
I I Scaneinrichtung
13 Sensor
15 Gehäuse
17 Computer
19 Raster
21 Rasterpunkt
23 Struktur
25 ausgelassene Zeilen
27 gescannte Zeilen
29 Bildhintergrundformende Bildelemente
31 sich gegenüber dem Bildhintergrund bewegende Bildelemente
33 niedrig aufgelöste Bilder
34 hochaufgelöstes Bild
51 Start
52 Einlesen zwischengespeicherter Bilder
53 Auswahl nach Bildqualität 54 Auswahl nach Bildfeld
55 Überprüfung, ob eine ausreichende Anzahl an niedrig aufgelösten Einzelbildern vorliegt
56 Hinzunahme weiterer niedrig aufgelöster Einzelbilder S7 Registrieren der niedrig aufgelösten Einzelbilder
58 Bestimmen der den Bildhintergrund bildenden Bildelemente und gegenüber dem Bildhintergrund bewegter Bildelemente
59 Aufarbeiten der Informationen
S10 Ausgabe der Informationen zur Darstellung

Claims

Patentansprüche
1 Computerimplementiertes Verfahren zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild (34) von einem Gewebebereich, in dem auf vor dem Aufnehmen des hochaufgelösten Bildes (34) zwischengespeicherte Bilder (33A-E) mit einer niedrigen Auflösung und einer hohen Bildrate zugegriffen wird und die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen aus den zwischengespeicherten Bildern (33A-E) mit der niedrigen Auflösung und der hohen Bildrate gewonnen werden.
2. Computerimplementiertes Verfahren nach Anspruch 1, in dem die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen gewonnen werden, indem zumindest aus einem Teil der zwischengespeicherten Bilder (33A-E) mit der niedrigen Auflösung und der hohen Bildrate eine Videosequenz erzeugt wird.
3. Computerimplementiertes Verfahren nach Anspruch 1 oder Anspruch
2, in dem die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen gewonnen werden, indem in den zwischengespeicherten Bildern (33A-E) mit der niedrigen Auflösung und der hohen Bildrate ein Bildhintergrund (29) und solche Bildelemente (31), die sich gegenüber dem Bildhintergrund (29) bewegen, ermittelt werden und die sich gegenüber dem Bildhintergrund (29) bewegenden Bildelemente (31) in einem Bild als Gewebeflüssigkeitszellen hervorgehoben dargestellt werden.
4 Computerimplementiertes Verfahren nach Anspruch 2 oder Anspruch
3, in dem die Videosequenz oder die als Gewebeflüssigkeitszellen hervorgehoben dargestellten Bildelemente (31) dem hochaufgelösten Bild überlagert werden.
5. Computerimplementiertes Verfahren nach einem der Ansprüche 2 bis
4, in dem die zum Erzeugen der Videosequenz oder die zum Ermitteln der sich gegenüber dem Bildhintergrund (29) bewegenden Bildelemente (31) herangezogenen zwischengespeicherten Bilder
(33A-E) mit der niedrigen Auflösung und der hohen Bildrate gegen ein Referenzbild registriert werden.
6 Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 5, in dem die Gewebezellen klassifiziert werden.
7. Computerimplementiertes Verfahren nach Anspruch 6, in dem die Gewebezellen im hochaufgelösten Bild gemäß ihrer Klassifizierung gekennzeichnet werden.
8. Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis
5, in dem für jedes zwischengespeicherte Bild (33A-E) mit der niedrigen Auflösung und der hohen Bildrate überprüft wird, ob es sich für die Gewinnung der Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen eignet und nur diejenigen zwischengespeicherten Bilder (33A-E) mit der niedrigen Auflösung und der hohen Bildrate, für die festgestellt worden ist, dass sie sich für die Gewinnung der Informationen zum Unterscheiden zwischen
Gewebeflüssigkeitszellen und Gewebezellen eignen, zum Gewinnen der Informationen zum Unterscheiden zwischen
Gewebeflüssigkeitszellen und Gewebezellen herangezogen werden.
9. Computerimplementiertes Verfahren nach Anspruch 8, in dem überprüft wird, ob eine ausreichende Anzahl an für die Gewinnung der Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen geeigneten zwischengespeicherten Bildern (33A-E) mit der niedrigen Auflösung und der hohen Bildrate vorhanden ist, und wenn die Überprüfung ergibt, dass keine ausreichende Anzahl an für die Gewinnung der Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen geeignete zwischengespeicherten Bildern (33A-E) mit der niedrigen Auflösung und der hohen Bildrate vorhanden ist, die Aufnahme weiterer Bilder (35A-C) mit der niedrigen Auflösung und der hohen Bildrate veranlasst wird.
10. Computerprogramm zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild (34) von einem Gewebebereich, umfassend Instruktionen, die, wenn sie auf einem Computer (17) ausgeführt werden, den Computer (17) dazu veranlassen, auf vor dem Aufnehmen des hochaufgelösten Bildes (34) zwischengespeicherte Bilder (33A-E) mit einer niedrigen Auflösung und einer hohen Bildrate zuzugreifen und die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen aus den zwischengespeicherten Bildern (33A-E) mit der niedrigen Auflösung und der hohen Bildrate zu gewinnen.
11. Nichtflüchtiges computerlesbares Speichermedium mit darauf gespeicherten Instruktionen zum Ermitteln von Informationen zum
Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild (34) von einem Gewebebereich die, wenn sie auf einem Computer (17) ausgeführt werden, den Computer (17) dazu veranlassen, auf vor dem Aufnehmen des hochaufgelösten Bildes (34) zwischengespeicherte Bilder (33A-E) mit einer niedrigen
Auflösung und einer hohen Bildrate zuzugreifen und die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen aus den zwischengespeicherten Bildern (33A-E) mit der niedrigen Auflösung und der hohen Bildrate zu gewinnen.
12. Datenverarbeitungssystem zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild (34) von einem Gewebebereich mit einem Prozessor und wenigstens einem Speicher, wobei der Prozessor dazu ausgestaltet ist, basierend auf Instruktionen eines im Speicher gespeicherten Computerprogramms auf vor dem Aufnehmen des hochaufgelösten Bildes (34) zwischengespeicherte Bilder (33A-E) mit einer niedrigen Auflösung und einer hohen Bildrate zuzugreifen und die Informationen zum Unterscheiden zwischen
Gewebeflüssigkeitszellen und Gewebezellen aus den zwischengespeicherten Bildern (33A-E) mit der niedrigen Auflösung und der hohen Bildrate zu gewinnen.
13. Verfahren zum Aufnehmen eines hochaufgelösten Bildes von einem
Gewebebereich mit zugeordneten Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen mittels eines scannenden Bildgebungsverfahrens, in dem von dem Gewebebereich in einem ersten Scanmodus Bilder (33A-E) mit einer niedrigen Auflösung und einer hohen Bildrate aufgenommen werden und die aufgenommenen Bilder (33A-E) mit der niedrigen Auflösung und der hohen Bildrate für einen bestimmten Zeitraum zwischengespeichert werden, und in dem auf ein Auslösesignal hin zu einem zweiten Scanmodus mit hoher Auflösung gewechselt wird, in dem ein hochaufgelöstes Bild (34) aufgenommen wird, und die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen gemäß den Schritten des Verfahrens nach einem der Ansprüche 1 bis 9 ermittelt werden.
14. Verfahren nach Anspruch 13, in dem nach dem Aufnehmen des hochaufgelösten Bildes (34) in den ersten Scanmodus zurückgekehrt wird und mit der Aufnahme von Bildern (35A-C) mit der niedrigen Auflösung und der hohen Bildrate fortgefahren wird.
15. Verfahren nach Anspruch 13, in dem das Aufnehmen eines hochaufgelösten Bildes (34) das Gewinnen der Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen auslöst.
16. Optisches Beobachtungsgerät mit einer scannenden Bildaufnahmevorrichtung und einem Datenverarbeitungssystem nach Anspruch 12.
PCT/EP2020/078947 2019-11-29 2020-10-14 Optisches beobachtungsgerät sowie verfahren und datenverarbeitungssystem zum ermitteln von informationen zum unterscheiden zwischen gewebeflüssigkeitszellen und gewebezellen WO2021104740A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080082858.0A CN114787858A (zh) 2019-11-29 2020-10-14 用于确定用于区分组织液细胞和组织细胞的信息的光学监测装置和方法以及数据处理系统
US17/780,017 US20220392061A1 (en) 2019-11-29 2020-10-14 Optical monitoring device and method and data processing system for determining information for distinguishing between tissue fluid cells and tissue cells

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019132514.5A DE102019132514B3 (de) 2019-11-29 2019-11-29 Optisches Beobachtungsgerät sowie Verfahren und Datenverarbeitungssystem zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen
DE102019132514.5 2019-11-29

Publications (1)

Publication Number Publication Date
WO2021104740A1 true WO2021104740A1 (de) 2021-06-03

Family

ID=72885577

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/078947 WO2021104740A1 (de) 2019-11-29 2020-10-14 Optisches beobachtungsgerät sowie verfahren und datenverarbeitungssystem zum ermitteln von informationen zum unterscheiden zwischen gewebeflüssigkeitszellen und gewebezellen

Country Status (4)

Country Link
US (1) US20220392061A1 (de)
CN (1) CN114787858A (de)
DE (1) DE102019132514B3 (de)
WO (1) WO2021104740A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100135566A1 (en) * 2008-12-01 2010-06-03 Olympus Soft Imaging Solutions Gmbh Analysis and classification, in particular of biological or biochemical objects, on the basis of time-lapse images, applicable in cytometric time-lapse cell analysis in image-based cytometry

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4175860A (en) * 1977-05-31 1979-11-27 Rush-Presbyterian-St. Luke's Medical Center Dual resolution method and apparatus for use in automated classification of pap smear and other samples
US5332968A (en) * 1992-04-21 1994-07-26 University Of South Florida Magnetic resonance imaging color composites
US5768412A (en) * 1994-09-19 1998-06-16 Hitachi, Ltd. Region segmentation method for particle images and apparatus thereof
WO1999033024A1 (en) * 1997-12-22 1999-07-01 Koninklijke Philips Electronics N.V. Method and arrangement for creating a high-resolution still picture
US20050136509A1 (en) * 2003-09-10 2005-06-23 Bioimagene, Inc. Method and system for quantitatively analyzing biological samples
WO2005096225A1 (en) * 2004-03-27 2005-10-13 Bioimagene, Inc. Method and system for automated detection of immunohistochemical (ihc) patterns
US20050219642A1 (en) * 2004-03-30 2005-10-06 Masahiko Yachida Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system
WO2006122251A2 (en) * 2005-05-10 2006-11-16 Bioimagene, Inc. Method and system for automated digital image analysis of prostrate neoplasms using morphologic patterns
US20070019854A1 (en) * 2005-05-10 2007-01-25 Bioimagene, Inc. Method and system for automated digital image analysis of prostrate neoplasms using morphologic patterns
US20070286462A1 (en) * 2006-04-28 2007-12-13 David Usher System and method for biometric retinal identification
KR100776801B1 (ko) * 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
ATE469407T1 (de) * 2006-12-01 2010-06-15 Panasonic Corp Iterative bewegungs-segmentierung
US8244021B2 (en) * 2006-12-20 2012-08-14 Ventana Medical Systems, Inc. Quantitative, multispectral image analysis of tissue specimens stained with quantum dots
DE102007019333A1 (de) * 2007-04-24 2008-11-06 Siemens Ag Medizinisches Instrument zur Durchführung eines medizinischen Eingriffs
US8090220B2 (en) * 2008-07-23 2012-01-03 Raytheon Company Resolution enhancement of video sequences with arbitrary enhancement factor
JP2010142597A (ja) * 2008-12-22 2010-07-01 Hoya Corp 内視鏡装置
US20120010528A1 (en) * 2010-04-26 2012-01-12 Aureon Biosciences, Inc. Systems and methods for predicting disease progression in patients treated with radiotherapy
WO2012064413A1 (en) * 2010-11-12 2012-05-18 Boston Scientific Scimed, Inc. Systems and methods for making and using rotational transducers for concurrently imaging blood flow and tissue
US9794527B1 (en) * 2012-09-28 2017-10-17 Google Inc. Content capture
US10951310B2 (en) * 2012-12-27 2021-03-16 Panasonic Intellectual Property Corporation Of America Communication method, communication device, and transmitter
US10146318B2 (en) * 2014-06-13 2018-12-04 Thomas Malzbender Techniques for using gesture recognition to effectuate character selection
US20170367574A1 (en) * 2016-06-24 2017-12-28 Verily Life Sciences Llc Eye cytometer for continuous health monitoring
CN107730567B (zh) * 2017-10-30 2021-02-02 上海联影医疗科技股份有限公司 医学成像方法及系统
US11006926B2 (en) * 2018-02-27 2021-05-18 Siemens Medical Solutions Usa, Inc. Region of interest placement for quantitative ultrasound imaging
CN109034208B (zh) * 2018-07-03 2020-10-23 怀光智能科技（武汉）有限公司 一种高低分辨率组合的宫颈细胞切片图像分类系统
US10999534B2 (en) * 2019-03-29 2021-05-04 Cisco Technology, Inc. Optimized video review using motion recap images
US20220359077A1 (en) * 2019-07-02 2022-11-10 Nucleai Ltd Systems and methods for selecting a therapy for treating a medical condition of a person

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100135566A1 (en) * 2008-12-01 2010-06-03 Olympus Soft Imaging Solutions Gmbh Analysis and classification, in particular of biological or biochemical objects, on the basis of time-lapse images, applicable in cytometric time-lapse cell analysis in image-based cytometry

Also Published As

Publication number Publication date
US20220392061A1 (en) 2022-12-08
DE102019132514B3 (de) 2021-02-04
CN114787858A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
DE102014206309B4 (de) System und Verfahren zum Erhalten von Bildern mit Versatz zur Verwendung für verbesserte Kantenauflösung
EP1943625B1 (de) Verfahren und vorrichtung zur rekonstruktion von bildern
DE602004008681T2 (de) Mikroskop-System und Verfahren
DE602005004097T2 (de) Mikroskop mit interner Fokussierung
EP2472302B1 (de) Verfahren zur Korrektur von Bildverzeichnungen bei einem konfokalen Scan-Mikroskop
EP3447559B1 (de) Hochauflösende 2d-mikroskopie mit verbesserter schnittdicke
WO2009010115A1 (de) Verfahren und vorrichtung zum mikroskopischen untersuchen einer probe, computerprogramm und computerprogrammprodukt
DE102012216908A1 (de) Verfahren unter Verwendung einer Bildkorrelation zum Bestimmen von Positionsmessungen in einem Maschinenvisionssystem
EP2534521B1 (de) Verfahren und vorrichtung zum einstellen eines geeigneten auswerteparameters für ein fluoreszenzmikroskop
DE602004009875T2 (de) Verfahren zur Bildverarbeitung für Profilbestimmung mittels strukturiertem Lichts
DE112019005143T5 (de) System zur co-registrierung medizinischer bilder unter verwendung eines klassifikators
EP4229397A1 (de) Verfahren und fluoreszenzmikroskop zur ortsbestimmung einzelner fluoreszierender farbstoffmoleküle durch adaptive abtastung
EP3692409A1 (de) Konfokalmikroskop mit hoher auflösung
EP3712670A1 (de) Verfahren zur hochauflösenden scanning-mikroskopie
EP3581982B1 (de) Bildbearbeitungsvorrichtung und verfahren zur bildverarbeitung, insbesondere für ein superauflösendes mikroskop
EP3655810A1 (de) Lichtblattmikroskopisches verfahren zur erzeugung eines volumenbildes einer probe und lichtblattmikroskop
DE10112008A1 (de) Bildverarbeitungsvorrichtung und computerlesbares Speichermedium
EP1929353B1 (de) Verfahren zur erzeugung von darstellungsbildern aus erfassten aufnahmebildern und mittel zur durchführung des verfahrens
DE102019132384A1 (de) Verfahren zum Erstellen eines hochaufgelösten Bildes, Datenverarbeitungssystem und optisches Beobachtungsgerät
DE10143441A1 (de) Verfahren und Mikroskopsystem zur Beobachtung dynamischer Prozesse
DE102019132514B3 (de) Optisches Beobachtungsgerät sowie Verfahren und Datenverarbeitungssystem zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen
EP3623798B1 (de) Verfahren und vorrichtung zum erfassen und darstellen eines immunfluoreszenzbildes einer biologischen probe
DE10315592B4 (de) Verfahren zum Ausführen von Interaktionen an sich räumlich und zeitlich verändernden mikroskopischen Objekten und System hierzu
EP3988989B1 (de) Verfahren und mikroskop mit einer einrichtung zum erfassen von verlagerungen einer probe gegenüber einem objektiv
EP4187306A1 (de) Verfahren zum auswerten von messdaten eines lichtfeldmikro-skops und vorrichtung zur lichtfeldmikroskopie

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20792400

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20792400

Country of ref document: EP

Kind code of ref document: A1