WO2024251593A1 - Computerimplementiertes verfahren und system zur reduzierung einer datenmenge von bildaufnahmen - Google Patents

Computerimplementiertes verfahren und system zur reduzierung einer datenmenge von bildaufnahmen Download PDF

Info

Publication number
WO2024251593A1
WO2024251593A1 PCT/EP2024/064819 EP2024064819W WO2024251593A1 WO 2024251593 A1 WO2024251593 A1 WO 2024251593A1 EP 2024064819 W EP2024064819 W EP 2024064819W WO 2024251593 A1 WO2024251593 A1 WO 2024251593A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
recordings
image recording
resolution
recording sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2024/064819
Other languages
English (en)
French (fr)
Inventor
Simon Haag
Bernd Steinke
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Karl Storz SE and Co KG
Original Assignee
Karl Storz SE and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Karl Storz SE and Co KG filed Critical Karl Storz SE and Co KG
Priority to EP24730315.9A priority Critical patent/EP4720980A1/de
Publication of WO2024251593A1 publication Critical patent/WO2024251593A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Definitions

  • the present invention relates to a computer-implemented method for reducing the amount of data in images, which in particular originate from an endoscope or exoscope, by means of super-resolution.
  • the present invention also relates to a system for reducing the amount of data in images by means of super-resolution.
  • the invention comprises a computer-implemented method for reducing a data volume of images to be stored in an image acquisition sequence of a patient, comprising the steps:
  • Image recordings of an image recording sequence are images of physical structures that were recorded by a photo camera and/or a video camera. Such image recordings have an image resolution that is linked to a number of pixels of the recording device (photo camera and/or video camera).
  • the image recordings have image noise and other image artifacts and generally quality limitations. These are linked to the recording technology (performance of the camera and/or video camera) and are also referred to as interference signals.
  • Image artifacts include, among others: image noise, graininess, color casts, ringing, glare, color distortions, blurring or fringes.
  • Providing includes capturing and/or reading in image recordings.
  • the invention relates in particular to real-time data from medical activities and/or surgical interventions as well as to data from previous activities and/or interventions.
  • the images in the image acquisition sequence can come from either a still camera and/or a video camera (for example, the video camera at the distal end of an endoscope).
  • the reduction of a data volume relates to a reduction in the data volume of the image recordings, which is achieved by removing or filtering out image artifacts and/or compressing the data volume.
  • the reduction of a data volume relates in particular or exclusively to a reduction in noise signals in the data volume.
  • Burst image processing essentially refers to methods for image processing with which a large number of details can be reconstructed in an image recording, usually based on a combination of signal information from several shifted images, i.e. from a sequence of image recordings arranged one after the other in time within an image recording sequence.
  • Super-resolution essentially refers to methods for image processing that increase the resolution of an image.
  • Super-resolution image processing essentially involves increasing the number of pixels in an image by interpolation, which creates new pixels.
  • the resolution increase factor can be at least 2, preferably at least 4.
  • Compression involves reducing the amount of data using a conventional method (e.g. mp4/jpeg).
  • the invention provides a system for reducing a data volume of image recordings of an image recording sequence to be stored, comprising: a provision device which is configured to provide one or more image recordings in an image recording sequence of a patient with a first image resolution; a burst image processing device which is configured to generate corresponding preprocessed image recordings of the image recording sequence by means of burst image processing based on the provided image recordings of the image recording sequence, wherein the preprocessed image recordings of the image recording sequence have reduced image noise and/or reduced image artifacts; a super-resolution image processing device which is configured to generate an image recording with a second image resolution by means of super-resolution image processing for each generated preprocessed image recording of the image recording sequence, wherein the second image resolution is higher than the first image resolution; and an image compression device which is configured to compress the generated high-resolution and/or the generated preprocessed image recordings of the image recording sequence in order to reduce the amount of data of the image recording sequence to be stored.
  • the various devices can each be implemented as a device that has or consists of at least one central processing unit (CPU) and/or at least one graphics processing unit (GPU) and/or at least one field programmable gate array (FPGA) and/or at least one application specific integrated circuit (ASIC) and/or any combination of the aforementioned elements.
  • the devices can comprise a programming interface (API) via which signals and information can be exchanged with one another in a wired and/or wireless manner.
  • API programming interface
  • Each element of the system of the invention may further comprise a memory operatively connected to the at least one CPU and/or a non-volatile memory operatively connected to the at least one CPU and/or the memory.
  • Each element may be partially and/or fully implemented on a local device and/or partially and/or fully implemented on a remote system, such as a cloud computing platform.
  • the burst image processing device, the super-resolution image processing device and the image compression device can execute or be designed as a software, an app or an algorithm with different data processing capabilities. These devices can be implemented in hardware and/or software, wired and/or wireless and in any combination thereof. They can also include an interface to an intranet or the Internet, to a cloud computing service, to a remote server and/or the like.
  • the provision device can have various sensors that can capture (or record) images. Furthermore, the provision device can receive, process and evaluate sensor data.
  • the computer-implemented method according to the first aspect of the invention can be carried out with the system according to the second aspect of the invention.
  • the features and advantages described herein in connection with the system are therefore also applicable to the method and vice versa.
  • the invention provides a computer program product comprising an executable program code which, when executed, is adapted to carry out the method according to the first aspect of the present invention.
  • the invention provides a non-transitory computer-readable data storage medium comprising executable program code adapted to perform the method according to the first aspect of the present invention when executed.
  • the non-volatile, computer-readable data storage medium may comprise or consist of any type of computer memory, in particular a semiconductor memory, such as a solid-state memory.
  • the data storage medium may also comprise or consist of a CD, a DVD, a Blu-ray disc, a USB memory stick or the like.
  • the invention provides a data stream which comprises or is adapted to generate an executable program code which, when executed, is adapted to carry out the method according to the first aspect of the present invention.
  • One idea underlying the invention is to introduce a computer-implemented method with which image recordings and in particular video recordings could be stored (or transmitted) with a reduced data storage space.
  • the reduction is achieved by combining two effects:
  • artifacts e.g. caused by hardware limitations
  • This is done, for example, by using burst image processing.
  • the method can be used in two modes.
  • a first mode the pre-processed images are compressed and then processed using super-resolution.
  • the super-resolution is then carried out as post-processing, which can be carried out, for example, during the visualization of the video recording.
  • a second mode the pre-processed images are processed using super-resolution and then compressed.
  • the compressed file package contains super-resolution images and no post-processing is required.
  • the system comprises a provision unit by which images of a medical activity or scene are captured (for example if the provision device comprises the camera of an endoscope) or read in (for example if the captured images were received from the camera of an endoscope).
  • a burst image processing device is used to carry out image processing that generates denoised (or interference-free) images (images with reduced image artifacts) based on combinations of the images.
  • a super-resolution image processing device is used to generate super-resolution images using super-resolution.
  • An image compression device is set up to compress the images generated by the burst image processing device or the images generated by the super-resolution image processing device.
  • One advantage of the present invention is that the combination of burst image processing and super-resolution image processing significantly reduces the amount of data in the image recordings, without any loss in the useful signal.
  • the removal of image noise and/or various image artifacts ensures that the compression essentially only affects the useful signal, which serves to achieve higher compression factors.
  • the super-resolution ensures that the resolution of the denoised image recordings is increased. The result is a high-resolution video recording with good image quality and low storage requirements.
  • Another advantage of the invention is that a better low-light performance can be achieved. This allows for a gentler treatment of the patient by using thinner endoscopes with smaller camera lenses can be used for medical/surgical activities.
  • a further advantage of the invention is that the increase in image quality and image resolution of the processed video recordings is not related to the hardware of an endoscope.
  • the invention is achieved by optimizing data processing and does not require any improvement in the hardware.
  • the light-dark contrast is particularly strong in endoscopic image recordings. It is therefore advantageous to be able to work with underexposed raw images. Undesirable effects such as image noise or motion blur can be minimized and filtered and removed using burst image processing. This helps to improve low-light performance.
  • the computer-implemented method further comprises storing the compressed generated high-resolution and/or the compressed generated preprocessed image recordings of the image recording sequence.
  • the data can be stored after compression and kept in a computer, in a server or in a cloud computing platform.
  • the compressed files can have at least one identifier that indicates whether the file contains compressed generated preprocessed image recordings or compressed generated high-resolution image recordings.
  • the generation includes reading in the stored compressed, generated preprocessed images of the image recording sequence.
  • the reading in can be carried out using an interface which, for example, has the super-resolution image processing device. This allows the stored file to be retrieved and processed for visualization with increased resolution.
  • the generation of the preprocessed image recordings of the image recording sequence by means of burst image processing comprises the following steps:
  • Burst image processing produces images with a variety of details of the recorded physical structures.
  • the images produced are based on a combination of signal information from a sequence of images arranged one after the other in time.
  • Burst image processing can be performed using a burst algorithm. Accordingly, the images are first grouped, bundled, or clustered. The number of images in each group depends on the image capture rate (the number of frames captured per second), which in turn depends on the camera. Typically, a group can contain between 3 and 20 images. The different images in each group are then segmented. The size of the image segments can vary. An image segment can contain one pixel, but also a large area of an image. The segments of an image do not have to be the same. It is important that spatially correlated segments of the different images in a group are comparable so that they can be combined in a processed image segment.
  • the processed image segments create a processed image.
  • the number of corresponding spatially correlated image segments that are combined to form a preprocessed image recording depends on the brightness of the corresponding image segments.
  • the processed image capture can be generated more quickly by making the overlap of the image segments dependent on the brightness of the image segments.
  • the brightest image segment can use only the last image capture (in a temporal order of the image captures) of the image capture group, while the darkest image segment can use all of the image captures of the image capture group.
  • the combining of corresponding spatially correlated image segments comprises:
  • the overlapping of the various image segments of an image acquisition group can involve at least three steps: First, an alignment of the image segments, which can be carried out, for example, with regard to pixel identification. The image segments are then merged or superimposed. This can be done adaptively by carrying out the superimposition step by step. For example, in an image acquisition group with 20 images, the superimposition can be carried out with only 4 images at a time. When the fifth image has been taken, the first image is no longer taken into account so that the algorithm always works with 4 images at the same time. The superimposition serves to filter out image noise.
  • Color tone mapping refers to various image processing methods, such as black level subtraction, white balance, Bayer demosaicing, bilinear chroma denoising, sRGB color correction, tone mapping, gamma correction, global contrast adjustment and unsharp mask sharpening, and/or correction of chromatic aberrations.
  • the generation of a high-resolution image recording by means of super-resolution image processing with the aid of a trained Artificial intelligence model wherein the trained artificial intelligence model corresponds to a convolutional neural network, CNN, or a deep learning architecture, in particular a transformer-based architecture, or the like.
  • Super-resolution image processing essentially involves increasing the number of pixels in an image using an interpolation algorithm that generates new pixels.
  • This interpolation algorithm can be implemented with an artificial intelligence model or at least partially supported by it.
  • Particularly suitable models are artificial intelligence models that have been adapted for pattern recognition. These include CNNs in particular.
  • Models with vision transformer (ViT)-based architectures, such as a Swin transformer, are becoming increasingly important. This means that the generated images can be created with a resolution four times higher than the resolution of the raw images, for example.
  • ViT vision transformer
  • the burst image processing device comprises a calculation unit which implements a burst algorithm which is designed to recognize fine physical structures such as veins and nerves in the images provided in the image recording sequence of the patient.
  • a burst algorithm which is designed to recognize fine physical structures such as veins and nerves in the images provided in the image recording sequence of the patient.
  • the burst image processing device is adapted to achieve recognition of fine structures. This is implemented by recognizing these structures via the image recording sequence of an image recording group during their movements and enhancing them with a color contrast so that the processed images generated represent these fine structures with satisfactory image quality.
  • the provision device of the system is integrated in an endoscope or in an exoscope.
  • the provision device can comprise the video camera of an endoscope or exoscope and/or other image sensors that are present in an endoscope or in an exoscope.
  • the burst image processing device and/or the super-resolution image processing device can be implemented in the data processing device of an endoscope or an exoscope, which processes the signals from the camera of the endoscope/exoscope to create visualizable images.
  • the system further comprises a data storage device in which the image recordings of the image recording sequence compressed by the image compression device are stored and from where they can be read out.
  • the data storage device can store the compressed generated processed image recordings and/or the compressed generated high-resolution image recordings.
  • the system further comprises a video interface which is designed to transmit the generated preprocessed image recordings of the image recording sequence and/or the generated high-resolution image recordings of the image recording sequence to a display unit of the system.
  • the system can allow a user to visualize the processed image recordings, either after burst image processing or after super-resolution image processing, in a display. If the image recordings are processed real-time image recordings that originate directly from the video camera of an endoscope, at least the burst image processing device and the super-resolution image processing device can advantageously be implemented in the display unit of the endoscope.
  • facilities Although some functions are described here and below as being performed by facilities, this does not necessarily mean that these facilities are provided as separate entities. In cases where one or more facilities or a part thereof are provided as software, the facilities may be implemented by sections or snippets of program code that may be separate from each other, but may also be interwoven or integrated with each other.
  • the functions of one or more devices may be provided by one and the same hardware component, or the functions of several devices may be distributed across several hardware components that do not necessarily correspond to the devices. It is therefore to be assumed that any application, system, method, etc. that has all the features and functions attributed to a particular device comprises or implements that device. In particular, it is possible that all the devices are implemented by program code executed by, for example, a server or a cloud computing platform.
  • Fig. 1 is a schematic flow diagram of a computer-implemented method for reducing a data volume of image recordings of an image recording sequence to be stored according to an embodiment of the invention
  • Fig. 2 is a schematic flow diagram of a computer-implemented method for reducing a data volume of image recordings of an image recording sequence to be stored according to a further embodiment of the invention
  • Fig. 3 shows a system for reducing the amount of data to be stored from images of an image acquisition sequence according to an embodiment of the invention
  • Fig. 4 shows an endoscope in which a system for reducing a data volume of images to be stored in an image recording sequence according to an embodiment of the invention is implemented
  • Fig. 5 is a schematic block diagram illustrating a computer program product according to an embodiment of the third aspect of the present invention.
  • Fig. 6 is a schematic block diagram showing a data storage medium according to an embodiment of the fourth aspect of the present invention.
  • Fig. 1 shows a schematic flow diagram of a computer-implemented method for reducing a data volume of image recordings of an image recording sequence to be stored according to an embodiment of the invention.
  • image recordings of an image recording sequence of a patient are provided with a first resolution.
  • the image recordings could originate from a video camera, for example from a video camera that has been attached to the distal end of an endoscope. In this case, the image recordings are read or captured.
  • the image acquisition sequence advantageously includes underexposed raw image recordings.
  • step S2 the provided image recordings are preprocessed by burst image processing in order to generate corresponding image recordings of the image recording sequence with reduced image noise and/or reduced image artifacts.
  • step S2 comprises steps S20, S21 and S22.
  • step S20 the provided image recordings of the image recording sequence are grouped into image recording groups.
  • the number of image recordings per image recording group advantageously depends on the image recording rate (the number of image frames recorded per second).
  • the image recording rate can be set with the video camera depending on the physical structures to be recorded, for example by a user.
  • an image recording group can contain between 3 and 20 image recordings.
  • the various image recordings are segmented in each image recording group.
  • the size of the image segments can be variable.
  • An image segment can contain just one pixel, or a significant area of the image recording (i.e. several pixels, for example over 30% or even over 50% of the pixels of the image recording).
  • the image segments of an image recording do not have to be the same size.
  • the image segments should ensure that all details and properties of an image recording are optimally identified. Areas of an image recording that look homogeneous can, for example, be associated with or displayed with an image segment. Areas of an image recording with different details usually require more than one image segment. It is advantageous if locally correlated image segments of the various image recordings of an image recording group are of comparable size.
  • step S22 the number of locally correlated image segments can depend on the brightness of the corresponding image segments.
  • step S22 the spatially correlated image segments are combined to form a corresponding preprocessed image recording. According to the embodiment of Fig. 1, step S22 comprises steps S221, S222 and S223.
  • step S221 an alignment of the image segments is carried out, which can be carried out, for example, with regard to pixel identification.
  • step S222 the image segments are merged and/or superimposed. This can be done adaptively by carrying out the superimposition step by step. For example, in an image acquisition group with 20 images, the superimposition can be carried out with only 4 images at a time. When the fifth image has been taken, the first image is no longer taken into account so that 4 images are always processed at the same time.
  • the superimposition is usually used to filter out image noise.
  • a hue mapping is carried out.
  • Hue mapping refers to various methods of image processing, for example black level subtraction, white balance, Bayer demosaicing, bilinear chroma denoising, sRGB color correction, tone mapping, gamma correction, global contrast adjustment and unsharp mask sharpening, and/or correction of chromatic aberrations.
  • an image is generated using super-resolution image processing for each generated preprocessed image of the image recording sequence. Due to the super-resolution, the generated images have a higher image resolution (for example, a quadruple resolution) than the provided images.
  • the generated high-resolution images of the image recording sequence are compressed. The compression can be carried out using conventional methods (mp4/jpeg).
  • the compressed image recordings are saved.
  • the image recordings can be saved and stored as compressed video files in a computer, in a server or in a cloud computing platform.
  • Fig. 2 shows a schematic flow diagram of a computer-implemented method for reducing a data volume of image recordings of an image recording sequence to be stored according to a further embodiment of the invention.
  • step S 1 image recordings of an image recording sequence of a patient, which originate for example from a video camera of an endoscope, are provided with a first resolution.
  • a step S2 the provided image recordings are preprocessed by burst image processing in order to generate corresponding image recordings of the image recording sequence with reduced image noise and/or reduced image artifacts.
  • the step S2 can, for example, comprise the steps S20, S21 and/or S22 described in connection with Fig. 1 (not shown in Fig. 2).
  • the step S22 if present, can comprise the steps S221, S222 and/or S223 described in connection with Fig. 1 (not shown in Fig. 2).
  • a step S4 the preprocessed images of the image acquisition sequence generated in step S2 are compressed.
  • the compressed image recordings are stored in a step S5.
  • the image recordings can be saved and stored as compressed video files in a computer, in a server or in a cloud computing platform.
  • the generated preprocessed images are processed using super-resolution and corresponding images are generated. Due to the super-resolution, the generated images have a higher image resolution (for example, a quadruple resolution) than the provided images and the generated preprocessed images.
  • the step S3 includes a step S31. In the step S31, the stored compressed generated preprocessed images are read in.
  • Super-resolution image processing can process compressed and uncompressed images. A prior decompression of the images compressed in step S4 is therefore not necessary. In some embodiments, however, it can be provided that a decompression step is carried out before step S3.
  • the embodiment of the invention shown in Fig. 2 can be advantageous for further reducing the storage space requirement.
  • the super-resolution is carried out as a post-processing of the image recordings during the visualization of the video file.
  • the super-resolution images are compressed and then saved.
  • the number of pixels increases and accordingly the generated high-resolution images require more storage space than the images generated pre-processed with burst image processing.
  • the generated high-resolution images still require less storage space than conventional images that come from a video camera of an endoscope, for example.
  • the advantage of the embodiment shown in Fig. 1 is that the saved video file contains super-resolution images and no super-resolution post-processing is necessary. - TI -
  • Fig. 3 shows a system 100 for reducing the amount of data to be stored from images of an image recording sequence according to an embodiment of the invention.
  • the various components and functions are shown schematically as blocks.
  • the spatial arrangement of the blocks in Fig. 3 serves only to illustrate the embodiment shown.
  • the system 100 comprises a provisioning device 10, a burst image processing device 20, a super-resolution image processing device 30, an image compression device 40, a data storage device 50 and a video interface 60.
  • the provision device 10 is designed to capture or read in one or more image recordings D0 in an image recording sequence of a patient.
  • the image recordings D0 can be or include, for example, underexposed raw image recordings that are or were recorded with a video camera.
  • the video camera can be a video camera that is attached to the end of an endoscope or exoscope.
  • the provision device 10 can comprise the video camera of an endoscope.
  • the burst image processing device 20 serves to generate corresponding pre-processed image recordings Dl based on the provided image recordings by means of burst image processing.
  • the burst image processing device 20 can comprise a calculation unit 210 which implements a burst algorithm.
  • the burst algorithm ensures that fine physical structures, such as veins and nerves, which are present in the image recordings D0 can be recognized on the generated pre-processed image recordings Dl after the burst image processing.
  • the burst image processing can comprise 20 different units which are designed to carry out the different steps of the burst image processing.
  • a grouping unit, a segmentation unit and a Combining units (not shown in Fig. 3) can, for example, be used to carry out one of the steps S20, S21 and S22 described in connection with Fig. 1.
  • the burst image processing device 20 can have an alignment unit, an overlay unit and a color tone mapping unit, which are designed to carry out one of the steps S221, S222 and S223 described in connection with Fig. 1.
  • the super-resolution image processing device 30 is designed to generate a corresponding high-resolution (or: high-resolution) image recording D2 for each generated preprocessed image recording D1 of the image recording sequence.
  • the super-resolution image processing device 30 is able to read in compressed and uncompressed files.
  • the super-resolution image processing device 30 can increase the resolution with the help of a trained artificial intelligence model.
  • the artificial intelligence model can have a model that is adapted for pattern recognition, for example a model that is based on convolutional neural networks (CNN) or vision transformer architectures or that includes such a model.
  • CNN convolutional neural networks
  • the image compression device 40 serves to compress the generated high-resolution image recordings D2 and/or the generated preprocessed image recordings D1.
  • the compression can comprise a conventional compression using mp4/jpeg or the like.
  • the data storage device 50 is designed to store compressed image recordings as files. From there, the files can be accessed and/or read.
  • the data storage device 50 can be or include a data storage medium of a computer. Alternatively, the data storage device 50 can be implemented in a server or a cloud computing platform.
  • the video interface 60 serves to visualize the processed image recordings, either the generated preprocessed image recordings D1 or the generated high-resolution image recordings D2.
  • the video interface 60 can comprise at least one monitor.
  • the video interface 60 can be implemented in portable user devices, for example in a cell phone or in a tablet, or in non-portable devices, in particular in a video processor of an endoscope.
  • Fig. 4 shows an endoscope E in which a system 100 for reducing a data volume of images to be stored in an image recording sequence according to an embodiment of the invention is implemented.
  • the endoscope E shown in Fig. 4 has a provision device 10 (here: video camera K of the video endoscope I) and an image processing unit 150, which comprises the remaining elements of the system 100.
  • Fig. 5 shows a schematic block diagram illustrating a computer program product 300 according to an embodiment of the third aspect of the present invention.
  • the computer program product 300 comprises an executable program code 350 which, when executed, is configured to carry out the method according to any embodiment of the second aspect of the present invention, in particular as described in the previous figures.
  • Fig. 6 shows a schematic block diagram illustrating a non-transitory computer-readable data storage medium 400 according to an embodiment of the fourth aspect of the present invention.
  • the data storage medium 400 comprises an executable program code 450 which, when executed, is configured to perform the method according to any embodiment of the second aspect of the present invention, in particular as described with reference to the previous figures.
  • the non-volatile, computer-readable data storage medium may be any type of computer memory, in particular a semiconductor memory such as a solid-state memory,
  • the data storage medium may also include or consist of a CD, a DVD, a Blu-ray disc, a USB memory stick or similar.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

Computerimplementiertes Verfahren zur Reduzierung einer Datenmenge von zu speichernden Bildaufnahmen einer Bildaufnahmesequenz, mit den Schritten: Bereitstellen einer oder mehrerer Bildaufnahmen einer Bildaufnahmesequenz eines Patienten mit einer ersten Bildauflösung; Erzeugen, basierend auf den bereitgesteIlten Bildaufnahmen der Bildaufnahmesequenz, entsprechender vorverarbeiteter Bildaufnahmen der Bildaufnahmesequenz mittels Burst-Bildverarbeitung, wobei die vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz ein reduziertes Bildrauschen und/oder reduzierte Bildartefakte aufweisen; Generieren, für jede erzeugte vorverarbeitete Bildaufnahme der Bildaufnahmesequenz, einer Bildaufnahme mit einer zweiten Bildauflösung mittels Super-Resolutions-Bildverarbeitung, wobei die zweite Bildauflösung höher als die erste Bildauflösung ist; und Komprimieren der generierten hochauflösenden und/oder der erzeugten vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz zur Reduzierung der zu speichernden Datenmenge der Bildaufnahmesequenz.

Description

Computerimplementiertes Verfahren und System zur Reduzierung einer Datenmenge von Bildaufnahmen
Technisches Gebiet der Erfindung
Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zur Reduzierung der Datenmenge von Bildaufnahmen, die insbesondere von einem Endoskop oder Exoskop stammen, mittels Superresolution. Ferner bezieht sich die vorliegende Erfindung auf ein System zur Reduzierung der Datenmenge von Bildaufnahmen mittels Superresolution.
Hintergrund der Erfindung
Zu Dokumentationszwecken bei medizinischer Tätigkeiten und chirurgischer Eingriffe ist es hilfreich, Bildaufnahmen (wie etwa Fotos oder Videoaufnahmen) zu drehen und gedreht aufzubewahren. Falls Zwischenfälle während oder nach einer medizinischen Tätigkeit auftreten, kann die Ursache dafür auf diese Weise besonders genau ermittelt werden und zur Absicherung von Ärzten, Patienten und Krankenhäusern dienen.
Um Videoaufnahmen von medizinischen Tätigkeiten mit einer befriedigenden Auflösung und Aufnahmequalität zu generieren, entstehen aktuell große Datenmengen. Das fuhrt zu einem hohen Speicherplatzbedarf, der nicht immer verfügbar ist.
Eine bloße Komprimierung der Daten ist häufig nicht zufriedenstellend. Insbesondere bei Videoaufnahmen von Endoskopen, wo der Bildkontrast zwischen hellen und dunklen Bereichen stark sein kann, ist die Aufnahmequalität besonders entscheidend. Insbesondere können unerwünschte Artefakte wie beispielsweise Luminanz- und Chrominanzrauschen von Hardwarebeschränkungen und bekannten physikalischen Effekten der Aufnahmetechnik verursacht werden. Bei der Komprimierung von Daten werden nicht nur das Nutzsignal, sondern auch ein Störsignal (von Artefakten verursacht) verarbeitet. Je mehr Artefakte vorhanden sind, desto schlechter ist das Ergebnis der Kompression. Da die Artefakte somit einer starken Datenkompression entgegenstehen, führt ihre Anwesenheit entweder zu erheblich geringeren Kompressionsfaktoren oder, im Falle von verlustbehafteten Verfahren, zu erheblichen Verlusten am Nutzsignal.
Herkömmliche Verfahren zum Speichern von Videoaufnahmen in der medizinischen und der chirurgischen Umgebung habeneinen hohen Speicherplatzbedarf. Weiterhin ist die Aufnahmequalität teilweise schlecht, d.h. manche feine körperliche Strukturen wie Adern oder Nerven, deren Identifizierung wichtig für chirurgische Eingriffe ist, sind in den Videoaufnahmen nicht deutlich zu erkennen.
Es besteht dementsprechend die Notwendigkeit, verbesserte Methoden bereitzustellen, um Bildaufnahmen mit den Auflösungsanforderungen insbesondere von endoskopischen Videoaufnahmen zu visualisieren und mit einem reduzierten Speicherplatzbedarf speichern zu können.
Zusammenfassung der Erfindung
Es ist daher eine Aufgabe der vorliegenden Erfindung, ein System und ein Verfahren einzuführen, die eine Reduzierung der Datenmenge von zu speichernden Bildaufnahmen bereitstellen.
Die Aufgabe der vorliegenden Erfindung wird durch ein computerimplementiertes Verfahren mit den Merkmalen des Anspruchs 1 und durch ein System mit den Merkmalen des Anspruchs 9 gelöst. Bevorzugte Ausführungsformen der Erfindung mit vorteilhaften Merkmalen sind in den abhängigen Ansprüchen angegeben. Die Erfindung umfasst gemäß einem ersten Aspekt ein computerimplementiertes Verfahren zur Reduzierung einer Datenmenge von zu speichernden Bildaufnahmen einer Bildaufnahmesequenz eines Patienten, mit den Schritten:
Bereitstellen einer oder mehrerer Bildaufnahmen einer Bildaufnahmesequenz eines Patienten mit einer ersten Bildauflösung;
Erzeugen, basierend auf den bereitgestellten Bildaufnahmen der Bildaufnahmesequenz, entsprechender vorverarbeiteter Bildaufnahmen der Bildaufnahmesequenz mittels Burst-Bildverarbeitung, wobei die vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz ein reduziertes Bildrauschen und/oder reduzierte Bildartefakte aufweisen;
Generieren, für jede erzeugte vorverarbeitete Bildaufnahme der Bildaufnahmesequenz, einer Bildaufnahme mit einer zweiten Bildauflösung mittels Super-Resoluti- ons-Bildverarbeitung, wobei die zweite Bildauflösung höher als die erste Bildauflösung ist; und
Komprimieren der generierten hochauflösenden und/oder der erzeugten vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz zur Reduzierung der zu speichernden Datenmenge der Bildaufnahmesequenz.
Bildaufnahmen einer Bildaufnahmesequenz sind Bilder von körperlichen Strukturen, die von einer Fotokamera und/oder einer Videokamera aufgenommen wurden. Solche Bildaufnahmen besitzen eine Bildauflösung, die mit einer Pixelanzahl der Aufnahmeeinrichtung (Fotokamera und/oder Videokamera) verbunden ist. Die Bildaufnahmen weisen Bildrauschen und anderen Bildartefakte und im Allgemeinen Qualitätseinschränkungen auf. Diese sind mit der Aufnahmetechnik (Leistung der Kamera und/oder der Videokamera) verbunden und werden auch als Störsignale bezeichnet. Zu Bildartefakten gehören unter anderem: Bildrauschen, Körnigkeit, Farbstiche, Ringing, Überstrahlungen, Farbverfälschungen, Unschärfe oder Säume.
Ein Bereitstellen umfasst ein Erfassen und/oder ein Einlesen von Bildaufnahmen.
Die Erfindung bezieht sich insbesondere auf Echtzeitdaten von medizinischen Tätigkeiten und/oder chirurgischen Eingriffen sowie auf Daten von früheren Tätigkeiten und/oder Engriffen. In beiden Fällen können die Bildaufnahmen der Bildaufnahmesequenz entweder von einer Fotokamera und/oder einer Videokamera (beispielsweise die Videokamera am distalen Ende eines Endoskops) stammen.
Die Reduzierung einer Datenmenge betrifft eine Verringerung der Datenmenge der Bildaufnahmen, die durch die Entfernung oder Ausfilterung von Bildartefakten und/oder die Komprimierung der Datenmenge erfolgt. Mit anderen Worten betrifft die Reduzierung einer Datenmenge insbesondere oder ausschließlich eine Störsignalreduzierung der Datenmenge.
Eine Burst-Bildverarbeitung betrifft im Wesentlichen Methoden für die Bildverarbeitung, mit welchen in einer Bildaufnahme eine Vielzahl von Details rekonstruiert werden kann, üblicherweise auf Basis einer Kombination von Signalinformationen aus mehreren verschobenen Bildern, d.h. aus einer Reihenfolge von zeitlich nacheinander angeordneten Bildaufnahmen innerhalb einer Bildaufnahmesequenz.
Super-Resolution oder Super-Auflösung betrifft im Wesentlichen Methoden für die Bildverarbeitung, welche die Auflösung einer Bildaufnahme erhöhen. Bei einer Super-Resolutions-Bildverarbeitung handelt es sich im Wesentlichen um eine Steigerung der Pixelanzahl einer Bildaufnahme durch eine Interpolation, durch die neue Pixel erzeugt werden. Der Steigerungsfaktor der Auflösung kann mindestens 2 sein, vorzugsweise mindestens 4.
Ein Komprimieren betrifft eine Verringerung einer Datenmenge mittels eines herkömmlichen Verfahrens (z.B. durch mp4/jpeg).
Die Erfindung schafft gemäß einem zweiten Aspekt ein System zur Reduzierung einer Datenmenge von zu speichernden Bildaufnahmen einer Bildaufnahmesequenz, umfassend: eine Bereitstellungseinrichtung, welche dazu eingerichtet ist, eine oder mehrere Bildaufnahmen in einer Bildaufnahmesequenz eines Patienten mit einer ersten Bildauflösung bereitzustellen; eine Burst-Bildverarbeitungseinrichtung, welche dazu eingerichtet ist, basierend auf den bereitgestellten Bildaufnahmen der Bildaufnahmesequenz, entsprechende vorverarbeitete Bildaufnahmen der Bildaufnahmesequenz mittels Burst-Bildverarbeitung zu erzeugen, wobei die vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz ein reduziertes Bildrauschen und/oder reduzierte Bildartefakte aufweisen; eine Super-Resolutions-Bildverarbeitungseinrichtung, welche dazu eingerichtet ist, für jede erzeugte vorverarbeitete Bildaufnahme der Bildaufnahmesequenz, eine Bildaufnahme mit einer zweiten Bildauflösung mittels Superresolutions-Bildverarbeitung zu generieren, wobei die zweite Bildauflösung höher als die erste Bildauflösung ist; und eine Bildkompressionseinrichtung, die dazu eingerichtet ist, die generierten hochauflösenden und/oder der erzeugten vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz zur Reduzierung der zu speichernden Datenmenge der Bildaufnahmesequenz zu komprimieren.
Die verschiedenen Einrichtungen können jeweils als eine Vorrichtung realisiert werden, die mindestens eine zentrale Verarbeitungseinheit (CPU) und/oder mindestens eine Grafikverarbeitungseinheit (GPU) und/oder mindestens ein feldprogrammierbares Gate-Array (FPGA) und/oder mindestens eine anwendungsspezifische integrierte Schaltung (ASIC) und/oder eine beliebige Kombination der vorgenannten Elemente aufweist oder daraus besteht. Weiterhin können die Einrichtungen eine Programmierschnittstelle (API) umfassen, über die kabelgebunden und/oder drahtlos miteinander Signale und Informationen austauschen können.
Jedes Element des Systems der Erfindung kann ferner einen Arbeitsspeicher umfassen, der operativ mit der mindestens einen CPU verbunden ist, und/oder einen nichtflüchtigen Speicher, der operativ mit der mindestens einen CPU und/oder dem Arbeitsspeicher verbunden ist. Jedes Element kann teilweise und/oder vollständig in einem lokalen Gerät und/oder teilweise und/oder vollständig in einem entfernten System, wie etwa einer Cloud-Computing-Plattform, implementiert sein.
Die Burst-Bildverarbeitungseinrichtung, die Super-Resolutions-Bildverarbeitungs- einrichtung und die Bildkompressionseinrichtung können eine Software, eine App oder einen Algorithmus mit unterschiedlichen Fähigkeiten zur Datenverarbeitung ausführen oder als solche ausgebildet sein. Diese Einrichtungen können in Hardware und/oder Software, kabelgebunden und/oder drahtlos und in jeder Kombination davon realisiert sein. Sie können ferner eine Schnittstelle zu einem Intranet oder dem Internet, zu einem Cloud-Computing-Dienst, zu einem entfernten Server und/oder dergleichen umfassen.
Die Bereitstellungseinrichtung kann verschiedenen Sensoren aufweisen, die Bilder erfassen (oder: aufnehmen) können. Weiterhin kann die Bereitstellungseinrichtung Sensordaten empfangen, verarbeiten und auswerten.
Insbesondere kann das computerimplementierte Verfahren gemäß dem ersten Aspekt der Erfindung mit dem System gemäß dem zweiten Aspekt der Erfindung durchgeführt werden. Die hierin im Zusammenhang mit dem System beschriebenen Merkmale und Vorteile sind daher auch für das Verfahren anwendbar und umgekehrt.
Gemäß einem dritten Aspekt stellt die Erfindung ein Computerprogrammprodukt zur Verfügung, das einen ausführbaren Programmcode umfasst, der dazu eingerichtet ist, bei seiner Ausführung das Verfahren gemäß dem ersten Aspekt der vorliegenden Erfindung durchzuführen.
Gemäß einem vierten Aspekt stellt die Erfindung ein nicht-flüchtiges computerlesbares Datenspeichermedium bereit, das einen ausführbaren Programmcode umfasst, der dazu eingerichtet ist, bei seiner Ausführung das Verfahren gemäß dem ersten Aspekt der vorliegenden Erfindung durchzuführen. Das nicht-flüchtige, computerlesbare Datenspeichermedium kann jede Art von Computerspeicher, insbesondere einen Halbleiterspeicher, wie z. B. einen Festkörperspeicher umfassen oder daraus bestehen. Das Datenspeichermedium kann auch eine CD, eine DVD, eine Blu-Ray-Disc, einen USB-Speicherstick oder dergleichen umfassen oder daraus bestehen.
Gemäß einem fünften Aspekt stellt die Erfindung einen Datenstrom zur Verfügung, der einen ausführbaren Programmcode umfasst oder dazu eingerichtet ist, einen solchen zu erzeugen, der dazu eingerichtet ist, bei seiner Ausführung das Verfahren gemäß dem ersten Aspekt der vorliegenden Erfindung durchzuführen.
Eine der Erfindung zugrundeliegende Idee besteht darin, ein computerimplementiertes Verfahren einzuführen, mit welchem Bildaufnahmen und insbesondere Videoaufnahmen mit einem reduzierten Datenspeicherplatz gespeichert (oder übertragen) werden könnten. Erfindungsgemäß wird die Reduzierung durch die Kombination von zwei Effekten erreicht: Einerseits werden Artefakte (z.B. von Hardwarebeschränkungen verursachte) von den Bildaufnahmen entfernt, um die Aufnahmequalität zu steigern. Dies erfolgt beispielsweise durch den Einsatz einer Burst-Bildverarbeitung.
Dadurch werden aus von einer Kamera erfassten Bildaufnahmen, vorverarbeitete, entrauschte Bildaufnahmen erzeugt. Andererseits wird die Auflösung der vorverarbeiteten Bildaufnahmen durch eine Super-Resolutions-Bildverarbeitung erhöht.
Das Verfahren kann in zwei Modi eingesetzt werden. In einem ersten Modus werden die vorverarbeiteten Bildaufnahmen komprimiert und danach mittels Superresolution verarbeitet. Die Superauflösung erfolgt dann als eine Nachverarbeitung, die beispielsweise während der Visualisierung der Videoaufnahme durchgeführt werden kann. In einem zweiten Modus werden die vorverarbeiteten Bildaufnahmen mit Super-Resolution verarbeitet und danach komprimiert. Das komprimierte Dateipaket umfasst in diesem Fall superaufgelösten Bildaufnahmen und keine Nachverarbeitung wird benötigt. Das vorstehend beschriebene computerimplementiertes Verfahren ermöglicht vorteilhafterweise eine Implementierung eines Systems zur Reduzierung der Datenmenge von zu speichernden Bildaufnahmen. Das System umfasst eine Bereitstellungseinheit, durch welche Bildaufnahmen einer medizinischen Tätigkeit oder Szenerie erfasst (beispielsweise wenn die Bereitstellungseinrichtung die Kamera eines Endoskops umfasst) oder einliest (beispielsweise wenn die aufgenommenen Bildaufnahmen von der Kamera eines Endoskops empfangen wurden). Eine Burst-Bildverarbei- tungseinrichtung dient dazu, eine Bildverarbeitung durchzuführen, die basierend auf Kombinationen der Bildaufnahmen entrauschte (oder störungsfreie) Bilraufnahmen (Bildaufnahmen mit reduzierten Bildartefakten) erzeugt. Eine Super-Resolutions- Bildverarbeitungseinrichtung dient dazu, superaufgelöste Bildaufnahmen mit Hilfe einer Super-Resolution zu generieren. Eine Bildkompressionseinrichtung ist dazu eingerichtet, die von der Burst-Bildverarbeitungseinrichtung erzeugten Bildaufnahmen oder die von der Super-Resolutions-Bildverarbeitungseinrichtung generierten Bildaufnahmen zu komprimieren.
Ein Vorteil der vorliegenden Erfindung besteht darin, dass durch die Kombination einer Burst-Bildverarbeitung und einer Super-Resolutions-Bildverarbeitung die Datenmenge der Bildaufnahmen deutlich verringert wird, und zwar ohne Verlust im Nutzsignal. Mit anderen Worten, die Entfernung des Bildrauschens und/oder verschiedener Bildartefakte sorgt dafür, dass die Komprimierung im Wesentlichen nur das Nutzsignal betrifft, was dazu dient, höhere Kompressionsfaktoren erreichen zu können. Die Super-Resolution sorgt dafür, dass die Auflösung der entrauschten Bildaufnahmen erhöht wird. Das Ergebnis ist eine hochauflösende Videoaufnahme mit guter Bildqualität und mit einem niedrigen Speicherplatzbedarf.
Ein anderer Vorteil der Erfindung besteht darin, dass eine bessere Schwachlicht- Leistung (oder Low-Light Performance) erreicht werden kann. Dies ermöglicht insbesondere eine Schonung der Patienten, indem dünnere Endoskope mit kleineren Kameraobjektiven für die medizinischen/chirurgischen Tätigkeiten eingesetzt werden können.
Ein weiterer Vorteil der Erfindung besteht darin, dass die Erhöhung der Bildqualität und Bildauflösung der verarbeiteten Videoaufnahmen nicht mit der Hardware eines Endoskops verbunden ist. Die Erfindung erfolgt durch eine Optimierung der Datenverarbeitung und erfordert keine Verbesserung der Hardware.
Vorteilhafte Ausführungsformen und Weiterentwicklungen ergeben sich aus den abhängigen Ansprüchen sowie aus der Beschreibung der verschiedenen bevorzugten Ausführungsformen, die in den beigefügten Figuren dargestellt sind.
Gemäß einigen bevorzugten Ausführungsformen, Varianten oder Weiterbildungen von Ausführungsformen ist vorgesehen, dass zum Erzeugen der vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz mehrere unterbelichtete Roh-Bildaufnah- men verwendet werden. Um die Bildverarbeitungen durchführen zu können braucht man Informationen aus den Roh-Bildaufnahmen. Somit kann das erfindungsgemäße System in einem Verfahren zur Bildverarbeitung verwendet werden, welches von Roh-Bildaufnahmen (beispielsweise von der Kamera eines Endoskops) bis zu fertigen Bildern oder Videos führt.
Bei endoskopischen Bildaufnahmen ist der Hell-Dunkel-Kontrast besonders stark. Daher ist es vorteilhaft, mit unterbelichteten Roh-Bildaufnahmen arbeiten zu können. Unerwünschte Effekte wie Bildrauschen oder Unschärfe durch die Bewegung (engl. „motion blur“) können dadurch minimiert werden und durch die Burst-Bildverarbeitung gefiltert und entfernt werden. Dies trägt dazu bei, dass die Schwachlicht-Leistung (Low-Light Performance) verbessert wird.
Gemäß einigen bevorzugten Ausführungsformen, Varianten oder Weiterbildungen von Ausführungsformen ist vorgesehen, dass das computerimplementierte Verfahren ferner ein Speichern der komprimierten generierten hochauflösenden und/oder der komprimierten erzeugten vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz umfasst. Erfindungsgemäß können die Daten nach einer Kompression gespeichert und in einem Computer, in einem Server oder in einer Cloud-Rechenplattform aufbewahrt werden. Die komprimierten Dateien können zumindest eine Kennzeichnung aufweisen, die indiziert, ob die Datei komprimierte erzeugte vorarbeitete Bildaufnahmen oder komprimierte generierte hochauflösende Bildaufnahmen enthält.
Gemäß einigen bevorzugten Ausführungsformen, Varianten oder Weiterbildungen von Ausführungsformen ist vorgesehen, dass das Generieren ein Einlesen der gespeicherten komprimierten erzeugten vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz umfasst. Das Einlesen kann mit einer Schnittstelle erfolgen, welche beispielsweise die Super-Resolutions-Bildverarbeitungseinrichtung aufweist. Damit kann das gespeicherte File abgerufen werden und für eine Visualisierung mit erhöhter Auflösung verarbeitet werden.
Gemäß einigen bevorzugten Ausführungsformen, Varianten oder Weiterbildungen von Ausführungsformen ist vorgesehen, dass das Erzeugen der vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz mittels Burst-Bildverarbeitung die folgenden Schritte umfasst:
Gruppieren der bereitgestellten Bildaufnahmen der Bildaufnahmesequenz zu Bildaufnahmegruppen, in Abhängigkeit einer Bildaufnahmerate;
Segmentieren jeder bereitgestellten Bildaufnahme der Bildaufnahmegruppe in Bildsegmente; und
Kombinieren entsprechender örtlich korrelierter Bildsegmente der verschiedenen Bildaufnahmen der Bildaufnahmegruppe zu einer vorverarbeiteten Bildaufnahme.
Eine Burst-Bildverarbeitung erzeugt Bildaufnahmen mit einer Vielfalt von Details der aufgenommenen körperlichen Strukturen. Die erzeugten Bildaufnahmen basieren auf einer Kombination von Signalinformationen aus einer Reihenfolge von zeitlich nacheinander angeordneten Bildaufnahmen. Die Burst-Bildverarbeitung kann durch einen Burst-Algorithmus ausgeführt werden. Demzufolge werden zuerst die Bildaufnahmen gruppiert, gebündelt, oder geclustert. Die Anzahl der Bildaufnahmen in jeder Gruppe hängt von der Bildaufnahmerate (die aufgenommenen Bildframes pro Sekunde) ab, die wiederum von der Kamera abhängt. In der Regel kann eine Gruppe zwischen 3 und 20 Bildaufnahmen enthalten. Daraufhin werden in jeder Gruppe die verschiedenen Bildaufnahmen segmentiert. Die Größe der Bildsegmente kann variieren. Ein Bildsegment kann ein Pixel beinhalten, aber auch einen großen Bereich einer Bildaufnahme. Die Segmente einer Bildaufnahme müssen nicht gleich sein. Wichtig ist, dass örtlich korrelierte Segmente der verschiedenen Bildaufnahmen einer Gruppe vergleichbar sind, damit sie in einem verarbeiteten Bildsegment kombiniert werden können. Die verarbeiteten Bildsegmente erzeugen eine verarbeitete Bildaufnahme.
Gemäß einigen bevorzugten Ausführungsformen, Varianten oder Weiterbildungen von Ausführungsformen ist vorgesehen, dass die Anzahl der entsprechenden örtlich korrelierten Bildsegmente, die zu einer vorverarbeiteten Bildaufnahme kombiniert werden, von der Helligkeit der entsprechenden Bildsegmente abhängt.
Ein Ziel der Kombination von verschiedenen Bildaufnahmen ist es, die unterbelichteten Roh-Bildaufnahmen zu überlappen, um eine normal belichtete Bildaufnahme zu erzeugen. In manchen Ausführungsformen kann die verarbeitete Bildaufnahme schneller erzeugt werden, indem die Überlappung der Bildsegmente von der Helligkeit der Bildsegmente abhängt. Je heller ein Bildsegment ist, desto weniger Bildaufnahmen der Bildaufnahmegruppe müssen verwendet werden, um das entsprechend verarbeitete Bildsegment zu erzeugen. Somit kann das hellste Bildsegment nur die letzte Bildaufnahme (in einer zeitlichen Ordnung der Bildaufnahmen) der Bildaufnahmegruppe verwenden, während das dunkelste Bildsegment sämtliche Bildaufnahmen der Bildaufnahmegruppe in Anspruch nehmen kann. Gemäß einigen bevorzugten Ausführungsformen, Varianten oder Weiterbildungen von Ausfuhrungsformen ist vorgesehen, dass das Kombinieren entsprechender örtlich korrelierter Bildsegmente umfasst:
Ausrichten der bereitgestellten Bildaufnahmen der Bildaufnahmegruppe zueinander;
Überlagern der Bildsegmente der zueinander ausgerichteten Bildaufnahmen der Bildaufnahmegruppe; und
Farbton-Mapping der überlagerten Bildsegmente der zueinander ausgerichteten Bildaufnahmen der Bildaufnahmegruppe.
Die Überlappung der verschiedenen Bildsegmente einer Bildaufnahmegruppe kann mindestens drei Schritte aufweisen: Zuerst eine Ausrichtung der Bildsegmente, die beispielsweise hinsichtlich einer Pixel-Identifizierung durchgeführt werden kann. Darauffolgend werden die Bildsegmente zusammengeführt oder überlagert. Dies kann adaptiv erfolgen, indem das Überlagern schrittweise ausgeführt wird. Beispielsweise kann in einer Bildaufnahmegruppe mit 20 Bildaufnahmen das Überlagern mit nur 4 Bildaufnahmen gleichzeitig erfolgen. Wenn die fünfte Bildaufnahme genommen wurde, dann wird die erste Bildaufnahme nicht mehr berücksichtigt, damit der Algorithmus immer mit 4 Bildaufnahmen gleichzeitig arbeitet. Das Überlagern dient dazu, Bildrauschen auszufiltern.
Daraufhin kann ein Farbton-Mapping ausgeführt werden. Unter Farbton-Mapping sind verschiedene Fertigungsmethoden der Bi Id Verarbeitung zu verstehen, beispielsweise Schwarzwert-Subtraktion, Weißabgleich, Bayer-Entmosaikung, bilineare Chroma-Entrauschung, sRGB-Farbkorrektur, Tone-Mapping, Gammakorrektur, globale Kontrastanpassung und Unschärfemaskenschärfung, und/oder eine Korrektur chromatischer Aberrationen.
Gemäß einigen bevorzugten Ausführungsformen, Varianten oder Weiterbildungen von Ausfuhrungsformen ist vorgesehen, dass das Generieren einer hochauflösenden Bildaufnahme mittels Super-Resolutions-Bildverarbeitung mit Hilfe eines trainierten Künstliche-Intelligenz-Modells erfolgt, wobei das trainierte Künstliche-Intelligenz- Modell einem Convolutional Neural Network, CNN, oder einer Deep-Learning- Architektur, insbesondere einer Transformer-basierten Architektur, entspricht oder dergleichen aufweist.
Bei der Super-Resolutions-Bildverarbeitung handelt es sich im Wesentlichen um eine Steigerung der Pixelanzahl einer Bildaufnahme durch einen Interpolierungs-Algorithmus, der neue Pixel erzeugt. Dieser Interpolierungs-Algorithmus kann mit einem Künstliche-Intelligenz-Modell implementiert oder zumindest damit teilweise unterstützt werden. Besonders geeignete Modellen sind Künstliche-Intelligenz-Modelle, die für Mustererkennung angepasst wurden. Darunter fallen insbesondere CNNs. Zunehmend wichtig sind Modelle mit Vision-Transformer (ViT)-basierten Architekturen, wie zum Beispiel ein Swin-Transformer. Damit kann man beispielsweise die generierten Bildaufnahmen mit einer vervierfachen Auflösung im Vergleich zu der Auflösung der Roh-Bildaufnahmen erzeugen.
Gemäß einigen bevorzugten Ausfiihrungsformen, Varianten oder Weiterbildungen von Ausfiihrungsformen ist vorgesehen, dass die Burst-Bildverarbeitungseinrichtung eine Berechnungseinheit umfasst, welche einen Burst-Algorithmus implementiert, welcher dazu ausgelegt ist, feine körperliche Strukturen wie Adern und Nerven in den bereitgestellten Bildaufnahmen der Bildaufnahmesequenz des Patienten zu erkennen. Insbesondere bei endoskopischen Bildaufnahmen ist es wichtig, dass die Burst-Bildverarbeitungseinrichtung daran angepasst ist, eine Erkennung von feinen Strukturen zu erreichen. Dies ist umgesetzt, indem diese Strukturen über die Bildaufnahmesequenz einer Bildaufnahmegruppe bei deren Bewegungen erkannt und mit einem Farbkontrast verstärkt werden, so dass die erzeugten verarbeiteten Bildaufnahmen diese feinen Strukturen mit zufriedenstellender Bildqualität darstellen.
Gemäß einigen bevorzugten Ausfiihrungsformen, Varianten oder Weiterbildungen von Ausfiihrungsformen ist vorgesehen, dass die Bereitstellungseinrichtung des Systems in einem Endoskop oder in einem Exoskop integriert ist. Die Bereitstellungseinrichtung kann die Videokamera eines Endoskops oder Exoskops und/oder andere Bildsensoren, die in einem Endoskop oder in einem Exoskop vorhanden sind, aufweisen. Die Burst-Bildverarbeitungseinrichtung und/oder die Super- Resolutions-Bildverarbeitungseinrichtung können in der Datenverarbeitungseinrichtung eines Endoskops oder eines Exoskops, welche die Signale der Kamera des En- doskops/Exoskops zu visualisierbaren Bildaufnahmen verarbeitet, implementiert sein.
Gemäß einigen bevorzugten Ausführungsformen, Varianten oder Weiterbildungen von Ausführungsformen ist vorgesehen, dass das System ferner eine Datenspeichereinrichtung umfasst, in welcher die von der Bildkompressionseinrichtung komprimierten Bildaufnahmen der Bildaufnahmesequenz gespeichert sind und von wo aus diese auslesbar sind. Die Datenspeichereinrichtung kann die komprimierten erzeugten verarbeiteten Bildaufnahmen und/oder die komprimierten generierten hochauflösenden Bildaufnahmen speichern.
Gemäß einigen bevorzugten Ausführungsformen, Varianten oder Weiterbildungen von Ausführungsformen umfasst das System ferner eine Videoschnittstelle, die dazu ausgelegt ist, die erzeugten vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz und/oder die generierten hochauflösenden Bildaufnahmen der Bildaufnahmesequenz zu einer Anzeigeeinheit des Systems zu übertragen. In manchen Ausführungsformen kann das System die verarbeiteten Bildaufnahmen, entweder nach der Burst-Bildverarbeitung oder nach der Super-Resolutions-Bildverarbeitung in einem Display von einem Nutzer visualisieren lassen. Wenn die Bildaufnahmen verarbeitete Echtzeitbildaufnahmen sind, die direkt aus der Videokamera eines Endoskops stammen, können vorteilhaft zumindest die Burst-Bildverarbeitungseinrichtung und die Super-Resolutions-Bildverarbeitungseinrichtung in der Anzeigeeinheit des Endoskops implementiert sein.
Obwohl hier und auch im Folgenden einige Funktionen als von Einrichtungen ausgeführt beschrieben werden, bedeutet dies nicht zwangsläufig, dass diese Einrichtungen als voneinander getrennte Einheiten bereitgestellt werden. In Fällen, in denen eine oder mehrere Einrichtungen oder auch ein Teil davon als Software bereitgestellt werden, können die Einrichtungen durch Programmcodeabschnitte oder Programmcodeschnipsel implementiert werden, die voneinander getrennt sein können, aber auch miteinander verwoben oder integriert sein können.
Ebenso können in Fällen, in denen eine oder mehrere Einrichtungen als Hardware bereitgestellt werden, die Funktionen einer oder mehrerer Einrichtungen durch ein und dieselbe Hardwarekomponente bereitgestellt werden oder die Funktionen mehrerer Einrichtungen können auf mehrere Hardwarekomponenten verteilt sein, die nicht notwendigerweise den Einrichtungen entsprechen müssen. Es ist daher davon auszugehen, dass jede Anwendung, jedes System, jedes Verfahren usw., das alle einer bestimmten Einrichtung zugeschriebenen Merkmale und Funktionen aufweist, diese Einrichtung umfasst oder implementiert. Insbesondere ist es möglich, dass alle Einrichtungen durch Programmcode implementiert werden, der von z.B. einem Server oder einer Cloud-Computing-Plattform, ausgeführt wird.
Alle genannten Ausfuhrungsformen und Implementierungen können beliebig miteinander kombiniert werden, soweit dies sinnvoll ist.
Der weitere Umfang der Anwendbarkeit des vorliegenden Verfahrens und des Systems wird aus den folgenden Figuren, der detaillierten Beschreibung und den Ansprüchen ersichtlich. Es versteht sich jedoch, dass die detaillierte Beschreibung und die spezifischen Beispiele, zwar bevorzugte Ausfuhrungsformen der Erfindung angeben, jedoch in erster Linie zur Veranschaulichung dienen und verschiedene Änderungen und Modifikationen innerhalb des grundlegenden Gedankens und des Umfangs der Erfindung für Fachleute erkennbar sind.
Kurze Beschreibung der Zeichnungen
Nachstehend wird die Erfindung mit Bezug auf ihre vorteilhaften Ausführungsformen anhand der folgenden Zeichnungen beschrieben. In den Zeichnungen werden identische oder funktionell ähnliche Elemente in den einzelnen Ansichten mit den gleichen Bezugszeichen bezeichnet. Die Zeichnungen dienen dazu, Ausführungsformen von Konzepten, die die beanspruchte Erfindung beinhalten, weiter zu veranschaulichen und verschiedene Prinzipien und Vorteile dieser Ausführungsformen zu erläutern. Elementen, die in den Zeichnungen geschildert sind, sind nicht unbedingt maßgetreu dargestellt. Dies dient dazu, die Grundlagen und Prinzipien der Erfindung klar und deutlich zu offenbaren.
In den Zeichnungen zeigt:
Fig. 1 ein schematisches Ablaufdiagramm eines computerimplementierten Verfahrens zur Reduzierung einer Datenmenge von zu speichernden Bildaufnahmen einer Bildaufnahmesequenz gemäß einer Ausführungsform der Erfindung;
Fig. 2 ein schematisches Ablaufdiagramm eines computerimplementierten Verfahrens zur Reduzierung einer Datenmenge von zu speichernden Bildaufnahmen einer Bildaufnahmesequenz gemäß einer weiteren Ausführungsform der Erfindung;
Fig. 3 ein System zur Reduzierung einer Datenmenge von zu speichernden Bildaufnahmen einer Bildaufnahmesequenz gemäß einer Ausführungsform der Erfindung;
Fig. 4 ein Endoskop, in dem ein System zur Reduzierung einer Datenmenge von zu speichernden Bildaufnahmen einer Bildaufnahmesequenz gemäß einer Ausführungsform der Erfindung implementiert ist; Fig. 5 ein schematisches Blockdiagramm, das ein Computerprogrammprodukt gemäß einer Ausführungsform des dritten Aspekts der vorliegenden Erfindung darstellt; und
Fig. 6 ein schematisches Blockdiagramm, das ein Datenspeichermedium gemäß einer Ausführungsform des vierten Aspekts der vorliegenden Erfindung zeigt.
In einigen Fällen werden bekannte Strukturen und Geräte in Form von Blockdiagrammen dargestellt, um die Konzepte der vorliegenden Erfindung zu illustrieren. Auch die Nummerierung der Schritte in den Verfahren soll deren Beschreibung erleichtern. Sie implizieren nicht unbedingt eine bestimmte Reihenfolge der Schritte. Insbesondere können mehrere Schritte gleichzeitig oder zeitlich überlappend durchgeführt werden.
Beschreibung der Zeichnungen
Die ausführliche Beschreibung der anliegenden Zeichnungen enthält spezifische Details, um ein umfassendes Verständnis der vorliegenden Erfindung zu ermöglichen. Dem Fachmann wird jedoch klar sein, dass die vorliegende Erfindung auch ohne diese spezifischen Details ausgeführt werden kann.
Fig. 1 zeigt ein schematisches Ablaufdiagramm eines computerimplementierten Verfahrens zur Reduzierung einer Datenmenge von zu speichernden Bildaufnahmen einer Bildaufnahmesequenz gemäß einer Ausführungsform der Erfindung.
In einem Schritt S1 werden Bildaufnahmen einer Bildaufnahmesequenz eines Patienten mit einer ersten Auflösung bereitgestellt. Die Bildaufnahmen könnten von einer Videokamera stammen, beispielsweise von einer Videokamera, die an dem distalen Ende eines Endoskops angebracht wurde. Die Bildaufnahmen werden in diesem Fall eingelesen oder erfasst. Die Bildaufnahmesequenz umfasst vorteilhaft unterbelichtete Roh-Bildaufnahmen.
In einem Schritt S2 werden die bereitgestellten Bildaufnahmen durch eine Burst- Bildverarbeitung vorverarbeitet, um entsprechende Bildaufnahmen der Bildaufnahmesequenz mit einem reduzierten Bildrauschen und/oder reduzierten Bildartefakte zu erzeugen. Nach der Ausführungsform der Fig. 1 umfasst der Schritt S2 die Schritte S20, S21 und S22.
In dem Schritt S20 werden die bereitgestellten Bildaufnahmen der Bildaufnahmesequenz zu Bildaufnahmegruppen gruppiert. Die Anzahl der Bildaufnahmen pro Bildaufnahmegruppe hängt vorteilhaft von der Bildaufnahmerate (die aufgenommenen Bildrahmen pro Sekunde) ab. Die Bildaufnahmerate kann mit der Videokamera in Abhängigkeit von den aufzunehmenden körperlichen Strukturen eingestellt werden, etwa durch einen Benutzer. Beispielsweise kann eine Bildaufnahmegruppe zwischen 3 und 20 Bildaufnahmen enthalten.
In dem Schritt S21 werden in jeder Bildaufnahmegruppe die verschiedenen Bildaufnahmen segmentiert. Die Größe der Bildsegmente kann variabel sein. Ein Bildsegment kann nur ein Pixel beinhalten, oder einen wesentlichen Bereich der Bildaufnahme (d.h. mehrere Pixel, beispielsweise über 30% oder sogar über 50% der Pixel der Bildaufnahme). Die Bildsegmente einer Bildaufnahme müssen nicht gleich groß sein. In der Regel sollen die Bildsegmente dafür sorgen, dass alle Details und Eigenschaften einer Bildaufnahme optimal identifiziert sind. Bereiche einer Bildaufnahme, die homogen aussehen, können beispielsweise mit einem Bildsegment assoziiert oder dargestellt werden. Bereiche einer Bildaufnahme mit verschiedenen Details benötigen in der Regel mehr als ein Bildsegment. Vorteilhaft ist es, wenn örtlich korrelierte Bildsegmente der verschiedenen Bildaufnahmen einer Bildaufnahmegruppe vergleichbar groß sind. Die Anzahl der örtlich korrelierten Bildsegmente kann in manchen Ausführungsformen der Erfindung von der Helligkeit der entsprechenden Bildsegmente abhängen. In dem Schrit S22 werden die örtlich korrelierten Bildsegmente zu einer entsprechenden vorverarbeiteten Bildaufnahme kombiniert. Nach der Ausftihrungsform der Fig. 1 umfasst der Schritt S22 die Schrite S221, S222 und S223.
In dem Schritt S221 wird eine Ausrichtung der Bildsegmente ausgeführt, die beispielsweise hinsichtlich einer Pixel-Identifizierung durchgeführt werden kann.
In dem Schritt S222 werden die Bildsegmente zusammengeführt und/oder überlagert Dies kann adaptiv erfolgen, indem das Überlagern schrittweise ausgeführt wird. Beispielsweise kann in einer Bildaufnahmegruppe mit 20 Bildaufnahmen das Überlagern mit nur 4 Bildaufnahmen gleichzeitig erfolgen. Wenn die fünfte Bildaufnahme genommen wurde, wird die erste Bildaufnahme nicht mehr berücksichtigt, damit immer 4 Bildaufnahmen gleichzeitig bearbeitet werden. Das Überlagern dient meistens dazu, Bildrauschen auszufiltern.
In dem Schritt S223 wird ein Farbton-Mapping ausgeführt. Unter Farbton-Mapping sind verschiedene Methoden der Bildverarbeitung zu verstehen, beispielsweise Schwarzwert-Subtraktion, Weißabgleich, Bayer-Entmosaikung, bilineare Chroma- Entrauschung, sRGB-Farbkorrektur, Tone-Mapping, Gammakorrektur, globale Kontrastanpassung und Unschärfemaskenschärfung, und/oder eine Korrektur chromatischer Aberrationen.
In einem Schritt S3 wird, für jede erzeugte vorverarbeitete Bildaufnahme der Bildaufnahmesequenz, eine Bildaufnahme mittels Super-Resolutions-Bildverarbeitung generiert. Die generierten Bildaufnahmen besitzen aufgrund derSuper-Resolution eine höhere Bildauflösung (beispielsweise eine vervierfachte Auflösung) als die bereitgestellten Bildaufnahmen. In einem Schritt S4 werden die generierten hochauflösenden Bildaufnahmen der Bildaufnahmesequenz komprimiert. Die Kompression kann mittels herkömmlichen Methoden (mp4/jpeg) ausgeführt werden.
In einem Schritt S5 werden die komprimierten Bildaufnahmen gespeichert. Die Bildaufnahmen können als komprimierte Videodateien in einem Computer, in einem Server oder in einer Cloud-Rechenplattform gespeichert und aufbewahrt werden.
Fig. 2 zeigt ein schematisches Ablaufdiagramm eines computerimplementierten Verfahrens zur Reduzierung einer Datenmenge von zu speichernden Bildaufnahmen einer Bildaufnahmesequenz gemäß einer weiteren Ausführungsform der Erfindung.
In dem Schritt S 1 werden Bildaufnahmen einer Bildaufnahmesequenz eines Patienten, die beispielsweise von einer Videokamera eines Endoskops stammen, mit einer ersten Auflösung bereitgestellt.
In einem Schritt S2 werden die bereitgestellten Bildaufnahmen durch eine Burst- Bildverarbeitung vorverarbeitet, um entsprechende Bildaufnahmen der Bildaufnahmesequenz mit einem reduzierten Bildrauschen und/oder reduzierten Bildartefakte zu erzeugen. Der Schritt S2 kann beispielsweise die Schritte S20, S21 und/oder S22, die in Zusammenhang mit Fig. 1 beschreiben wurden, umfassen (nicht in Fig. 2 gezeigt). Weiterhin kann der Schritt S22, wenn vorhanden, die Schritte S221 , S222 und/oder S223, die in Zusammenhang mit Fig. 1 beschreiben wurden, umfassen (nicht in Fig. 2 gezeigt).
In Fig. 2 werden in einem Schritt S4 die im Schritt S2 erzeugten vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz komprimiert.
Die komprimierten Bildaufnahmen werden in einem Schritt S5 gespeichert. Die Bildaufnahmen können als komprimierte Videodateien in einem Computer, in einem Server oder in einer Cloud-Rechenplattform gespeichert und aufbewahrt werden. In einem Schrit S3 werden die erzeugten vorverarbeiteten Bildaufnahmen mittels Superresolution verarbeitet und entsprechende Bildaufnahmen generiert. Die generierten Bildaufnahmen besitzen aufgrund der Super-Resolution eine höhere Bildauflösung (beispielsweise eine vervierfachte Auflösung) als die bereitgestellten Bildaufnahmen und die erzeugten vorverarbeiteten Bildaufnahmen. Der Schritt S3 umfasst einen Schritt S31. In dem Schritt S31 werden die gespeicherten komprimierten erzeugten vorverarbeiteten Bildaufnahmen eingelesen.
Eine Super-Resolutions-Bildverarbeitung kann komprimierte sowie unkomprimierte Bildaufnahmen verarbeiten. Eine vorherige Dekomprimierung der im Schritt S4 komprimierten Bildaufnahmen ist daher nicht erforderlich. In manchen Ausführungsformen kann jedoch vorgesehen sein, dass vor dem Schrit S3 ein Schrit des Dekomprimierens durchgeführt wird.
Die in Fig. 2 dargestellte Ausführungsform der Erfindung kann vorteilhaft sein, um den Speicherplatzbedarf weiter zu verringern. Die Super-Resolution erfolgt in diesem Fall als eine Nachverarbeitung der Bildaufnahmen während der Visualisierung der Videodatei.
Bei dem Verfahren gemäß Fig. 1 werden die superaufgelösten Bildaufnahmen komprimiert und dann gespeichert. Nach der Super-Resolutions-Bildverarbeitung wird die Pixelanzahl größer und dementsprechend benötigen die generierten hochauflösenden Bildaufnahmen mehr Speicherplatz als die erzeugten mit Burst-Bildverarbeitung vorverarbeiteten Bildaufnahmen. Die generierten hochauflösenden Bildaufnahmen benötigen aber immer noch weniger Speicherplatz als herkömmlichen Bildaufnahmen, die z.B. von einer Videokamera eines Endoskops stammen. Der Vorteil der in Fig. 1 dargestellte Ausführungsform besteht darin, dass die gespeicherte Videodatei superaufgelöste Bildaufnahmen umfasst und keine Super-Resolutions-Nachverar- beitung notwendig ist. - TI -
Fig. 3 zeigt ein System 100 zur Reduzierung einer Datenmenge von zu speichernden Bildaufnahmen einer Bildaufnahmesequenz gemäß einer Ausführungsform der Erfindung. Die verschiedenen Bestandteile und Funktionen sind schemenhaft als Blöcke dargestellt. Die räumliche Anordnung der Blöcke in Fig. 3 dient nur der Illustration der dargestellten Ausführungsform.
Wie in Fig. 3 gezeigt, umfasst das System 100 eine Bereitstellungseinrichtung 10, eine Burst-Bildverarbeitungseinrichtung 20, eine Super-Resolutions-Bildverarbei- tungseinrichtung 30, eine Bildkompressionseinrichtung 40, eine Datenspeichereinrichtung 50 und eine Videoschnittstelle 60.
Die Bereitstellungseinrichtung 10 ist dazu eingerichtet, eine oder mehrere Bildaufnahmen D0 in einer Bildaufnahmesequenz eines Patienten zu erfassen oder einzu lesen. Die Bildaufnahmen D0 können beispielsweise unterbelichteten Roh-Bildaufnah- men sein oder aufweisen, welche mit einer Videokamera aufgenommen werden oder wurden. Beispielsweise kann die Videokamera eine Videokamera sein, die am Ende eines Endoskops oder Exoskops angebracht ist. In manchen Ausführungsformen kann die Bereitstellungseinrichtung 10 die Videokamera eines Endoskops umfassen.
Die Burst-Bildverarbeitungseinrichtung 20 dient dazu, auf Basis der bereitgestellten Bildaufnahmen entsprechende vorverarbeitete Bildaufnahmen Dl mittels einer Burst-Bildverarbeitung zu erzeugen. Die Burst-Bildverarbeitungseinrichtung 20 kann einen Berechnungseinheit 210 umfassen, welche einen Burst-Algorithmus implementiert. Der Burst-Algorithmus sorgt dafür, dass feine körperliche Strukturen, beispielsweise Adern und Nerven, die in den Bildaufnahmen D0 vorhanden sind, nach der Burst-Bildverarbeitung auf den erzeugten vorverarbeiteten Bildaufnahmen Dl zu erkennen sind.
Weiterhin kann die Burst-Bildverarbeitung 20 verschiedenen Einheiten aufweisen, die dazu einrichtet sind, die verschiedenen Schritte der Burst-Bildverarbeitung durchzuführen. Eine Gruppierungseinheit, eine Segmentierungseinheit und eine Kombinierungseinheit (nicht in Fig. 3 gezeigt) können beispielsweise dazu dienen, dass jeweils einer der Schritte S20, S21 und S22, die in Zusammenhang mit Fig. 1 beschrieben wurden, durchgeführt werden. In ähnlicher Weise kann die Burst-Bild- verarbeitungseinrichtung 20 eine Ausrichtungseinheit, eine Überlagerungseinheit und eine Farbton-Mapping-Einheit aufweisen, welche dazu eingerichtet sind, jeweils einen der Schritte S221 , S222 und S223, die in Zusammenhang mit Fig. 1 beschrieben wurden, durchzuführen.
Die Super-Resolutions-Bildverarbeitungseinrichtung 30 ist dazu eingerichtet, für jede erzeugte vorverarbeitete Bildaufnahme Dl der Bildaufnahmesequenz eine entsprechende hochauflösende (oder: hochaufgelöste) Bildaufnahme D2 zu generieren. Die Super-Resolutions-Bildverarbeitungseinrichtung 30 ist in der Lage, komprimierte sowie unkomprimierte Dateien einlesen zu können. Die Super-Resolutions- Bildverarbeitungseinrichtung 30 kann mit Hilfe eines trainierten Künstliche-Intelli- genz-Modells die Erhöhung der Auflösung durchführen. Das Künstliche-Intelligenz- Modell kann ein Modell aufweisen, welches für die Mustererkennung angepasst ist, beispielsweise ein Modell, welches auf Convolutional Neural Networks (CNN) oder Vision-Transformer-Architekturen basiert oder ein solches/eine solche umfasst.
Die Bildkompressionseinrichtung 40 dient dazu, die generierten hochauflösenden Bildaufnahmen D2 und/oder die erzeugten vorverarbeiteten Bildaufnahmen Dl zu komprimieren. Die Kompression kann eine herkömmliche Kompression mittels mp4/jpeg oder dergleichen umfassen.
Die Datenspeichereinrichtung 50 ist dazu eingerichtet, komprimierte Bildaufnahmen als Files zu speichern. Von dort können die Dateien abrufbar und/oder auslesbar sein. Die Datenspeichereinrichtung 50 kann ein Datenspeichermedium eines Computers sein oder umfassen. Alternativ kann die Datenspeichereinrichtung 50 in einem Server oder einer Cloud-Rechenplattform implementiert sein. Die Videoschnitstelle 60 dient dazu, die verarbeiteten Bildaufnahmen, entweder die erzeugten vorverarbeiteten Bildaufnahmen Dl oder die generierten hochauflösenden Bildaufnahmen D2 visualisieren zu lassen. Die Videoschnittstelle 60 kann mindestens einen Monitor umfassen. Die Videoschnitstelle 60 kann in tragbare Benutzergeräte, beispielsweise in einem Handy oder in einem Tablett, oder in nicht-tragbare Geräte, insbesondere in einn Videoprozessor eines Endoskops, implementiert sein.
Fig. 4 zeigt ein Endoskop E, in dem ein System 100 zur Reduzierung einer Datenmenge von zu speichernden Bildaufnahmen einer Bildaufnahmesequenz gemäß einer Ausführungsform der Erfindung implementiert ist. Das in Fig. 4 dargestellte Endoskop E weist eine Bereitstellungseinrichtung 10 (hier: Videokamera K des Videoendoskops I) und eine Bildverarbeitungseinheit 150 auf, welche die übrigen Elemente des Systems 100 umfasst.
Fig. 5 zeigt ein schematisches Blockdiagramm, das ein Computerprogrammprodukt 300 gemäß einer Ausführungsform des dritten Aspekts der vorliegenden Erfindung illustriert. Das Computerprogrammprodukt 300 umfasst einen ausführbaren Programmcode 350, der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren gemäß einer beliebigen Ausführungsform des zweiten Aspekts der vorliegenden Erfindung durchführt, insbesondere wie in den vorangegangenen Figuren beschrieben.
Fig. 6 zeigt ein schematisches Blockdiagramm, das ein nicht flüchtiges computerlesbares Datenspeichermedium 400 gemäß einer Ausführungsform des vierten Aspekts der vorliegenden Erfindung illustriert. Das Datenspeichermedium 400 umfasst einen ausführbaren Programmcode 450, der so konfiguriert ist, dass er, wenn er ausgeführt wird, das Verfahren gemäß einer beliebigen Ausführungsform des zweiten Aspekts der vorliegenden Erfindung durchführt, insbesondere so, wie es in Bezug auf die vorangegangenen Figuren beschrieben wurde.
Das nicht-flüchtige, computerlesbare Datenspeichermedium kann jede Art von Computerspeicher, insbesondere einen Halbleiterspeicher wie einen Festkörperspeicher, umfassen oder daraus bestehen. Das Datenspeichermedium kann auch eine CD, eine DVD, eine Blu-Ray-Disc, einen USB-Speicherstick oder ähnliches umfassen oder aus solchen bestehen.
Bezugszeichenliste
10 Bereitstellungseinrichtung
20 Burst-Bildverarbeitungseinrichtung
30 Super-Resolutions-Bildverarbeitungseinrichtung
40 Bildkompressionseinrichtung
50 Datenspeichereinrichtung
60 Videoschnittstelle
100 System
150 Bilderverarbeitungseinheit
210 Berechnungseinheit
300 Computerprogramprodukt
350 Programmcode
400 Datenspeichermedium
450 Programmcode
E Endoskop
I Videoendoskop
K Kamera
D0 Bildaufnahme
Dl vorverarbeitete Bildaufnahme
D2 hochauflösende Bildaufnahme
S1..S223
V erfahren sschritte

Claims

Patentansprüche:
1. Computerimplementiertes Verfahren zur Reduzierung einer Datenmenge von zu speichernden Bildaufnahmen (DO) einer Bildaufnahmesequenz eines Patienten, mit den Schritten:
Bereitstellen (S l) einer oder mehrerer Bildaufnahmen (DO) einer Bildaufnahmesequenz eines Patienten mit einer ersten Bildauflösung;
Erzeugen (S2), basierend auf den bereitgestellten Bildaufnahmen (DO) der Bildaufnahmesequenz, entsprechender vorverarbeiteter Bildaufnahmen (Dl) der Bildaufnahmesequenz mittels Burst-Bildverarbeitung, wobei die vorverarbeiteten Bildaufnahmen (Dl ) der Bildaufnahmesequenz ein reduziertes Bildrauschen und/oder reduzierte Bildartefakte aufweisen;
Generieren (S3), für jede erzeugte vorverarbeitete Bildaufnahme (Dl) der Bildaufnahmesequenz, einer Bildaufnahme (D2) mit einer zweiten Bildauflösung mittels Super-Resolutions-Bildverarbeitung, wobei die zweite Bildauflösung höher als die erste Bildauflösung ist; und
Komprimieren (S4) der generierten hochauflösenden Bildaufnahmen (D2) und/oder der erzeugten vorverarbeiteten Bildaufnahmen (Dl) der Bildaufnahmesequenz zur Reduzierung der zu speichernden Datenmenge der Bildaufnahmesequenz.
2. Computerimplementiertes Verfahren nach Anspruch 1, wobei zum Erzeugen (S2) der vorverarbeiteten Bildaufnahmen (Dl ) der Bildaufnahmesequenz mehrere unterbelichtete Roh-Bildaufnahmen verwendet werden.
3. Computerimplementiertes Verfahren nach einem der vorangehenden Ansprüche, ferner umfassend ein Speichern (S5) der komprimierten generierten hochauflösenden und/oder der komprimierten erzeugten vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz.
4. Computerimplementiertes Verfahren nach Anspruch 3, wobei das Generieren (S3) ein Einlesen (S3 1) der gespeicherten komprimierten erzeugten vorverarbeiteten Bildaufnahmen der Bildaufnahmesequenz umfasst.
5. Computerimplementiertes Verfahren nach einem der vorangehenden Ansprüche, wobei das Erzeugen (S2) der vorverarbeiteten Bildaufnahmen (Dl) der Bildaufnahmesequenz mittels Burst-Bildverarbeitung die folgenden Schritte umfasst:
Gruppieren (S20) der bereitgestellten Bildaufnahmen (DO) der Bildaufnahmesequenz zu Bildaufnahmegruppen, in Abhängigkeit einer Bildaufnahmerate;
Segmentieren (S21) jeder bereitgestellten Bildaufnahme (DO) der Bildaufnahmegruppe in Bildsegmente; und
Kombinieren (S22) entsprechender örtlich korrelierter Bildsegmente der verschiedenen Bildaufnahmen (DO) der Bildaufnahmegruppe zu einer vorverarbeiteten Bildaufnahme (Dl).
6. Computerimplementiertes Verfahren nach Anspruch 5, wobei die Anzahl der entsprechenden örtlich korrelierten Bildsegmente, die zu einer vorverarbeiteten Bildaufnahme (Dl) kombiniert werden, von der Helligkeit der entsprechenden Bildsegmente abhängt.
7. Computerimplementiertes Verfahren nach Anspruch 5 oder 6, wobei das Kombinieren (S22) entsprechender örtlich korrelierter Bildsegmente umfasst:
Ausrichten (S221) der bereitgestellten Bildaufnahmen (DO) der Bildaufnahmegruppe zueinander;
Überlagern (S222) der Bildsegmente der zueinander ausgerichteten Bildaufnahmen der Bildaufnahmegruppe; und
Farbton-Mapping (S223) der überlagerten Bildsegmente der zueinander ausgerichteten Bildaufnahmen der Bildaufnahmegruppe.
8. Computerimplementiertes Verfahren nach einem der vorangehenden Ansprüche, wobei das Generieren (S3) einer hochauflösenden Bildaufnahme (D2) mittels Super-Resolutions-Bildverarbeitung mithilfe eines trainierten künstlichen Intelligenz-Modell erfolgt, wobei das trainierte künstliche Intelligenz-Modell einem Convolutional Neural Network, CNN, oder einer Deep-Learning-Architektur, insbesondere einer Transformer-basierten Architektur, entspricht.
9. System (100) zur Reduzierung einer Datenmenge von zu speichernden Bildaufnahmen (D0) einer Bildaufnahmesequenz eines Patienten, umfassend: eine Bereitstellungseinrichtung (10), welche dazu eingerichtet ist, eine oder mehrere Bildaufnahmen (D0) in einer Bildaufnahmesequenz eines Patienten mit einer ersten Bildauflösung bereitzustellen; eine Burst-Bildverarbeitungseinrichtung (20), welche dazu eingerichtet ist, basierend auf den bereitgestellten Bildaufnahmen (D0) der Bildaufnahmesequenz, entsprechende vorverarbeitete Bildaufnahmen (Dl) der Bildaufnahmesequenz mittels Burst-Bildverarbeitung zu erzeugen, wobei die vorverarbeiteten Bildaufnahmen (Dl) der Bildaufnahmesequenz ein reduziertes Bildrauschen und/oder reduzierte Bildartefakte aufweisen; eine Super-Resolutions-Bildverarbeitungseinrichtung (30), welche dazu eingerichtet ist, für jede erzeugte vorverarbeitete Bildaufnahme (Dl) der Bildaufnahmesequenz, eine Bildaufnahme (D2) mit einer zweiten Bildauflösung mittels Superresolutions-Bildverarbeitung zu generieren, wobei die zweite Bildauflösung höher als die erste Bildauflösung ist; und eine Bildkompressionseinrichtung (40), die dazu eingerichtet ist, die generierten hochauflösenden Bildaufnahmen (D2) und/oder der erzeugten vorverarbeiteten Bildaufnahmen (Dl) der Bildaufnahmesequenz zur Reduzierung der zu speichernden Datenmenge der Bildaufnahmesequenz zu komprimieren.
10. System (100) nach Anspruch 9, wobei die Burst-Bildverarbeitungseinrichtung (20) eine Berechnungseinheit (210) umfasst, welche einen Burst-Algorithmus implementiert, welcher dazu ausgelegt ist, feine körperliche Strukturen wie Adern und Nerven in den bereitgestellten Bildaufnahmen (D0) der Bildaufnahmesequenz des Patienten zu erkennen.
1 1 . System (100) nach einem der Ansprüche 9 oder 10, wobei die Bereitstellungseinrichtung (10) in einem Endoskop (E) oder in einem Exoskop integriert ist.
12. System (100) nach einem der Ansprüche 9 bis 1 1 , ferner umfassend eine Datenspeichereinrichtung (50), in welcher die von der Bildkompressionseinrichtung (40) komprimierten Bildaufnahmen der Bildaufnahmesequenz gespeichert und von dort auslesbar sind.
13. System (100) nach einem der Ansprüche 9 bis 12, ferner umfassend eine Videoschnittstelle (60), die dazu ausgelegt ist, die erzeugten vorverarbeiteten Bildaufnahmen (Dl ) der Bildaufnahmesequenz und/oder die generierten hochauflösenden Bildaufnahmen (D2) der Bildaufnahmesequenz zu einer Anzeigeeinheit (70) des Systems (100) zu übertragen.
14. Computerprogrammprodukt (300), umfassend ausführbaren Programmcode (350), der dazu ausgelegt ist, wenn er ausgeführt wird, das computerimplementierte Verfahren gemäß Patentansprüche 1 bis 8 durchzuführen.
15. Nicht-flüchtiges computerlesbares Datenspeichermedium (400), umfassend ausführbaren Programmcode (450), der dazu ausgelegt ist, wenn er ausgeführt wird, das computerimplementierte Verfahren gemäß Patentansprüche 1 bis 8 durchzufüh- ren.
PCT/EP2024/064819 2023-06-05 2024-05-29 Computerimplementiertes verfahren und system zur reduzierung einer datenmenge von bildaufnahmen Ceased WO2024251593A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP24730315.9A EP4720980A1 (de) 2023-06-05 2024-05-29 Computerimplementiertes verfahren und system zur reduzierung einer datenmenge von bildaufnahmen

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023114677.7 2023-06-05
DE102023114677.7A DE102023114677B3 (de) 2023-06-05 2023-06-05 Computerimplementiertes Verfahren und System zur Reduzierung einer Datenmenge von Bildaufnahmen

Publications (1)

Publication Number Publication Date
WO2024251593A1 true WO2024251593A1 (de) 2024-12-12

Family

ID=91375204

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2024/064819 Ceased WO2024251593A1 (de) 2023-06-05 2024-05-29 Computerimplementiertes verfahren und system zur reduzierung einer datenmenge von bildaufnahmen

Country Status (3)

Country Link
EP (1) EP4720980A1 (de)
DE (1) DE102023114677B3 (de)
WO (1) WO2024251593A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170076451A1 (en) * 2015-09-11 2017-03-16 Siemens Healthcare Gmbh Diagnostic system and diagnostic method
US20210052226A1 (en) * 2019-08-22 2021-02-25 Scholly Fiberoptic Gmbh Method for suppressing image noise in a video image stream, and associated medical image recording system and computer program product

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7489825B2 (en) 2005-07-13 2009-02-10 Ge Medical Systems Method and apparatus for creating a multi-resolution framework for improving medical imaging workflow
DE102019217524A1 (de) 2019-11-13 2021-05-20 Siemens Healthcare Gmbh Verfahren und Bildverarbeitungsvorrichtung zum Segmentieren von Bilddaten und Computerprogrammprodukt

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170076451A1 (en) * 2015-09-11 2017-03-16 Siemens Healthcare Gmbh Diagnostic system and diagnostic method
US20210052226A1 (en) * 2019-08-22 2021-02-25 Scholly Fiberoptic Gmbh Method for suppressing image noise in a video image stream, and associated medical image recording system and computer program product

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MAURICIO DELBRACIO ET AL: "Mobile Computational Photography: A Tour", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 17 February 2021 (2021-02-17), XP081887707 *

Also Published As

Publication number Publication date
DE102023114677B3 (de) 2024-08-01
EP4720980A1 (de) 2026-04-08

Similar Documents

Publication Publication Date Title
EP4258204A1 (de) Bildverarbeitungsverfahren, vorrichtung, computerprogramm und computerlesbarer datenträger
DE602004009702T2 (de) Verfahren und System zur automatischen Reduzierung von Aliasing-Artefakten
DE19983560B4 (de) Ein allgemeines Bildverbesserungsverfahren- und system
DE102004007649A1 (de) System und Verfahren zum Analysieren eines digitalen Bildes
DE60203850T2 (de) System und Verfahren zum Verarbeiten von Bildern mit aufgelöster Mosaikstruk- tur, um durch Farb-Aliasing hervorgerufenen Artefakte zu verringern.
DE202012013682U1 (de) Videokommunikation mit ultraniedriger Latenz
DE202015003717U1 (de) "System zur dynamischen Wahl der Kompressionsrate"
DE60114651T2 (de) Verfahren zur Kompression von im Farbfilteranordnungsformat (CFA) aufgenommenen digitalen Bildern
DE112015003626T5 (de) System und verfahren zum erhöhen der bittiefe von bildern
WO2022122240A1 (de) Verfahren und vorrichtung zum detektieren einer störpflanzenabbildung in einem kamerarohbild und bildverarbeitungseinrichtung
EP2790408A1 (de) Verfahren zur komprimierten Speicherung von grafischen Daten
DE69802255T2 (de) Verfahren und Gerät zur Einführung von Referenzstörungen in Videosignalen
DE102011117654B4 (de) Verfahren zum Betreiben einer Bildverarbeitungseinrichtung sowie entsprechende Bildverarbeitungseinrichtung
DE102023114677B3 (de) Computerimplementiertes Verfahren und System zur Reduzierung einer Datenmenge von Bildaufnahmen
DE602004000471T2 (de) Ophthalmologische Bildverarbeitungsvorrichtung
DE112017000024B4 (de) Bildverarbeitungsvorrichtung und elektronisches Endoskopsystem
DE102016120845B4 (de) Kamerasystem und Betriebsverfahren hierfür
DE112022003499T5 (de) Informationsverarbeitungsvorrichtung und Verfahren
DE10238576B4 (de) Bildbearbeitungsverfahren
DE102022133484A1 (de) Einzelbild-HDR-Fusion auf Basis der Multi-Binning-Methode
DE102011117659A1 (de) Verfahren zum Betreiben einer Bildverarbeitungeinrichtung sowie entsprechende Bildverarbeitungeinrichtung
DE102024120612A1 (de) Verfahren zum Verarbeiten und Speichern von Bilddaten, und Kamerasystem
DE102014219163B4 (de) Elektronische Korrektur von durch Defekte eines Röntgendetektors hervorgerufenen Bildartefakten
DE102006028735B4 (de) Einrichtung zur Interpolation und Filterung von digitalen Bilddaten
DE112013000698B4 (de) Verfahren und Vorrichtung zur Bildsignalverarbeitung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24730315

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024730315

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2024730315

Country of ref document: EP

Effective date: 20260105

ENP Entry into the national phase

Ref document number: 2024730315

Country of ref document: EP

Effective date: 20260105

ENP Entry into the national phase

Ref document number: 2024730315

Country of ref document: EP

Effective date: 20260105

ENP Entry into the national phase

Ref document number: 2024730315

Country of ref document: EP

Effective date: 20260105

ENP Entry into the national phase

Ref document number: 2024730315

Country of ref document: EP

Effective date: 20260105

WWP Wipo information: published in national office

Ref document number: 2024730315

Country of ref document: EP