WO2023094351A1 - Medizinische bildgebungsvorrichtung sowie verfahren zum kalibrieren einer medizinischen bildgebungsvorrichtung - Google Patents

Medizinische bildgebungsvorrichtung sowie verfahren zum kalibrieren einer medizinischen bildgebungsvorrichtung Download PDF

Info

Publication number
WO2023094351A1
WO2023094351A1 PCT/EP2022/082723 EP2022082723W WO2023094351A1 WO 2023094351 A1 WO2023094351 A1 WO 2023094351A1 EP 2022082723 W EP2022082723 W EP 2022082723W WO 2023094351 A1 WO2023094351 A1 WO 2023094351A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image information
sensor
calibration
recording device
Prior art date
Application number
PCT/EP2022/082723
Other languages
English (en)
French (fr)
Inventor
Lukas Buschle
Werner Göbel
Hannes Köhler
Original Assignee
Karl Storz Se & Co. Kg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Karl Storz Se & Co. Kg filed Critical Karl Storz Se & Co. Kg
Publication of WO2023094351A1 publication Critical patent/WO2023094351A1/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Definitions

  • the invention relates to a medical
  • Imaging device in particular a laparoscope
  • Endoscope and / or an exoscope with a light source for
  • Image recording device with a sensitivity distribution, so that the first image information from the
  • Image recording device is recorded, and for imaging a second piece of image information of the viewing area on the image recording device, so that the second
  • Image information is recorded by the image recording device, and a setting device for setting
  • Image parameters of the image recording device Furthermore, the invention relates to a method for calibrating a medical imaging device according to the type described above.
  • Image recording device acts as part of a
  • medical imaging devices with so-called hyperspectral imaging are also known, for example, with hyperspectral imaging being used, for example, to produce a line-by-line
  • Viewing area can be read.
  • medical imaging devices for example
  • Endoscopes with hyperspectral imaging must be calibrated at the factory, which, depending on the
  • the object of the invention is to improve the prior art.
  • Imaging device in particular a laparoscope
  • Endoscope and / or an exoscope with a light source for
  • Illuminating a viewing area an optic with an optical path for recording the viewing area and for imaging a first piece of image information
  • Image information is recorded by the image recording device and for imaging second image information of the
  • Image recording device is included, and one
  • Control unit is assigned, the first
  • Image information can be recorded by the control unit and the control unit uses the setting device as a function of the first image information for adapting the sensitivity distribution with a calibration correlation between the first image information and the second
  • Image information controls so that by means of
  • Image recording device is present.
  • Image information can be recorded in such a way that a Intensity range of the image recording device, in which a particularly low-noise recording of image information is made possible, is used in the best possible way or a corresponding exceeding of a corresponding
  • a “medical imaging device” can be any technical and/or electronic device that is suitable for recording, further processing and/or forwarding an image of a viewing area in a medical environment and, for example, on a
  • Such a medical imaging device is an endoscope, a dual
  • endoscope a stereo endoscope, an exoscope or a stereo
  • exoscope is a mostly narrow and elongated imaging device, which is suitable for inserting it into a cavity or through a mostly small opening and inside the
  • An "exoscope” is a comparable device that is used, for example, in medical interventions from the outside for imaging, i.e. in what is known as an open surgical procedure
  • the "stereo" property of the respective endoscope or exoscope describes the ability by means of two optical paths and / or two optics a stereoscopic
  • a corresponding dual endoscope or dual exoscope is in the
  • a respective “endoscope” in the actual sense, as described above, is also integrated within an endoscope system with additional devices, such as cable routing, additional sensors and/or a display device for displaying image information on an external monitor can be.
  • additional devices such as cable routing, additional sensors and/or a display device for displaying image information on an external monitor can be.
  • endoscope and endoscope are also integrated within an endoscope system with additional devices, such as cable routing, additional sensors and/or a display device for displaying image information on an external monitor.
  • a “laparoscope” is in particular a medical imaging device, which is the so-called
  • Laparoscopy i.e. an examination of the abdomen, in particular the abdominal cavity.
  • This is a type of endoscope, with a shaft of the laparoscope, which is particularly stiff, being inserted through a “trocar”.
  • Guidance aid can be introduced into an abdominal cavity.
  • Such a laparoscope includes, for example, a small camera at one end inserted into the abdominal cavity, which can also be referred to as an endoscope. Furthermore, a laparoscope also includes optical lens systems, i.e. a
  • Optics which is used, for example, for enlargement.
  • the laparoscope is comparable to the optical one
  • a "light source” is, for example, an LED, a
  • Incandescent lamp or other light-emitting device Incandescent lamp or other light-emitting device.
  • Such a light source can also be realized in that a light generated by means of an LED or another light-generating device is directed or directed to a corresponding location in the viewing area by means of a light guide, for example a glass fiber or a glass fiber bundle.
  • a light guide for example a glass fiber or a glass fiber bundle.
  • a "Scope of View” describes the area that
  • Such a viewing area is, for example, an organ, a bone, a partial area of a human or animal body or another area of interest for a corresponding one
  • Imaging the observation area describes the introduction of light into the observation area, for example the irradiation of light of different wavelength ranges in the
  • An "optics” describes the entirety of all components that direct light and / or image information or an image along the optical path.
  • an optic includes such an optic with lenses, cover plates,
  • An "optical path” is in particular the path which
  • Optics passes through to, for example, the image recording device or to a respective image sensor.
  • Such an optical path is defined, for example, by means of an optical axis or as a geometric course.
  • Capturing the viewing area describes the guiding, directing and/or directing of image information or light information of the viewing area, for example an image of the viewing area via the optical path of the optics, so that imaging of corresponding image information is made possible.
  • a "mapping" of a corresponding piece of image information describes the generation of a pixel from a
  • pixels is performed. Such an imaging is done by an optical system.
  • Image information of the viewing area is corresponding optically and/or electronically processed information that results from the imaging of the
  • this is a Data format that represents an image of the viewing area.
  • this image information also includes the optical properties, e.g.
  • Image information i.e. the properties of light, towards digital image information, for example, is fluid.
  • An "image recording device” is, for example, an electronic chip or another similar one
  • Image recording device components of a CCD chip or a comparable electronic component wherein the
  • Image recording device for example, different
  • Components may have which different properties
  • a "sensitivity distribution” describes the varying sensitivity of the
  • Image recording device against incident light so that, for example, edge areas of
  • Image recording device are less sensitive than a
  • An "adjustment device” can be an optical, an electronic and/or a mechanical device which is suitable for adjusting image parameters
  • Setting device can, for example, a
  • an “image parameter” represents a property of corresponding image information, in particular one recorded by the image recording device
  • Image information that can be influenced.
  • Such an image parameter can in particular also be pixel-by-pixel, ie for a few pixels each or for everyone
  • Pixel of the image recording device be fixed or changeable.
  • Image parameters an exposure setting, an
  • Image recording device compared to, for example, that
  • a "control unit” which is, for example, a computer, a microprocessor or another type of device, for example a mechanical device, by means of which it is possible to act on the setting device in this way, is used to achieve a desired effect on the setting device
  • a control unit can be a
  • Be a computer which picks up corresponding signals, processes them according to a stored algorithm and then influences them in a targeted manner
  • Adjusting device heard so that by means of
  • the control unit controls the
  • Image information such that the first image information is recorded and evaluated, for example, so that an adjustment of the sensitivity distribution with a
  • Calibration correlation between the first image information and the second image information is enabled.
  • Image recording device is adapted such that a
  • Signal-to-noise ratio is advantageously achieved and / or a corresponding exposure is optimized.
  • a "calibration” describes the process in which the sensitivity distribution with the Calibration correlation is superimposed, for example, and thus a calibrated sensitivity distribution is present.
  • the calibration is the process that detects a deviation from an ideal and in a second
  • Step towards a so-called "normal” corrected with corresponding deviations ideally being completely or at least largely eliminated by the calibration.
  • Imaging device as simple as possible and with few
  • the adjustment device can be introduced into the optical path by means of a switching device, so that the first image information from the
  • Switching device in which the adjustment device is not introduced into the optical path, can be accommodated and the
  • the setting device depending on the first image information for adapting the sensitivity distribution with a calibration correlation between the first image information and the second
  • Controls image information the image recording device having in particular a first image sensor for recording the first image information and the second image information.
  • a first image sensor which is used alone, can thus be switched by means of the switching device in such a way that the function according to the invention is fulfilled with only a first image sensor.
  • a "switching device" is, for example, one
  • the optical path is deflected around the adjustment device, so that in a first switching state the optical path runs around the adjustment device and in a second switching state the optical path runs in such a way that the adjustment device is in engagement with the optical path.
  • the adjustment device can also be pivoted into the optical path or introduced in some other way, so that the first switching state
  • Adjusting device is not introduced mechanically in the course of the optical path and is introduced in the second switching state in the direct optical path.
  • the optical path has a first partial optical path for imaging the first
  • Image information on the image recording device wherein the first image information can be recorded by the control unit in the first partial optical path and the control unit
  • Image information controls, wherein the image recording device in particular one of the first partial optical path associated first image sensor with a first sensitivity distribution for recording the first
  • a respective piece of image information can be recorded simultaneously by means of the first image sensor and the second image sensor, so that in particular the calibration correlation is formed and/or applied in real time, so that at best a simultaneous recording of the first image information and the second image information with a calibration
  • Image information can be done.
  • Partial paths is divided and corresponding image information is routed along a respective optical partial path and can therefore be imaged separately from one another, in particular on different image sensors.
  • the processes are displayed within a specified time.
  • the term "real time” is also used in such a way that, for example, for an operator the impression of the simultaneity of events, for example the perception of a "real-time” representation, arises according to the real time impression of the operator.
  • a representation takes place in parallel with a
  • Frame rate of more than 24 frames per second or a higher frame rate so that an operator can no longer distinguish between individual frames.
  • the calibration correlation is formed using reference image information, in particular using different reference image information with in particular the respective exposure settings.
  • Such "reference image information” is, for example, an image panel of a specific, uniform coloring, such as a white panel or a gray panel, based on which with a known
  • Color distribution for example an exposure or other information regarding the calibration correlation can be reliably detected and the calibration correlation can be formed therefrom.
  • an “image sensor” can be, for example, an electronic chip or another similar device by means of which light and/or a corresponding image traveling along the optical path and the respective optics can be recorded and converted into electronic signals.
  • such an image sensor is a CCD chip or a comparable electronic component.
  • the calibration correlation is based on a white balance and/or based on a
  • Image sensor formed.
  • Image information such as a photographic image
  • Light source at a recording location for example at
  • an adjustment of the color temperature is also mentioned.
  • a "black balance" a setting is made in such a way that it is ensured that black parts of the image or black
  • Components of the image information in particular from an electronic camera, such as an electronic image sensor, can also be reproduced in black and have no color distortion.
  • an aperture is completely closed so that no more light falls on a corresponding image sensor.
  • Corresponding individual signals from, for example, color channels of an image sensor are then adjusted in such a way that a corresponding image signal is output.
  • Types of lighting such as appropriate
  • Imaging device are stored, so for example when adjusting the light source or
  • the respective calibration correlation is at least in principle already available.
  • a further evaluating the first piece of image information by appropriately evaluating the first piece of image information, a further
  • Image recording device in particular the second
  • Image sensor and / or a frame number of
  • Image recording device in particular the second
  • Image sensor is adjustable and / or
  • Exposure manipulator an exposure intensity and/or an exposure duration of the image recording device, in particular of the second image sensor, can be adjusted.
  • Image recording device in particular the second
  • Corresponding image information is recorded, for example by increasing the frame rate when it can be read from the first image information that the
  • Exposure intensity of the second image sensor is sufficient and so that the frame rate can be increased accordingly without
  • a corresponding frame number of the image recording device in particular of the second image sensor, can be assigned to a corresponding
  • Calibration correlation or corresponding information of the first image sensor or the first image information can be adjusted, so that an exposure intensity and/or an exposure duration of the image recording device, in particular the second image sensor, can be set using this data, for example by a
  • the image recording device has a spectral sensor, in particular a hyperspectral sensor with line-by-line scanning of image information
  • the hyperspectral sensor has, in particular, a slit diaphragm and/or a grating diaphragm for, in particular, variable interruption and/or steering of the respective image information.
  • physiological parameters are, for example, by means of corresponding light spectra can be determined by analyzing a degree of absorption for a wavelength or a corresponding wavelength range or also a number of degrees of absorption for a number of wavelength ranges of a light spectrum and inferring a corresponding physiological parameter from this.
  • a specific physiological parameter for example, a specific
  • Absorption wavelength ranges a water content or a third absorption wavelength or more
  • Corresponding wavelength ranges for determining different physiological parameters can be the same, overlapping or different or can be used in different combinations.
  • a “spectral sensor” is a sensor, for example an image sensor or another light-sensitive sensor, which is able to record spectral information, for example image information, and thus information about, for example, a
  • Output spectral distribution in the viewing area so that physiological parameters can be determined, for example, based on the spectral distribution.
  • a “hyperspectral sensor” includes, for example, a spectrometer unit that is a so-called observation slit and splits light incident through a prism or an optical grating depending on the wavelength. Correspondingly split light is then sent to an image sensor of the
  • Hyperspectral sensor supplied and detected by this.
  • Individual recordings of a hyperspectral sensor thus provide spectral information for a so-called image line of an object, ie for example an image line from the observation area.
  • an object for example an object in the viewing area
  • a so-called hyperspectral data cube is created over an entire area from the viewing area, i.e. multidimensional information which, for example, for each pixel, i.e. each image point, in the picture an optical one
  • wavelengths of light supplies.
  • a wavelength of light supplies.
  • Data cube can then, for example, physiological
  • Tissue parameters are derived and / or calculated.
  • a "slit diaphragm" is, for example, the mechanical means by which such a
  • Observation gap is generated.
  • it is a metal sheet with a corresponding
  • a "grid screen” is, for example, one corresponding sequence of slots in the form of each similar or identically designed slots in a
  • a piece of image information can then be variably interrupted, for example, or else directed or diffracted.
  • the adjustment device has a
  • Motor in particular an adjusting motor, with the means of the motor and / or by means of the adjusting motor
  • Slit diaphragm and / or the grating diaphragm is movable, so that the variable interrupting and / or directing the respective image information by moving the
  • Slit diaphragm and/or grating diaphragm takes place.
  • a “motor” is a mechanical device, for example an electromechanical device, which converts the energy provided into, for example, a rotation or translation, i.e. into a physical movement.
  • a rotation or translation i.e. into a physical movement.
  • Hydraulic motor a magnetic motor or some other kind
  • Control unit a calculation unit for calculating a predicted recording time of the respective
  • Image information based on the calibration correlation and / or based on operating parameters
  • Control unit the image recording device, the first
  • Recording time are calculated so that, for example, a
  • a corresponding exposure time can be displayed, up to a corresponding medical
  • Imaging device for example, must not be moved.
  • a “calculation unit” is, for example, a
  • Algorithm on a computer for operating the medical imaging device which a corresponding calculation based on a stored
  • controlling parameters of the control unit are, for example, physical properties of the control unit, corresponding properties set by an operator or, for example, an exposure setting of the
  • Control unit the image recording device, the first
  • Image sensor and / or the second image sensor are identical to Image sensor and / or the second image sensor.
  • Image recording device has a sensor for recording an image visible to an operator, in particular one
  • RGB image and/or the first image sensor is on
  • Image sensor for recording one for an operator visible image in particular an RGB sensor and / or
  • a visible image of the observation area can also be displayed for the operator in parallel with the generation of the spectral image information or, for example, in parallel or at intervals alternating with the recording of physiological parameters.
  • color information namely red, green and blue
  • Color information which is then assembled into a visible image of different color representations.
  • RGB sensor is in particular an electronic one
  • Sensor which, for example, corresponding filters are upstream, so that certain sensor areas only
  • RGB sensor can receive light information of certain colors and thus a separation according to different colors is possible.
  • RGB sensor also becomes general
  • RGB sensor is usually designed as a sensor with a so-called Bayer filter.
  • the object is achieved by a method for calibrating a medical
  • Embodiments with the following steps: - Recording the first image information with the
  • Image information is present in the image recording device, - Controlling the setting device by means of the
  • Control unit by fitting the second sensitivity distribution with the
  • Image information is present, so that a calibration of the second image sensor is achieved.
  • Calibration describes the activity that brings about a calibration. Calibration can therefore include recording information and comparing the information with a desired norm or a desired normal, it can also be part of the
  • controlling is based on a
  • Partial information of the first image information in particular based on an average pixel intensity of the first Image information based on a maximum pixel intensity of the first image information and / or based on a pixel
  • partial information can be any information of the image information which has a specific feature, a specific quality or a specific property of the image information in its
  • a "pixel intensity” describes, for example, a luminosity of a
  • Pixels or analog signal strength with respect to a corresponding pixel ie with respect to a pixel or a portion of the image or the
  • Image information in which case, for example, the mean pixel intensity, ie an average
  • the calibration is performed.
  • the calibration can also be carried out using a maximum pixel intensity, so that, for example, an image sensor is effectively prevented from being overdriven.
  • a pixel Intensity distribution so the distribution corresponding
  • Signal strengths are used to take into account a smoothing of corresponding image information components in the calibration.
  • Controlling the second image sensor is performed line by line, so that the calibration is performed line by line for a respective line.
  • a respective line is set, for example, based on its exposure, so that a signal-to-noise ratio is set as low as possible, so that a corresponding line is optimally exposed.
  • an exposure time as a setting value for controlling the
  • a total recording time can be optimized in such a way that each based on the
  • control unit assigned to the setting device is used
  • a closed control loop can be set up, by means of which a corresponding calibration can be carried out during operation or in
  • Intervals between corresponding operating states can be controlled.
  • a "control unit” is, for example, a
  • Computer or a computer chip in particular a computer or a computer chip with a corresponding algorithm, which has, for example, reference values or corresponding control values, which then as part of a
  • a "control measurement” describes the process in which a corresponding check of the accuracy is carried out, for example at the time of a
  • Calibration correlation based on a ratio of a first image size of the first image information and a second image size of the second image information, in particular based on a respective length and/or based on a respective width of the respective image information, so that a size-adapted, format-adapted, length-adapted and/or width-adapted superimposition of the
  • a "ratio" of a first image size to a second image size describes, for example, a
  • Width ratios with a respective "length” and a respective “width” depicting any dimension of such an image size.
  • the calibration is carried out during the recording of the first image information by means of an ongoing calibration and/or after the recording of the first image information by means of a subsequent
  • Recording or in a particular time not by a calibration can be performed in an operator-perceptible sequence.
  • Adjusting the illumination intensity of the light source in particular depending on calibration correlation.
  • Image in particular a hyperspectral recording, is not sufficient, the illumination intensity of the light source can be readjusted or readjusted accordingly.
  • Illumination intensity of the light source can be done frame by frame or line by line, so for example by adjusting the
  • Illumination intensity of the light source a temporal
  • Figure 1 is a schematic representation of a laparoscopic system with a hyperspectral system in a
  • Figure 2 is a schematic representation of an alternative laparoscopic system with an alternative hyperspectral
  • FIG. 3 shows a diagram for representing a respective signal-to-noise ratio in a spectral range under consideration for different measurement distances
  • Figure 4 is a diagram showing a
  • Figure 5 is a diagram showing a required exposure time of a
  • Figure 6 is a diagram showing a
  • Figure 7 is a schematic flow chart of a
  • Figure 8 is a schematic flow chart of a
  • Figure 9 is a schematic flow chart of a
  • a laparoscopic system 101 consists of a
  • Laparoscope 103 for viewing an abdominal cavity and a hyperspectral system 121 for evaluating corresponding
  • the laparoscope 103 has a shaft 111, shown as an example, which can be inserted into a trocar, for example, and guided into the abdominal cavity by means of the trocar.
  • the shaft serves to direct light along an optical path 181 from the viewing area 193 to a lens adapter 117 on a side of the laparoscope 103 facing an operator
  • a lens (not shown), for example, can be attached to the lens adapter 117 so that the laparoscope 103 can be used as an optical aid without electronic aids and the lens is used to present an image of the object 191 in the viewing area 193 to a viewer.
  • Light channel 115 is provided, the light channel 115 being attached to the connection 113 laterally opposite the shaft 11 .
  • Light from a light source for example LED lighting, can be introduced into the shaft 111 by means of the light channel 115, so that the viewing area 193 and thus the object 191 can be illuminated by means of the light guided through the light channel 115 and the shaft 111.
  • a hyperspectral system 121 is placed so that the light incident along the optical path 181 is guided into the hyperspectral system 121 through the lens adapter 117.
  • the hyperspectral system 121 has a housing 123 shown as an example, with all means for recording corresponding images, in particular a color image of the viewing area 193 and a hyperspectral image of the viewing area 193, being accommodated in the housing 123 .
  • the light incident along the optical path 181 is split at a beam splitter 143 so that a part of the incident light can be guided onto an image sensor 141 along an optical path 183 .
  • Image sensor 141 is an RGB sensor, so it is used for Capture a color image of the viewing area 193.
  • the RGB sensor for example as a CMOS sensor, is equipped with a Bayer filter.
  • Beam splitter 143 partially exiting light is through a
  • High-pass filter glass 145 passed, allowing unwanted
  • Light is guided along the optical path 185 through a lens 147 and then impinges on a transmission grating 149.
  • the light is spectrally split and deflected by means of the transmission grating 149 and then by means of a
  • Lens 151 directed to an image sensor 142, which receives and processes corresponding spectrally divided light information.
  • HSI system ie a subsystem for hyperspectral observation, is thus housed within the housing 124 .
  • a servomotor 161 is used for the mechanical
  • Image sensor 142 so that one line of an image of the
  • Viewing area 193 can be imaged on the image sensor 142 and thus for this respective line
  • Spectral distribution of the incident light is mapped.
  • a multiplicity of lines scanned in this way becomes then a so-called hyperspectral data cube is generated, i.e. multidimensional information about the
  • a computer 125 is shown as an example, which receives image information from the image sensor via a data line 127
  • Image sensor 142 picks up and processes. Furthermore, he can
  • Computer 125 influence and control the servomotor 161 via a data line 129, so that the computer 125 can adjust and control the hyperspectral arrangement, ie the HSI system.
  • the computer 125 takes, for example, exposure information from the image sensor
  • Computer 125 based on the image data determined by the image sensor 141 influence the servomotor 161 such that, for example, a sampling rate, ie a respective repetition rate of the image lines, is set such that a respective image line with an optimal
  • Exposure time and thus can be recorded with an optimal exposure.
  • the computer 125 can control the image sensor 142 via the data line 131 and also read out corresponding image information, so that, for example, a feedback of the recorded
  • Image information from the image sensor 142 is used to change the change carried out by the computer 125 on To check servomotor 161 and thus determine the correctness of the influence made.
  • the computer 125 also performs a calculation of how long each image capture of the object
  • the object 191 arranged in the viewing area 193 is viewed analogously to the example described above, light falls along an optical path 281 into the hyperspectral system 221 (schematic representation).
  • the light can be directed via a swiveling mirror 231 onto a mirror 241, a mirror 243 and onto a further swiveling mirror 232, so that the light is first transmitted via an optical path 285 to the im
  • Housing 223 housed HSI system over on one
  • Image sensor 241 is directed. In this operating state, the image sensor 241 is able to produce a color image of the
  • Mirror 231 and mirror 232 are disengaged from optical path 281.
  • the optical path 285 is unused. The incident light then passes through the HSI
  • Servomotor 261 shown, which controls the function of
  • Servomotor 161 analogously depicts. Analogous to the previous one
  • Example can then have a computer corresponding
  • the image falling through the HSI system is calibrated so that the image sensor 241 in this switching state generates an HSI image, in particular a respective line of an HSI
  • the representation with the mirrors 231 and 232 is selected as an example in order to illustrate the principle of action for the use of a single image sensor 241, the HSI system in the housing 223 can also be used in the optical Path 281 can be pivoted in and out or in another
  • Form are each guided along the optical path 283 or optionally along the optical path 285.
  • a diagram 301 represents a signal-to-noise ratio for different measurement distances, ie different
  • a function 311 with slight local deviations represents the signal-to-noise ratio for five different measurement distances and exposure times
  • Exposure time can be compensated.
  • function 313, 315, 317 and 319 show a respective signal-to-noise ratio for different
  • Measuring distances namely at 40 mm (function 313), 50 mm
  • the exposure time is 2.6 ms in each case. This shows that the signal-to-noise ratio at a
  • Exposure strength can therefore serve, due to the im
  • Exposure time at increased measuring distance is used, for example, to keep the image quality constant.
  • a diagram 401 shows a required one
  • tissue phantom This diagram 401 also shows automatically controlled exposure times of an RGB sensor when darkening and brightening.
  • tissue phantom is an exemplary arrangement which is approximately optical
  • a measurement distance is shown on an abscissa 403 of diagram 401, and a first ordinate 405 represents the exposure time.
  • a second ordinate 407 provides a necessary exposure time for the exposure of 720
  • Corresponding graphs 409 represent the respective functional relationships.
  • a function 411 shows the connection for an HSI recording when recording a white reference.
  • a chart 501 provides a corresponding correlation of white light exposure time to HSI
  • Exposure time is, namely corresponding correlation to an automatic regulation of corresponding exposure times of the color image sensor with different illumination of the
  • An abscissa 503 represents the exposure time of the
  • a function 511 shows the corresponding one
  • a function 515 shows the
  • a diagram 601 shows a correlation of a necessary engine speed, for example the
  • the abscissa 603 represents the frame rate (FPS), an ordinate 605 a corresponding engine speed, which, for example, as steps of a stepping motor or as
  • Speed can be plotted (plotted in Figure 6 as an example steps of a stepper motor).
  • Function 611 shows the corresponding connection, so that by means of a corresponding example of the
  • Computer 125 controlled speed of the motor 161 an accurate refresh rate of the HSI system is controllable.
  • a method 701 is used to calibrate an HSI exposure time:
  • a method 801 shows controlling an appropriate motor speed for affecting an HSI system: [106] First, an HSI is recorded 803
  • Image of a square object for example, at different frame rates of the HSI sensor.
  • the motor speed is then adapted 805 for the respective frame rates in such a way and for so long until a respective ratio of the length of the considered
  • Tolerance is around the value 1, for example between
  • a method 901 represents creating an HSI
  • Exposure time of the color sensor e.g.
  • a maximum possible frame rate is then calculated 907 for a corresponding exposure quality while maintaining a corresponding exposure quality and Image quality, whereby corresponding exposure times can be limited to a practicable or technically feasible range.
  • a calculation 911 then takes place of a

Abstract

Die Erfindung betrifft eine medizinische Bildgebungsvorrichtung, insbesondere Laparoskop, Endoskop und/oder Exoskop, mit einer Lichtquelle zum Beleuchten eines Betrachtungsbereiches, einer Optik mit einem optischen Weg zum Aufnehmen des Betrachtungsbereiches und zum Abbilden einer ersten Bildinformation des Betrachtungsbereiches auf einer Bildaufnahmeeinrichtung mit einer Sensitivitätsverteilung, sodass die erste Bildinformation von der Bildaufnahmeeinrichtung aufgenommen ist und zum Abbilden einer zweiten Bildinformation des Betrachtungsbereiches auf der Bildaufnahmeeinrichtung, sodass die zweite Bildinformation von der Bildaufnahmeeinrichtung aufgenommen ist, und einer Einstelleinrichtung zum Einstellen von Bildparametern der Bildaufnahmeeinrichtung, wobei der Einstelleinrichtung eine Steuereinheit zugeordnet ist, wobei die erste Bildinformation von der Steuereinheit aufnehmbar ist und die Steuereinheit die Einstelleinrichtung in Abhängigkeit von der ersten Bildinformation zum Anpassen der Sensitivitätsverteilung mit einer Kalibrierkorrelation zwischen der ersten Bildinformation und der zweiten Bildinformation steuert, sodass mittels der Einstelleinrichtung eine von der ersten Bildinformation abhängige Kalibration der zweiten Bildinformation für die Bildaufnahmeeinrichtung vorliegt.

Description

Medizinische Bildgebungsvorrichtung sowie Verfahren zum
Kalibrieren einer medizinischen Bildgebungsvorrichtung
[01] Die Erfindung betrifft eine medizinische
Bildgebungsvorrichtung, insbesondere ein Laparoskop, ein
Endoskop und/oder ein Exoskop, mit einer Lichtquelle zum
Beleuchten eines Betrachtungsbereiches, einer Optik mit einem optischen Weg zum Aufnehmen eines
Betrachtungsbereiches und zum Abbilden einer ersten
Bildinformation des Betrachtungsbereiches auf einer
Bildaufnahmeeinrichtung mit einer Sensitivitätsverteilung, sodass die erste Bildinformation von der
Bildaufnahmeeinrichtung aufgenommen ist, und zum Abbilden einer zweiten Bildinformation des Betrachtungsbereiches auf der Bildaufnahmeeinrichtung, sodass die zweite
Bildinformation von der Bildaufnahmeeinrichtung aufgenommen ist, und eine Einstelleinrichtung zum Einstellen von
Bildparametern der Bildaufnahmeeinrichtung. Weiterhin betrifft die Erfindung ein Verfahren zum Kalibrieren einer medizinischen Bildgebungsvorrichtung gemäß der vorig beschriebenen Art.
[02] Bei bekannten Bildgebungsvorrichtungen, insbesondere bei medizinischen Bildgebungsvorrichtungen, erfolgt ein
Kalibrieren beispielsweise eines Bildsensors, welcher als
Bildaufnahmeeinrichtung wirkt, im Rahmen einer
Werkseinstellung oder einer Voreinstellung. Dabei ist, insbesondere wenn die Bildaufnahmeeinrichtung unterschiedliche Sensorfelder oder auch unterschiedliche Sensorbereiche aufweist, häufig keine dem Zweck angemessene
Kalibrierung durchführbar.
[03] In diesem Zusammenhang sind beispielsweise auch medizinische Bildgebungsvorrichtungen mit sogenannter hyperspektraler Bildgebung bekannt, wobei mittels einer hyperspektralen Bildgebung beispielsweise ein zeilenweises
Abtasten eines Betrachtungsbereiches erfolgt und entsprechende Spektralinformationen aus diesem
Betrachtungsbereich ausgelesen werden können. Solche medizinischen Bildgebungsvorrichtungen, beispielsweise
Endoskope, mit einer hyperspektralen Bildgebung müssen werksseitig kalibriert werden, wodurch sich, je nach
Belichtungszustand des Betrachtungsbereiches, unterschiedliche Probleme, beispielsweise in Zusammenhang mit einem Signal-zu-Rausch-Verhältnis, ergeben. So kann beispielsweise ein entsprechend im Vergleich zu einem
Nutzsignal, beispielsweise abhängig von der jeweiligen
Belichtung, sehr starkes Rauschen auftreten und somit das
Nutzsignal verfälscht werden.
[04] Aufgabe der Erfindung ist es, den Stand der Technik zu verbessern.
[05] Gelöst wird die Aufgabe durch eine medizinische
Bildgebungsvorrichtung, insbesondere ein Laparoskop, ein
Endoskop und/oder ein Exoskop, mit einer Lichtquelle zum
Beleuchten eines Betrachtungsbereiches, einer Optik mit einem optischen Weg zum Aufnehmen des Betrachtungsbereiches und zum Abbilden einer ersten Bildinformation des
Betrachtungsbereiches auf einer Bildaufnahmeeinrichtung mit einer Sensitivitätsverteilung, sodass die erste
Bildinformation von der Bildaufnahmeeinrichtung aufgenommen ist und zum Abbilden einer zweiten Bildinformation des
Betrachtungsbereiches auf der Bildaufnahmeeinrichtung, sodass die zweite Bildinformation von der
Bildaufnahmeeinrichtung aufgenommen ist, und einer
Einstelleinrichtung zum Einstellen von Bildparametern der
Bildaufnahmeeinrichtung, wobei der Einstelleinrichtung eine
Steuereinheit zugeordnet ist, wobei die erste
Bildinformation von der Steuereinheit aufnehmbar ist und die Steuereinheit die Einstelleinrichtung in Abhängigkeit von der ersten Bildinformation zum Anpassen der Sensitivitätsverteilung mit einer Kalibrierkorrelation zwischen der ersten Bildinformation und der zweiten
Bildinformation steuert, sodass mittels der
Einstelleinrichtung eine von der ersten Bildinformation abhängige Kalibration der zweiten Bildinformation für die
Bildaufnahmeeinrichtung vorliegt.
[06] Somit kann die erste Bildinformation beispielswese als
Referenz genutzt werden, sodass in Abhängigkeit von der ersten Bildinformation ein Anpassen der Sensitivitätsverteilung der Bildaufnahmeeinrichtung derart erfolgt, dass die zweite Bildinformation mit einer so angepassten Sensitivitätsverteilung beispielsweise ausgelesen und weiter verwertet wird. Folglich liegt eine von der ersten Bildinformation abhängige Kalibration der zweiten Bildinformation für die Bildaufnahmeeinrichtung vor, und damit ist beispielsweise die zweite
Bildinformation derart aufnehmbar, dass ein Intensitätsbereich der Bildaufnahmeeinrichtung, in welchem eine besonders rauscharme Aufnahme von Bildinformationen ermöglicht ist, bestmöglich ausgenutzt wird oder auch ein entsprechendes Überschreiten einer entsprechenden
Aufnahmefähigkeit der Bildaufnahmeeinrichtung wirksam verhindert wird.
[07] Folgende Begriffe seien in diesem Zusammenhang erläutert:
[08] Eine „medizinische BiIdgebungsvorrichtung" kann jede technische und/oder elektronische Einrichtung sein, welche geeignet ist, ein Bild eines Betrachtungsbereiches in einem medizinischen Umfeld aufzunehmen, weiterzuverarbeiten und/oder weiterzuleiten und beispielsweise auf einem
Bildschirm anzuzeigen . Beispielsweise ist eine solche medizinische Bildgebungsvorrichtung ein Endoskop, ein Dual-
Endoskop, ein Stereo-Endoskop, ein Exoskop oder ein Stereo
Exoskop. Ein solches „Endoskop" ist dabei eine zumeist schmale und länglich ausgebildete Bildgebungsvorrichtung, welche geeignet ist, diese in einen Hohlraum oder durch eine zumeist kleine Öffnung einzuführen und innerhalb des
Hohlraums und/oder des hinter der kleinen Öffnung liegenden
Bereiches ein Bild von einem Betrachtungsbereich, im Falle eines „Stereo-Endoskopes" mittels zweier Kameras oder zweier
Bildsensoren, aufzunehmen . Ein „Exoskop" ist eine vergleichbare Einrichtung, welche beispielsweise bei medizinischen Eingriffen von außen zur Bildgebung eingesetzt wird, also bei einem sogenannten offenen chirurgischen
Eingriff. Die „Stereo"-Eigenschaft des jeweiligen Endoskops oder Exoskops beschreibt dabei die Fähigkeit, mittels zweier optischer Wege und/oder zweier Optiken ein stereoskopisches
Bild des Betrachtungsbereiches aufzunehmen. Ein entsprechendes Dual-Endoskop oder Dual-Exoskop ist in der
Lage, zwei separate Bilder aufzunehmen, ohne dass beispielsweise eine stereoskopische Rekonstruktion erfolgt.
In diesem Zusammenhang sei darauf hingewiesen, dass ein jeweiliges „Endoskop" im eigentlichen Sinne wie vorig beschrieben auch innerhalb eines Endoskop-Sy stems mit weiteren Einrichtungen, beispielsweise einer Kabelführung, weiterer Sensoren und/oder einem Anzeigegerät zum Anzeigen einer Bildinformation auf einem externen Monitor eingebunden sein kann . Weiterhin werden „Endoskop" und „Endoskop
Systeme" häufig unscharf getrennt und vorliegend synonym verwendet.
[09] Ein „Laparoskop" ist dabei insbesondere eine medizinische Bildgebungsvorrichtung, welche der sogenannten
Laparoskopie, also einer Untersuchung des Bauchraums, insbesondere der Bauchhöhle, dient. Es handelt sich dabei um eine Art eines Endoskopes, wobei ein insbesondere steifer Schaft des Laparoskops durch eine „Trokar" genannte
Führungshilfe in eine Bauchhöhle eingebracht werden kann.
Ein solches Laparoskop umfasst beispielsweise an einem in die Bauchhöhle eingeführten Ende eine kleine Kamera, welche auch als Endoskop bezeichnet werden kann. Weiterhin umfasst ein Laparoskop auch optische Linsensysteme, also eine
Optik, welche beispielsweise der Vergrößerung dient.
Grundsätzlich ist die optische Wirkungsweise eines solchen
Laparoskopes dabei vergleichbar mit der optischen
Wirkungsweise eines Endoskopes oder auch eines Exoskopes. [10] Eine „Lichtquelle" ist beispielsweise eine LED, eine
Glühlampe oder eine andere, lichtemittierende Einrichtung.
Weiterhin kann eine solche Lichtquelle auch dadurch realisiert sein, dass ein mittels einer LED oder einer anderen lichterzeugenden Einrichtung erzeugtes Licht mittels beispielsweise eines Lichtleiters, also beispielsweise einer Glasfaser oder eines Glasfaserbündels, an einen entsprechenden Ort am Betrachtungsbereich gelenkt oder geleitet wird. Eine solche Lichtquelle dient dabei dem
Beleuchten des Betrachtungsbereiches mit Licht entsprechender Lichtspektren.
[11] Ein „Betrachtungsbereich" beschreibt den Bereich, das
Volumen oder das Areal, welcher oder welches mittels der medizinischen Bildgebungsvorrichtung betrachtet und von welcher oder welchem ein entsprechendes Bild erzeugt werden soll. Ein solcher Betrachtungsbereich ist dabei beispielsweise ein Organ, ein Knochen, ein Teilbereich eines menschlichen oder tierischen Körpers oder ein weiterer Bereich von Interesse für eine entsprechende
Betrachtung.
[12] Ein „Beleuchten" des Betrachtungsbereiches beschreibt dabei das Einbringen von Licht in den Betrachtungsbereich, also beispielsweise das Einstrahlen von Licht unterschiedlicher Wellenlängenbereiche in den
Betrachtungsbereich .
[13] Eine „Optik" beschreibt die Gesamtheit aller Bauteile, welche Licht und/oder eine Bildinformation oder ein Bild entlang des optischen Weges lenken. Beispielsweise umfasst eine solche Optik dabei Linsen, Abdeckscheiben,
Schutzscheiben oder auch Filter.
[14] Ein „optischer Weg" ist insbesondere der Weg, welchen
Licht eines entsprechenden Bildes oder einer entsprechenden
Bildinformation vom Betrachtungsbereich über eine jeweilige
Optik hin zu beispielsweise der Bildaufnahmeeinrichtung oder zu einem jeweiligen Bildsensor durchläuft. Ein solcher optischer Weg ist dabei beispielsweise mittels einer optischen Achse oder als geometrischer Verlauf definiert.
[15] Ein „Aufnehmen des Betrachtungsbereiches" beschreibt das Führen, Leiten und/oder Lenken einer Bildinformation oder auch Lichtinformation des Betrachtungsbereiches, beispielsweise eines Bildes des Betrachtungsbereiches über den optischen Weg der Optik, sodass ein Abbilden einer entsprechenden Bildinformation ermöglicht ist.
[16] Ein „Abbilden" einer entsprechenden Bildinformation beschreibt ein Erzeugen eines Bildpunktes von einem
Gegenstandpunkt durch Vereinigung und/oder Lenkung von
Licht, das vom Gegenstandspunkt ausgeht, wobei dieser
Vorgang des Abbildens für unterschiedliche, also mehrere
Bildpunkte durchgeführt wird. Ein solches Abbilden erfolgt dabei durch eine Optik.
[17] Eine „Bildinformation" des Betrachtungsbereiches ist dabei eine entsprechende optisch und/oder elektronisch aufbereitete Information, welche aus dem Abbilden des
Betrachtungsbereiches entsteht und welche beispielsweise in einer elektronischen Einrichtung weiterverarbeitet werden kann. Beispielsweise handelt es sich dabei um ein Datenformat, welches ein Abbild des Betrachtungsbereiches darstellt. Vor dem Abbilden des Betrachtungsbereiches auf einer Bildaufnahmeeinrichtung umfasst diese Bildinformation auch die optischen Eigenschaften, also beispielsweise das
Licht, welches auf der Bildaufnahmeeinrichtung abgebildet wird. Der Übergang von einer physikalischen
Bildinformation, also der Eigenschaften des Lichtes, hin zu einer beispielsweise digitalen Bildinformation, ist dabei fließend.
[18] Eine „Bildaufnahmeeinrichtung" ist beispielsweise ein elektronischer Chip oder eine andere gleichartige
Einrichtung, mittels derer entlang des optischen Weges und der jeweiligen Optik verlaufendes Licht und/oder eine entsprechende Bildinformation aufgezeichnet und beispielsweise in elektronische Signale umgewandelt werden kann. Beispielsweise weist eine solche
Bildaufnahmeeinrichtung Bestandteile eines CCD-Chips oder ein vergleichbares elektronisches Bauteil auf, wobei die
Bildaufnahmeeinrichtung beispielsweise unterschiedliche
Bereiche, unterschiedliche Abschnitte oder unterschiedliche
Bauteile aufweisen kann, welche unterschiedliche
Bildinformationen aufnehmen können.
[19] Eine „Sensitivitätsverteilung" beschreibt entsprechend einer Ausdehnung der Bildaufnahmeeinrichtung, insbesondere in unterschiedlichen Achsen, variierende Sensitivität der
Bildaufnahmeeinrichtung gegenüber einfallendem Licht, sodass beispielsweise Randbereiche der
Bildaufnahmeeinrichtung weniger Sensitiv sind als ein
Mittenbereich oder eine andere Sensitivitätsverteilung vorliegt, welche einen Einfluss auf die jeweilige
Bildinformation und/oder auf die Intensität und/oder
Qualität der Bildinformation hat.
[20] Eine „Einstelleinrichtung" kann eine optische, eine elektronische und/oder eine mechanische Einrichtung sein, welche dazu geeignet ist, Bildparameter der
Bildaufnahmeeinrichtung einzustellen und damit ein
Aufnahmeverhalten der Bildaufnahmeeinrichtung, beispielsweise im Bezug zur Sensitivitätsverteilung, zu verändern und/oder zu beeinflussen. Eine solche
Einstelleinrichtung kann dabei beispielsweise eine
Blendeneinstellung, eine Belichtungseinstellung oder eine
Einstellung für eine bestimmte Art des Lenkens und/oder
Leitens von Licht ermöglichen.
[21] Dabei stellt ein „Bildparameter" eine Eigenschaft einer entsprechenden Bildinformation, insbesondere einer durch die Bildaufnahmeeinrichtung aufgenommenen
Bildinformation, dar, welche beeinflusst werden kann. Ein solcher Bildparameter kann dabei insbesondere auch pixelweise, also für je einige Bildpunkte oder für jeden
Bildpunkt der Bildaufnahmeeinrichtung, festgelegt oder veränderbar sein. Insbesondere ist ein solcher
Bildparameter eine Belichtungseinstellung, eine
Belichtungszeit und/oder eine Ausrichtung der
Bildaufnahmeeinrichtung gegenüber beispielsweise dem
Betrachtungsbereich und/oder gegenüber beispielsweise der
Optik. [22] Dabei dient eine „Steuereinheit", welche beispielsweise ein Computer, ein Mikroprozessor oder eine anders geartete, beispielsweise auch mechanisch ausgeführte, Einrichtung ist, mittels derer ein Einwirken auf die Einstelleinrichtung derart möglich ist, dazu, dass ein gewünschter Effekt an der Einstelleinrichtung erzielt wird. Beispielsweise kann eine solche Steuereinheit ein
Computer sein, welcher entsprechende Signale aufnimmt, gemäß einem hinterlegten Algorithmus verarbeitet und daraufhin eine gezielte Einflussnahme auf die
Einstelleinrichtung vernimmt, sodass mittels der
Einstelleinrichtung anhand der Steuereinheit entsprechende
Einstellungen vorgenommen werden.
[23] Dabei steuert die Steuereinheit die
Einstelleinrichtung in Abhängigkeit von der ersten
Bildinformation derart, dass die erste Bildinformation aufgenommen und beispielsweise ausgewertet wird, sodass dann ein Anpassen der Sensitivitätsverteilung mit einer
Kalibrierkorrelation zwischen der ersten Bildinformation und der zweiten Bildinformation ermöglicht ist. So wird beispielsweise die Sensitivitätsverteilung mit einer
Kalibrierkorrelation verrechnet oder überlagert, sodass die Sensitivitätsverteilung anhand der Kalibrierkorrelation angepasst ist und damit beispielsweise die
Bildaufnahmeeinrichtung derart angepasst ist, dass ein
Signal-zu-Rausch-Verhältnis vorteilhaft erreicht wird und/oder eine entsprechende Belichtung optimiert wird.
[24] Eine „Kalibration" beschreibt dabei den Vorgang, bei welchem die Sensitivitätsverteilung mit der Kalibrierkorrelation beispielsweise überlagert wird und damit eine kalibrierte Sensitivitätsverteilung vorliegt.
Die Kalibration ist dabei der Vorgang, der eine Abweichung gegenüber einem Ideal feststellt und in einem zweiten
Schritt hin zu einem sogenannten „Normal" korrigiert, wobei entsprechende Abweichungen im Idealfall vollständig oder zumindest zu einem Großteil durch die Kalibration behoben werden.
[25] Um die erfindungsgemäße medizinische
Bildgebungsvorrichtung möglichst einfach und mit wenigen
Baugruppen aufbauen zu können, ist die Einstelleinrichtung mittels einer Schalteinrichtung in den optischen Weg einbringbar, sodass die erste Bildinformation von der
Steuereinheit in einem ersten Schaltzustand der
Schalteinrichtung, in der die Einstelleinrichtung nicht in den optischen Weg eingebracht ist, aufnehmbar ist und die
Steuereinheit in einem zweiten Schaltzustand der
Schalteinrichtung die Einstelleinrichtung in Abhängigkeit von der ersten Bildinformation zum Anpassen der Sensitivitätsverteilung mit einer Kalibrierkorrelation zwischen der ersten Bildinformation und der zweiten
Bildinformation steuert, wobei die Bildaufnahmeeinrichtung insbesondere einen ersten Bildsensor zum Aufnehmen der ersten Bildinformation und der zweiten Bildinformation aufweist.
[26] Somit kann ein erster Bildsensor, welcher alleinig verwendet wird, derart mittels der Schalteinrichtung beschältet werden, dass die erfindungsgemäße Funktion mit nur einem ersten Bildsensor erfüllt wird. [27] Eine „Schalteinrichtung" ist dabei beispielsweise eine
Einrichtung zum optischen oder auch mechanischen Schalten entsprechender Schaltzustände, wobei bei einem optischen
Schalten beispielsweise mittels entsprechender Spiegel,
Linsen oder anderer optischer Bauteile insbesondere ein
Umlenken des optischen Weges um die Einstelleinrichtung herum erfolgt, sodass in einem ersten Schaltzustand der optische Weg um die Einstelleinrichtung herum verläuft und in einem zweiten Schaltzustand der optische Weg derart verläuft, dass die Einstelleinrichtung im Eingriff mit dem optischen Weg ist. Alternativ kann die Einstelleinrichtung auch in den optischen Weg eingeschwenkt oder anderweitig eingebracht werden, sodass im ersten Schaltzustand die
Einstelleinrichtung nicht mechanisch im Verlauf des optischen Weges eingebracht ist und im zweiten Schaltzustand im direkten optischen Weg eingebracht ist.
[28] Alternativ oder ergänzend dazu weist der optische Weg einen ersten optischen Teilweg zum Abbilden der ersten
Bildinformation auf der Bildaufnahmeeinrichtung und einen zweiten optischen Teilweg zum Abbilden der zweiten
Bildinformation auf der Bildaufnahmeeinrichtung auf, wobei die erste Bildinformation von der Steuereinheit im ersten optischen Teilweg aufnehmbar ist und die Steuereinheit die
Einstelleinrichtung im zweiten optischen Teilweg in
Abhängigkeit von der ersten Bildinformation zum Anpassen der Sensitivitätsverteilung mit einer Kalibrierkorrelation zwischen der ersten Bildinformation und der zweiten
Bildinformation steuert, wobei die Bildaufnahmeeinrichtung insbesondere einen dem ersten optischen Teilweg zugeordneten ersten Bildsensor mit einer ersten Sensitivitätsverteilung zum Aufnehmen der ersten
Bildinformation und einen dem zweiten optischen Teilweg zugeordneten zweiten Bildsensor mit einer zweiten Sensitivitätsverteilung zum Aufnehmen der zweiten
Bildinformation aufweist.
[29] Somit kann insbesondere gleichzeitig mittels des ersten Bildsensors und des zweiten Bildsensors eine jeweilige Bildinformation aufgenommen werden, sodass insbesondere auch die Kalibrierkorrelation in Echtzeit gebildet und/oder angewandt wird, sodass bestenfalls eine gleichzeitige Aufnahme der ersten Bildinformation und der zweiten Bildinformation mit einer Kalibration der zweiten
Bildinformation erfolgen kann.
[30] Ein „optischer Teilweg" ist dabei ein entsprechender
Abschnitt und/oder ein entsprechender parallel oder separat von einem anderen Teilweg verlaufender optischer Weg, sodass der optische Weg insbesondere in mehrere optische
Teilwege aufgeteilt ist und entsprechende Bildinformationen entlang eines jeweiligen optischen Teilweges geleitet und daher getrennt voneinander insbesondere auf unterschiedlichen Bildsensoren abgebildet werden können.
[31] „Echtzeit" beschreibt dabei eine Durchführung von technischen oder auch elektronischen Vorgängen derart, dass eine zuverlässige Verarbeitung, Anzeige und/oder
Darstellung der Vorgänge innerhalb einer festgelegten Zeit erfolgt. Im engeren Sinne wird der Begriff „Echtzeit" auch derart verwendet, dass beispielsweise für einen Bediener der Eindruck der Gleichzeitigkeit von Ereignissen, also beispielsweise das Empfinden einer „Echtzeit "-Darstellung, entsteht gemäß dem realen Zeiteindruck des Bedieners. So erfolgt beispielsweise eine Darstellung parallel mit einer
Framerate von mehr als 24 Frames je Sekunde oder auch einer höheren Framerate, sodass ein Bediener nicht mehr zwischen einzelnen Frames unterscheiden kann.
[32] Um beispielsweise eine werksseitige Kalibration oder auch eine Kalibration vor einem jeweiligen Einsatz der jeweiligen medizinischen Bildgebungsvorrichtung zuverlässig vornehmen zu können, ist die Kalibrierkorrelation anhand einer Referenzbildinformation, insbesondere anhand unterschiedlicher Referenzbildinformationen mit insbesondere jeweiligen Belichtungseinstellungen, gebildet.
[33] Eine solche „Referenzbildinformation" ist dabei beispielsweise eine Bildtafel einer bestimmten, gleichmäßigen Färbung, wie beispielsweise eine Weiß-Tafel oder eine Grau-Tafel, anhand derer mit einer bekannten
Farbverteilung, insbesondere einer bekannten gleichmäßigen
Farbverteilung, beispielsweise eine Belichtung oder eine andere Information bezüglich der Kalibrierkorrelation zuverlässig erkannt und daraus die Kalibrierkorrelation gebildet werden kann.
[34] Eine „Belichtungseinstellung" ist eine bestimmte
Einstellung, mittels derer eine entsprechende
Lichtempfindlichkeit der Bildaufnahmeeinrichtung, insbesondere eines Bildsensors, berücksichtigt und angepasst wird. [35] In diesem Zusammenhang kann ein „Bildsensor" beispielsweise ein elektronischer Chip oder eine andere gleichartige Einrichtung, mittels derer entlang des optischen Weges und der jeweiligen Optik verlaufendes Licht und/oder ein entsprechendes Bild aufgezeichnet und in elektronische Signale umgewandelt werden kann, sein.
Beispielsweise ist ein solcher Bildsensor ein CCD-Chip oder ein vergleichbares elektronisches Bauteil.
[36] In einer Ausführungsform ist die Kalibrierkorrelation anhand eines Weißabgleiches und/oder anhand eines
Schwarzabgleiches oder anhand mehrerer Weißabgleiche und/oder anhand mehrerer Schwarzabgleiche, insbesondere in
Abhängigkeit von einer Belichtungseinstellung oder abhängig von mehreren Belichtungseinstellungen des zweiten
Bildsensors, gebildet.
[37] Damit kann, beispielsweise auch im Zusammenhang mit einer entsprechenden Referenzbildinformation, ein zuverlässiger und nachvollziehbarer und damit reproduzierbarer Abgleich und ein solches Bilden der
Kalibrierkorrelation sichergestellt werden.
[38] Ein „Weißabgleich" dient dazu, eine entsprechende
Bildinformation, beispielsweise einer photographischen
Information, derart anzupassen, dass Effekte durch beispielsweise unterschiedliche Lichtwellenlängen der
Lichtquelle an einem Aufnahmeort, beispielsweise am
Betrachtungsbereich, berücksichtigt werden und damit eine beispielsweise Verfärbung einer entsprechenden
Bildinformation verhindert oder bestmöglich kompensiert wird. In diesem Zusammenhang wird auch von einer Anpassung der Farbtemperatur gesprochen. Demgegenüber erfolgt bei einem „Schwarzabgleich" eine Einstellung derart, dass sichergestellt ist, dass schwarze Bildteile oder schwarze
Bestandteile der Bildinformation insbesondere von einer elektronischen Kamera, wie beispielsweise einem elektronischen Bildsensor, auch schwarz wiedergegeben werden und keine Farbverfälschung aufweisen. Dabei wird beispielsweise eine Blende komplett geschlossen, sodass kein Licht mehr auf einen entsprechenden Bildsensor fällt.
Entsprechende Einzelsignale von beispielsweise Farbkanälen eines Bildsensors werden dann so abgeglichen, dass ein entsprechendes Bildsignal ausgegeben wird.
[39] Um auch präventiv eine entsprechende
Kalibrierkorrelation für die Benutzung der medizinischen
Bildgebungsvorrichtung vorhalten zu können, liegt die
Kalibrierkorrelation für unterschiedliche
Beleuchtungsintensitäten, insbesondere unterschiedliche
Beleuchtungsintensitäten der Lichtquelle, vor.
[40] Somit kann beispielsweise für fest eingestellte
Beleuchtungsarten, beispielsweise entsprechende
Beleuchtungsintensitäten der Lichtquelle eine entsprechende
Kalibrierkorrelation, beispielsweise im Rahmen einer
Werkseinstellung für die medizinische
Bildgebungsvorrichtung abgelegt werden, sodass beispielsweise bei einem Einstellen der Lichtquelle oder
Umschalten der Lichtquelle auf eine andersfarbige
Beleuchtungsart oder eine unterschiedliche
Beleuchtungsstärke die jeweilige Kalibrierkorrelation zumindest grundsätzlich schon abrufbar ist. Darüber hinaus kann dann auch durch ein entsprechendes Auswerten der ersten Bildinformation eine weiterführende
Kalibrierkorrelation, also beispielweise für eine
Nachjustierung der Werkseinstellung, ermittelt werden.
[41] In einer weiteren Ausführungsform weist die
Einstelleinrichtung einen Frame-Manipulator auf, wobei mittels des Frame-Manipulators eine Framerate der
Bildaufnahmeeinrichtung, insbesondere des zweiten
Bildsensors, und/oder eine Frameanzahl der
Bildaufnahmeeinrichtung, insbesondere des zweiten
Bildsensors, einstellbar ist und/oder ein
Belichtungsmanipulator aufweist, wobei mittels des
Belichtungsmanipulators eine Belichtungsintensität und/oder eine Belichtungsdauer der Bildaufnahmeeinrichtung, insbesondere des zweiten Bildsensors, einstellbar ist.
[42] Mittels eines solchen Frame-Manipulators kann dabei beispielsweise mittels eines Anpassens der Framerate der
Bildaufnahmeeinrichtung, insbesondere des zweiten
Bildsensors, eine angepasste und möglichst schnelle
Aufnahme entsprechender Bildinformationen erfolgen, indem nämlich beispielsweise die Framerate erhöht wird, wenn aus der ersten Bildinformation ausgelesen werden kann, dass die
Belichtungsintensität des zweiten Bildsensors ausreicht und damit die Framerate entsprechend erhöht werden kann, ohne
Qualitätseinbußen der zweiten Bildinformation in Kauf nehmen zu müssen. [43] Demgegenüber oder auch ergänzend kann eine entsprechende Framezahl der Bildaufnahmeeinrichtung, insbesondere des zweiten Bildsensors, an eine entsprechende
Kalibrierkorrelation oder eine entsprechende Information des ersten Bildsensors oder der ersten Bildinformation angepasst werden, sodass eine Belichtungsintensität und/oder eine Belichtungsdauer der Bildaufnahmeeinrichtung, insbesondere des zweiten Bildsensors anhand dieser Daten eingestellt werden kann, um beispielsweise eine
Aufnahmegeschwindigkeit, eine Vermeidung von Bewegungs
Artefakten oder andere Effekte zu optimieren.
[44] Um die medizinische Bildgebungsvorrichtung insbesondere auch zum Ermitteln von physiologischen
Parametern des Betrachtungsbereiches nutzen zu können, weist die Bildaufnahmeeinrichtung einen Spektralsensor, insbesondere einen Hyperspektralsensor mit einem zeilenweisen Abtasten von Bildinformationen des
Betrachtungsbereiches, auf, wobei der Hyperspektralsensor insbesondere eine Schlitzblende und/oder eine Gitterblende zum insbesondere variablen Unterbrechen und/oder Lenken der jeweiligen Bildinformationen, aufweist.
[45] „Physiologische Parameter" des Betrachtungsbereiches sind vorliegend beispielsweise eine
Sauerstoffkonzentration, entsprechende Fettanteile,
Durchblutungswerte, eine Hämoglobinkonzentration oder auch ein Wasseranteil in beispielsweise einem betrachteten Organ und/oder dem betrachteten Gewebe des jeweiligen Organs im
Betrachtungsbereich. Solche physiologischen Parameter sind beispielsweise mittels entsprechender Lichtspektren ermittelbar, indem ein Absorptionsgrad für eine Wellenlänge oder einen entsprechenden Wellenlängenbereich oder auch mehrere Absorptionsgrade für mehrere Wellenlängenbereiche eines Lichtspektrums analysiert und daraus auf einen entsprechenden physiologischen Parameter zurückgeschlossen wird. So ist beispielsweise eine bestimmte
Absorptionswellenlänge odermehrere Absorptionswellenlängen oder auch bestimmte Absorptionswellenlängenbereiche einer
Hämoglobinkonzentration zugeordnet, eine andere
Absorptionswellenlänge oder mehrere derartige
Absorptionswellenlängen oder auch
Absorptionswellenlängenbereiche einem Wassergehalt oder eine dritte Absorptionswellenlänge oder mehrere
Absorptionswellenlängen oder
Absorptionswellenlängenbereiche einem Sauerstoffgehalt im
Blut. Dabei können entsprechende Wellenlängenbereiche für das Ermitteln unterschiedlicher physiologische Parameter gleich, überlappend oder unterschiedlich sein oder in verschiedenen Kombinationen verwendet werden.
[46] Ein „Spektralsensor" ist ein Sensor, beispielsweise ein Bildsensor oder ein anderer lichtempfindlicher Sensor, welcher in der Lage ist, Spektralinformationen beispielsweise einer Bildinformation aufzunehmen und damit eine Information über beispielsweise eine
Spektralverteilung im Betrachtungsbereich auszugeben, sodass beispielsweise anhand der Spektralverteilung physiologische Parameter bestimmt werden können.
[47] In diesem Zusammenhang weist ein „Hyperspektralsensor" beispielsweise eine Spektrometereinheit auf, die durch einen sogenannten Beobachtungsspalt und durch ein Prisma oder ein optisches Gitter einfallendes Licht wellenlängenabhängig aufspaltet. Entsprechend aufgespaltenes Licht wird dann einem Bildsensor des
Hyperspektralsensors zugeleitet und von diesem detektiert.
Einzelne Aufnahmen eines Hyperspektralsensors liefert damit für eine sogenannte Bildzeile eines Objektes, also beispielsweise eine Bildzeile aus dem Betrachtungsbereich, spektrale Informationen. Durch ein Bewegen beispielsweise des Beobachtungsspaltes kann dann ein Objekt, beispielsweise ein Objekt im Betrachtungsbereich, vollständig zeilenweise überstrichen werden, sodass über eine Gesamtfläche aus dem Betrachtungsbereich ein sogenannter hyperspektraler Datencube entsteht, also eine mehrdimensionale Information, welche für beispielsweise jedes Pixel, also jeden Bildpunkt, im Bild ein optisches
Spektrum, also beispielsweise eine Verteilung von
Lichtwellenlängen, liefert. Somit kann beispielsweise eine
Verteilung von Lichtwellenlängen im Bereich von 500 nm bis
1.000 nm über eine vollständige Fläche des
Betrachtungsbereiches zuverlässig für jeden Bildpunkt einzeln ermittelt werden. Aus einem solchen hyperspektralen
Datencube können dann beispielsweise physiologische
Gewebeparameter abgeleitet und/oder berechnet werden.
[48] Eine „Schlitzblende" ist dabei beispielsweise das mechanische Mittel, mittels dem ein solcher
Beobachtungsspalt erzeugt wird. Beispielsweise handelt es sich dabei um ein Metallblech mit einem entsprechenden
Schlitz. Eine „Gitterblende" ist dabei beispielsweise eine entsprechende Abfolge von Schlitzen in Form von jeweils ähnlich oder gleich ausgestalteten Schlitzen in einer
Blende. Damit kann dann jeweils eine Bildinformation beispielsweise variabel unterbrochen oder auch gelenkt oder gebeugt werden.
[49] Um die medizinische Bildgebungsvorrichtung konstruktiv einfach zu gestalten, weist die Einstelleinrichtung einen
Motor, insbesondere einen Verstellmotor, auf, wobei mittels des Motors und/oder mittels des Verstellmotors die
Schlitzblende und/oder die Gitterblende bewegbar ist, sodass das variable Unterbrechen und/oder Lenken der jeweiligen Bildinformation durch ein Bewegen der
Schlitzblende und/oder Gitterblende erfolgt.
[50] Ein „Motor" ist dabei eine mechanische Einrichtung, beispielsweise eine elektromechanische Einrichtung, welche bereitgestellte Energie in beispielsweise eine Rotation oder Translation, also in eine physische Bewegung, versetzt. Beispielsweise kann hier ein Elektromotor, ein
Hydraulikmotor, ein Magnetmotor oder ein anders gearteter
Motor verwendet werden.
[51] In einer weiteren Ausführungsform ist der
Steuereinheit eine Berechnungseinheit zum Berechnen einer prognostizierten Aufnahmedauer der jeweiligen
Bildinformation auf Grundlage der Kalibrierkorrelation und/oder auf Grundlage von Betriebsparametern der
Steuereinheit, der Bildaufnahmeeinrichtung, des ersten
Bildsensors und/oder des zweiten Bildsensors zugeordnet. [52] Damit kann, beispielsweise aus vergangenen
Bildinformationen eines ersten Bildsensors, und/oder aus dem bisherigen Verlauf einer entsprechenden Aufnahme und eines Überstreichens des Betrachtungsbereiches zum Erzeigen des hyperspektralen Datencubes, eine prognostizierte
Aufnahmedauer berechnet werden, sodass beispielsweise einem
Bediener eine entsprechende Aufnahmedauer angezeigt werden kann, bis zu der eine entsprechenden medizinische
Bildgebungsvorrichtung beispielsweise nicht bewegt werden darf.
[53] Eine „Berechnungseinheit" ist dabei beispielsweise ein
Computerchip oder auch ein Computer oder ein entsprechender
Algorithmus auf einem Computer zum Betreiben der medizinischen Bildgebungsvorrichtung, welcher eine entsprechende Berechnung aufgrund eines hinterlegten
Algorithmus vornehmen kann.
[54] „Betriebsparameter" der Steuereinheit sind dabei beispielsweise physische Eigenschaften der Steuereinheit, entsprechende von einem Bediener eingestellte Eigenschaften oder beispielsweise eine Belichtungseinstellung der
Steuereinheit, der Bildaufnahmeeinrichtung, des ersten
Bildsensors und/oder des zweiten Bildsensors.
[55] In einer weiteren Ausführungsform weist die
Bildaufnahmeeinrichtung einen Sensor zum Aufnehmen eines für einen Bediener sichtbaren Bildes, insbesondere eines
RGB-Bildes, auf und/oder ist der erste Bildsensor ein
Bildsensor zum Aufnehmen eines für einen Bediener sichtbaren Bildes, insbesondere ein RGB-Sensor und/oder ein
Weißlichtsensor .
[56] Mittels eines solchen RGB-Sensors oder eines Sensors zum Aufnehmen eines entsprechenden Bildes kann damit parallel zum Erzeugen der spektralen Bildinformation oder beispielsweise parallel oder in Intervallen wechselweise zum Aufnehmen von physiologischen Parametern auch ein sichtbares Bild des Betrachtungsbereiches für den Bediener dargestellt werden.
[57] Ein „RGB-Bild" ist dabei ein insbesondere für einen
Bediener sichtbares Bild aus entsprechenden
Farbinformationen, nämlich roten, grünen und blauen
Farbinformationen, welche dann zu einem sichtbaren Bild unterschiedlicher Farbdarstellungen zusammengesetzt werden.
[58] Ein RGB-Sensor ist insbesondere ein elektronischer
Sensor, welchem beispielsweise entsprechende Filter vorgelagert sind, sodass bestimmte Sensorbereiche nur
Lichtinformationen bestimmter Farbgebung empfangen können und damit eine Trennung nach unterschiedlichen Farben ermöglicht ist. Allgemein wird ein solcher RGB-Sensor auch
„Weißlichtsensor" genannt, da mittels eines solchen Sensors
Licht diverser Farbspektren aufgenommen werden kann.
Üblicherweise ist ein solcher RGB-Sensor als Sensor mit einem sogenannten Bayer-Filter ausgeführt.
[59] In einem weiteren Aspekt wird die Aufgabe gelöst durch ein Verfahren zum Kalibrieren einer medizinischen
Bildgebungsvorrichtung gemäß einer der vorig beschriebenen
Ausführungsformen, mit folgenden Schritten: - Aufnehmen der ersten Bildinformation mit der
Bildaufnahmeeinrichtung, sodass die erste
Bildinformation in der Bildaufnahmeeinrichtung vorliegt, - Steuern der Einstelleinrichtung mittels der
Steuereinheit durch ein Anpassen der zweiten Sensitivitätsverteilung mit der
Kalibierkorrelation, sodass eine kalibrierte zweite
Bildinformation vorliegt, sodass eine Kalibration des zweiten Bildsensors erreicht ist.
[60] Mittels eines solchen Verfahrens ist es einfacherweise ermöglicht, eine Kalibration des zweiten Bildsensors anhand einer Bildinformation des ersten Bildsensors durchzuführen und damit den zweiten Bildsensor so zu betreiben, dass eine qualitativ hochwertige Aufnahme ermöglicht ist.
[61] Ein „Kalibrieren" beschreibt dabei die Tätigkeit, die eine Kalibration herbeiführt. Ein Kalibrieren kann dabei also ein Aufnehmen einer Information sowie ein Vergleichen der Information mit einer angestrebten Norm oder einem angestrebten Normal umfassen, ebenso kann es Teil des
Kalibrierens sein, eine entsprechende Folge, wie beispielsweise Steuern der Einstelleinrichtung, anhand dieser Informationen vorzunehmen.
[62] In einer Ausführungsform wird das Steuern anhand einer
Teilinformation der ersten Bildinformation, insbesondere anhand einer mittleren Pixelintensität der ersten Bildinformation, anhand einer maximalen Pixelintensität der ersten Bildinformation und/oder anhand einer Pixel
Intensitätsverteilung der ersten Bildinformation durchgeführt.
[63] Mit diesem Vorgehen kann insbesondere eine gleichmäßige Kalibration oder eine zielgerichtete
Kalibration anhand der entsprechenden Teilinformation, also anhand eines bestimmten signifikanten Merkmals der
Bildinformation, vorgenommen werden.
[64] Eine „Teilinformation" kann in diesem Zusammenhang jede Information der Bildinformation sein, welche ein bestimmtes Merkmal, eine bestimmte Qualität oder eine bestimmte Eigenschaft der Bildinformation in ihrer
Gesamtheit oder in einem Teil beschreibt, abbildet oder repräsentiert. Beispielsweise ist solch eine
Teilinformation als mittlere Pixelintensität, maximale
Pixelintensität und/oder Pixel-Intensitätsverteilung der ersten Bildinformation ausgestaltet. Eine „Pixelintensität" beschreibt dabei beispielsweise eine Leuchtstärke eines
Pixels oder analog Signalstärke bezüglich eines entsprechenden Pixels, also bezüglich eines Bildpunktes oder eines Teilbereiches des Bildes oder der
Bildinformation, wobei dann anhand beispielsweise der mittleren Pixelintensität, also einer durchschnittlichen
Intensitätsverteilung entsprechender Pixel, die Kalibration durchgeführt wird. Ebenso kann die Kalibration anhand einer maximalen Pixelintensität durchgeführt werden, sodass beispielsweise ein Übersteuern eines Bildsensors wirksam verhindert wird. Analog dazu kann eine Pixel Intensitätsverteilung, also die Verteilung entsprechender
Signalstärken, dazu genutzt werden, ein Glätten entsprechender Bildinformationsanteile in der Kalibration zu berücksichtigen.
[65] Um insbesondere im Zusammenhang mit der hyperspektralen Bildaufnahme eine zuverlässige und zeitlich sinnvoll gestaltete Kalibration durchzuführen, wird das
Steuern des zweiten Bildsensors zeilenweise durchgeführt, sodass die Kalibration zeilenweise für eine jeweilige Zeile durchgeführt wird.
[66] Somit kann beispielsweise für eine Zeile einer hyperspektralen Bildaufnahme eine jeweilige Kalibration derart vorgenommen werden, dass bei einer ungleichmäßigen
Beleuchtung des Betrachtungsbereiches eine jeweilige Zeile beispielsweise anhand ihrer Belichtung so eingestellt wird, dass ein Signal-zu-Rausch-Verhältnis möglichst günstig eingestellt wird, also dass eine entsprechende Zeile optimal belichtet wird. Somit kann, falls beispielsweise eine Belichtungszeit als Einstellwert zum Steuern der
Einstelleinrichtung genutzt wird, eine Gesamtaufnahmezeit derart optimiert werden, dass die jeweils anhand der
Kalibration ermittelte kürzest mögliche Belichtungszeit genutzt wird, wobei jeweils sichergestellt wird, dass die
Belichtungszeit ausreicht, um eine optimal ausgeleuchtete
Zeile darzustellen.
[67] In einer weiteren Ausführungsform wird mittels einer der Einstelleinrichtung zugeordneten Kontrolleinheit eine
Kontrollmessung mit einem Vergleich der Sensitivitätsverteilung, der Kalibrierkorrelation, der ersten Sensitivitätsverteilung und/oder der zweiten Sensitivitätsverteilung zum Prüfen der Genauigkeit der
Kalibration durchgeführt.
[68] Mittels einer solchen Kontrolleinheit kann damit ein geschlossener Regelkreis aufgebaut werden, mittels welchem eine entsprechende Kalibration während des Betriebs oder in
Intervallen zwischen entsprechenden Betriebszuständen kontrolliert werden kann.
[69] Eine „Kontrolleinheit" ist dabei beispielsweise ein
Computer oder ein Computerchip, insbesondere ein Computer oder ein Computerchip mit einem entsprechenden Algorithmus, welcher beispielsweise Referenzwerte aufweist oder entsprechende Kontrollwerte, welche dann im Rahmen eines
Vergleichs zum Prüfen der Genauigkeit der Kalibration genutzt werden.
[70] Eine „Kontrollmessung" beschreibt dabei den Vorgang, bei welchem ein entsprechendes Prüfen der Genauigkeit durchgeführt wird, also beispielsweise zum Zeitpunkt eines
Auslösens der Kontrollmessung durch einen Bediener und/oder auch automatisch, beispielsweise im Rahmen einer geschlossenen Regelschleife.
[71] Um insbesondere auch bei einem Verwenden von unterschiedlichen Bildformaten und/oder bei einem
Übertragen von unterschiedlichen Bandbreiten für unterschiedliche Bildformate ein sicheres Kalibrieren sicherzustellen, erfolgt ein Umrechnen der
Kalibrierkorrelation anhand eines Verhältnisses einer ersten Bildgröße der ersten Bildinformation und einer zweiten Bildgröße der zweiten Bildinformation, insbesondere anhand einer jeweiligen Länge und/oder anhand einer jeweiligen Breite der jeweiligen Bildinformation, sodass ein größenangepasstes, formatangepasstes, längenangepasstes und/oder breitenangepasstes Überlagern der
Kalibrierkorrelation mit der jeweiligen Sensitivitätsverteilung ermöglicht ist.
[72] Ein „Verhältnis" einer ersten Bildgröße zu einer zweiten Bildgröße beschreibt dabei beispielsweise einen
Faktor zum Umrechnen entsprechender Pixelverhältnisse, entsprechender Längenverhältnisse oder auch entsprechender
Breitenverhältnisse, wobei eine jeweilige „Länge" und eine jeweilige „Breite" dabei eine beliebige Dimension einer solchen Bildgröße abbilden. Üblicherweise wird dabei die
Breite eines Bildes in horizontaler Richtung sowie die
Länge eines Bildes in vertikaler Richtung angeben. Die
„Länge" eines Bildes kann dabei auch als „Höhe" beschrieben sein.
[73] In einer weiteren Ausführungsform wird die Kalibration während des Aufnehmens der ersten Bildinformation mittels einer laufenden Kalibration und/oder nach dem Aufnehmen der ersten Bildinformation mittels einer nachfolgenden
Kalibration, insbesondere in Echtzeit, insbesondere in einer Auswerteeinheit, durchgeführt.
[74] Auf diese Weise kann entweder direkt während der
Aufnahme oder in einer zeitlich insbesondere nicht von einem Bediener wahrnehmbaren Abfolge eine Kalibration durchgeführt werden.
[75] Um einen störungsfreien Betrieb der medizinischen
Bildgebungsvorrichtung sicherzustellen, erfolgt ein
Anpassen der Beleuchtungsintensität der Lichtquelle, insbesondere in Abhängigkeit von Kalibrierkorrelation.
[76] Somit kann, beispielsweise wenn im Rahmen der
Kalibration festgestellt wird, dass eine
Beleuchtungsintensität für ein ausreichend hochwertiges
Bild, insbesondere einer hyperspektralen Aufnahme, nicht ausreicht, die Beleuchtungsintensität der Lichtquelle entsprechend nachgeregelt oder nachgestellt werden.
Insbesondere erfolgt dies in Abhängigkeit von der
Kalibrierkorrelation, sodass beispielsweise entsprechende
Grenzwerte innerhalb der Steuereinheit und/oder der
Einstelleinrichtung oder einer weiteren Komponente abgelegt sind, bei deren Überschreiten oder Unterschreiten eine entsprechende Korrektur der Beleuchtungsintensität der
Lichtquelle erfolgt. Dieses Anpassen der
Beleuchtungsintensität der Lichtquelle kann dabei frameweise oder auch zeilenweise erfolgen, sodass beispielsweise auch mittels eines Anpassens der
Beleuchtungsintensität der Lichtquelle eine zeitliche
Optimierung der Aufnahmedauer erfolgt, also beispielsweise durch ein Erhöhen der Beleuchtungsintensität eine entsprechende Belichtung ermöglicht wird, die eine kürzere
Belichtungszeit zulässt. [77] Im Weiteren wird die Erfindung anhand von
Ausführungsbeispielen erläutert. Es zeigen
Figur 1 eine schematische Darstellung eines laparoskopischen Systems mit einem hyperspektralen System in einer
Seitenansicht,
Figur 2 eine schematische Darstellung eines alternativen laparoskopischen Systems mit einem alternativen hyperspektralen
System,
Figur 3 ein Diagramm zum Darstellen eines jeweiligen Signal-Rausch-Verhältnisses in einem betrachteten Spektralbereich für verschiedene Messabstände und
Belichtungszelten,
Figur 4 ein Diagramm zum Darstellen einer
Belichtungszeit eines Hyperspektral
Sensors und eines Weißlichtsensors bei unterschiedlichem Messabstand,
Figur 5 ein Diagramm zum Darstellen einer benötigten Belichtungszeit eines
Hyperspektral-Sensors in Abhängigkeit der
Belichtungszeiten eines Weißlichtsensors,
Figur 6 ein Diagramm zum Darstellen einer
Motorgeschwindigkeit in Abhängigkeit von der verwendeten Bildwiederholrate (fps) während eines Scanvorgangs eines
Hyperspektral-Sensors,
Figur 7 einen schematischen Ablaufplan eines
Verfahrens zum Kalibrieren sowie zur
Regelung einer hyperspektralen
Belichtungsdauer,
Figur 8 einen schematischen Ablaufplan eines
Verfahrens zum Regeln einer
Motorgeschwindigkeit eines Hyperspektral
Sensors, sowie
Figur 9 einen schematischen Ablaufplan eines
Verfahrens zum automatischen Anpassen einer Belichtungszeit.
[78] Ein laparoskopisches System 101 besteht aus einem
Laparoskop 103 zum Betrachten einer Bauchhöhle sowie einem hyperspektralen System 121 zum Auswerten entsprechender
Bildinformationen eines beispielhaft dargestellten Objektes
191 in einem Betrachtungsbereich 193. Das Laparoskop 103 weist einen beispielhaft dargestellten Schaft 111 auf, welcher beispielsweise in ein Trokar eingebracht und mittels des Trokar geführt in den Bauchraum eingebracht werden kann. Der Schaft dient dem Leiten von Licht entlang eines optischen Weges 181 aus dem Betrachtungsbereich 193 hin zu einem Objektivadapter 117 an einer einem Bediener zugewandten Seite des Laparoskops 103. Auf den
Objektivadapter 117 kann beispielsweise ein Objektiv (nicht dargestellt) aufgebracht werden, sodass das Laparoskop 103 ohne elektronische Hilfen als optisches Hilfsmittel genutzt werden kann und das Objektiv dazu dient, einem Betrachter eine Abbildung des Objektes 191 im Betrachtungsbereich 193 darzustellen.
[79] Am Schaft 111 ist ein Anschluss 113 für einen
Lichtkanal 115 vorgesehen, wobei der Lichtkanal 115 seitlich gegenüber dem Schaft 11 am Anschluss 113 angebracht ist. Mittels des Lichtkanals 115 kann Licht von einer Lichtquelle, beispielsweise einer LED-Beleuchtung, in den Schaft 111 eingebracht werden, sodass mittels des durch den Lichtkanal 115 und den Schaft 111 geleiteten Lichtes der Betrachtungsbereich 193 und damit das Objekt 191 beleuchtet werden kann.
[80] Im vorliegenden Beispiel ist auf dem Objektivadapter
117 ein hyperspektrales System 121 aufgesetzt, sodass das entlang des optischen Weges 181 einfallende Licht in das hyperspektrale System 121 durch den Objektivadapter 117 geleitet wird.
[81] Das hyperspektrale System 121 weist ein beispielhaft dargestelltes Gehäuse 123 auf, wobei in dem Gehäuse 123 sämtliche Mittel zum Aufnehmen entsprechender Bilder, insbesondere eines Farbbildes des Betrachtungsbereiches 193 und eines Hyperspektralbildes des Betrachtungsbereichs 193 untergebracht sind.
[82] Das entlang des optischen Weges 181 einfallende Licht wird an einem Strahlteiler 143 aufgeteilt, sodass ein Teil des einfallenden Lichts entlang eines optischen Weges 183 auf einen Bildsensor 141 geleitet werden kann. Der
Bildsensor 141 ist dabei ein RGB-Sensor, dient also zum Aufnehmen eines Farbbildes des Betrachtungsbereiches 193.
Dazu ist der RGB-Sensor beispielsweise als CMOS-Sensor mit einem Bayer-Filter ausgestattet.
[83] Das entlang eines optischen Weges 185 aus dem
Strahlteiler 143 teilweise austretende Licht wird durch ein
Hochpassfilterglas 145 geleitet, sodass ungewünschte
Anteile des aus dem Betrachtungsbereich 193 geleiteten
Lichtes herausgefiltert werden können. Sodann wird das
Licht entlang des optischen Weges 185 durch eine Linse 147 geleitet und trifft danach auf ein Transmissionsgitter 149.
Mittels des Transmissionsgitters 149 wird das Licht spektral aufgespaltet und umgelenkt und dann mittels einer
Linse 151 auf einen Bildsensor 142 geleitet, welcher entsprechend spektral aufgeteilte Lichtinformationen aufnimmt und verarbeitet. Die Linse 147, das
Transmissionsgitter 149, die Linse 151 und der Bildsensor
142 sind in einem Gehäuse 124 innerhalb des Gehäuses 123 des hyperspektralen Systems 121 untergebracht. Innerhalb des Gehäuses 124 ist damit ein sogenanntes HSI-System, also ein Teilsystem zur hyperspektralen Betrachtung, untergebracht .
[84] Ein Stellmotor 161 dient dabei zum mechanischen
Verstellen der Anordnung aus der Linse 147, dem
Transmissionsgitter 149, der Linse 151 sowie des
Bildsensors 142, sodass jeweils eine Zeile eines Bildes des
Betrachtungsbereiches 193 auf dem Bildsensor 142 abgebildet werden kann und damit für diese jeweilige Zeile die
Spektralverteilung des einfallenden Lichtes abgebildet wird. Aus einer Vielzahl von so abgetasteten Zeilen wird dann ein sogenannter hyperspektraler Datencube erzeugt, also eine mehrdimensionale Information über die
Spektralverteilung einfallenden Lichtes aus dem
Betrachtungsbereich 193.
[85] Beispielhaft ist ein Computer 125 dargestellt, welcher über eine Datenleitung 127 Bildinformationen vom Bildsensor
141 und über eine Datenleitung 131 Bildinformationen vom
Bildsensor 142 aufnimmt und verarbeitet. Weiterhin kann der
Computer 125 über eine Datenleitung 129 den Stellmotor 161 beeinflussen und steuern, sodass der Computer 125 die hyperspektrale Anordnung, also das HSI-System, verstellen und steuern kann. Der Computer 125 nimmt dazu beispielsweise eine Belichtungsinformation des Bildsensors
141 oder eine Belichtungsverteilung des Bildsensors 141 auf und vergleicht diese mit einer im Computer 125 abgelegten
Vergleichsinformation oder einer dort abgelegten gewünschten Belichtungsinformation. Sodann kann der
Computer 125 anhand der mittels des Bildsensors 141 ermittelten Bilddaten den Stellmotor 161 derart beeinflussen, dass beispielsweise eine Abtastrate, also eine jeweilige Folgerate der Bildzeilen, derart eingestellt wird, dass eine jeweilige Bildzeile mit einer optimalen
Belichtungszeit und damit mit einer optimalen Belichtung aufgenommen werden kann. Weiterhin kann der Computer 125 über die Datenleitung 131 den Bildsensor 142 steuern und auch entsprechende Bildinformationen auslesen, sodass beispielsweise eine Rückkopplung der aufgenommenen
Bildinformation des Bildsensors 142 dazu genutzt wird, die mittels des Computers 125 durchgeführte Veränderung am Stellmotor 161 zu prüfen und damit die Richtigkeit der vorgenommenen Einflussnahme festzustellen.
[86] Insgesamt ist damit durch ein Aufnehmen der
Bildinformation über den Bildsensor 141 ein Kalibrieren des
HSI-Systems möglich. Insbesondere erfolgt dies direkt während einer jeweiligen Aufnahme, kann jedoch auch schrittweise durchgeführt werden, also beispielsweise für jede Zeile einzeln.
[87] Der Computer 125 führt weiterhin eine Berechnung durch, wie lange eine jeweilige Bildaufnahme des Objektes
191 voraussichtlich aufgrund der mit dem Bildsensor 141 aufgenommenen Belichtungsinformationen und beispielhaft abgelegten Referenzinformationen und Erfahrungswerten noch dauert und zeigt diese Information einem jeweiligen
Bediener auf einem Ausgabegerät (nicht dargestellt), sodass dem Bediener damit signalisiert wird, wie lange beispielsweise eine Position für die Aufnahme eines Bildes noch sicher und bewegungsfrei gehalten werden muss. Die erfolgreiche Aufnahme eines Bildes kann dann beispielsweise mittels eines Pieptons quittiert werden.
[88] Ein alternatives laparoskopisches System 201
(abstrahiert dargestellt) weist ein alternatives hyperspektrales System 221 auf, welches in seiner gezielten
Wirkung dem hyperspektralen System 121 entspricht, kommt mit einem Bildsensor und ohne Strahlteiler aus. Das im
Betrachtungsbereich 193 angeordnete Objekt 191 wird dabei analog zum obig beschriebenen Beispiel betrachtet, Licht fällt entlang eines optischen Weges 281 in das hyperspektrale System 221 (schematische Darstellung).
Sodann kann das Licht über einen schwenkbaren Spiegel 231 auf einen Spiegel 241, einen Spiegel 243 und auf einen weiteren schwenkbaren Spiegel 232 geleitet werden, sodass das Licht zunächst über einen optischen Weg 285 an das im
Gehäuse 223 untergebrachten HSI-System vorbei auf einen
Bildsensor 241 geleitet wird. Der Bildsensor 241 ist in diesem Betriebszustand in der Lage, ein Farbbild des
Objektes 191 zu erzeugen und beispielsweise an einen nachgelagerten Computer zu übermitteln.
[89] In einem zweiten Schaltzustand wird das Licht vom optischen Weg 281 entlang eines optischen Weges 283 durch das HSI-System im Gehäuse 223 geleitet, und zwar indem der
Spiegel 231 und der Spiegel 232 außer Eingriff mit dem optischen Weg 281 gebracht werden. Die Spiegel 241 sowie
243 sind dabei außer Funktion, der optische Weg 285 ist ungenutzt. Das einfallende Licht läuft dann durch das HSI-
System im Gehäuse 223, beispielhaft ist zudem ein
Stellmotor 261 dargestellt, welcher die Funktion des
Stellmotors 161 analog abbildet. Analog zum vorigen
Beispiel kann dann über einen Computer eine entsprechende
Kalibration des durch das HSI-System fallenden Bildes erfolgen, sodass der Bildsensor 241 in diesem Schaltzustand ein HSI-Bild, insbesondere eine jeweilige Zeile eines HSI
Bildes, abbildet.
[90] Die Darstellung mit den Spiegeln 231 sowie 232 ist dabei beispielhaft gewählt, um das Wirkprinzip zum Nutzen eines einzelnen Bildsensors 241 zu verdeutlichen, ebenso kann das HSI-System im Gehäuse 223 auch in den optischen Weg 281 ein und ausgeschwenkt werden oder in einer anderen
Form jeweils entlang des optischen Weges 283 oder wahlweise entlang des optischen Weges 285 geleitet werden.
[91] Ein Diagramm 301 stellt ein Signal-Rausch-Verhältnis für unterschiedliche Messabstände, also unterschiedliche
Abstände beispielsweise eine Spitze des Schaftes 111 zum
Objekt 191, und unterschiedliche Belichtungszeiten dar, im gezeigten Beispiel mit einer sogenannten Weißreferenz, also einem Objekt, welches eine gleichmäßige Weißfärbung bekannter optischer Eigenschaften aufweist. Eine Abszisse
303 des Diagramms 301 zeigt entsprechende Wellenlängen einfallenden Lichts, eine Ordinate 305 ein Signal-Rausch
Verhältnis. Graphen 309 stellen damit die Abhängigkeit des
Signal-Rausch-Verhältnisses gegenüber der Lichtwellenlänge dar. Damit können zwei Effekte gezeigt werden, welche durch die Erfindung kompensiert und gelöst werden:
[92] Zum einen stellt eine Funktion 311 mit leichten lokalen Abweichungen das Signal-Rausch-Verhältnis für fünf unterschiedliche Messabstände und Belichtungszeiten dar. So ist mit der Funktion 311 sowohl ein Messen im Abstand von
25 mm bei 2,6 ms Belichtungszeit, ein Messen bei 40 mm
Messabstand bei 6,0 ms Belichtungszeit, ein Messen bei einem Messabstand von 50 mm bei einer Belichtungszeit von
9,5 ms, ein Messen bei einem Messabstand von 75 mm bei einer Belichtungszeit von 20,0 ms sowie ein Messen bei einem Messabstand von 100 mm bei einer Belichtungszeit von
35,0 ms dargestellt. Damit ist erkennbar, dass eine ausreichende Belichtung für einen jeweiligen Bildsensor bei gleichbleibendem Signal-Rausch-Verhältnis bei einem gesteigerten Messabstand durch eine jeweils erhöhte
Belichtungszeit kompensiert werden kann.
[93] Weiterhin zeigen Funktion 313, 315, 317 sowie 319 ein jeweiliges Signal-Rausch-Verhältnis bei unterschiedlichen
Messabständen, nämlich bei 40 mm (Funktion 313), 50 mm
(Funktion 315), 75 mm (Funktion 317) sowie 100 mm (Funktion
319). Die Belichtungszeit beträgt jeweils 2,6 ms. Daran ist erkennbar, dass das Signal-Rausch-Verhältnis bei einem
Erhöhen des Messabstandes und gleichzeitigem Beibehalten einer Belichtungszeit von 2,6 ms stetig sinkt, die Qualität einer möglichen Bildaufnahme damit also sukzessive sinkt.
Ein entsprechendes Einstellen einer Belichtungszeit für beispielsweise den Bildsensor 142 durch den Computer 125 anhand einer mittels des Bildsensors 141 ermittelten
Belichtungsstärke kann daher dazu dienen, aufgrund der im
Diagramm 301 gezeigten Effekte eine Kalibration dahingehend vorzunehmen, dass eine sukzessive Anpassung der
Belichtungsze4it bei erhöhtem Messabstand beispielsweise dazu genutzt wird, die Bildqualität konstant zu halten.
[94] Ein Diagramm 401 zeigt dazu eine benötigte
Belichtungszeit eines HSI-Gesamtsystems aus einem HSI
System und einem RGB-Sensor bei steigendem Messabstand und konstanter gemessener Intensität für eine beispielhafte
Wellenlänge von 610 nm auf eine Weißreferenz, sowie eine
Gewebephantom. In diesem Diagramm 401 sind auch automatisch geregelte Belichtungszeiten eines RGB-Sensors bei Abdunkeln und Aufhellen dargestellt. Ein solches Gewebephantom ist dabei eine beispielhafte Anordnung, welche in etwa optische
Eigenschaften eines im menschlichen Körper befindlichen Gewebes abbildet und zum Kalibrieren oder für Versuche dient. Auf einer Abszisse 403 des Diagramms 401 ist dabei ein Messabstand dargestellt, eine erste Ordinate 405 stellt die Belichtungszeit dar. Eine zweite Ordinate 407 liefert dazu eine notwendige Aufnahmezeit für die Aufnahme von 720
Bildzeilen.
[95] Entsprechende Graphen 409 stellen die jeweiligen funktionalen Zusammenhänge dar.
[96] Eine Funktion 411 zeigt dabei den Zusammenhang für eine HSI-Aufnahme bei Aufnahme einer Weißreferenz. Eine
Funktion 413 zeigt dazu eine leicht ansteigende
Belichtungszeit des RGB-Sensors bei einem Abdunkeln des
Betrachtungsbereiches, eine Funktion 415 den gegenteiligen
Effekt bei einem Aufhellen des Betrachtungsbereiches.
[97] Für die Aufnahme eines Gewebephantoms zeigt die
Funktion 417 die HSI-Aufnahme des Gewebephantoms, die
Funktion 419 entsprechende Effekte am RGB-Sensor für ein
Abdunkeln des Betrachtungsbereiches sowie die Funktion 421 die Effekte am RGB-Sensor für ein Aufhellen des
Betrachtungsbereiches .
[98] Ein Diagramm 501 stellt eine entsprechende Korrelation einer Weißlicht-Belichtungszeit zu einer HSI
Belichtungszeit dar, nämlich entsprechende Korrelation zu einem automatischen Regeln entsprechender Belichtungszeiten des Farbbildsensors bei unterschiedlicher Beleuchtung des
Betrachtungsbereiches sowie davon abhängige benötigte
Belichtungszeiten des HSI-Systems für eine konstante Intensität bei beispielhaft gewählten 610 nm
Lichtwellenlänge .
[99] Eine Abszisse 503 stellt dabei die Belichtungszeit des
Farbbildsensors, eine Ordinate 505 die Belichtungszeit des
HSI-Sensors dar. Entsprechende Graphen 509 zeigen die
Zusammenhänge :
[100] Eine Funktion 511 zeigt den enstprechenden
Zusammenhang für das Abdunkeln, eine Funktion 513 für ein
Aufhellen jeweils auf einer Weißreferenz, beispielsweise einem weißen Objekt. Eine Funktion 515 zeigt den
Zusammenhang für ein Abdunkeln und eine Funktion 517 für ein Aufhellen, jeweils auf einem Gewebephantom.
[101] Ein Diagramm 601 zeigt eine Korrelation einer notwendigen Motorgeschwindigkeit, also beispielsweise der
Geschwindigkeit des Motors 161, in Abhängigkeit von der eingestellten Bildwiederholrate (FPS) des HSI-Systems. Eine
Abszisse 603 stellt dabei die Bildwiederholrate (FPS) dar, eine Ordinate 605 eine entsprechende Motordrehzahl, welche beispielsweise als Schritte eines Schrittmotors oder als
Drehzahl aufgetragen werden kann (in Figur 6 beispielshaft als Schritte eines Schrittmotors aufgetragen). Eine
Funktion 611 zeigt dabei den entsprechenden Zusammenhang, sodass mittels einer entsprechend von beispielsweise dem
Computer 125 gesteuerten Drehzahl des Motors 161 eine genaue Bildwiederholrate des HSI-Systems steuerbar ist.
[102] Im Folgenden seien noch entsprechende Verfahren zum Kalibrieren eines medizinischen Bildgebungssystems, beispielsweise des laparoskopischen Systems 101, dargestellt:
[103] Ein Verfahren 701 dient dabei dem Kalibrieren einer HSI-Belichtungsdauer:
[104] Es erfolgt zunächst ein Einstellen einer
Belichtungszeit des HSI-Sensors für einen Weißabgleich bei einer optimalen Intensität und einem kleinsten gewählten
Messabstand. Sodann erfolgt ein Ersetzen 705 einer für den
Weißabgleich genutzten Weißreferenz durch ein
Gewebephantom, wobei eine dabei gemessene Intensität als
Referenz für die weiteren Schritte dient. Im Folgenden erfolgt ein Variieren 707 entsprechender Belichtungszeiten des HSI-Sensors für unterschiedliche Messabstände, wobei dies jeweils durchgeführt wird, bis die im entsprechenden vorigen Schritt gemessene Intensität als Referenz erreicht ist. Für alle so ermittelten Messabstände wird auch eine automatisch geregelte Belichtungszeit des Farbsensors bei einem Aufhellen und/oder einem Abdunkeln eines entsprechenden Betrachtungsbereiches bestimmt. Sodann erfolgt ein Bestimmen 709 eines funktionalen Zusammenhangs zwischen der Belichtungszeit des Farbsensors und der
Belichtungszeit des HSI-Sensors, sodass damit eine
Kalibrierkorrelation erreicht ist und ein Kalibrieren des
Systems ermöglicht ist.
[105] Ein Verfahren 801 zeigt das Regeln einer entsprechenden Motorgeschwindigkeit für das Beeinflussen eines HSI-Systems: [106] Es erfolgt zunächst ein Aufnehmen 803 eines HSI
Bildes eines beispielsweise quadratischen Objektes bei unterschiedlichen Bildwiederholraten des HSI-Sensors.
Sodann erfolgt ein Anpassen 805 der Motorgeschwindigkeit für jeweilige Bildwiederholraten derart und so lange, bis ein jeweiliges Verhältnis von Länge des betrachteten
Objektes zur Breite des betrachteten Objektes, welches, wie dargestellt, quadratisch ist, innerhalb einer engen
Toleranz um den Wert 1 liegt, also beispielsweise zwischen
0,94 und 1,06. Bei einem idealquadratischen Objekt müsste dieses Verhältnis zum Erreichen einer optimalen
Bildwiederholrate und wahrheitsgetreuen Darstellung 1 sein.
[107] Abschließend erfolgt ein Bestimmen 807 des funktionalen Zusammenhangs zwischen der Bildwiederholrate und der Motorgeschwindigkeit, sodass beispielsweise die im
Diagramm 601 dargestellte Korrelation der Funktion 611 ermittelt und dargestellt ist.
[108] Ein Verfahren 901 stellt das Erzeugen einer HSI
Aufnahme mit automatisch angepasster Belichtungszeit dar.
Es erfolgt zunächst ein Abfragen 903 einer entsprechenden
Belichtungszeit des Farbsensors, also beispielsweise des
RGB-Sensors 141. Sodann erfolgt ein Bestimmen 905 einer resultierenden Belichtungszeit des HSI-Sensors unter
Zuhilfenahme der wie oben beschrieben ermittelten funktionalen Zusammenhänge.
[109] In der Folge erfolgt ein Berechnen 907 einer maximal möglichen Bildwiederholrate für eine entsprechende unter Wahrung einer entsprechenden Belichtungsqualität und Bildqualität, wobei entsprechende Belichtungszeiten auf einen praktikablen oder technisch umsetzbaren Bereich beschränkt werden können.
[110] In der Folge erfolgt ein Bestimmen 909 einer resultierenden Motorgeschwindigkeit anhand der
Bildwiederholrate und anhand der, wie oben dargestellt, gezeigten funktionalen Zusammenhänge.
[111] Es erfolgt dann ein Berechnen 911 einer
Aufnahmezeit und ein Anzeigen für einen Betrachter oder einen Anwender, wobei die Grundlage für dieses Berechnen
911 die Anzahl der benötigten Bilder in Bezug zur möglichen
Bildwiederholrate abbildet.
[112] Abschließend erfolgt ein Einstellen 913 der jeweils ermittelten notwendigen Belichtungszeiten und
Bildwiederholraten des HSI-Sensors sowie der
Motorgeschwindigkeit anhand der vorher erzeugten
Kalibrierkorrelationen .
Bezugszeichenliste
101 laparoskopisches System
103 Laparoskop
111 Schaft
113 Anschluss
115 Lichtkanal
117 Objektivadapter
121 hyperspektrales System
123 Gehäuse
124 Gehäuse
125 Computer
127 Datenleitung
129 Datenleitung
131 Datenleitung
141 Bildsensor
142 Bildsensor
143 Strahlteiler
145 Filterglas
147 Linse
149 Transmissionsgitter
151 Linse
161 Stellmotor
181 optischer Weg
183 optischer Weg
185 optischer Weg
191 Objekt
193 Betrachtungsbereich
201 laparoskopisches System 221 hyperspektrales System
223 Gehäuse
231 Spiegel
232 Spiegel
241 Spiegel
243 Spiegel
261 Stellmotor
281 optischer Weg
283 optischer Weg
285 optischer Weg
301 Diagramm
303 Abszisse
305 Ordinate
309 Graphen
311 Funktion
313 Funktion
315 Funktion
317 Funktion
319 Funktion
401 Diagramm
403 Abszisse
405 Ordinate
407 Ordinate
409 Graphen
411 Funktion
413 Funktion
415 Funktion
417 Funktion 419 Funktion
421 Funktion
501 Diagramm
503 Abszisse
505 Ordinate
509 Graphen
511 Funktion
513 Funktion
515 Funktion
517 Funktion
601 Diagramm
603 Abszisse
605 Ordinate
611 Funktion
701 Verfahren
703 Einstellen
705 Ersetzen
707 Variieren
709 Bestimmen
801 Verfahren
803 Aufnehmen
805 Anpassen
807 Bestimmen
901 Verfahren
903 Abfragen
905 Bestimmen
907 Berechnen
909 Bestimmen 911 Berechnen
913 Einstellen

Claims

Patentansprüche :
1. Medizinische Bildgebungsvorrichtung (101, 201) , insbesondere Laparoskop, Endoskop und/oder Exoskop, mit einer Lichtquelle (115) zum Beleuchten eines
Betrachtungsbereiches (193) , einer Optik mit einem optischen Weg (181) zum Aufnehmen des
Betrachtungsbereiches (193) und zum Abbilden einer ersten
Bildinformation des Betrachtungsbereiches (193) auf einer
Bildaufnahmeeinrichtung (141, 142, 241) mit einer Sensitivitätsverteilung, sodass die erste Bildinformation von der Bildaufnahmeeinrichtung (141, 142, 241) aufgenommen ist und zum Abbilden einer zweiten
Bildinformation des Betrachtungsbereiches (193) auf der
Bildaufnahmeeinrichtung (141, 142, 241) , sodass die zweite Bildinformation von der Bildaufnahmeeinrichtung
(141, 142, 241) aufgenommen ist, und einer
Einstelleinrichtung (149) zum Einstellen von
Bildparametern der Bildaufnahmeeinrichtung (141, 142,
241) , dadurch gekennzeichnet, dass der
Einstelleinrichtung (149, 161) eine Steuereinheit (125) zugeordnet ist, wobei die erste Bildinformation von der
Steuereinheit (125) aufnehmbar ist und die Steuereinheit
(125) die Einstelleinrichtung (149, 161) in Abhängigkeit von der ersten Bildinformation zum Anpassen der Sensitivitätsverteilung mit einer Kalibrierkorrelation zwischen der ersten Bildinformation und der zweiten
Bildinformation steuert, sodass mittels der
Einstelleinrichtung (149, 161) eine von der ersten
Bildinformation abhängige Kalibration der zweiten
Bildinformation für die Bildaufnahmeeinrichtung (141,
142, 241) vorliegt .
2. Medizinische Bildgebungsvorrichtung gemäß Anspruch 1, dadurch gekennzeichnet, dass die Einstelleinrichtung (149, 161) mittels einer Schalteinrichtung (231, 232) in den optischen Weg (181) einbringbar ist, sodass die erste
Bildinformation von der Steuereinheit (125) in einem ersten Schaltzustand der Schalteinrichtung (231, 232) , in der die Einstelleinrichtung (149, 161) nicht in den optischen Weg eingebracht ist, aufnehmbar ist und die
Steuereinheit (125) in einem zweiten Schaltzustand der
Schalteinrichtung (231, 232) die Einstelleinrichtung
(149, 161) in Abhängigkeit von der ersten Bildinformation zum Anpassen der Sensitivitätsverteilung mit einer
Kalibrierkorrelation zwischen der ersten Bildinformation und der zweiten Bildinformation steuert, wobei die
Bildaufnahmeeinrichtung (141, 142, 241) insbesondere einen ersten Bildsensor (241) zum Aufnehmen der ersten
Bildinformation und der zweiten Bildinformation aufweist.
3. Medizinische Bildgebungsvorrichtung gemäß Anspruch 1, dadurch gekennzeichnet, dass der optische Weg (181) einen ersten optischen Teilweg (183) zum Abbilden der ersten
Bildinformation auf der Bildaufnahmeeinrichtung (141) und einen zweiten optischen Teilweg (185) zum Abbilden der zweiten Bildinformation auf der Bildaufnahmeeinrichtung
(142) aufweist, wobei die erste Bildinformation von der
Steuereinheit (125) im ersten optischen Teilweg (183) aufnehmbar ist und die Steuereinheit (125) die
Einstelleinrichtung (149, 161) im zweiten optischen
Teilweg (185) in Abhängigkeit von der ersten
Bildinformation zum Anpassen der Sensitivitätsverteilung mit einer Kalibrierkorrelation zwischen der ersten
Bildinformation und der zweiten Bildinformation steuert, wobei die Bildaufnahmeeinrichtung (141, 142, 241) insbesondere einen dem ersten optischen Teilweg (183) zugeordneten ersten Bildsensor (141) mit einer ersten Sensitivitätsverteilung zum Aufnehmen der ersten
Bildinformation und einen dem zweiten optischen Teilweg (185) zugeordneten zweiten Bildsensor (142) mit einer zweiten Sensitivitätsverteilung zum Aufnehmen der zweiten
Bildinformation aufweist.
4. Medizinische Bildgebungseinrichtung gemäß einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die
Kalibrierkorrelation anhand einer
Referenzbildinformation, insbesondere anhand unterschiedlicher Referenzbildinformationen mit insbesondere jeweiligen Belichtungseinstellungen gebildet ist .
5. Medizinische Bildgebungsvorrichtung gemäß einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die
Kalibrierkorrelation anhand eines Weißabgleiches und/oder anhand eines Schwarzabgleiches oder anhand mehrerer
Weißabgleiche und/oder anhand mehrerer Schwarzabgleiche, insbesondere abhängig von einer Belichtungseinstellung oder abhängig von mehreren Belichtungseinstellungen des der Bildaufnahmeeinrichtung oder des zweiten Bildsensors
(142) , gebildet ist.
6. Medizinische Bildgebungsvorrichtung gemäß einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die
Kalibrierkorrelation für unterschiedliche
Beleuchtungsintensitäten, insbesondere unterschiedliche
Beleuchtungsintensitäten der Lichtquelle (115) , vorliegt.
7. Medizinische Bildgebungsvorrichtung gemäß einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die
Einstelleinrichtung (149, 161) einen Frame-Manipulator aufweist, wobei mittels des Frame-Manipulators eine
Framerate der Bildaufnahmeeinrichtung (141, 142, 241) , insbesondere des zweiten Bildsensors (142) , und/oder eine
Frameanzahl der Bildaufnahmeeinrichtung (141, 142, 241) , insbesondere des zweiten Bildsensors (142) , einstellbar ist und/oder einen Belichtungs-Manipulator aufweist, wobei mittels des Belichtungs-Manipulators eine
Belichtungsintensität und/oder eine Belichtungsdauer der
Bildaufnahmeeinrichtung (141, 142, 241) , insbesondere des zweiten Bildsensors (142) , einstellbar ist.
8. Medizinische Bildgebungsvorrichtung gemäß einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die
Bildaufnahmeeinrichtung (141, 142, 241) einen
Spektralsensor, insbesondere ein Hyperspektralsensor
(124) mit einem zeilenweisen Abtasten von
Bildinformationen des Betrachtungsbereiches (193) , aufweist, wobei der Hyperspektralsensor (124) insbesondere eine Schlitzblende und/oder eine
Gitterblende (149) zum insbesondere variablen
Unterbrechen und/oder Lenken der jeweiligen
Bildinformation, aufweist .
9. Medizinische Bildgebungsvorrichtung gemäß Anspruch 8, dadurch gekennzeichnet, dass die Einstelleinrichtung
(149, 161) einen Motor, insbesondere einen Verstellmotor
(161) , aufweist, wobei mittels des Motors und/oder mittels des Verstellmotors (161) die Schlitzblende und/oder die Gitterblende (149) bewegbar ist, sodass das variable Unterbrechen und/oder Lenken der jeweiligen
Bildinformation durch ein Bewegen der Schlitzblende und/oder Gitterblende (149) erfolgt.
10. Medizinische Bildgebungsvorrichtung gemäß einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der
Steuereinheit (125) eine Berechnungseinheit zum Berechnen einer prognostizierten Aufnahmedauer der jeweiligen
Bildinformation auf Grundlage der Kalibrierkorrelation und/oder auf Grundlage von Betriebsparametern der
Steuereinheit (125) , der Bildaufnahmeeinrichtung (141,
142, 241) , des ersten Bildsensors (141, 241) und/oder des zweiten Bildsensors (142) zugeordnet ist.
11. Medizinische Bildgebungsvorrichtung gemäß einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die
Bildaufnahmeeinrichtung (141, 142, 241) einen Sensor
(141, 142, 241) zum Aufnehmen eines für einen Bediener sichtbaren Bildes, insbesondere eines RGB-Bildes, aufweist und/oder der erste Bildsensor (141) ein Sensor zum Aufnehmen eines für einen Bediener sichtbaren Bildes, insbesondere ein RGB-Sensor und/oder ein Weißlichtsensor, ist.
12. Verfahren zum Kalibrieren einer medizinischen
Bildgebungsvorrichtung (101, 201) gemäß einem der
Ansprüche 1 bis 11, mit folgenden Schritten: - Aufnehmen der ersten Bildinformation mit der
Bildaufnahmeeinrichtung (141, 142, 241), sodass die erste Bildinformation in der Bildaufnahmeeinrichtung
(141, 142, 241) vorliegt, - Steuern der Einstelleinrichtung ( 149 , 161 ) mittels der
Steuereinheit (125) durch ein Anpassen der zweiten Sensitivitätsverteilung mit der Kalibierkorrelation, sodass eine kalibrierte zweite Bildinformation vorliegt , sodass eine Kalibration des zweiten Bildsensors ( 142 ,
241) erreicht ist.
13. Verfahren gemäß Anspruch 12, dadurch gekennzeichnet, dass das Steuern anhand einer Teilinformation der ersten
Bildinformation, insbesondere anhand einer mittleren
Pixelintensität der ersten Bildinformation, anhand einer maximalen Pixelintensität der ersten Bildinformation und/oder anhand einer Pixel-Intensitätsverteilung der ersten Bildinformation durchgeführt wird.
14 . Verfahren gemäß Anspruch 12 oder 13 , dadurch gekennzeichnet, dass das Steuern des zweiten Bildsensors
( 142 , 241 ) zeilenweise erfolgt , sodass die Kalibration zeilenweise für eine jeweilige Zeile durchgeführt wird .
15 . Verfahren gemäß einem der vorherigen Ansprüche 12 bis 14 , dadurch gekennzeichnet, dass mittels einer der
Einstelleinrichtung ( 149 , 161 ) zugeordneten
Kontrolleinheit eine Kontrollmessung mit einem Vergleich der Sensitivitätsverteilung, der Kalibrierkorrelation, der ersten Sensitivitätsverteilung und/oder der zweiten Sensitivitätsverteilung zum Prüfen der Genauigkeit der
Kalibration durchgeführt wird .
16 . Verfahren gemäß einem der Ansprüche 12 bis 15 , dadurch gekennzeichnet, dass ein Umrechnen der
Kalibrierkorrelation anhand eines Verhältnisses einer ersten Bildgröße der ersten Bildinformation und einer zweiten Bildgröße der zweiten Bildinformation, insbesondere anhand einer jeweiligen Länge und/oder anhand einer jeweiligen Breite der jeweiligen
Bildinformation, erfolgt , sodass ein größenangepasstes , formatangepasstes , längenangepasstes und/oder breitenangepasstes Überlagern der Kalibrierkorrelation mit der jeweiligen Sensitivitätsverteilung ermöglicht ist .
17 . Verfahren gemäß einem der Ansprüche 12 bis 16 , dadurch gekennzeichnet, dass die Kalibration während des
Aufnehmens der ersten Bildinformation mittels einer laufenden Kalibration und/oder nach dem Aufnehmen der ersten Bildinformation mittels einer nachfolgenden
Kalibration, insbesondere in Echtzeit , insbesondere in einer Auswerteeinheit , durchgeführt wird .
18 . Verfahren gemäß einem der vorherigen Ansprüche 12 bis 17 , dadurch gekennzeichnet, dass ein Anpassen der Beleuchtungsintensität der Lichtquelle (151), insbesondere in Abhängigkeit von der
Kalibrierkorrelation, erfolgt.
PCT/EP2022/082723 2021-11-24 2022-11-22 Medizinische bildgebungsvorrichtung sowie verfahren zum kalibrieren einer medizinischen bildgebungsvorrichtung WO2023094351A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021130790.2A DE102021130790B4 (de) 2021-11-24 2021-11-24 Medizinische Bildgebungsvorrichtung sowie Verfahren zum Kalibrieren einer medizinischen Bildgebungsvorrichtung
DE102021130790.2 2021-11-24

Publications (1)

Publication Number Publication Date
WO2023094351A1 true WO2023094351A1 (de) 2023-06-01

Family

ID=84487561

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/082723 WO2023094351A1 (de) 2021-11-24 2022-11-22 Medizinische bildgebungsvorrichtung sowie verfahren zum kalibrieren einer medizinischen bildgebungsvorrichtung

Country Status (2)

Country Link
DE (1) DE102021130790B4 (de)
WO (1) WO2023094351A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120075447A1 (en) * 2010-09-29 2012-03-29 Fujifilm Corporation Endoscope system
EP2851662A2 (de) * 2013-08-30 2015-03-25 Spekled GmbH Vorrichtung und Verfahren zur Aufnahme eines Hyperspektralbildes
DE102019134473A1 (de) * 2019-12-16 2021-06-17 Hoya Corporation Live-Kalibrierung

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11686847B2 (en) 2019-06-20 2023-06-27 Cilag Gmbh International Pulsed illumination in a fluorescence imaging system
DE102020105458B4 (de) 2019-12-13 2023-09-28 Karl Storz Se & Co. Kg Medizinische Bildgebungsvorrichtung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120075447A1 (en) * 2010-09-29 2012-03-29 Fujifilm Corporation Endoscope system
EP2851662A2 (de) * 2013-08-30 2015-03-25 Spekled GmbH Vorrichtung und Verfahren zur Aufnahme eines Hyperspektralbildes
DE102019134473A1 (de) * 2019-12-16 2021-06-17 Hoya Corporation Live-Kalibrierung

Also Published As

Publication number Publication date
DE102021130790A1 (de) 2023-05-25
DE102021130790B4 (de) 2023-10-12

Similar Documents

Publication Publication Date Title
DE10304267B9 (de) Augenchirurgie-Mikroskopiesystem
EP2108306B1 (de) Vorrichtung und Verfahren zur endoskopischen 3D-Datenerfassung
DE4136034C2 (de)
DE10055725B4 (de) Elektronisches Endoskopsystem
DE3818125C2 (de)
EP2786696B1 (de) Dentalkamerasystem
DE102005034332A1 (de) Einrichtung und Verfahren zur Beobachtung, Dokumentation und/oder Diagnose des Augenhintergrundes
DE102010045364A1 (de) Verfahren und Vorrichtung zur Erzeugung hochwertiger Fundusaufnahmen
DE4026821A1 (de) Verfahren zur erfassung von anomalien der haut, insbesondere von melanomen, sowie vorrichtung zur durchfuehrung des verfahrens
WO2008067922A1 (de) Verfahren zur erzeugung hochqualitativer aufnahmen der vorderen und/oder hinteren augenabschnitte
DE102013208306A1 (de) Stereoskopisches Mikroskop
DE102018110641B3 (de) Mikroskopieverfahren zur Abbildung eines Objekts sowie Mikroskop
EP1441249A1 (de) Operationsmikroskop
EP0700217B1 (de) Verfahren und Vorrichtung zur Korrektur des Weissabgleichs eines Videofarbbildsignals
DE102011053250B4 (de) Verfahren zum Aufnehmen von Bildern eines Beobachtungsobjektes mit einem elektronischen Bildsensor und optisches Beobachtungsgerät
DE102021130790B4 (de) Medizinische Bildgebungsvorrichtung sowie Verfahren zum Kalibrieren einer medizinischen Bildgebungsvorrichtung
DE102020105459A1 (de) Medizinische bildgebungsvorrichtung mit mehreren bildgebungsmodi
DE102018123781B4 (de) Verfahren zum Durchführen einer Shading-Korrektur und optisches Beobachtungsgerätesystem
DE102018110642B4 (de) Mikroskopieverfahren zur Abbildung eines Objekts sowie Mikroskop
DE102007022958A1 (de) Endoskopprozessor, Computerprogrammprodukt, Endoskopsystem und Endoskopbild-Wiedergabegerät
DE102018110643B3 (de) Stereo-Mikroskop und Verfahren zur Stereomikroskopie
WO2009059737A1 (de) Anordnung und verfahren zur automatischen ermittlung einer kataraktstärke eines auges sowie ophthalmologisches gerät und steuerverfahren für ein solches
DE102020101879A1 (de) Stereo-Mikroskop und Mikroskopieverfahren zum Erzeugen eines Stereo-Bilds eines Objekts
DE102013019096A1 (de) Mikroskopiesystem und Mikroskopieverfahren zur Beobachtung von Phosphoreszenz und/oder Fluoreszenz
DE102019135521A1 (de) Messanordnung, Lichtmikroskop und Messverfahren zur bildgebenden Tiefenmessung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22821894

Country of ref document: EP

Kind code of ref document: A1