WO2016087277A1 - Digitales bilderfassungssystem und verfahren zur fehlerkorrektur in einem solchen system - Google Patents

Digitales bilderfassungssystem und verfahren zur fehlerkorrektur in einem solchen system Download PDF

Info

Publication number
WO2016087277A1
WO2016087277A1 PCT/EP2015/077612 EP2015077612W WO2016087277A1 WO 2016087277 A1 WO2016087277 A1 WO 2016087277A1 EP 2015077612 W EP2015077612 W EP 2015077612W WO 2016087277 A1 WO2016087277 A1 WO 2016087277A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
data
fourier transform
dark current
fourier
Prior art date
Application number
PCT/EP2015/077612
Other languages
English (en)
French (fr)
Inventor
Jürgen TÜMPNER
Original Assignee
Olympus Soft Imaging Solutions Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Soft Imaging Solutions Gmbh filed Critical Olympus Soft Imaging Solutions Gmbh
Publication of WO2016087277A1 publication Critical patent/WO2016087277A1/de
Priority to US15/612,000 priority Critical patent/US10356347B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Definitions

  • the invention relates to a method for error correction in a digital image acquisition system with an image sensor and a read-out device for reading the image sensor, in which a dark current image is detected with the image sensor and the read-out device. Furthermore, the invention relates to a digital image acquisition system with an image sensor and to a read-out device for reading out the image sensor, wherein the read-out device is adapted to detect a dark current image with the image sensor.
  • Digital imaging systems are well known and used for various applications.
  • a digital camera or a digital video camera includes such a system.
  • the image sensors used in digital image capture systems such as CCD or CMOS sensors, often have inhomogeneous dark current noise in the sensor plane. This applies to both linear image sensors, as used in line scan cameras, as well as planar image sensors, as used in cameras.
  • the image captured by a completely darkened image sensor often shows a faint stripe pattern.
  • the inhomogeneous detection characteristic of the image sensors is due to production-related tolerances and systemic properties of the camera electronics used.
  • the artifacts that occur in the acquired images which are reflected in particular in a slightly varying image brightness, play a rather subordinate role.
  • the artifacts that occur in the acquired images which are reflected in particular in a slightly varying image brightness, play a rather subordinate role.
  • the image acquisition in the microscopy sector such systematic aberrations are undesirable.
  • the differences in the background signal present in the sensor level reduce the signal-to-noise ratio and superimpose the weak light intensities of the captured images.
  • a correction image which is individual for the sensor, is recorded in a calibration process.
  • the image sensor is completely darkened, for example, covered.
  • a correction image is subsequently a so-called.
  • Recorded dark current image which reflects the dark current noise of the image sensor.
  • this sensor-specific correction image is subtracted from the images acquired with this sensor.
  • the correction image is usually stored in the memory of an image-processing unit coupled to the camera, for example on the hard disk of a PC. From each image acquired with the aid of the image acquisition system, this correction image is then subtracted, for example from a software present on the image processing unit.
  • the object of the invention is to provide an improved method for error correction in a digital image capture system and an improved digital image capture system, wherein in particular the design effort for the digital image capture system should be as low as possible.
  • the object according to the invention is achieved by a method for error correction in a digital image acquisition system having an image sensor and a read-out device for reading out the image sensor, in which a dark current image is acquired with the image sensor and the read-out device, the method being developed in that it comprises the following steps includes:
  • the Fourier transform is calculated based on the image data of the dark current image.
  • the image sensor of the digital image acquisition system is a flat image sensor, for example a CCD or CMOS sensor, which supplies a pixel-by-pixel resolved dark-current image. It is also conceivable that the image sensor is a linear sensor, as used for example in line scan cameras.
  • the Fourier transform is in particular a discrete Fourier transform (abbreviated: DFT).
  • DFT discrete Fourier transform
  • FFT fast Fourier transform
  • the algorithms for efficiently calculating an FFT are well known.
  • the data describing the Fourier transform are in this case, in particular, the amplitude and phase image in the Fourier space, the Fourier coefficients and the phases of the oscillations used to calculate the FFT.
  • the correction of the image errors by offsetting image data of the acquired image with image data of the correction image is preferably carried out by subtracting from the image data of the acquired further image the image data of the correction image.
  • the correction image is subtracted or subtracted from the acquired image pixel by pixel.
  • the method can be used both for error correction in a digital image capture system for capturing still images (photos) and in a digital imaging system for capturing moving images (video images).
  • the image data of the dark current image is converted from the spatial domain into the frequency domain.
  • this conversion takes place, i. the Fourier transform, successively in several directions of the image.
  • the Fourier transform of the dark current image is calculated by dividing, in rows or columns, a discrete Fourier transform of the pixel values of the dark current image present in a row or column.
  • the pixel value used is, for example, the brightness value.
  • the image artifacts occurring in digital image capture systems are often due to the manufacturing process of the image sensors used. Likewise, systemic properties, e.g. the used reading frequencies of the camera electronics, possible causes.
  • the calibration of a digital image acquisition system takes place with the aid of a previously recorded correction image, usually a dark current image.
  • This correction image is traditionally deposited, for example, in the non-volatile memory of a PC used to process the image data. For large image sensors with a correspondingly large number of pixels, however, a relatively large data memory is required for this purpose.
  • the invention is based on the finding that Fourier transformation of the dark current image from the spatial to the frequency space provides the possibility of manipulating the dark current image in a simple and varied manner. This concerns preferably the possibility of minimizing the space required to store the dark current image.
  • the method for error correction is characterized in that the digital image acquisition system comprises a camera, wherein the camera comprises the image sensor and a, in particular non-volatile, data memory, and wherein the data describing the Fourier transform of the dark current image are stored in the data memory.
  • the non-volatile data memory is preferably a semiconductor memory device, e.g. an EPROM and a flash memory. Furthermore, FeRAM, MRAM and / or PCRAM memory modules are suitable. In particular, the non-volatile data memory is an internal data memory of the camera.
  • the correction image is independent of the further image processing systems connected to the camera.
  • this further image processing system which is for example a PC
  • the digital imaging system is safe and easy to use. This is especially true since it requires some expertise to successfully and correctly perform the calibration process of the sensor.
  • the method for error correction is developed in that the inverse transformation of the Fourier transforming and, in particular, the correction of image errors in the read-out device is carried out, wherein, in particular, the read-out device is also comprised by a camera of the image-recording system.
  • the read-out device is, for example, a microcontroller that is encompassed by the camera.
  • the nonvolatile data memory is preferably provided inside the camera, for example as internal memory of the microcontroller. It is also possible that the data memory is designed as a separate component and coupled to the microcontroller.
  • the digital image capture system (offset) corrected image data to connected image processing units, for example, to a PC used for evaluation.
  • the user-side effort for adaptation between the digital image capture system and these other image-processing units is low.
  • the digital image capture system can therefore be used flexibly on various image processing units.
  • the method for error correction is further developed in that the image sensor is a flat image sensor, wherein the Fourier transform of the dark current image is generated by a Fourier transformation along a line defined by the dark current image, which runs in particular through a center of the dark current image.
  • the Fourier transform of the dark current image comprises a reduced image information which nevertheless contains the essential image information of the dark current image. This applies above all to artifacts which do not have a pronounced structure in a further direction perpendicular to the straight line, for example strip lines. template.
  • a planar image sensor which comprises a plurality of pixels arranged in a regular grid of rows and columns, wherein the data describing the dark current image are pixel values represented in this grid, and wherein a discrete Fourier transform is performed in a row or in a column of the dark current image and a Fourier transform is generated, wherein the row or column extends at least approximately through a midpoint of the dark current image, and wherein Fourier frequencies and associated Fourier parameters of the Fourier transform generated in line or column form the Fourier transform of the dark current image descriptive data are stored.
  • a planar image sensor which comprises a plurality of pixels arranged in a regular grid of rows and columns, wherein the data describing the dark current image are pixel values represented in this grid, and wherein a discrete 2D Fourier transform also shown in the raster of the image sensor is generated, and wherein from the 2D Fourier transform along a row or along a column, in particular along a row or a column, which at least approximately through a center of the 2D Fourier transforms, Fourier frequencies and associated Fourier parameters taken and stored as the Fourier transform descriptive data.
  • a flat image sensor which comprises a plurality of pixels arranged in a regular grid of rows and columns, wherein the data describing the dark current image are pixel values represented in this grid, and wherein the pixel values of the dark current image are summed up and in particular averaged and averaged vertical brightness distribution is generated from the pixel-by-pixel accumulated pixel values, and / or wherein the pixel values of the dark current image are summed and averaged column by column and an average horizontal brightness distribution is generated from the column-wise accumulated pixel values, whereby a Fourier transform of the average horizontal and / or vertical brightness distribution is generated and these / these Fourier-transformed Fourier frequencies and associated Fourier parameters are extracted and stored as the Fourier transform descriptive data.
  • the above-mentioned embodiments are based on the finding that the non-dynamic, spatially constant aberrations that occur occur in many cases have a preferred direction.
  • the aberrations occur as a horizontal or vertical stripe pattern whose preferred direction is to lie along the strip. In many cases, they are due to the production process of the particular flat image sensor and are therefore oriented in the direction of the rows or columns of the image sensor.
  • the amount of data necessary for the description of the correction image in the Fourier space is many times smaller than a data volume of the correction image itself.
  • the possibility is created of storing the correction image in a comparatively small internal data memory of the camera. It is also possible to make the correction of the image error of the image sensor directly in the camera.
  • the memory requirement for the data describing the correction image is further reduced by further developing from the data describing the Fourier transform data or data sets whose values lie above a, in particular predetermined, limit value and / or from which the Fourier transform descriptive data are selected from a predetermined number of data or data records whose values are the highest compared to the values of the remaining data or data records, from which selected data a reduced Fourier transform descriptive data record is formed.
  • the description of the dark current image is limited to those Fourier frequencies which contribute to a considerable extent to the description of the correction image.
  • the amount of data necessary for the reconstruction of the correction image is again considerably reduced. Compared to a classical correction image, a significantly reduced memory requirement results, without a significant loss of quality in the correction.
  • an image sensor with a large number of pixels for a classic correction image requires a storage space between 10 MB and 100 MB.
  • the required storage space is reduced by up to a factor of 1000, depending on the number of Fourier frequencies used.
  • the memory requirement of 8.92 MB without significant loss of quality for the correction image is reduced to 8.9292 KB at 2048 Fourier frequencies.
  • the space required for the correction image increases to 4096 Fourier frequencies. A reduction to those Fourier frequencies which significantly contribute to the reconstruction of the correction image leads to a further reduction in the amount of data necessary for the description of the correction image.
  • the correction image can be stored even in a relatively small internal data memory of a microcontroller, so that a camera-side storage of the correction image is easily possible.
  • the object of the invention is further achieved by a digital an image acquisition system comprising an image sensor and a read-out device for reading out the image sensor, the read-out device being adapted to detect a dark-current image with the image sensor, and wherein the digital image acquisition system is adapted in that the read-out device is adapted to
  • the image sensor is in particular a flat image sensor.
  • the digital image capture system comprises a linear image sensor, as used for example in a line scan camera.
  • the digital image acquisition system comprises a camera, wherein the camera comprises the image sensor and a, in particular non-volatile, data memory, and the data memory is adapted to store the data describing the Fourier transform of the dark current image in the data memory. Furthermore, it is provided, in particular, that the read-out device is set up to re-transform the Fourier transform and, in particular, to correct aberrations, wherein, in particular, the read-out device is included in a camera of the image acquisition system.
  • the image sensor is a planar image sensor and the digital image acquisition system is adapted to generate the Fourier transform of the dark current image by generating a Fourier transformation along a straight line defined by the dark current image, which extends in particular through a center of the dark current image becomes.
  • the digital imaging system is adapted in that the image sensor is a planar image sensor comprising a plurality of pixels arranged in a regular grid of rows and columns, the data describing the dark current image being pixel values represented in this grid, and wherein the digital image acquisition system is arranged to perform a discrete Fourier transform and generate a Fourier transform based on pixel values present in a row or in a column of the dark current image, the row or column being at least approximately through a center of the dark current image, and Fourier frequencies and associated Fourier parameters of the lines - or column-wise generated Fourier transform stored as the Fourier transform of the dark current image descriptive data.
  • the image sensor is a planar image sensor comprising a plurality of pixels arranged in a regular grid of rows and columns, the data describing the dark current image being pixel values represented in this grid
  • the digital image acquisition system is arranged to perform a discrete Fourier transform and generate a Fourier transform based on pixel values present in a row or in a column of the dark current image
  • the image sensor is a planar image sensor, which has a multiplicity of in one pixel arranged on a regular grid of rows and columns, the data describing the dark current image being pixel values represented in this grid, and the digital image acquisition system being arranged to generate, based on these pixel values of the dark current image, a discrete 2D also represented in the image sensor's grid.
  • the image sensor is a planar image sensor, which has a multiplicity of in one pixel arranged on a regular grid of rows and columns, the data describing the dark current image being pixel values represented in this grid, and the digital image acquisition system being arranged to generate, based on these pixel values of the dark current image, a discrete 2D also represented in the image sensor's grid.
  • the digital imaging system is further developed in that the image sensor is a planar image sensor comprising a plurality of pixels arranged in a regular grid of rows and columns, the data describing the dark current image being pixel values represented in this grid, and wherein the digital imaging system is arranged to sum up the pixel values of the dark current image line by line and in particular to produce an average vertical brightness distribution from the line by line summed pixel values, and / or to sum up the pixel values of the dark current image column by column and in particular to an average horizontal brightness distribution from the column-by-summed pixel values and to further produce a Fourier transform of the average horizontal and / or vertical brightness distribution and of said Fourier-transformed Fourier frequencies and associated therewith e take Fourier parameters and store them as the Fourier transform descriptive data.
  • the image sensor is a planar image sensor comprising a plurality of pixels arranged in a regular grid of rows and columns, the data describing the dark current image being pixel values represented in this grid
  • the digital imaging system is arranged to sum up
  • the read-out device is in particular a component of the camera.
  • this is a microcontroller integrated into the camera.
  • the readout device is partly located inside and partly outside the camera, whereby a functional separation between different functions of the readout device can be made.
  • the correction image or the data necessary for the description of the correction image are stored within the camera in a particularly non-volatile data memory present there.
  • the camera comprises, for example, a flash memory module, an EPROM, a FeRAM, MRAM and / or PCRAM memory module.
  • the data describing the correction image are stored in an internal memory of the microcontroller.
  • the image correction is carried out within the camera so that it delivers image data or corrected image data stream already corrected to further image processing units.
  • the digital imaging system has the same or similar advantages as already mentioned with respect to the method of error correction in such a digital imaging system. Further, the features of the invention recited above are equally applicable to the digital imaging system.
  • Fig. 1 is a schematic digital imaging system
  • FIG. 2 is a schematic flow diagram of a method for error correction in such a digital image capture system.
  • Fig. 3 an uncorrected dark current image of a digital
  • Fig. 4 is an enlarged detail of the in Fig. 3 shown dark current image
  • Fig. 5 shows a schematic Fourier spectrum of a correction image for the vertical correction of the image shown in FIG. 3 shown picture
  • FIG. 6 shows a schematic Fourier spectrum of a correction image for the horizontal correction of the correction shown in FIG. 3 shown picture
  • FIG. 7 shows one of the Fourier spectra of FIG. 5 and 6 calculated correction image
  • Fig. FIG. 8 shows a corrected dark current image which is obtained by applying the method shown in FIG. 7 is produced on the dark current image of FIG. 3,
  • Fig. 9 is a partial enlargement of the in Fig. 8 shown corrected dark current image
  • Fig. 1 0 a reduced schematic Fourier spectrum for horizontal error correction, which starting from the in FIG. 5 is determined
  • FIG. 1 1 shows a reduced schematic Fourier spectrum for vertical error correction which, starting from that shown in FIG. 6 is determined
  • Fig. 13 is a corrected dark current image, which is through
  • Fig. 14a an enlarged detail of the in Fig. 13 corrected dark current image
  • FIG. 14 b an enlarged detail of the in Fig. 8 shown corrected dark current image, identical to the representation in FIG. 9 is.
  • the same or similar elements and / or parts are provided with the same reference numerals, so that apart from a new idea each.
  • Fig. 1 schematically shows a digital image acquisition system 2 comprising a camera 3 with an image sensor 4.
  • the image sensor 4 is, in particular, a planar image sensor 4, for example a CCD or CMOS sensor.
  • the camera 3 is designed in the manner of a line scan camera and comprises a linear image sensor 4.
  • a camera 3 with a planar image sensor 4 will be referred to below.
  • An image field captured by an objective 6 of the camera 3 is imaged onto the especially planar image sensor 4.
  • the camera 3 is mounted for imaging an image field on a further optical imaging device, such as a microscope, which optionally replaces the lens 6.
  • the planar image sensor 4 is read out by the read-out device 8.
  • the read-out device 8 is, for example, a microcontroller.
  • the camera 3 comprises a data memory 10, in particular a nonvolatile data memory.
  • a non-volatile data memory 10 a flash memory, a FERAM or an MRAM are suitable.
  • the camera 3 or the read-out device 8 can be coupled via a connection 1 2 with further data processing units used for image processing or image acquisition, such as a PC, for recording and analyzing the digital image data acquired with the camera 3.
  • the connection 1 2 also serves, if necessary, the activation and / or the power supply of the camera 3.
  • FIG. 2 shows a simplified flow chart of a method for error correction in the example in FIG. 1 shown digital Image acquisition system 2.
  • the read-out device 8 is configured to carry out the method shown. It is also possible for the method to be carried out in part by the read-out device 8 and in part by an image processing unit connected to the camera 3 via the connection 1 2, for example a PC.
  • the in Fig. 2 schematically illustrated method will be described below with reference to the illustrations in FIGS. 3 to 14b) explained.
  • step S2 After the start (step S1) of the method, the detection of a dark current image (step S2) takes place with the aid of the flat image sensor 4 and the read-out device 8.
  • the detection of the dark current image is performed by both units in order to detect and correct systematic errors of the system as a whole.
  • Fig. 3 shows by way of example a dark current image acquired in step S2.
  • This has the frequently occurring, production-related vertical stripe structure, as it is to be observed as an artifact in CCD and CMOS sensors.
  • artefacts caused by the production process of the areal image sensors 4 such patterns also occur due to frequency overlays, e.g. of digital clock signals, on.
  • Another reason for the occurrence of spatially constant artifacts are reflections in the infrared region at the back of the silicon of the flat image sensor 4.
  • Fig. 4 shows an enlarged detail of the detail shown in FIG. 3 shown dark current image.
  • the vertical stripe structure superimposes the background noise of the image sensor.
  • a Fourier transform is generated (step S3 in FIG. 2).
  • To calculate the Fourier transform On the basis of the image data of the dark current image, several possibilities are provided according to various embodiments.
  • the Fourier frequencies and Fourier coefficients are considered along a laid-line formed by this 2D Fourier transform.
  • this straight line it is possible to lay this straight line in any direction through the 2D Fourier transform, and to consider the Fourier frequencies and Fourier coefficients along this straight line.
  • the central column or row is taken from the calculated 2D Fourier transform in the vertical and horizontal directions and stored as Fourier transforms.
  • the Fourier frequencies and associated Fourier parameters taken from the central vertical axis and provided for vertical correction of the image are shown by way of example in FIG. 5 shown.
  • the Fourier frequencies and associated Fourier parameters taken from the horizontal central line and provided for horizontal correction of the image are shown by way of example in FIG. 6 shown.
  • Fig. 5 contains the information necessary to describe the periodic errors of the dark current image occurring in the vertical direction.
  • Fig. 6 contains the information necessary to describe the errors occurring in the dark current image in the horizontal direction. are dig. Due to the pronounced vertical strip structure, the in Fig. 6 shown Fourier spectrum, which serves for the horizontal correction of the aberrations, pronounced periodic components.
  • the data quantity of the Fourier transform used to describe the correction image is significantly reduced compared to the correction image itself . It is thus possible to use the data describing the Fourier transforms, for example those shown in FIGS. 5 and 6 to store Fourier coefficients and associated Fourier frequencies in a relatively small internal data memory 10 of the camera 3 (step S4 in Fig. 2).
  • the storage of these data takes place, for example, in an internal memory of a microcontroller, which serves as a read-out device 8. It is also possible to store the corresponding data in a non-volatile data memory 10, which is coupled to the read-out device 8.
  • no complete 2D Fourier transform is generated starting from the detected dark current image (cf., FIG. 3).
  • the intensity values of the dark current image are instead summed up horizontally or vertically. For example, there is a pixel-by-pixel summation of the brightness values in the rows and / or columns of the recorded dark current image for all rows or columns.
  • the summation values can then be normalized by dividing by the number of pixels present in a row or column.
  • the calculated average brightness value is used to obtain an average brightness distribution in horizontal or vertical kaier direction to determine.
  • This average brightness distribution forms the starting point for the calculation of the horizontal and vertical Fourier transforms.
  • the spectra obtained in this way are identical to those shown in FIGS. 5 and 6 (which were calculated in different ways).
  • the amount of data is significantly reduced by the averaging performed, so that it is likewise possible to store the data describing the Fourier spectrum, in particular the Fourier frequencies and associated Fourier coefficients, in an internal data memory 10 of the camera 3.
  • a data memory of small size or with a small storage volume is sufficient for storing the data describing the Fourier transform of the dark current image.
  • step S5 in FIG. 2 With the camera 3, i. with the aid of the flat image sensor 4 and the read-out electronics 8, further images are subsequently acquired (step S5 in FIG. 2).
  • a correction image is generated. This is calculated on the basis of the stored data describing the Fourier transform of the dark current image by back-transformation of the Fourier transform (step S6 in FIG. 2).
  • Fig. 7 shows by way of example such, based on the in Figs. 5 and 6, calculated correction image.
  • the correction image (see Fig. 7) is subtracted from another acquired image (step S7 in Fig. 2).
  • this correction is done by subtracting the correction image pixel by pixel from the captured image.
  • suitable mathematical operations may be provided between the acquired image and the correction image.
  • FIG. 8 the difference between the in Fig. 3 shown dark current image and the in Fig. 7 shown correction image. Only the statistical and homogeneous background noise of the two-dimensional image sensor 4 remains as the difference image between these two images. Periodic vertical and horizontal artifacts are largely eliminated, the image has a homogeneous distribution of brightness.
  • FIG. 9 illustrated detail enlargement of FIG. 8 known image.
  • the Fourier frequencies which significantly contribute to the image information are taken into account in the Fourier transform of the acquired dark current image.
  • those data whose values are above a particularly predetermined limit value are selected from the data describing the Fourier transform of the dark current image.
  • those Fourier frequencies are selected whose Fourier parameters have a value above the limit value.
  • the Fourier frequencies can be selected which most clearly contribute to the image information. For example, the Fourier frequencies with the largest n Fourier parameters are selected, wherein the number n can be selected according to the available memory space. The result is a reduced set of Fourier coefficients that describes the interfering signals to a good approximation.
  • FIG. 10 and 1 1 reduced Fourier spectra shown.
  • Fig. 1 0 shows the already from Fig. 5 known Fourier spectrum, wherein a first threshold T1 was set and only those Fourier frequencies and associated Fourier parameters are taken into account, the value of which is above this first threshold T1. The remaining Fourier frequencies are discarded since they do not contribute significantly to the image information of the dark current image.
  • Fig. 1 1 shows the already from Fig. 6 known Fourier spectrum, analogous to FIG. 1 0 a second threshold T2 has been set and Fourier parameters whose amplitude is below this second threshold T2 are not taken into account.
  • this correction image is capable of effectively correcting the systematic horizontal and vertical artifacts of the digital image acquisition system 2.
  • FIG. 12 shown correction image from the dark current image, which Fig. 3 shows have been deducted.
  • the difference image is shown in FIG. 1 3. Horizontal and vertical, in particular due to the manufacturing process of the area image sensor 4 image artifacts are effectively eliminated.
  • Fig. 14 shows a comparison between an image correction based on the image correction shown in FIG. 5 and 6 with a correction based on the in Figs. 10 and 1 1 shown reduced Fourier spectra.
  • Fig. 14 a shows an image detail from FIG. 1 3. This picture was taken based on the in Fig. 12 calculated correction image.
  • the correction image in FIG. 1 2 is based on a reduced data set.
  • the correction image in FIG. 1 2 are the in Fig. Based on 1 0 and 1 1 Fourier spectra.
  • Fig. 14 b) shows an image detail from FIG. 8, which is identical to that of FIG. 9 is.
  • Fig. 8 was based on the dark current image, as shown in FIG. 3 shows, taking into account the correction image in FIG. 7 calculated.
  • the correction image in FIG. 7 are the in Fig. Based on 5 and 6 shown Fourier spectra.
  • step S8 error correction finally ends in step S8.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

Digitales Bilderfassungssystem (2) und Verfahren zur Fehlerkorrektur in einem digitalen Bilderfassungssystem (2) mit einem Bildsensor (4) und einer Auslesevorrichtung (8)zum Auslesen des Bildsensors (4), bei dem ein Dunkelstrombild mit dem Bildsensor (4) und der Auslesevorrichtung (8) erfasst wird, wobei das Verfahren dadurch fortgebildet ist, dass es ferner die folgenden Schritte umfasst: Erzeugen einer Fouriertransformierten mittels einer Fouriertransformation auf der Grundlage der Bilddaten des Dunkelstrombildes; Abspeichern von die Fouriertransformierte beschreibenden Daten; Rücktransformieren der Fouriertransformierten durch Fouriertransformation der abgespeicherten Daten und Erzeugen eines Korrekturbildes aus den rücktransformierten Daten und Korrigieren von Bildfehlern des Bilderfassungssystems (2) in einem mit dem Bilderfassungssystem erfassten weiteren Bild durch Verrechnen von Bilddaten des erfassten Bildes mit Bilddaten des Korrekturbildes.

Description

Digitales Bilderfassungssystem und Verfahren zur Fehlerkorrektur in einem solchen System
Beschreibung
Die Erfindung betrifft ein Verfahren zur Fehlerkorrektur in einem digitalen Bilderfassungssystem mit einem Bildsensor und einer Auslesevorrichtung zum Auslesen des Bildsensors, bei dem ein Dunkelstrombild mit dem Bildsensor und der Auslesevorrichtung erfasst wird . Ferner betrifft die Erfindung ein d igitales Bilderfassungssystem mit einem Bildsensor und mit einer Auslesevorrichtung zum Auslesen des Bildsensors, wobei die Auslesevorrichtung dazu eingerichtet ist, ein Dunkelstrombild mit dem Bildsensor zu erfassen .
Digitale Bilderfassungssysteme sind allgemein bekannt und werden für verschiedene Anwendungen eingesetzt. Beispielsweise umfasst eine Digitalkamera oder eine digitale Videokamera ein solches System.
Die in digitalen Bilderfassungssystemen eingesetzten Bildsensoren, wie beispielsweise CCD- oder CMOS-Sensoren, weisen vielfach ein in der Sensorebene inhomogenes Dunkelstromrauschen auf. Dies betrifft sowohl lineare Bildsensoren, wie sie in Zeilenkameras zum Einsatz kommen, als auch flächige Bildsensoren, wie sie bei Kameras eingesetzt werden . Das von einem vollständig abgedunkelten Bildsensor erfasste Bild zeigt oftmals ein schwaches Streifenmuster. Die inhomogene Erfassungscharakteristik der Bildsensoren ist durch fertigungsbedingte Toleranzen und systemische Eigenschaften der verwendeten Kameraelektronik bedingt.
Für Endbenutzeranwendungen spielen die in den erfassten Bildern auftretenden Artefakte, die sich insbesondere in einer geringfügig variierenden Bildhelligkeit niederschlagen, eine eher untergeordnete Rolle. Für professionelle Anwendungen, beispielsweise bei der Bilderfassung im Mikroskopiebereich, sind solche systematischen Bildfehler jedoch unerwünscht. Die in der Sensorebene vorhandenen Unterschiede des Untergrundsignals verringern das Signal-zuRausch-Verhältnis (für englisch : „signal-to-noise ratio") und überlagern die schwachen Lichtintensitäten der erfassten Bilder.
Um die systematischen Bildfehler zu korrigieren, wird in einem Kalibriervorgang ein für den Sensor individuelles Korrekturbild aufgenommen . Während des Kalibriervorgangs wird der Bildsensor vollständig abgedunkelt, beispielsweise abgedeckt. Als Korrekturbild wird anschließend ein sog . Dunkelstrombild aufgenommen, welches das Dunkelstromrauschen des Bildsensors wiedergibt. Anschließend wird dieses für den Sensor spezifische Korrekturbild von den mit diesem Sensor erfassten Bildern abgezogen . Diese Form der Kalibrierung ist möglich, da bei vollständig abgedunkeltem Sensor die auftretenden Bildfehler weder von der Menge des einfallenden Lichts noch von der Quanteneffizienz der einzelnen Pixel des Bildsensors abhängig sind . Die Sensorfehler überlagern das erfass- te Bild additiv.
Das Korrekturbild wird üblicherweise im Speicher einer mit der Kamera gekoppelten bildverarbeitenden Einheit, beispielsweise auf der Festplatte eines PC, abgelegt. Von jedem mit Hilfe des Bilderfassungssystems erfassten Bild wird anschließend, beispielsweise von einer auf der bildverarbeitenden Einheit vorhandenen Software, dieses Korrekturbild abgezogen .
Aufgabe der Erfindung ist es, ein verbessertes Verfahren zur Fehlerkorrektur in einem digitalen Bilderfassungssystem und ein verbessertes digitales Bilderfassungssystem anzugeben, wobei insbesondere der konstruktive Aufwand für das digitale Bilderfassungssystem möglichst gering sein soll .
Die erfindungsgemäße Aufgabe wird gelöst durch ein Verfahren zur Fehlerkorrektur in einem digitalen Bilderfassungssystem mit einem Bildsensor und einer Auslesevorrichtung zum Auslesen des Bildsensors, bei dem ein Dunkelstrombild mit dem Bildsensor und der Auslesevorrichtung erfasst wird, wobei das Verfahren dadurch fortgebildet ist, dass es die folgenden Schritte umfasst:
A) Erzeugen einer Fouriertransformierten mittels einer Fouriertransformation auf der Grundlage der Bilddaten des Dunkelstrombildes,
B) Abspeichern von die Fouriertransformierte beschreibenden Daten,
C) Rücktransformieren der Fouriertransformierten durch Fouriertransformation der abgespeicherten Daten und Erzeugen eines Korrekturbildes aus den rücktransformierten Daten und
D) Korrigieren von Bildfehlern des Bilderfassungssystems in einem mit dem Bilderfassungssystem erfassten weiteren Bild durch Verrechnen von Bilddaten des erfassten Bildes mit Bilddaten des Korrekturbildes.
Die Fouriertransformierte wird auf der Grundlage der Bilddaten des Dunkelstrombildes berechnet. Bei dem Bildsensor des digitalen Bilderfassungssystems handelt es sich insbesondere um einen flächigen Bildsensor, beispielsweise um einen CCD- oder CMOS-Sensor, der ein pixelweise aufgelöstes Dunkelstrombild l iefert. Es ist ebenso denkbar, dass der Bildsensor ein linearer Sensor ist, wie er beispielsweise in Zeilenkameras zum Einsatz kommt. Die Fouriertransform ierte ist insbesondere eine diskrete Fouriertransformierte (englisch : discrete Fourier transform, abgekürzt: DFT). Zur Berechnung der DFT ist ferner die sog . schnelle Fouriertransformation (englisch : fast Fourier transform, abgekürzt: FFT) geeignet. Die Algorithmen zur effizienten Berechnung einer FFT sind allgemein bekannt. Die die Fouriertransformierte beschreibenden Daten sind in diesem Fall insbesondere das Amplituden- und Phasenbild im Fourierraum, die Fourierkoeffizienten und die Phasen der zur Berechnung der FFT verwendeten Schwingungen .
Insbesondere sind mit Hilfe des erfindungsgemäßen Verfahrens zur Fehlerkorrektur nicht dynamische und bezüglich des Bildsensors ortskonstante Bildfehler korrigierbar.
Die Korrektur der Bildfehler durch Verrechnen von Bilddaten des erfassten Bildes mit Bilddaten des Korrekturbildes erfolgt bevorzugt, indem von den Bilddaten des erfassten weiteren Bildes die Bilddaten des Korrekturbildes abgezogen werden . Insbesondere wird zur Korrektur der Bildfehler das Korrekturbild von dem erfassten Bild pixelweise abgezogen bzw. subtrahiert. Vorteilhaft ist das Verfahren sowohl zur Fehlerkorrektur in einem digitalen Bilderfassungssystem zur Erfassung von Standbildern (Fotos) als auch in einem digitalen Bilderfassungssystem zur Erfassung von bewegten Bildern (Videobildern) verwendbar.
Mit Hilfe der Fouriertransformation erfolgt eine Umrechnung der Bilddaten des Dunkelstrombildes vom Ortsraum in den Frequenzraum . Bevorzugt erfolgt diese Umrechnung, d.h . die Fouriertransformation, nacheinander in mehreren Richtungen des Bildes. Insbesondere wird die Fouriertransformierte des Dunkelstrombildes berechnet, indem zeilen- bzw. spaltenweise eine diskrete Fouriertransform ierte der in einer Zeile oder Spalte vorhandenen Pixelwerte des Dunkelstrombildes vorgenommen wird . Als Pixelwert wird beispielsweise der Helligkeitswert herangezogen .
Die in digitalen Bilderfassungssystemen auftretenden Bildartefakte sind vielfach durch den Herstellungsprozess der verwendeten Bildsensoren bedingt. Ebenso sind systemische Eigenschaften, wie z.B. die verwendeten Auslesefrequenzen der Kameraelektronik, mögliche Ursachen . Die Kal ibrierung eines digitalen Bilderfassungssystems erfolgt mit Hilfe eines zuvor aufgenommenen Korrekturbildes, in der Regel einem Dunkelstrombild. Dieses Korrekturbild wird traditionell beispielsweise im nichtflüchtigen Speicher eines PC, der zur Verarbeitung der Bilddaten verwendet wird, hinterlegt. Bei großen Bildsensoren mit einer entsprechend großen Anzahl von Pixeln ist zu diesem Zweck jedoch ein relativ großer Datenspeicher erforderlich .
Die Erfindung beruht demgegenüber auf der Erkenntnis, dass durch Fouriertransformation des Dunkelstrombildes vom Orts- in den Frequenzraum , die Möglichkeit geschaffen wird, das Dunkelstrombild auf einfache und vielfältige Weise zu manipulieren . Dies betrifft be- vorzugt die Möglichkeit, den benötigten Speicherplatz zur Speicherung des Dunkelstrombildes zu minimieren .
Gemäß einer vorteilhaften Ausführungsform zeichnet sich das Verfahren zur Fehlerkorrektur dadurch aus, dass das digitale Bilderfassungssystem eine Kamera umfasst, wobei die Kamera den Bildsensor und einen, insbesondere nichtflüchtigen, Datenspeicher umfasst, und wobei die die Fouriertransformierte des Dunkelstrombildes beschreibenden Daten in dem Datenspeicher abgespeichert werden .
Bei dem nichtflüchtigen Datenspeicher handelt es sich vorzugsweise um einen Halbleiterspeicher-Baustein , z.B. ein EPROM und einen Flash-Speicher. Ferner sind FeRAM, MRAM und/oder PCRAM Speicherbausteine geeignet. Insbesondere ist der nichtflüchtige Datenspeicher ein interner Datenspeicher der Kamera.
Indem das Korrekturbild in diesem internen Datenspeicher der Kamera ab- bzw. hinterlegt wird, ist das Korrekturbild unabhängig von den an die Kamera angeschlossenen weiteren Bildverarbeitungssystemen . Bei einer Änderung der Hardware und/oder Software dieses weiteren Bildverarbeitungssystems, bei dem es sich beispielsweise um einen PC handelt, entfällt die Notwendigkeit, eine Rekalibrierung des Bilderfassungssystems vorzunehmen . Es ist vorteilhaft nicht notwendig, erneut ein Dunkelstrombild aufzunehmen und auf dem geänderten oder neuen System abzuspeichern. Das digitale Bilderfassungssystem ist sicher und einfach in der Handhabung . Dies gilt vor allem , da es eine gewisse Expertise erfordert, den Kalibrierungsvorgang des Sensors erfolgreich und korrekt auszuführen .
Gemäß einer weiteren Ausführungsform ist das Verfahren zur Fehlerkorrektur dadurch fortgebildet, dass das Rücktransformieren der Fouriertransformierten und insbesondere das Korrigieren von Bildfehlern in der Auslesevorrichtung erfolgt, wobei ferner insbesondere die Auslesevorrichtung von einer Kamera des Bilderfassungssys- tems umfasst ist.
Bei der Auslesevorrichtung handelt es sich beispielsweise um einen MikroController, der von der Kamera umfasst ist. Der nichtflüchtige Datenspeicher ist bevorzugt innerhalb der Kamera vorgesehen, beispielsweise als interner Speicher des MikroControllers. Ebenso ist es möglich, dass der Datenspeicher als separater Baustein ausgeführt und mit dem MikroController gekoppelt ist.
Vorteilhaft liefert das digitale Bilderfassungssystem (offset-) korrigierte Bilddaten an angeschlossene bildverarbeitende Einheiten, beispielsweise an einen zur Auswertung verwendeten PC. Der be- nutzerseitige Aufwand zur Anpassung zwischen dem digitalen Bilderfassungssystem und diesen weiteren bildverarbeitenden Einheiten ist gering . Das digitale Bilderfassungssystem ist daher flexibel an verschiedenen bildverarbeitenden Einheiten einsetzbar.
Vorteilhaft ist das Verfahren zur Fehlerkorrektur ferner dadurch fortgebildet, dass der Bildsensor ein flächiger Bildsensor ist, wobei die Fouriertransformierte des Dunkelstrombildes erzeugt wird, indem eine Fouriertransformation entlang einer durch das Dunkelstrombild gelegten Geraden, welche insbesondere durch einen Mittelpunkt des Dunkelstrombildes verläuft, erzeugt wird .
Vorteilhaft umfasst die Fouriertransformierte des Dunkelstrombildes eine reduzierte Bildinformation, welche dennoch die wesentlichen Bildinformationen des Dunkelstrombildes enthält. Dies betrifft vor allem Artefakte, die in einer weiteren Richtung senkrecht zu der Geraden keine ausgeprägte Struktur haben , beispielsweise Streifen- muster.
Gemäß einer weiteren Ausführungsform ist vorgesehen, dass ein flächiger Bildsensor vorgesehen ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel um- fasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei auf der Grundlage von in einer Zeile oder in einer Spalte des Dunkelstrombildes vorhandenen Pixelwerten eine diskrete Fouriertransformation durchgeführt und eine Fouriertransformierte erzeugt wird, wobei die Zeile oder Spalte zumindest näherungsweise durch einen Mittelpunkt des Dunkelstrombildes verläuft, und wobei Fourierfrequenzen und zugehörige Fourierparameter der zeilen- oder spaltenweise erzeugten Fouriertransformierten als die Fouriertransformierte des Dunkelstrombildes beschreibende Daten abgespeichert werden .
Gemäß einer anderen Ausführungsform ist vorgesehen, dass ein flächiger Bildsensor vorgesehen ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel um- fasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei auf der Grundlage dieser Pixelwerte des Dunkelstrombildes eine ebenfalls im Raster des Bildsensors dargestellte diskrete 2D- Fouriertransformierte erzeugt wird, und wobei aus der 2D- Fouriertransformierten entlang einer Zeile oder entlang einer Spalte, insbesondere entlang einer Zeile oder einer Spalte, welche zumindest näherungsweise durch einen Mittelpunkt der 2D- Fouriertransformierten verläuft, Fourierfrequenzen und zugehörige Fourierparameter entnommen und als die Fouriertransformierte beschreibende Daten abgespeichert werden .
Ferner ist das Verfahren insbesondere dadurch fortgebildet, dass ein flächiger Bildsensor vorgesehen ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei die Pixelwerte des Dunkelstrombildes zeilenweise aufsummiert und insbesondere gemittelt werden und eine mittlere vertikale Helligkeitsverteilung aus den zeilenweise aufsummierten Pixelwerten erzeugt wird, und/oder wobei die Pixelwerte des Dunkelstrombildes spaltenweise aufsummiert und insbesondere gemittelt werden und eine mittlere horizontale Helligkeitsverteilung aus den spaltenweise aufsummierten Pixelwerten erzeugt wird, wobei eine Fouriertransformierte der mittleren horizontalen und/oder vertikalen Helligkeitsverteilung erzeugt wird und dieser/diesen Fourierstransformierten Fourierfrequenzen und zugehörige Fourierparameter entnommen und als die Fouriertransformierte beschreibende Daten abgespeichert werden.
Den oben genannten Ausführungsformen liegt die Erkenntnis zugrunde, dass die auftretenden nicht dynamischen, ortskonstanten Bildfehler in vielen Fällen eine Vorzugsrichtung haben . Bevorzugt treten die Bildfehler als horizontales oder vertikales Streifenmuster auf, dessen Vorzugsrichtung entlang der Streifen liegen soll . Sie sind in vielen Fällen durch den Herstellungsprozess des insbesondere flächigen Bildsensors bedingt und daher in Richtung der Zeilen oder Spalten des Bildsensors orientiert.
Da die auftretenden Bildfehler systematisch sind, ist es möglich , die Fouriertransformierte des Dunkelstrombildes zu reduzieren, so dass lediglich die senkrecht zu der Vorzugsrichtung auftretenden Fehler in der Fouriertransform ierten berücksichtigt sind . Durch diese Form der Reduktion der Fouriertransform ierten wird der benötigte Speicherplatz für die Beschreibung des Korrekturbildes erheblich gesenkt. Abstrakt formuliert liegt den genannten Ausführungsformen die Erkenntnis zugrunde, dass mit geringer werdendem Komplexitätsgrad des Dunkelstrombildes (Offset-Bildes) eine dramatische Reduktion der Anzahl der benötigten Fourierparameter bzw. Fourierkoeffizienten zur Beschreibung des Dunkelstrombildes einhergeht.
Die zur Beschreibung des Korrekturbildes im Fourierraum notwendige Datenmenge ist um ein Vielfaches geringer als eine Datenmenge des Korrekturbildes selbst. So wird die Möglichkeit geschaffen, das Korrekturbild in einem vergleichsweise kleinen internen Datenspeicher der Kamera zu hinterlegen . Ferner besteht die Möglichkeit, die Korrektur der Bildfehler des Bildsensors direkt in der Kamera vorzunehmen .
Der Speicherbedarf für die das Korrekturbild beschreibenden Daten wird weiter gesenkt, indem das Verfahren dadurch fortgebildet wird, dass aus den die Fouriertransformierte beschreibenden Daten diejenigen Daten oder Datensätze ausgewählt werden, deren Werte oberhalb eines, insbesondere vorbestimmten, Grenzwertes liegen und/oder aus den die Fouriertransformierte beschreibenden Daten eine vorbestimmte Anzahl von Daten oder Datensätzen ausgewählt werden, deren Werte im Vergleich zu den Werten der verbleibenden Daten oder Datensätze die höchsten sind, wobei aus diesen ausgewählten Daten ein reduzierter, die Fouriertransformierte beschreibender Datensatz gebildet wird .
Die Beschreibung des Dunkelstrombildes wird auf diejenigen Fourierfrequenzen beschränkt, die in nennenswertem Umfang zur Beschreibung des Korrekturbildes beitragen . Die zur Rekonstruktion des Korrekturbildes notwendige Datenmenge wird nochmals erheblich reduziert. Gegenüber einem klassischen Korrekturbild ergibt sich ein signifikant reduzierter Speicherbedarf, ohne dass ein nen- nenswerter Qualitätsverlust bei der Korrektur zu verzeichnen ist.
Beispielsweise erfordert ein Bildsensor mit einer großen Pixelanzahl für ein klassisches Korrekturbild einen Speicherplatz zwischen 10 MB und 100 MB. Durch die Darstellung des Korrekturbildes im Fourierraum wird der benötigte Speicherplatz, je nach Anzahl der verwendeten Fourierfrequenzen , um bis zu einen Faktor 1000 verringert. Beispielsweise wird der Speicherbedarf von 8, 1 92 MB ohne nennenswerten Qualitätsverlust für das Korrekturbild auf 8, 1 92 kB bei 2048 Fourierfrequenzen reduziert. Sofern auch horizontale Einflüsse korrigiert werden sollen, vergrößert sich der Platzbedarf für das Korrekturbild auf 4096 Fourierfrequenzen . Eine Reduktion auf diejenigen Fourierfrequenzen, welche nennenswert zur Rekonstru ktion des Korrekturbildes beitragen, führt zu einer weiteren Reduktion der für die Beschreibung des Korrekturbildes notwendigen Datenmenge.
Das Korrekturbild kann selbst in einem verhältnismäßig kleinen internen Datenspeicher eines Mikrocontrollers hinterlegt werden, so dass eine kameraseitige Speicherung des Korrekturbildes problemlos möglich ist.
Die Notwendigkeit, eine Kalibrierung der erfassten Bilder in einem an das digitale Bilderfassungssystem angeschlossenen weiteren bildverarbeitenden System vorzunehmen, entfällt. Die vom Benutzer zu fordernde Expertise im Umgang mit dem digitalen Bilderfassungssystem, ist sehr gering . Somit sind das Verfahren zur Fehlerkorrektur in einem digitalen Bilderfassungssystem sowie das entsprechende Bilderfassungssystem zuverlässig und robust in der Anwendung .
Die erfindungsgemäße Aufgabe wird ferner gelöst durch ein digita- les Bilderfassungssystenn mit einem Bildsensor und einer Auslesevorrichtung zum Auslesen des Bildsensors, wobei die Auslesevorrichtung dazu eingerichtet ist, ein Dunkelstrombild mit dem Bildsensor zu erfassen , und wobei das digitale Bilderfassungssystem dadurch fortgebildet ist, dass die Auslesevorrichtung dazu eingerichtet ist,
A) eine Fouriertransformierte mittels einer Fouriertransformation auf der Grundlage der Bilddaten des Dunkelstrombildes zu erzeugen,
B) die Fouriertransformierte beschreibende Daten abzuspeichern,
C) die Fouriertransformierte durch Fouriertransformation der abgespeicherten Daten zurückzutransformieren und ein Korrekturbild aus den rücktransformierten Daten zu erzeugen und
D) Bildfehler des Bilderfassungssystems (2) in einem mit dem Bilderfassungssystem (2) erfassten, weiteren Bild zu korrigieren, indem Bilddaten des erfassten Bildes mit Bilddaten des Korrekturbildes verrechnet werden .
Bei dem Bildsensor handelt es sich insbesondere um einen flächigen Bildsensor. Gemäß weiterer Ausführungsformen umfasst das digitale Bilderfassungssystem einen linearen Bildsensor, wie er beispielsweise in einer Zeilenkamera zum Einsatz kommt.
Gemäß einer vorteilhaften Ausführungsform ist vorgesehen, dass das digitale Bilderfassungssystem eine Kamera umfasst, wobei die Kamera den Bildsensor und einen, insbesondere nichtflüchtigen, Datenspeicher umfasst, und der Datenspeicher dazu eingerichtet ist, die die Fouriertransformierte des Dunkelstrombildes beschreibenden Daten in dem Datenspeicher abzuspeichern . Ferner ist insbesondere vorgesehen, dass die Auslesevorrichtung dazu eingerichtet ist, die Fouriertransfornnierte zurückzutransformie- ren und insbesondere Bildfehler zu korrigieren , wobei ferner insbesondere die Auslesevorrichtung von einer Kamera des Bilderfassungssystems umfasst ist.
Gemäß einer Ausführungsform ist ferner vorgesehen, dass der Bildsensor ein flächiger Bildsensor ist und das digitale Bilderfassungssystem dazu eingerichtet ist, die Fouriertransformierte des Dunkelstrombildes zu erzeugen, indem eine Fouriertransformation entlang einer durch das Dunkelstrombild gelegten Geraden, welche insbesondere durch einen Mittelpunkt des Dunkelstrombildes verläuft, erzeugt wird.
Vorzugsweise ist das digitale Bilderfassungssystem dadurch fortgebildet, dass der Bildsensor ein flächiger Bildsensor ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei das digitale Bilderfassungssystem dazu eingerichtet ist, auf der Grundlage von in einer Zeile oder in einer Spalte des Dunkelstrombildes vorhandenen Pixelwerten eine diskrete Fouriertransformation durchzuführen und eine Fouriertransformierte zu erzeugen, wobei die Zeile oder Spalte zumindest näherungsweise durch einen Mittelpunkt des Dunkelstrombildes verläuft, und Fourierfrequenzen und zugehörige Fourierparameter der zeilen- oder spaltenweise erzeugten Fouriertransformierten als die Fouriertransformierte des Dunkelstrombildes beschreibende Daten abzuspeichern .
Gemäß einer weiteren Ausführungsform ist vorgesehen, dass der Bildsensor ein flächiger Bildsensor ist, der eine Vielzahl von in ei- nem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei das digitale Bilderfassungssystem dazu eingerichtet ist, auf der Grundlage dieser Pixelwerte des Dunkelstrombildes eine ebenfalls im Raster des Bildsensors dargestellte diskrete 2D-Fouriertransformierte zu erzeugen, und wobei aus der 2D-Fouriertransformierten entlang einer Zeile oder entlang einer Spalte, insbesondere entlang einer Zeile oder einer Spalte, welche zumindest näherungsweise durch einen Mittelpunkt der 2D-Fouriertransformierten verläuft, Fourierfrequenzen und zugehörige Fourierparameter zu entnehmen und als die Fouriertransformierte beschreibende Daten abzuspeichern.
Vorteilhaft ist das digitale Bilderfassungssystem dadurch fortgebildet, dass der Bildsensor ein flächiger Bildsensor ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei das digitale Bilderfassungssystem dazu eingerichtet ist, die Pixelwerte des Dunkelstrombildes zeilenweise aufzusummieren und insbesondere zu mittein und eine mittlere vertikale Helligkeitsverteilung aus den zeilenweise aufsummierten Pixelwerten zu erzeugen, und/oder die Pixelwerte des Dunkelstrombildes spaltenweise aufzusummieren und insbesondere zu mittein und eine mittlere horizontale Helligkeitsverteilung aus den spaltenweise aufsummierten Pixelwerten zu erzeugen, und ferner eine Fouriertransformierte der mittleren horizontalen und/oder vertikalen Hell igkeitsverteilung zu erzeugen und dieser/diesen Fourierstransformierten Fourierfrequenzen und zugehörige Fourierparameter zu entnehmen und als die Fouriertransformierte beschreibende Daten abzuspeichern.
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass die Auslesevorrichtung insbesondere ein Bestandteil der Kamera ist. Beispielsweise handelt es sich bei dieser um einen in die Kamera integrierten Mikrocontoller. Ebenso ist es jedoch möglich, dass sich die Auslesevorrichtung teilweise innerhalb und teilweise außerhalb der Kamera befindet, wobei eine funktionelle Trennung zwischen verschiedenen Funktionen der Auslesevorrichtung vorgenommen werden kann .
Ferner ist vorteilhaft vorgesehen, dass das Korrekturbild bzw. die zur Beschreibung des Korrekturbildes notwendigen Daten innerhalb der Kamera, in einem dort vorhandenen insbesondere nichtflüchtigen Datenspeicher abgelegt werden. Zu diesem Zweck umfasst die Kamera beispielsweise einen Flash-Speicherbaustein, ein EPROM, einen FeRAM, MRAM und/oder PCRAM Speicherbaustein .
Ferner ist insbesondere vorgesehen , dass die das Korrekturbild beschreibenden Daten in einem internen Speicher des Mikrocontrol- lers abgelegt sind . Ebenso ist vorteilhaft vorgesehen, dass die Bildkorrektur innerhalb der Kamera vorgenommen wird, so dass diese an weitere bildverarbeitende Einheiten bereits korrigierte Bilddaten bzw. einen korrigierten Bilddatenstrom liefert.
Auf das digitale Bilderfassungssystem treffen gleiche oder ähnliche Vorteile zu, wie sie bereits im Hinbl ick auf das Verfahren zur Fehlerkorrektur in einem solchen digitalen Bilderfassungssystem erwähnt wurden. Ferner sind die im Hinbl ick auf das Verfahren genannten Merkmale der Erfindung in gleicher oder ähnlicher Weise auf das digitale Bilderfassungssystem anwendbar.
Weitere Merkmale der Erfindung werden aus der Beschreibung erfindungsgemäßer Ausführungsformen zusammen mit den Ansprüchen und den beigefügten Zeichnungen ersichtlich . Erfindungsge- mäße Ausführungsformen können einzelne Merkmale oder eine Kombination mehrerer Merkmale erfüllen .
Die Erfindung wird nachstehend ohne Beschränkung des allgemeinen Erfindungsgedankens anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen beschrieben, wobei bezüglich aller im Text nicht näher erläuterten erfindungsgemäßen Einzelheiten ausdrücklich auf die Zeichnungen verwiesen wird . Es zeigen :
Fig . 1 ein schematisches digitales Bilderfassungssystem,
Fig . 2 ein schematisches Ablaufdiagramm eines Verfahrens zur Fehlerkorrektur in einem solchen digitalen Bilderfassungssystem,
Fig . 3 ein unkorrigiertes Dunkelstrombild eines digitalen
Bilderfassungssystems,
Fig . 4 eine Ausschnittsvergrößerung des in Fig . 3 gezeigten Dunkelstrombildes
Fig . 5 ein schematisches Fourierspektrum eines Korrekturbildes zur vertikalen Korrektur des in Fig . 3 dargestellten Bildes,
Fig . 6 ein schematisches Fourierspektrum eines Korrekturbildes zur horizontalen Korrektur des in Fig . 3 dargestellten Bildes,
Fig . 7 ein aus den Fourierspektren von Fig . 5 und 6 errechnetes Korrekturbild, Fig . 8 ein korrigiertes Dunkelstrombild, welches durch Anwendung des in Fig . 7 gezeigten Korrekturbildes auf das Dunkelstrombild von Fig. 3 entsteht,
Fig . 9 eine Ausschnittsvergrößerung des in Fig . 8 gezeigten korrigierten Dunkelstrombildes,
Fig . 1 0 ein reduziertes schematisches Fourierspektrum zur horizontalen Fehlerkorrektur, welches ausgehend von dem in Fig . 5 dargestellten Fourierspektrum bestimmt wird,
Fig . 1 1 ein reduziertes schematisches Fourierspektrum zur vertikalen Fehlerkorrektur, welches ausgehend von dem in Fig . 6 dargestellten Fourierspektrum bestimmt wird,
Fig . 1 2 ein aus den in Fig . 10 und 1 1 gezeigten reduzierten Fourierspektren berechnetes Korrekturbild,
Fig . 13 ein korrigiertes Dunkelstrombild, welches durch
Anwendung des in Fig . 1 2 gezeigten Korrekturbildes auf das in Fig . 3 gezeigte Dunkelstrombild entsteht,
Fig . 14a) eine Ausschnittsvergrößerung des in Fig . 13 gezeigten korrigierten Dunkelstrombildes und
Fig . 14 b) eine Ausschnittsvergrößerung des in Fig . 8 gezeigten korrigierten Dunkelstrombildes, die identisch zu der Darstellung in Fig . 9 ist. In den Zeichnungen sind jeweils gleiche oder gleichartige Elemente und/oder Teile mit denselben Bezugsziffern versehen, so dass von einer erneuten Vorstellung jeweils abgesehen wird .
Fig . 1 zeigt schematisch ein digitales Bilderfassungssystem 2, umfassend eine Kamera 3 mit einem Bildsensor 4. Bei dem Bildsensor 4 handelt es sich insbesondere um einen flächigen Bildsensor 4, beispielsweise um einen CCD- oder CMOS-Sensor. Ebenso ist vorgesehen, dass die Kamera 3 nach der Art einer Zeilenkamera ausgestaltet ist und einen linearen Bildsensor 4 umfasst. Lediglich beispielhaft wird im Folgenden auf eine Kamera 3 mit einem flächigen Bildsensor 4 Bezug genommen . Ein von einem Objektiv 6 der Kamera 3 erfasstes Bildfeld wird auf den insbesondere flächigen Bildsensor 4 abgebildet. Alternativ ist es ebenso möglich, dass die Kamera 3 zur Abbildung eines Bildfeldes auf eine weitere optische Abbildungsvorrichtung, wie beispielsweise ein Mikroskop, aufgesetzt ist, welches das Objektiv 6 ggf. ersetzt. Der flächige Bildsensor 4 wird von der Auslesevorrichtung 8 ausgelesen . Bei der Auslesevorrichtung 8 handelt es sich beispielsweise um einen Mik- rocontroller. Neben der Auslesevorrichtung 8 umfasst die Kamera 3 einen Datenspeicher 1 0, insbesondere einen nichtflüchtigen Datenspeicher. Als nichtflüchtiger Datenspeicher 10 sind ein Flash- Speicher, ein FERAM oder ein MRAM geeignet. Die Kamera 3 bzw. die Auslesevorrichtung 8 sind über einen Anschluss 1 2 mit weiteren zur Bildverarbeitung oder Bilderfassung verwendeten Datenverarbeitungseinheiten, wie beispielsweise einem PC, zur Erfassung und Analyse der mit der Kamera 3 erfassten digitalen Bilddaten , koppelbar. Der Anschluss 1 2 dient ferner, sofern notwendig, der Ansteue- rung und/oder der Stromversorgung der Kamera 3.
Fig . 2 zeigt ein vereinfachtes Ablaufdiagramm eines Verfahrens zur Fehlerkorrektur in dem beispielhaft in Fig . 1 gezeigten digitalen Bilderfassungssystem 2. Insbesondere ist die Auslesevorrichtung 8 dazu eingerichtet, das gezeigte Verfahren auszuführen . Es ist ebenso möglich, dass das Verfahren teilweise von der Auslesevorrichtung 8 und teilweise von einer mit der Kamera 3 über den An- schluss 1 2 verbundenen Bildverarbeitungseinheit, beispielsweise einem PC, ausgeführt wird . Das in Fig . 2 schematisch dargestellte Verfahren wird anschließend unter Bezugnahme auf die Darstellungen in den Fig . 3 bis 14b) erläutert.
Nach dem Start (Schritt S1 ) des Verfahrens erfolgt die Erfassung eines Dunkelstrombildes (Schritt S2) mit Hilfe des flächigen Bildsensors 4 und der Auslesevorrichtung 8. Die Erfassung des Dunkelstrombildes erfolgt durch beide Einheiten, um systematische Fehler des Systems insgesamt zu erfassen und zu korrigieren .
Fig . 3 zeigt beispielhaft ein in Schritt S2 erfasstes Dunkelstrombild . Dieses weist die vielfach auftretende, fertigungsbedingte vertikale Streifenstruktur auf, wie sie als Artefakt bei CCD- und CMOS- Sensoren zu beobachten ist. Neben durch den Produktionsprozess der flächigen Bildsensoren 4 bedingten Artefakten treten solche Muster auch durch Frequenzüberlagerungen, z.B. von digitalen Taktsignalen, auf. Ein weiterer Grund für das Auftreten von ortskonstanten Artefakten sind Reflektionen im Infrarotbereich an der Rückseite des Sil iziums des flächigen Bildsensors 4.
Fig . 4 zeigt eine Ausschnittsvergrößerung des in Fig . 3 gezeigten Dunkelstrombildes. Die vertikale Streifenstruktur überlagert das Grundrauschen des Bildsensors.
Auf der Grundlage der Bilddaten des Dunkelstrombildes, wie es beispielhaft in Fig . 3 gezeigt ist, wird eine Fouriertransformierte erzeugt (Schritt S3 in Fig . 2). Zur Berechnung der Fouriertransformier- ten auf der Grundlage der Bilddaten des Dunkelstrombildes sind gemäß verschiedenen Ausführungsbeispielen mehrere Möglichkeiten vorgesehen .
So ist es beispielsweise möglich, auf der Grundlage der Bilddaten des Dunkelstrombildes (vgl . Fig . 3) eine 2D-Fouriertransformierte zu erzeugen.
Ausgehend von dieser 2D-Fouriertransformierten werden die Fourierfrequenzen und Fourierkoeffizienten entlang einer durch diese 2D-Fouriertransform ierten gelegten Geraden betrachtet. Grundsätzlich ist es möglich, diese Gerade in einer beliebigen Richtung durch die 2D-Fouriertransformierte zu legen, und die Fourierfrequenzen und Fourierkoeffizienten entlang dieser Geraden zu betrachten .
Gemäß einem Ausführungsbeispiel wird aus der berechneten 2D- Fouriertransformierten in vertikaler und horizontaler Richtung jeweils die zentrale Spalte bzw. Zeile entnommen und als Fouriertransformierte abgespeichert.
Die Fourierfrequenzen und zugehörigen Fourierparameter, welche der zentralen vertikalen Achse entnommen wurden und zur vertikalen Korrektur des Bildes vorgesehen sind, sind beispielhaft in Fig . 5 gezeigt. In gleicher Weise werden die Fourierfrequenzen und zugehörigen Fourierparameter, welche der horizontalen zentralen Zeile entnommen sind und zur horizontalen Korrektur des Bildes vorgesehen sind, beispielhaft in Fig . 6 gezeigt.
Mit anderen Worten enthält das in Fig . 5 gezeigte Fourierspektrum die zur Beschreibung der in vertikaler Richtung auftretenden periodischen Fehler des Dunkelstrombildes notwendigen Informationen . Fig . 6 enthält die Informationen , welche zur Beschreibung der in horizontaler Richtung im Dunkelstrombild auftretenden Fehler notwen- dig sind . Aufgrund der ausgeprägten vertikalen Streifenstruktur zeigt das in Fig . 6 gezeigte Fourierspektrum, welches zur horizontalen Korrektur der Bildfehler dient, ausgeprägte periodische Anteile.
Indem, ausgehend von dem 2D-Fourierspektrum, lediglich diejenigen Fourierkoeffizienten bzw. -parameter berücksichtigt werden, welche die vertikalen bzw. horizontalen Komponenten des Dunkelstrombildes abbilden, wird die Datenmenge der zur Beschreibung des Korrekturbildes verwendeten Fouriertransform ierten, im Vergleich zum Korrekturbild selbst, signifikant verringert. So ist es möglich, die die Fouriertransformierten beschreibenden Daten, beispielsweise die in den Fig . 5 und 6 gezeigten Fourierkoeffizienten und zugehörigen Fourierfrequenzen, in einem verhältnismäßig kleinen internen Datenspeicher 10 der Kamera 3 abzuspeichern (Schritt S4 in Fig . 2). Die Speicherung dieser Daten erfolgt beispielsweise in einem internen Speicher eines MikroControllers, der als Auslesevorrichtung 8 dient. Es ist ebenso möglich, die entsprechenden Daten in einem nichtflüchtigen Datenspeicher 10 abzulegen, welcher mit der Auslesevorrichtung 8 gekoppelt ist.
Gemäß einem weiteren Ausführungsbeispiel wird ausgehend von dem erfassten Dunkelstrombild (vgl . Fig . 3) keine vollständige 2D- Fouriertransform ierte erzeugt. Die Intensitätswerte des Dunkelstrombildes werden stattdessen horizontal oder vertikal aufsummiert. Beispielsweise erfolgt eine pixelweise Summation der Hell igkeitswerte in den Zeilen und/oder Spalten des aufgenommenen Dunkelstrombildes für alle Zeilen bzw. Spalten . Die Summenwerte können anschließend durch Division mit der Anzahl der in einer Zeile bzw. Spalte vorhandenen Pixel normiert werden.
Anschließend wird der errechnete mittlere Helligkeitswert verwendet, um eine mittlere Helligkeitsverteilung in horizontaler oder verti- kaier Richtung zu bestimmen . Diese mittlere Helligkeitsverteilung bildet den Ausgangspunkt für die Berechnung der horizontalen und vertikalen Fouriertransformierten . Die so erhaltenen Spektren sind mit den in den Fig . 5 und 6 gezeigten Fourierspektren (welche auf unterschiedliche Weise errechnet wurden) vergleichbar.
Erneut wird im Ergebnis die Datenmenge durch die vorgenommene Mittelung erhebl ich reduziert, so dass es ebenfalls möglich ist, die das Fourierspektrum beschreibenden Daten, insbesondere die Fourierfrequenzen und zugehörigen Fourierkoeffizienten, in einem internen Datenspeicher 1 0 der Kamera 3 abzulegen. Vorteilhaft ist zum Abspeichern der die Fouriertransformierte des Dunkelstrombildes beschreibenden Daten ein Datenspeicher von geringer Größe bzw. mit geringem Speichervolumen ausreichend.
Mit der Kamera 3, d.h . mit Hilfe des flächigen Bildsensors 4 und der Ausleseelektronik 8, werden anschl ießend weitere Bilder erfasst (Schritt S5 in Fig . 2).
Zur Korrektur dieser Bilder wird ein Korrekturbild erzeugt. Dieses wird ausgehend von den abgespeicherten, die Fouriertransformierte des Dunkelstrombildes beschreibenden Daten, durch Rücktransfor- mation der Fouriertransformierten berechnet (Schritt S6 in Fig . 2).
Fig . 7 zeigt beispielhaft ein solches, auf der Grundlage der in den Fig . 5 und 6 gezeigten Fourierspektren berechnetes Korrekturbild .
Zur Fehlerkorrektur von in dem digitalen Bilderfassungssystem 2 vorhandenen Artefakten wird das Korrekturbild (vgl . Fig . 7) von einem weiteren erfassten Bild abgezogen (Schritt S7 in Fig .2). Insbesondere erfolgt diese Korrektur, indem das Korrekturbild pixelweise von dem erfassten Bild abgezogen wird . Ebenso können jedoch an- dere geeignete mathematische Operationen zwischen dem erfass- ten Bild und dem Korrekturbild vorgesehen sein .
Zur Illustration des Erfolgs dieser Fehlerkorrektur ist in Fig . 8 die Differenz zwischen dem in Fig . 3 gezeigten Dunkelstrombild und dem in Fig . 7 dargestellten Korrekturbild gezeigt. Als Differenzbild zwischen diesen beiden Bildern verbleibt lediglich das statistische und homogene Hintergrundrauschen des flächigen Bildsensors 4. Periodische vertikale und horizontale Artefakte sind weitgehend beseitigt, das Bild weist eine homogene Helligkeitsverteilung auf.
Dies zeigt auch die in Fig . 9 dargestellte Detailvergrößerung des aus Fig . 8 bekannten Bildes.
Um die zur Beschreibung des Korrekturbildes notwendigen Daten weiter zu reduzieren, werden in der bzw. den Fouriertransformierten des erfassten Dunkelstrombildes lediglich diejenigen Fourierfrequenzen berücksichtigt, welche wesentlich zur Bildinformation beitragen. Gemäß einem weiteren Ausführungsbeispiel werden daher aus den die Fouriertransform ierte des Dunkelstrombildes beschreibenden Daten diejenigen ausgewählt, deren Werte oberhalb eines insbesondere vorbestimmten Grenzwertes liegen . Mit anderen Worten werden diejenigen Fourierfrequenzen ausgewählt, deren Fourierparameter einen Wert oberhalb des Grenzwertes aufweisen . Alternativ können die Fourierfrequenzen ausgewählt werden, die am deutlichsten zur Bildinformation beitragen . Beispielsweise werden die Fourierfrequenzen mit den größten n Fourierparametern ausgewählt, wobei die Anzahl n entsprechend dem zur Verfügung stehenden Speicherplatz ausgewählt werden kann . Das Ergebnis ist ein reduzierter Satz von Fourierkoeffizienten, der die Störsignale in guter Näherung beschreibt. Beispielhaft sind in Fig . 10 und 1 1 reduzierte Fourierspektren gezeigt. Fig . 1 0 zeigt das bereits aus Fig . 5 bekannte Fourierspektrum, wobei ein erster Grenzwert T1 festgelegt wurde und lediglich diejenigen Fourierfrequenzen und zugehörigen Fourierparameter berücksichtigt werden, deren Wert oberhalb dieses ersten Grenzwertes T1 liegt. Die übrigen Fourierfrequenzen werden verworfen, da sie nicht signifikant zur Bildinformation des Dunkelstrombildes beitragen . Fig. 1 1 zeigt das bereits aus Fig . 6 bekannte Fourierspektrum, wobei analog zu Fig . 1 0 ein zweiter Grenzwert T2 festgelegt wurde und Fourierparameter, deren Amplitude unterhalb dieses zweiten Grenzwertes T2 liegen, nicht berücksichtigt werden.
Ausgehend von dem auf diese Weise erzeugten reduzierten Datensatz wird ein Korrekturbild berechnet, welches beispielhaft in Fig . 12 gezeigt ist.
Auch dieses Korrekturbild ist geeignet, die systematischen horizontalen und vertikalen Artefakte des digitalen Bilderfassungssystems 2 wirksam zu korrigieren . Zur Illustration der Wirksamkeit dieses Verfahrens zur Fehlerkorrektur, welches auf einem reduzierten Datensatz beruht, ist das in Fig . 12 gezeigte Korrekturbild von dem Dunkelstrombild, welches Fig . 3 zeigt, abgezogen worden . Das Differenzbild zeigt Fig . 1 3. Horizontale und vertikale, insbesondere durch den Herstellungsprozess des flächigen Bildsensors 4 bedingte Bildartefakte sind wirkungsvoll beseitigt.
Fig . 14 zeigt einen Vergleich zwischen einer Bildkorrektur auf der Grundlage der in den Fig . 5 und 6 gezeigten Fourierspektren mit einer Korrektur auf der Grundlage der in den Fig . 10 und 1 1 gezeigten reduzierten Fourierspektren .
Fig . 14 a) zeigt einen Bildausschnitt von Fig . 1 3. Dieses Bild wurde auf der Grundlage des in Fig . 12 gezeigten Korrekturbildes berechnet. Dem Korrekturbild in Fig . 1 2 liegt ein reduzierter Datensatz zugrunde. Dem Korrekturbild in Fig . 1 2 liegen die in Fig . 1 0 und 1 1 gezeigten Fourierspektren zugrunde. Fig . 14 b) zeigt einen Bildausschnitt von Fig . 8, der identisch zu demjenigen von Fig . 9 ist. Fig . 8 wurde ausgehend von dem Dunkelstrombild, wie es Fig . 3 zeigt, unter Berücksichtigung des Korrekturbildes in Fig . 7 berechnet. Dem Korrekturbild in Fig . 7 liegen die in Fig . 5 und 6 gezeigten Fourierspektren zugrunde.
Wie der Vergleich zwischen den in Fig . 14 a) und 14 b) gezeigten Bildausschnitten zeigt, erfolgt die Korrektur der vorhandenen Bildartefakte ausgehend von den Fourierspektren der Fig . 5 und 6 und den reduzierten Fourierspektren in den Fig . 10 und 1 1 praktisch gleichwertig . Im Ergebnis sind die korrigierten Bilder nicht zu unterscheiden . In beiden Fällen ist lediglich das statistische und homogene Hintergrundrauschen des flächigen Bildsensors 4 zu beobachten .
Die oben genannten Ausführungen gelten analog für ein digitales Bilderfassungssystem 2 mit einem linearen und somit nicht fläch igen Bildsensor 4. Die verwendete Mathematik schrumpft bei einem solchen Ausführungsbeispiel auf eine Dimension zusammen .
Das in dem Ablaufdiagramm von Fig . 2 dargestellte Verfahren zur Fehlerkorrektur endet schließlich in Schritt S8.
Alle genannten Merkmale, auch die den Zeichnungen allein zu entnehmenden sowie auch einzelne Merkmale, die in Kombination mit anderen Merkmalen offenbart sind, werden allein und in Kombination als erfindungswesentlich angesehen . Erfindungsgemäße Ausführungsformen können durch einzelne Merkmale oder eine Kombinati- on mehrerer Merkmale erfüllt sein. Im Rahmen der Erfindung sind Merkmale, die mit „insbesondere" oder „vorzugsweise" gekennzeichnet sind, als fakultative Merkmale zu verstehen .
Bezugszeichenliste
2 digitales Bilderfassungssystenn
3 Kamera
4 Bildsensor
6 Objektiv
8 Auslesevorrichtung
10 Datenspeicher
12 Anschluss
T1 erster Grenzwert
T2 zweiter Grenzwert

Claims

Digitales Bilderfassungssystenn und Verfahren zur Fehlerkorrektur in einem solchen System Patentansprüche
1 . Verfahren zur Fehlerkorrektur in einem digitalen Bilderfassungssystem (2) mit einem Bildsensor (4) und einer Auslesevorrichtung (8) zum Auslesen des Bildsensors (4), bei dem ein Dunkelstrombild mit dem Bildsensor (4) und der Auslesevorrichtung (8) erfasst wird, dadurch gekennzeichnet, dass das Verfahren ferner die folgenden Schritte umfasst:
A) Erzeugen einer Fouriertransformierten mittels einer Fouriertransformation auf der Grundlage der Bilddaten des Dunkelstrombildes,
B) Abspeichern von die Fouriertransformierte beschreibenden Daten,
C) Rücktransformieren der Fouriertransformierten durch Fouriertransformation der abgespeicherten Daten und Erzeugen eines Korrekturbildes aus den rücktransformierten Da- ten und
Korrigieren von Bildfehlern des Bilderfassungssystems (2) in einem mit dem Bilderfassungssystem (2) erfassten weiteren Bild durch Verrechnen von Bilddaten des erfassten Bildes mit Bilddaten des Korrekturbildes.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das digitale Bilderfassungssystem (2) eine Kamera (3) umfasst, wobei die Kamera (3) den Bildsensor (4) und einen, insbesondere nichtflüchtigen, Datenspeicher (1 0) umfasst, und wobei die die Fouriertransformierte des Dunkelstrombildes beschreibenden Daten in dem Datenspeicher (10) abgespeichert werden .
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Rücktransformieren der Fouriertransformierten und insbesondere das Korrigieren von Bildfehlern in der Auslesevorrichtung (8) erfolgt, wobei ferner insbesondere die Auslesevorrichtung (8) von einer Kamera (3) des Bilderfassungssystems (2) umfasst ist.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der Bildsensor (4) ein flächiger Bildsensor ist, wobei die Fouriertransformierte des Dunkelstrombildes erzeugt wird, indem eine Fouriertransformation entlang einer durch das Dunkelstrombild gelegten Geraden, welche insbesondere durch einen Mittelpunkt des Dunkelstrombildes verläuft, erzeugt wird .
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass ein flächiger Bildsensor (4) vorgesehen ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dun- kelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei auf der Grundlage von in einer Zeile oder in einer Spalte des Dunkelstrombildes vorhandenen Pixelwerten eine diskrete Fouriertransformation durchgeführt und eine Fouriertransformierte erzeugt wird, wobei die Zeile oder Spalte zumindest näherungsweise durch einen Mittelpunkt des Dunkelstrombildes verläuft, und wobei Fourierfrequenzen und zugehörige Fourierparameter der zeilen- oder spaltenweise erzeugten Fouriertransformierten als die Fouriertransformierte des Dunkelstrombildes beschreibende Daten abgespeichert werden .
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass ein flächiger Bildsensor (4) vorgesehen ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei auf der Grundlage dieser Pixelwerte des Dunkelstrombildes eine ebenfalls im Raster des Bildsensors dargestellte diskrete 2D-Fouriertransformierte erzeugt wird, und wobei aus der 2D-Fouriertransformierten entlang einer Zeile oder entlang einer Spalte, insbesondere entlang einer Zeile oder einer Spalte, welche zumindest näherungsweise durch einen Mittelpunkt der 2D-Fourier- transformierten verläuft, Fourierfrequenzen und zugehörige Fourierparameter entnommen und als die Fouriertransformierte beschreibende Daten abgespeichert werden .
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass ein flächiger Bildsensor (4) vorgesehen ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dun- kelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei die Pixelwerte des Dun- kelstrombildes zeilenweise aufsummiert und insbesondere ge- mittelt werden und eine mittlere vertikale Helligkeitsverteilung aus den zeilenweise aufsummierten Pixelwerten erzeugt wird, und/oder wobei die Pixelwerte des Dunkelstrombildes spaltenweise aufsummiert und insbesondere gemittelt werden und eine mittlere horizontale Helligkeitsverteilung aus den spaltenweise aufsummierten Pixelwerten erzeugt wird, wobei eine Fouriertransformierte der mittleren horizontalen und/oder der vertikalen Helligkeitsverteilung erzeugt wird und dieser/diesen Fourierstransformierten Fourierfrequenzen und zugehörige Fourierparameter entnommen und als die Fouriertransformierte beschreibende Daten abgespeichert werden .
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass aus den die Fouriertransformierte beschreibenden Daten diejenigen Daten oder Datensätze ausgewählt werden, deren Werte oberhalb eines, insbesondere vorbestimmten, Grenzwertes liegen und/oder aus den die Fouriertransformierte beschreibenden Daten eine vorbestimmte Anzahl von Daten oder Datensätzen ausgewählt werden, deren Werte im Vergleich zu den Werten der verbleibenden Daten oder Datensätze die höchsten sind, wobei aus diesen ausgewählten Daten ein reduzierter, die Fouriertransformierte beschreibender Datensatz gebildet wird .
9. Digitales Bilderfassungssystem (2) mit einem Bildsensor (4) und einer Auslesevorrichtung (8) zum Auslesen des Bildsensors (4), wobei die Auslesevorrichtung (8) dazu eingerichtet ist, ein Dunkelstrombild mit dem Bildsensor (4) zu erfassen, dadurch gekennzeichnet, dass die Auslesevorrichtung (8) ferner dazu eingerichtet ist,
A) eine Fouriertransformierte mittels einer Fouriertransformation auf der Grundlage der Bilddaten des Dunkelstrombildes zu erzeugen,
B) die Fouriertransformierte beschreibende Daten abzuspeichern,
C) die Fouriertransformierte durch Fouriertransformation der abgespeicherten Daten zurückzutransformieren und ein Korrekturbild aus den rücktransformierten Daten zu erzeugen und
D) Bildfehler des Bilderfassungssystems (2) in einem mit dem Bilderfassungssystem (2) erfassten, weiteren Bild zu korrigieren, indem Bilddaten des erfassten Bildes mit Bilddaten des Korrekturbildes verrechnet werden .
10. Digitales Bilderfassungssystem (2) nach Anspruch 9, dadurch gekennzeichnet, dass das digitale Bilderfassungssystem (2) eine Kamera (3) umfasst, wobei die Kamera (3) den Bildsensor (4) und einen, insbesondere nichtflüchtigen, Datenspeicher (1 0) umfasst, und der Datenspeicher (1 0) dazu eingerichtet ist, die die Fouriertransformierte des Dunkelstrombildes beschreibenden Daten in dem Datenspeicher (1 0) abzuspeichern .
1 1 . Digitales Bilderfassungssystem (2) nach Anspruch 9 oder 1 0, dadurch gekennzeichnet, dass die Auslesevorrichtung (8) dazu eingerichtet ist, die Fouriertransformierte zurückzutransformieren und insbesondere Bildfehler zu korrigieren , wobei ferner insbesondere die Auslesevorrichtung (8) von einer Kamera (3) des Bilderfassungssystems (2) umfasst ist.
12. Digitales Bilderfassungssystem (2) nach einem der Ansprüche 9 bis 1 1 , dadurch gekennzeichnet, dass der Bildsensor (4) ein flächiger Bildsensor ist und das digitale Bilderfassungssystenn (2) dazu eingerichtet ist, die Fouriertransformierte des Dun- kelstrombildes zu erzeugen, indem eine Fouriertransformation entlang einer durch das Dunkelstrombild gelegten Geraden, welche insbesondere durch einen Mittelpunkt des Dun- kelstrombildes verläuft, erzeugt wird .
Digitales Bilderfassungssystenn (2) nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, dass der Bildsensor (4) ein flächiger Bildsensor (4) ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei das digitale Bilderfassungssystem (2) dazu eingerichtet ist, auf der Grundlage von in einer Zeile oder in einer Spalte des Dunkelstrombildes vorhandenen Pixelwerten eine diskrete Fouriertransformation durchzuführen und eine Fouriertransformierte zu erzeugen, wobei die Zeile oder Spalte zumindest näherungsweise durch einen Mittelpunkt des Dunkelstrombildes verläuft, und Fourierfrequenzen und zugehörige Fourierparameter der zeilen- oder spaltenweise erzeugten Fouriertransformierten als die Fouriertransformierte des Dunkelstrombildes beschreibende Daten abzuspeichern .
Digitales Bilderfassungssystem (2) nach einem der Ansprüche 9 bis 1 2, dadurch gekennzeichnet, dass der Bildsensor (4) ein flächiger Bildsensor (4) ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei das digitale Bilderfassungssystem (2) dazu eingerichtet ist, auf der Grundlage dieser Pixelwerte des Dunkelstrombildes eine ebenfalls im Raster des Bildsensors dargestellte diskrete 2D- Fouriertransformierte zu erzeugen, und wobei aus der 2D- Fouriertransformierten entlang einer Zeile oder entlang einer Spalte, insbesondere entlang einer Zeile oder einer Spalte, welche zumindest näherungsweise durch einen Mittelpunkt der 2D-Fouriertransformierten verläuft, Fourierfrequenzen und zugehörige Fourierparameter zu entnehmen und als die Fouriertransformierte beschreibende Daten abzuspeichern .
Digitales Bilderfassungssystem (2) nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, dass der Bildsensor (4) ein flächiger Bildsensor (4) ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei das digitale Bilderfassungssystem dazu eingerichtet ist, die Pixelwerte des Dunkelstrombildes zeilenweise aufzusummieren und insbesondere zu mittein und eine mittlere vertikale Helligkeitsverteilung aus den zeilenweise aufsummierten Pixelwerten zu erzeugen, und/oder die Pixelwerte des Dunkelstrombildes spaltenweise aufzusummieren und insbesondere zu mittein und eine mittlere horizontale Helligkeitsverteilung aus den spaltenweise aufsummierten Pixelwerten zu erzeugen, und ferner eine Fouriertransformierte der mittleren horizontalen und/oder vertikalen Helligkeitsverteilung zu erzeugen und dieser/diesen Fourierstransformierten Fourierfrequenzen und zugehörige Fourierparameter zu entnehmen und als die Fouriertransformierte beschreibende Daten abzuspeichern .
Digitales Bilderfassungssystem (2) nach einem der Ansprüche 9 bis 15, dadurch gekennzeichnet, dass das digitale Bilderfas- sungssystem dazu eingerichtet ist, aus den die Fouriertransfornnierte beschreibenden Daten diejenigen Daten oder Datensätze auszuwählen, deren Werte oberhalb eines, insbesondere vorbestimmten, Grenzwertes liegen und/oder aus den die Fouriertransfornnierte beschreibenden Daten eine vorbestinnnnte
Anzahl von Daten oder Datensätzen auszuwählen, deren Werte im Vergleich zu den Werten der verbleibenden Daten oder Datensätze die höchsten sind, und aus diesen ausgewählten Daten einen reduzierten, die Fouriertransfornnierte beschreiben- den Datensatz zu bilden .
PCT/EP2015/077612 2014-12-02 2015-11-25 Digitales bilderfassungssystem und verfahren zur fehlerkorrektur in einem solchen system WO2016087277A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/612,000 US10356347B2 (en) 2014-12-02 2017-06-02 Digital imaging system and method for correcting errors in such a system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014224638.5 2014-12-02
DE102014224638.5A DE102014224638A1 (de) 2014-12-02 2014-12-02 Digitales Bilderfassungssystem und Verfahren zur Fehlerkorrektur in einem solchen System

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/612,000 Continuation US10356347B2 (en) 2014-12-02 2017-06-02 Digital imaging system and method for correcting errors in such a system

Publications (1)

Publication Number Publication Date
WO2016087277A1 true WO2016087277A1 (de) 2016-06-09

Family

ID=54705592

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2015/077612 WO2016087277A1 (de) 2014-12-02 2015-11-25 Digitales bilderfassungssystem und verfahren zur fehlerkorrektur in einem solchen system

Country Status (3)

Country Link
US (1) US10356347B2 (de)
DE (1) DE102014224638A1 (de)
WO (1) WO2016087277A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6820908B2 (ja) * 2016-02-26 2021-01-27 株式会社日立製作所 撮像装置
JP7127297B2 (ja) * 2018-02-23 2022-08-30 オムロン株式会社 画像センサ
CN111461961B (zh) * 2020-03-27 2022-10-21 佛山市灵觉科技有限公司 一种oct血管图像错位矫正方法
CN113724201B (zh) * 2021-08-03 2023-10-13 哈尔滨工程大学 基于二维傅里叶变换的图像传感器校正效果量化评价方法
CN113724202B (zh) * 2021-08-03 2023-10-13 哈尔滨工程大学 基于一维傅里叶变换的图像传感器校正效果量化评价方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3952186A (en) * 1975-02-10 1976-04-20 The United States Of America As Represented By The Secretary Of The Navy Apparatus for the generation of a two-dimensional discrete fourier transform
JPH11298762A (ja) * 1998-04-15 1999-10-29 Toshiba Corp 暗電流ノイズ除去装置
US20090244331A1 (en) * 2004-10-22 2009-10-01 Sanyo Electric Co., Ltd. Noise eliminator
US20120033112A1 (en) * 2009-02-06 2012-02-09 Trixell Method for correcting images obtained by an array of photosensitive points

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061092A (en) * 1997-12-05 2000-05-09 Intel Corporation Method and apparatus for dark frame cancellation for CMOS sensor-based tethered video peripherals
US6473124B1 (en) * 1998-04-23 2002-10-29 Micron Technology, Inc. RAM line storage for fixed pattern noise correction
US7505619B2 (en) * 2002-09-27 2009-03-17 Kla-Tencor Technologies Corporation System and method for conducting adaptive fourier filtering to detect defects in dense logic areas of an inspection surface
US20070230776A1 (en) * 2006-04-04 2007-10-04 Sozotek, Inc. System and method of testing imaging equipment using transformed patterns
CA2584683A1 (en) * 2006-04-20 2007-10-20 Optosecurity Inc. Apparatus, method and system for screening receptacles and persons
JP5868132B2 (ja) * 2011-11-14 2016-02-24 キヤノン株式会社 撮像装置および画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3952186A (en) * 1975-02-10 1976-04-20 The United States Of America As Represented By The Secretary Of The Navy Apparatus for the generation of a two-dimensional discrete fourier transform
JPH11298762A (ja) * 1998-04-15 1999-10-29 Toshiba Corp 暗電流ノイズ除去装置
US20090244331A1 (en) * 2004-10-22 2009-10-01 Sanyo Electric Co., Ltd. Noise eliminator
US20120033112A1 (en) * 2009-02-06 2012-02-09 Trixell Method for correcting images obtained by an array of photosensitive points

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
VAGO J L ET AL: "FAST FOURIER TRANSFORM BASED IMAGE COMPRESSION ALGORITHM OPTIMIZED FOR SPECKLE INTERFEROMETER MEASUREMENTS", OPTICAL ENGINEERING, SOC. OF PHOTO-OPTICAL INSTRUMENTATION ENGINEERS, BELLINGHAM, vol. 36, no. 11, 1 November 1997 (1997-11-01), pages 3052 - 3063, XP000725294, ISSN: 0091-3286, DOI: 10.1117/1.601542 *

Also Published As

Publication number Publication date
US10356347B2 (en) 2019-07-16
DE102014224638A1 (de) 2016-06-02
US20170272669A1 (en) 2017-09-21

Similar Documents

Publication Publication Date Title
WO2016087277A1 (de) Digitales bilderfassungssystem und verfahren zur fehlerkorrektur in einem solchen system
DE602005004410T2 (de) System und verfahren zur korrektur zeitlicher artefakte in tomographischen bildern
DE102005017491B4 (de) Verfahren zum Erzeugen eines gainkorrigierten Röntgenbildes
DE102006000946B4 (de) Verfahren und System zur Inspektion einer periodischen Struktur
DE102012204019A1 (de) Verfahren zur Reduzierung von Bewegungsartefakten
DE102011006272A1 (de) Bildverarbeitungsvorrichtung und Verfahren des Steuerns von dieser
DE60037852T2 (de) Vorrichtung und Verfahren zur Kalibrierung der Auflösung von Röntgenbildern
WO2007051566A2 (de) Verfahren und vorrichtung zur rekonstruktion von bildern
DE102015110326A1 (de) Bildverarbeitungsvorrichtung, Verfahren zum Steuern derselben und Speichermedium
EP2393286B1 (de) Verfahren und Vorrichtung zur Korrektur einer uneinheitlichen Sensitivität von Detektorelementen bei Wärmebildkameras
DE102007013570A1 (de) Verfahren zur Rauschverminderung in digitalen Bildern mit lokal unterschiedlichem und gerichtetem Rauschen
DE102010062496A1 (de) Verfahren und Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems
EP2791896B1 (de) Verfahren zur erzeugung von superaufgelösten bildern mit verbesserter bildauflösung und messvorrichtung
DE112004002663T5 (de) Bildsubtraktion von Beleuchtungsartefakten
DE112006001641T5 (de) Signalverarbeitungseinrichtung
DE102010008456A1 (de) Verfahren zur Extraktion eines IR-Bildes und Wärmebildkamera
DE102016125758B4 (de) Systeme und Verfahren zum Schätzen der Modulationsübertragungsfunktion in einem Optiksystem
EP3384461A1 (de) Verfahren und vorrichtung zur bildkorrektur
DE102019119039A1 (de) Verfahren und vorrichtungen zum kopensieren des sag-effekts
DE10055862C2 (de) Verfahren zum Ausgleich von technologisch bedingten Inhomogenitäten in den Einzelelementen eines Detektors, der zur Bildaufnahme eingesetzt wird
AT508873B1 (de) Verfahren zur aufnahme eines bildes
WO2018224444A1 (de) Verfahren und vorrichtung zur bildkorrektur
DE102008016393B4 (de) Verfahren zur Korrektur von Bildfehlern elektronischer Kameras
WO2022122240A1 (de) Verfahren und vorrichtung zum detektieren einer störpflanzenabbildung in einem kamerarohbild und bildverarbeitungseinrichtung
DE102010025888A1 (de) Verfahren zur Erstellung eines verzerrungsfreien Digitalbilds sowie Digitalkamera

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15801389

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15801389

Country of ref document: EP

Kind code of ref document: A1