WO2016202611A1 - Verfahren zur multiliniendetektion - Google Patents

Verfahren zur multiliniendetektion Download PDF

Info

Publication number
WO2016202611A1
WO2016202611A1 PCT/EP2016/062638 EP2016062638W WO2016202611A1 WO 2016202611 A1 WO2016202611 A1 WO 2016202611A1 EP 2016062638 W EP2016062638 W EP 2016062638W WO 2016202611 A1 WO2016202611 A1 WO 2016202611A1
Authority
WO
WIPO (PCT)
Prior art keywords
read
detector
integration
row
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2016/062638
Other languages
English (en)
French (fr)
Inventor
Martin Beck
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Priority to US15/580,417 priority Critical patent/US10567681B2/en
Priority to JP2017564905A priority patent/JP6732809B2/ja
Publication of WO2016202611A1 publication Critical patent/WO2016202611A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Definitions

  • the invention relates to a method for multiline detection.
  • methods are known in which, for example, a sample is illuminated with a moving illumination line and light emitted by the sample is detected by a rolling shutter camera.
  • the movement of the rolling shutter in the image plane is synchronized with the movement of the image of the illumination line.
  • rolling shutter here means that not all lines of a region on an image sensor are exposed simultaneously, ie integrated and then read out, but the exposure takes place, for example, line by line or for groups of lines, in regions.
  • the optical imaging ratios are usually set so that the height of the pixel lines acts like a confocal aperture, allowing for resolution increase in the axial direction or increase the contrast in the image, since light, which is emitted in front of and behind the focal plane in the direction of the detection optics, no longer contributes to the image content.
  • DE 10 2010 013 223 A1 describes a microscopy method in which a sample is irradiated with excitation light focused on it and a sample area is imaged on a planar detector by means of a corresponding detection optic, wherein illumination direction and detection direction are common, as is customary in light-sheet microscopy, for example. include a non-zero angle, for example 90 °.
  • the planar detector is controlled so that the active area is limited to a read-out area, which includes the image of the focus of the excitation light, and when relocated of the focus, the active surface is adapted to this displacement so that the displaced active surface again comprises the image of the focus of the excitation light.
  • this method can be used when the excitation light is irradiated in two time intervals from different devices in the sample volume.
  • shape, length and / or width can be set on the detector surface.
  • the restriction of the active surface is carried out in rolling shutter operation. As long as only a single line of illumination is used, the use of a single rolling shutter is sufficient, but limits are placed on the use of this method, since relatively long exposure times per line are necessary to obtain a sufficient signal-to-noise ratio; This results in relatively long image acquisition times, which are too long for some experimental classes, and at a low frame rate.
  • split sensors are known, which are composed of two separate areas that can be independently controlled and read. They have two control bus systems and two readout cascades, etc. Strictly speaking, split sensors are not a single sensor but two sensors. In the following, the term "sensor” therefore in each case a sensor with a bus system and a single readout cascade is called.
  • the object of the invention is therefore to develop a method with which a multi-line detection in the manner of a rolling shutter can be established on a single sensor, so that the detector is exposed in rolling shutter mode for each of the lines used, as a result, overall the picture recording time is shortened and in this way the picture refresh rate can be increased.
  • a number M of areas P, R 2 , R M to be read with a natural number M> 1 is determined on a surface-area detector comprising a number of detector lines, wherein each region to be read comprises at least one detector row.
  • the areas R m to be read in each case comprise at least one detector row, but as a rule several detector rows, the areas to be read on the sensor area each comprising different, non-overlapping regions of detector rows. For a control, it is easiest if each of the areas R m to be read out comprises the same number of detector rows, but this is not a mandatory requirement and depending on, for example, the selected examination method, the areas R m to be read may also comprise different numbers of the detector rows.
  • a number J of row groups G m1 , G m2 , G mJ with a natural number J> 1 of respectively adjacent detector rows is determined in each area R m to be read.
  • These groups of lines G mj each define so-called apertures which, although they are adjacent to one another in terms of their lines in an area R m to be read, but can be exposed at different times, ie for which an integration process is started at different times.
  • the values "0" and “1” are arbitrarily chosen here and are only intended to symbolize that the level trigger signal LTS can assume two different values, for example, a low voltage (JoW) and a higher voltage (“high”)
  • This initiates an integration process for the first detector row Z 1 of the first row group G in the first region to be read during a first integration time t b 1, after which the level trigger signal is switched from "1" to "1".
  • the integration process and the first detection process are terminated and a read-out process is started, the exposure value detected for this detector line Z ,, being read out during a first read-out time t a , and passed to an evaluation unit an image processing unit, which may also be integrated into a camera, of which the detector is a part tion process is thus controlled by setting the level trigger signal LTS, ie started and stopped.
  • the signal LTS is set to 1
  • the setting of this trigger signal takes place from outside the detector or the camera, ie not usually by the control logic of the camera.
  • the integration times may differ from the times t b i and t a i given in step c).
  • Each detection process j has its own group of lines reserved.
  • the integration process for the first row Z 12 i of the second stanza G 12 in the first area R ⁇ to be read is started at the earliest when the integration process for the last row Z 1 1 N of the stanza G "is to be read in the same Area R ⁇ has ended, etc., so that in the same area to be read R m integration operations separated by stanzas j and only in this stanza group occur simultaneously, and do not perform integration operations for two stanzas j, j + 1 in the same area to be read R m simultaneously.
  • the respective further detection process with j + 1 does not take place immediately following the termination of the last integration operation of the upstream row group with j, but depending on external boundary conditions, a longer period can also be interposed over several milliseconds or seconds, for example, in which the respective area to be read R m no detection process takes place.
  • the procedure according to the invention permits parallel detection in several areas of a sensor to be read out - at the same time as defined at the beginning. Of course, this can also be transferred to split sensors, where parallelization with a correspondingly higher degree is possible.
  • the time that is actually available for the simultaneous exposure of all the lines involved can thus be much shorter than be the integration time. For example, the time actually available for simultaneous exposure at fixed integration time becomes shorter, the longer the readout time per line is.
  • the exposure signal IS is set to "1" during the respective, the j-th detection process for one line if the integration process for the last detector line Z M jN of the corresponding j-th row group G M j of the last area R M to be read out
  • the exposure signal IS is set to "0" simultaneously with the level trigger signal LTS, with exposure of the area detector only taking place while the exposure signal is set to "1.”
  • the exposure signal IS can be used, for example be an element upstream of the detector - for example, an acousto-optical modulator - which takes over the function of a global shutter for the detector to control and to open this shutter only when the exposure signal IS is set to "1".
  • a control of the sample illumination can also take place via the exposure signal IS in order to keep the exposure to light irradiation in the sample as low as possible.
  • the exposure does not have to be controlled separately by means of an exposure signal IS; the exposure takes place in time with the signal LTS, ie it begins when the signal LTS is set to "1" and ends when the signal LTS is set to "0".
  • the following detection process is carried out in the first alternative with successive starting integration processes - at a detection process j, the following detection process (j + 1) - at the earliest then started when in the immediately preceding detection process - that is, the detection process j - the integration process for the last line Z 1jN the first stanza G ⁇ the first area to be read P is completed, or in the second alternative with at least almost simultaneously starting integration operations of the integration process for the last line Z 1 MN of the first row group G M j of the last area to be read R N.
  • each detection process j 1, J at completion of the integration process - in the case of the first alternative for the last row Z 1jN the first row group G ⁇ of the first region to be read P and in the case of the second alternative for the last line Z 1st M N of the first row group G M j of the last area R N to be read by the drive logic of the camera or the sensor generates an overlap margin signal OMS and transmitted to the camera-external control circuit.
  • the start of the next detection process is linked to the condition whether the overlap margin signal OMS has been received, since this marks the earliest sensible time at which the next detection process can be started by setting the level trigger signal LTS. namely, when the reading of the last line of a stanza begins in an area to be read.
  • next detection process does not have to start immediately after receiving the overlap margin signal OMS, but may also occur at a later time.
  • the start of a detection process by setting the signal LTS to "1" is not tied to the optional condition of receiving an overlap margin signal OMS and can also be controlled independently thereof.
  • the above-described method for multiline detection is particularly suitable for the microscopic illumination of a sample, wherein light emitted by the sample is detected on the planar detector.
  • the sample can be illuminated with a multi-colored light sheet, wherein the light to be detected is spectrally split and each of the colors used is assigned an area to be read R m on the detector, in which the respective color associated detection light is detected.
  • the colors of the detection light to be detected deviate from the colors of the light sheet since the light sheets are generally used to excite fluorescence in samples, ie light is emitted at wavelengths other than those used during irradiation.
  • the image acquisition time can be significantly shortened, since the detection for all illumination lines occur simultaneously can.
  • the image pickup time is shortened, and moreover, the number of necessary corrections can be reduced since a plurality of colors can be detected on one sensor.
  • the number N of lines in the row groups G mj can also be set variably in connection with steps a) and b). This makes it possible to adjust the height of the row groups for different optical ratios of the system.
  • Exposure times are independently adjustable when the speed at which the illumination lines move across the image field is predetermined.
  • the integration time for the rows of the jth row groups G ⁇ , G 2j , G M j can be controlled via the level trigger signal LTS, as already explained above. If one uses illumination in which lines move over the sample and a moving line-shaped detection takes place, a constant signal-to-noise ratio can be achieved in the image via the level trigger signal LTS, even if the movement of the Lines of illumination are non-linear, or even if pauses for a scanning movement - for example, in a reversal of the scanning movement or in a bidirectional correction - are provided.
  • the level trigger signal LTS for each of the areas R m to be read out can be individualized to a certain extent by the level trigger signal LTS for each area R m to be read out by a time constant T m predetermined for the respective area is changed, wherein the time constant T m are given as a function of intensity differences in the lighting and / or detection.
  • the intensity differences can have their causes, for example, in different illuminance levels for individual wavelengths, but can also be caused by boundary conditions linked to the detection, for example vignetting in the edge regions of the detection surface. Their determination can therefore be carried out as part of a calibration in advance.
  • the time constant can be positive or negative, ie it can extend or shorten the duration in which the level trigger signal LTS is set to "1."
  • This determination is the easiest to handle in terms of the control, but it can also be done differently, for example by setting a mean duration of the LTS and setting the time constant. finally, sprinkle around zero for the first area to be read. In this way, for example, intensity differences in the illumination lines can be compensated.
  • the read-out process is started only after a delay time t q m has elapsed, which is determined individually by the system for each area to be read on the basis of the integration times and time constants.
  • both the time constant T m and the delay times t q m are each zero.
  • the output of the signals by the control can be delayed or accelerated in order to take into account the inertia of the reaction of corresponding hardware components.
  • the illumination signal IS can be moved forward by a defined time value in order to take into account the inertia when switching a global shutter, for example an AOTF.
  • the order in which integration and read-out processes are triggered in the lines on the detector during a detection process is reversed between two detection processes j and j + 1, ie with regard to the position on the detector, the first line Z, "either the top line of all lines used, or the bottom line.
  • the method can thus be carried out bidirectionally; in particular, it is also possible to change the direction of row activation from the j-th row groups G mj to the next row groups G mj + 1 , ie the integration and Readout cascade to run alternately from top to bottom and from bottom to top on the detector surface, the lines should be aligned horizontally.
  • the pixel can each row x Z mjn by a weighting factor w weights mjnx located in the cellular image calculation, wherein x is the horizontal positive on a pixel x indicates in the row.
  • the weighting factors w mjnx which can take values between zero and one including these limits, are parameters that can be specified by a user. In this way, it is possible, for example, to stipulate that in the edge regions of the lines, viewed horizontally, the influence of the lines lying vertically in the edge region of the respective line group is higher or lower than in the case of lines in the middle region.
  • Fig. 2 shows the typical sequence of such a method
  • Fig. 3 shows an alternative sequence of this method.
  • FIG. 1 shows by way of example an arrangement with which a multiline detection can be carried out.
  • the arrangement comprises a camera 1 with a detector 2, a control 3 and an image processing unit 4.
  • the detector 2 comprises the image sensor, for example a CMOS image sensor.
  • Such a sensor comprises a number of individual lines which can be controlled individually, ie in which the integration time and read-out time can in principle be controlled independently of the other lines. Every detector line is constructed from a number of pixels, so in total one obtains a planar detector.
  • the arrangement shown in Fig. 1 is to be understood only as an example. Arrangements in which the control 3 is part of the image sensor and / or in which the image processing unit 4 is located outside the camera 1, for example in a PC, are also conceivable.
  • a CMOS image sensor for example, contains several transistors per pixel, which include, inter alia, the erasure of charge in the pixel, the transfer of charge to a charge-voltage converter, a so-called Correlated Double Sampling (CDS) to eliminate unwanted reset offset Offset) and enable the forwarding of the detection signal voltage to a column bus.
  • CDS Correlated Double Sampling
  • Connected to the column buses are analog-to-digital converters that digitize the voltages.
  • the rows and column buses on the image sensor must control a certain sequence of switching operations. For digitization, further voltage curves are generated.
  • the reading out of a line covers the entire time for a transfer of the accumulated charge up to the generation of the digitized value including possibly additionally user-defined delay times.
  • no second read-out process must be started that reads out through the same readout cascade.
  • CMOS image sensors which each have their own analog-digital sensors for the upper and lower sensor halves.
  • Transducers and column buses i. have two readout cascades. With such sensors can read out two lines simultaneously, which must be on different sensor halves, i. Actually, these are two independent sensors. To simplify the illustration, however, it is assumed here that the sensor has only one readout cascade, but transmission to two or more readout cascades is readily possible, since the regions of the sensor can be controlled independently of one another.
  • the generation of the row and column bus signals can be realized, for example, by means of electronics which can be part of the image sensor or else designed as an external circuit, with sufficient latency and fluctuation, via separate circuits which supply signals to the image sensor from the outside , or when using a suitable sensor via a programming of the same, for example via a downstream row decoder or via a digital control block done.
  • the image data read out at the image sensor are supplied to the image processing unit 4, which, for example, assembles the data of the individual pixels into images and is connected to a further evaluation unit, a memory unit and / or a visual output unit.
  • An important part of the camera 1 is the control 3, which contains among other things a programmable control logic.
  • a parameterization interface 6 Via a parameterization interface 6, areas R m , row groups G mj in these areas and the number N of lines per row group, Z mjn , which can be read out by the user or automatically as a function of the illumination settings and the examination method can be set and sent to the control 3 handed over. If cellular images are to be calculated, corresponding weighting factors w mjnx can also be transmitted to the image processing unit 4 via the parameterization interface 6.
  • the arrangement also includes a trigger manager 7, which is shown here as a camera-external component, but may also be part of the camera 1.
  • the task of the trigger manager 7 is to integrate a level trigger coming from outside via a level trigger signal LTS into the sequence control of the sensor direction and from the signals of the sensor control an exposure signal IS, a read-out signal RS and an overlap margin signal OMS and make it available for external use, so that these signals can be used for the synchronization of external hardware.
  • the trigger manager can take on additional tasks in connection with the signal generation in dependence of other signals, for example, the trigger manager 7 can use a synchronization signal of the scanner 9 to determine the start time for the level trigger signal LTS.
  • the trigger manager 7 may also communicate with an acousto-optic modulator (AOM / AOTF) 5, to which the illumination signal IS is communicated, to turn off or close a global shutter so that all lines of the detector will expose the same time become.
  • AOM / AOTF acousto-optic modulator
  • Either via the trigger manager 7 or via a software controller 8 can also be a signal for reversing the sequence in which in the lines on the detector integration and read operations during a detection process are triggered, ie to reverse the Shutterausbreitungsraum set.
  • the read-out time t a m of a line in an area R m to be read out is also defined in the parameterization interface 6 or transmitted from this to the control 3.
  • the parameters for the integration time, ie, the level trigger signal LTS and the time constant T m , the readout time, the number of respective areas or groups M, J, N, the Switching behavior in the column and row buses fixed.
  • the OMS, RS and IS signals are for zero latency control without the use of software control.
  • the additional software control 8 it is also possible to control the other external devices with respect to the camera, for example a scanner 9, spatial light modulators, a sample table, etc. Lighting lines or light sheets can be scanned by way of corresponding optical structures known per se , Cylindrical lenses, spatial light modulators or digital mirror arrays.
  • a number M of areas R 1: R 2 , R M to be read is defined on the area-shaped detector 2 connected to the control 3, which comprises a number of detector rows - for example 1500 detector rows is a natural number greater than or equal to 1.
  • M 3.
  • a region to be read comprises 400 lines.
  • R m is a number of row groups G J m i, G m2, G mJ in a step b) is determined in each case of adjacent detector rows.
  • J is a natural number greater than or equal to 1.
  • Each row group G mj comprises a number N of detector rows Z mj1 , Z mj2 , Z mjN . Where N is a natural number greater than or equal to 1 and j is a count index running from 1 to J.
  • an integration process for the first detector row ⁇ , ⁇ , the first row group Gn is triggered in the first area to be read, the predetermined integration time for this integration process is t
  • the level trigger signal LTS is again from “1” to "0 “set, the integration process for the first detector line Z,” and the first detection process are terminated.
  • the waveform is shown in the upper part of Figure 2 over time t.
  • the signal curve is simplified for all signals shown here as a rectangular signal.
  • a value of 1 corresponds to a high voltage value ("high"), a value of 0 to a low value (JoW).
  • the sensor lines are symbolized along the y-axis, the x-axis corresponds to the time axis. What is shown is how the drive circuit drives the individual lines over time. Each line occupies the space along the y-axis that corresponds to the height of one of the rectangles. Empty areas in the rectangles correspond to integration processes, the filled areas to the readouts explained below.
  • a read-out process is started, wherein during a first readout time t a i the exposure value detected for this detector line Zm - corresponding to the registered photo charge - is read out and sent to an evaluation unit.
  • the first readout time t a i thus corresponds to the width of the filled region in the rectangle on the time axis assigned to the detector line Z m.
  • J detection processes are processed, for each of these detection processes a different integration time t b j and / or a different readout time t a j can be selected.
  • a step d) in the first alternative shown in FIG. 2 by means of the control logic integrated into the control 3, successively in time are offset by the distance of the first readout time t a i in the further detector rows of the first row group G and following in the corresponding one first row groups G m1 of the remaining areas to be read R m triggered integration operations with subsequent read-out.
  • the read-out process is terminated after the last line Z M1 N of the first row group G M i of the last area R M to be read out has been read, in the example this is the line Z 114 .
  • This second alternative is shown in FIG.
  • the times when the detection operations are to be started are thereby specified by the application, ie from the outside via the signal LTS.
  • a read-out signal RS is set to "1", which is set to "0" again after the read-out process has ended, only then can a situation be created in which an integration process can take place for all the lines involved.
  • Exposure of the detector should only take place if an integration process actually takes place in all the lines involved; this is signaled in the example shown in FIG. 2 with the exposure signal IS which, when all lines have been actively switched to integration, is set to " As soon as this is no longer the case and for the first - in the example cited, the top line - of the integration process is ended and a read operation is started, the exposure signal IS simultaneously with the level trigger signal LTS again Set to "0".
  • the acousto-optic modulator 5 can be controlled with the exposure signal IS, the inertia of which is preferably taken into account when opening the global shutter, in which the illumination signal IS is transmitted to the acousto-optic modulator 5 with a certain supply.
  • the next detection process ie after the jth detection process, the (j + 1) th detection process is started at the earliest when j
  • an overlap margin signal OMS is transmitted to the drive circuit, in FIGS. 2 and 3, to which the integration process for the last row Z 1jN of the first row group of the first area F 1 to be read has been completed recognize on the vertical line on the axis for the overlap margin signal OMS, which indicates that the OMS was set there to "1".
  • the exposure signal IS corresponds to the level trigger signal LTS
  • a separate signal IS can therefore be dispensed with, and the exposure can be coupled to the signal LTS.
  • the signal OMS can be set analogously to the manner shown in FIG. 2, but here it is set, even if it is ignored, so that it marks the beginning of the read-out process of the last line Z 1 M N of the first row group G Mj of the last region R N to be read, so that integration processes of different regions in the same regions would not overlap.
  • the length of the integration times in relation to the read-out times influences the length of the period in which the detector can be exposed, since, due to the time offset during integration and read-out, the actual available exposure time is shorter than the actual integration time.
  • the actual usable exposure time for the integration of photo charge is also characterized by the vertical dashed lines, the ratio of the actual usable exposure time to the integration time corresponds to the ratio of the duration of the illumination signal IS to the level trigger signal LTS.
  • the method for multiline detection is suitable, for example, for those methods in which a linear detection and / or a linear illumination is used, for example for light-sheet microscopy methods with multicolored light sheets, in which the light is detected perpendicular to the plane of the light sheet.

Landscapes

  • Multimedia (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Multiliniendetektion, bei dem auf einem mit einer AnSteuerung (3) verbundenen flächenförmigen Detektor (2) mit einer Anzahl M von auszulesenden Gebieten Rm mit m = 1, M festgelegt wird. In jedem auszulesenden Gebiet wird eine Anzahl J von Zeilengruppen jeweils aneinander grenzender Detektorzeilen festgelegt, wobei jede Zeilengruppe eine vorgegebene Anzahl N von Detektorzeilen umfasst. Um zeitgleich Licht in mehreren Bereichen auf dem Detektor registrieren zu können, werden in allen beteiligen Zeilen nacheinander Integrationsvorgänge gestartet, und nach deren Beendigung Auslesevorgänge. Für das Auslesen jeder Zeile steht eine Auslesezeit zur Verfügung, diese Auslesezeit entspricht auch dem zeitlichen Versatz, in welchem die Integrationsvorgänge zeilenweise gestartet werden. Dabei erfolgt eine tatsächliche Belichtung, gesteuert über ein entsprechendes Signal, nur dann, wenn tatsächlich in allen beteiligten Zeilen Integrationsvorgänge gestartet wurden und der erste Integrationsvorgang noch nicht wieder beendet wurde. Auf diese Weise ist eine gleichzeitige Detektion in verschiedenen Bereichen auf dem Sensor unter identischen Bedingungen möglich.

Description

Titel
Verfahren zur Multiliniendetektion
Gebiet der Erfindung
Die Erfindung betrifft ein Verfahren zur Multiliniendetektion. Im Stand der Technik sind Verfahren bekannt, bei denen beispielsweise eine Probe mit einer sich bewegenden Beleuchtungslinie beleuchtet wird und von der Probe emittiertes Licht durch eine Rolling-Shutter-Kamera detek- tiert wird. Die Bewegung des Rolling-Shutters in der Bildebene ist dabei mit der Bewegung des Bildes der Beleuchtungslinie synchronisiert. Der Begriff „Rolling-Shutter" bedeutet dabei, dass nicht alle Zeilen eines Bereiches auf einem Bildsensor gleichzeitig belichtet, d.h. integriert und anschließend ausgelesen werden, sondern die Belichtung beispielsweise zeilenweise oder für Gruppen von Zeilen bereichsweise erfolgt. Dafür geeignete flächenförmige Detektoren sind beispielsweise CMOS-Sensoren. Bei der Verwendung der fio// n(7-S/7uffer-Belichtung in mikroskopischen Abbildungsverfahren sind die optischen Abbildungsverhältnisse dabei in der Regel so eingerichtet, dass die Höhe der Pixelzeilen wie eine konfokale Blende wirkt. Auf diese Weise lässt sich die Auflösung in axialer Richtung steigern bzw. der Kontrast im Bild erhöhen, da Licht, welches vor und hinter der Fokusebene in Richtung der Detektionsoptik ausgesendet wird, nicht mehr zum Bildinhalt beiträgt.
Stand der Technik
Ein auf der fio//n(7-S/7uffer-Technologie basierendes Mikroskop ist beispielsweise das„DLM Confocal Microscope™" der Firma AEON Imaging LLC, welches in Transmission unter verschiedenen Winkeln detektieren kann.
In der DE 10 2010 013 223 A1 wird ein Mikroskopieverfahren beschrieben, bei dem eine Probe mit auf diese fokussiertem Anregungslicht bestrahlt wird und ein Probengebiet mittels einer entsprechenden Detektionsoptik auf einen flächenförmigen Detektor abgebildet wird, wobei Beleuchtungsrichtung und Detektionsrichtung - wie beispielsweise in der Lichtblattmikroskopie üblich - einen von Null verschiedenen Winkel, beispielsweise 90° einschließen. Dabei wird der flächenförmige Detektor so angesteuert, dass die aktive Fläche auf einen Auslesebereich, der die Abbildung des Fokus des Anregungslichtes umfasst, beschränkt wird und bei Verlagerung des Fokus die aktive Fläche an diese Verlagerung angepasst wird, so dass die verlagerte aktive Fläche erneut die Abbildung des Fokus des Anregungslichts umfasst. Insbesondere lässt sich dieses Verfahren anwenden, wenn das Anregungslicht in zwei Zeitintervallen aus verschiedenen Einrichtungen in das Probenvolumen eingestrahlt wird. Bei dem aktiven Bereich lassen sich Form, Länge und / oder Breite auf der Detektorfläche einstellen. Die Beschränkung der aktiven Fläche erfolgt dabei im Rolling-Shutter-Betrieb. Solange nur eine einzige Beleuchtungslinie verwendet wird, reicht die Verwendung eines einzigen Rolling-Shutters aus, jedoch sind der Anwendung dieses Verfahrens Grenzen gesetzt, da relativ lange Belichtungszeiten pro Zeile notwendig sind, um ein ausreichendes Signal-Rausch-Verhältnis zu erhalten; dies resultiert in relativ langen Bildaufnahmezeiten, welche für einige Experimentklassen jedoch zu lang sind, sowie in einer niedrigen Bildwiederholungsrate.
Im Stand der Technik sind auch sogenannte Split-Sensoren bekannt, die aus zwei voneinander getrennten Bereichen zusammengesetzt sind, die unabhängig voneinander angesteuert und ausgelesen werden können. Sie verfügen über zwei Ansteuerungs-Bussysteme und zwei Auslesekaskaden, etc. Streng genommen handelt es sich bei Split-Sensoren nicht um einen einzigen Sensor, sondern um zwei Sensoren. Im Folgenden wird mit dem Begriff„Sensor" daher jeweils ein Sensor mit einem Bussystem und einer einzigen Auslesekaskade bezeichnet.
Beschreibung der Erfindung
Aufgabe der Erfindung ist es daher, ein Verfahren zu entwickeln, mit welchem eine Multilinien- detektion nach Art eines Rolling-Shutters auf einem einzigen Sensor etabliert werden kann, so dass für jede der verwendeten Linien der Detektor im Rolling-Shutter-Modus belichtet wird, wodurch insgesamt die Bildaufnahmezeit verkürzt und auf diese Weise die Bildwiederholrate erhöht werden kann.
Diese Aufgabe wird durch ein Verfahren zur Multiliniendetektion gelöst, welches die folgenden Schritte umfasst.
In einem Schritt a) wird auf einem mit einer Ansteuerung verbundenen flächenförmigen Detektor, welcher eine Anzahl Detektorzeilen umfasst, eine Anzahl M von auszulesenden Gebieten P , R2, RM mit einer natürlichen Zahl M > 1 festgelegt, dabei umfasst jedes auszulesende Gebiet mindestens eine Detektorzeile. Die auszulesenden Gebiete Rm mit m = 1 , M definie- ren auf dem flächenförmigen Detektor, beispielsweise einem CMOS-Sensor, die Bereiche, in welchem jeweils der Betrieb im Rolling-Shutter-Modus erfolgt. Ist beispielsweise M = 3, so werden drei auszulesende Gebiete R1 : R2, R3 festgelegt, in jedem der drei Gebiete erfolgt die Be- lichtung nach Art des Rolling-Shutter-Verfahrens. Die auszulesenden Gebiete Rm umfassen jeweils mindestens eine Detektorzeile, in der Regel jedoch mehrere Detektorzeilen, wobei die auszulesenden Gebiete auf der Sensorfläche jeweils verschiedene, einander nicht überlappende Bereiche von Detektorzeilen umfassen. Für eine Ansteuerung ist es am einfachsten, wenn jedes der auszulesenden Gebiete Rm die gleiche Anzahl von Detektorzeilen umfasst, dies ist jedoch keine zwingende Voraussetzung und in Abhängigkeit von beispielsweise dem gewählten Untersuchungsverfahren können die auszulesenden Gebiete Rm auch unterschiedliche Anzahlen von den Detektorzeilen umfassen. In einem nächsten Schritt b) wird in jedem auszulesenden Gebiet Rm eine Anzahl J von Zeilengruppen Gm1 , Gm2, GmJ mit einer natürlichen Zahl J > 1 jeweils aneinander grenzender Detektorzeilen festgelegt. Dabei umfasst jede Zeilengruppe Gmj eine Anzahl N von Detektorzeilen Zmji , Zmj2, ZmjN, mit j = 1 , J und N > 1 . Diese Zeilengruppen Gmj definieren jeweils sogenannte Blenden, die zwar hinsichtlich ihrer Zeilen in einem auszulesenden Gebiet Rm aneinan- dergrenzen, jedoch zu unterschiedlichen Zeiten belichtet werden können, d.h. für welche zu verschiedenen Zeiten ein Integrationsvorgang gestartet wird.
In einem dritten Schritt c) wird zum Starten eines ersten Detektionsvorgangs, d.h. bei j = 1 ein Level-Trigger-Signal LTS von„0" auf „1 " gesetzt. Die Werte„0" und„1 " sind hier willkürlich ge- wählt und sollen nur symbolisieren, dass das Level-Trigger-Signal LTS zwei verschiedene Werte einnehmen kann, die beispielsweise durch eine niedrige Spannung (JoW) und eine höhere Spannung („high") eingestellt werden können. Dadurch wird ein Integrationsvorgang für die erste Detektorzeile Z,„ der ersten Zeilengruppe G im ersten auszulesenden Gebiet während einer ersten Integrationszeit tb! ausgelöst. Nach deren Ablauf wird das Level-Trigger- Signal von„1 " auf „0" zurück gesetzt. Der Integrationsvorgang und der erste Detektionsvorgang werden beendet und es wird ein Auslesevorgang gestartet, wobei während einer ersten Auslesezeit ta! der für diese Detektorzeile Z,, , detektierte Belichtungswert ausgelesen und an eine Auswerteeinheit geleitet wird. Die Auswerteeinheit kann beispielsweise eine Bildverarbeitungseinheit sein, die auch in eine Kamera integriert sein kann, von welcher der Detektor ein Teil ist. Der Detektionsvorgang wird also durch das Setzen des Level-Trigger-Signals LTS gesteuert, d.h. gestartet und beendet. Die erste Auslesezeit setzt sich dabei aus mindestens zwei Werten zusammen, tai = tri + t°i , wobei tri die tatsächliche, physikalisch für das Transferieren der akkumulierten Ladung notwendige Auslesezeit einschließlich der Bestimmung eines der Ladung zugeordneten digitalisierten Werts notwendige Zeit ist, und t°i eine vom Benutzer frei wählbare Benutzerverzögerungszeit definiert, mit welcher der Auslesevorgang gestartet oder beendet wird, je nachdem , ob die Benutzerverzögerungszeit vor oder nach dem eigentlichen Auslesen hinzugefügt wird. Dabei muss das Level-Trigger-Signal nur für die erste Detektorzeile Z,„ auf„1 " gesetzt werden, da in einem vierten Schritt d) mittels einer Ansteuerlogik - die Ansteuerlogik ist entweder Teil des Sensors oder in einer besonderen Schaltung gesondert in den Detektor bzw. eine Kamera mit dem Detektor integriert - sukzessive zeitlich jeweils um den Abstand der ersten Auslesezeit versetzt in den weiteren Detektorzeilen der ersten Zeilengruppe Gn und folgend entsprechend in den ersten Zeilengruppen Gm1 der übrigen auszulesenden Gebiete Rm für m-1 = 1 , M-1 Integrationsvorgänge mit anschließendem Auslesen ausgelöst werden, wobei der - mit dem Auslesen der ersten Zeile Z,„ gestartete Auslesevorgang - beendet wird, nachdem die letzte Zeile ZM1 N der ersten Zeilengruppe GMi des letzten auszulesenden Gebiets RM ausgelesen wurde. Die Integrationsvorgänge und das Auslesen einzelner Zeilen werden also innerhalb dieser Kaskade automatisch, d.h. von einem entsprechenden Zustandsautomaten gestartet.
In Abhängigkeit von der Steuerung und der verwendeten Hardware ist es in Schritt d) alternativ auch möglich, diesen Zeitabschnitt, in dem die Integrationsvorgänge gestartet werden, zu verkürzen oder vollständig zu vermeiden, indem mindestens nahezu zeitgleich mit dem Starten des ersten Detektionsvorgangs in den weiteren Detektorzeilen der ersten Zeilengruppe (G,,) und der weiteren ersten Zeilengruppen (Gm1) der übrigen auszulesenden Gebiete (Rm) für m-1 = 1 , M-1 die Integrationsvorgänge ausgelöst werden. Dies steigerte die Effizienz der Belichtung, da der Zeitraum, in welchem alle Zeilen im jeweiligen Detektionsvorgang auf Integration geschaltet sind, verlängert werden kann.
In einem fünften Schritt e) werden nach Beenden des Integrationsvorgangs der ersten Zeilengruppe G1 1 im ersten auszulesenden Gebiet sukzessive J-1 weitere Detektions- und Ausle- sevorgänge gestartet, in dem die Schritte c) und d) für die weiteren Zeilengruppen Gmj mit j-1 = 1 , J-1 und mit weiteren Integrationszeiten tb j und weiteren Auslesezeiten ta j durchgeführt werden. Zum Start wird wieder - außerhalb des Detektors bzw. der Kamera - das Signal LTS auf 1 gesetzt, das Setzen dieses Triggersignals erfolgt dabei von außerhalb des Detektors bzw. der Kamera, d.h. in der Regel nicht durch die Ansteuerlogik der Kamera. Die Integrationszeiten können dabei von den in Schritt c) angegebenen Zeiten tbi und tai abweichen. Jedem Detektionsvorgang j ist eine eigene Gruppe von Zeilen reserviert.
Im zweiten Detektionsvorgang mit j = 2 wird der Integrationsvorgang für die erste Zeile Z12i der zweiten Zeilengruppe G12 im ersten auszulesenden Gebiet R^ frühestens dann gestartet, wenn der Integrationsvorgang für die letzte Zeile Z1 1 N der Zeilengruppe G„ im selben auszulesenden Gebiet R^ beendet wurde, etc., so dass im selben auszulesenden Gebiet Rm Integrationsvorgänge getrennt nach Zeilengruppen j und nur in dieser Zeilengruppe simultan erfolgen, und nicht Integrationsvorgänge für zwei Zeilengruppen j, j+1 im selben auszulesenden Gebiet Rm gleichzeitig durchgeführt werden. Dabei muss der jeweils weitere Detektionsvorgang mit j+1 nicht unmittelbar im Anschluss an das Beenden des letzten Integrationsvorgangs der vorgeordneten Zeilengruppe mit j erfolgen, sondern in Abhängigkeit von äußeren Randbedingungen kann auch ein längerer Zeitraum über beispielsweise mehrere Millisekunden oder Sekunden zwischengeschaltet sein, in welchem in dem jeweiligen auszulesenden Gebiet Rm kein Detektionsvorgang abläuft.
Während im Stand der Technik immer nur in einem auszulesenden Gebiet ein Detektionsvor- gang in Rolling-Shutter-Moäus abgearbeitet wird, erlaubt die erfindungsgemäße Verfahrensweise die parallele Detektion in mehreren auszulesenden Gebieten eines Sensors - entsprechend der eingangs gemachten Definition - zur gleichen Zeit. Dies lässt sich selbstverständlich auch auf Split-Sensoren übertragen, hier ist dann Parallelisierung mit entsprechend höherem Grad möglich.
Der geringe zeitliche Versatz durch den Rolling-Shutter-Beldeb - bedingt durch die Tatsache, dass in einem gemeinsam angesteuerten Gebiet des Sensors, in welchem die Pixel an einen gemeinsamen Bus angeschlossen sind, zu einem Zeitpunkt nur eine Zeile ausgelesen werden kann - kann jedoch zu Verfälschungen im Ergebnis führen, beispielsweise zu geometrischen Verzerrungen sich bewegender Proben und zu nicht zueinander passenden Überlagerungen in einem Bild, welches aus spektral getrennten, nacheinander aufgenommenen Einzelbildern zusammengesetzt wird, insbesondere wenn es sich um lebende Proben handelt. Verwendet man außerdem die maximale Belichtungszeit für jede Zeilengruppe, d.h. vom Beginn des ersten Detektionsvorgangs der ersten Zeile in dieser Gruppe bis zum Ende des entsprechenden De- tektionsvorgangs der letzten Zeile dieser Gruppe, so kann dies zu einem unerwünschten Ausbleichen der Probe führen.
In einer bevorzugten Ausgestaltung des Verfahrens erfolgt daher eine Belichtung des Detektors während der Integrationszeit in jedem Detektionsvorgang für j = 1 , J nur dann, wenn gleich- zeitig für die Zeilen aller beteiligten Zeilengruppen Gmj ein Integrationsvorgang abläuft, d.h. alle an einem Detektionsvorgang beteiligten Zeilen aller Zeilengruppen Gmj auf Integration bzw. Detektion, d.h. photoempfindlich geschaltet sind. In Abhängigkeit von der Integrationszeit und der Auslesezeit, welche für die beteiligten Zeilengruppen Gmj bei festem j identisch sind, um einheitliche Detektionsbedingungen zu garantieren , kann die Zeit, die tatsächlich zur gleichzei- tigen Belichtung aller beteiligen Zeilen zur Verfügung steht, also wesentlich kürzer als die Integrationszeit sein. So wird die tatsächlich zur gleichzeitigen Belichtung zur Verfügung stehende Zeit bei fester Integrationszeit beispielsweise umso kürzer, je länger die Auslesezeit pro Zeile ist. Auf diese Weise wird zum einen die Belichtungszeit und damit die Gefahr eines Ausbleichens der Probe minimiert, zum anderen werden auch geometrische Verzerrungen und Bildfehler aufgrund nicht passender Überlagerungen vermieden. In einer bevorzugten Ausgestaltung dieser Variante wird in jedem Detektionsvorgang j für j = 1 , J die Belichtung mittels eines Belichtungssignals IS gesteuert, welches üblicherweise von der Ansteuerlogik des Sensors bzw. einer Kamera generiert wird. Das Belichtungssignal IS wird dabei während des jeweiligen, des j-ten Detektionsvorgangs für eine Zeile auf„1 " gesetzt, wenn für die letzte Detektorzeile ZMjN der entsprechenden j-ten Zeilengruppe GMj des letzten auszule- senden Gebiets RM der Integrationsvorgang gestartet wird. Das Belichtungssignal IS wird gleichzeitig mit dem Level-Trigger-Signal LTS auf „0" gesetzt, wobei eine Belichtung des flä- chenförmigen Detektors nur erfolgt, während das Belichtungssignal auf „1 " gesetzt ist. Das Belichtungssignal IS kann beispielsweise dafür genutzt werden, ein dem Detektor vorgeordnetes Element - beispielsweise einen akusto-optischen Modulator -, welches die Funktion eines glo- balen Verschlusses für den Detektor übernimmt, zu steuern und diesen Verschluss nur zu öffnen, wenn das Belichtungssignal IS auf „1 " gesetzt ist. Auch eine Steuerung der Probenbeleuchtung kann über das Belichtungssignal IS erfolgen, um in der Probe die Belastung durch Lichteinstrahlung möglichst gering zu halten. Für den alternativen Fall in Schritt d), bei dem die Integrationsvorgänge zeitgleich oder nahezu zeitgleich gestartet werden, muss die Belichtung nicht gesondert mittels eines Belichtungssignals IS gesteuert werden, die Belichtung erfolgt im Takt mit dem Signal LTS, d.h. sie beginnt beim Setzen des Signals LTS auf„1 " und endet beim Setzen des Signals LTS auf„0". In einer weiteren bevorzugten Ausgestaltung, die mit den vorgenannten und den folgenden, noch zu nennenden Ausgestaltungen selbstverständlich kombinierbar ist, wird bei der ersten Alternative mit sukzessive startenden Integrationsvorgängen der folgende Detektionsvorgang - bei einem Detektionsvorgang j ist der folgende Detektionsvorgang (j+1 ) - frühestens dann gestartet, wenn im unmittelbar vorangehenden Detektionsvorgang - also der Detektionsvorgang j - der Integrationsvorgang für die letzte Zeile Z1jN der ersten Zeilengruppe G^ des ersten auszulesenden Gebiets P abgeschlossen ist, bzw. bei zweiten der Alternative mit mindestens nahezu gleichzeitig startenden Integrationsvorgängen der Integrationsvorgang für die letzte Zeile Z1 MN der ersten Zeilengruppe GMj des letzten auszulesenden Gebiets RN. Besonders bevorzugt wird dabei in jedem Detektionsvorgang j = 1 , J bei Abschluss des Integrationsvorgangs - im Falle der ersten Alternative für die letzte Zeile Z1jN der ersten Zeilengruppe G^ des ersten auszulesenden Gebiets P und im Falle der zweiten Alternative für die letzte Zeile Z1 MN der ersten Zeilengruppe GMj des letzten auszulesenden Gebiets RN von der Ansteuerlogik der Kamera bzw. des Sensors ein Overlap-Margin-Signal OMS generiert und an die kameraexterne Ansteuerschaltung übermittelt. Der Start des nächsten Detektionsvorgangs ist an die Bedingung geknüpft, ob das Overlap-Margin-Signal OMS empfangen wurde, da dieses den frühesten sinnvollen Zeitpunkt markiert, an dem der nächste Detektionsvorgang - durch Setzen des Level- Trigger-Signals LTS - gestartet werden kann, nämlich wenn das Auslesen der letzten Zeile einer Zeilengruppe in einem auszulesenden Gebiet beginnt. Der nächste Detektionsvorgang muss jedoch nicht unmittelbar nach Empfang des Overlap-Margin-Signals OMS starten, sondern kann auch zu einem späteren Zeitpunkt erfolgen. Grundsätzlich ist der Start eines Detektionsvorgangs durch Setzen des Signals LTS auf „1 " jedoch nicht an die optionale Bedingung des Empfangs eines Overlap-Margin-Signals OMS geknüpft und kann auch unabhängig davon gesteuert werden.
In einer weiteren Ausgestaltung des Verfahrens wird nach jedem Detektionsvorgang j = 1 , ... , J bei Beginn des zugeordneten Auslesevorgangs ein Auslesesignal RS auf „1 " gesetzt, welches nach Beendigung des Auslesevorgangs, wie im Verfahrensschritt d) definiert, wieder auf „0" gesetzt wird. Durch das Setzen dieses Signals wird angezeigt, dass zeitgleich keine weiteren Auslesevorgänge stattfinden dürfen, welche durch dieselbe Auslesekaskade ausgelesen werden. Das vorangehend beschriebene Verfahren zur Multiliniendetektion eignet sich besonders bei der mikroskopischen Beleuchtung einer Probe, wobei von der Probe emittiertes Licht auf den flächenförmigen Detektor detektiert wird.
Beispielsweise kann die Probe mit einem mehrfarbigen Lichtblatt beleuchtet werden, wobei das zu detektierende Licht spektral aufgespalten wird und jeder der verwendeten Farben ein auszulesendes Gebiet Rm auf den Detektor zugeordnet wird, in welchem der jeweiligen Farbe zugeordnetes Detektionslicht detektiert wird. Die zu detektierenden Farben des Detektionslichts weichen dabei in der Regel von den Farben des Lichtblatts ab, da die Lichtblätter in der Regel dazu verwendet werden, in Proben Fluoreszenz anzuregen, Licht wird also bei anderen Wellenlän- gen emittiert, als bei der Einstrahlung verwendet.
Die Probe kann aber auch linienförmig mit M gleich- oder verschiedenfarbigen Lichtlinien m mit m = 1 , M beleuchtet werden, die beispielsweise durch eine Abtastbewegung erzeugt werden können. Von den jeweiligen Bereichen der Probe, welche mit Licht einer Lichtlinie - der m-ten Lichtlinie - beleuchtet werden, kommendes Licht wird linienförmig in einem dieser Lichtlinie zugeordneten auszulesenden Gebiet Rm detektiert. Auf diese Weise lässt sich die Bildaufnahmezeit wesentlich verkürzen, da die Detektion für alle Beleuchtungslinien gleichzeitig erfolgen kann. Ebenso wird auch bei der vorangehend beschriebenen Untersuchung einer Probe mit einem vielfarbigem Lichtblatt die Bildaufnahmezeit verkürzt, außerdem kann die Anzahl notwendiger Korrekturen verringert werden, da mehrere Farben auf einem Sensor detektiert werden können.
Vorteilhaft lässt sich auch im Zusammenhang mit den Schritten a) und b) die Anzahl N der Zeilen in den Zeilengruppen Gmj variabel einstellen. Damit lässt sich die Höhe der Zeilengruppen für unterschiedliche optische Verhältnisse des Systems anpassen, über die Auswahl von Zeilen und Pixeln in den digitalisierten Bilddaten lässt sich eine über das Bildfeld veränderliche Blen- denhöhe - d.h. die Anzahl der Zeilen in einer Zeilengruppe - realisieren. Blendenhöhe und
Belichtungszeit sind unabhängig voneinander einstellbar, wenn die Geschwindigkeit, mit der die Beleuchtungslinien sich über das Bildfeld bewegen, vorgegeben ist.
Die Integrationszeit für die Zeilen der jeweils j-ten Zeilengruppen G^, G2j, GMj lässt sich über das Level-Trigger-Signal LTS steuern, wie oben bereits erläutert. Verwendet man eine Beleuchtung, bei der sich Linien über die Probe bewegen und auch eine bewegte linienförmige Detekti- on erfolgt, so lässt sich über das Level-Trigger-Signal LTS ein konstantes Signal-Rausch- Verhältnis im Bild erreichen, selbst wenn die Bewegung der Beleuchtungslinien nicht-linear erfolgt, oder auch wenn Pausen für eine Abtastbewegung - beispielsweise bei einer Umkeh- rung der Abtastbewegung oder bei einer Bidirektionalkorrektur - vorgesehen sind.
In einer weiteren Ausgestaltung lässt sich das Level-Trigger-Signal LTS für jedes der auszulesenden Gebiete Rm in einem gewissen Rahmen individualisieren, indem das Level-Trigger- Signal LTS für jedes auszulesende Gebiet Rm um eine für das jeweilige Gebiet vorgegebene Zeitkonstante Tm verändert wird, wobei die Zeitkonstanten Tm in Abhängigkeit von Intensitätsunterschieden in der Beleuchtung und / oder Detektion vorgegeben werden. Die Intensitätsunterschiede können ihre Ursachen beispielsweise in unterschiedlichen Beleuchtungsstärken für einzelne Wellenlängen haben, aber auch durch an die Detektion geknüpfte Randbedingungen - beispielsweise Vignettierungen in den Randbereichen der Detektionsfläche - hervorgerufen werden. Ihre Festlegung kann daher im Rahmen einer Kalibrierung vorab erfolgen . Die Zeitkonstante kann dabei positiv oder negativ sein , d.h. sie kann die Dauer, in welcher das Level- Trigger-Signal LTS auf „1 " gesetzt ist, verlängern oder verkürzen. Beispielsweise kann die Dauer des LTS für das erste auszulesende Gebiet vorgegeben werden und 1^ = 0 vorgegeben werden, d.h . die Zeitkonstante für das erste auszulesende Gebiet ist Null. Diese Festlegung ist hinsichtlich der Ansteuerung am einfachsten handhabbar, sie kann aber auch anders erfolgen, indem beispielsweise eine mittlere Dauer des LTS festgelegt wird und die Zeitkonstanten ein- schließlich derjenigen für das erste auszulesende Gebiet um Null streuen. Auf diese Weise lassen sich z.B. Intensitätsunterschiede in den Beleuchtungslinien ausgleichen.
Dabei muss sichergestellt werden, dass sich bei unterschiedlichen Integrationszeiten die Zeit- räume, in denen ausgelesen wird, für zwei Zeilengruppen aufeinanderfolgender auszulesender Gebiete nicht überlappen, wenn beispielsweise die I ntegrationszeit für die erste Zeilengruppe im zweiten auszulesende Gebiet durch eine negative Zeitkonstante verkürzt wird, so dass ohne weitere Maßnahmen der Zeitpunkt des Auslesens dieser Zeilen mit dem Zeitpunkt des Auslesens der entsprechenden Zeilengruppe des ersten auszulesenden Gebiets zusammenfällt. Aus diesem Grund wird nach Beenden des jeweiligen Integrationsvorgangs der Auslesevorgang erst nach Ablauf einer Verzögerungszeit tq m gestartet, welche für jedes auszulesende Gebiet individuell vom System anhand der Integrationszeiten und Zeitkonstanten bestimmt wird.
Im einfachsten Fall sind sowohl die Zeitkonstante Tm als auch die Verzögerungszeiten tq m je- weils Null. Im Falle einer Verkürzung aller Integrationszeiten in einem auszulesenden Gebiet Rm gegenüber der Grundeinstellung um jeweils einen Wert Tm - entsprechend einem negativen Wert von Tm - wird tq m beispielsweise so gewählt, dass die Summe aus verkürzter Integrationszeit und Verzögerungszeit tq m der Integrationszeit in der Grundeinstellung entspricht, der Auslesevorgang also weiter zur selben Zeit beginnt, d.h. tq m = |Tm| . Im Falle einer Verlängerung nur einer Integrationszeit im auszulesenden Gebiet Rm kann man beispielsweise diese Zeit für das folgende Gebiet Rm+1 zwischen Integrations- und Auslesevorgang einschieben. Falls z.B. Tm+1 = 0 gilt, wäre tq m+1 = Tm, um nur zwei Beispiele zu nennen.
Die Ausgabe der Signale durch die Ansteuerung kann selbstverständlich verzögert oder be- schleunigt erfolgen, um die Reaktionsträgheit korrespondierender Hardware-Komponenten zu berücksichtigen. Beispielsweise kann das Beleuchtungssignal IS um einen definierten Zeitwert nach vorne verlegt werden, um die Trägheit bei der Schaltung eines globalen Verschlusses, beispielsweise eines AOTF zu berücksichtigen. In einer weiteren Ausgestaltung des Verfahrens wird die Reihenfolge, in welcher in den Zeilen auf dem Detektor Integrations- und Auslesevorgänge während eines Detektionsvorgangs ausgelöst werden, zwischen zwei Detektionsvorgängen j und j+1 jeweils umgekehrt, d.h. hinsichtlich der Position auf den Detektor kann die erste Zeile Z,„ entweder die oberste Zeile aller verwendeten Zeilen sein, oder aber die unterste Zeile. Das Verfahren ist somit bidirektional durch- führbar, insbesondere ist es auch möglich, die Richtung der Zeilenaktivierung von den j-ten Zeilengruppen Gmj zu den nächsten Zeilengruppen Gmj+1 zu ändern, d.h. die Integrations- und Auslesekaskade abwechselnd von oben nach unten und von unten nach oben auf der Detektorfläche ablaufen zu lassen, wobei die Zeilen horizontal ausgerichtet sein sollen.
In einer weiteren Ausgestaltung des Verfahrens kann im Rahmen der Bildverarbeitung - entwe- der kameraintegriert intern oder in einer externen Bildverarbeitungseinheit für eine Berechnung eines zellenförmigen Bildes Bmj der j-ten Zeilengruppe Gmj im m-ten auszulesenden Gebiet Rm die Anzahl der im Bild Bmj zu berücksichtigenden Zeilen Zmjn mit n = 1 , ...,N eingestellt werden. Alternativ oder in Kombination lassen sich bei der Berechnung des zellenförmigen Bildes die Pixel x jeder Zeilen Zmjn mit einem Wichtungsfaktor wmjnx wichten, wobei x die horizontale Positi- on eines Pixels x in der betreffenden Zeile kennzeichnet. Bei den Wichtungsfaktoren wmjnx, welche Werte zwischen Null und Eins einschließlich dieser Grenzwerte annehmen können, handelt es sich um Parameter, welche durch einen Benutzer vorgegeben werden können. Auf diese Weise lässt sich beispielsweise festlegen, dass in den - horizontal betrachtet - Randbereichen der Zeilen der Einfluss der vertikal im Randbereich liegenden Zeilen der jeweiligen Zeilengrup- pe höher oder niedriger als bei Zeilen im mittleren Bereich ist.
Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in den angegebenen Kombinationen, sondern auch in anderen Kombinationen oder in Alleinstellung einsetzbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Kurze Beschreibung der Zeichnungen
Nachfolgend wird die Erfindung beispielsweise anhand der beigefügten Zeichnungen, die auch erfindungswesentliche Merkmale offenbaren, noch näher erläutert. Es zeigen:
Fig. 1 eine Anordnung zur Durchführung eines Multilinien-Detektionsverfahrens,
Fig. 2 den typischen Ablauf eines solchen Verfahrens und
Fig. 3 einen alternativen Ablauf dieses Verfahrens.
Ausführliche Beschreibung der Zeichnungen
In Fig. 1 ist beispielhaft eine Anordnung gezeigt, mit welcher eine Multiliniendetektion durchgeführt werden kann. Die Anordnung umfasst eine Kamera 1 mit einem Detektor 2, einer Ansteue- rung 3 und einer Bildverarbeitungseinheit 4. Der Detektor 2 umfasst den Bildsensor, beispielsweise einen CMOS-Bildsensor. Ein solcher Sensor umfasst eine Anzahl von einzelnen Zeilen, die einzeln angesteuert werden können, d.h. bei denen die Integrationszeit und Auslesezeit prinzipiell unabhängig von den anderen Zeilen gesteuert werden können. Jede Detektorzeile ist aus einer Anzahl von Pixeln aufgebaut, insgesamt erhält man also einen flächenförmigen Detektor. Die in Fig. 1 gezeigte Anordnung ist nur beispielhaft zu verstehen. Ebenfalls denkbar sind Anordnungen, bei denen die Ansteuerung 3 Teil des Bildsensors sind, und/oder bei denen sich die Bildverarbeitungseinheit 4 außerhalb der Kamera 1 , beispielsweise in einem PC, befin- det.
Ein CMOS-Bildsensor beispielsweise enthält pro Pixel mehrere Transistoren, welche unter anderem das Löschen von Ladung im Pixel, das Transferieren von Ladung zu einen Ladungs- Spannungswandler, ein sogenanntes Correlated-Double-Sampling (CDS) zur Eliminierung von unerwünschtem Rückstellungs-Versatz (Reset-Offset) und das Weiterleiten der Detektions- signal-Spannung zu einem Spaltenbus ermöglichen. An den Spaltenbussen sind Analog-Digital- Wandler angeschlossen , welche die Spannungen digitalisieren. Für die Integration von bei Belichtung entstehender Photoladung und das Auslesen dieser Ladung müssen die Zeilen und Spaltenbusse auf dem Bildsensor eine bestimmte Abfolge von Schaltvorgängen steuern. Für die Digitalisierung werden weitere Spannungsverläufe erzeugt. Das Auslesen einer Zeile um- fasst die gesamte Zeit für ein Transferieren der akkumulierten Ladung bis hin zur Erzeugung des digitalisierten Wertes inklusive eventuell zusätzlich vom Benutzer definierter Verzögerungszeiten. Während eines Auslesevorgangs darf kein zweiter Auslesevorgang gestartet werden, der durch die gleiche Auslesekaskade ausliest. Im Stand der Technik gibt es dabei CMOS- Bildsensoren, welche für die obere und untere Sensorhälfte jeweils eigene Analog-Digital-
Wandler und Spaltenbusse aufweisen , d.h. zwei Auslesekaskaden aufweisen. Mit solchen Sensoren lassen sich gleichzeitig zwei Zeilen auslesen, wobei diese auf unterschiedlichen Sensorhälften liegen müssen, d.h. eigentlich handelt es sich um zwei voneinander unabhängige Sensoren. Zur Vereinfachung der Darstellung wird hier jedoch davon ausgegangen, dass der Sen- sor nur eine Auslesekaskade aufweist, eine Übertragung auf zwei oder mehr Auslesekaskaden ist jedoch ohne weiteres möglich, da die Bereiche des Sensors unabhängig voneinander angesteuert werden können. Die Erzeugung der Zeilen- und Spaltenbus-Signale kann beispielsweise über eine - ausreichend latenz- und schwankungsarme - Elektronik realisiert werden, die Teil des Bildsensors oder auch als externe Schaltung ausgestaltet sein kann, über separate Schalt- kreise, die dem Bildsensor von außen Signale zuführen, oder bei Verwendung eines geeigneten Sensors auch über eine Programmierung desselben , beispielsweise über einen nachgeschalteten Reihendecoder oder über einen digitalen Kontrollblock, erfolgen.
Die am Bildsensor ausgelesenen Bilddaten werden der Bildbearbeitungseinheit 4 zugeführt, die beispielsweise die Daten der einzelnen Pixel zu Bildern zusammensetzt und mit einer weiteren Auswerteeinheit, einer Speichereinheit und / oder einer visuellen Ausgabeeinheit verbunden ist. Ein wichtiger Bestandteil der Kamera 1 ist die Ansteuerung 3, die unter anderem eine programmierbare Ansteuerlogik enthält.
Über eine Parametrisierungsschnittstelle 6 lassen sich durch einen Benutzer oder automatisch in Abhängigkeit von den Beleuchtungseinstellungen und der Untersuchungsmethode auf dem Sensor auszulesende Gebiete Rm, Zeilengruppen Gmj in diesen Gebieten und die Anzahl N der Zeilen pro Zeilengruppe, Zmjn, festlegen und an die Ansteuerung 3 übergeben. Falls zellenförmige Bilder berechnet werden sollen, lassen sich entsprechende Wichtungsfaktoren wmjnx ebenfalls über die Parametrisierungsschnittstelle 6 an die Bildverarbeitungseinheit 4 übermitteln.
Die Anordnung umfasst außerdem einen Trigger-Manager 7, der hier als kameraexternes Bauelement dargestellt ist, aber auch Teil der Kamera 1 sein kann. Aufgabe des Trigger-Managers 7 ist es, einen von außen kommenden Level-Trigger über ein Level-Trigger-Signal LTS in die Ablaufsteuerung der Sensorrichtung einzubinden und aus den Signalen der Sensorsteuerung ein Belichtungssignal IS, ein Auslesesignal RS und ein Overlap-Margin-Signal OMS abzuleiten und es für externe Verwendung zur Verfügung zu stellen, damit diese Signale für die Synchronisation externer Hardware verwendet werden können. Der Trigger-Manager kann weitere Aufgaben im Zusammenhang mit der Signalerzeugung in Abhängigkeit auch von weiteren Signalen übernehmen, beispielsweise kann der Trigger-Manager 7 ein Synchronisierungssignal des Scanners 9 verwenden, um den Startzeitpunkt für das Level-Trigger-Signal LTS zu bestimmen. Der Trigger-Manager 7 kann auch mit einem akusto-optischen Modulator (AOM / AOTF) 5 kommunizieren, welchem das Beleuchtungssignal IS übermittelt wird, um einen globalen Verschluss durchlässig zu schalten bzw. zu schließen, so dass sämtliche Zeilen des Detektors die gleiche Zeit belichtet werden. Entweder über den Trigger-Manager 7 oder über eine Software- Steuerung 8 lässt sich auch ein Signal zur Umkehrung der Reihenfolge, in welcher in den Zeilen auf dem Detektor Integrations- und Auslesevorgänge während eines Detektionsvorgangs ausgelöst werden, d.h. zur Umkehrung der Shutterausbreitungsrichtung, festlegen. Auch die Auslesezeit ta m einer Zeile in einem auszulesenden Gebiet Rm wird in der Parametrisierungsschnittstelle 6 festgelegt bzw. von dieser an die Ansteuerung 3 übermittelt. Die Auslesezeit setzt sich dabei aus mindestens zwei Werten zusammen, ta m = tr m + t°m, wobei tr m die tatsächliche, physikalisch für das Transferieren der akkumulierten Ladung notwendige Auslesezeit einschließlich der Bestimmung eines der Ladung zugeordneten digitalisierten Werts notwendige Zeit und festgelegt ist, und t°i eine vom Benutzer frei wählbare Benutzerverzögerungszeit definiert, mit welcher der Auslesevorgang gestartet oder beendet wird, je nachdem, ob die Benutzerverzöge- rungszeit vor oder nach dem eigentlichen Auslesen hinzugefügt wird. In der Ansteuerlogik legen die Parameter für die Integrationszeit, , d.h. u.a. das Level-Trigger-Signal LTS und die Zeitkonstanten Tm, die Auslesezeit, die Anzahl der jeweiligen Gebiete bzw. Gruppen M, J, N, das Schaltverhalten in den Spalten- und Zeilenbussen fest. Die Signale OMS, RS und IS dienen der latenzfreien Steuerung ohne Verwendung einer Softwaresteuerung. Mittels der zusätzlichen Softwaresteuerung 8 lassen sich auch die anderen externen Geräte - bezogen auf die Kamera - steuern, beispielsweise ein Scanner 9, räumliche Lichtmodulatoren, ein Probentisch, etc. Be- leuchtungslinien oder Lichtblätter lassen sich über entsprechende, an sich bekannte optische Aufbauten mittels Scannern, Zylinderlinsen, räumlichen Lichtmodulatoren oder digitalen Spie- gelarrays realisieren.
Der Ablauf eines Verfahrens soll im Folgenden anhand von Fig. 2 und Fig. 3 näher erläutert werden. In beiden Fällen wird zunächst in einem Schritt a) auf dem mit der Ansteuerung 3 verbundenen flächenförmigen Detektor 2, welcher eine Anzahl Detektorzeilen - beispielsweise 1500 Detektorzeilen - umfasst, eine Anzahl M von auszulesenden Gebieten R1 : R2, RM festgelegt, wobei M eine natürliche Zahl ist, die größer oder gleich 1 ist. Im Zusammenhang mit Fig. 2 ist M = 3. Die Gebiete R1 : R2, und R3 sind hier in unmittelbarer Nachbarschaft zueinander dargestellt, diese Darstellung dient nur der Übersichtlichkeit, in der Regel liegen die auszulesenden Gebiete Rm mit m = 1 , M auf dem Sensor weiter auseinander, um die optischen Abbildungen sauber zu trennen. Bei typischen Anwendungen umfasst ein auszulesendes Gebiet beispielsweise 400 Zeilen. In jedem auszulesenden Gebiet Rm wird in einem Schritt b) eine Anzahl J von Zeilengruppen Gmi , Gm2, GmJ jeweils aneinandergrenzender Detektorzeilen festgelegt. J ist dabei eine natürliche Zahl größer oder gleich 1 . Im vorliegenden Beispiel ist J ebenfalls gleich 3, applikativ üblich sind jedoch in der Regel etwa 100 Zeilengruppen pro auszulesenden Gebiet, d.h. J = 100. Jede Zeilengruppe Gmj umfasst eine Anzahl N von Detektorzeilen Zmj1 , Zmj2, ZmjN. Dabei ist N eine natürliche Zahl größer oder gleich 1 und j ein Zählindex, der von 1 bis J läuft.
Im nächsten Schritt c) wird zum Starten eines ersten Detektiervorgangs mit j = 1 ein Level- Trigger-Signal LTS von„0" auf„1 " gesetzt. Dabei wird ein Integrationsvorgang für die erste Detektorzeile Ζ, ι, der ersten Zeilengruppe Gn im ersten auszulesenden Gebiet ausgelöst, die vorgegebene Integrationszeit für diesen Integrationsvorgang beträgt t Nach Ablauf der Integrationszeit wird das Level-Trigger-Signal LTS wieder von„1 " auf„0" gesetzt, der Integrationsvorgang für die erste Detektorzeile Z,„ und der erste Detektionsvorgang werden beendet. Der Signalverlauf ist im oberen Teil von Fig.2 über der Zeit t dargestellt. Der Signalverlauf ist für alle Signale hier vereinfacht als Rechtecksignal dargestellt. Ein Wert von 1 entspricht einem hohen Spannungswert („high"), ein Wert von 0 einen niedrigen Wert (JoW). Im unteren Teil von Fig.2 sind entlang der y-Achse die Sensorzeilen symbolisiert, die x-Achse entspricht der Zeitachse. Dargestellt ist also, wie die Ansteuerschaltung die einzelnen Zeilen über der Zeit ansteuert. Jede Zeile nimmt entlang der y-Achse den Raum ein, der der Höhe eines der Rechtecke entspricht. Leere Bereiche in den Rechtecken entsprechen dabei Integrationsvorgängen, die gefüllten Bereiche den folgend erläuterten Auslesevorgängen. Nachdem der erste Detektionsvorgang beendet wurde, wird ein Auslesevorgang gestartet, wobei während einer ersten Auslesezeit tai der für diese Detektorzeile Zm detektierte Belichtungswert - entsprechend der registrierten Photoladung - ausgelesen und an eine Auswerteeinheit geleitet wird. Die erste Auslesezeit tai entspricht also der Breite des ausgefüllten Bereichs in dem der Detektorzeile Zm zugeordneten Rechteck auf der Zeitachse. Insgesamt wer- den J Detektionsvorgänge abgearbeitet, für jeden dieser Detektionsvorgänge kann eine unterschiedliche Integrationszeit tbj und / oder eine unterschiedliche Auslesezeit taj gewählt werden.
In einem Schritt d) werden dann bei der in Fig. 2 gezeigten ersten Alternative mittels der in die Ansteuerung 3 integrierten Ansteuerlogik sukzessive zeitlich jeweils um den Abstand der ersten Auslesezeit tai versetzt in den weiteren Detektorzeilen der ersten Zeilengruppe G und folgend in den entsprechenden ersten Zeilengruppen Gm1 der übrigen auszulesenden Gebiete Rm Integrationsvorgänge mit anschließendem Auslesen ausgelöst. Der Auslesevorgang wird beendet, nachdem die letzte Zeile ZM1 N der ersten Zeilengruppe GMi des letzten auszulesenden Gebiets RM ausgelesen wurde, im Beispiel ist dies die Zeile Z114.
In Abhängigkeit von der Steuerung und der verwendeten Hardware ist es in Schritt d) alternativ auch möglich, diesen Zeitabschnitt, in dem die Integrationsvorgänge gestartet werden, zu verkürzen oder vollständig zu vermeiden, indem mindestens nahezu zeitgleich mit dem Starten des ersten Detektionsvorgangs in den weiteren Detektorzeilen der ersten Zeilengruppe (Gn ) und der weiteren ersten Zeilengruppen (Gm1 ) der übrigen auszulesenden Gebiete (Rm) für m-1 = 1 , M-1 die Integrationsvorgänge ausgelöst werden. Dies steigerte die Effizienz der Belichtung, da der Zeitraum , in welchem alle Zeilen im jeweiligen Detektionsvorgang auf Integration geschaltet sind, verlängert werden kann. Diese zweite Alternative ist in Fig. 3 dargestellt. In einem Schritt e) werden nach Beenden des letzten Integrationsvorgangs der ersten Zeilengruppe G im ersten auszulesenden Gebiet sukzessive J-1 weitere Detektions- und Auslesevorgänge gestartet, indem die Schritte c) und d) für die weiteren Zeilengruppen Gmj mit j-1 = 1 , J-1 mit weiteren Integrationszeiten tbj und weiteren Auslesezeiten ta durchgeführt werden. Die Zeitpunkte, wann die Detektionsvorgänge gestartet werden sollen, werden dabei von der Anwendung, d.h. von außen über das Signal LTS vorgegeben. Bei Beginn jedes Auslesevorgangs wird ein Auslesesignal RS auf„1 " gesetzt, welches nach Beendigung des Auslesevorgangs wieder auf „0" gesetzt wird, erst danach lässt sich wieder eine Situation schaffen, in der bei allen beteiligen Zeilen ein Integrationsvorgang ablaufen kann. Eine Belichtung des Detektors soll dabei nur dann erfolgen, wenn tatsächlich in allen beteiligen Zeilen ein Integrationsvorgang abläuft, dies wird bei dem in Fig. 2 gezeigten Beispiel mit den Belichtungssignal IS signalisiert, welches dann, wenn alle Zeilen aktiv auf Integration geschaltet wurden, auf„1 " gesetzt wird. Sobald dies nicht mehr der Fall ist und für die erste - in dem angeführten Beispiel jeweils die oberste - Zeile der Integrationsvorgang beendet und ein Auslesevorgang gestartet wird, wird das Belichtungssignal IS gleichzeitig mit dem Level-Trigger-Signal LTS wieder auf „0" gesetzt. Mit dem Belichtungssignal IS lässt sich beispielsweise der akusto- optische Modulator 5 steuern, wobei dessen Trägheit beim Öffnen des globalen Verschlusses vorzugsweise berücksichtigt wird, in dem das Beleuchtungssignal IS dem akusto-optischen Modulator 5 mit einem gewissem Vorlauf übermittelt wird. Nur während das Belichtungssignal IS auf „1 " gesetzt ist, erfolgt eine Belichtung des flächenförmigen Detektors. Der nächste Detek- tionsvorgang, also nach dem j-ten Detektionsvorgangs der (j+1 )-te Detektionsvorgang, wird frühestens dann gestartet, wenn im j-ten Detektionsvorgang der Integrationsvorgang für die letzte Zeile Z1jN der ersten Zeilengruppe des ersten auszulesenden Gebiets F^ abgeschlossen ist. Bei Abschluss dieses Integrationsvorgangs wird an ein Overlap-Margin-Signal OMS an die Ansteuerschaltung übermittelt, in Fig. 2 und Fig. 3 zu erkennen an der senkrechten Linie auf der Achse für das Overlap-Margin-Signal OMS, die andeutet, dass das OMS dort auf„1 " gesetzt wurde. Der nächste Detektionsvorgang sollte bevorzugt nur dann gestartet werden, wenn das Overlap-Margin-Signal OMS empfangen wurde, dies ist jedoch nicht zwingend. Im in Fig. 2 gezeigten Beispiel schließt sich der Detektionsvorgang für j = 2 unmittelbar an den ersten Detektionsvorgang j = 1 an. Zwischen dem zweiten und dritten Detektionsvorgang liegt jedoch ein längerer Zeitraum.
Bei dem in Fig. 3 gezeigten alternativen Beispiel entspricht das Belichtungssignal IS dem Level- Trigger-Signal LTS, auf ein gesondertes Signal IS kann daher verzichtet werden und die Belichtung an das Signal LTS gekoppelt werden. Das Signal OMS kann analog zu der in Fig. 2 ge- zeigten Weise gesetzt werden, es ist jedoch hier - auch wenn es ignoriert wird - so gesetzt, dass es den Beginn des Auslesevorgangs der letzten Zeile Z1 MN der ersten Zeilengruppe GMj des letzten auszulesenden Gebiets RN markiert, so dass sich Integrationsvorgänge verschiedener Gebiete in gleichen Regionen nicht überlappen würden. Die Länge der Integrationszeiten im Verhältnis zu den Auslesezeiten beeinflusst die Länge des Zeitraums, in welchem der Detektor belichtet werden kann, da aufgrund des zeitlichen Versatzes beim Integrieren und Auslesen die tatsächlich zur Verfügung stehende Belichtungszeit im- mer kürzer als die tatsächliche Integrationszeit ist. Im dritten Detektionsvorgang j = 3 in Fig.2 und Fig. 3 wurde eine wesentlich kürzere Integrationszeit tb 3 gewählt, die tatsächlich zur Verfügung stehende Belichtungszeit ist hier wesentlich kürzer als beispielsweise bei dem ersten Detektionsvorgang mit j = 1 und beträgt nur etwa ein Drittel der gesamten Integrationszeit. Durch eine Verkürzung der Auslesezeit oder eine Verlängerung der Integrationszeit kann dieses Verhältnis wieder verbessert werden. Die tatsächlich nutzbare Belichtungszeit für die Integration von Photoladung wird auch durch die senkrechten, gestrichelten Linien gekennzeichnet, das Verhältnis der tatsächlichen nutzbaren Belichtungszeit zur Integrationszeit entspricht dem Verhältnis der Dauer des Beleuchtungssignals IS zum Level-Trigger-Signal LTS. Mit längeren Aus- lesezeiten, d.h . hier mit längerem tR m bei ggf. geringeren Taktfrequenzen lassen sich bessere Rauscheigenschaften im Detektor realisieren, welche allerdings das Verhältnis von der Dauer des Level-Triggers zum Beleuchtungs-Trigger verschlechtern.
Das Verfahren zum Multiliniendetektion eignet sich beispielsweise für solche Verfahren, bei denen eine linienförmige Detektion und / oder eine linienförmige Beleuchtung verwendet wird, beispielsweise für lichtblattmikroskopische Verfahren mit mehrfarbigen Lichtblättern, bei denen das Licht senkrecht zur Lichtblattebene detektiert wird.
Bezugszeichenliste
1 Kamera
5 2 Detektor
3 Ansteuerung
4 Bildverarbeitungseinheit
5 akusto-optischer Modulator
6 Parametrisierungsschnittstelle
10 7 Trigger-Manager
8 Softwaresteuerung
9 Scanner

Claims

Patentansprüche
Verfahren zur Multiliniendetektion, bei dem
auf einem mit einer Ansteuerung (3) verbundenen flächenförmigen Detektor (2) mit einer Anzahl Detektorzeilen eine Anzahl M von auszulesenden Gebieten (R R2, RM) mit M > 1 festgelegt wird, wobei jedes auszulesende Gebiet mindestens eine Detektorzeile um- fasst,
in jedem auszulesenden Gebiet (Rm) mit m = 1 , M eine Anzahl J von Zeilengruppen (Gm1 , Gm2, GmJ) mit J > 1 jeweils aneinander grenzender Detektorzeilen festgelegt wird, wobei jede Zeilengruppe (Gmj) eine Anzahl N von Detektorzeilen (Zmj1 , Zmj2, ZmjN) umfasst, mit j = 1 , J und N > 1 ,
zum Starten eines ersten Detektionsvorgangs mit j = 1 ein Level-Trigger-Signal (LTS) von „0" auf „1 " gesetzt wird, wodurch ein Integrationsvorgang für die erste Detektorzeile (Z,„) der ersten Zeilengruppe (Gn) im ersten auszulesenden Gebiet (R^ während einer ersten Integrationszeit (tbi) ausgelöst wird, nach deren Ablauf das Level-Trigger-Signal von„1 " auf „0" gesetzt wird, der Integrationsvorgang und der erste Detektionsvorgang beendet werden und ein Auslesevorgang gestartet wird, wobei während einer ersten Auslesezeit (t/Ί) der für diese Detektorzeile (Z,„) detektierte Belichtungswert ausgelesen und an eine Auswerteeinheit geleitet wird,
wobei mittels einer Ansteuerlogik sukzessive zeitlich jeweils um den Abstand der ersten Auslesezeit (tai) versetzt in den weiteren Detektorzeilen der ersten Zeilengruppe (Gn) und folgend entsprechend in den ersten Zeilengruppen (Gm1 ) der übrigen auszulesenden Gebiete (Rm) für m-1 = 1 , M-1 , oder mindestens nahezu zeitgleich mit dem Starten des ersten Detektionsvorgangs in den weiteren Detektorzeilen der ersten Zeilengruppe (G ) und der weiteren ersten Zeilengruppen (Gm1 ) der übrigen auszulesenden Gebiete (Rm) für m-1 = 1 , M-1 , Integrationsvorgänge mit anschließendem Auslesen ausgelöst werden, wobei der Auslesevorgang beendet wird, nachdem die letzte Zeile (ZM1 N) der ersten Zeilengruppe (GMi ) des letzten auszulesenden Gebiets (RM) ausgelesen wurde, nach Beenden des letzten Integrationsvorgangs der ersten Zeilengruppe (Gn ) im ersten auszulesenden Gebiet (R^ sukzessive J-1 weitere Detektions- und Auslesevorgänge gestartet werden, indem die Schritte c) und d) für die weiteren Zeilengruppen (Gmj) mit j-1 = 1 , ... , J-1 und mit weiteren Integrationszeiten (tb j) und weiteren Auslesezeiten (ta j) durch- geführt werden.
Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass eine Belichtung des Detektors (2) während der Integrationszeit in jedem Detektionsvorgang für j = 1 , J nur dann erfolgt, wenn für die Zeilen aller beteiligten Zeilengruppen (Gmj) gleichzeitig ein Integrationsvorgang abläuft.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass in jedem Detektionsvorgang j für j = 1 , J die Belichtung mittels eines Belichtungssignals (IS) gesteuert wird, welches während des jeweiligen Detektionsvorgangs für eine Zeile auf „1 " gesetzt wird, wenn für die letzte Detektorzeile (ZMJN) der entsprechenden Zeilengruppe (GMj) des letzten auszulesenden Gebiets (RM) der Integrationsvorgang gestartet wird, und das Belichtungssignal (IS) gleichzeitig mit dem Level-Trigger-Signal (LTS) auf „0" gesetzt wird, wobei eine Belichtung des flächenförmigen Detektors nur erfolgt, während das Belichtungssignal auf „1 " gesetzt ist.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der folgende Detektionsvorgang frühestens dann gestartet wird, wenn im unmittelbar vorangehenden Detektionsvorgang der Integrationsvorgang für die letzte Zeile (Z1jN) der ersten Zeilengruppe (G!j) des ersten auszulesenden Gebiets (R^ abgeschlossen ist.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass in jedem Detektionsvorgang j = 1 , J bei Abschluss des Integrationsvorgangs für die letzte Zeile (Z1jN) der ersten Zeilengruppe (GTJ) des ersten auszulesenden Gebiets (R^ ein Overlap-Margin-Signal (OMS) an die Ansteuerschaltung übermittelt wird, und der Start des nächsten Detektionsvorgangs an die Bedingung geknüpft wird, ob das Overlap-Margin-Signal (OMS) empfangen wurde.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass nach jedem Detektionsvorgang j = 1 , J bei Beginn des zugeordneten Auslesevorgangs ein Auslesesignal (RS) auf„1 " gesetzt wird, welches nach Beendigung des Auslesevorgangs wieder auf „0" gesetzt wird.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass eine Probe mikroskopisch beleuchtet wird und von der Probe emittiertes Licht auf dem flächenförmigen Detektor detektiert wird.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Probe mit einem mehrfarbigen Lichtblatt beleuchtet wird, das zu detektierende Licht spektral aufgespalten wird und jeder der verwendeten Farben ein auszulesendes Gebiet (Rm) zugewiesen wird, in welchem dieser Farbe zugeordnetes Detektionslicht detektiert wird. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Probe linienförmig mit M Lichtlinien beleuchtet wird und von einem jeweiligen Bereich der Probe, welcher mit Licht der m-ten Lichtlinie beleuchtet wurde, kommendes Licht linienförmig in einem dieser Lichtlinie zugeordneten auszulesenden Gebiet (Rm) detektiert wird.
Verfahren nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass das Level- Trigger-Signal (LTS) für jedes auszulesende Gebiet (Rm) um eine für das jeweilige Gebiet vorgegebene Zeitkonstante (Tm) verändert wird, wobei die Zeitkonstanten (Tm) in Abhängigkeit von Intensitätsunterschieden in der Beleuchtung und / oder Detektion vorgegeben werden.
Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die Reihenfolge, in welcher in den Zeilen auf dem Detektor Integrations- und Auslesevorgänge während eines Detektionsvorgangs ausgelöst werden, zwischen zwei Detektionsvorgän- gen j und j+1 jeweils umgekehrt wird.
Verfahren nach einem der Ansprüche 1 bis 1 1 , dadurch gekennzeichnet, dass die Anzahl N der Zeilen in den Zeilengruppen (Gmj) variabel einstellbar ist.
Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass bei einer Bildverarbeitung für eine Berechnung eines zellenförmigen Bildes Bmj der j-ten Zeilengruppe Gmj im m-ten auszulesenden Gebiet Rm die Anzahl der im Bild Bmj zu berücksichtigenden Zeilen Zmjn mit n = 1 , ...,N einstellbar ist und/oder jedes Pixel x jeder Zeile Zmjn mit einem Wichtungsfaktor wmjnx in der Berechnung gewichtet wird.
PCT/EP2016/062638 2015-06-17 2016-06-03 Verfahren zur multiliniendetektion Ceased WO2016202611A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/580,417 US10567681B2 (en) 2015-06-17 2016-06-03 Multi-line detection method
JP2017564905A JP6732809B2 (ja) 2015-06-17 2016-06-03 マルチライン検出方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015109645.5A DE102015109645B3 (de) 2015-06-17 2015-06-17 Verfahren zur Multiliniendetektion
DE102015109645.5 2015-06-17

Publications (1)

Publication Number Publication Date
WO2016202611A1 true WO2016202611A1 (de) 2016-12-22

Family

ID=56098258

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2016/062638 Ceased WO2016202611A1 (de) 2015-06-17 2016-06-03 Verfahren zur multiliniendetektion

Country Status (4)

Country Link
US (1) US10567681B2 (de)
JP (1) JP6732809B2 (de)
DE (1) DE102015109645B3 (de)
WO (1) WO2016202611A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11231570B2 (en) 2018-04-30 2022-01-25 University Of Central Florida Research Foundation, Inc. Highly inclined swept tile (HIST) imaging apparatus, methods, and applications
DE102020104634B4 (de) 2020-02-21 2023-12-28 Excelitas Pco Gmbh Verfahren zum Auslesen von Bilddaten und zum Erfassen eines Objekts, Bildaufnahmevorrichtung und Lichtscheibenmikroskop

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070273785A1 (en) * 2004-11-01 2007-11-29 Masahiro Ogawa Image Sensor
DE102010013223A1 (de) 2010-03-29 2011-09-29 Lavision Biotec Gmbh Verfahren und Anordnung zur Mikroskopie
US20120200693A1 (en) * 2009-09-24 2012-08-09 Carl Zeiss Microimaging Gmbh Microscope with a sheet of light
US20130076952A1 (en) * 2010-06-04 2013-03-28 Shenzhen Taishan Online Technology Co., Ltd. CMOS Image Sensor, Timing Control Method and Exposure Method Thereof
DE102012020241A1 (de) * 2012-10-12 2014-04-17 Carl Zeiss Microscopy Gmbh Bildaufnahmevorrichtung und Verfahren zur Aufnahme einer Bildersequenz

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4247608B2 (ja) * 2003-06-10 2009-04-02 株式会社ジェイエイアイコーポレーション 監視用撮像装置
CN101031837B (zh) * 2004-07-23 2011-06-15 通用电气医疗集团尼亚加拉有限公司 用于荧光共焦显微镜检查的方法和设备
JP2009081808A (ja) * 2007-09-27 2009-04-16 Fujifilm Corp 撮影制御装置、撮影制御方法、撮影制御プログラム、および撮影装置
JP2011015222A (ja) * 2009-07-02 2011-01-20 Fujifilm Corp 撮像装置及び撮像制御方法
WO2012002893A1 (en) * 2010-06-30 2012-01-05 Ge Healthcare Bio-Sciences Corp A system for synchronization in a line scanning imaging microscope
WO2012015628A2 (en) * 2010-07-30 2012-02-02 Ge Healthcare Bio-Sciences Corp. Method for reducing image artifacts produced by a cmos camera
DE102011114500B4 (de) * 2011-09-29 2022-05-05 Fei Company Mikroskopvorrichtung
US9456746B2 (en) * 2013-03-15 2016-10-04 Carl Zeiss Meditec, Inc. Systems and methods for broad line fundus imaging
US10061111B2 (en) * 2014-01-17 2018-08-28 The Trustees Of Columbia University In The City Of New York Systems and methods for three dimensional imaging
JP7180964B2 (ja) * 2014-01-17 2022-11-30 ザ・トラスティーズ・オブ・コロンビア・ユニバーシティ・イン・ザ・シティ・オブ・ニューヨーク 三次元イメージング装置および方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070273785A1 (en) * 2004-11-01 2007-11-29 Masahiro Ogawa Image Sensor
US20120200693A1 (en) * 2009-09-24 2012-08-09 Carl Zeiss Microimaging Gmbh Microscope with a sheet of light
DE102010013223A1 (de) 2010-03-29 2011-09-29 Lavision Biotec Gmbh Verfahren und Anordnung zur Mikroskopie
US20130076952A1 (en) * 2010-06-04 2013-03-28 Shenzhen Taishan Online Technology Co., Ltd. CMOS Image Sensor, Timing Control Method and Exposure Method Thereof
DE102012020241A1 (de) * 2012-10-12 2014-04-17 Carl Zeiss Microscopy Gmbh Bildaufnahmevorrichtung und Verfahren zur Aufnahme einer Bildersequenz

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
EUGEN BAUMGART ET AL: "Scanned light sheet microscopy with confocal slit detection", OPTICS EXPRESS, vol. 20, no. 19, 10 September 2012 (2012-09-10), pages 21805 - 21814, XP055093819, ISSN: 1094-4087, DOI: 10.1364/OE.20.021805 *

Also Published As

Publication number Publication date
JP2018521575A (ja) 2018-08-02
US10567681B2 (en) 2020-02-18
DE102015109645B3 (de) 2016-09-08
US20180191970A1 (en) 2018-07-05
JP6732809B2 (ja) 2020-07-29

Similar Documents

Publication Publication Date Title
DE112014006152B3 (de) Bilderfassungsvorrichtung und Bildgebungsvorrichtung
DE102014102080B4 (de) Verfahren zur Bildaufnahme und Bildaufnahmesystem
DE10014331A1 (de) Konfokales Mikroskop
WO2020088997A2 (de) Mikroskop und verfahren zur mikroskopie
EP3828616A1 (de) Verfahren zum justieren eines laserscanning-fluoreszenzmikroskops und laserscanning-fluoreszenzmikroskop mit einer automatischen justiervorrichtung
DE102009053281A1 (de) Bildsensor
DE102023101782B3 (de) Vorrichtung und Verfahren zum Erzeugen eines zusammengesetzten Bildes einer Probe
DE102020213715A1 (de) Vorrichtung und Verfahren zur schnellen dreidimensionalen Erfassung von Bilddaten
DE10338681A1 (de) Digitalkamera
DE3224299A1 (de) Erfassungsanordnung, insbesondere fuer optische abbildungssysteme
EP2312864B1 (de) Bildsensor und Betriebsverfahren
DE102011081405B4 (de) Bildsensor, Abbildungsvorrichtung und Verfahren für einen Bildsensor
DE102015109645B3 (de) Verfahren zur Multiliniendetektion
EP1542051A1 (de) Verfahren und Vorrichtung zum Trennen unterschiedlicher Emissionswellenlängen in einem Scanmikroskop
DE60004667T2 (de) Ausrichtbares autofokussystem
DE102020104634B4 (de) Verfahren zum Auslesen von Bilddaten und zum Erfassen eines Objekts, Bildaufnahmevorrichtung und Lichtscheibenmikroskop
DE112014002654T5 (de) Lichtbeobachtungsvorrichtung, für dieselbe verwendete Bildgebungsvorrichtung, und Lichtbeobachtungsverfahren
DE102011007751B4 (de) Weitfeldmikroskop und Verfahren zur Weitfeldmikroskopie
DE102016215050A1 (de) Verfahren zur Beobachtung und/oder Überwachung eines Laserbearbeitungsprozesses sowie Beobachtungsvorrichtung
DE102006009830B4 (de) Verfahren zur räumlich hochauflösenden Untersuchung von Proben
WO2019053255A1 (de) Verfahren zur untersuchung einer multispektralen probe, steuereinheit hierfür und mikroskop-anordnung
WO2019076885A1 (de) Mikroskopieverfahren mit fokusstabilisierung
DE102004004115A1 (de) Mikroskopsystem und Verfahren zur Shading-Korrektur der im Mikroskopsystem vorhandenen Optiken
WO2021073824A1 (de) Multipuls-lidarsystem und verfahren zur erfassung eines objekts in einem beobachtungsbereich
WO1998033326A1 (de) Digitale farbkamera für die elektronische fotografie

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16726878

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017564905

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16726878

Country of ref document: EP

Kind code of ref document: A1