WO2014056991A1 - Bildaufnahmevorrichtung und verfahren zur aufnahme einer bildersequenz - Google Patents

Bildaufnahmevorrichtung und verfahren zur aufnahme einer bildersequenz Download PDF

Info

Publication number
WO2014056991A1
WO2014056991A1 PCT/EP2013/071074 EP2013071074W WO2014056991A1 WO 2014056991 A1 WO2014056991 A1 WO 2014056991A1 EP 2013071074 W EP2013071074 W EP 2013071074W WO 2014056991 A1 WO2014056991 A1 WO 2014056991A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
time
exposure
lines
duration
Prior art date
Application number
PCT/EP2013/071074
Other languages
English (en)
French (fr)
Inventor
Martin Beck
Original Assignee
Carl Zeiss Microscopy Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy Gmbh filed Critical Carl Zeiss Microscopy Gmbh
Publication of WO2014056991A1 publication Critical patent/WO2014056991A1/de

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G02B21/0084—Details of detection or image processing, including general computer control time-scale detection, e.g. strobed, ultra-fast, heterodyne detection

Definitions

  • the invention relates to an image recording apparatus, in particular a microscope, having at least one illumination beam path (for illuminating a sample) comprising a modulatable light source, a detection beam path (for recording an image of the sample) comprising an optoelectronic transducer having at least a two-dimensional matrix of detection elements ( "Pixel”), and a control unit, which is connected to the light source and the transducer, and a method for taking a picture sequence from a sample by means of at least one illumination beam path (for illuminating the sample), the one
  • a modulating light source for transmitting an image of the sample
  • a detection beam path for receiving an image of the sample
  • an opto-electronic transducer with an at least two-dimensional matrix of detection elements
  • the term light includes any optical means
  • sample light is light which is emitted by fluorescence from the sample, excited by the illuminating light pulses. It may also contain components that result from reflection and / or scattering of illumination light at the sample.
  • a modulatable light source may be directly modulatable - such as a light emitting diode (LED) or a laser diode - or it may be indirectly modulatable by including an additional modulator, such as an adjustable acousto-optic filter (AOTF).
  • An optoelectronic converter integrates an electrical variable such as charge or voltage after triggering an image acquisition in each of its detection elements.
  • the converter used is a two-dimensionally spatially resolving camera with CCD sensor (CCD for "charge-coupled device”)
  • CCD charge-coupled device
  • the illumination with a lens also referred to as a light sheet
  • SPIM SPI microscopy
  • SIM saturated pattern excitation microscopy
  • CMOS complementary metal-oxide semiconductor
  • converters with a so-called “rolling shutter” are known, for example from US 2006/157758 A1
  • transducers with a rolling shutter have the disadvantage that the read-out of their lines takes place with a time delay, so that movements in the image become artefacts
  • straight edges running perpendicular to the matrix lines are recorded obliquely (English, "skew") during a linear movement of the sample along the matrix lines.
  • the sample must be illuminated for image acquisition during integration in all lines, which takes longer than a user-specified exposure time due to the time offset between the lines.
  • the invention has for its object to improve an image pickup device of the type mentioned and a method for receiving a picture sequence, so that a lower sample load is made possible.
  • the object is achieved by an image pickup device, which the in
  • Claim 1 features, and by a method having the features specified in claim 13.
  • transducer (14) independently in the other rows of the matrix with a respective time offset (which corresponds to a sum of the row read-out durations of all rows previously read since the trigger signal was set) carries out a parallel electrical integration in the respective row.
  • transducers are designed in a known manner, in response to the triggering signal, for example in the form of a rising edge of a TTL pulse, independently and independently (in particular by a transformer external clock) the following steps offset in time for all
  • the described transducers output the status of the entire cell integration and readout (pending / ending) via an interface.
  • control unit is set up to
  • the number of lines and the line readout duration can be determined, for example, from a memory into which the values in the production of the
  • Imaging device be written once.
  • the exposure of the sample is thus delayed from the beginning of the integration in the first line by the exposure delay time. It is not as in the prior art, the exposure time (by the sum of the line readout times) extended, but the line integration period (and thus the entire
  • control unit is set up to determine the exposure delay duration as a multiplication product of the number of lines and the line readout duration, in particular plus the additional readout duration.
  • control unit is configured to determine the line integration duration as the sum of the exposure time and the multiplication product of the line number and the line read duration, in particular plus
  • the sample can be exposed only in the period in which the integration takes place in all matrix rows.
  • the image can be captured in this way as with a global shutter. It may be useful to set up the control unit, the
  • Exposure delay time based on (from / for the light source
  • control unit may provide a plurality of modes of operation wherein the transducer and the light source are controlled in the first mode of operation as described above and in the second mode of operation as in the prior art, the determined exposure time prior to controlling the light source
  • Exposure delay is set to zero prior to controlling the light source for emission, in particular, the image pickup device provides an operating element for selecting one of the operating modes and / or selects the operating mode in response to a (predetermined - in particular by the user) frame rate (they previously determined).
  • control unit may be adapted to a
  • control unit determines the pause duration based on a
  • Pause duration plus the first integration period corresponds to an integer multiple of the period. This achieves synchronization with the external process, for example sampling of the sample, and enables, for example, equal brightness in all images of the sequence.
  • the image pickup device is an SPI microscope, wherein the illumination beam path and the
  • Detection beam path intersect (at least approximately) in a focal plane of the detection beam path and the illumination beam path has a beam shaper for generating at least a segment of a light sheet (or a complete sheet of light), in particular by focusing on one
  • Focal line wherein the focal line is (at least approximately) in the focal plane of the detection beam path.
  • the invention is particularly advantageous in an SPI microscope with (switchable) alternative illuminating beam paths, in which the sample can be illuminated sequentially from two (or more) sides ("left” and "right") and a respective partial image can be picked up by it.
  • the partial images are calculated into a total image that has a higher image quality than the partial images.
  • time-varying samples and / or a movement of the sample for example, to capture a stack of images, the lower the time interval between the sub-images, the higher the image quality of the overall image.
  • the picture quality of the overall picture can be enlarged.
  • Illumination beam path is a variably adjustable deflection unit for displacing the light sheet, in particular within the focal plane of the light beam
  • control unit here may be adapted to the deflection unit for periodically shifting the
  • the control unit can be set up to modulate an intensity of the emission of the light source during the respective exposure period.
  • the exposure signal can be switched off, the reversal phases preferably being outside the image field of the transducer.
  • the sample load can be further reduced.
  • control unit is adapted to the sample holder during the
  • Illumination beam path means for generating a structured illumination (in the sample) and means for spatially manipulating the illumination structure are arranged.
  • such means may be means for generating an interference structure and for rotating the interference structure or a line-shaped illumination beam shaper and a deflection unit.
  • a grating and a variable field rotator may be arranged in the illumination beam path. The control unit then takes several pictures with different layers of the
  • control unit can be used to adjust the
  • Deflection unit and modulating the light source may each be formed during the emission to perform the structured illumination sequentially. The modulation then takes place in such a way that light phases and dark phases occur during the exposure period ("during the emission"), wherein the adjustment of the deflection unit is in each case carried out in a dark phase.
  • an exposure duration, a number of lines of the matrix and a readout duration of the converter for a single line, in particular a constant additional readout duration independent of the number of lines, are determined
  • the (integration-triggering) input of the converter for the line integration period is set (and reset after a period corresponding to the line integration period) and - After a time corresponding to the exposure delay period (from the setting of the input of the transducer), the light source for (periodically) pulsed or continuous emission of at least one wavelength for the exposure time controlled.
  • the exposure delay time is used as
  • Multiplication product of the number of lines and the line readout determined, in particular plus the additional readout time, in particular less a response time of the light source » and the line integration time as the sum of the exposure time and the multiplication of the number of lines and the
  • Row read duration determined, in particular plus the additional readout duration.
  • the invention also includes a computer program and a control unit which are each set up to carry out the method according to the invention.
  • the control unit can be set up, for example, to carry out the described steps by being configured according to the program.
  • a corresponding software module can be set up for each step.
  • Fig. 3 is a first signal diagram
  • Fig. 4 is a second signal diagram.
  • FIG. 1 shows a light-disk microscope as an image recording device 1 with a light source 2, which has a broad-band laser 2.1 and an acousto-optical adjustable filter 2.2 for external wavelength selection and intensity modulation.
  • the laser 2.1 can generate light pulses with a length of 20 ps in a wavelength range from 450 nm to 700 nm.
  • Refresh rate of the pulses is for example 40 MHz.
  • the output radiation of the laser 2.1 can be a white-light continuum, from which the wavelengths used in the illumination radiation are then externally filtered out, for example by the acousto-optically adjustable filter 2, 2, or the laser 2.1 can itself be a suitable means for wavelength selection and
  • the laser 2.1 may be a fiber-based supercontinuum laser.
  • the acousto-optically tunable filter 2.2 can be dispensed with.
  • a suitable laser is for example the company Fianium Ltd. commercially available.
  • the image pickup device 1 further comprises a
  • Illumination beam path B in which the light source 2 generated by the light source
  • Illumination radiation via an optical switch 3 for example a
  • Micro-mirror field switchable either in a left branch B L or in a right branch B R passes.
  • a respective beam former 4 is arranged, which comprises a cylinder optics 5 and imaging optics 6, which cause a shaping of the illumination radiation to form a light sheet 7.
  • the cylinder optics 5 and / or the imaging optics 6 may instead be arranged in front of the optical switch 3 in the constant illumination beam path section oder or omitted altogether, wherein the light blade 7 is then generated by means of the deflection unit 11.
  • the cylinder optics can be pivoted into and out of the beam path.
  • the light sheet 7 is directed to the sample 8, for example a biological sample, which is embedded in a transparent gel, and cuts them in a focal plane of the illumination beam path B.
  • the optical Switch 3 illuminates the sample either from one side (left) or from the other side (right).
  • the image recording device 1 further comprises a detection beam path A, in which a detection objective 9 is arranged, via which sample light emitted or scattered by the sample 8 is recorded.
  • the axis of the detection beam path A in which a detection objective 9 is arranged, via which sample light emitted or scattered by the sample 8 is recorded.
  • Detection beam A is substantially perpendicular to the axis of the illumination beam path B and in particular substantially perpendicular to the sectional plane of the light sheet 7 with the sample 8.
  • the sample 8 is consequently
  • the detection objective 9 is used for focusing in a focal plane of the detection beam A.
  • Illumination beam path B and the detection beam path A are completely separated from each other and intersect only in the respective focal plane. There are also arrangements with a different angle between
  • Illumination beam B and the detection beam A are not aligned in parallel.
  • the image pickup device 1 further comprises a device 10 for
  • Relative motion may also include rotation of the sample 8.
  • the illumination beam path B has a deflection unit 11 for displacing the light sheet within the sample 8, which is likewise controlled by the control unit 15.
  • the detection beam path A further comprises a tube lens 12, via which the emission radiation detected by the detection objective 9 is fed to an optoelectronic transducer 14, for example a C OS sensor with a rolling electronic shutter.
  • an emission filter 13 may be provided, which via the sample 8 in the Detection beam A blocked or scattered illumination light components in the sample light.
  • the emission filter 13 is not required for all modes of operation of the microscope and is therefore preferably removable. For some modes of operation, the detection of reflected or scattered
  • Illumination radiation via the transducer 14 may even be desirable.
  • the image recording device 1 further comprises a control unit 15 which is connected via signal lines 16/17/18/19 to the light source 2, to the transducer 14 and to the deflection unit 11.
  • the control unit 15 generates modulation signals, which via the signal line 16 to the light source 2, there in particular the
  • AOTF 2.2 and time window control signals for triggering and terminating the light integration, which via the signal line 17 to a
  • Signal input of the transducer 14 are transmitted, and deflection signals, which are transmitted via the signal line 19 to the deflection unit 11.
  • the converter 14 in turn transmits via the signal lines 18 a status signal about the last initiated integration and read-out process and - after the end of the
  • control unit 15 can also switch over the signal 16 between a plurality of emission lines of the light source 2 by controlling the AOTF 2.2 to pass a correspondingly different wavelength.
  • FIG. 2 shows a fieldwork microscope as image recording device 1
  • mirrored illumination beam path B in which, for example, a grid as means 22 for structured illumination of the sample 8 and, for example, a Abbe-prism prism as a variable illumination position manipulator 23 are arranged.
  • the control unit 15 is connected via a signal line 19 with the
  • Illumination ply manipulator 23 is connected to set different layers of structured illumination and phase images from the sample
  • the means 22 as a beam shaper for a linear illumination and the illumination position manipulator 23 as
  • Deflection unit may be formed to illuminate the sample 8 sequentially structured.
  • the control unit 15 can optionally via the signal 16 between several
  • FIG 3 shows a signal diagram of a first mode of operation of the control unit 15 with so-called global illumination (English: “global illumination”)
  • the diagram shows the time profile of the signals transmitted via the signal lines 16/17/18/19/20 in FIG 1.
  • the individual tracks contain the following information from top to bottom:
  • the converter 14 With the setting of the trigger signal 17, the converter 14 starts independently in its first line, the electrical integration, what he set by setting the integration and Readout status 18 is displayed. After the expiration of a period of his
  • the converter 14 starts in parallel the integration in the second line. With each further expiration of a line read duration, the converter 14 starts in parallel the integration in the second line.
  • Converter 14 parallel integration in another line. With the resetting of the trigger signal 17, the converter starts independently, the contents of all
  • the exposure (oblique hatching) and the integration (horizontally hatched) begin and end in a time-shifted manner, with the exposure at exactly the exposure time specified by the user exclusively in those
  • Periods takes place in which the integration is active in all lines of the converter.
  • the line integration time is longer for this purpose compared to the exposure time around the period in which at least one line is not integrated.
  • the converter 14 has nine hundred sixty matrix rows and a line readout of 10 ps. Therefore, between the start of the integration in the first line and the start of the integration in the last line are
  • Illumination duration of 10 ms the total integration time is 19.6 ms. Only in the middle 10 ms is the AOTF 2,2 to the transmission of the desired
  • Illuminated illumination wavelength is Illuminated.
  • the individual images by pauses of durations D2w a ndier are. D3wandier synchronized with the periodic movement of the deflection unit 11. Since the AOTF 2.2 has a certain inertia, its control signal 18 can be brought forward by a constant time offset with respect to the integration-initiating and integration-ending signal 17 in the converter 14. In other embodiments (not shown), the signals 17 and 18 may also be output simultaneously.
  • the signal diagram shown in FIG. 4 shows a second mode of operation, which is in the relative relationship of the exposure time and the line integration period and the relative relationship of the beginning of the exposure and the setting of the exposure
  • Trigger signal corresponds to the conventional image recording.
  • the user is also provided by the control unit 15, a control element 24 for specifying the desired exposure time and the desired frame rate. Based on the exposure time, the transducer's own cell readout duration and the frame rate and taking into account the periods (duration) of the
  • Deflection unit 11 or 23 determines the control unit 15, for example, the pause durations D2 W , D3w 3 ndier between the resetting of
  • the user can select the operating mode by means of a control element 21.
  • the control unit may select the operating mode depending on
  • the second operating mode is set, otherwise the first operating mode.
  • the invention can be used not only in SPI microscopes and SIM microscopes, but in any image recording devices. She is also without
  • the signals 19 and 20 omitted and the period of quantization of the signals 16 and 18 can be as small as the system clock of the control unit 15.

Abstract

2.1. Die Erfindung betrifft Bildaufnahmevorrichtungen wie Mikroskope mit Steuereinheit, modulierbarer Lichtquelle und optoelektronischem Wandler mit rollendem elektronischen Verschluss ("rolling shutter"). Wegen des zeitversetzten Auslesens der Pixelmatrixzeilen muss die Belichtungsdauer der Probe verlängert werden und Bewegungen führen zu Artefakten im Bild. Die neue Bildaufnahmevorrichtung soll die Probenbelastung verringern und Artefakte vermeiden. 2.2. Zu diesem Zweck wird ein Wandler mit einem Eingang für ein Signal (17) zum Auslösen einer simultanen elektrischen Integration in allen Detektionselementen einer ersten Zeile der Matrix verwendet, der selbständig in den anderen Zeilen der Matrix eine parallele elektrische Integration durchführt, und die Steuereinheit dazu eingerichtet, eine Belichtungsdauer, eine Anzahl von Zeilen der Matrix und eine Auslesedauer des Wandlers für eine einzelne Zeile zu ermitteln, dann anhand dieser eine Zeilenintegrationsdauer zu ermitteln, die länger als die Belichtungsdauer ist, anhand der Zeilenanzahl und der Zeilenauslesedauer eine Belichtungsverzögerungsdauer zu ermitteln, den Eingang des Wandlers mindestens für die Zeilenintegrationsdauer zu setzen und nach einem mindestens der Belichtungsverzögerungsdauer entsprechenden Zeitraum die Lichtquelle zur gepulsten oder kontinuierlichen Emission für die Belichtungsdauer zu steuern. 2.3. Lichtblattmikroskopie

Description

Bildaufnahmevorrichtung und Verfahren zur Aufnahme einer Bildersequenz
Die Erfindung betrifft eine Bildaufnahmevorrichtung, insbesondere ein Mikroskop, mit mindestens einem Beleuchtungsstrahlengang (zur Beleuchtung einer Probe), der eine modulierbare Lichtquelle umfasst, einem Detektionsstrahlengang (zur Aufnahme eines Bildes der Probe), der einen optoelektronischen Wandler mit einer mindestens zweidimensionalen Matrix von Detektionselementen („Pixel") umfasst, und einer Steuereinheit, die mit der Lichtquelle und dem Wandler verbunden ist, sowie ein Verfahren zum Aufnehmen einer Bildersequenz von einer Probe mittels mindestens eines Beleuchtungsstrahlengangs (zur Beleuchtung der Probe), der eine
modulierbare Lichtquelle umfasst, und eines Detektionsstrahlengangs (zur Aufnahme eines Bildes der Probe), der einen optoelektronischen Wandler mit einer mindestens zweidimensionalen Matrix von Detektionselementen umfasst.
Im Sinne der Erfindung umfasst der Begriff Licht jede mit optischen Mitteln
manipuiierbare elektromagnetische Strahlung, also insbesondere ultraviolette, sichtbare und infrarote Strahlung. Probenlicht ist im Sinne der Erfindung Licht, das durch Fluoreszenz von der Probe emittiert wird, angeregt durch die beleuchtenden Lichtpulse. Es kann auch Anteile enthalten, die durch Reflexion und/oder Streuung von Beleuchtungslicht an der Probe entstehen. Eine modulierbare Lichtquelle kann direkt modulierbar sein - wie eine Leuchtdiode (LED) oder eine Laserdiode - oder sie kann indirekt modulierbar sein, indem sie einen zusätzlichen Modulator umfasst, beispielsweise ein einstellbares akustooptisches Filter (engl,„tunable acousto-optical filter"; AOTF). Ein optoelektronischer Wandler integriert nach Auslösung einer Bildaufnahme in jedem seiner Detektionselemente eine elektrische Größe wie Ladung oder Spannung.
Im Stand der Technik ist als Bildaufnahmevorrichtung beispielsweise ein
Lichtscheiben-M ikroskop (engl,„light sheet microscope") zur
Einzelebenenbeleuchtung (engl,„single-plane Illumination"; SPI) aus
US 2006/033987 A1 bekannt. Darin wird als Wandler eine zweidimensional ortsauflösende Kamera mit CCD-Sensor (CCD für„charge-coupled device") eingesetzt. Die Beleuchtung mit einer Lichtscheibe (auch als Lichtblatt bezeichnet) hat den Vorteil, dass die Probe nur zu einem kleinen Teil beleuchtet und damit nur geringfügig belastet wird. Die SPI-Mikroskopie (SPIM) wird daher vorzugsweise für lebende Proben verwendet.
Daneben ist aus US 5,871 ,085 als Bildaufnahmevorrichtung beispielsweise ein hochauflösendes Mikroskop mit strukturierter Beleuchtung (engl,„structured
Illumination") bekannt, das entsprechende Bildaufnahmeverfahren wird als SIM bezeichnet. Eine noch höhere Auflösung kann durch ein SPEM-Verfahren (SPEM für „saturated pattern excitation microscopy") erzielt werden.
Zweidimensionale optoelektronische Wandler sind im Stand der Technik
beispielsweise mit einem elektronischen globalen Verschluss (engl,„global shutter" oder "frame shutter") aus US 2009/095986 A1 , wiederum in Form eines CCD- Sensors, oder aus US 2001/035542 A1 in Form eines CMOS-Sensors (CMOS für „complementary metal-oxide semiconductor") bekannt. Daneben sind Wandler mit einem sogenannten elektronischen rollenden Verschluss (engl,„rolling shutter") bekannt, beispielweise aus US 2006/157758 A1. Wandler mit rollendem Verschluss haben den Nachteil, dass das Auslesen ihrer Zeilen zeitversetzt erfolgt, so dass Bewegungen im Bild zu Artefakten führen. Beispielsweise werden dadurch gerade, senkrecht zu den Matrixzeilen verlaufende Kanten bei einer linearen Bewegung der Probe längs der Matrixzeilen schräg (engl,„skew") aufgenommen. Zudem muss die Probe zur Bildaufnahme während der Integration in allen Zeilen beleuchtet werden, was aufgrund des Zeitversatzes zwischen den Zeilen länger dauert als eine vom Benutzer vorgegebene Belichtungsdauer.
Der Erfindung liegt die Aufgabe zugrunde, eine Bildaufnahmevorrichtung der eingangs genannten Art und ein Verfahren zur Aufnahme einer Bildersequenz zu verbessern, so dass eine geringere Probenbelastung ermöglicht wird.
Die Aufgabe wird gelöst durch eine Bildaufnahmevorrichtung, welche die in
Anspruch 1 angegebenen Merkmale aufweist, und durch ein Verfahren, welches die in Anspruch 13 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben. Erfindungsgemäß ist zum einen vorgesehen, dass ein an sich bekannter (zeitfensterbasierter) Wandler, wie beispielsweise in US 2006/157758 A1
beschrieben, eingesetzt wird, der (zur Bereitstellung eines rollenden elektronischen Verschlusses) einen Eingang für ein Signal zum Auslösen und zum Beenden einer simultanen elektrischen Integration in allen Detektionselementen einer ersten (nicht zwingend äußersten) Zeile der Matrix umfasst, wobei der Wandler (14) selbständig in den anderen Zeilen der Matrix mit einem jeweiligen Zeitversatz (welcher einer Summe der Zeilenauslesedauern aller zuvor - seit dem Setzen des Auslösesignals - ausgelesenen Zeilen entspricht) eine parallele elektrische Integration in der betreffenden Zeile durchführt. Derartige Wandler sind auf bekannte Weise dazu ausgebildet, als Reaktion auf das auslösende Signal, beispielsweise in Form einer steigenden Flanke eines TTL-Pulses, selbständig und unabhängig (insbesondere von einem wandlerexternen Takt) folgende Schritte zeitlich versetzt für alle
Matrixzeilen auszuführen:
- Zurücksetzen der Detektionselemente der betreffenden Zeile vor Beginn der Integration,
- Aufrechterhaltung der Integration über eine Dauer des Auslösesignals und
- Auslesen eines jeweiligen elektrischen Signals aus betreffenden
Detektionselementen nach Ende der Integration und Digitalisieren der ausgelesenen elektrischen Signale, was eine Zeilenauslesedauer in Anspruch nimmt.
Typischerweise geben die beschriebenen Wandler den Status des gesamten Zeiienintegrations- und Auslesevorgangs (dauert an/beendet) über eine Schnittstelle aus.
Es ist zum anderen vorgesehen, dass die Steuereinheit dazu eingerichtet ist,
- eine (vorgegebene - insbesondere vom Benutzer) Belichtungsdauer, eine (für den oder von dem Wandler vorgegebene) Anzahl von Zeilen der Matrix und eine (für den oder von dem Wandler vorgegebene) Auslesedauer des Wandlers für eine einzelne Zeile, insbesondere auch eine von der Zeilenanzahl unabhängige konstante
Zusatzauslesedauer, zu ermitteln,
- anhand der Belichtungsdauer, der Zeilenanzahl und der Zeilenauslesedauer eine Zeilenintegrationsdauer zu ermitteln, die länger als die Belichtungsdauer ist,
- anhand der Zeilenanzahl und der Zeilenauslesedauer eine (von Null verschiedene) Belichtungsverzögerungsdauer zu ermitteln, - den (integrationsauslösenden) Eingang des Wandlers mindestens (vorzugsweise: genau) für die Zeilenintegrationsdauer zu setzen (und nach einem entsprechenden Zeitraum zurückzusetzen) und
- nach einem mindestens der Belichtungsverzögerungsdauer entsprechenden Zeitraum (ab dem Setzen des Eingangs) die Lichtquelle zur (periodisch) gepulsten oder kontinuierlichen Emission mindestens einer Wellenlänge für (mindestens) die Belichtungsdauer zu steuern.
Die Zeilenanzahl und die Zeilenauslesedauer können beispielsweise aus einem Speicher ermittelt werden, in den die Werte bei der Herstellung der
Bildaufnahmevorrichtung einmalig geschrieben werden.
Die Belichtung der Probe erfolgt also gegenüber dem Beginn der Integration in der ersten Zeile um die Belichtungsverzögerungsdauer verzögert. Dabei wird nicht wie im Stand der Technik die Belichtungsdauer (um die Summe der Zeilenauslesezeiten) verlängert, sondern die Zeilenintegrationsdauer (und damit die gesamte
Integrationsdauer für ein Bild) wird verlängert. Dadurch kann die Probenbelastung verringert und eine geometrische Verzerrung (engl,„skew") eines rollenden
Verschlusses vermieden werden.
Besonders bevorzugt sind Ausführungsformen, in denen die Steuereinheit eingerichtet ist, die Belichtungsverzögerungsdauer als Multiplikationsprodukt der Zeilenanzahl und der Zeilenauslesedauer zu ermitteln, insbesondere zuzüglich der Zusatzauslesedauer. Dadurch beginnt die Belichtung erst, wenn in allen Zeilen die Integration begonnen hat und in allen Zeilen simultan. Das verhindert bei einer Bewegung (in) der Probe längs den Matrixzeilen eine geometrisch verzerrte
Aufnahme der Probe.
Vorzugsweise ist die Steuereinheit dazu eingerichtet, die Zeilenintegrationsdauer als Summe aus der Belichtungsdauer und dem Multiplikationsprodukt der Zeilenanzahl und der Zeilenauslesedauer zu ermitteln, insbesondere zuzüglich der
Zusatzauslesedauer. So kann die Probe ausschließlich in dem Zeitraum belichtet werden, in dem in allen Matrixzeilen die Integration läuft. Das Bild kann auf diese Weise wie mit einem globalen Verschluss aufgenommen werden. Zweckmäßig kann es sein, die Steuereinheit dazu einzurichten, die
Belichtungsverzögerungsdauer anhand einer (von der/für die Lichtquelle
vorgegebenen) Ansprechzeit der Lichtquelle zu verkürzen. Dadurch wird das
Steuersignal an die Lichtquelle rechtzeitig so abgegeben, dass die Emission mit der ursprünglichen Belichtungsverzögerungsdauer beginnt.
Vorteilhafterweise kann die Steuereinheit mehrere Betriebsmodi bereitstellen, wobei der Wandler und die Lichtquelle in dem ersten Betriebsmodus gemäß wie oben beschrieben gesteuert werden und in dem zweiten Betriebsmodus wie im Stand der Technik die ermittelte Belichtungsdauer vor dem Steuern der Lichtquelle zur
Emission um die Belichtungsverzögerung vergrößert wird und die
Belichtungsverzögerung vor dem Steuern der Lichtquelle zur Emission auf Null gesetzt wird, wobei insbesondere die Bildaufnahmevorrichtung ein Bedienelement zur Auswahl eines der Betriebsmodi bereitstellt und/oder den Betriebsmodus in Abhängigkeit einer (vorgegebenen - insbesondere vom Benutzer) Bildfrequenz auswählt (die sie zuvor ermittelt).
Zweckmäßigerweise kann die Steuereinheit dazu eingerichtet sein, eine
(vorgegebene - insbesondere vom Benutzer) Bildfrequenz zu ermitteln, anhand der Bildfrequenz, insbesondere auch anhand der Zeilenauslesedauer und/oder der Zeilenintegrationszeit und/oder der Beüchtungsverzögerungszeit, eine Pausendauer zu ermitteln und nach dem Zurücksetzen des (integrationsauslösenden) Eingangs (des Wandlers) die Pausendauer abzuwarten und erneut den
(integrationsauslösenden) Eingang des Wandlers zu setzen, um ein Bild
aufzunehmen. So kann unter minimaler Probenbelastung eine Bildersequenz aufgenommen werden.
Vorzugsweise ermittelt die Steuereinheit die Pausendauer anhand einer
vorgegebenen Periodendauer eines periodischen Vorgangs so, dass die
Pausendauer zuzüglich der ersten Integrationsdauer einem ganzzahligen Vielfachen der Periodendauer entspricht. Dadurch wird eine Synchronisation mit dem externen Vorgang, beispielsweise einer Abtastung der Probe, erreicht und beispielsweise eine gleiche Helligkeit in allen Bildern der Sequenz ermöglicht. W
6
In einer besonders bevorzugten Ausgestaltung ist die Bildaufnahmevorrichtung ein SPI-Mikroskop, wobei der Beleuchtungsstrahlengang und der
Detektionsstrahlengang einander (zumindest näherungsweise) in einer Fokusebene des Detektionsstrahlengangs kreuzen und der Beleuchtungsstrahlengang einen Strahlformer zur Erzeugung zumindest eines Segments eines Lichtblatts (oder eines vollständigen Lichtblatts) aufweist, insbesondere durch Fokussierung auf eine
Brennlinie, wobei die Brennlinie (zumindest näherungsweise) in der Fokusebene des Detektionsstrahlengangs liegt.
Besonders vorteilhaft ist die Erfindung in einem SPI-Mikroskop mit (schaltbaren) alternativen Beleuchtungsstrahlengängen, in dem die Probe sequentiell von zwei (oder mehr) Seiten („links" und„rechts") beleuchtet und ein jeweiliges Teilbild von ihr aufgenommen werden kann. Die Teilbilder werden zu einem Gesamtbild verrechnet, das eine höhere Bildqualität aufweist als die Teilbilder. Bei zeitlich veränderlichen Proben und/oder einer Bewegung der Probe, beispielsweise zur Aufnahme eines Bildstapels, wird die Bildqualität des Gesamtbildes um so höher, je geringer der zeitliche Abstand zwischen den Teilbildern ist. Durch die erfindungsgemäß
ermöglichte Verringerung der effektiven Belichtungsdauer kann die Bildqualität des Gesamtbildes vergrößert werden.
Vorteilhaft ist die Erfindung auch in Mikroskopen, in denen der
Beleuchtungsstrahlengang eine variabel einstellbare Ablenkeinheit zur Verschiebung des Lichtblatts, insbesondere innerhalb der Fokusebene des
Detektionsstrahlengangs, aufweist. Zweckmäßigerweise kann die Steuereinheit hier dazu eingerichtet sein, die Ablenkeinheit zur periodischen Verschiebung des
Lichtblatts mit einer vorgegebenen Periodendauer zu steuern (und die Pausendauer anhand der Periodendauer zu ermitteln), wobei die (gesamte) Belichtungsdauer einem ganzzahligen Vielfachen der Periodendauer entspricht. Dabei kann die Steuereinheit zum Modulieren einer Intensität der Emission der Lichtquelle während der jeweiligen Belichtungsdauer eingerichtet sein. Beispielsweise kann im Falle einer bewegten Lichtblattanregung in den Umkehrphasen der periodischen Bewegung das Belichtungssignal ausgeschalten werden, wobei die Umkehrphasen vorzugsweise außerhalb des Bildfeldes des Wandlers liegen. So kann die Probenbelastung weiter verringert werden. W
7
Vorteilhaft sind zudem Ausführungsformen des Mikroskops mit einem Probenhalter, wobei die Steuereinheit dazu eingerichtet ist, den Probenhalter während der
Emission der Lichtquelle längs einer optischen Achse des Detektionsstrahlengangs zu verschieben, da so die Bewegungsunschärfe in Bildern einer Sequenz minimiert werden kann.
Vorteilhaft ist die Erfindung zudem in Mikroskopen, in denen im
Beleuchtungsstrahlengang Mittel zum Erzeugen einer strukturierten Beleuchtung (in der Probe) und Mittel zum räumlichen Manipulieren der Beleuchtungsstruktur angeordnet sind. Solche Mittel können insbesondere Mittel zum Erzeugen einer Interferenzstruktur und zum Drehen der Interferenzstruktur oder ein Strahlformer zur linienförmigen Beleuchtung und eine Ablenkeinheit sein. Beispielsweise können ein Gitter und ein variabler Bildfelddreher im Beleuchtungsstrahlengang angeordnet sein. Die Steuereinheit nimmt dann mehrere Bilder mit verschiedenen Lagen des
(nterferenzmusters auf und verrechnet sie zu einem Gesamtbild. Insbesondere bei der linienförmigen Beleuchtung kann die Steuereinheit zum Verstellen der
Ablenkeinheit und Modulieren der Lichtquelle jeweils während der Emission ausgebildet sein, um die strukturierte Beleuchtung sequentiell durchzuführen. Die Modulation erfolgt dann so, dass während der Belichtungsdauer („während der Emission") Hellphasen und Dunkelphasen auftreten, wobei das Verstellen der Ablenkeinheit jeweils in einer Dunkelphase durchgeführt wird.
In dem erfindungsgemäßen Verfahren wird:
- eine Belichtungsdauer, eine Anzahl von Zeilen der Matrix und eine Auslesedauer des Wandlers für eine einzelne Zeile, insbesondere auch eine von der Zeilenanzahl unabhängige konstante Zusatzauslesedauer, ermittelt,
- anhand der Belichtungsdauer, der Zeilenanzahl und der Zeilenauslesedauer eine Zeilenintegrationsdauer ermittelt,
- anhand der Zeilenanzahl und der Zeilenauslesedauer, insbesondere auch der Zusatzauslesedauer, eine Belichtungsverzögerungsdauer ermittelt,
- der (integrationsauslösende) Eingang des Wandlers für die Zeilenintegrationsdauer gesetzt (und nach einem der Zeilenintegrationsdauer entsprechenden Zeitraum zurückgesetzt) und - nach einem der Belichtungsverzögerungsdauer entsprechenden Zeitraum (ab dem Setzen des Eingangs des Wandlers) die Lichtquelle zur (periodisch) gepulsten oder kontinuierlichen Emission mindestens einer Wellenlänge für die Belichtungsdauer gesteuert.
Vorzugsweise wird dabei die Belichtungsverzögerungsdauer als
Multiplikationsprodukt der Zeilenanzahl und der Zeilenauslesedauer ermittelt, insbesondere zuzüglich der Zusatzauslesedauer, insbesondere abzüglich einer Ansprechzeit der Lichtquelle» und die Zeilenintegrationsdauer als Summe aus der Belichtungsdauer und dem Multiplikationsprodukt der Zeilenanzahl und der
Zeilenauslesedauer ermittelt, insbesondere zuzüglich der Zusatzauslesedauer.
Die Erfindung umfasst auch ein Computerprogramm und eine Steuereinheit, die jeweils zur Durchführung des erfindungsgemäßen Verfahrens eingerichtet sind.
Die Steuereinheit kann beispielsweise zur Durchführung der beschriebenen Schritte eingerichtet sein, indem sie programmtechnisch entsprechend konfiguriert ist.
Insbesondere kann zu jedem Schritt ein entsprechendes Softwaremodul eingerichtet sein.
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen näher erläutert.
In den Zeichnungen zeigen:
Fig. 1 ein SPI-Mikroskop,
Fig. 2 ein Mikroskop für SIM,
Fig. 3 ein erstes Signaldiagramm und
Fig. 4 ein zweites Signaldiagramm.
In allen Zeichnungen tragen übereinstimmende Teile gleiche Bezugszeichen. Fig. 1 zeigt ein Lichtscheibenmikroskop als Bildaufnahmevorrichtung 1 mit einer Lichtquelle 2, welche einen breitbandigen Laser 2.1 und ein akusto-optisches einstellbares Filter 2.2 zur externen Wellenlängenselektion und Intensitätsmodulation aufweist. Beispielsweise kann der Laser 2.1 in einem Wellenlängenbereich von 450 nm bis 700 nm Lichtpulse mit einer Länge von 20 ps erzeugen. Die
Wiederholrate der Pulse liegt beispielsweise bei 40 MHz. Bei der Ausgangsstrahlung des Lasers 2.1 kann es sich um ein Weißlichtkontinuum handeln, aus dem dann die in der Beleuchtungsstrahlung verwendeten Wellenlängen extern herausgefiltert werden, beispielsweise durch das akusto-optische einstellbare Filter 2,2, oder der Laser 2.1 kann selbst ein geeignetes Mittel zur Wellenlängenselektion und
Intensitätsmodulation beinhalten, wie beispielsweise ein internes akusto-optisches einstellbares Filter oder eine Frequenzkonversionseinheit. Bei dem Laser 2.1 kann es sich um einen faserbasierten Superkontinuum-Laser handeln. In dem Fall, dass der Laser 2.1 selbst Mittel zur Wellenlängenselektion und Intensitätsmodulation beinhaltet, kann auf das akusto-optische einstellbare Filter 2.2 verzichtet werden. Ein geeigneter Laser ist beispielsweise über die Firma Fianium Ltd. kommerziell verfügbar.
Die Bildaufnahmevorrichtung 1 umfasst weiterhin einen
Beleuchtungsstrahlengang B, in welchem die von der Lichtquelle 2 erzeugte
Beleuchtungsstrahlung über eine optische Weiche 3, beispielsweise ein
Mikrospiegelfeld, schaltbar entweder in einen linken Zweig BL oder in einen rechten Zweig BR gelangt. In den Beleuchtungsstrahlengangzweigen BR/L ist jeweils ein Strahlformer 4 angeordnet, der eine Zylinderoptik 5 sowie Abbildungsoptiken 6 umfasst, welche eine Formung der Beleuchtungsstrahlung zu einem Lichtblatt 7 bewirken. In alternativen Ausführungsformen (nicht abgebildet) kann stattdessen die Zylinderoptik 5 und/oder die Abbildungsoptik 6 vor der optischen Weiche 3 im konstanten Beleuchtungsstrahlengangabschnitt Β angeordnet sein oder ganz wegfallen, wobei das Lichtblatt 7 dann mittels der Ablenkeinheit 11 erzeugt wird. Insbesondere kann die Zylinderoptik in den Strahlengang ein- und ausschwenkbar sein. Das Lichtblatt 7 ist auf die Probe 8, beispielsweise eine biologische Probe, welche in ein transparentes Gel eingebettet ist, gerichtet und schneidet diese in einer Fokusebene des Beleuchtungsstrahlengangs B. Je nach Stellung der optischen Weiche 3 wird die Probe entweder von der einen Seite (links) oder von der anderen Seite (rechts) beleuchtet.
Die Bildaufnahmevorrichtung 1 umfasst weiterhin einen Detektionsstrahlengang A, in welchem ein Detektionsobjektiv 9 angeordnet ist, über welches von der Probe 8 emittiertes oder gestreutes Probenlicht aufgenommen wird. Die Achse des
Detektionsstrahlengangs A steht im wesentlichen senkrecht auf der Achse des Beleuchtungsstrahlengangs B und insbesondere im wesentlichen senkrecht auf der Schnittebene des Lichtblatts 7 mit der Probe 8. Die Probe 8 wird folglich
näherungsweise nur in einer Ebene beleuchtet. Das Detektionsobjektiv 9 dient der Fokussierung in einer Fokusebene des Detektionsstrahlengangs A. Der
Beleuchtungsstrahlengang B und der Detektionsstrahlengang A sind vollständig voneinander getrennt und kreuzen sich lediglich in der jeweiligen Fokusebene. Es sind auch Anordnungen mit einem abweichenden Winkel zwischen
Detektionsstrahlengang und Beleuchtungsstrahlengang möglich, der beispielsweise zwischen 0° und 90° liegt. Entscheidend für SPIM ist, dass der
Beleuchtungsstrahlengang B und der Detektionsstrahlengang A nicht parallel ausgerichtet sind.
Die Bildaufnahmevorrichtung 1 umfasst weiterhin eine Vorrichtung 10 zur
Positionierung der Probe 8 relativ zu dem Lichtblatt 7 durch Verschiebung des Probenhalters, so dass durch eine Relativbewegung der Probe 8 entlang der Achse des Detektio n sstra h I enga ngs A und/oder relativ zu dem Beleuchtungsstrahlengang B verschiedene optische Schnitte der Probe 8 aufgenommen werden können, welche als Grundlage für dreidimensionale Bilddatensätze dienen können. Die
Relativbewegung kann auch eine Rotation der Probe 8 umfassen. Daneben weist der Beleuchtungsstrahlengang B eine Ablenkeinheit 11 zum Verschieben des Lichtblatts innerhalb der Probe 8 auf, die ebenfalls von der Steuereinheit 15 gesteuert wird.
Der Detektionsstrahlengang A umfasst weiterhin eine Tubuslinse 12, über welche die von dem Detektionsobjektiv 9 erfasste Emissionsstrahlung einem optoelektronischen Wandler 14, beispielsweise ein C OS-Sensor mit einem rollenden elektronischen Verschluss, zugeführt wird. Weiterhin kann in dem Detektionsstrahlengang A ein Emissionsfilter 13 vorgesehen sein, welches über die Probe 8 in den Detektionsstrahlengang A reflektierte oder gestreute Beleuchtungslichtanteile im Probenlicht blockiert. Das Emissionsfilter 13 ist jedoch nicht für alle Betriebsweisen des Mikroskops erforderlich und ist daher bevorzugt herausnehmbar. Bei einigen Betriebsweisen kann die Erfassung von reflektierter oder gestreuter
Beleuchtungsstrahlung über den Wandler 14 sogar wünschenswert sein.
Die Bildaufnahmevorrichtung 1 umfasst weiterhin eine Steuereinheit 15, die über Signalleitungen 16/17/18/19 mit der Lichtquelle 2, mit dem Wandler 14 und mit der Ablenkeinheit 11 verbunden ist. Die Steuereinheit 15 erzeugt Modulationssignale, welche über die Signalleitung 16 an die Lichtquelle 2, dort insbesondere den
AOTF 2.2, übermittelt werden, und Zeitfenstersteuerungssignale zum Auslösen und Beenden der Lichtintegration, welche über die Signalleitung 17 an einen
Signaleingang des Wandler 14 übermittelt werden, und Ablenksignale, welche über die Signalleitung 19 an die Ablenkeinheit 11 übermittelt werden. Der Wandler 14 übermittelt wiederum über die Signalleitungen 18 ein Statussignal über den zuletzt ausgelösten Integrations- und Auslesevorgang und - nach dem Ende des
Auslesevorgangs - die digitalisierten Bilddaten an die Steuereinheit 15.
Anstelle der Umschaltung der Seite über das Signal 19 oder zusätzliche dazu kann die Steuereinheit 15 über das Signal 16 auch zwischen mehreren -Emissionslinien der Lichtquelle 2 umschalten, indem sie dem AOTF 2.2 zum Durchlassen einer entsprechend anderen Wellenlänge steuert.
Fig. 2 zeigt ein als Bildaufnahmevorrichtung 1 ein Wettfeldmikroskop mit
eingespiegeltem Beleuchtungsstrahlengang B, in welchem beispielsweise ein Gitter als Mittel 22 zum strukturierten Beleuchten der Probe 8 und beispielsweise ein Abbe- König-Prisma als variabler Beleuchtungslagenmanipulator 23 angeordnet sind. Die Steuereinheit 15 ist über eine Signalleitung 19 mit dem
Beleuchtungslagenmanipulator 23 verbunden, um verschiedene Lagen der strukturierten Beleuchtung einzustellen und Phasenbilder von der Probe
aufzunehmen, aus denen später ein hochauflösendes Ergebnisbild errechnet werden kann. Der Lagewechsel erfolgt zweckmäßigerweise zwischen zwei Bildaufnahmen, nicht innerhalb einer Bildaufnahme. Er kann bei der Erfindung aber vorteilhafterweise in den Zeiträumen erfolgen, in denen zwar Matrixzeilen integrieren, die Probe jedoch .
12
nicht belichtet wird, also vorzugsweise zwischen dem Zurücksetzen des
Auslösesignals 17 und dem Ende des Integrations- und Auslesevorgangs
(Signal 18).
In anderen Ausführungsformen können die Mittel 22 als Strahlformer für eine linienförmige Beleuchtung und der Beleuchtungslagenmanipulator 23 als
Ablenkeinheit ausgebildet sein, um die Probe 8 sequentiell strukturiert zu beleuchten. Die Steuereinheit 15 kann über das Signal 16 optional zwischen mehreren
Emissionslinien der Lichtquelle 2 umschalten, indem sie dem AOTF 2.2 zum
Durchlassen einer entsprechend anderen Wellenlänge steuert.
In Fig. 3 ist ein Signaldiagramm eines ersten Betriebsmodus der Steuereinheit 15 mit sogenannter globaler Beleuchtung (engl,„global Illumination") dargestellt. In dem Diagramm ist der zeitliche Verlauf der über die Signalleitungen 16/17/18/19/20 übermittelten Signale in einem Mikroskop gemäß Fig. 1 erkennbar. Die einzelnen Spuren enthalten von oben nach unten folgende Angaben:
Figure imgf000014_0001
Mit dem Setzen des Auslösesignals 17 beginnt der Wandler 14 selbständig in seiner ersten Zeile die elektrische Integration, was er durch Setzen des Integrations- und Auslesestatus 18 anzeigt. Nach Ablauf eines Zeitraums, der seiner
Zeilenauslesedauer entspricht, startet der Wandler 14 parallel die Integration in der zweiten Zeile. Mit jedem weiteren Ablauf einer Zeilenauslesedauer startet der
Wandler 14 parallel die Integration in einer weiteren Zeile. Mit dem Zurücksetzen des Auslösesignals 17 beginnt der Wandler selbständig, die Inhalte aller
Detektionselemente der ersten Zeile auszulesen und zu digitalisieren, was die Auslesedauer in Anspruch nimmt. Bis dahin ist die Integration der zweiten Zeile abgeschlossen und sie wird ausgelesen. Anschließend wird die dritte Zeile
ausgelesen.
Die Belichtung (schräg schraffiert) und die Integration (horizontal schraffiert) beginnen und enden zeitversetzt zueinander, wobei die Belichtung mit genau der vom Benutzer vorgegebenen Belichtungsdauer ausschließlich in denjenigen
Zeiträumen erfolgt, in denen in allen Zeilen des Wandlers die Integration aktiv ist. Die Zeilenintegrationsdauer ist zu diesem Zweck gegenüber der Belichtungsdauer um den Zeitraum, in denen mindestens eine Zeile nicht integriert, länger.
Beispielsweise weist der Wandler 14 neunhundertsechzig Matrixzeilen und eine Zeilenauslesedauer von 10 ps auf. Zwischen dem Start der Integration in der ersten Zeile und dem Start der Integration in der letzten Zeile liegen daher
959*10 ps=9,59 ms. Nach dieser Zeit beginnt also der globale Belichtungsbereich. 9,59 ms nach dem Zurücksetzen des Auslösesignals 17 ist die Integration in den restlichen Zeilen noch aktiv. Bei einer vom Benutzer vorgegebenen
Beleuchtungsdauer von 10 ms beträgt die gesamte Integrationsdauer 19,6 ms. Nur in den mittleren 10 ms wird der AOTF 2,2 zur Transmission der gewünschten
Beleuchtungswellenlänge gesteuert.
Zudem sind die einzelnen Bilder durch die Pausen der Dauern D2wandier. D3wandier mit der periodischen Bewegung der Ablenkeinheit 11 synchronisiert. Da der AOTF 2.2 eine gewisse Trägheit aufweist, kann sein Steuersignal 18 gegenüber dem im Wandler 14 integrationsauslösenden und integrationsbeendenden Signal 17 um einen konstanten Zeitversatz vorgezogen werden. In anderen Ausführungsformen (nicht abgebildet) können die Signale 17 und 18 auch simultan ausgegeben werden. Das in Fig. 4 dargestellte Signaldiagramm zeigt einen zweiten Betriebsmodus, der in der relativen Beziehung der Belichtungsdauer und der Zeilenintegrationsdauer und der relativen Beziehung des Beginns der Belichtung und des Setzens des
Auslösesignals der herkömmlichen Bildaufnahme entspricht.
Dem Benutzer wird zudem von der Steuereinheit 15 ein Bedienelement 24 zur Vorgabe der gewünschten Belichtungsdauer und der gewünschten Bildfrequenz bereitgestellt. Anhand der Belichtungsdauer, der wandlereigenen Zellenauslesedauer und der Bildfrequenz und unter Berücksichtigung der Perioden(dauer) der
Ablenkeinheit 11 beziehungsweise 23 ermittelt die Steuereinheit 15 beispielsweise die Pausendauern D2Wandier, D3w3ndier zwischen dem Zurücksetzen des
Auslösesignals 17 und dem nächsten Setzen des Auslösesignals 17.
Der Benutzer kann den Betriebsmodus mittels eines Bedienelements 21 auswählen. Alternativ kann die Steuereinheit den Betriebsmodus in Abhängigkeit der
gewünschten Bildfrequenz und/oder der gewünschten Belichtungsdauer einstellen. Liegt beispielsweise die Bildfrequenz und/oder die Belichtungsdauer über einem vorgegebenen jeweiligen Grenzwert, so wird der zweiten Betriebsmodus eingestellt, sonst der erste Betriebsmodus.
Die Erfindung ist nicht nur in SPI-Mikroskopen und SIM-Mikroskopen einsetzbar, sondern in beliebigen Bildaufnahmevorrichtungen. Sie ist auch ohne
Ablenkeinheit 11/22 und/oder ohne beidseitige Beleuchtung einsetzbar, wobei die Signale 19 und 20 entfallen und die Periode der Quantisierung der Signale 16 und 18 so klein wie der Systemtakt der Steuereinheit 15 werden können.
Bezuqszeichenliste
1 Bildaufnahmevorrichtung
2 Lichtquelle
2.1 Laser
2.2 AOTF
3 Optische Weiche
4 Strahlformer
5 Zylinderoptik
6 Abbildungsoptiken
7 Lichtblatt
8 Probe
9 Detektionsobjektiv
10 Positioniervorrichtung
11 Ablenkeinheit
12 Tubuslinse
13 Emissionsfilter
14 Wandler
15 Steuereinheit
16 Signal(leitung)
17 Signal(leitung)
18 Signal(leitung)
19 Signal(leitung)
20 Signal(leitung)
21 Bedienelement
22 Mittel zum strukturierten Beleuchten
23 Mittel zum räumlichen Manipulieren
A Detektionsstrahlengang
B Beleuchtungsstrahlengang
Dscanner Verzögerung ab Start der Ablenkeinheit
a Totzeit
D1 wandier Verzögerung bis Auslösen der ersten Integration
Dl AöTF-start Verzögerung bis Einschalten des AOTF für erste Emission DAOTF-ende Verzögerung bis Ausschalten des AOTF D2wandier Verzögerung bis Auslösen der zweiten Integration
D2AoTF-startVerzögerung bis Einschalten des AOTF für zweite Emission TAOTF Belichtungsdauer
D3wandier Verzögerung bis dritte Integration
D3AoTF-start Verzögerung bis Einschalten des AOTF für dritte Emission

Claims

Patentansprüche
1. Bildaufnahmevorrichtung (1 ), insbesondere Mikroskop, mit einem
Beleuchtungsstrahlengang (B), der eine modulierbare Lichtquelle (2) umfasst, einem Detektionsstrahlengang (A), der einen optoelektronischen Wandler (14) mit einer mindestens zweidimensionalen Matrix von Detektionselementen umfasst, und einer Steuereinheit (15), die mit der Lichtquelle (2) und dem Wandler (14) verbunden ist, dadurch gekennzeichnet, dass der Wandler (14) einen Eingang für ein Signal (17) zum Auslösen und zum Beenden einer simultanen elektrischen Integration in allen Detektionselementen einer ersten Zeile der Matrix umfasst, wobei der Wandler (14) selbständig in den anderen Zeilen der Matrix mit einem jeweiligen Zeitversatz eine parallele elektrische Integration in der betreffenden Zeile durchführt, umfasst und dass die Steuereinheit (15) dazu eingerichtet ist,
- eine Belichtungsdauer, eine Anzahl von Zeilen der Matrix und eine
Auslesedauer des Wandlers für eine einzelne Zeile, insbesondere auch eine von der Zeilenanzahl unabhängige konstante Zusatzauslesedauer, zu ermitteln,
- anhand der Belichtungsdauer, der Zeilenanzahl und der Zeilenauslesedauer eine Zeilenintegrationsdauer zu ermitteln, die länger als die Belichtungsdauer ist,
- anhand der Zeilenanzahl und der Zeilenauslesedauer, insbesondere auch der Zusatzauslesedauer, eine Belichtungsverzögerungsdauer zu ermitteln,
- den Eingang des Wandlers (14) mindestens für die Zeilenintegrationsdauer zu setzen und
- nach einem mindestens der Belichtungsverzögerungsdauer entsprechenden Zeitraum die Lichtquelle (2) zur gepulsten oder kontinuierlichen Emission mindestens einer Wellenlänge für die Belichtungsdauer zu steuern.
2. Bildaufnahmevorrichtung (1) nach dem vorhergehenden Anspruch, wobei die Steuereinheit (15) dazu eingerichtet ist, die Belichtungsverzögerungsdauer als Multiplikationsprodukt der Zeilenanzahl und der Zeilenauslesedauer zu ermitteln, insbesondere zuzüglich der Zusatzauslesedauer.
3. Bildaufnahmevorrichtung (1 ) nach einem der vorhergehenden Ansprüche, wobei die Steuereinheit (15) dazu eingerichtet ist, die Zeilenintegrationsdauer als Summe aus der Belichtungsdauer und dem Multiplikationsprodukt der Zeilenanzahl und der Zeilenauslesedauer zu ermitteln, insbesondere zuzüglich der Zusatzauslesedauer.
4. Bildaufnahmevorrichtung (1 ) nach einem der vorhergehenden Ansprüche, wobei die Steuereinheit (15) dazu eingerichtet ist, die Belichtungsverzögerungsdauer anhand einer Ansprechzeit der Lichtquelle (2) zu verkürzen,
5. Bildaufnahmevorrichtung (1 ) nach einem der vorhergehenden Ansprüche, die ein Bedienelement (21) zur Auswahl eines von mehreren von der Steuereinheit (15) bereitgestellten Betriebsmodi bereitstellt, wobei der Wandler (14) und die
Lichtquelle (2) in dem ersten Betriebsmodus gemäß einem der Ansprüche 1 bis 4 gesteuert werden und in dem zweiten Betriebsmodus die ermittelte
Belichtungsdauer vor dem Steuern der Lichtquelle zur Emission um die
Bellchtungsverzögerung vergrößert wird und die Belichtungsverzögerung vor dem Steuern der Lichtquelle zur Emission auf Null gesetzt wird.
6. Bildaufnahmevorrichtung (1) nach einem der vorhergehenden Ansprüche, wobei die Steuereinheit (15) dazu eingerichtet ist, eine (vorgegebene - insbesondere vom Benutzer) Bildfrequenz zu ermitteln, anhand der Bildfrequenz, insbesondere auch anhand der Zeilenauslesedauer und/oder der Zeilenintegrationszeit und/oder der Belichtungsverzögerungszeit, eine Pausendauer zu ermitteln und nach dem Zurücksetzen des Eingangs die Pausendauer abzuwarten und erneut den Eingang des Wandlers (14) zu setzen.
7. Bildaufnahmevorrichtung (1) nach dem vorhergehenden Anspruch, wobei die Steuereinheit (15) die Pausendauer anhand einer vorgegebenen Periodendauer eines periodischen Vorgangs so ermittelt, dass die Pausendauer zuzüglich der ersten Integrationsdauer einem ganzzahligen Vielfachen der Periodendauer entspricht.
8. Mikroskop (1) nach einem der vorhergehenden Ansprüche, wobei der
Beleuchtungsstrahlengang (B) und der Detektionsstrahlengang (A) einander in einer Fokusebene des Detektionsstrahlengangs (A) kreuzen und der
Beleuchtungsstrahlengang (B) einen Strahlformer (4) zur Erzeugung zumindest eines Segments eines Lichtblatts, insbesondere durch Fokussierung auf eine Brennlinie, wobei die Brennlinie in der Fokusebene des
Detektionsstrahlengangs (A) liegt, aufweist.
9. Mikroskop (1 ) nach dem vorhergehenden Anspruch, wobei der
Beleuchtungsstrahlengang (B) eine variabel einstellbare Ablenkeinheit (11 ) zur Verschiebung des Lichtblatts, insbesondere innerhalb der Fokusebene des Detektionsstrahlengangs (A).
10. Mikroskop (1) nach dem vorhergehenden Anspruch, wobei die Steuereinheit (15) dazu eingerichtet ist, die Ablenkeinheit (11 ) zur periodischen Verschiebung des Lichtblatts mit einer vorgegebenen Periodendauer zu steuern, wobei die
Belichtungsdauer einem ganzzahligen Vielfachen der Periodendauer entspricht, insbesondere mit Ausbildung der Steuereinheit (15) zum Modulieren einer Intensität der Emission der Lichtquelle während der jeweiligen Belichtungsdauer.
11. Mikroskop (1 ) nach einem der Ansprüche 1 bis 8, wobei im
Beleuchtungsstrahlengang (B) Mittel (22) zum Erzeugen einer strukturierten Beleuchtung (in der Probe) und Mittel (23) zum räumlichen Manipulieren der Beleuchtungsstruktur angeordnet sind.
12. Verfahren zum Aufnehmen einer Bildersequenz von einer Probe (8) mittels
mindestens eines Beleuchtungsstrahlengangs (B), der eine modulierbare
Lichtquelle (2) umfasst, und eines Detektionsstrahlengangs (A), der einen optoelektronischen Wandler (14) mit einer mindestens zweidimensionalen Matrix von Detektionselementen umfasst, wobei:
- eine Belichtungsdauer, eine Anzahl von Zeilen der Matrix und eine
Auslesedauer des Wandlers (14) für eine einzelne Zeile, insbesondere auch eine von der Zeilenanzahl unabhängige konstante Zusatzauslesedauer, ermittelt wird,
- anhand der Belichtungsdauer, der Zeilenanzahl und der Zeilenauslesedauer eine Zeilenintegrationsdauer ermittelt wird,
- anhand der Zeilenanzahl und der Zeilenauslesedauer, insbesondere auch der Zusatzauslesedauer, eine Belichtungsverzögerungsdauer ermittelt wird,
- der Eingang des Wandlers (14) für die Zeilenintegrationsdauer gesetzt wird und - nach einem der Belichtungsverzögerungsdauer entsprechenden Zeitraum die Lichtquelle (2) zur gepulsten oder kontinuierlichen Emission mindestens einer
Wellenlänge für die Belichtungsdauer gesteuert wird.
13. Verfahren nach dem vorhergehenden Anspruch, wobei die
Belichtungsverzögerungsdauer als Multiplikationsprodukt der Zeilenanzahl und der Zeilenauslesedauer ermittelt wird, insbesondere zuzüglich der
Zusatzauslesedauer, insbesondere abzüglich einer Ansprechzeit der Lichtquelle, und die Zeilenintegrationsdauer als Summe aus der Belichtungsdauer und dem Multiplikationsprodukt der Zeilenanzahl und der Zeilenauslesedauer ermittelt wird, insbesondere zuzüglich der Zusatzauslesedauer.
14. Computerprogramm oder Steuereinheit (15), eingerichtet zur Durchführung eines Verfahrens nach einem der Verfahrensansprüche.
PCT/EP2013/071074 2012-10-12 2013-10-09 Bildaufnahmevorrichtung und verfahren zur aufnahme einer bildersequenz WO2014056991A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012020242.3 2012-10-12
DE201210020242 DE102012020242A1 (de) 2012-10-12 2012-10-12 Bildaufnahmevorrichtung und Verfahren zur Aufnahme einer Bildersequenz

Publications (1)

Publication Number Publication Date
WO2014056991A1 true WO2014056991A1 (de) 2014-04-17

Family

ID=49354650

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2013/071074 WO2014056991A1 (de) 2012-10-12 2013-10-09 Bildaufnahmevorrichtung und verfahren zur aufnahme einer bildersequenz

Country Status (2)

Country Link
DE (1) DE102012020242A1 (de)
WO (1) WO2014056991A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018124984A1 (de) * 2018-10-10 2020-04-16 Friedrich-Schiller-Universität Jena Verfahren und Vorrichtung zur hochaufgelösten Fluoreszenzmikroskopie

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5671085A (en) 1995-02-03 1997-09-23 The Regents Of The University Of California Method and apparatus for three-dimensional microscopy with enhanced depth resolution
US20010035542A1 (en) 2000-02-23 2001-11-01 Fossum Eric R. Frame shutter pixel with an isolated storage node
EP1263215A2 (de) * 2001-06-01 2002-12-04 Nokia Corporation Kontrolle des Blitzlichtes in einer digitalen Kamera
US20060033987A1 (en) 2002-12-09 2006-02-16 Stelzer Ernst H K Microscope with a viewing direction perpendicular to the illumination direction
US20060157758A1 (en) 2005-01-14 2006-07-20 Omnivision Technologies, Inc. Image sensor and pixel having an optimized floating diffusion
US20090095986A1 (en) 2007-10-15 2009-04-16 Csem Centre Suisse D'electronique Et De Microtechnique Sa Photo sensor with a low-noise photo element, sub-linear response and global shutter
DE102009044983A1 (de) * 2009-09-24 2011-03-31 Carl Zeiss Microimaging Gmbh Mikroskop
WO2011150574A1 (zh) * 2010-06-04 2011-12-08 深圳泰山在线科技有限公司 Cmos图像传感器及其时序控制方法和曝光方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5671085A (en) 1995-02-03 1997-09-23 The Regents Of The University Of California Method and apparatus for three-dimensional microscopy with enhanced depth resolution
US20010035542A1 (en) 2000-02-23 2001-11-01 Fossum Eric R. Frame shutter pixel with an isolated storage node
EP1263215A2 (de) * 2001-06-01 2002-12-04 Nokia Corporation Kontrolle des Blitzlichtes in einer digitalen Kamera
US20060033987A1 (en) 2002-12-09 2006-02-16 Stelzer Ernst H K Microscope with a viewing direction perpendicular to the illumination direction
US20060157758A1 (en) 2005-01-14 2006-07-20 Omnivision Technologies, Inc. Image sensor and pixel having an optimized floating diffusion
US20090095986A1 (en) 2007-10-15 2009-04-16 Csem Centre Suisse D'electronique Et De Microtechnique Sa Photo sensor with a low-noise photo element, sub-linear response and global shutter
DE102009044983A1 (de) * 2009-09-24 2011-03-31 Carl Zeiss Microimaging Gmbh Mikroskop
WO2011150574A1 (zh) * 2010-06-04 2011-12-08 深圳泰山在线科技有限公司 Cmos图像传感器及其时序控制方法和曝光方法
EP2579567A1 (de) * 2010-06-04 2013-04-10 Shenzhen Taishan Online Technology Co., Ltd. Cmos-bildsensor, zeitsteuerungsverfahren und belichtungsverfahren dafür

Also Published As

Publication number Publication date
DE102012020242A1 (de) 2014-04-17

Similar Documents

Publication Publication Date Title
EP2718762B1 (de) Hochauflösende lumineszenzmikroskopie
DE102008018476B4 (de) Mikroskopievorrichtung
DE112014000195B4 (de) Bilderfassungsvorrichtung und Bildgebungsvorrichtung
DE102010013223B4 (de) Verfahren und Anordnung zur Mikroskopie
EP2156235B1 (de) Mikroskop und verfahren zum betreiben eines mikroskops
DE60312717T2 (de) Vorrichtung und Verfahren zur Bilderzeugung
DE102008049878A1 (de) Verbesserte Verfahren und Vorrichtungen für die Mikroskopie mit strukturierter Beleuchtung
WO2011038817A1 (de) Verfahren zur erzeugung eines mikroskopbildes und mikroskop
EP2194841A1 (de) Anordnung und verfahren zur erzeugung von bildern mit erweiterter dynamik
DE102012204128A1 (de) Hochauflösende Scanning-Mikroskopie
DE102013022538B3 (de) Verfahren zum Erstellen eines Mikroskopbildes und Mikroskopievorrichtung
DE102011105181A1 (de) Mikroskop und Verfahren zur bildgebenden Fluoreszenzmikroskopie
WO2012034852A1 (de) Optisches abbildungssystem zur multispektralen bildgebung
DE102004053730B4 (de) Verfahren und Anordnung zur Unterdrückung von Falschlicht
WO2013053859A1 (de) Hochauflösende lumineszenzmikroskopie
DE102008011993A1 (de) Synchronisierte Bildgebung mittels optischer Verfahren und Rasterkraftmikroskopie
WO2014056991A1 (de) Bildaufnahmevorrichtung und verfahren zur aufnahme einer bildersequenz
DE102011075369A1 (de) Verfahren und Vorrichtung zur Objektabbildung
DE102015109645B3 (de) Verfahren zur Multiliniendetektion
WO2014056990A1 (de) Bildaufnahmevorrichtung und verfahren zur aufnahme einer bildersequenz
WO2017207807A1 (de) Lichtblattmikroskop und mikroskopisches verfahren mit einem lichtblattmikroskop
DE102011007751A1 (de) Weitfeldmikroskop und Verfahren zur Weitfeldmikroskopie
DE102016123258B4 (de) Lumineszenzdetektoranordnung, Fluoreszenzmikroskop und Verfahren zum Detektieren eines Lumineszenzsignals
DE102018107710B4 (de) Intraoraler parallelkonfokaler Oberflächenscanner mit Störlichtsubtraktion
DE102016107041A1 (de) Mikroskop sowie Mikroskopieverfahren

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13776460

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13776460

Country of ref document: EP

Kind code of ref document: A1