WO2002073951A1 - Einrichtung für das extrahieren von frei definierbaren bildabschnitten aus einem bildsensor - Google Patents

Einrichtung für das extrahieren von frei definierbaren bildabschnitten aus einem bildsensor Download PDF

Info

Publication number
WO2002073951A1
WO2002073951A1 PCT/CH2002/000140 CH0200140W WO02073951A1 WO 2002073951 A1 WO2002073951 A1 WO 2002073951A1 CH 0200140 W CH0200140 W CH 0200140W WO 02073951 A1 WO02073951 A1 WO 02073951A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
electronic device
reading unit
named
image sensor
Prior art date
Application number
PCT/CH2002/000140
Other languages
English (en)
French (fr)
Inventor
Nikolaus Schibli
Original Assignee
Fastcom Technology Sa
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fastcom Technology Sa filed Critical Fastcom Technology Sa
Priority to EP02701140A priority Critical patent/EP1366619A1/de
Publication of WO2002073951A1 publication Critical patent/WO2002073951A1/de
Priority to US10/654,882 priority patent/US20040041916A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming

Definitions

  • the present invention relates to an electronic device, in particular an intelligent numerical camera, with which freely definable image sections can be extracted from an image sensor.
  • Such a system consists of an image sensor which is provided with optics.
  • This image sensor is able to take pictures and store them in a digital memory.
  • the pixel signals generated by the image sensor are converted into digital image data using an analog-digital converter.
  • the image sensor (for example in CDD, CMOS or CID technology) has to be controlled with special signals in order to extract the pixel values.
  • a processor is often available, which can process the digital image data with algorithms and programs.
  • the result of the image data processing is transmitted to an external computing unit via a communication interface (for example to a control system, an actuator, etc.).
  • a communication interface for example to a control system, an actuator, etc.
  • Such camera systems that are equipped with a processor that can process image data are referred to as intelligent cameras.
  • Smart cameras are often used as smart sensors in a closed loop.
  • the result of the image data processing must be able to be delivered to a process computer in the shortest possible cycle time, which can influence the filmed system.
  • Another object of the invention is to provide a new electronic device with which the compromise between resolution and speed can be changed by the user at any time.
  • the new electronic device provides only the necessary image data (instead of all image data from the image sensor) as quickly as possible at any time.
  • Special predefined image shapes e.g. rectangles, circles, lines, patterns, etc.
  • the image data can be read and processed much faster without having to accept a reduction in the image quality for the selected image part.
  • an electronic device which comprises the following components: an image reading unit which is equipped with one or more image sensors, at least one image sensor allowing individual pixel accesses, the named image reading unit being designed such that it Can receive and execute image acquisition commands, the in at least one named image acquisition command
  • Shape of the image section which must be extracted is defined, and that the named image reading unit only the pixels of the named image sensor, which of those defined in the named image acquisition command
  • Form corresponds to reads and provides.
  • An external electronic device which requires image data can thus determine the shape and size of the recorded image section itself with corresponding image acquisition commands and in this way influence the speed of the image data processing.
  • the electronic device preferably uses at least one image sensor that allows single pixel access.
  • Image sensors with single pixel access are already known as such and are even available on the market.
  • An example of such a sensor is described, inter alia, in patent application EP-A2-935880, which proposes a semiconductor circuit in order to read individual pixels quickly.
  • Another example is described in US5933190.
  • an image sensor topology of CMOS technology is described, which also allows access to individual pixels instead of just entire images.
  • an external device In order to access a section of an image (image area) with such a sensor, an external device must address each pixel of the image section separately, which requires a high computing power of the named external device.
  • US5146340 describes an image reading and processing system which enables an electronic image sensor to be read in at two different speeds. This is done in order to read in a desired image zone at the correct speed, while the rest of the image is read in at an increased speed in order to get to the interesting part of the image more quickly. The unnecessary sections of the image are not digitized. With this method, the clock frequency of the image reading process can be increased. The scanned image is saved in an image memory stored. This image memory can be read in and processed by a processor after switching the buses. All pixels, even those that are not required at all, are read in.
  • US5060074 proposes an image reading unit for a video camera which, as in patent US 5146340, enables the image field to be read in at two different speeds. This is done in order to read an interesting image zone faster than the entire image. This can compensate for vibrations in the image caused by the camera user.
  • the interesting image zone can be displayed without vertical or horizontal shift. Here too, however, all pixels are always read.
  • FIG. 1 shows a simple schematic representation of a device according to the invention, divided into an image reading unit, a storage unit and an external electronic device.
  • Fig. 2 is a schematic representation of a first embodiment of a device according to the invention.
  • Fig. 3 is a schematic representation of a second embodiment of a device according to the invention (in this example as an intelligent camera).
  • FIG. 4 shows a schematic illustration of a third embodiment of a device according to the invention, with a PC which is equipped with a frame grabber card with DMA PC memory access and with a single-pixel access camera.
  • FIG. 5 shows a schematic representation of a fourth embodiment of a device according to the invention, with a single-pixel access camera with a fast communication interface, which sends the requested pixels directly and without intermediate storage to an external electronic device.
  • Fig. 6 is a schematic representation of a fifth embodiment of a device according to the invention, with a PC which is equipped with a frame grabber card with its own buffer memory and with a single-pixel access camera.
  • FIG. 7 shows a schematic representation of the parameters which are required in an image acquisition command in order to define a rectangular image section.
  • FIG. 8 shows a schematic illustration of the parameters which are required in an image acquisition command in order to define a parallelogram-shaped image section.
  • FIG. 9 shows a schematic representation of the parameters which are required in an image acquisition command in order to define an elliptical image section.
  • FIG. 1 shows an image signal processing system with three elements 1, 2 and 3.
  • An image reading unit is shown schematically at 1, which can write video image data recorded by means of an optical system 4 into a storage unit 2.
  • the image reading unit 1 can preferably also read the content of the storage unit 2.
  • the image reading unit 1, the optics 4 and the storage unit 2 are preferably housed in the same (not shown) camera housing.
  • An external electronic device 3 for example a PC, a video recorder or a process computer
  • the external electronic device 3 can be issued with commands which are written into the storage unit and / or with a synchronization signal via the communication interface 14 from the image reading device.
  • Unit 1 require that it write a portion of the entire image to the storage unit 2 with a defined shape. Synchronization signals can also come from any external device 15.
  • the image reading unit has an image sensor that can directly access every single pixel. The image reading unit can thus store special image shapes such as rectangular shapes, circles, several parallel lines and any other image shapes in the storage unit 2 without having to read in unused pixels. Since only the required pixels are read in, the reading and processing time of the image reading unit can be significantly reduced.
  • the camera with the units 2 and 3 thus only makes available those pixels that belong to the image form that was determined by the external device 3, 15.
  • the frame rate depends on the size and type of the shape required, so that an external device 3, 15 can increase the frame rate itself, for example by having a smaller image section extracted.
  • the image reading unit 1 has programmable data processing means described below for generating the address and timing signals, which control the driver of the image sensor as a function of the required image section. These processing means can preferably also be used for certain image processing algorithms
  • the processing means in the image reading unit preferably comprise a microprocessor and / or a digital signal processor (DSP) in order to carry out these algorithms.
  • New programs can be loaded via the storage unit 2, via another interface or onto a data carrier (for example a PC card).
  • a calibration image stored in an electronic memory can be used for the calibration.
  • FIG. 2 shows a detailed illustration of a first embodiment of a device according to the invention.
  • the image reading unit 1 with data processing means 8, 9 and the storage unit 2 are preferably integrated in a common housing. Such a combination is called an intelligent camera because the camera can perform certain image signal processing steps without an external processor.
  • the image reading unit 1 consists of an image sensor 6 with single pixel access from optics 4 to focus the light, a driver 5 and an analog-digital converter 7.
  • Programmable data processing means 8 (for example one or more processors and / or DSP, or an FPGA circuit) generate the addresses and the timing signals which control the driver 5 in such a way that only the required pixels in the image sensor 6 are read.
  • Other image processing operations can be performed (for example, image calibration, binarization of the image, calculation of the contours, high or low pass filtering, or the sequence of objects on successive images of an image sequence).
  • the data processing means 8 use a local electronic memory 9 (for example a RAM) to execute the various programs.
  • the memory unit 2 consists of a plurality of memory modules 21.
  • the image reading unit 1 can thus access a memory module while the electronic device 3 simultaneously accesses another module.
  • Driver 5 read in and digitized with the AD converter 7 and either written into the internal memory 9 or directly into a memory 21 of the memory unit 2.
  • the image is recorded on a command or a synchronization signal 14 to the processor 8.
  • This command can come from the processor 11 of the external device 3, but also from another external device 15.
  • the external electronic device 3 here consists of a processor system which reads and processes the desired image data from the memory modules 21 of the memory unit 2.
  • This processor system 3 can tell the image reading unit 1 via the communication interface 14 or via commands stored in the storage unit 2 which image section is required.
  • the image acquisition commands can come from another, external device 15, or for them to be generated by the image reading unit 1 itself.
  • the image processing unit 3 can read the image data in the storage unit 2 and store it in a local storage area 12. Further digital processing means 11 are preferably provided in order to manage the image data and to send them to an external device 16 via a communication interface 13.
  • a command interpreter interprets these commands and accesses the pixels of image sensor 6 belonging to the desired image section by generating the addresses and timing signals for driver 6 in real time for pixel extraction.
  • the image reading unit 1 can support at least the following image reading modes. Each mode is started with a corresponding image acquisition command:
  • This reading mode is shown schematically in FIG. 7.
  • the pixels 60 will have to be read in focus while other pixels 61 are shown in white.
  • This mode allows a certain number (1 to a maximum number) of rectangular image areas to be read in from the image sensor 6.
  • the entire image area can also be read in this mode. All pixels of the rectangles can be read; as a variant, however, a certain number of rows or columns can also be omitted at regular intervals in the horizontal X or vertical Y direction. In the example shown, only every second column and only every row of the second largest rectangle is read. These gaps allow the desired image sections to be read in with a reduced resolution.
  • the resolution of each image section can be selected differently.
  • the ratio between the number of skipped and read pixels in each direction is defined as the downsampling factor.
  • This reading mode is shown schematically in FIG. 8. This mode allows a certain number (1 to a maximum number) of parallel lines to be read in from the image sensor 6 in any direction. As in rectangular mode, a downsampling factor can be defined in the horizontal and vertical directions.
  • This reading mode is shown schematically in FIG. 9.
  • This mode allows a certain number (1 to a maximum number) of elliptical (for example circular) image sections to be read in from the image sensor 6.
  • elliptical for example circular
  • only concentric ellipses are defined.
  • image acquisition commands with which non-concentric ellipses in which a downsampling factor in the horizontal and in the vertical direction may also be defined.
  • orientation of the large semiaxis if it is not horizontal.
  • a faster image reading can be achieved if all ellipses are concentric and if the ratio of small semiaxis to larger semiaxis is the same for all ellipses during an image acquisition.
  • the image reading unit 1 itself to determine the number, the size, the position, the vertical and horizontal resolution and the shape of the scanned image sections on the basis of more abstract commands. These parameters can also be adjusted dynamically (for example in real time and / or between each image).
  • a program executed by the data processing means determines at any time which area of the image sensor 6 must be read. The following conditions can cause adjustments to the image section:
  • the data processing means 8 of the image reading unit 1 can execute an image object tracking algorithm in order to identify and track an identical object on successive images of an image sequence.
  • the image reading unit can only extract the pixels belonging to the tracked object from the image sensor and make them available.
  • the shape of the The scanned image section can be dynamically adapted to the shape of the object and is not limited to rectangles, parallelograms and ellipses.
  • the resolution can be adjusted to the quality of the optics, to the focals used, to the zoom factor, to the opening of the
  • Diaphragm, to the focus setting, etc., are automatically adjusted.
  • the image sections in particular the resolution of the image sections, can be adjusted if, for example, zoom, panning or tilt movements are carried out, or if the focus setting is changed automatically or manually.
  • the camera can contain an interface to receive external trigger signals.
  • the read-in parameters can be changed automatically when a new trigger signal is received. This means that the import conditions can be adapted to external events,
  • the resolution, the scanned image section etc. can be automatically dynamically adjusted if the content of the recorded images changes. For example, it is possible to automatically extract a new image section when an event is detected in this image section.
  • the image reading unit can be informed with a command what is required for an image section.
  • at least certain of the following parameters can be entered in at least certain image acquisition commands:
  • the command interpreter can always automatically select the fastest possible sampling time for the desired image shape.
  • the same image area is always read, and the
  • Image recording is clocked by the external synchronization signal 14.
  • Control signals for the lens 4 such as zoom setting, iris and focus.
  • the preprocessing can include algorithms such as edge detection, high and low pass filtering, etc.
  • FIG. 2 A second embodiment of a device according to the invention is shown in FIG. In this variant, all components which were described earlier in connection with FIG. 2 are integrated in a single housing. Such a device can be referred to as an intelligent camera and can be connected to external devices 16 via an interface 13. Several of the components 8, 21, etc. described here can be integrated in a single integrated circuit.
  • FIG. 1 A third embodiment of a device according to the invention is shown in FIG.
  • the image reading unit 1 and the storage unit 2 are integrated in a common housing 17.
  • Such a device can be referred to as a single-pixel access camera.
  • the image reading unit comprises the same components as the variant in FIG. 2.
  • a communication interface 19 is implemented with a communication processor, which enables the image data from the single-pixel access camera 17 via a "frame grabber 27 (data receiving unit) to an external device 3.
  • the external electronic device 3 can be a processor system (for example a PC) in which the frame grabber card 27 is installed.
  • the image data read in by the image reading unit are sent to the frame grabber 27 via a fast data bus.
  • the frame grabber 27 has a second communication interface with a communication processor 22 in order to receive this data.
  • the image data are then temporarily stored in a FIFO memory 23 and written into the electronic memory 12 of the PC 3 via a direct memory access circuit (DMA) 24 and a communication interface 25.
  • the processor 11 of the PC 3 is used for the actual image signal processing.
  • the image acquisition commands 14 can originate from the processor 11 (via a communication interface 13) or from an external device 15. Again, several can of the components 8, 21, 19, etc. described here can be integrated in the camera 17 in a single integrated circuit.
  • FIG. 5 A fourth embodiment of a device according to the invention is shown in FIG. 5.
  • the external image processing unit 3 does not read the desired image data from a storage unit 2, but directly from the image reading unit 1.
  • the image reading unit 1 has a suitable communication interface 19 which directly connects to the storage unit 10 Image reading unit 1 can access.
  • the communication processor 19 itself can still have a local memory.
  • This processor sends the data to the external device 3 via a communication interface 22.
  • the external device 3 is also equipped with a communication processor 22 in order to receive the data correctly and to write them into an electronic memory 12.
  • Further digital image processing means 11 are preferably provided in order to manage the image data and to send them to an external device 16 via a communication interface 13.
  • FIG. 1 A fifth embodiment of a device according to the invention is shown in FIG.
  • a single-pixel access camera 17 is also used, which sends the image data to a frame grabber 27 via a communication interface 19.
  • the frame grabber 27 receives the desired image data and is connected to an external image processing unit 3.
  • the image data are now received by a communication processor 22 in the frame grabber 27 and can be temporarily stored in a FIFO memory 23.
  • a processor 26 on the frame grabber card 27 can process the received image data and write it to the local memory 21 of the frame grabber 27.
  • the communication processor 22 can preferably also write image data directly into the memory 21. This relieves the load on the processor 11 and the memory 12 of the external device 3.
  • the processor 11 can access the image data of the frame grabber 27 as required in order to further process and archive them via a network To send communication element 13 etc. and can also write this locally into its electronic memory 12.
  • Commands or synchronization signals 14 for the image recording can either come from an external device 15, from the frame grabber 27, or from the external device 3, or can be generated internally in the single-pixel access camera.
  • the invention also relates to new programs that can be loaded in such a camera for image acquisition commands in which the shape, size, position, To interpret and implement the resolution and / or the number of image areas that have to be read in from an image sensor with single pixel access.
  • Such programs can be sold as computer products, in particular as programmed data storage media.
  • the invention also relates to programs which are carried out by an external device 3, 14 in order to send such commands to an electronic device according to the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Input (AREA)

Abstract

Elektronische Einrichtung (zum Beispiel Kamera) die folgende Komponenten umfasst: eine mit einem oder mehreren Bildsensoren (6) ausgestattete Bildlese-Einheit (1), wobei mindestens ein Bildsensor den Zugriff auf einzelne Pixels erlaubt, wobei die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie Bildaufnahme-Befehle empfangen und ausführen kann, wobei in mindestens einem benannten Bildaufnahme-Befehl die Form des Bildabschnitts (60), die aus dem benannten Bildsensor (6) eingelesen werden muss, frei definierbar ist, und wobei die benannte Bildlese-Einheit (1) nur die Bildabschnitte (60) des benannten Bildsensors (6), die der im benannten Bildaufnahme-Befehl frei definierten Form entspricht, aus dem benannten Bildsensor (6) einliest und zur Verfügung stellt.

Description

Einrichtung für das Extrahieren von frei definierbaren Bildabschnitten aus einem Bildsensor
Die vorliegende Erfindung betrifft eine elektronische Einrichtung, insbesondere eine intelligente numerische Kamera, mit welcher frei definierbare Bildabschnitte aus einem Bildsensor extrahiert werden können.
Für die digitale Verarbeitung von Bildern für Industrieprozesse, Medizinaltechnik, Videosysteme, etc. werden heutzutage spezielle Kamerasysteme eingesetzt, die aus mehreren Elementen bestehen. Ein solches System besteht aus einem Bildsensor, der mit einer Optik versehen ist. Dieser Bildsensor ist in der Lage, Bilder aufzunehmen und diese in einen digitalen Speicher abzulegen. Dabei werden die Pixelsignale die vom Bildsensor erzeugt werden über einen Analog-Digital-Wandler in digitale Bilddaten umgewandelt. Der Bildsensor(zum Beispiel in CDD, CMOS oder CID-Technik) muss mit speziellen Signalen angesteuert werden, um die Pixelwerte zu extrahieren. Oft ist ein Prozessor vorhanden, welcher die digitalen Bilddaten mit Algorithmen und Programmen verarbeiten kann. Das Ergebnis der Bilddatenverarbeitung wird über eine Kommunikationsschnittstelle an eine externe Recheneinheit übertragen (zum Beispiel an ein Steuersystem, einen Aktuator, u.s.w.). Solche Kamerasysteme, die mit einem Prozessor ausgestattet sind, welcher Bilddaten verarbeiten kann, werden als intelligente Kamera bezeichnet.
Intelligente Kameras werden oft als intelligente Sensoren in einem geschlossenen Regelkreis verwendet. Das Ergebnis der Bilddaten- Verarbeitung muss dabei in einer möglichst kurzen Durchlaufzeit einem Prozessrechner abgeliefert werden können, der das verfilmte System beeinflussen kann. Je kürzer die Durchlaufzeit und die Prozessrechenzeit ist, um so kürzer können die Abtastzeiten des Regelsystems gewählt werden. Dadurch wird das Regelsystem leistungsfähiger und schneller.
Für die intelligente Kamera bedeutet dies dass der Prozessor die
Bilddaten so schnell wie möglich verarbeiten muss. Die Verarbeitungszeit ist jedoch von der Menge der Bilddaten die verarbeitet werden müssen abhängig. Wird die Auflösung und/oder die Grosse des Bildsensors erhöht, muss oft mit einer langsameren Bilddatenverarbeitung gerechnet werden. Es muss daher ein Kompromiss zwischen der Auflösung der Kamera (Anzahl der übermittelten Pixel), der Durchlaufzeit und dem Preis gefunden werden. Bestehende intelligente Kameras haben entweder eine niedrige Auflösung (Bildqualität), eine langsame Geschwindigkeit (Durchlaufzeit) und/oder einen hohen Preis und eignen sich jeweils nur für bestimmte Zwecke.
Es ist daher ein Ziel der Erfindung, eine neue elektronische
Einrichtung anzubieten, insbesondere eine Kamera, mit welcher ein besserer Kompromiss zwischen Auflösung, Geschwindigkeit und Preis erreicht wird.
Ein anderes Ziel der Erfindung ist es, eine neue elektronische Einrichtung anzubieten, mit welcher der Kompromiss zwischen Auflösung und Geschwindigkeit zu jeder Zeit vom Benutzer geändert werden kann.
Erfindungsgemäss werden diese Ziele erreicht, indem die neue elektronische Einrichtung zu jeder Zeit möglichst schnell nur die notwendigen Bilddaten (statt alle Bilddaten vom Bildsensor) zur Verfügung stellt. Dabei können spezielle vordefinierte Bildformen (zum Beispiel Rechtecke, Kreise, Linien, Muster, usw.) extrahiert werden. Indem man nicht das gesamte Bild aus dem Bildsensor extrahiert, sondern nur frei definierbare Bildabschnitte, können die Bilddaten wesentlich schneller gelesen und weiterverarbeitet werden, ohne dass dabei eine Verminderung der Bildqualität für das ausgewählte Bildteil in Kauf genommen werden muss.
Diese Ziele ergeben sich auch aus einer elektronischen Einrichtung, die folgende Bauteile umfasst: eine Bildlese-Einheit, die mit einem oder mehreren Bildsensoren aus- gestattet ist, wobei mindestens ein Bildsensor Einzelpixelzugriffe erlaubt, wobei die benannte Bildlese-Einheit derart ausgestaltet ist, dass sie Bildaufnahme-Befehle empfangen und ausführen kann, wobei in mindestens einem benannten Bildaufnahme-Befehl die
Form des Bildabschnitts welcher extrahiert werden muss, definiert ist, und dass die benannte Bildlese-Einheit nur die Pixel des benannten Bildsensors, welcher der im benannten Bildaufnahme-Befehl definierten
Form entspricht einliest und zur Verfügung stellt.
Somit kann eine externe elektronische Einrichtung welche Bilddaten verlangt mit entsprechenden Bildaufnahme-Befehlen die Form und Grosse des aufgenommen Bildabschnitts selbst bestimmen und auf diese Weise die Geschwindigkeit der Bilddatenverarbeitung beeinflussen.
Die elektronische Einrichtung gemäss der Erfindung verwendet vorzugsweise mindestens einen Bildsensor der Einzelpixelzugriffe erlaubt. Bildsensoren mit Einzelpixel-Zugriff sind als solche bereits bekannt und sogar auf dem Markt erhältlich. Ein Beispiel eines solchen Sensors wird unter anderem in der Patentanmeldung EP-A2-935880 beschrieben, die eine Halbleiter-Schaltung vorschlägt, um einzelne Pixels schnell einzulesen. Ein anderes Beispiel ist im Patent US5933190 beschrieben. In diesem Dokument wird eine Bildsensortopologie der CMOS-Technik beschrieben, die auch den Zugriff auf einzelne Pixel erlaubt, statt nur auf ganze Bilder. Um mit einem solchen Sensor auf einen Abschnitt eines Bildes (Bildbereich) zuzugreifen, muss eine externe Vorrichtung jedes Pixel des Bildabschnitts separat adressieren, was eine hohe Rechenleistung der benannten externen Vorrichtung voraussetzt.
US5146340 beschreibt ein Bildlese- und Verarbeitungssystem, welches ermöglicht einen elektronischen Bildsensor mit zwei unterschiedlichen Geschwindigkeiten einzulesen. Dies wird gemacht, um eine gewünschte Bildzone mit der korrekten Geschwindigkeit einzulesen, während der Rest des Bildes mit einer erhöhten Geschwindigkeit eingelesen wird um dadurch schneller an den interessanten Bildteil heranzukommen. Die unbenötigten Abschnitte des Bildes werden nicht digitalisiert. Mit dieser Methode kann die Taktfrequenz des Bildeinlese- Prozesses erhöht werden. Das eingelesene Bild wird in einen Bildspeicher abgelegt. Dieser Bildspeicher kann nach dem Umschalten der Busse durch einen Prozessor eingelesen und verarbeitet werden. Alle Pixel, auch die gar nicht benötigten, werden eingelesen.
US5060074 schlägt eine Bildlese-Einheit für eine Videokamera vor, welche wie in Patent US 5146340 ermöglicht, das Bildfeld in zwei verschiedenen Geschwindigkeiten einzulesen. Dies wird gemacht um eine interessante Bildzone schneller einzulesen als das gesamte Bild. Damit können durch den Kamerabenutzer verursachten Vibrationen des Bildes wurden ausgeglichen werden. Die interessante Bildzone kann ohne vertikale oder horizontale Verschiebung dargestellt werden. Auch hier werden aber stets alle Pixel eingelesen.
Im folgenden werden anhand der beigefügten Zeichnungen bevorzugte Ausführungsbeispiele der Erfindung näher beschrieben. Es zeigen:
Fig. 1 eine einfache schematische Darstellung einer Ein- richtung gemäss der Erfindung, aufgeteilt in eine Bildlese-Einheit, eine Speichereinheit und eine externe elektronische Einrichtung.
Fig. 2 eine schematische Darstellung einer ersten Ausführungsform einer Einrichtung gemäss der Erfindung.
Fig. 3 eine schematische Darstellung einer zweiten Ausführungsform einer Einrichtung gemäss der Erfindung (in diesem Beispiel als intelligente Kamera).
Fig. 4 eine schematische Darstellung einer dritten Ausführungsform einer Einπchtung gemäss der Erfindung, mit einem PC welcher mit einer Framegrabber-Karte mit DMA PC-Speicher-Zugriff ausgerüstet ist und mit einer Einzel-Pixel-Zugriff Kamera.
Fig. 5 eine schematische Darstellung einer vierten Ausführungsform einer Einrichtung gemäss der Erfindung, mit einer Einzel- Pixel-Zugriff-Kamera mit einer schnellen Kommunikationsschnittstelle, welche die verlangten Pixel direkt und ohne Zwischenspeicherung an eine externe elektronische Einπchtung sendet.
Fig. 6 eine schematische Darstellung einer fünften Ausführungsform einer Einrichtung gemäss der Erfindung, mit einem PC welcher mit einer Framegrabber-Karte mit eigenem Buffer Speicher ausgerüstet ist und mit einer Einzel-Pixel-Zugriff Kamera.
Fig. 7 eine schematische Darstellung der Parameter, die in einem Bildaufnahme-Befehl benötigt werden um einen rechteckigen Bildabschnitt zu definieren.
Fig. 8 eine schematische Darstellung der Parameter, die in einem Bildaufnahme-Befehl benötigt werden, um einen parallelogramm- förmigen Bildabschnitt zu definieren.
Fig. 9 eine schematische Darstellung der Parameter, die in einem Bildaufnahme-Befehl benötigt werden um einen elliptischen Bildabschnitt zu definieren.
Die Figur 1 zeigt ein Bildsignal-Verarbeitungssystem mit drei Elementen 1, 2 und 3. Mit 1 ist eine Bildlese-Einheit schematisch dargestellt, die mittels einer Optik 4 aufgenommene Video Bilddaten in eine Speichereinheit 2 schreiben kann. Die Bildlese-Einheit 1 kann vorzugsweise auch den Inhalt der Speichereinheit 2 lesen. Die Bildlese-Einheit 1, die Optik 4 und die Speichereinheit 2 sind vorzugsweise im selben (nicht dargestellten) Kamera-Gehäuse untergebracht. Eine externe elektronische Einrichtung 3 (zum Beispiel ein PC, ein Video-Recorder oder ein Prozessrechner) kann über eine Kommunikationsschnittstelle auf die Bilddaten in der Speichereinheit 2 zugreifen und vorzugsweise auch Daten (unter anderem Bildaufnahme-Befehle) in diese Einheit schreiben.
Die externe elektronische Einrichtung 3 kann mit Befehlen die in die Speichereinheit geschrieben werden und/oder mit einem Synchronisationssignal über die Kommunikationsschnittstelle 14 von der Bildlese- Einheit 1 verlangen, dass sie einen Abschnitt des gesamten Bildes mit einer definierten Form in die Speichereinheit 2 schreibt. Synchronisationssignale können auch von einem beliebigen externen Gerät 15 stammen. Die Bildlese-Einheit verfügt über einen Bildsensor, der auf jedes einzelne Pixel direkt zugreifen kann. Damit kann die Bildlese-Einheit spezielle Bildformen wie rechteckige Formen, Kreise, mehrere parallele Linien und beliebige andere Bildformen in die Speichereinheit 2 ablegen, ohne das unbenutzte Pixel eingelesen werden müssen. Da nur die benötigten Pixel eingelesen werden, kann die Einlese- und Verarbeitungszeit der Bildlese-Einheit wesentlich reduziert werden. Die Kamera mit den Einheiten 2 und 3 stellt somit nur jene Pixel zur Verfügung die zur Bildform gehören, die von der externen Einrichtung 3, 15 bestimmt wurde. Die Bildfrequenz ist von der Grosse und Art der verlangten Form abhängig, so dass eine externe Vorrichtung 3, 15 die Bildfrequenz selbst erhöhen kann, indem sie beispielsweise einen kleineren Bildabschnitt extrahieren lässt.
Die Bildlese-Einheit 1 verfügt über weiter unten beschriebene programmierbare Datenverarbeitungsmittel zur Erzeugung der Adressen- und Timing-Signale, die den Treiber des Bildsensors in Abhängigkeit vom der verlangten Bildabschnitt steuern. Diese Verarbeitungsmittel können vorzugsweise auch gewisse Bildverarbeitungs-Algorithmen zur
Bilderverarbeitung einsetzen, beispielsweise um Bilder zu kalibrieren, um ein Festrauschen zu eliminieren, um Bilder mit einem Schwellwert zu binarisieren, um Konturen im Bild zu ermitteln, oder um Objekten in einer Bildsequenz zu folgen. Die Verarbeitungsmittel in der Bildlese-Einheit umfassen vorzugsweise einen Mikroprozessor und/oder einen digitalen Signalprozessor (DSP), um diese Algorithmen durchzuführen. Neue Programme können über die Speichereinheit 2, über eine andere Schnittstelle oder auf einen Datenträger (zum Beispiel eine PC-Card) geladen werden. Für die Kalibrierung kann ein in einem elektronischem Speicher gespeichertes Kalibrierungsbild verwendet werden. Wenn ein Befehl oder Synchronisationssignal zur Bildaufnahme empfangen wird, werden die gewünschten Bilddaten adressiert und mit dem Kalibrierungsbild kalibriert, bevor die neuen Bilddaten als kalibrierte Bilder zur Verfügung gestellt werden. Die Figur 2 zeigt eine detaillierte Darstellung einer ersten Ausführungsform einer Einrichtung gemäss der Erfindung. Die Bildlese-Einheit 1 mit Datenverarbeitungsmitteln 8,9 und die Speichereinheit 2 sind vorzugsweise in ein gemeinsames Gehäuse integriert. Eine solche Kombination wird als intelligente Kamera bezeichnet, da die Kamera gewisse Bildsignal-Verarbeitungsschritte ohne externen Prozessor ausführen kann.
Die Bildlese-Einheit 1 besteht aus einem Bildsensor 6 mit Einzelpixelzugriff aus einer Optik 4 um das Licht zu fokussieren, aus einem Treiber 5 und aus einem analog-digital Wandler 7. Programmierbare Datenverarbeitungsmittel 8 (zum Beispiel ein oder mehrere Prozessoren und/oder DSP, oder eine FPGA-Schaltung) generieren die Adressen und die Timing-Signale die den Treiber 5 derart steuern, dass nur die benötigten Pixel im Bildsensor 6 gelesen werden. Andere Bildverarbeitungsoperationen können durchgeführt werden (beispielsweise eine Bildkalibrierung, die Binarisierung des Bildes, die Berechnung der Konturen, eine Hoch- oder Tiefpass-Filterung, oder die Folge von Objekten auf nacheinanderfolgenden Bildern einer Bildsequenz). Die Datenverabeitungs- mittel 8 verwenden einen lokalen elektronischen Speicher 9 (zum Beispiel eine RAM), um die verschiedenen Programme auszuführen.
Die Speichereinheit 2 besteht in dieser Ausführungsform aus mehreren Speichermodulen 21. Damit kann die Bildlese-Einheit 1 auf ein Speichermodul zugreifen, während die elektronische Einrichtung 3 gleichzeitig auf ein anderes Modul zurückgreift.
Nur die benötigten Pixel werden vom Bildsensor 6 mit dem
Treiber 5 eingelesen und mit dem AD-Wandler 7 digitalisiert und entweder in den internen Speicher 9 oder direkt in einen Speicher 21 der Speichereinheit 2 geschrieben. Die Bildaufnahme erfolgt auf einen Befehl oder ein Synchronisationssignal 14 an den Prozessor 8. Dieser Befehl kann vom Prozessor 1 1 der externen Einrichtung 3 stammen, aber auch von einem anderen externen Gerät 15. Die externe elektronische Einrichtung 3 besteht hier aus einem Prozessorsystem, welches die gewünschten Bilderdaten von den Speichermodulen 21 der Speichereinheit 2 liest und weiterverarbeitet. Dieses Prozessorsystem 3 kann die Bildlese-Einheit 1 über die Kommunikations- Schnittstelle 14 oder über in der Speichereinheit 2 gespeicherte Befehle mitteilen, welcher Bildabschnitt benötigt wird. Es ist aber auch möglich, dass die Bildaufnahme-Befehle von einer anderen, externen Einrichtung 15 kommen, oder dass sie von der Bildlese-Einheit 1 selber generiert werden. Die Bildverarbeitungseinheit 3 kann die Bilddaten in der Speichereinheit 2 lesen und in einen lokalen Speicherbereich 12 speichern 12. Weitere digitale Verarbeitungsmitteln 1 1 sind vorzugsweise vorhanden, um die Bilddaten zu verwalten und um diese über eine Kommunikationsschnittstelle 13 an eine externe Vorrichtung 16 zu senden.
Vorzugsweise besteht ein Kommunikationsprotokoll, um die Bildaufnahme-Befehle zu definieren welche von der externen elektronischen Einrichtung 3 an die Bildlese-Einheit 1 gesendet werden, um auf einen bestimmten Bereich des Bildsensors 6 zuzugreifen. Diese Befehle sollen flexibel, für den Programmierer leicht zu verstehen und von den Datenverarbeitungsmitteln 8 rasch interpretierbar sein. Mit diesen Befehlen sollen alle von der Bildlese-Einheit 1 unterstützen Bildaquisitionsmodi eingegeben werden können. Ein Befehlinterpretierer (zum Beispiel ein geeignetes vom Prozessor 8 ausgeführtes Programm) interpretiert diese Befehle und greift auf die den gewünschten Bildabschnitt zugehörigen Pixels des Bildsensors 6 zu, indem es in Echtzeit zur Pixelextrahierung die Adressen und Timingsignale für den Treiber 6 generiert.
Die Bildlese-Einheit 1 kann mindestens folgende Bildeinlesemodi unterstützen. Jeder Modus wird mit einem entsprechenden Bildaufnahme- Befehl gestartet:
1. Extrahieren von rechteckigen Bildfenstern im rechteck-Modus
Dieser Einlesemodus ist auf der Figur 7 schematisch dargestellt.
Auf dieser Figur werden die Pixels 60 die eingelesen werden müssen scharfiert während andere Pixels 61 weiss dargestellt sind. Dieser Modus erlaubt, eine gewisse Anzahl (1 bis zu einer maximalen Anzahl) von rechteckigen Bildflächen aus dem Bildsensor 6 einzulesen. In diesem Modus kann auch die gesamte Bildfläche eingelesen werden. Alle Pixel der Rechtecke können eingelesen werden; als Variante können aber auch in regelmässigen Intervallen in der horizontalen X bzw. vertikalen Y Richtung eine gewisse Anzahl von Zeilen bzw. Spalten ausgelassen werden. Im dargestellten Beispiel wird nur jede zweite Spalte und nur jede Zeile des zweitgrössten Rechtecks eingelesen. Diese Lücken erlauben, die gewünschten Bilderabschnitte mit einer reduzierten Auflösung einzulesen. Dabei kann die Auflösung jedes Bildabschnitts unterschiedlich gewählt werden. Das Verhältnis zwischen der Anzahl ausgelassener und gelesener Pixel in jeder Richtung wird als Downsampling-Faktor definiert.
Solche Parameter können in den Bildaufnahme-Befehlen eingegeben werden, um das Einlesen im Rechteck-Modus anzuwählen:
1. Anzahl einzulesender Rechtecke (im dargestellten Beispiel 2)
2. Horizontale Koordinaten Pxi des ersten Pixels (ein Eckpixel des Rechtecks) von jedem Rechteck i.
3. Vertikale Koordinaten Pyi des ersten Pixels (ein Eckpixel des Rechtecks) von jedem Rechteck i.
4. Anzahl ai gelesene Zeilen in der horizontalen Richtung X für jedes Rechteck i. Der Parameter ai muss grösser als Null sein.
5. Anzahl di ungelesener Zeilen in der horizontalen Richtung
X für jedes Rechteck i. 6. Anzahl bi gelesene Spalten in der vertikalen Richtung X für jedes Rechteck i. Der Parameter bi muss grösser als Null sein.
7. Anzahl ci nicht gelesener Spalten in der vertikalen Richtung X für jedes Rechteck i.
2. Extrahieren von einem paralleloqramm-förmiqen Bildfenster im Parallelogramm-Modus.
Dieser Einlesemodus ist auf der Figur 8 schematisch dargestellt. Dieser Modus erlaubt es, eine gewisse Anzahl (1 bis zu einer maximalen Anzahl) von parallelen Linien in jeder beliebigen Richtung aus dem Bildsensor 6 einzulesen. Wie im Rechteckmodus kann auch hier ein Downsampling-Faktor in der horizontalen und in der vertikalen Richtung definiert werden.
Folgenden Parameter können verwendet werden, um das Einlesen im Parallelogramm-Modus anzuwählen:
1. Anzahl einzulesender Parallelogramme (im dargestellten Beispiel 1)
2. Horizontale Koordinaten Px des ersten Pixels (ein Eckpixel des Parallelogramms) von jedem Parallelogramm.
3. Vertikale Koordinaten Py des ersten Pixels (ein Eckpixel des
Parallelogramms) von jedem Parallelogramm.
4. Anzahl a nicht gelesener Pixel zwischen jeder gelesenen Spalte in der horizontalen Richtung.
5. Anzahl b der Pixel in jeder gelesenen Spalte.
6. Anzahl c der gelesenen Spalten 7. Anzahl d nicht gelesener Pixel zwischen jeder gelesenen Zeile in der vertikalen Richtung.
8. Anzahl e der Pixel in jeder gelesenen Zeile.
9. Anzahl f der gelesenen Zeilen
10. Verschiebung g des Parallelogramms in der horizontalen
Richtung. Ist der Parameter g negativ, so ist das Parallelogramm von links unten nach rechts oben orientiert. Mit g=0 können rechteckige Bildformen eingelesen werden. Ist der Parameter g positiv, so ist das Parallelogramm von links oben nach rechts unten orientiert, wie in der Figur 8
3. Extrahieren von einer oder mehreren Ellipsen, im elliptischen
Modus.
Dieser Einlesemodus ist auf der Figur 9 schematisch dargestellt. Dieser Modus erlaubt, eine gewisse Anzahl (1 bis zu einer maximalen Anzahl) von elliptischen (zum Beispiel kreisförmigen) Bildabschnitten aus dem Bildsensor 6 einzulesen. Im dargestellten Beispiel werden nur konzentrische Ellipsen definiert. Es wäre aber auch möglich, Bildaufnahme- Befehle vorzusehen, mit welchen nicht-konzentrische Ellipsen in welchen eventuell auch ein Downsampling-Faktor in der horizontalen und in der vertikalen Richtung definiert ist, angegeben werden könnten.
Folgenden Parameter können verwendet werden, um das Einlesen im elliptischen Modus anzuwählen:
1. Anzahl a einzulesender konzentrischer Ellipsen (im dargestellten Beispiel 2)
1. Horizontale Adresse Px des Mittelpunkts aller konzentrischen Ellipsen. 2. Vertikale Adresse Py des Mittelpunkts aller konzentrischen Ellipsen.
3. Anzahl bi der Pixel in der grossen Halbachse aller Ellipsen.
4. Anzahl ci der Pixel in der kleinen Halbachse aller Ellipsen.
5. Als Option: Orientierung der grossen Halbachse, wenn diese nicht horizontal ist.
6. Als Option: Downsampling-Faktor in der horizontalen und vertikalen Richtung.
Eine schnellere Bildeinlese kann erreicht werden, wenn alle Ellipsen konzentrisch sind und wenn da Verhältnis kleine Halbachse zu grösser Halbachse während einer Bildaquisition für alle Ellipsen gleich ist.
2. Von der Bildlese-Einheit definierte Einlesemodi
Um die Speichereinheit 2 und die externe Einrichtung 3 weiter zu entlasten ist es auch möglich, dass die Bildlese-Einheit 1 selber die Anzahl, die Grosse, die Position, die vertikale und horizontale Auflösung und die Form der eingelesenen Bildabschnitten anhand von abstrakteren Befehlen bestimmt. Diese Parameter können auch dynamisch (zum Beispiel in Echtzeit und/oder zwischen jedem Bild) angepasst werden. Ein von den Datenverarbeitungsmitteln ausgeführtes Programm bestimmt zu jeder Zeit, welcher Bereich des Bildsensors 6 eingelesen werden muss. Folgende Bedingungen können Anpassungen des Bildabschnitts verursachen:
Bildobjekt-Verfolgung: Die Datenverarbeitungsmittel 8 der Bildlese-Einheit 1 können einen Bildobjekt-Verfolgungsalgorithmus ausführen, um ein gleiches Objekt auf nacheinanderfolgenden Bildern einer Bildsequenz zu identifizieren und zu verfolgen. Die Bildlese-Einheit kann dabei nur die Pixel die zum verfolgten Objekt gehören aus dem Bildsensor extrahieren und zur Verfügung stellen. Die Form des eingelesenen Bildabschnitts kann dynamisch an die Form des Objekts angepasst werden und ist nicht auf Rechtecke, Parallelogramme und Ellipsen begrenzt.
Anpassung an die Optik: Die Auflösung kann an die Qualität der Optik, an die verwendeten Fokale, an den Zoomfaktor, an die Öffnung des
Diaphragmas, an die Fokuseinstellung usw, automatisch angepasst werden.
Anpassung in Abhängigkeit von Kamera-Steuerunqsbefehlen: die Bildabschnitte, insbesondere die Auflösung der Bildabschnitten, können angepasst werden, wenn zum Beispiel Zoom-, Panning- oder Tilt- Bewegungen durchgeführt werden, oder wenn die Fokuseinstellung automatisch oder manuell geändert wird.
Anpassung in Abhängigkeit von Triggern, die von externen Trigqerqeräten erzeugt werden: Die Kamera kann eine Schnittstelle enthalten, um externe Triggersignale zu empfangen. Die Einleseparameter können automatisch geändert werden, wenn ein neues Triggersignal empfangen wird. Damit können die Einlesebedingungen an externe Ereignisse angepasst werden,
Anpassung an den Inhalt des Bildes: Die Auflösung, der eingelesene Bildabschnitt usw, können automatisch dynamisch angepasst werden, wenn sich der Inhalt der aufgenommenen Bilder ändert. Es ist beispielsweise möglich, automatisch einen neuen Bildabschnitt zu extrahieren, wenn ein Ereignis in diesem Bildabschnitt detektiert wird.
Um auf Ereignisse zu reagieren, die in zusätzlichen nicht extrahierten Bildabschnitten passieren, ist es in einer Ausführungsform möglich, diese zusätzliche Bildabschnitte mit einer langsameren Abtast- Frequenz einzulesen und die dabei erhaltenen zusätzlichen Bilddaten für die Überwachung von Ereignissen zu verwenden, ohne sie ausserhalb der Bildlese-Einheit zur Verfügung zu stellen. Mit diesen Bildmodi kann der Bildlese-Einheit mit einem Befehl mitgeteilt werden, was für einen Bildabschnitt benötigt wird. In einer bevorzugten Ausführungsform können mindestens gewisse der folgenden Parameter in mindestens gewissen Bildaufnahme-Befehlen eingegeben werden:
■ Abtastzeit (100ns, 200ns usw.). Als Variante oder für bestimmte Befehle kann der Befehl-Interpretierer stets automatisch die schnellst mögliche Abtastzeit für die gewünschte Bildform auswählen. Als andere Variante wird immer denselben Bildbereich gelesen, und die
Bildaufnahme wird durch das externe Synchronisationssignal 14 getaktet.
■ Auflösung des AD-Wandlers 7 (6, 8, 10 oder 12 Bit usw.).
■ Integrationszeit der Pixel (10μs, 100μs, 1 ms usw.).
■ Mit oder ohne elektronischen Shutter.
■ Steuersignale für einen eventuellen mechanischen Shutter.
■ Steuersignale für das Objektiv 4 wie Zoomeinstellung, Iris und Fokus.
■ Lineare oder logarithmische Antwortkurve (Auslese- Spannung in Abhängigkeit der Lichtintensität) der Pixel.
■ Mit oder ohne Bildkalibrierung (um das Festrauschen zu limitieren usw.).
■ Mit oder ohne Vorverarbeitung der zu lesenden Bilddaten, die Vorverarbeitung kann Algorithmen beinhalten wie Kantendetektion, Hoch- und Tiefpassfilterung usw. Eine zweite Ausführungsform einer Einrichtung gemäss der Erfindung ist auf der Figur 3 dargestellt. In dieser Variante sind alle Komponenten, die früher in Zusammenhang mit der Figur 2 beschrieben wurden, in einem einzigen Gehäuse integriert. Eine solche Vorrichtung kann als intelligente Kamera bezeichnet werden und kann durch eine Schnittstelle 13 mit externen Geräten 16 verbunden werden. Dabei können mehreren der hier beschriebenen Komponenten 8, 21, usw., in einer einzigen integrierten Schaltung integriert werden.
Eine dritte Ausführungsform einer Einrichtung gemäss der Erfin- düng ist auf der Figur 4 dargestellt. In dieser Variante sind die Bildlese- Einheit 1 und die Speichereinheit 2 in ein gemeinsames Gehäuse 17 integriert. Eine solche Einrichtung kann als Einzel-Pixel-Zugriff-Kamera bezeichnet werden. Die Bildlese-Einheit umfasst die gleichen Komponenten wie die Variante der Figur 2. Zusätzlich zur Bildlese-Einheit 1 und zur Speichereinheit 2 ist eine Kommunikationsschnittstelle 19 mit einem Kommunikationsprozessor implementiert, welcher es ermöglicht, die Bilddaten von der Einzel-Pixel-Zugriff-Kamera 17 über einen "Framegrabber 27 (Datenempfangseinheit) an eine externe Einrichtung 3 zu senden. Die externe elektronische Einrichtung 3 kann ein Prozessorsystem sein (beispielsweise ein PC), in welchem die Framegrabber- Karte 27 installiert ist.
Die von der Bildlese-Einheit eingelesenen Bilddaten werden über einen schnellen Datenbus an den Framegrabber 27 gesendet. Der Framegrabber 27 verfügt über eine zweite Kommunikationsschnittstelle mit einem Kommunikationsprozessor 22, um diese Daten zu empfangen. Die Bilddaten werden dann in einen FIFO-Speicher 23 zwischengespeichert und über eine direkte Speicherzugriffschaltung (DMA) 24 und eine Kommunikationsschnittstelle 25 in den elektronischen Speicher 12 des PC 3 geschrieben. Der Prozessor 11 des PC's 3 wird dabei für die eigentliche Bildsignalverarbeitung verwendet. Die Bildaufnahme-Befehle 14 können vom Prozessor 11 (über eine Kommunikationsschnittstelle 13) oder auch von einer externen Einrichtung 15 stammen. Auch hier können mehreren der hier beschriebenen Komponenten 8, 21, 19, usw. in der Kamera 17 in einer einzigen integrierten Schaltung integriert werden.
Eine vierte Ausführungsform einer Einrichtung gemäss der Erfindung ist auf der Figur 5 dargestellt. In dieser Variante liest die externe Bildverarbeitungs-Einheit 3 die gewünschten Bilddaten nicht aus einer Speichereinheit 2, sondern direkt aus der Bildlese-Einheit 1. Zu diesem Zweck verfügt die Bildlese-Einheit 1 über eine geeignete Kommunikationsschnittstelle 19, die direkt auf die Speichereinheit 10 der Bildlese-Einheit 1 zugreifen kann. Der Kommunikationsprozessor 19 kann selber noch über einen lokalen Speicher verfügen. Dieser Prozessor sendet die Daten über eine Kommunikationsschnittstelle 22 an die externe Einrichtung 3. Die externe Einrichtung 3 ist auch mit einem Kommunikationsprozessor 22 ausgestattet, um die Daten korrekt zu empfangen und sie in einen elektronischen Speicher 12 zu schreiben. Weitere digitale Bilderverarbeitungsmittel 11 sind vorzugsweise vorhanden, um die Bilddaten zu verwalten und um diese über eine Kommunikationsschnittstelle 13 an eine externe Vorrichtung 16 zu senden.
Eine fünfte Ausführungsform einer Einrichtung gemäss der Erfindung ist auf der Figur 6 dargestellt. In dieser Variante wird auch eine Einzel-Pixel-Zugriff-Kamera 17 verwendet, welche die Bilddaten über eine Kommunikationsschnittstelle 19 an einen Framegrabber 27 sendet. Der Framegrabber 27 empfängt die gewünschten Bilddaten und ist mit einer externen Bildverarbeitungseinheit 3 verbunden. Die Bilddaten werden nun von einem Kommunikationsprozessor 22 im Framegrabber 27 empfangen und können temporär in einem FIFO-Speicher 23 zwischengespeichert werden. Ein Prozessor 26 auf der Framegrabberkarte 27 kann die empfangenen Bilddaten verarbeiten und in den lokalen Speicher 21 des Framegrabbers 27 schreiben. Vorzugsweise kann auch der Kommunikationsprozessor 22 Bilddaten direkt in den Speicher 21 schreiben. Damit wird der Prozessor 11 und der Speicher 12 der externen Einrichtung 3 entlastet. Der Prozessor 11 kann nach Bedarf auf die Bilddaten des Framegrabbers 27 zurückgreifen, um diese weiter zu verarbeiten, zu archivieren, über ein Netzwerk an ein Kommunikationselement 13 zu senden usw. und kann diese auch lokal in seinen elektronischen Speicher 12 schreiben.
Befehle oder Synchronisationssignale 14 für die Bildaufnahme können entweder von einer externen Einrichtung 15, vom Framegrabber 27, oder von der externen Einrichtung 3 stammen, oder intern in der Einzel- Pixel-Zugriff-Kamera generiert werden.
Neben die neue Einrichtung 1, 2, beispielsweise in der Form einer neuen intelligenten Kamera, betrifft die Erfindung auch neue Programme, die in einer solchen Kamera geladen werden können, um Bildaufnahme- Befehle, in welchen die Form, die Grosse, die Position, die Auflösung und/oder die Anzahl von Bildbereichen, die aus einem Bildsensor mit Einzelpixelzugriff eingelesen werden müssen, zu interpretieren und durchzuführen. Solche Programme können als Computerprodukten, insbesondere als programmierte Datenspeichermedien, vertrieben werden. Die Erfindung betrifft ebenfalls Programme, die von einer externen Vorrichtung 3, 14 durchgeführt werden, um solche Befehle an eine elektronische Einrichtung gemäss der Erfindung zu senden.

Claims

Ansprüche
1. Elektronische Einrichtung, die folgende Komponenten umfasst: eine mit einem oder mehreren Bildsensoren (6) ausgestattete Bildlese- Einheit (1), wobei mindestens ein Bildsensor den Zugriff auf einzelne Pixels erlaubt, wobei die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie Bildaufnahme-Befehle empfangen und ausführen kann, dadurch gekennzeichnet, dass in mindestens einem benannten Bildaufnahme-Befehl die Form des Bildabschnitts (60), welcher aus dem benannten Bildsensor (6) eingelesen werden muss, frei definierbar ist, und dass die benannte Bildlese-Einheit (1) nur die Bildabschnitte (60) des benannten Bildsensors (6), die der im benannten Bildaufnahme-Befehl frei definierten Form entsprechen, aus dem benannten Bildsensor (6) einliest und zur Verfügung stellt.
2. Elektronische Einrichtung gemäss Anspruch 1, mit einer von der benannten Bildlese-Einheit (1) beschreibbaren und von einer externen elektronischen Einrichtung (3) lesbaren Speichereinheit (2) um die aus dem benannten Bildsensor (6) eingelesenen Bildabschnitte zu speichern.
3. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis 2, in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie Bildaufnahme-Befehle von einer externen Einrichtung (3) empfangen kann.
4. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis 3, in welcher die benannte Bildlese-Einheit (1) Bildaufnahme-Befehle selber erzeugen kann.
5. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis 4, in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie Bildaufnahme-Befehle die Bildabschnitte mit mehreren Pixels enthalten, ausführen kann.
6. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis 5, in welcher die Grosse, die Position, die Auflösung und/oder die Anzahl der aus dem benannten Bildsensor (6) eingelesenen Bildabschnitte (60) im benannten Bildaufnahme-Befehl frei definierbar sind.
7. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis 6, in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie Befehle zum Lesen von frei definierbaren rechteckigen Bildabschnitten aus dem benannten Bildsensor (6) interpretieren und durchführen kann.
8. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis 7, in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie
Befehle zum Lesen von frei definierbaren Parallelogrammen aus dem benannten Bildsensor (6) interpretieren und durchführen kann.
9. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis 8, in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie Befehle zum Lesen von frei definierbaren Ellipsen aus dem benannten Bildsensor (6) interpretieren und durchführen kann.
10. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis 9, in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie Befehle zum Lesen von frei definierbaren Bildabschnitten mit einer frei definierbaren Auflösung interpretieren und durchführen kann.
11. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis
10, in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie Befehle zum Lesen von einer frei definierbaren Anzahl von getrennten Bildabschnitten interpretieren und durchführen kann.
12. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis
1 1, in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie die Form, die Position, die Grosse, die Auflösung und/oder die Anzahl des aus dem Bildsensor (6) gelesenen Bildabschnitts (60) an den Inhalt des Bildes selbst anpassen kann.
13. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis
12, in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie die Form, die Position, die Grosse, die Auflösung und/oder die Anzahl des aus dem Bildsensor (6) gelesenen Bildabschnitts (60) an die Optik (4) selbst anpassen kann.
14. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis
13, in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie die Form, die Position, die Grosse, die Auflösung und/oder die Anzahl des aus dem Bildsensor (6) gelesenen Bildabschnitts (60) selbst anpassen kann, wenn externe Triggersignale empfangen werden.
15. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis
14, mit einem Kommunikationsprozessor (19), um die aus dem benannten Bildsensor gelesenen Bilddaten einer externen Vorrichtung (2, 3) zur Verfügung zu stellen.
16. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis
15, mit Bilddatenverarbeitungsmitteln (8), um aus dem benannten Bildsensor (6) gelesene Bilddaten zu verarbeiten.
17. Elektronische Einrichtung gemäss dem Anspruch 16, in welcher die benannten Datenverarbeitungsmittel derart ausgestaltet sind, dass sie mindestens gewisse der folgenden Bildverarbeitungsoperationen durchführen können: Kalibrieren mit einem Kalibrierungsbild, Binarisierung mit einem Schwellwert, Kantendetektion, Filtrierung.
18. Computerprogrammprodukt, das in den Speicher (9) einer elektronischen Einrichtung gemäss einem der Ansprüche 1 bis 17 ladbar ist, und welches Softwarekodeportionen umfasst, um Bildaufnahme-Befehle zu empfangen und derart zu interpretieren, dass nur die Bildabschnitte eines Bildsensors (6) adressiert werden, die der in diesen Bildaufnahme-Befehlen definierten Form entsprechen.
19. Computerprogrammprodukt, das in den Speicher einer elektronischen Einrichtung (3; 16; 15) ladbar ist, und welches Softwarekodeportionen umfasst, um Bildaufnahme-Befehle zu erzeugen, die an elektronische Einrichtungen gemäss einem der Ansprüche 1 bis 17 gesendet werden können, um die Form eines Bildabschnitts (60) zu definieren, welche von dieser Einrichtung zur Verfügung gestellt werden muss.
PCT/CH2002/000140 2001-03-09 2002-03-07 Einrichtung für das extrahieren von frei definierbaren bildabschnitten aus einem bildsensor WO2002073951A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP02701140A EP1366619A1 (de) 2001-03-09 2002-03-07 Einrichtung für das extrahieren von frei definierbaren bildabschnitten aus einem bildsensor
US10/654,882 US20040041916A1 (en) 2001-03-09 2003-09-05 Equipment for extracting freely definable image sections from an image sensor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CH436/01 2001-03-09
CH4362001 2001-03-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US10/654,882 Continuation US20040041916A1 (en) 2001-03-09 2003-09-05 Equipment for extracting freely definable image sections from an image sensor

Publications (1)

Publication Number Publication Date
WO2002073951A1 true WO2002073951A1 (de) 2002-09-19

Family

ID=4515078

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CH2002/000140 WO2002073951A1 (de) 2001-03-09 2002-03-07 Einrichtung für das extrahieren von frei definierbaren bildabschnitten aus einem bildsensor

Country Status (3)

Country Link
US (1) US20040041916A1 (de)
EP (1) EP1366619A1 (de)
WO (1) WO2002073951A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004071069A2 (en) * 2003-02-03 2004-08-19 Goodrich Corporation Random access imaging sensor

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8068154B2 (en) * 2004-05-01 2011-11-29 Eliezer Jacob Digital camera with non-uniform image resolution
KR20180092621A (ko) * 2017-02-10 2018-08-20 엘지전자 주식회사 단말기 및 그 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5262871A (en) * 1989-11-13 1993-11-16 Rutgers, The State University Multiple resolution image sensor
WO1998037516A1 (en) * 1997-02-21 1998-08-27 The Board Of Regents Of The University And Community College System Of Nevada, On Behalf Of The University Of Nevada-Reno Method and system for computerized high-rate image processing
JPH10276367A (ja) * 1996-07-31 1998-10-13 Olympus Optical Co Ltd 撮像表示システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5060074A (en) * 1989-10-18 1991-10-22 Hitachi, Ltd. Video imaging apparatus
US5146340A (en) * 1991-06-17 1992-09-08 Georgia Tech Research Corporation Image data reading and processing apparatus
US5452004A (en) * 1993-06-17 1995-09-19 Litton Systems, Inc. Focal plane array imaging device with random access architecture
US5933190A (en) * 1995-04-18 1999-08-03 Imec Vzw Pixel structure, image sensor using such pixel structure and corresponding peripheral circuitry
DE19748004A1 (de) * 1996-10-31 1998-06-25 Stuttgart Mikroelektronik Linear ausgerichtete lichtempfindliche Sensoreinheit für eine elektronische, farbfähige Kamera mit zeilenförmig angeordneten Bildpunkten sowie Verfahren zum Auslesen der Bildpunkte
US6646757B1 (en) * 1997-07-15 2003-11-11 Silverbrook Research Pty Ltd Garment design and fabric printing system utilizing digitally encoded design cards
JP4443735B2 (ja) * 2000-07-11 2010-03-31 富士フイルム株式会社 撮像装置およびその動作制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5262871A (en) * 1989-11-13 1993-11-16 Rutgers, The State University Multiple resolution image sensor
JPH10276367A (ja) * 1996-07-31 1998-10-13 Olympus Optical Co Ltd 撮像表示システム
WO1998037516A1 (en) * 1997-02-21 1998-08-27 The Board Of Regents Of The University And Community College System Of Nevada, On Behalf Of The University Of Nevada-Reno Method and system for computerized high-rate image processing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PATENT ABSTRACTS OF JAPAN vol. 1999, no. 01 29 January 1999 (1999-01-29) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004071069A2 (en) * 2003-02-03 2004-08-19 Goodrich Corporation Random access imaging sensor
WO2004071069A3 (en) * 2003-02-03 2005-03-24 Goodrich Corp Random access imaging sensor
US7223954B2 (en) 2003-02-03 2007-05-29 Goodrich Corporation Apparatus for accessing an active pixel sensor array

Also Published As

Publication number Publication date
EP1366619A1 (de) 2003-12-03
US20040041916A1 (en) 2004-03-04

Similar Documents

Publication Publication Date Title
DE3111027C2 (de)
DE60123088T2 (de) Verahren zur automatischen belichtungssteuerung
DE102015015638B4 (de) Vorrichtung und Verfahren zum Übertragen von Artikeln unter Verwendung eines Roboters
DE69834918T2 (de) Anordnung zur automatischen Erfassung und Verarbeitung von optischen Codes
DE3305710C2 (de) Schaltungsanordnung zur Merkmalserkennung bei auf einem Bildschirm darstellbaren Objekten
DE102004002237B4 (de) Bewegungserfassungskamerasystem
US5068906A (en) Processor for extracting and memorizing cell images
DE60123534T2 (de) Gerät zum Verfolgen eines sich bewegenden Objekts
DE3117870A1 (de) Videoueberwachungssystem
EP1583022A2 (de) Verfahren und Anordnung zur Aufnahme interessierender Bereiche von beweglichen Objekten
DE60103131T2 (de) Verfahren und vorrichtung zur automatischen wahrnehmung
EP0298250A1 (de) Flexible Erkennung von Objektstrukturen in Farb- und Grauwertbildern
WO2002073951A1 (de) Einrichtung für das extrahieren von frei definierbaren bildabschnitten aus einem bildsensor
DE69721520T2 (de) System mit einem Photosensor, insbesonder zur Zeitmessung bei Wettkämpfen, und Einstellverfahren zum Ausrichten eines solchen Systems auf eine Ziellinie
CH666970A5 (de) Anordnung und verfahren zur automatischen steuerung von luftbildaufnahmekameras.
DE102014209623B4 (de) Bildverarbeitungsvorrichtung, Steuerverfahren, und Programm
DE102018201909A1 (de) Verfahren und Vorrichtung zur Objekterkennung
DE2817341A1 (de) Optisches handlesegeraet fuer maschinelle zeichenerkennung
DE102020104634B4 (de) Verfahren zum Auslesen von Bilddaten und zum Erfassen eines Objekts, Bildaufnahmevorrichtung und Lichtscheibenmikroskop
DE69833295T2 (de) System und Verfahren zur Steuerung einer anwendungsspezifisch integrierten Schaltung
DE4405865C2 (de) Verfahren zur Erfassung von Bildinhalten eines zeilenorientierten Bildsensors und zugehörige Einrichtung für Handhabungssysteme
DE3340705A1 (de) Hochgeschwindigkeits-mustererkennungsgeraet
DE102016120845B4 (de) Kamerasystem und Betriebsverfahren hierfür
DD246243A3 (de) Schaltungsaordnung zur schnellen schwerpunktbestimmung kreisfoermiger und/oder elliptischen abbilder auf seriell arbeitenden abtastsystemen bei verrauschtem bildsignal
DE3436276A1 (de) Einrichtung zur digitalen verarbeitung von grauwertbildern mit lokalen operatoren, schritthaltend mit der bildabtastung durch eine fernsehkamera

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ CZ DE DE DK DK DM DZ EC EE EE ES FI FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ OM PH PL PT RO RU SD SE SG SI SK SK SL TJ TM TN TR TT TZ UA UG US UZ VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 10654882

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2002701140

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2002701140

Country of ref document: EP

REG Reference to national code

Ref country code: DE

Ref legal event code: 8642

NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP

WWW Wipo information: withdrawn in national office

Ref document number: 2002701140

Country of ref document: EP