WO2002078346A1 - Verfahren und vorrichtung zum entzerren eines bildes, insbesondere für insassenschutzsysteme - Google Patents

Verfahren und vorrichtung zum entzerren eines bildes, insbesondere für insassenschutzsysteme Download PDF

Info

Publication number
WO2002078346A1
WO2002078346A1 PCT/DE2001/000825 DE0100825W WO02078346A1 WO 2002078346 A1 WO2002078346 A1 WO 2002078346A1 DE 0100825 W DE0100825 W DE 0100825W WO 02078346 A1 WO02078346 A1 WO 02078346A1
Authority
WO
WIPO (PCT)
Prior art keywords
source
image
target
address
pixel
Prior art date
Application number
PCT/DE2001/000825
Other languages
English (en)
French (fr)
Inventor
Thorsten Koehler
Ulrich Wagner
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Priority to KR1020037011680A priority Critical patent/KR100910670B1/ko
Priority to JP2002576439A priority patent/JP2004530202A/ja
Priority to DE50107083T priority patent/DE50107083D1/de
Priority to PCT/DE2001/000825 priority patent/WO2002078346A1/de
Priority to EP01916900A priority patent/EP1368970B1/de
Priority to US10/469,782 priority patent/US7304680B2/en
Publication of WO2002078346A1 publication Critical patent/WO2002078346A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Definitions

  • the invention relates to a method and a device for equalizing an image, in particular for occupant protection systems.
  • the disadvantage of such a method is the high storage space requirement for storing the source image and the high computing power required.
  • the object of the invention is to compensate the image distortions of an image caused by a camera system quickly and inexpensively.
  • a method for compensating image distortions is proposed which is used in particular in image acquisition systems for occupant protection systems.
  • An image distorted by the optics of a camera system results in a source image (source image) in the image sensor of the camera system, which is distorted in different ways depending on the quality of the optics, the focal length of the camera system and other optical parameters.
  • the source image is divided into individual source pixels, each in a predetermined position is arranged in the source image and the gray values recorded by the image sensor are each stored in the image sensor under a predetermined source pixel address.
  • the source image is mapped into a target image using a predetermined mapping rule, whereby an equalized target image is created.
  • the target image consists of target pixels, the gray values of which are each stored in a target memory under a target pixel address.
  • a source pixel is mapped into none, one or more target pixels.
  • the gray value of the source pixel address is stored under the target pixel address.
  • the mapping rule for equalizing a source image into a target image is preferably stored in a table in a memory of a microcontroller. This advantageously enables a rapid processing of the mapping rule. Furthermore, it is not necessary to temporarily store the source image, which saves considerable storage space.
  • the source pixel is imaged directly into at least one target pixel already during the reading of the source image from the image sensor without intermediate storage. This advantageously reduces the storage space required and, at the same time, the equalization of the source image is carried out without delay, which is particularly necessary for occupant protection systems.
  • mapping the source image into the target image according to the specified mapping rule By mapping the source image into the target image according to the specified mapping rule, a target image is created that has fewer pixels than the source image. So there are some source pixels that are not mapped into the target pixel. Furthermore, the image sensor generally records more information than is actually required.
  • This information is filtered out by the mapping rule. Filtering and filtering are thus advantageous Data reduction carried out.
  • the microcontroller serving as the evaluation unit only the target image generated by the mapping specification is stored. This in turn saves storage space in the evaluation unit.
  • a table also called rectification table below, contains the mapping rule in the microcontroller or in the evaluation unit for carrying out the method of equalization.
  • This table contains the addresses of all source pixels that are to be mapped onto the target pixels, also referred to below as “selected source pixels” with a “selected source pixel address”.
  • the microcontroller in the evaluation unit sequentially controls all source pixel addresses of the source pixels in the image memory. The source pixel addresses are selected using a pointer, which is incremented using a counter.
  • each "selected source pixel address" is assigned at least one target pixel address of a target pixel.
  • the target addresses read from the table are filled with the gray value of the respective selected source pixel address.
  • the gray value of at least one selected source pixel is distributed to several target pixels or stored in the target memory, especially in the edge area.
  • another table is used that contains information for multiple assignment, in particular all target pixel addresses assigned to a source pixel address.
  • the further table is also referred to below as a reference table. This reference table is preferably arranged directly below the rectification table in the memory.
  • each cycle (read cycle) of reading a source pixel by the incrementing counter there are cycles, hereinafter referred to as reference cycles, in which no selected or an unselected source pixel is read out.
  • the reference table is now accessed, which contains the further target pixel addresses for multiple assignments that are not contained in the rectification table.
  • the gray value of the selected source pixel is assigned to several target pixels and stored in the target memory. Since this takes place in the “pauses” or the “reference cycles” and the number of target pixels, despite the multiple assignments, is less than the number of source pixels, the image equalization is carried out directly after reading out the entire source image from the image sensor via the incrementing counter completed. The equalization of the source image is thus advantageously carried out in real time. The time and memory savings are particularly noticeable when two image sensors are used to generate a stereo image.
  • Real-time processing is made possible by using tables instead of a calculation rule, and intermediate storage of the source image can also be dispensed with. This saves expensive working memory, because the source images in particular have a particularly high memory requirement due to their size.
  • the method is preferably implemented in an FBGA or Asic. In a further embodiment, an implementation in a microprocessor is also conceivable.
  • the source image represents the raw image that is delivered directly from the camera. This image is distorted due to the optics.
  • the source pixel represents a pixel in the source image.
  • the source pixel address represents an address of a specific pixel in the source image.
  • the pixels are numbered linearly.
  • a conversion between image coordinates and source pixel address is possible without any problems.
  • the range of values of the source pixel address space is zero to (number of pixels in the source image) minus one.
  • the target image is the image after rectification or equalization. It is the rectified image, the pixel format or the pixel address space being smaller than the format of the source image or the source image address space.
  • the target pixel represents a pixel in the target image.
  • the target pixel address is the address of a specific pixel in the target image.
  • the pixels are numbered linearly.
  • a conversion between image coordinates and target pixel address is possible without any problems.
  • the range of values of the target pixel address range goes from zero to (number of pixels in the target image) -1.
  • the rectification table is the table in which references are made from the source pixel address to the corresponding target pixel address.
  • the number of entries is the same the number of target addresses. With multiple assignments, the number of target addresses is slightly larger than the number of source pixel addresses. The rectification is carried out by processing this table.
  • the reference table is a table in which the target pixel addresses are stored, which are caused by multiple assignment of a source pixel address to a plurality of target pixel addresses.
  • the reference table contains u. a. a reference address and a target address as the target pixel address.
  • FIG. 1 shows the interior of a vehicle with an optical imaging system
  • FIG. 2a shows a source image distorted by optics
  • FIG. 2b shows the source image from FIG. 2a rectified via an imaging rule
  • FIG. 3 shows a mapping rule which converts a source image into an equalized target image
  • FIG. 4 shows the pixel address space of an image with the coordinates of the pixel addresses arranged in a matrix
  • FIG. 5a shows a mapping table (rectification table) for assigning source pixel addresses to target pixel addresses
  • FIG. 5b shows a further table (reference table) for assigning a source pixel address to a plurality of target pixel addresses
  • FIG. 6 shows a functional block diagram for performing the method for equalizing a source image recorded by the image sensor
  • FIG. 7a shows a flowchart of a method for equalizing a source image
  • FIG. 7b shows a further flowchart for equalizing a source image.
  • FIG. 1 schematically shows a vehicle 1 in which a vehicle seat 2 with a seat 23, a seat back 21 and a headrest 22 located thereon is located.
  • An optical camera system 7, 71, 72, 73, 74 is arranged in the sky of the vehicle roof 3, preferably between the two front vehicle seats, with which a predetermined image area Bi of the vehicle interior can be captured.
  • two image sensors 72, 73 capture the image area with the vehicle seat 2 with an object 9 optionally located thereon via camera optics.
  • the object 9 is shown schematically as a vehicle occupant.
  • objects 9 can be used as child seats, vehicle occupants, objects or the like. be formed or the vehicle seat 2 can be unoccupied.
  • a dashboard 5 In the front part of the vehicle 1 under the windshield 4 there is a dashboard 5, under which there is a footwell 8 for the feet and legs of the occupant 9 and in which an airbag 26 is located.
  • the footwell 8 is delimited at the bottom by the vehicle floor 6, on which the seat position rails 24 are arranged.
  • the vehicle seat 2 is connected to the seat position rail 24 in the region of the lower part of the seat surface 23 via support means.
  • the vehicle seat 2 in the X direction i. H. Vehicle direction, slidably arranged.
  • the camera system 7 preferably contains two image sensors 72, 73, a light source 71, preferably equipped with a plurality of light-emitting diodes, and an evaluation unit 74.
  • the optical axes of the two image sensors 72, 73 have a predetermined NEN distance L. This makes it possible to acquire distance information of the objects in the predetermined image area Bi from the recorded images of the two image sensors 72, 73 using stereo image processing methods.
  • the camera 7 preferably contains the two image sensors 72, 73 and the light source 71 in a compact housing.
  • the evaluation unit 74 is preferably arranged via a data line away from the compact housing in order to keep the camera system 7, which is perceived as disruptive by designers of vehicle interiors, as small as possible. However, it is also entirely possible to integrate the evaluation unit 74 (ECU) into the camera housing of the camera 7.
  • the evaluation unit 74 has a target memory 105 in which the rectified target image can be stored.
  • only one image sensor 71 or 73 is provided, which reduces the costs.
  • the required distance information is preferably determined here by means of time-of-flight measurements or other image processing methods.
  • FIG. 2a shows a source image S (original image) distorted by the optics with points P1, P2, P3 of different sizes.
  • the source image S is the image that one of the image sensors 72, 73 from FIG. 1 has recorded via a distorting camera optics.
  • the pixels P1, P2, P3, originally arranged in a matrix, were distorted by the wide-angle characteristics of the camera optics (fisheye effect).
  • FIG. 2b shows a target image T that is created after the source image S has been rectified.
  • the target image T shows the pixels P1, P2, P3 of the original distorted source image S arranged in a rectangular matrix.
  • FIG. 3 schematically shows the mapping rule for converting a source image S into an equalized target image T.
  • the source image S distorted by an image sensor 72, 73 (FIG. 1) via camera optics is in the form of a matrix
  • the source image has twenty-six (26) columns in the Xl direction (horizontal, horizontal) and eighteen (18) lines in the Yl direction (vertical, vertical).
  • a source pixel address space (XI, Yl) is spanned.
  • From the source pixels of the source image S a few predetermined source pixels S1 to S18 are selected, each of which is arranged under a predetermined source pixel address (Xi, Yi).
  • a corresponding gray value recorded by the image sensor is stored behind each source pixel address, the value of which depends on the brightness of the corresponding source pixel.
  • the target image T has a target pixel address space (X2, Y2) which consists of 18 columns (X2) and 12 rows (Y2).
  • the gray value of the source pixel S1 is displayed under the target pixel address of the target pixel T1.
  • the image is de-compressed, rectified or stretched by imaging the source pixel S18 onto two target pixels T18, T18 * lying one below the other by means of the imaging rule.
  • the target pixel T18 is located at the address (18; 1) and the target pixel T18 * at the address (18,2).
  • the mapping rule creates a target image T with a smaller pixel address space (X2; Y2) from the source image S with a pixel address space (X1; Y1). Redundant information is filtered out of the source image S, so that a reduction in the amount of data means that less memory is required to store the target image T.
  • the source pixel Nx (25; 17) is, for example, an unselected source pixel that is not contained in the mapping specification and thus is not stored as “memory-consuming ballast” in the target memory 105 (see FIG. 1) of the target image T.
  • the content of the image sensor 72, 73 is thus read out line by line also called Counter_Source.
  • the table TA hereinafter also called the rectification table TA, has three columns, each of which contains the table address TBA, the source pixel address SP and the target pixel address TP.
  • the table TA is sorted according to the ascending source pixel address. There is no duplicate source pixel address.
  • the table address TBA contains pointer addresses A, A + 1, ..., A + 17 of a pointer that points to the respective source pixel address SP of the source pixels S1 to S18 in the second column and to the respective target pixel address TP of the target pixels T1 to T18 in the third column has.
  • a cyclically counting counter with the counter content "Counter_Target” counts up the table address TBA, which is described in the following figures.
  • the rectification table TA outputs the corresponding source pixel address SP and the target pixel address TP assigned to it depending on the current pointer address. The rectification table TA thus each "selected" or
  • Predefined source pixel address SP exactly one target pixel address TP.
  • a plurality of target pixel addresses TP are also assigned to a source pixel address SP.
  • a further table TB shown in FIG. 5b, is used for these multiple assignments or multiple mappings, which is also referred to below as reference table TB.
  • the reference table TB assigns a plurality of target pixel addresses to a source pixel address, for example a plurality of target pixels Tl8 * and T18 ** to the source pixel S18.
  • the reference table TB has the three columns "table address TBB", "source address SPB" and "target address TPB".
  • the first column contains table addresses TBB which point to corresponding source addresses SPB in the second column and associated target addresses TPB in the third column.
  • a reference address in the column TPB for example the reference address 1 of the target pixel T18, designates a target pixel address which also occurs in the rectification table TA.
  • a source address for example source address 1 of the column SPB, is also assigned to a reference address and is also present in the rectification table TA.
  • a target address in the column TPB designates a target pixel address which is formed by multiple assignments of a source pixel address to a plurality of target pixel addresses and which does not appear in the rectification table.
  • Such a target address is assigned the source address "0" in the SPB column.
  • the reference address is distinguished from the target address by the respectively assigned value of the source address SPB.
  • the pointer B is assigned a source address 1 and a reference address 1.
  • This source address 1 has, in addition to the reference address 1 also contained in the table TA, further target addresses 1.1, 1.2 which are contained in the following lines B + 1, B + 2.
  • the table TB is used for the assignment from one source address to several target addresses.
  • FIG. 6 uses a functional block diagram to illustrate the method for rectifying a source image S with the aid of a tabular mapping rule TA.
  • the function blocks can be designed both in software, in hardware or in a software-hardware combination.
  • FIG. 6 shows a mapping rule for rectifying an image, in which only simple assignments are made to simplify the representation, ie exactly one target pixel T is assigned to each selected source pixel S from the reference table TA.
  • a clock generator 100 clocks a counter 101 with the counter content "Counter_Source” sequentially.
  • the output of the counter 101 is connected to the address input Ad of an image sensor 72, 73 which has a matrix-arranged source pixel address space 102.
  • the counter content "Counter_Source” corresponds to the address Ad from FIG. 4.
  • the gray value "GRAY" of the selected address Ad of the image sensor 72, 73 is output.
  • the rectification table TA shown in FIG. 6 is already known from FIG. 5a and is loaded by a further counter 104 with the counter content “Counter_Target”.
  • the further counter 104 points to the pointer A of the table address TBA the source pixel address SP (Xl; Yl) of the source pixel concerned and the
  • Target pixel address TP (X2; Y2) of the target pixel in question.
  • a comparator 103 compares the address Ad currently present at the image sensor 72, 73 with the source image address SP (XI; Yl). If the current address Ad of the image sensor 72, 73 corresponds to the source pixel address SP1 of the rectification table TA, an enable signal is output to the target memory 105, which contains the target image address space. When the day memory 105 is enabled, it takes on the gray value "GRAY" of the source pixel concerned, which is present in the image sensor at the current address AD and stores it under the
  • Target pixel address TP1 which it receives from the rectification table TA.
  • the enable signal E continues to count up the counter content “Counter_Target” of the counter 104 for the next read-out process, so that the next selected source pixel address SP is now available at the input of the comparator 103 for comparison with the next current address Ad.
  • the gray value "GRAY" of a source pixel Si which is located under the address Ad (XI, Yl) is stored under the target image address TP1 (X2, Y2) in the daily memory 105.
  • the entire source image address space 102 of the image sensor 72, 73 ' is read out and the corresponding selected source pixels Si are mapped into the target image address space of the target memory 105.
  • the gray value "GRAY" of the selected source pixel is stored under the target address TP1 shown.
  • FIG. 7a shows a flowchart F1 in which the method for rectifying a source image S is explained.
  • Counter 104 points by resetting to table address A and thus to the first address pixel pair SP, TP of pixels S1, Tl present in rectification table TA.
  • comparator 103 checks whether the current address Ad (Counter_Source) is identical to the source pixel address (CounterJTarget) available in the rectification table TA. If this comparison turns out to be negative, then the current address Ad of the image sensor 72, 73 is not assigned an image instruction from the source pixel address to the target pixel address.
  • Target memory 105 is not activated via the enable signal and counter 104 (Counter_Target) is not increased. Only the counter 101 with the counter content “Counter_Source” is increased for reading out the next source pixel in the image memory.
  • the required target pixel address TP is provided from the rectification table TA.
  • the pointer A of the rectification table is set to the next selected source address SP with the associated target address TP. Furthermore, the counter 101 (Counter_Source) is counted up so that the gray value of the next source pixel S in the image sensor 72, 73 is read out After checking whether the last address in the address space of the image sensor has been reached, the Read cycle of a new source image.
  • the mapping rule for equalizing a source image S shown in FIG. 3 is carried out by imaging individual source pixels Si into target pixels Ti for the entire source image S.
  • FIG. 7b shows a further flow diagram F2, which, in comparison to the flowchart F1 from FIG. 7a, can also assign a source pixel address SP of a source pixel to a plurality of target pixel addresses TP.
  • a further reference table TB from FIG. 5b is used, which contains the multiple assignments.
  • the reference table TA preferably follows the rectification table TB directly in the permanent memory of the evaluation unit 74.
  • the counter (Counter_Source) for the source pixel address in the source image is set to zero.
  • the counter (CounterJTarget) which points to the table address TBA in the reference table TA, is set to zero.
  • the pointer B in the table address TBB of the table TB is set to the first source address or reference address.
  • the first reference address is the target pixel address which is assigned to the first source pixel address with multiple assignment, that is to say the source address 1 in FIG. 5b.
  • a state machine becomes a status or a state
  • the source pixel address "CounterJTarget” set by the counter 104 and output by the table TA is compared with the current source pixel address "Counter_Source” set by the other counter 101. If these two addresses are identical ("Counter_Source equals CounterJTarget"), the gray value "GRAY" of the currently selected source pixel is stored in the target memory under the target pixel address. In the case of multiple assignments, this target pixel address corresponds to the reference address from the reference table TB.
  • the current address for the rectification table TA (table address A) is increased by one.
  • the address Ad of the source pixel address of the image sensor is increased by one (Counter_Source), whereby a new source pixel in the image sensor is controlled.
  • the "State" of the state machine is checked in the following step.
  • table TB is used to check whether there is a multiple assignment of a source pixel address to several target pixel addresses. If this is the case, the gray scale value "GRAY” of the target pixel address concerned becomes in the subsequent read cycles , also referred to below as the reference address “Ref_Addr”, read out and copied into the respective additional target addresses 1.1, 1.2 (see FIG. 5b).
  • the current value of the "State" at the start of a new picture was set to "Read_Ref_Addr".
  • the “Read_Ref_Addr” branch is selected, in which, in a first step, the next reference address is read from the table TB if the current source pixel address is greater than the source pixel address of the reference pixel, that from the reference table TB is read.
  • the "Ref_Pixel_Flag” flag is used to determine whether the reference gray value "GRAY” was already at the position of the reference address in the previous cycle "Ref_Addr” was read from the target memory. If the reference gray value "GRAY” has not yet been read from the target memory, this is now carried out. After this flag query, the next target address “Tar_Addr” belonging to the current reference address “Ref_Addr” is read out, for example the target address 1.1 belonging to reference address 1 from table TB, FIG. 5b, under table address B + 1.
  • the gray value "GRAY" of the reference address read out in one of the previous cycles is written to the position of the target address TAR_ADDR in the target memory. It is then checked whether the next value in the reference table TB is a reference address or a target address. This is done by evaluating the source address in the SPB column. A reference address is assigned to a source address, while a fixed value, for example zero ("0"), is assigned to a target address. Thus, by counting up the pointer B in the table address TBB line by line, it can be determined whether a reference or a target address is the next value in the table TB is available.
  • the invention is preferably used in occupant protection systems, mobile telephones or web cameras.
  • a targeted distortion (morphing) of images to produce desired optical effects eg. B. possible in video cameras.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Ein durch eine Kameraoptik verzerrtes Sorucebild (S) wird mit Hilfe einer Tabellarischen Abbildungsvorschrift in ein entzerrtes Targetbild (T) überführt. Dies geschieht direkt während des Auslesens aus dem Bildsensor und in Echtzeit. Dabei wird jedem Sourcepixel des Sourcebildes kein, ein oder mehrere Targetpixel im Targetbild (T) zugewiesen.

Description

Beschreibung
Verfahren und Vorrichtung zum Entzerren eines Bildes, insbesondere für Insassenschutzsysteme
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Entzerren eines Bildes, insbesondere für Insassenschutzsysteme.
Aus Microsoft Research Technical Report MSR-TR-98-71 „A Flexible New Technique for Camera Calibration" ist ein Verfahren zur Kompensation von Bildverzerrungen bekannt, bei dem eine mathematische Rechenvorschrift verwendet wird, mit der ein von einer Kamera aufgenommenes Sourcebild auf ein Targetbild abbildet. Die Rechenvorschrift berechnet aus dem in einen Arbeitsspeicher geladenen Sourcebild das entzerrte Targetbild.
Nachteilig bei einem solchen Verfahren ist der hohe Speicherplatzbedarf zum Abspeichern des Sourcebildes und die hohe be- nötigte Rechenleistung.
Aufgabe der Erfindung ist es, die durch ein Kamerasystem verursachten Bildverzerrungen eines Bildes schnell und kostengünstig zu kompensieren.
Die Aufgabe wird gelöst durch die Merkmale der unabhängigen Ansprüche .
Dabei wird ein Verfahren zur Kompensation von Bildverzerrun- gen vorgeschlagen, das insbesondere in Bilderfassungssystemen für Insassenschutzsysteme eingesetzt wird. Ein durch die Optik eines Kamerasystems verzerrtes Bild ergibt im Bildsensor des Kamerasystems ein Sourcebild (Quellbild) , das abhängig von der Qualität der Optik, der Brennweite des Kamerasystems und anderer optischer Parameter auf unterschiedliche Art und Weise verzerrt ist. Das Sourcebild ist aufgeteilt in einzelne Sourcepixel, die jeweils an einer vorgegebenen Position in dem Sourcebild angeordnet ist und deren von dem Bildsensor aufgenommenen Grauwerte jeweils unter einer vorgegebenen Sourcepixeladresse im Bildsensor gespeichert sind.
Über eine vorgegebene Abbildungsvorschrift wird das Sourcebild in ein Targetbild abgebildet, wodurch ein entzerrtes Targetbild entsteht. Das Targetbild besteht aus Targetpixel, deren Grauwerte jeweils unter einer Targetpixeladresse in einem Targetspeicher gespeichert werden. Dabei wird ein Source- pixel in keines, ein oder mehrere Targetpixel abgebildet. Dabei wird der Grauwert der Sourcepixeladresse unter der Targetpixeladresse abgespeichert.
Die AbbildungsVorschrift zum Entzerren eines Sourcebildes in ein Targetbild wird vorzugsweise in einem Speicher eines Mik- rocontrollers tabellarisch hinterlegt. Dadurch ist vorteilhaft eine schnelle Abarbeitung der Abbildungsvorschrift möglich. Weiterhin ist es nicht nötig, das Sourcebild zwischen- zuspeichern, wodurch erheblicher Speicherplatz eingespart wird.
In einer Weiterbildung wird das Sourcepixel direkt, schon während des Auslesens des Sourcebildes aus dem Bildsensor ohne Zwischenspeichern in mindestens ein Targetpixel abgebil- det. Dadurch wird vorteilhaft der benötigte Speicherplatz reduziert und gleichzeitig die Entzerrung des Sourcebilds ohne Verzögerung durchgeführt, was insbesondere für Insassenschutzsysteme erforderlich ist.
Durch die Abbildung des Sourcebildes in das Targetbild nach der vorgegebenen Abbildungsvorschrift entsteht ein Targetbild, das weniger Pixel aufweist als das Sourcebild. Somit gibt es einige Sourcepixel, die nicht in das Targetpixel abgebildet werden. Weiterhin nimmt der Bildsensor im Allgemei- nen mehr Informationen auf als tatsächlich benötigt wird.
Diese Informationen werden durch die Abbildungsvorschrift ausgefiltert . Somit wird vorteilhaft eine Filterung und eine Datenreduktion durchgeführt. In dem als Auswerteeinheit dienenden Mikrokontroller wird nur noch das durch die Abbildungsvorschrift erzeugte Targetbild abgespeichert. Dadurch wird wiederum 'Speicherplatz in der Auswerteeinheit gespart.
Weiterhin enthält eine Tabelle, im Folgenden auch Rektifiziertabelle genannt, im Mikrokontroller bzw. in der Auswerteeinheit die AbbildungsVorschrift zur Durchführung des Verfahrens der Entzerrung. Diese Tabelle enthält die Adressen aller Sourcepixel, die auf die Targetpixel abgebildet werden sollen, im Folgenden auch als „ausgewählte Sourcepixel" mit einer „ausgewählten Sourcepixeladresse" bezeichnet. Der Mikro- controller in der Auswerteeinheit steuert sequentiell alle Sourcepixeladressen der Sourcepixel im Bildspeicher an. Die Sourcepixeladressen werden über einen Pointer ausgewählt, der über einen Zähler inkrementiert wird.
In der Tabelle ist jeder „ausgewählten Sourcepixeladresse" mindestens eine Targetpixeladresse eines Targetpixels zuge- ordnet. Die aus der Tabelle ausgelesenen Targetadressen werden mit dem Grauwert der jeweiligen ausgewählten Sourcepixeladresse gefüllt. Durch das Benützen einer Tabelle für die Abbildungsvorschrift wird der Rechenaufwand für die Auswerteeinheit reduziert. Weiterhin wird der Speicherbedarf redu- ziert, da nur noch ein Targetbild mit reduzierten Pixelanzahl in der Auswerteeinheit gespeichert wird. Weiterhin steht das entzerrte Targetbild praktisch direkt nach dem Auslesen des Sourcebildes aus dem Bildsensor zur Verfügung.
Vor allem in den Randbereichen des Sourcebildes sind die
Bildinformationen des Sourcebildes enger zusammen gerückt als im Zentrum des Bildes. Daher werden vor allem im Randbereich der Grauwert mindestens eines ausgewählten Sourcepixels auf mehrere Targetpixel verteilt bzw. im Targetspeicher gespei- chert. Um ein störungsloses Hochzählen des Pointers zum Auslesen der Rektifiziertabelle, die pro ausgewähltes Sourcepixeladresse nur eine Targetpixeladresse enthält, ohne Unter- brechung zu ermöglichen, wird eine weitere Tabelle benutzt, die Informationen zur Mehrfachzuweisung enthält, insbesondere alle zu einer Sourcepixeladresse zugeordneten Targepixe- ladresse. Die weitere Tabelle wird im Folgenden auch als Re- ferenztabelle bezeichnet. Vorzugsweise ist diese Referenztabelle direkt unter der Rektifiziertabelle im Speicher angeordnet .
In jedem Zyklus (Auslesezyklus) des Auslesens eines Sourcepi- xels durch den inkrementierenden Zähler sind Zyklen, im Folgenden Referenzzyklen genannt, vorhanden, bei dem kein ausgewähltes bzw. ein nicht-ausgewähltes Sourcepixel ausgelesen wird. Bei einem solchen Referenzzyklus wird nun auf die Referenztabelle zugegriffen, die die weiteren, nicht in der Rek- tifiziertabelle enthaltenen Targetpixeladressen für Mehrfachzuweisungen enthält. In mehreren nacheinanderfolgenden, oft auch von Auslesezyklen unterbrochenen Referenzzyklen wird entsprechend der Grauwert des ausgewählten Sourcepixels, mehreren Targetpixeln zugeordnet und im TargetSpeicher abgespei- chert. Da dies in den „Pausen" bzw. den „Referenzzyklen" geschieht, und die Anzahl der Targetpixel trotz der Mehrfachzuweisungen geringer ist als die Anzahl der Sourcepixel, ist direkt nach dem Auslesen des gesamten Sourcebildes aus dem Bildsensor über den inkrementierenden Zähler die Bildentzer- rung abgeschlossen. Vorteilhaft wird somit das Entzerren des Sourcebildes in Echtzeit durchgeführt. Insbesondere bei Einsatz von zwei Bildsensoren zum Erzeugen eines Stereo-Bildes macht sich die Zeit- und Speicherersparnis besonders bemerkbar.
Durch die Verwendung von Tabellen anstatt einer Rechenvorschrift wird eine Echtzeitverarbeitung ermöglicht, wobei auch auf eine Zwischenspeicherung des Sourcebildes verzichtet werden kann. Dadurch wird teurer Arbeitsspeicher eingespart, da gerade die Sourcebilder aufgrund ihrer Größe einen besonders hohen Speicherbedarf haben. Das Verfahren wird vorzugsweise in einem FBGA oder Asic realisiert. In einer weiteren Ausführungsform ist eine Implementierung in einem Mikroprozessor auch vorstellbar.
Für die folgende Figurenbeschreibung wird eine Begriffszuordnung vorgenommen:
Das Sourcebild stellt das Rohbild dar, das direkt von der Kamera geliefert wird. Dieses Bild ist bedingt durch die Optik verzerrt.
Das Sourcepixel stellt einen Bildpunkt im Sourcebild dar.
Die Sourcepixeladresse stellt eine Adresse eines bestimmten Bildpunktes im Sourcebild dar. Die Bildpunkte werden dabei linear durchnummeriert. Eine Umrechnung zwischen Bildkoordinaten und Sourcepixeladresse ist problemlos möglich. Der Wertebereich des Sourcepixeladressraums beträgt null bis (Anzahl der Bildpunkte im Sourcebild) minus eins.
Das Targetbild ist das Bild nach der Rektifizierung bzw. der Entzerrung. Es handelt sich um das entzerrte Bild, wobei das Pixelformat, bzw. der Pixeladressraum kleiner ist als das Format des Sourcebildes bzw. des Sourcebildadressraums .
Das Targetpixel stellt einen Bildpunkt im Targetbild dar.
Die Targetpixeladresse ist die Adresse eines bestimmten Bildpunktes im Targetbild. Die Bildpunkte werden dabei linear durchnummeriert. Eine Umrechnung zwischen Bildkoordinaten und Targetpixeladresse ist problemlos möglich. Der Wertebereich des Targetpixeladressrau s geht von Null bis (Anzahl der Bildpunkte im Targetbild) -1.
Die Rektifizierungstabelle ist die Tabelle, in der Verweise von der Sourcepixeladresse auf die entsprechende Targetpixeladresse gemacht werden. Die Anzahl der Einträge ist gleich der Zahl der Targetadressen. Bei Mehrfachzuweisungen ist die Anzahl der Targetadressen etwas größer als die Anzahl der Sourcepixeladressen. Die Rektifizierung erfolgt durch Abarbeiten dieser Tabelle.
Die Referenztabelle ist eine Tabelle, in der die Targetpixeladressen gespeichert sind, die durch Mehrfachzuweisung einer Sourcepixeladresse auf mehrere Targetpixeladressen hervorgerufen werden. Dabei enthält die Referenztabelle u. a. eine Referenzadresse und eine Targetadresse als Targetpixeladresse.
Vorteilhafte Weiterbildungen und Ausgestaltungen der Erfindung sind in den abhängigen Patentansprüchen angegeben.
Die Erfindung wird anhand der Zeichnung erläutert; es zeigen:
Figur 1 den Innenraum eines Fahrzeugs mit einem optischen Bilderfassungssystem; Figur 2a ein von einer Optik verzerrtes Sourcebild;
Figur 2b das über eine Abbildungsvorschrift entzerrte Sourcebild aus der Figur 2a;
Figur 3 eine Abbildungsvorschrift, die ein Sourcebild in ein entzerrtes Targetbild überführt; Figur 4 der Pixeladressraum eines Bildes mit den Koordinaten der matrixförmig angeordneten Pixeladressen;
Figur 5a eine Abbildungstabelle (Rektifiziertabelle) zur Zuordnung von Sourcepixeladressen zu Targetpixeladressen; Figur 5b eine weitere Tabelle (Referenztabelle) zur Zuordnung einer Sourcepixeladresse zu mehreren Targetpixeladressen;
Figur 6 ein funtkionelles Blockschaltbild zum Durchführen des Verfahrens zum Entzerren eines vom Bildsensor aufgenommenen Sourcebildes ;
Figur 7a ein Flussdiagramm eines Verfahrens zum Entzerren eines Sourcebildes; Figur 7b ein weiteres Flussdiagramm zum Entzerren eines Sourcebildes .
In den folgenden Figuren enthalten Figurenelemente mit den gleichen funktioneilen Merkmalen die gleichen Bezugszeichen.
In Figur 1 ist ein Fahrzeug 1 schematisch dargestellt, in dem sich ein Fahrzeugsitz 2 mit einer Sitzfläche 23, einer Sitzlehne 21 und einer darauf befindlichen Kopfstütze 22 befin- det. Am Himmel des Fahrzeugdachs 3 vorzugsweise zwischen den beiden vorderen Fahrzeugsitzen, ist ein optisches Kamerasystem 7, 71, 72, 73, 74 angeordnet, mit dem ein vorgegebener Bildbereich Bi des Fahrzeuginnenraums erfasst werden kann. Vorzugsweise zwei Bildsensoren 72, 73 erfassen über eine Ka- meraoptik den Bildbereich mit dem Fahrzeugsitz 2 mit einem fakultativ darauf befindlichen Objekt 9. In Figur 1 ist das Objekt 9 als Fahrzeuginsasse schematisch dargestellt.
In weiteren Ausführungsformen können die Objekte 9 als Kin- dersitz, Fahrzeuginsassen, Gegenstände o.a. ausgebildet sein oder der Fahrzeugsitz 2 kann unbelegt sein.
Im vorderen Teil des Fahrzeugs 1 unter der Windschutzscheibe 4 ist ein Armaturenbrett 5 angeordnet, unter dem sich ein Fußraum 8 für die Füße und Beine des Insassen 9 befindet und in dem sich ein Airbag 26 befindet. Der Fußraum 8 wird nach unten von dem Fahrzeugboden 6 begrenzt, auf dem Sitzpositionsschienen 24 angeordnet sind. Der Fahrzeugsitz 2 ist im Bereich des Unterteils der Sitzfläche 23 über Stützmittel mit der Sitzpositionsschiene 24 verbunden. Somit ist der Fahrzeugsitz 2 in X-Richtung, d. h. Fahrzeugrichtung, verschiebbar angeordnet .
Das Kamerasystem 7 enthält vorzugsweise zwei Bildsensoren 72, 73, eine vorzugsweise mit mehreren Leuchtdioden bestückte Lichtquelle 71 und eine Auswerteeinheit 74. Die optischen Achsen der beiden Bildsensoren 72, 73 weisen einen vorgegebe- nen Abstand L auf. Dadurch ist es möglich, aus den aufgenommenen Bildern der beiden Bildsensoren 72, 73 über Stereo- Bildverarbeitungsverfahren Abstandsinformationen der Objekte im vorgegebenen Bildbereich Bi zu erfassen. Die Kamera 7 ent- hält vorzugsweise die beiden Bildsensoren 72, 73 und die Lichtquelle 71 in einem kompakten Gehäuse. Die Auswerteeinheit 74 ist vorzugsweise über eine Datenleitung entfernt von dem kompakten Gehäuse angeordnet, um das von Designern von Fahrzeuginnenräumen als störend empfundene Kamerasystem 7 so klein wie möglich zu halten. Es ist aber durchaus möglich, auch die Auswerteeinheit 74 (ECU) in das Kameragehäuse der Kamera 7 zu integrieren. Die Auswerteeinheit 74 weist einen Targetspeicher 105 auf, in dem das entzerrte Targetbild speicherbar ist.
In einer weiteren Ausführungsform ist nur ein Bildsensor 71 oder 73 vorgesehen, wodurch sich die Kosten reduzieren. Die benötigten Abstandsinformationen werden hier vorzugsweise ü- ber Lichtlaufzeitmessungen oder andere Bildverarbeitungsver- fahren ermittelt.
In Figur 2a ist ein von der Optik verzerrtes Sourcebild S (Originalbild) mit Punkten Pl, P2, P3 unterschiedlicher Größe dargestellt. Das Sourcebild S ist das Bild, das einer der Bildsensoren 72, 73 aus Figur 1 über eine verzerrende Kameraoptik aufgenommen hat. Die ursprünglich matrixförmig angeordneten Bildpunkte Pl, P2 , P3 wurden durch die Weitwinkelcha- rakteristik der Kameraoptik (Fischaugeneffekt) verzerrt. In Figur 2b ist ein Targetbild T dargestellt, dass nach der Ent- zerrung des Sourcebildes S entsteht. Man sieht im Targetbild T die in einem rechtwinkligen Matrix angeordneten Bildpunkte Pl, P2 , P3 des ursprünglichen verzerrten Sourcebildes S.
Aus dem Vergleich des Sourcebilds S aus Figur 2a mit dem Tar- getbild aus 2b ist deutlich sichtbar, dass in im Sourcebild S Figur 2a redundante Bildinformationen am Rande des Aufnahmebereichs des Bildsensors 72 enthalten sind, beispielsweise die schwarzen Flächen am linken und am rechten Bildrand. Diese redundanten Informationen werden durch das Entzerrverfahren und die Überführung in das Targetbild T entfernt. Weiterhin ist ersichtlich, dass der Abstand Dr zwischen zwei be- nachbarten Bildpunkten am Rande des Sourcebildes S scheinbar geringer ist als Abstand Di zwischen zwei benachbarten Bildpunkten im Zentrum des Sourcebildes S ist. Auch diese Verzerrung wird durch das Entzerrverfahren ausgeglichen, wie im Targetbild T durch die gleichmäßigen Abstände Di, Dr zwischen den jeweils benachbarten Bildpunkten ersichtlich ist.
In Figur 3 ist die Abbildungsvorschrift zum Überführen eines Sourcebildes S in ein entzerrtes Targetbild T schematisch dargestellt. Das von einem Bildsensor 72, 73 (Figur 1) über eine Kameraoptik verzerrte Sourcebild S ist matrixförmig in
Sourcepixel Nl, Sl bis S18, NI, NX unterteilt. Das Sourcebild weist in Xl-Richtung (waagrecht, horizontal) sechsundzwanzig (26) Spalten und in Yl-Richtung (Senkrecht, vertikal) achtzehn (18) Zeilen auf. Dadurch wird ein Sourcepixeladressraum (XI, Yl) aufgespannt. Aus den Sourcepixeln des Sourcebildes S werden einige vorgegebene Sourcepixel Sl bis S18 ausgewählt, die jeweils unter einer vorgegebenen Sourcepixeladresse (Xi, Yi) angeordnet sind. Hinter jeder Sourcepixeladresse ist ein entsprechender von dem Bildsensor aufgenommener Grauwert hin- terlegt, dessen Wert abhängt von der Helligkeit des entsprechenden Sourcepixels .
Das Targetbild T weist einen Targetpixeladressrau (X2, Y2) auf, der aus 18 Spalten (X2) und 12 Zeilen (Y2) besteht.
Mit Hilfe eines weiter unten erläuterten Entzerrverfahrens wird so wird beispielsweise das Sourcepixel Sl mit der Adresse XI = 11, Yl = 3 über eine Abbildungsvorschrift in den Ad- ressraum des Targetbildes T unter die Targetpixeladresse X2 = 8, Y2 = 1 abgebildet. Der Grauwert des Sourcepixels Sl wird unter der Targetpixeladresse des Targetpixels Tl abge- ϊβ
PJ to
0 αi
D. .
D.
H- •
Φ ö tr SD
Φ
( D. h d
Φ Hj
Hl Ω
Hi ff
Φ
0 D.
Di H-
Φ Φ
0
<!
Di Φ J i-i i N
«Q Φ
Φ HS in H rt P
Φ 0
(Q
(-1 rt H-
Φ 3
0 cn
HJ o d d
0 Hj * Ω rt Φ
Φ tr
H- cn I-1 rt D.
PJ
H cn f
P) tQ 0
Φ
01 D. rr Φ
D) tfl
P
Ω Φ * 0 rt
Figure imgf000012_0001
sind, wie in Figur 2 anhand der unterschiedlichen Abstände Di und Dr ersichtlich ist, wird durch Abbilden des Sourcepixels S18 auf zwei untereinanderliegende Targetpixel T18, T18*, das Bild durch die Abbildungsvorschrift entstaucht, entzerrt bzw. gedehnt. Dabei liegt das Targetpixel T18 unter der Adresse (18;1) und das Targetpixel T18* unter der Adresse (18,2).
Durch die Abbildungsvorschrift entsteht aus dem Sourcebild S mit einem Pixeladressraum (X1;Y1) ein Targetbild T mit einem kleineren Pixeladressraum (X2;Y2). Redundante Informationen werden aus dem Sourcebild S herausgefiltert, so dass durch die Reduktion der Datenmenge ein geringerer Speicherbedarf zur Speicherung des Targetbilds T benötigt wird. Das Sourcepixel Nx (25; 17) ist beispielsweise ein nicht ausgewähltes Sourcepixel, das nicht in der Abbildungsvorschrift enthalten ist und somit nicht als „speicherfressenden Ballast" im Targetspeicher 105 (s. Figur 1) des Targetbilds T abgelegt wird.
In Figur 4 ist zur Verdeutlichung der Verwaltung der Bildpi- xel des Sourcebildes S und des Targetbildes T und des Begriffs „Pixeladressraum" ein 7x16 Pixelbeispielbild dargestellt. Beginnend mit der Adresse Ad=0 links oben unter der XY-Koordinate (1;1) wird die Adresse Ad von links nach rechts bis zur Adresse Ad=6 unter der Koordinate (1;6) hochgezählt. Die nächste Adresse Ad=7 befindet sich nach einem Sprung zum linken Rand der nächsten Zeile 2 unter der Koordinate (2;1) . Entsprechend wird die Adresse Ad bis zur höchsten Adresse Ad=lll unter der Koordinate (7; 16) zeilenweise hoch gezählt. Diese AdressZuordnung wird zum Auslesen der Grauwerte eines Bildsensors 72, 73 (Figur 1) benutzt. Die Adresse Ad wird ü- ber einen Zähler fortlaufend erhöht, wobei der Grauwert unter der jeweiligen aktuellen Adresse Ad aus dem Bildsensor 72, 73 ausgelesen wird. Somit wird der Inhalt des Bildsensors 72, 73 zeilenweise ausgelesen. Der die Adresse Ad beinhaltenden Zäh- lerstand wird im Folgenden auch Counter_Source genannt. Mit Hilfe der Tabelle TA aus Figur 5a wird die Abbildungsvorschrift zum Entzerren des Sourcebildes S durchgeführt. Die Tabelle TA, im Folgenden auch Rektifiziertabelle TA genannt, weist drei Spalten auf, die jeweils die Tabellenadresse TBA, die Sourcepixeladresse SP und die Targetpixeladresse TP enthalten. Die Tabelle TA ist nach aufsteigender Sourcepixeladresse sortiert. Es kommt keine Sourcepixeladresse doppelt vor.
Die Tabellenadresse TBA enthält Pointeradressen A, A+l, ..., A+17 eines Pointers, der auf die jeweilige Sourcepixeladresse SP der Sourcepixel Sl bis S18 in der zweiten Spalte und auf die jeweilige Targetpixeladresse TP der Targetpixel Tl bis T18 der dritten Spalte weist. Ein zyklisch hoch zählender Zähler mit dem Zählerinhalt „Counter_Target" zählt die Tabellenadresse TBA hoch, was in den folgenden Figuren beschrieben wird. Die Rektifiziertabelle TA gibt in Abhängigkeit von der aktuellen Pointeradresse die entsprechende Sourcepixeladresse SP und die ihr zugeordnete Targetpixeladresse TP aus . Die Rektifiziertabelle TA weist somit jeder „ausgewählten" bzw.
„vorgegebenen" Sourcepixeladresse SP genau eine Targetpixeladresse TP zu.
Bei schon weiter oben beschriebenen Mehrfachzuweisungen wer- den aber auch einer Sourcepixeladresse SP mehrere Targetpixeladressen TP zugeordnet. Für diese Mehrfachzuweisungen bzw. Mehrfachabbildungen wird eine weitere, in Figur 5b dargestellte Tabelle TB benutzt, die im Folgenden auch Referenzta- belle TB genannt wird. Die Referenztabelle TB weist einer Sourcepixeladresse mehrere Targetpixeladressen zu, beispielsweise dem Sourcepixel S18 mehrere Targetpixel Tl8*und T18**
Die Referenztabelle TB weist die drei Spalten „Tabellenadresse TBB", „Sourceadresse SPB" und „Targetadresse TPB" auf. In der ersten Spalte sind Tabellenadressen TBB enthalten, die auf entsprechende Sourceadressen SPB der zweiten Spalte und zugehörige Targetadressen TPB der dritten Spalte weisen. Eine Referenzadresse in der Spalte TPB, z.B. die Referenzadresse 1 des Targetpixels T18, bezeichnet eine Targetpixeladresse, die auch in der Rektifiziertabelle TA vorkommt. Ei- ner Referenzadresse ist eine Sourceadresse, z.B. die Sour- ceadresse 1 der Spalte SPB zugeordnet, die ebenfalls in der Rektifiziertabelle TA vorhanden ist. Eine Targetadresse in der Spalte TPB, beispielsweise die Targetadressen 1.1 und 1.2 der Targetpixel T18* und T18**, bezeichnet eine Targetpixe- ladresse, die durch Mehrfachzuweisungen einer Sourcepixeladresse auf mehrere Targetpixeladressen gebildet wird und die nicht in der Rektifiziertabelle vorkommt. Einer solchen Targetadresse ist in der Spalte SPB die Sourceadresse „0" zugewiesen. Somit wird im weiter unten beschriebenen Verfahren die Referenzadresse von der Targetadresse durch den jeweiligen zugewiesenen Wert der Sourceadresse SPB unterschieden.
So ist z.B. dem Pointer B eine Sourceadresse 1 und eine Referenzadresse 1 zugeordnet. Diese Sourceadresse 1 weist zu der auch in der Tabelle TA enthaltenen Referenzadresse 1 zusätzlich weitere Targetadressen 1.1, 1.2 auf, die in den folgenden Zeilen B+l, B+2 enthalten sind. Somit wird, wie unten noch detailliert erläutert wird, die Tabelle TB für die Zuweisung von einer Sourceadresse auf mehrere Targetadressen benutzt.
In Figur 6 ist anhand eines funktioneilen Blockschaltbildes das Verfahren zur Entzerrung eines Sourcebildes S mit Hilfe einer tabellarischen Abbildungsvorschrift TA dargestellt. Da- bei können die Funktionsblöcke sowohl in Software, in Hardware oder in einer Software-Hardware-Kombination ausgebildet sein. In Figur 6 wird eine Abbildungsvorschrift zum Entzerren eines Bildes dargestellt, bei der zur Vereinfachung der Darstellung nur Einfach-Zuweisungen vorgenommen werden, d.h. je- dem ausgewählten Sourcepixel S aus der Referenztabelle TA wird genau ein Targetpixel T zugeordnet . Ein Taktgenerator 100 taktet einen Zähler 101 mit dem Zählerinhalt „Counter_Source" sequentiell hoch. Der Ausgang des Zählers 101 ist mit dem Adresseingang Ad eines Bildsensors 72, 73 verbunden, der einen matrixförmig angeordneten Source- pixeladressraum 102 aufweist. Der Zählerinhalt „Coun- ter_Source" entspricht der Adresse Ad aus Figur 4. Am Ausgang des Bildsensors 72, 73 wird der Grauwert „GREY" der angewählten Adresse Ad des Bildsensors 72, 73 ausgegeben.
Die in der Figur 6 dargestellte Rektifiziertabelle TA ist bereits aus Figur 5a bekannt und wird von einem weiteren Zähler 104 mit dem Zählerinhalt „Counter_Target" beaufschlagt. Der weitere Zähler 104 weist auf den Pointer A der Tabellenadres- se TBA. Am Ausgang der Tabelle steht jeweils die Sourcepixe- ladresse SP (Xl;Yl) des betreffenden Sourcepixels und die
Targetpixeladresse TP (X2;Y2) des betreffenden Targetpixels an. Ein Vergleicher 103 vergleicht die momentan am Bildsensor 72, 73 anliegende Adresse Ad mit der Sourcebildadresse SP (XI; Yl) . Entspricht die aktuelle Adresse Ad des Bildsensors 72, 73 der Sourcepixeladresse SP1 der Rektifizierungstabelle TA, so wird ein Enable-Signal an den Targetspeicher 105 ausgegeben, der den TargetbiIdadressraum enthält. Beim Enablen des Tagesspeichers 105 übernimmt dieser den Grauwert „GREY" des betreffenden Sourcepixels, der im Bildsensor unter der aktuellen Adresse AD anliegt und speichert diesen unter der
Targetpixeladresse TPl, die er von der Rektifizierungstabelle TA erthält. Das Enable-Signal E zählt weiterhin für den nächsten Auslesevorgang den Zählerinhalt „Counter_Target" des Zählers 104 hoch, so dass an dem Eingang des Vergleichers 103 nun die nächste ausgewählte Sourcepixeladresse SP zum Vergleich mit den nächsten aktuellen Adresse Ad zur Verfügung steht.
Somit wird beispielsweise mit Hilfe des in Figur 6 darge- stellten Funktionsschaltbildes und der in der Rektifizierungstabelle TA abgelegten Abbildungsvorschrift der Grauwert „GREY" eines Sourcepixels Si, der unter der Adresse Ad (XI, Yl) gespeichert ist, unter der Targetbildadresse TP1 (X2, Y2) im Tagesspeicher 105 gespeichert. Durch Hochtakten des Zählers 101 wird der gesamte Sourcebildadressraum 102 des Bildsensors 72, 73' ausgelesen und die entsprechenden ausgewählten Sourcepixel Si in den TargetbiIdadressraum des Targetspeichers 105 abgebildet. Der Grauwert „GREY" des ausgewählten Sourcepixels wird dabei unter der abgebildeten Targetadresse TPl gespeichert.
In Figur 7a ist ein Flussdiagramm Fl dargestellt, in dem das Verfahren zum Entzerren eines Sourcebildes S erläutert wird.
Beim Start des Verfahrens wird geprüft, ob ein neues Sourcebild S aus dem Bildspeicher 105 des Bildsensors 72, 73 ausge- lesen werden soll (CAM_SYNC = high?) . Wird ein neues Bild ausgelesen, so werden die Zähler 101 und 104 - aus Figur 6 bereits bekannt - auf 0 gesetzt (Counter_Source = 0; Coun- ter_Target = 0) . Damit wird die Adresse Ad im Bildsensor 72, 73 auf Null gesetzt, d. h. im Sourcebildadressraum 102 wird links oben mit dem Auslesen des Sourcebildes S begonnen. Der
Zähler 104 (CounterJTarget) weist durch das Zurücksetzen auf die Tabellenadresse A und somit auf das erste in der Rektifi- zierungstabelle TA vorhandene Adresspixelpaar SP, TP der Pixel Sl, Tl. Im folgenden Schritt wird über den Vergleicher 103 geprüft, ob die aktuelle Adresse Ad (Counter_Source) mit der in Rektifizierungstabelle TA vorhandenen Sourcepixeladresse (CounterJTarget) identisch ist. Fällt dieser Vergleich negativ aus, so ist der aktuellen Adresse Ad des Bildsensors 72, 73 keine Abbildanweisung von der Sourcepixe- ladresse zur Targetpixeladresse zugewiesen. Daher wird der
Targetspeicher 105 nicht über das Enable-Signal aktiviert und der Zähler 104 (Counter_Target) nicht erhöht. Es wird nur der Zähler 101 mit dem Zählerinhalt „Counter_Source" zum Auslesen des nächsten Sourcepixels im Bildspeicher erhöht.
Ist die aktuelle Adresse Ad gleich der Sourcepixeladresse SP der Rektifizierungstabelle TA, so wird der aktuelle Grauwert „GREY" des Sourcepixels, z.B. Sl, der unter der Bildadresse AD aufgenommen wurde, in den TargetSpeicher 105 unter der Targetpixeladresse TP abgespeichert. Die dazu benötigte Targetpixeladresse TP wird aus der Rektifizierungstabelle TA zur Verfügung gestellt. Das Enable-Signal des Vergleichers 103 und der Taktgenerator 100 sorgen' für die zeitliche Synchronisation des Verfahrens, das vorzugsweise in einem Mikrocont- roller, einem ASIC und/oder einem FPGA ausgeführt wird. Nach Abspeichern des Grauwerts Sl im Targetspeicher 105 wird der Zähler 104 (CounterJTarget) um eins erhöht (A:=A+1) . Dadurch wird der Pointer A der Rektifizierungstabelle auf die nächste ausgewählte Sourceadresse SP mit zugehöriger Targetadresse TP gesetzt. Weiterhin wird der Zähler 101 (Counter_Source) hoch gezählt, so dass der Grauwert des nächsten Sourcepixels S im Bildsensor 72, 73 ausgelesen werden kann. Nach Überprüfen, ob die letzte Adresse im Adressraum des Bildsensors erreicht ist, beginnt der Auslesezyklus eines neuen Sourcebildes. Nach dem Verfahren gemäß Figur 7a wird somit die in Figur 3 beispielhaft dargestellte Abbildungsvorschrift zum Entzerren eines Sourcebildes S durch Abbilden einzelner Sourcepixel Si in Targetpixel Ti für das gesamte Sourcebild S durchgeführt.
In Figur 7b ist ein weiteres Flussdiagramm F2 dargestellt, das im Vergleich zum Flussdiagramm Fl aus der Figur 7a auch eine Zuweisungen einer Sourcepixeladresse SP eines Sourcepixels zu mehreren Targetpixeladressen TP vornehmen kann. Dazu wird neben der Rektifiziertabelle TA aus Figur 5a eine weitere Referenztabelle TB aus Figur 5b benutzt, die die Mehrfachzuweisungen enthält. Vorzugsweise folgt die Referenztabelle TA direkt der Rektifiziertabelle TB im Festspeicher der Auswerteeinheit 74.
Das im Flussdiagramm F2 dargestellte Verfahren beginnt nach dem Start mit den dazugehörigen Initialisierungsroutinen. Es wird abgefragt, ob ein neues Sourcebild beginnt
(CAM_SYNC="high"?) . Soll damit begonnen werden, ein neues Sourcebild S aus dem Bildspeicher des Bildsensors 72, 73 aus- zulesen, so wird der Zähler (Counter_Source) für die Sourcepixeladresse im Sourcebild auf Null gesetzt. Der Zähler (CounterJTarget) , der auf die Tabellenadresse TBA in der Referenztabelle TA weist, wird auf Null gesetzt. Der Pointer B in der Tabellenadresse TBB der Tabelle TB wird auf die erste Sourceadresse beziehungsweise Referenzadresse gesetzt. Die erste Referenzadresse ist dabei die Targetpixeladresse, die der ersten Sourcepixeladresse mit Mehrfachzuweiseung zugeordnet ist, d. h. in Figur 5b die Sourceadresse 1. Weiterhin wird einer State-Machine ein Status bzw. ein State
„Read_Ref_Addr" zugewiesen, der nachfolgend zum Lesen des nächsten Wertes B:=B+1 in der Referenztabelle TB führen soll.
Im nächsten Schritt wird die vom Zähler 104 eingestellte und von der Tabelle TA ausgegebene Sourcepixeladresse „CounterJTarget" mit der aktuellen, vom anderen Zähler 101 eingestellten Sourcepixeladresse „Counter_Source" verglichen. Sind diese beiden Adressen identisch ( „Counter_Source gleich CounterJTarget") , so wird der Grauwert „GREY" des aktuellen ausgewählten Sourcepixels unter der Targetpixeladresse in den Targetspeicher abgespeichert. Bei Mehrfachzuweisungen entspricht diese Targetpixeladresse der Referenzadresse aus der Referenztabelle TB.
Die aktuelle Adresse für die Rektifizierungstabelle TA (Tabellenadresse A) wird um eins erhöht. Die Adresse Ad der Sourcepixeladresse des Bildsensors wird um eins erhöht (Coun- ter_Source) , wodurch ein neues Sourcepixel im Bildsensor angesteuert wird. Daraufhin beginnt der Zyklus erneut mit der Prüfung, ob ein neues Bild vorhanden ist ( „CAM_SYNC="high") .
Ist bei dem vorherigen Vergleich („Counter_Source gleich CounterJTarget") die Sourcepixeladresse aus der Rektifiziertabelle TA ungleich der aktuellen Adresse Ad des Sourcepi- xels, so wird im folgenden Schritt der „State" der State- Machine geprüft. In den nach der „State"-Zuweisung folgenden Verfahrensschritten wird mit Hilfe der Tabelle TB geprüft, ob eine Mehrfachzuweisung einer Sourcepixeladresse zu mehreren Targetpixeladressen vorhanden ist. Ist dies der Fall, wird in den fol- genden Auslesezyklen der Grauwert „GREY" der betreffenden Targetpixeladresse, im Folgenden auch Referenzadresse „Ref_Addr" bezeichnet, ausgelesen und in die jeweiligen zusätzlichen Targetadressen 1.1, 1.2 kopiert (siehe Figur 5b). Dieser Kopiervorgang benötigt insgesamt drei Nein- Auslesezyklen, d.h. ein dreimaliges Durchlaufen der Schritte nach der „State"-Abfrage. Somit wird der Kopiervorgang in drei Teilschritte zerlegt. Diese Teilschritte werden durchgeführt in den Zeitabschnitten, in denen die aktuelle Sourcepixeladresse auf ein nicht-ausgewähltes weiteres Sourcepixel Nx, Nl (Figur 3) zeigt. Dieser Zeitraum beginnt nach dem Vergleich CounterJTarget = Counter_Source mit der „State"- Abfrage.
Es gibt insgesamt vier Verzweigungen beim Überprüfen des „State":
„Bypass", „Read_Ref_Addr", „Read_Ref_Pixel" und „Wri- te_Ref_Pixel" .
Der aktuelle Wert des „State" bei Beginn eines neuen Bildes wurde auf „Read_Ref_Addr" gesetzt. Somit wird bei der „Sta- te"-Abfrage der Zweig „Read_Ref_Addr" ausgewählt, bei der in einem ersten Schritt die nächste Referenzadresse aus der Tabelle TB gelesen wird, wenn die aktuelle Sourcepixeladresse größer ist als die Sourcepixeladresse des Referenzpixels, die aus der Referenztabelle TB gelesen wird.
Nach dem Lesen der nächsten Referenzadresse Ref Addr aus der Tabelle TB wird das „Ref_Piχel_Flag" zurückgesetzt. Das „Ref_Pixel_Flag" gibt im zurückgesetzten Zustand an, dass der Grauwert „GREY" an der Position der Referenzadresse „Ref Addr" aus dem Targetspeicher ausgelesen werden kann. Dieser Grauwert „GREY" wurde bei einer „Ja"-Entscheidung der vorherigen Abfrage „Coutner_target gleich CounterJSource" in den Targetspeicher abgelegt.
Im folgenden Schritt wird geprüft, ob überhaupt schon ein Grauwert „GREY" an die Position der Referenzadresse „Ref Addr" im Targetspeicher geschrieben wurde. Wenn unter „Ref Addr" ein Grauwert „GREY" geschrieben wurde, wird der „State" auf „Read_Ref_Pixel" gesetzt, sonst wird der „State" auf „Bypass" gesetzt. Der State „Bypass" tritt auf, wenn noch kein Grauwert an die Position der Referenzadresse Ref_Addr geschrieben wurde.
Dies wird festgestellt, indem die aktuelle Sourcepixeladresse Counter_Source mit der Sourcepixeladresse aus der Tabelle TB verglichen wird. Ist Counter_Source größer als der Tabelleneintrag, so wurde der Grauwert bereits in den Targetspeicher unter der Referenzadresse Ref_Addr geschrieben und kann kopiert werden, d.h der Grauwert wird im State „Read_Ref_Pixel" gelesen und im State „Write_Ref_Pixel" geschrieben. Ansonsten wird der State „Bypass" gesetzt, bei dem durch Überspringen des Lesens der nächsten Referenzadress Ref_Addr gewartet wird, bis ein Grauwert unter der Referenz- adresse Ref_Addr geschrieben wurde.
Nach der State-Zuweisung „Bypass" oder „Read_Ref_Pixel" wird der Pointer der aktuellen Sourcepixeladresse „Counter_Source" um eins erhöht, worauf hin zur Abfrage „Neues Bild" (CAM_SYNC="high") gesprungen wird.
Ist bei der nächsten State-Überprüfung „aktueller State ..." der State „Read_Ref_Pixel" zugewiesen, so wird mit Hilfe des Flags „Ref_Pixel_Flag" abgefragt, ob in dem vorherigen Zyklus der Referenzgrauwert „GREY" bereits an der Position der Refe- renzadresse „Ref_Addr" aus dem Targetspeicher ausgelesen wurde. Wurde der Referenzgrauwert „GREY" noch nicht aus dem Targetspeicher ausgelesen, so wird dies nun durchgeführt. Nach dieser Flag-Abfrage wird die nächste, zur aktuellen Referenzadresse „Ref_Addr" zugehörige Targetadresse „Tar_Addr" ausgelesen, beispielsweise unter der Tabellenadresse B+l die zur Referenzadresse 1 gehörige Targetadresse 1.1 aus der Tabelle TB, Figur 5b. Es wird nun ein nächster State „Wri- te_Ref_Pixel" zugewiesen, der im nächsten Zyklus das Beschreiben dieser Targetadresse TAR_ADDR 1.1 in den Targetspeicher veranlasst. Nach der Zuweisung wird wieder über das Hochzählen der aktuellen Sourcepixeladresse Coun- ter_Source zur Abfrage „Neues Bild?" (CAM_SYNC="high") gesprungen.
Wird in der nächsten State-Zuweisung zu dem State „Write_Ref_Pixel" verwiesen, so wird der in einem der vorherigen Zyklen ausgelesene Grauwert „GREY" der Referenzadresse an die Position der Targetadresse TAR_ADDR in den Targetspeicher geschrieben. Daraufhin wird geprüft, ob der nächste Wert in der Referenztabelle TB eine Referenzadresse oder eine Tar- getadresse ist. Dies wird durch das Auswerten der Sourceadresse in der Spalte SPB durchgeführt. Eine Referenzadresse ist einer Sourceadresse zugewiesen, während einer Targetadresse ein fester Wert, beispielsweise Null („0") zugewiesen ist. Damit ist durch zeilenweises Hochzählen des Pointers B in der Tabellenadresse TBB feststellbar, ob eine Referenzoder eine Targetadresse als nächster Wert in der Tabelle TB vorhanden ist.
Tritt als nächster Wert eine Targetadresse auf, so wird der State auf „Read_Ref_Pixel" gesetzt, so dass im nächsten Auslesezyklus die nächste zur aktuellen Referenzadresse Ref_Addr zugehörige Targetadresse Tar_Addr ausgelesen wird. Ist der nächste Wert in der Tabelle TB dagegen eine Referenzadresse, so wird der State „Read__Ref_Addr" gesetzt, wodurch im nächs- ten Zyklus die nächste Referenzadresse aus der Tabelle TB für die darauffolgende Mehrfachzuweisung gelesen wird. Nach dem Setzen des entsprechenden States wird der Pointer „Coun- ter_Source", der auf die Sourcepixeladresse weist, um eins erhöht und auf die Abfrage „Neues Bild?" (CAM_SYNC="high"?) gesprungen.
Bevorzugt wird die Erfindung in Insassenschutzsystemen, Mobiltelefonen oder Webkameras eingesetzt.
In einer weiteren Ausführungsform ist ein gezieltes Verzerren (Morphen) von Bildern zur Erzeugung gewollter optischer Ef- fekte, z. B. in Videokameras möglich.

Claims

Patentansprüche
1. Verfahren zum Entzerren eines Bildes, insbesondere für Insassenschutzsysteme, bei dem - mindestens ein vorgegebenes Sourcepixel (Sl, S4) eines Sourcebildes (S) ausgewählt wird, dessen Grauwert (GREY) unter einer vorgegebenen Sourcepixeladresse (XI, Yl) auslesbar ist,
- das vorgegebene Sourcepixel (Sl, S4) unter einer vor- gegebenen Abbildungsvorschrift (S1->T1, S4->T4,
- S18->T18, S18->T18*) in mindestens ein Targetpixel (Tl, T4) abgebildet wird, das unter einer vorgegebenen Targetpixeladresse (X2,Y2) in einem Target-Bild (T) angeordnet ist, und - der unter der vorgegebenen Sourcepixeladresse (XI, Yl) ausgelesene Grauwert (GREY) unter der vorgegebenen Targetpixeladresse (X2,Y2) in einem Speicher (105) abgespeichert wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Abbildungsvorschrift mit Hilfe mindestens einer Tabelle (TA, TB) ausgeführt wird, die in dem Speicher einer Auswerteeinheit (74) abgelegt ist.
3. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass
- das Sourcebild (S) über eine Optik von einem optischen Sensor, vorzugsweise einem Bildsensor (73,72), erfasst wird.
4. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass
- das vorgegebene Sourcepixel (Sl, S18) direkt und/oder während des Auslesens des Sourcebildes (S) aus dem Bildsensor (72, 73) und/oder ohne Zwischenspeichern und/oder in Echtzeit in mindestens ein Targetpixel (Tl, T4) abgebildet wird.
5. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass
- das Sourcebild (S) vorgegebene bzw. ausgewählte Sour- cepixel (Sl bis S18) aufweist, die in Targetpixel (Tl bis T18) abgebildet werden,
- die Sourcepixel (N1,..,S1 bis S18) eines Sourcebildes (S) zyklisch, vorzugsweise zeilenweise nacheinander, aus dem Sourcebild (S) ausgelesen werden, - die vorgegebenen Sourcepixel synchron bzw. in einem festen Zeitraster in die jeweiligen Targetpixel abgebildet werden.
6. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass
- die Sourcepixel (N, Sl bis S18) jeweils unter ihrer Sourcepixeladresse (SP, (XI, Yl)) auslesbar sind, die Sourcepixeladressen einen Pixeladressraum bilden, in dem die Sourcepixeladressen matrixförmig (XI, Yl) geordnet sind, und
- die Sourcepixel zeilenweise mit ansteigender Adresszahl ausgelesen werden.
7. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass
- das Sourcebild (S) weitere Sourcepixel (Nl, Ni, Nx) aufweist, die nicht in Targetpixel (Tl) abgebildet werden.
8. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass
- die Sourcepixel (Sl, S4) zum Abbilden auf mindestens ein Targetpixel (Tl,T4) ausgewählt werden, deren Sourcepixeladressen (SP) in mindestens einer Tabelle (TA, TB) enthalten ist.
9. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass
- in der mindestens einen Tabelle (TA, TB) die Sourcepixeladresse (XI, Yl, SP) eines ausgewählten Sourcepi- xels (Sl bis S18) und eine der Sourcepixeladresse
(XI, Yl, SP) zugeordnete Targetpixeladresse (X2,Y2,TP) vorhanden ist,
- durch einen vorzugsweise synchron getakteten Source- Zähler (Counter_Source) eine Sourcepixeladresse ange- wählt und die zugehörigen Grauwerte ausgelesen werden,
- über einen Target-Zähler (CounterJTarget) eine Tabellenadresse (TBA) der mindestens einen Tabelle (TA, TB) angewählt wird, wodurch eine ausgewählte Sourcepixe- ladresse (SP) und die dazugehörige Targetpixeladresse
(TP) ausgegeben werden, die vom Source-Zähler angewählte Sourcepixeladresse (Nl, .., Sl, ..) mit der von der Tabelle (TA) ausgegebenen Sourcepixeladresse (Sl) verglichen wird, wo- bei bei Gleichheit der Grauwert der Sourcepixeladresse (SP=S1, .., S18) unter der von der Tabelle ausgegebenen Targetpixeladresse (Tl, .., T18) (TP) abgespeichert wird, und - der Target-Zähler (Counter-Target) weitergezählt wird.
10. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass - das Sourcebild (S) einen Bildbereich (Nl, Nx) aufweist, in dem weniger Sourcepixel (Nl, Nx) ausgewählt werden als in einem weiteren Bildbereich (B, Sl bis S4) (S17, S15, Sll, S12) .
11. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass - mindestens ein ausgewähltes bzw. vorgegebenes Sourcepixel (S18) , das vorzugsweise am Rand des Sourcebildes (S) angeordnet ist, auf mehrere Targetpixel (T18, T18*) abgebildet wird.
12. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass
- mindestens ein ausgewähltes bzw. vorgegebenes Sourcepixel (S18) auf mehrere Targetpixel (T18, T18*) abge- bildet wird, indem
- mit Hilfe mindestens einer Tabelle (TA, TB) aus der Sourcepixeladresse des ausgewählten Sourcepixels (S18) zumindest eine (T18) der mehreren Targetpixeladressen ( (XI, Y2) (T18, T18*) der Targetpixel er- mittelt wird, der Grauwert (GREY) der ausgewählten Sourcepixeladresse (S18) unter einer der mehreren Targetpixeladressen (T18, T18*) abgespeichert wird, wobei - während des Auslesens mindestens eines bzw. mehrerer, weiterer nicht-ausgewählter Sourcepixel (Nl,Nx, Ni) der Grauwert der ausgewählten Sourcepixeladresse (S18) unter der anderen bzw. den anderen der mehreren Targetpixeladressen (T18*) abgespeichert wird.
13. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass eine Zeitspanne (Z) verfügbar ist, in dem mindestens ein weiteres Sourcepixel (Nl, Ni, Nx) aus dem Source- bild (S) ausgelesen wird, das nicht auf ein Targetpixel (Tl bis T18) abgebildet wird, wobei mehrere dieser Zeitspannen (Z) unmittelbar hintereinander oder voneinander getrennt angeordnet sein können, und während einer oder mehrerer Zeitspanne (Z) - die jeweilige Targetpixeladresse (X2,Y2) der anderen Targetpixel/des anderen Targetpixels (T18*, T18**) mit Hilfe der mindestens einen Tabelle (TA) oder einer weiteren Tabelle (TB) ermittelt wird,
- der unter einer Targetpixeladresse (T18) abgespeicherte Grauwert ausgelesen wird und von der ande- ren/den anderen der mehreren Targetpixeladressen
(T18*) abgespeichert wird.
14. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass - das Sourcebild (S) in einer Matrix (XI, Yl) angeordnete Sourcepixel (Nl, Sl) aufweist, der Adressraum der mindestens einen Tabelle (TA, TAB, Al,A2, ...) im Wesentlichen die Größe des Adressraums des Targetbildes (T) aufweist, - die Anzahl (n2 * m2) der Targetpixel (Tl bis T18) geringer ist als die Anzahl (nl * ml) der Sourcepixel (Nl, Nx, Sl bis S18) , und
- die mindestens eine Tabelle Tabellenadressen (Pointer A, A+l, ...) aufweist, die jeweils auf eine Sourcepi- xeladresse und eine Targetpixeladresse weisen.
15. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass
- die Grauwerte der Targetpixel (Tl bis T18) des Tar- getbildes(T) in einem Speicher (105) der Auswerteeinheit (74) gespeichert werden.
16. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass - von der Kamera (72,73) ein Bildbereich (Bi) im Innenraum des Fahrzeugs (1) erfasst wird, der im Wesentlichen dem jeweiligen Sourcebild (S) des betreffenden Bildsensors (72, 73) entspricht.
17. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass - die Grauwerte der Sourcepixel (Sl bis S18) an eine Auswerteeinheit (74) übermittelt werden, und
- die mindestens eine Tabelle (TA, TB) in einem Speicher der Auswerteeinheit (74) abgelegt ist.
18. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass
- der optische Sensor/der Bildsensor (73,72) Teil eines optischen Systems ist (71,72, 73), das Abstandsinfor- mationen aufnimmt, vorzugsweise einer 3D-Stereokamera mit zwei Bildsensoren (72, 73) zur Stereobilderfassung oder Teil eines Laufzeitabhängigen Systems (71, 72) ist.
19. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Öffnungswinkel des Kamerasystems etwa 100x90 Grad beträgt
20. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet dass das Verfahren zum gezielten Verzerren von Bildern (Morphen) eingesetzt wird.
21. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Verfahren in Mobiltelefonen und/oder Web-Kameras eingesetzt wird.
22. Vorrichtung zum Entzerren eines Bildes, insbesondere für Insassenschutzsysteme, dadurch gekennzeichnet, dass ein Kamerasystem (7) einen Bildbereich (Bi) im Innenraum des Fahrzeugs (1) erfasst und die von dem Kamerasystem (7) erfassten Bildinformationen von einer Auswerteeinheit (31) nach einem der in den vorherigen Verfahrensansprüchen angegebenen Verfahrensschritten verarbeitet werden.
PCT/DE2001/000825 2001-03-05 2001-03-05 Verfahren und vorrichtung zum entzerren eines bildes, insbesondere für insassenschutzsysteme WO2002078346A1 (de)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020037011680A KR100910670B1 (ko) 2001-03-05 2001-03-05 승객 보호 시스템을 위한 이미지 보정 방법 및 장치
JP2002576439A JP2004530202A (ja) 2001-03-05 2001-03-05 たとえば乗員保護システムのための画像の歪みを除去する方法および装置
DE50107083T DE50107083D1 (de) 2001-03-05 2001-03-05 Verfahren und vorrichtung zum entzerren eines bildes, insbesondere für insassenschutzsysteme
PCT/DE2001/000825 WO2002078346A1 (de) 2001-03-05 2001-03-05 Verfahren und vorrichtung zum entzerren eines bildes, insbesondere für insassenschutzsysteme
EP01916900A EP1368970B1 (de) 2001-03-05 2001-03-05 Verfahren und vorrichtung zum entzerren eines bildes, insbesondere für insassenschutzsysteme
US10/469,782 US7304680B2 (en) 2001-03-05 2002-10-03 Method and device for correcting an image, particularly for occupant protection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/DE2001/000825 WO2002078346A1 (de) 2001-03-05 2001-03-05 Verfahren und vorrichtung zum entzerren eines bildes, insbesondere für insassenschutzsysteme

Publications (1)

Publication Number Publication Date
WO2002078346A1 true WO2002078346A1 (de) 2002-10-03

Family

ID=5648222

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2001/000825 WO2002078346A1 (de) 2001-03-05 2001-03-05 Verfahren und vorrichtung zum entzerren eines bildes, insbesondere für insassenschutzsysteme

Country Status (6)

Country Link
US (1) US7304680B2 (de)
EP (1) EP1368970B1 (de)
JP (1) JP2004530202A (de)
KR (1) KR100910670B1 (de)
DE (1) DE50107083D1 (de)
WO (1) WO2002078346A1 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007090576A1 (de) 2006-02-06 2007-08-16 Leopold Kostal Gmbh & Co. Kg Kameraanordnung hinter einer geneigten scheibe
WO2008077134A1 (en) * 2006-12-19 2008-06-26 California Institute Of Technology Image processor
DE102009028743A1 (de) 2009-08-20 2011-03-17 Robert Bosch Gmbh Verfahren und Steuergerät zur Entzerrung eines Kamerabildes
US8094169B2 (en) 2006-12-19 2012-01-10 California Institute Of Technology Imaging model and apparatus
DE102011007644A1 (de) 2011-04-19 2012-10-25 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bestimmung von zur Entzerrung eines Bildes geeigneten Werten und zur Entzerrung eines Bildes

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6326613B1 (en) 1998-01-07 2001-12-04 Donnelly Corporation Vehicle interior mirror assembly adapted for containing a rain sensor
US6124886A (en) 1997-08-25 2000-09-26 Donnelly Corporation Modular rearview mirror assembly
US6445287B1 (en) 2000-02-28 2002-09-03 Donnelly Corporation Tire inflation assistance monitoring system
US8288711B2 (en) 1998-01-07 2012-10-16 Donnelly Corporation Interior rearview mirror system with forwardly-viewing camera and a control
US6278377B1 (en) 1999-08-25 2001-08-21 Donnelly Corporation Indicator for vehicle accessory
US6420975B1 (en) 1999-08-25 2002-07-16 Donnelly Corporation Interior rearview mirror sound processing system
US7480149B2 (en) 2004-08-18 2009-01-20 Donnelly Corporation Accessory module for vehicle
EP1263626A2 (de) 2000-03-02 2002-12-11 Donnelly Corporation Video-spiegelsystem mit zusatzmodul
US6396408B2 (en) 2000-03-31 2002-05-28 Donnelly Corporation Digital electrochromic circuit with a vehicle network
US6824281B2 (en) 2002-01-31 2004-11-30 Donnelly Corporation Vehicle accessory module
WO2006063827A1 (en) 2004-12-15 2006-06-22 Magna Donnelly Electronics Naas Limited An accessory module system for a vehicle window
JP2007148500A (ja) * 2005-11-24 2007-06-14 Olympus Corp 画像処理装置および画像処理方法
JP4297111B2 (ja) * 2005-12-14 2009-07-15 ソニー株式会社 撮像装置、画像処理方法及びそのプログラム
JPWO2008126227A1 (ja) * 2007-03-29 2010-07-22 富士通マイクロエレクトロニクス株式会社 表示制御装置、情報処理装置、および表示制御プログラム
JP5008139B2 (ja) * 2007-11-26 2012-08-22 株式会社リコー 画像撮像装置
JP4911628B2 (ja) * 2008-01-28 2012-04-04 株式会社リコー 画像処理方法、画像処理装置及び画像撮像装置
JP5062846B2 (ja) * 2008-07-04 2012-10-31 株式会社リコー 画像撮像装置
US8570374B2 (en) 2008-11-13 2013-10-29 Magna Electronics Inc. Camera for vehicle
JP2012523783A (ja) * 2009-04-13 2012-10-04 テセラ・テクノロジーズ・ハンガリー・ケイエフティー 軌跡に基づいて画像センサーを読み出すための方法とシステム
JP5376313B2 (ja) * 2009-09-03 2013-12-25 株式会社リコー 画像処理装置及び画像撮像装置
JP2013125401A (ja) * 2011-12-14 2013-06-24 Samsung Electronics Co Ltd 撮像装置および歪補正方法
US20140125802A1 (en) * 2012-11-08 2014-05-08 Microsoft Corporation Fault tolerant display
EP3220099B1 (de) 2014-11-13 2019-11-06 Olympus Corporation Kalibriervorrichtung, kalibrierverfahren, optische vorrichtung, bildgebungsvorrichtung projektionsvorrichtung, messsystem und messverfahren
JP6805854B2 (ja) * 2017-02-02 2020-12-23 株式会社Ｊｖｃケンウッド 車載撮影装置及び映り込み抑制方法
US10657396B1 (en) * 2019-01-30 2020-05-19 StradVision, Inc. Method and device for estimating passenger statuses in 2 dimension image shot by using 2 dimension camera with fisheye lens

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0450718A1 (de) * 1990-04-02 1991-10-09 Koninklijke Philips Electronics N.V. Anordnung zum geometrischen Korrigieren eines verzerrten Bildes
US5384588A (en) * 1991-05-13 1995-01-24 Telerobotics International, Inc. System for omindirectional image viewing at a remote location without the transmission of control signals to select viewing parameters
US5815199A (en) * 1991-01-31 1998-09-29 Matsushita Electric Works, Ltd. Interphone with television
JPH10271490A (ja) * 1997-03-24 1998-10-09 Yazaki Corp 車両後方監視装置
WO1999012349A1 (en) * 1997-09-04 1999-03-11 Discovery Communications, Inc. Apparatus for video access and control over computer network, including image correction

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5853707A (ja) * 1981-09-25 1983-03-30 Toshiba Corp 三次元距離測定装置におけるテレビカメラの画像歪補正方式
US5067019A (en) * 1989-03-31 1991-11-19 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Programmable remapper for image processing
JP3033204B2 (ja) * 1991-01-31 2000-04-17 松下電工株式会社 テレビインターホン
JP2658642B2 (ja) * 1991-07-31 1997-09-30 松下電工株式会社 テレビインターホン
US5200818A (en) * 1991-03-22 1993-04-06 Inbal Neta Video imaging system with interactive windowing capability
US5528194A (en) * 1991-05-13 1996-06-18 Sony Corporation Apparatus and method for performing geometric transformations on an input image
US5185667A (en) * 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system
US5990941A (en) * 1991-05-13 1999-11-23 Interactive Pictures Corporation Method and apparatus for the interactive display of any portion of a spherical image
US5345542A (en) * 1991-06-27 1994-09-06 At&T Bell Laboratories Proportional replication mapping system
US5796426A (en) * 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
US5508734A (en) * 1994-07-27 1996-04-16 International Business Machines Corporation Method and apparatus for hemispheric imaging which emphasizes peripheral content
JPH08116490A (ja) * 1994-10-14 1996-05-07 Olympus Optical Co Ltd 画像処理装置
JPH08256295A (ja) * 1994-12-21 1996-10-01 Olympus Optical Co Ltd 画像処理装置
US5999660A (en) * 1995-07-26 1999-12-07 California Institute Of Technology Imaging system for correction of perceptual distortion in wide angle images
US5691765A (en) * 1995-07-27 1997-11-25 Sensormatic Electronics Corporation Image forming and processing device and method for use with no moving parts camera
JP3599255B2 (ja) * 1995-12-04 2004-12-08 本田技研工業株式会社 車両用環境認識装置
JPH09202180A (ja) * 1996-01-29 1997-08-05 Niles Parts Co Ltd 車載カメラ装置
JPH10164326A (ja) * 1996-11-28 1998-06-19 Minolta Co Ltd 画像取り込み装置
US6043837A (en) * 1997-05-08 2000-03-28 Be Here Corporation Method and apparatus for electronically distributing images from a panoptic camera system
JP2000125174A (ja) * 1998-10-12 2000-04-28 Fuji Photo Film Co Ltd 画像情報における歪曲収差補正方法および装置
US6538691B1 (en) * 1999-01-21 2003-03-25 Intel Corporation Software correction of image distortion in digital cameras
US6704434B1 (en) * 1999-01-27 2004-03-09 Suzuki Motor Corporation Vehicle driving information storage apparatus and vehicle driving information storage method
DE19921488A1 (de) * 1999-05-08 2000-11-16 Bosch Gmbh Robert Verfahren und Vorrichtung zur Überwachung des Innenraums und des Umfeldes eines Fahrzeugs
JP2001145012A (ja) * 1999-11-12 2001-05-25 Toyota Autom Loom Works Ltd 画像歪補正装置
JP3804916B2 (ja) * 2001-02-09 2006-08-02 シャープ株式会社 撮像システムとその画像データ制御に用いられるプログラムおよびその撮像システムにおける撮像画像の歪み補正方法とその手順を記憶させた記憶媒体
DE50103815D1 (de) * 2001-05-25 2004-10-28 Siemens Ag Vorrichtung und verfahren zur verarbeitung von bilddaten
FR2827680B1 (fr) * 2001-07-20 2003-10-10 Immervision Internat Pte Ltd Procede de capture d'une image panoramique au moyen d'un capteur d'image de forme rectangulaire
US6833843B2 (en) * 2001-12-03 2004-12-21 Tempest Microsystems Panoramic imaging and display system with canonical magnifier
US7224392B2 (en) * 2002-01-17 2007-05-29 Eastman Kodak Company Electronic imaging system having a sensor for correcting perspective projection distortion
US7202888B2 (en) * 2002-11-19 2007-04-10 Hewlett-Packard Development Company, L.P. Electronic imaging device resolution enhancement
US7450165B2 (en) * 2003-05-02 2008-11-11 Grandeye, Ltd. Multiple-view processing in wide-angle video camera
US7636498B2 (en) * 2003-06-02 2009-12-22 Olympus Corporation Image processing apparatus
JP2007148500A (ja) * 2005-11-24 2007-06-14 Olympus Corp 画像処理装置および画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0450718A1 (de) * 1990-04-02 1991-10-09 Koninklijke Philips Electronics N.V. Anordnung zum geometrischen Korrigieren eines verzerrten Bildes
US5815199A (en) * 1991-01-31 1998-09-29 Matsushita Electric Works, Ltd. Interphone with television
US5384588A (en) * 1991-05-13 1995-01-24 Telerobotics International, Inc. System for omindirectional image viewing at a remote location without the transmission of control signals to select viewing parameters
JPH10271490A (ja) * 1997-03-24 1998-10-09 Yazaki Corp 車両後方監視装置
WO1999012349A1 (en) * 1997-09-04 1999-03-11 Discovery Communications, Inc. Apparatus for video access and control over computer network, including image correction

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PATENT ABSTRACTS OF JAPAN vol. 1999, no. 01 29 January 1999 (1999-01-29) *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007090576A1 (de) 2006-02-06 2007-08-16 Leopold Kostal Gmbh & Co. Kg Kameraanordnung hinter einer geneigten scheibe
US7811011B2 (en) 2006-02-06 2010-10-12 Leopold Kostal Gmbh & Co. Kg Camera arrangement behind an inclined pane
WO2008077134A1 (en) * 2006-12-19 2008-06-26 California Institute Of Technology Image processor
US8094169B2 (en) 2006-12-19 2012-01-10 California Institute Of Technology Imaging model and apparatus
US8094965B2 (en) 2006-12-19 2012-01-10 California Institute Of Technology Image processor
DE102009028743A1 (de) 2009-08-20 2011-03-17 Robert Bosch Gmbh Verfahren und Steuergerät zur Entzerrung eines Kamerabildes
DE102009028743B4 (de) * 2009-08-20 2011-06-09 Robert Bosch Gmbh Verfahren und Steuergerät zur Entzerrung eines Kamerabildes
US8644641B2 (en) 2009-08-20 2014-02-04 Robert Bosch Gmbh Method and control unit for rectifying a camera image
DE102011007644A1 (de) 2011-04-19 2012-10-25 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bestimmung von zur Entzerrung eines Bildes geeigneten Werten und zur Entzerrung eines Bildes
WO2012143159A1 (de) 2011-04-19 2012-10-26 Robert Bosch Gmbh Verfahren und vorrichtung zur bestimmung von zur entzerrung eines bildes geeigneten werten und zur entzerrung eines bildes

Also Published As

Publication number Publication date
KR20030081500A (ko) 2003-10-17
JP2004530202A (ja) 2004-09-30
KR100910670B1 (ko) 2009-08-04
DE50107083D1 (de) 2005-09-15
US7304680B2 (en) 2007-12-04
EP1368970A1 (de) 2003-12-10
US20040202380A1 (en) 2004-10-14
EP1368970B1 (de) 2005-08-10

Similar Documents

Publication Publication Date Title
EP1368970B1 (de) Verfahren und vorrichtung zum entzerren eines bildes, insbesondere für insassenschutzsysteme
DE2935261C2 (de) Anordnung zur Mustererkennung
DE4411179B4 (de) Bildeinfangvorrichtung
DE102010062496B4 (de) Verfahren und Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems
DE2803686C2 (de) Festkörperfernsehkamera
DE102008062121A1 (de) Kameraeinheit mit Fahrkorridor-Anzeigefunktion für ein Fahrzeug, Verfahren zur Anzeige einer vorausberechneten Fahrzeugtrajektorie und System zur Generierung von Fahrkorridormarkierungen
DE2938585C2 (de)
DE102010038939A1 (de) Bildkorrekturvorrichtung und -verfahren und Verfahren zur Herstellung einer Transformationskarte hierfür
EP3253045B1 (de) Verfahren zur erkennung und korrektur von bildfehlern sowie bildverarbeitungseinheit und computerprogramm hierzu
DE3318127A1 (de) Verfahren zur bild-abtastung und -aufzeichnung
DE112020004853T5 (de) Reduzierung eines Flimmereffektes mehrerer Lichtquellen in einem Bild
DE102017208994A1 (de) Verfahren zur Ermittlung von Ergebnisbilddaten
WO2010028718A2 (de) Verfahren zur bildverarbeitung von stereobildern
DE102011007644A1 (de) Verfahren und Vorrichtung zur Bestimmung von zur Entzerrung eines Bildes geeigneten Werten und zur Entzerrung eines Bildes
DE102010021221A1 (de) Verfahren zur Bestimmung einer Ausrichtung einer an einem Fahrzeug angeordneten Kamera
DE602004001718T2 (de) Verfahren zur Echtzeitkorrektur nicht funktionierender Pixel in der digitalen Radiographie
EP1390913B1 (de) Vorrichtung und verfahren zur verarbeitung von bilddaten
DE102018201631A1 (de) Verfahren und system zum erzeugen einer virtuellen darstellung zur erweiterung des sichtfelds in einem fahrzeug
DE2816839C3 (de) Schaltungsanordnung zum Aufbereiten eines abgetasteten Musters
EP3316216B1 (de) Verfahren zum prüfen eines gegenstands
EP3518180A1 (de) Verfahren zur erstellung einer bildstapel-datenstruktur
DE102007021230A1 (de) Verfahren zur Kalibrierung einer Vielzahl von Projektionseinrichtungen
WO2020119996A1 (de) Transfer von zusatzinformation zwischen kamerasystemen
DE69933624T2 (de) Verfahren und Vorrichtung zur Detektion des Bildeinblendens in einem Videosignal
DE202016008887U1 (de) Bildverarbeitungseinheit und Computerprogramm zur Erkennung und Korrektur von Bildfehlern

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2001916900

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2002576439

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 1020037011680

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 1020037011680

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2001916900

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10469782

Country of ref document: US

WWG Wipo information: grant in national office

Ref document number: 2001916900

Country of ref document: EP