WO2009115232A1 - Bildverarbeitungsvorrichtung - Google Patents

Bildverarbeitungsvorrichtung Download PDF

Info

Publication number
WO2009115232A1
WO2009115232A1 PCT/EP2009/001803 EP2009001803W WO2009115232A1 WO 2009115232 A1 WO2009115232 A1 WO 2009115232A1 EP 2009001803 W EP2009001803 W EP 2009001803W WO 2009115232 A1 WO2009115232 A1 WO 2009115232A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
model
texture
pixels
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2009/001803
Other languages
English (en)
French (fr)
Inventor
Jörg Liebelt
Klaus Schertler
Falk Schubert
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus Defence and Space GmbH
Original Assignee
EADS Deutschland GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EADS Deutschland GmbH filed Critical EADS Deutschland GmbH
Publication of WO2009115232A1 publication Critical patent/WO2009115232A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/10—Texturing; Colouring; Generation of textures or colours
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Definitions

  • the present invention relates to the field of image processing.
  • object images can first be recorded and processed by means of, for example, image sensors.
  • the two-dimensional (2D) images or image sequences of a 3D scene generated by imaging sensors contain information about the surface properties of objects contained in the scene. This can e.g. Information about their colors, as in the case of optical sensors, reflective properties, such as in the case of imaging radar, or temperature properties, as in the case of infrared sensors, be.
  • Information about their colors, as in the case of optical sensors, reflective properties, such as in the case of imaging radar, or temperature properties, as in the case of infrared sensors be.
  • the use of this information in object recognition systems is complicated by the fact that the 2D pictorial representation of this information is dependent on the positioning and orientation of the sensor relative to the object.
  • the invention is based on the recognition that information about surface properties of an object can be obtained by suitable evaluation of the object image using an existing object model, for example a computer-aided design model (CAD).
  • CAD computer-aided design model
  • individual pixels of the object for example pixels
  • image data generated from the object model for example, in order to obtain corresponding model image points.
  • the model pixels may also be mapped to texture pixels of a perspective-independent texture image that is to contain the surface information.
  • the two-dimensional image of the three-dimensional object can be detected, for example, by means of an image capture device such as a sensor, whereby a two-dimensional object image is formed.
  • the object model is three-dimensional, so that the two-dimensional object image can be imaged onto the three-dimensional object model. Based on the object model, the texture image concerning the surface of the object is created.
  • the invention relates to an image processing device for generating a texture image on the basis of an object image with a provision device for providing image data of an object model of the object, an association device for assigning a pixel of the object image to a corresponding model image point of the object model using the image data and an imaging device for imaging the image Model image point to a texture pixel point of the texture image to produce the view angle independent texture image.
  • the association device is designed to associate a plurality of image points of the object image with a plurality of corresponding model image points of the object model, wherein the Abndus stimulate is adapted to image the plurality of pixels of the object model on a plurality of texture pixels.
  • the association device is designed to associate pixels of a first object image region of the object image corresponding first model image points of the object model and pixels of a second object image area of the object image corresponding second model image points of the object model, wherein the imaging device is formed, the first model image points on first texture pixels of a first texture image area and the map second model pixels to second texture pixels of a second texture image area.
  • the object image comprises viewing-angle-dependent object image regions, wherein the associating device is designed to image the viewing-angle-dependent object image regions into corresponding viewing-angle-independent texture image regions of the texture image.
  • the image processing apparatus is configured to convert a sequence of object images into a sequence of texture images, wherein the association device is configured to associate pixels of the object images with model pixels of the object model and wherein the mapping device is configured to image the model pixels onto texture pixels of a sequence of texture images.
  • the image processing device comprises a detection device, in particular a camera or an image sensor, for detecting the object image.
  • the association device is designed to associate that pixel of the object image with the model image point of the object model that most closely corresponds to the model pixel geometrically.
  • the image processing device further comprises a recognition device for recognizing the object on the basis of the texture image.
  • the invention further relates to a method of generating a texture image on the basis of an object image, providing image data of an object model of the object, assigning a pixel of the object image to a model pixel of the object model using the image data, and mapping the pixel to a texture pixel of the texture image Create texture image.
  • the invention further relates to a computer program with a program code for carrying out the method for generating a texture image when the computer program runs on a computer.
  • Fig. 1 an image processing apparatus
  • FIGS. 2A, 2B and 2C show a representation of an object in an image sequence
  • FIG. 7 shows exemplary images on texture images
  • FIG. 8 shows exemplary mappings of the fusion of the texture images into a higher-resolution, error-reduced texture image
  • FIG. 1 shows an image processing device with a provision device 101 for providing image data of an object model and an allocation device 103 downstream of the delivery device 101 for assigning a pixel of the object image to a model image point of the device
  • the mapping device 103 is followed by an imaging device 105 for imaging the model pixels onto a texture pixel point of the texture image.
  • the inventive concept is based on the use of the object model in the form of, for example, a 3D model registration system which projectively brings an SD model of an object into coincidence with the object imaged in a sensor image.
  • each pixel representing the object of the sensor image can be assigned a corresponding 3D point on the 3D model. If a one-dimensional 2D point within a texture image is assigned to each 3D point of the 3D model, then the color information of each pixel representing the object can be transferred into the texture image.
  • the texture images correspond to a non-perspective representation of the surface information used to improve quality, for example with the superresolution method described in SC Park, MK Park, MG Kang, IEEE SIGNAL PROCESSING MAGAZINE 21 , 2003, or other fusion algorithms can be fused.
  • FIGS. 2A to 2C show different views of the same object in a sequence of images. It can depend on the viewing angle For example, the surface of the object containing the letter C may be shown differently in its two-dimensional image.
  • the utilization of the surface information of objects in image sequences is made possible by the acquisition of an angle-independent, high-resolution, error-reduced representation of this information.
  • the independence of sensor position and sensor orientation relative to the object is to be understood as being angle-independent.
  • FIG. 3 shows method steps 301, 303, 305 and 307 for the generation and use of high-resolution, reduced-defect surface properties of objects, for example for object classification.
  • an image sequence is obtained by means of corresponding imaging sensors.
  • This image sequence is usually obtained by the time-repeated image acquisition of a single sensor, e.g. with a video camera.
  • the image sequence may also consist of individual images or image sequences of temporally or spatially distributed sensors, such as in different reconnaissance cameras in a UAV swarm. For this purpose, it can be assumed that the object to be analyzed is at least partially visible in each image of the image sequence.
  • the image sequence from method step 301 is transformed into a new image sequence-the texture image sequence-in method step 303.
  • This is characterized in that the same pixel coordinates of the texture images correspond to the same 3D points of the object to be analyzed in the scene and thus represent the same surface properties of the object point.
  • each pixel representing the object in the sensor image can be assigned the corresponding 3D coordinate of the model or a one-to-one texture coordinate in the texture layer.
  • Textured image done.
  • improved classification possibilities of the object such as e.g. Labels or logos on airplanes
  • reference surface information stored in databases such as reference texture images.
  • the direct comparison with reference data is made possible by the viewing angle-independent display of the surface information.
  • the robustness of the classification is determined by the error-reducing effect of the data fusion, such as e.g. increased the superresolution.
  • the information of the viewing angle independent representation may e.g. be used to find the object in subsequent images of the image sequence and their more accurate 3D positioning.
  • Fig. 4 shows an image between points on the object model and the texture image coordinates. Different sides of the three-dimensional object model are displayed two-dimensionally side by side in the texture layer. 5 shows the result of the model registration of a three-dimensional vehicle model on a vehicle object, edge projections being represented by the object model.
  • FIG. 6 shows method steps for transforming a sensor image into a
  • Texture image comprising the first step 601 of the model registration on sensor image, the second step 603 of the extraction of the sensor image information and the third step 605, in which the sensor image information is mapped into a texture image.
  • the 3D model is registered to the object present in the sensor image.
  • the model registration identifies the pixels representing the object in the sensor image and thus can be extracted.
  • the information of each extracted pixel e.g. Color or intensity values are stored in a texture image. This is shown schematically in the application to a sensor image sequence in FIG. 7.
  • the extracted texture image sequence is fused into a single, higher-resolution texture image.
  • unwanted properties of the individual images such as, for example, statistical aberrations, noise, highlights and partial occlusions, can be compensated or reduced in the sense of a redundant multiple measurement of the same object properties.
  • so-called superresolution methods can be used. It should be noted that the pixels of the texture images, which already correspond to one another, no longer require image registration as in traditional superresolution processes. This process step is shown schematically in FIG. 8.
  • the high-resolution, reduced-error texture image from the preceding method step is used to classify the object used. Due to the viewing angle independent representation of
  • GPU Graphics Processing Unit
  • the described non-perspective representation of the surface information may be used in a distributed object recognition system of multiple sensor nodes, e.g. a UAV swarm.
  • the texture images generated in individual sensor nodes may be transmitted by data transmission at a central location, e.g. at a dedicated sensor node or ground station, fused and evaluated further. By exchanging and comparing texture images, individual sensor nodes can gain evidence whether they are directed to identical objects within the scene.
  • the high-resolution, error-reduced texture image obtained in process step 305 may additionally be used to render it in conjunction with the 3D model used for three-dimensional representation, e.g. interactively rotatable to use the existing object in the sensor image.
  • Such a system could also be used to render facial images, e.g. be used from surveillance cameras.
  • the necessary 3D model e.g. a facial model, could thereby automatically or semi-automatically or user-assisted by the requirement of a maximum
  • Self-consistency / similarity of the generated texture images can be adapted to the real face shapes. This can provide in addition to the actual enhancement of the facial image additional 3D face information, e.g. a rough face shape.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft eine Bildverarbeitungsvorrichtung zum Erzeugen eines Texturbildes auf der Basis eines Objektbildes mit einer Bereitstellungseinrichtung (101) zum Bereitstellen von Bilddaten eines Objektmodells des Objektes, einer Zuordnungseinrichtung (103) zum Zuordnen eines Bildpunktes des Objektbildes zu einem Modellbildpunkt des Objektmodells unter Verwendung der Bilddaten und einer Abbildungseinrichtung (105) zum Abbilden des Modellbildpunktes auf einen Texturbildpunkt des Texturbildes, um das Texturbild zu erzeugen.

Description

Bildverarbeitungsvorrichtung
Die vorliegende Erfindung betrifft das Gebiet der Bildverarbeitung.
Zur Erfassung von Informationen über Oberflächeneigenschaften von Objekten können zunächst Objektbilder mittels beispielsweise Bildsensoren aufgenommen und bearbeitet werden. Die durch bildgebende Sensorik erzeugten zweidimensionalen (2D) Bilder oder Bildfolgen einer 3D-Szene enthalten Informationen über die Oberflächeneigenschaften von in der Szene enthaltenen Objekten. Dies können z.B. Informationen über deren Farben, wie im Falle von optischer Sensorik, Reflexionseigenschaften, wie im Falle von bildgebendem Radar, oder Temperatureigenschaften, wie im Falle von Infrarot- Sensorik, sein. Die Nutzung dieser Informationen in Objekterkennungssystemen ist dadurch erschwert, dass die bildhafte 2D-Darstellung dieser Informationen von der Positionierung und Ausrichtung des Sensors relativ zum Objekt abhängig ist.
Während die Interpretation und die Nutzung der Informationen einer Bildfolge unter perspektivischen Veränderungen für den Menschen einfach ist, so ist sie für eine Maschine schwierig. Dies liegt daran, dass gleiche Punkte auf dem Objekt im Allgemeinen auf unterschiedliche Pixel innerhalb der Sensorbilder abgebildet werden. Die gesamtheitliche Nutzung einer Bildsequenz oder deren Teile im Sinne einer erfolgten Mehrfachmessung der Oberflächeneigenschaften von einander entsprechenden Objektpunkten kann daher nicht erfolgen, ohne dass bekannt ist, welche Informationen, wie z.B. Pixel, in verschiedenen Sensorbildern zueinander korrespondieren.
Es ist die Aufgabe der Erfindung, ein effizientes Konzept zur Gewinnung von Oberflächeninformationen zu schaffen.
Diese Aufgabe wird durch die Merkmale der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen und Weiterbildungen der Erfindung sind in den Unteransprüchen beschrieben. Die Erfindung basiert auf der Erkenntnis, dass Informationen über Oberflächeneigenschaften eines Objektes durch eine geeignete Auswertung des Objektbildes unter Verwendung eines vorhandenen Objektmodells, beispielsweise eines Computer-Aided-Design-Models (CAD), gewonnen werden können. Hierzu können einzelne Bildpunkte des Objektes, beispielsweise Pixel, mit aus dem Objektmodell erzeugten Bilddaten beispielsweise verglichen werden, um korrespondierende Modellbildpunkte zu erhalten. Die Modellbildpunkte können ferner auf Texturbildpunkte eines blickwinkelunabhängigen Texturbildes, das die Oberflächeninformationen enthalten soll, abgebildet werden.
Das zweidimensionale Bild des dreidimensionalen Objektes kann beispielsweise mittels einer Bilderfassungseinrichtung wie einem Sensor erfasst werden, wodurch ein zweidimensionales Objektbild entsteht. Das Objektmodell ist jedoch dreidimensional, so dass das zweidimensionale Objektbild auf das dreidimensionale Objektmodell abgebildet werden kann. Auf der Basis des Objektmodells wird das die Oberfläche des Objektes betreffende Texturbild erstellt.
Die Erfindung betrifft eine Bildverarbeitungsvorrichtung zum Erzeugen eines Texturbildes auf der Basis eines Objektbildes mit einer Bereitstellungseinrichtung zum Bereitstellen von Bilddaten eines Objektmodells des Objektes, einer Zuordnungseinrichtung zum Zuordnen eines Bildpunktes des Objektbildes zu einem korrespondierenden Modellbildpunkt des Objektmodells unter Verwendung der Bilddaten und einer Abbildungseinrichtung zum Abbilden des Modellbildpunktes auf einen Texturbildpunktpunkt des Texturbildes, um das blickwinkelunabhängige Texturbild zu erzeugen.
Gemäß einer Ausführungsform ist die Zuordnungseinrichtung ausgebildet, eine Mehrzahl von Bildpunkten des Objektbildes einer Mehrzahl von korrespondierenden Modellbildpunkten des Objektmodells zuzuordnen, wobei die Abbildυngseinrichtung ausgebildet ist, die Mehrzahl von Bildpunkten des Objektmodells auf eine Mehrzahl von Texturbildpunkten abzubilden.
Gemäß einer Ausführungsform ist die Zuordnungseinrichtung ausgebildet, Bildpunkte eines ersten Objektbildbereichs des Objektbildes entsprechenden ersten Modellbildpunkten des Objektmodells und Bildpunkte eines zweiten Objektbildbereichs des Objektbildes entsprechenden zweiten Modellbildpunkten des Objektmodells zuzuordnen, wobei die Abbildungseinrichtung ausgebildet ist, die ersten Modellbildpunkte auf erste Texturbildpunkte eines ersten Texturbildbereichs und die zweiten Modellbildpunkte auf zweite Texturbildpunkte eines zweiten Texturbildbereichs abzubilden.
Gemäß einer Ausführungsform umfasst das Objektbild blickwinkelabhängige Objektbildbereiche, wobei die Zuordnungseinrichtung ausgebildet ist, die blickwinkelabhängigen Objektbildbereiche in korrespondierende blickwinkelunabhängige Texturbildbereiche des Texturbildes abzubilden.
Gemäß einer Ausführungsform ist die Bildverarbeitungsvorrichtung ausgebildet, eine Folge von Objektbildern in eine Folge von Texturbildern zu überführen, wobei die Zuordnungseinrichtung ausgebildet ist, Bildpunkte der Objektbilder Modellbildpunkten des Objektmodells zuzuordnen und wobei die Abbildungseinrichtung ausgebildet ist, die Modellbildpunkte auf Texturbildpunkte einer Folge von Texturbildern abzubilden.
Gemäß einer Ausführungsform umfasst die Bildverarbeitungsvorrichtung eine Erfassungseinrichtung, insbesondere eine Kamera oder einen Bildsensor, zum Erfassen des Objektbildes.
Gemäß einer Ausführungsform ist die Zuordnungseinrichtung ausgebildet, denjenigen Bildpunkt des Objektbildes zu dem Modellbildpunkt des Objektmodells zuzuordnen, der dem Modellbildpunkt am ehesten geometrisch entspricht. Gemäß einer Ausführungsform umfasst die Bildverarbeitungsvorrichtung ferner eine Erkennungseinrichtung zum Erkennen des Objektes anhand des Texturbildes.
Die Erfindung betrifft ferner ein Verfahren zum Erzeugen eines Texturbildes auf der Basis eines Objektbildes mit Bereitstellen von Bilddaten eines Objektmodells des Objektes, Zuordnen eines Bildpunktes des Objektbildes zu einem Modellbildpunkt des Objektmodells unter Verwendung der Bilddaten und Abbilden des Bildpunktes auf einen Texturbildpunkt des Texturbildes, um das Texturbild zu erzeugen.
Die Erfindung betrifft ferner ein Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens zum Erzeugen eines Texturbildes, wenn das Computerprogramm auf einem Computer abläuft.
Weitere Ausführungsbeispiele werden anhand der beiliegenden Zeichnungen näher erläutert. Es zeigen:
Fig. 1 eine Bildverarbeitungsvorrichtung;
Figuren 2A, 2B und 2C eine Darstellung eines Objektes in einer Bildfolge;
Fig. 3 Verfahrensschritte;
Fig. 4 eine Abbildung zwischen Modellbildpunkten und Texturbildkoordinaten;
Fig. 5 ein Ergebnis einer Modellregistrierung eines dreidimensionalen Fahrzeugmodells auf ein Fahrzeugobjekt;
Fig. 6 Verfahrensschritte; Fig. 7 beispielhafte Abbildungen auf Texturbilder;
Fig. 8 beispielhafte Abbildungen der Fusion der Texturbilder in ein höher aufgelöstes, fehlerreduziertes Texturbild;
Fig. 9 eine Klassifikation anhand von Texturbildern.
Fig. 1 zeigt eine Bildverarbeitungsvorrichtung mit einer Bereitstellungseinrichtung 101 zum Bereitstellen von Bilddaten eines Objektmodells und einer der Bereitstellungseinrichtung 101 nachgeschalteten Zuordnungseinrichtung 103 zum Zuordnen eines Bildpunktes des Objektbildes zu einem Modellbildpunkt des
Objektmodells unter Verwendung der Bilddaten. Der Zuordnungseinrichtung 103 ist eine Abbildungseinrichtung 105 nachgeschaltet zur Abbildung der Modellbildpunkte auf einen Texturbildpunktpunkt des Texturbildes.
Das erfindungsgemäße Konzept basiert auf der Verwendung des Objektmodells in Form von beispielsweise einem 3D-Modell-Registrierungssystem, welches ein SD- Modell eines Objektes mit dem in einem Sensorbild abgebildeten Objekt projektiv in Deckung bringt. Damit kann jedem das Objekt darstellenden Pixel des Sensorbildes ein entsprechender 3D-Punkt auf dem 3D-Modell zugeordnet werden. Wird jedem 3D-Punkt des 3D-Modells ein eineindeutiger 2D-Punkt innerhalb eines Texturbildes zugeordnet, so kann die Farbinformation jedes das Objekt darstellenden Pixels in das Texturbild übertragen werden. Die Texturbilder entsprechen einer blickwinkelunabhängigen Darstellung der Oberflächeninformationen, die zur Qualitätsverbesserung beispielsweise mit dem Verfahren der Superresolution, das in der Schrift von S. C. Park, M. K. Park, M. G. Kang, „Super-resolution image reconstruction: a technical overview", IEEE SIGNAL PROCESSING MAGAZINE 21 , 2003, beschrieben ist, oder anderer Fusionsalgorithmen fusioniert werden können.
In den Figuren 2A bis 2C sind verschiedene Ansichten desselben Objektes in einer Bildfolge dargestellt. Dabei kann abhängig von dem Betrachtungswinkel beispielsweise die den Buchstaben C enthaltende Oberfläche des Objektes bei dessen zweidimensionalen Abbildung unterschiedlich dargestellt sein.
Erfindungsgemäß wird die Nutzbarmachung der Oberflächeninformationen von Objekten in Bildfolgen durch die Gewinnung einer blickwinkelunabhängigen hochaufgelösten fehlerreduzierten Darstellung dieser Informationen ermöglicht. Dabei ist unter Blickwinkelunabhängigkeit die Unabhängigkeit von Sensor-Position und Sensor-Ausrichtung relativ zum Objekt zu verstehen.
Fig. 3 zeigt Verfahrensschritte 301 , 303, 305 und 307 zur Erzeugung und Nutzung hochaufgelöster, fehlerreduzierter Oberflächeneigenschaften von Objekten, beispielsweise zur Objektklassifikation.
Im Verfahrensschritt 301 wird eine Bildfolge durch entsprechende bildgebende Sensorik gewonnen. Diese Bildfolge wird üblicherweise durch die zeitlich wiederholte Bildakquisition eines einzelnen Sensors gewonnen, wie z.B. bei einer Videokamera. Andererseits kann sich die Bildfolge auch aus Einzelbildern oder Bildfolgen zeitlich oder räumlich verteilter Sensoren zusammensetzen, wie beispielsweise in verschiedenen Aufklärungskameras in einem UAV-Schwarm. Dazu kann angenommen werden, dass das zu analysierende Objekt in jedem Bild der Bildfolge zumindest partiell sichtbar ist.
Die Bildfolge aus Verfahrensschritt 301 wird in Verfahrensschritt 303 in eine neue Bildfolge - die Texturbildfolge - transformiert. Diese zeichnet sich dadurch aus, dass gleiche Pixelkoordinaten der Texturbilder zu gleichen 3D-Punkten des zu analysierenden Objektes in der Szene korrespondieren und somit die gleichen Oberflächeneigenschaften des Objektpunktes repräsentieren.
Die Realisierung einer solchen Transformation erfordert beispielsweise die Erfüllung folgender Voraussetzungen: - Die Verwendung eines 3D-Modells, wie z.B. eines CAD-Modells, entsprechend der Geometrie des zu analysierenden und im Sensorbild enthaltenen Objektes; die Definition einer im mathematischen Sinne eineindeutigen Abbildung jedes 3D-Oberflächenpunktes des Modells auf einem 2D-Punkt der Texturebene. Eine solche Abbildung kann immer gefunden werden; und
- Die Verwendung eines Modellregistrierungsverfahrens, welches das SD- Modell in projektive Deckung mit dem Objekt im Sensorbild bringt. Mit einem solchen Verfahren kann jedem das Objekt im Sensorbild darstellenden Pixel die entsprechende 3D-Koordinate des Modells bzw. eine eineindeutige Texturkoordinate in der Texturebene zugeordnet werden.
Für jedes Sensorbild einer Bildfolge kann beispielsweise in drei Transformationsschritten die Transformation in ein blickwinkelunabhängiges
Texturbild erfolgen. Durch die Gewinnung von hochaufgelösten fehlerreduzierten Oberflächeninformationen, wie beispielsweise der Objekttexturierung, durch das vorstehend genannte Verfahren der Superresolution ergeben sich verbesserte Klassifikationsmöglichkeiten des Objektes, wie z.B. Aufschriften oder Logos auf Flugzeugen, durch einen Vergleich mit in Datenbanken hinterlegten Referenz- Oberflächen informationen wie Referenz-Texturbildern. Der direkte Vergleich mit Referenzdaten wird durch die blickwinkelunabhängige Darstellung der Oberflächeninformationen ermöglicht. Die Robustheit der Klassifikation wird durch die fehlerreduzierende Wirkung der Datenfusion, wie z.B. der Superresolution erhöht. Darüber hinaus können die Informationen der blickwinkelunabhängigen Darstellung z.B. zum Auffinden des Objektes in nachfolgenden Bildern der Bildsequenz und zu deren genaueren 3D-Positionsbestimmung genutzt werden.
Fig. 4 zeigt eine Abbildung zwischen Punkten auf dem Objektmodell und den Texturbildkoordinaten. Dabei werden verschiedene Seiten des dreidimensionalen Objektmodells in der Texturbildebene zweidimensional nebeneinander abgebildet. Fig. 5 zeigt das Ergebnis der Modellregistrierung eines dreidimensionalen Fahrzeugmodells auf ein Fahrzeugobjekt, wobei von dem Objektmodell Kantenprojektionen dargestellt sind.
Fig. 6 zeigt Verfahrensschritte zur Transformation eines Sensorbildes in ein
Texturbild mit dem ersten Schritt 601 der Modellregistrierung auf Sensorbild, dem zweiten Schritt 603 der Extraktion der Sensorbildinformationen und mit dem dritten Schritt 605, in dem die Sensorbildinformationen in ein Texturbild abgebildet werden.
Im ersten Schritt wird das 3D-Modell auf das im Sensorbild vorhandene Objekt registriert. Durch die Modellregistrierung sind die das Objekt im Sensorbild darstellenden Pixel identifiziert und können somit extrahiert werden. Gleichzeitig ist zu jedem extrahierten Pixel des Sensorbildes der entsprechende 3D-Punkt auf dem Modell und, wie vorstehend beschrieben, eine eineindeutige Texturkoordinate in der Texturebene vorhanden. Damit können die Informationen jedes extrahierten Pixels, wie z.B. Färb- oder Intensitätswerte, in ein Texturbild gespeichert werden. Dies ist schematisch in der Anwendung auf eine Sensorbildfolge in Fig. 7 gezeigt.
Im weiteren Verfahrensschritt wird die gewonnene Texturbildfolge in ein einzelnes höher aufgelöstes Texturbild fusioniert. Durch diese Fusion können ungewünschte Eigenschaften der Einzelbilder, wie beispielsweise statistische Bildfehler, Rauschen, Glanzlichter und Teilverdeckungen, im Sinne einer redundanten Mehrfachmessung der gleichen Objekteigenschaften ausgeglichen bzw. reduziert werden. Dazu können sogenannte Superresolutionsverfahren Anwendung finden. Man beachte, dass hier durch die schon zueinander korrespondierenden Pixel der Texturbilder keine Bildregistrierung wie in traditionellen Superresolutionsverfahren mehr notwendig ist. Dieser Verfahrensschritt ist schematisch in Fig. 8 dargestellt.
Im weiteren Verfahrensschritt wird das hochaufgelöste, fehlerreduzierte Texturbild aus dem vorangegangenen Verfahrensschritt zur Klassifikation des Objektes herangezogen. Durch die blickwinkelunabhängige Darstellung der
Oberflächeninformationen ist ein Ähnlichkeitsvergleich mit in einer Datenbank hinterlegten Referenz-Texturbildern möglich. Dies ist schematisch in Fig. 9 gezeigt.
Die Umsetzung des beschriebenen Verfahrens kann beispielsweise unter Nutzung eines Grafikprozessors (GPU = Graphics Processing Unit) erfolgen.
Die beschriebene blickwinkelunabhängige Darstellung der Oberflächeninformationen kann in einem verteilten Objekterkennungssystem mehrerer Sensorknoten, wie z.B. einem UAV-Schwarm, genutzt werden. Die in einzelnen Sensorknoten erzeugten Texturbilder können durch Datenübertragung an zentraler Stelle, z.B. an einem dedizierten Sensorknoten oder einer Bodenstation, fusioniert und weiter ausgewertet werden. Einzelne Sensorknoten können durch den Austausch und Vergleich von Texturbildern Evidenz gewinnen, ob diese auf identische Objekte innerhalb der Szene gerichtet sind.
Das in dem Verfahrensschritt 305 gewonnene hochaufgelöste fehlerreduzierte Texturbild kann zusätzlich dazu benutzt werden, um es in Verbindung mit dem verwendeten 3D-Modell zur dreidimensionalen Darstellung, z.B. interaktiv drehbar, des im Sensorbild vorhandenen Objektes zu nutzen.
Ein solches System könnte auch zur Aufbereitung von Gesichtsbildern z.B. aus Überwachungskameras verwendet werden. Das notwendige 3D-Modell, z.B. ein Gesichtsmodell, könnte dabei automatisch oder teilautomatisch bzw. benutzerunterstützt durch die Forderung einer maximalen
Selbstkonsistenz/Ähnlichkeit der erzeugten Texturbilder an die realen Gesichtsformen angepasst werden. Dies kann neben der eigentlichen Verbesserung des Gesichtsbildes zusätzlich 3D-lnformationen über das Gesicht liefern, z.B. eine grobe Gesichtsform.

Claims

Patentansprüche
1. Bildverarbeitungsvorrichtung zum Erzeugen eines Texturbildes auf der Basis eines Objektbildes, mit: einer Bereitstellungseinrichtung (101) zum Bereitstellen von Bilddaten eines Objektmodells des Objektes; einer Zuordnungseinrichtung (103) zum Zuordnen eines Bildpunktes des
Objektbildes zu einem Modellbildpunkt des Objektmodells unter Verwendung der
Bilddaten; einer Abbildungseinrichtung (105) zum Abbilden des Modellbildpunktes auf einen Texturbildpunktpunkt des Texturbildes, um das Texturbild zu erzeugen.
2. Bildverarbeitungsvorrichtung nach Anspruch 1 , wobei die Zuordnungseinrichtung (103) ausgebildet ist, eine Mehrzahl von Bildpunkten des Objektbildes einer Mehrzahl von Modellbildpunkten des Objektmodells zuzuordnen, und wobei die Abbildungseinrichtung ausgebildet ist, die Mehrzahl von Bildpunkten des Objektmodells auf eine Mehrzahl von Texturbildpunkten abzubilden.
3. Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 2, wobei die Zuordnungseinrichtung (103) ausgebildet ist, Bildpunkte eines ersten Objektbildbereichs des Objektbildes entsprechenden ersten Modellbildpunkten des Objektmodells und Bildpunkte eines zweiten Objektbildbereichs des Objektbildes entsprechenden zweiten Modellbildpunkten des Objektmodells zuzuordnen und wobei die Abbildungseinrichtung (105) ausgebildet ist, die ersten Modellbildpunkte auf erste Texturbildpunkte eines ersten Texturbildbereichs und die zweiten Modellbildpunkte auf zweite Texturbildpunkte eines zweiten Texturbildbereichs abzubilden.
4. Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei das Objektbild blickwinkelabhängige Objektbildbereiche aufweist, wobei die Zuordnungseinrichtung (103) ausgebildet ist, die blickwinkelabhängigen Objektbildbereiche in korrespondierende blickwinkelunabhängige Texturbildbereiche des Texturbildes abzubilden.
5. Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 4, die ausgebildet ist, eine Folge von Objektbildern in eine Folge von Texturbildern zu transformieren, wobei die Zuordnungseinrichtung (103) ausgebildet ist, Bildpunkte der Objektbilder Modellbildpunkten des Objektmodells zuzuordnen und wobei die Abbildungseinrichtung (105) ausgebildet ist, die Modellbildpunkte auf Texturbildpunkte einer Folge von Texturbildern abzubilden.
6. Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 5, die ferner eine Erfassungseinrichtung, insbesondere eine Kamera oder einen Bildsensor, zum Erfassen des Objektbildes aufweist.
7. Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 6, wobei die Zuordnungseinrichtung (103) ausgebildet ist, denjenigen Bildpunkt des Objektbildes zu dem Modellbildpunkt des Objektmodells zuzuordnen, der dem Modellbildpunkt am ehesten geometrisch entspricht.
8. Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 7, die ferner eine Datenfusionseinrichtung zur Fusion einer Folge von Texturbildern in ein einzelnes Texturbild aufweist.
9. Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 8, die ferner eine Erkennungseinrichtung zum Erkennen des Objektes anhand des Texturbildes aufweist.
10. Verfahren zum Erzeugen eines Texturbildes auf der Basis eines Objektbildes, mit: Bereitstellen von Bilddaten eines Objektmodells des Objektes; Zuordnen eines Bildpunktes des Objektbildes zu einem Modellbildpunkt des Objektmodells unter Verwendung der Bilddaten;
Abbilden des Modellbildpunktes auf einen Texturbildpunkt des Texturbildes, um das Texturbild zu erzeugen.
11. Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens gemäß Anspruch 10, wenn das Computerprogramm auf einem Computer abläuft.
PCT/EP2009/001803 2008-03-17 2009-03-12 Bildverarbeitungsvorrichtung Ceased WO2009115232A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102008014381.2 2008-03-17
DE102008014381A DE102008014381B4 (de) 2008-03-17 2008-03-17 Bildverarbeitungsvorrichtung

Publications (1)

Publication Number Publication Date
WO2009115232A1 true WO2009115232A1 (de) 2009-09-24

Family

ID=40785398

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2009/001803 Ceased WO2009115232A1 (de) 2008-03-17 2009-03-12 Bildverarbeitungsvorrichtung

Country Status (2)

Country Link
DE (1) DE102008014381B4 (de)
WO (1) WO2009115232A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1039417A1 (de) * 1999-03-19 2000-09-27 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Gerät zur Bildverarbeitung auf Basis von Metamorphosemodellen
US20020113799A1 (en) * 2001-02-22 2002-08-22 Mitsubishi Electric Information Technology Center America, Inc. Method for extracting stafic and dynamic super-resolution textures form a sequence of images

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10152851A1 (de) * 2001-10-25 2003-05-15 Daimler Chrysler Ag Bildverarbeitungssystem
DE102005018456A1 (de) * 2005-04-20 2006-11-02 HOS Hottinger Systems GbR (vertretungsberechtigter Gesellschafter: Walter Leo Pöhlandt, 68782 Brühl) Verfahren zum automatischen Erkennen von Reliefinformationen auf Oberflächen

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1039417A1 (de) * 1999-03-19 2000-09-27 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Gerät zur Bildverarbeitung auf Basis von Metamorphosemodellen
US20020113799A1 (en) * 2001-02-22 2002-08-22 Mitsubishi Electric Information Technology Center America, Inc. Method for extracting stafic and dynamic super-resolution textures form a sequence of images

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LA CASCIA M ET AL: "Head tracking via robust registration in texture map images", COMPUTER VISION AND PATTERN RECOGNITION, 1998. PROCEEDINGS. 1998 IEEE COMPUTER SOCIETY CONFERENCE ON SANTA BARBARA, CA, USA 23-25 JUNE 1998, LOS ALAMITOS, CA, USA,IEEE COMPUT. SOC, US, 23 June 1998 (1998-06-23), pages 508 - 514, XP010291690, ISBN: 978-0-8186-8497-5 *
LINCOLN MICHAEL C., CLARK ADRIAN F.: "Pose-Independent Face Identification from Video Sequences", LECTURE NOTES IN COMPUTER SCIENCE, AVBPA 2001, vol. 2091, 2001, pages 14 - 19, XP002534088 *
PIGHIN F ET AL: "Synthesizing realistic facial expressions from photographs", COMPUTER GRAPHICS. SIGGRAPH 98 CONFERENCE PROCEEDINGS. ORLANDO, FL, JULY 19- 24, 1998; [COMPUTER GRAPHICS PROCEEDINGS. SIGGRAPH], ACM, NEW YORK, NY, US, 19 July 1998 (1998-07-19), pages 75 - 84, XP002188569, ISBN: 978-0-89791-999-9 *

Also Published As

Publication number Publication date
DE102008014381B4 (de) 2010-07-08
DE102008014381A1 (de) 2009-09-24

Similar Documents

Publication Publication Date Title
DE69226512T2 (de) Verfahren zur Bildverarbeitung
DE69601880T2 (de) Verfahren und vorrichtung zur erstellung der lage einer fernsehkamera zur verwendung in einem virtuellen studio
DE102007045835B4 (de) Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
EP2144036B1 (de) Verfahren und Vorrichtung zur 3D-Digitalisierung eines Objekts
EP1693781B1 (de) Verfahren und Anordnung zur optischen Aufnahme biometrischer Fingerdaten
DE102014222617B4 (de) Fahrzeugerfassungsverfahren und Fahrzeugerfassungssytem
DE112016001150T5 (de) Schätzung extrinsischer kameraparameter anhand von bildlinien
DE112009000949T5 (de) Detektion eines freien Fahrpfads für ein Fahrzeug
EP2206089A1 (de) Verfahren und vorrichtung zum darstellen eines virtuellen objekts in einer realen umgebung
DE112007000371T5 (de) Objekterkennungssystem und -Verfahren
DE112011103452T5 (de) Verfahren zum Angleichen von Pixeln einer Entfernungsdarstellung
EP3931798B1 (de) Schätzung der bewegung einer bildposition
DE102020127000A1 (de) Erzeugung von zusammengesetzten bildern unter verwendung von zwischenbildflächen
DE102018100909A1 (de) Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
WO2023061732A1 (de) Verfahren zum lokalisieren eines anhängers, verarbeitungseinheit und fahrzeug
DE102008036219A1 (de) Verfahren zur Erkennung von Objekten im Umfeld eines Fahrzeugs
EP1425709A2 (de) Modellbasierte objektklassifikation und zielerkennung
DE112021002598T5 (de) Bildverarbeitungsvorrichtung
DE102008014381B4 (de) Bildverarbeitungsvorrichtung
DE102012100848B4 (de) System und Verfahren zur stereoskopischen Darstellung von Aufnahmen eines Endoskops
WO2017017103A1 (de) System zur stereoskopischen darstellung von aufnahmen eines endoskops
DE102004007049A1 (de) Verfahren zur Klassifizierung eines Objekts mit einer Stereokamera
DE102008057176B4 (de) Automatisierbares 3D-Rekonstruktionsverfahren und Überwachungsvorrichtung
DE102015209284A1 (de) Verfahren zum Erzeugen einer Ansicht einer Fahrzeugumgebung
DE112019006288T5 (de) Informationsverarbeitungsvorrichtung, programm undinformationsverarbeitungsverfahren

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09723478

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 09723478

Country of ref document: EP

Kind code of ref document: A1