WO2004075111A2 - Gerät und verfahren zur entzerrung eines weitwinklig aufgenommenen bildes - Google Patents

Gerät und verfahren zur entzerrung eines weitwinklig aufgenommenen bildes Download PDF

Info

Publication number
WO2004075111A2
WO2004075111A2 PCT/EP2004/000576 EP2004000576W WO2004075111A2 WO 2004075111 A2 WO2004075111 A2 WO 2004075111A2 EP 2004000576 W EP2004000576 W EP 2004000576W WO 2004075111 A2 WO2004075111 A2 WO 2004075111A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
typical
features
recorded
relative positions
Prior art date
Application number
PCT/EP2004/000576
Other languages
English (en)
French (fr)
Other versions
WO2004075111A3 (de
Inventor
Roland Aubauer
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Priority to EP04704571A priority Critical patent/EP1595226A2/de
Publication of WO2004075111A2 publication Critical patent/WO2004075111A2/de
Publication of WO2004075111A3 publication Critical patent/WO2004075111A3/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Definitions

  • the invention relates to a device with a digital optical recording device for wide-angle recording of an image of a person, a being or an object, the spatial orientation and the typical pictorial features of which are essentially fixed, and with a storage device for electronically storing the image.
  • the invention also relates to a method for rectifying such an image.
  • Examples of devices of the type mentioned above are commercially available digital cameras, in which digital images are generated and stored, particularly when taking portraits.
  • the spatial orientation and the typical pictorial features of the object to be photographed are essentially defined, especially in the portrait shots already mentioned.
  • Digital cameras have also recently been used in mobile phones to make it easier for a user of the
  • wide-angle lenses / lenses are usually used, so that the user can film (video sound) or record (single image).
  • the invention is therefore based on the object of providing a device with a digital optical recording device for wide-angle recording of an image of an object, and a method in which an effective equalization of the recorded image is achieved.
  • this object is achieved by a detection device for the two-dimensional detection of relative positions of the typical pictorial features of the recorded object relative to one another, a reference storage device which contains relative positions of the typical pictorial features corresponding to a standard arrangement, and an equalization device, those for reading out the image stored in the memory device and for equalizing the stored image, depending on a comparison of the relative
  • Reference storage device is formed.
  • a “wide-angle photograph” is understood to mean a photograph that captures an image section that is larger than that that is imaged on a retina of a human eye. This applies, for example, to object focal lengths of less than 50 mm in the 35 mm photograph a film section of 24 x 36 mm.
  • the device is thus suitable for using the detection device to identify the typical pictorial features of the recorded object - these are, for example, the mouth, nose and ears in a human face - and the relative positions of the identified typical pictorial features.
  • the actual equalization of the recorded image takes place in such a way that a standard arrangement is used, in which corresponding relative positions of the typical pictorial features to one another are fixed.
  • the equalization device preferably operates at least partially in a non-linear manner.
  • linearization algorithms can generally be used which do not work linearly in certain value ranges and linearly in other value ranges.
  • the comparison carried out then provides information about the extent to which the relative positions of the typical pictorial features differ from one another in the recorded object and in the standard arrangement.
  • the recorded image can then be approximated to the standard arrangement with regard to the locations of its typical pictorial features.
  • the typical pictorial features should preferably be selected such that they are partly in the outer region of the object being recorded and partly in the inner region of the object being recorded. This gives a particularly representative picture of the distortion attributable to the wide-angle lens.
  • the equalization device is preferably designed in such a way that a value for a variable is determined in the comparison, the one
  • Ears, head circumference and / or head outline can be used.
  • the equalization device is preferably designed to enlarge and reduce sections of the image, so that distortions can be effectively compensated for by an inserted wide-angle lens.
  • the equalization can be carried out both at the pixel level and at the surface level.
  • a mean value can be formed for corresponding pixels of the recorded image in order to reduce the size of an image section to calculate a pixel value of an associated reduced image section.
  • the equalization device is preferably designed for this purpose.
  • the equalization device can be designed to enlarge an image section to calculate a pixel value of an associated enlarged image section by interpolation based on neighboring pixels of the recorded image. In this case, the enlargement results in additional pixel values for a recorded image section, to which intensity and color values can be assigned. Such “gaps” resulting from the enlargement are closed by means of interpolation to generate new pixels.
  • non-linear equalization of the stored recorded image wherein the recorded image is read out and, depending on a comparison of the relative positions of typical pictorial features of the recorded object, is rectified by the detection device with the relative positions of the typical pictorial features corresponding to the standard arrangement by the reference storage device ,
  • a dimensional ratio between the relative positions of the typical features of the recorded object to one another and the relative positions of the typical features to one another in the standard arrangement can be determined that the equalization is involved.
  • This measure takes into account the fact that in certain cases there is a significant difference in the absolute dimensions of the item in the Image and the object can be in the standard arrangement. Such differences can be compensated for by determining the dimensional ratio in the manner described above.
  • the ratio between a distance between the layers of two is more typical as the dimensional ratio
  • Portrait shot can be the eye relief to form the
  • the equalization can be improved further by determining the spatial orientation of an object represented by the image when detecting the relative positions of the typical features of the recorded object the spatial alignment of the standard arrangement is adjusted for the comparison.
  • This measure can be useful if, for example, typical features for a portrait shot in the sense of the typical front view are stored as the standard arrangement, while the human head was taken in a perspective view in the case of a captured image.
  • the spatial orientation for the recorded image can be determined as part of the identification of the typical features of the human face, such as the eyes and ears, and the spatial orientation of the standard arrangement can be adapted on the basis of this.
  • the equalization can be carried out both for still images which are already available, for example, in a compressed data format such as JPEG, and for films in which several images are connected to one another.
  • the equalization can thus in real time, i.e. be carried out during a transmission via a communication connection as well as with a time delay.
  • the exemplary embodiment relates to a portrait that is taken by means of a digital camera that is integrated in a mobile phone.
  • the digital camera is equipped with a wide-angled lens to enable its user to take pictures of themselves while holding the mobile phone comfortably.
  • a two-dimensional detection of relative positions of typical pictorial features of the head of the user is carried out using a software-implemented detection device.
  • the typical visual features such as the eyes, ears, mouth, head size and head outline are recorded. These features are identified by means of the detection device.
  • their positions and thus their relative positions to each other are determined.
  • a reference storage device is then accessed, the relative positions of the typical pictorial features of a human being corresponding to a standard arrangement
  • a non-linear equalization device reads the cached image from the user's head from a storage device. This is followed by equalization of the stored image as described below. This equalization is based on a comparison of the relative positions of the typical pictorial features of the recorded head of the user with the relative positions of the typical pictorial features according to the standard arrangement. In this standard arrangement, relative positions and positions of the typical features are stored, which can be obtained, for example, from an "average face".
  • the comparison is evaluated to determine whether there is a significant correlation between the relative positions of the typical pictorial features of the recorded object, here the head of the user, and the relative positions provided by the reference storage device. This can be accomplished, for example, using the least squares method that provides a representative value for the correlation between pixel values of the recorded image and pixel values of the standard arrangement. If there is no sufficient correlation, no equalization takes place. In this way, it is avoided that in the case of the exemplary embodiment described here, equalization is carried out on the basis of the standard arrangement which relates to a human face in the case of non-portrait recordings.
  • the comparison is also evaluated to the extent that, in the equalization, a dimensional relationship between the relative positions of the typical features of the recorded object to one another and the relative positions of the typical features in the
  • Standard arrangement is determined. In this way, prior to the actual equalization, it is recognized whether there are any significant absolute dimensional differences between the recorded image and the standard arrangement.
  • the distance between the two eyes in the standard arrangement for the portrait picture discussed here can be compared with the eye distance in the picture taken in order to obtain a suitable value for the dimensional ratio.
  • the result delivered by the detection device is evaluated via the positions of the typical pictorial features. Based on the identification and the position of the eyes, ears, etc. of the head of the user, the spatial orientation can be inferred.
  • an internal image detail is reduced during the actual equalization, while an outer image detail is enlarged.
  • an outer image detail is enlarged.
  • averaging over a number of pixels of the recorded image is carried out so that an intensity value and a color value for the pixel, which reflects the number of pixels in the original image detail, are obtained.
  • the result of only enlarged image sections the result of only enlarged image sections, the result
  • an imaging rule can be obtained according to which, for a certain distance, the human head and the wide-angle lens between at one

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

Bei einem Gerät mit einer digitalen optischen Aufnahmeeinrichtung zur weitwinkligen Aufnahme eines Bildes einer Person, eines Wesens oder eines Gegenstands, dessen räumliche Ausrichtung und dessen typische bildliche Merkmale im wesentlichen festgelegt sind, und mit einer Speichereinrichtung zum elektronischen Ablegen des Bildes, wird die Aufgabe, eine wirksame zweidimensionale Entzerrung zu schaffen, gelöst durch eine Erfassungseinrichtung zur zweidimensionalen Erfassung relativer Lagen der typischen bildlichen Merkmale des aufgenommenen Gegenstands zueinander, eine Referenzspeichereinrichtung, die einer Standard-Anordnung entsprechende relative Lagen der typischen bildlichen Merkmale zueinander enthält, und eine Entzerrungseinrichtung, die zum Auslesen des in der Speichereinrichtung abgelegten Bildes und zum Entzerren des abgelegten Bildes, abhängig von einem Vergleich der relativen Lagen typischer bildlicher Merkmale des aufgenommenen Gegenstands von der Erfassungseinrichtung mit den der Standard-Anordnung entsprechenden relativen Lagen der typischen bildlichen Merkmale von der Referenzspeichereinrichtung, ausgebildet ist. Beschrieben wird außerdem ein Verfahren zur Entzerrung weitwinklig aufgenommener Bilder.

Description

Beschreibung
Gerät und Verfahren zur Entzerrung eines weitwinklig aufgenommenen Bildes
Die Erfindung bezieht sich auf ein Gerät mit einer digitalen optischen Aufnahmeeinrichtung zur weitwinkligen Aufnahme eines Bildes einer Person, eines Wesens oder eines Gegenstands, dessen räumliche Ausrichtung und dessen typische bildliche Merkmale im wesentlichen festgelegt sind, und mit einer Speichereinrichtung zum elektronischen Ablegen des Bildes. Außerdem bezieht sich die Erfindung auf ein Verfahren zur Entzerrung eines solchen Bildes.
Beispiele für Geräte der oben genannten Art sind handelsübliche Digitalkameras, bei denen insbesondere bei Portraitaufnahmen digitale Bilder erzeugt und gespeichert werden. Gerade bei den bereits angesprochenen Portraitaufnahmen sind die räumliche Ausrichtung und die typischen bildlichen Merkmale des aufzunehmenden Gegenstands im wesentlichen festgelegt.
Digitale Kameras werden seit kurzem ebenfalls in Mobiltelefonen eingesetzt, um es einem Benutzer des
Mobiltelefons zu gestatten, Aufnahmen von sich selbst oder bestimmten Gegenständen in seiner Umgebung mittels einer Kommunikationsverbindung zu einem gewünschten Ziel, das ebenfalls mit einer Kommunikationseinrichtung ausgestaltet ist, zu übermitteln.
Gerade für Portraitaufnahmen werden üblicherweise weitwinklige Objektive/Linsen eingesetzt, damit der Benutz-er sich selbst Filmen (Videofonie) oder Aufnehmen (Einzelbild) kann. Ein typischer Abstand zwischen einer Digitalkamera, die in ein Mobiltelefon integriert ist, und dem Kopf eines
Benutzers, der von sich selbst eine Aufnahme tätigen möchte, beträgt ca. 40cm - 60cm, so dass die Benutzung eines weitwinkligen Objektivs für die Digitalkamera zwingend erscheint.
Weitwinklige Objektive haben jedoch den Nachteil einer starken perspektivischen Verzeichnung/Verzerrung.
Vergleichsweise nahe Abschnitte eines aufzunehmenden Gegenstands werden überproportional groß aufgenommen, während entferntere Gegenstände überproportional klein dargestellt werden. Dies führt dazu, dass bei einer Portraitaufnahme beispielsweise Mund und Nase einer Person überdurchschnittlich groß, demgegenüber jedoch der Kopfumriss überdurchschnittlich klein aufgenommen werden.
Der Erfindung liegt daher die Aufgabe zu Gr nde, ein Gerät mit einer digitalen optischen Aufnahmeeinrichtung zur weitwinkligen Aufnahme eines Bildes eines Gegenstands sowie ein Verfahren zu schaffen, bei denen eine wirksame Entzerrung des aufgenommenen Bildes erzielt wird.
Diese Aufgabe wird hinsichtlich des Gerätes der eingangs genannten Art gelöst durch eine Erfassungseinrichtung zur zweidimensionalen Erfassung relativer Lagen der typischen bildlichen Merkmale des aufgenommenen Gegenstands zueinander, eine Referenzspeichereinrichtung, die einer Standard- Anordnung entsprechende relative Lagen der typischen bildlichen Merkmale zueinander enthält, und eine Entzerrungseinrichtung, die zum Auslesen des in der Speichereinrichtung abgelegten Bildes und zum Entzerren des abgelegten Bildes, abhängig von einem Vergleich der relativen
Lagen typischer bildlicher Merkmale des aufgenommenen
Gegenstands von der Erfassungseinrichtung mit den der
Standard-Anordnung entsprechenden relativen Lagen der typischen bildlichen Merkmale von der
Referenzspeichereinrichtung, ausgebildet ist.
Im Sinne dieser Beschreibung wird unter einer „weitwinkligen Aufnahme" eine Aufnahme verstanden, die einen Bildausschnitt erfasst, der größer ist als derjenige, der auf einer Netzhaut eines menschlichen Auges abgebildet wird. Dies gilt beispielsweise für Objektbrennweiten kleiner 50 mm in der Kleinbild-Fotographie mit einem Filmausschnitt von 24 x 36 mm.
Das Gerät ist somit dazu geeignet, mittels der Erfassungseinrichtung die typischen bildlichen Merkmale des aufgenommenen Gegenstands zu identifizieren - dies sind bei einem menschlichen Gesicht beispielsweise Mund, Nase und Ohren - sowie die relativen Lagen der identifizierten typischen bildlichen Merkmale zu erfassen. Die eigentliche Entzerrung des aufgenommenen Bildes erfolgt in der Weise, dass auf eine Standard-Anordnung zurückgegriffen wird, bei der entsprechende relative Lagen der typischen bildlichen Merkmale zueinander festgelegt sind.
Die Entzerrungseinrichtung arbeitet bevorzugt wenigstens teilweise nicht linear. In diesem Zusammenhang ist festzustellen, dass allgemein Linearisierungs-Algorithmen zum Einsatz kommen können, die in bestimmten Wertebereichen nicht linear und in anderen Wertebereichen linear arbeiten. Der vorgenommene Vergleich gibt dann Aufschluss darüber, inwieweit sich die relativen Lagen der typischen bildlichen Merkmale bei dem aufgenommenen Gegenstand und bei der Standard-Anordnung voneinander unterscheiden. Bei der Entzerrung kann dann das aufgenommene Bild hinsichtlich der Lagen seiner typischen bildlichen Merkmale an die Standard- Anordnung angenähert werden. In diesem Zusammenhang sind die typischen bildlichen Merkmale vorzugsweise so zu wählen, dass sie teilweise im äußeren Bereich des aufgenommenen Gegenstands und teilweise im inneren Bereich des aufgenommenen Gegenstands liegen. Dadurch ergibt sich ein besonders repräsentatives Bild der auf das weitwinklige Objektiv zurückzuführenden Verzerrung. Bevorzugt ist die Entzerrungseinrichtung derart ausgebildet, dass bei dem Vergleich ein Wert für eine Größe ermittelt wird, die eine
Korrelation zwischen den relativen Lagen typischer bildlicher Merkmale des aufgenommenen Gegenstands von der Erfassungseinrichtung mit den der Standard-Anordnung entsprechenden relativen Lagen der typischen bildlichen Merkmale von der Referenzspeichereinrichtung wiedergibt, wobei, abhängig von der Größe des Wertes, eine Entzerrung des aufgenommenen Gegenstands vorgenommen wird oder nicht.
Auf diese Weise ist es möglich festzustellen, ob der gerade aufgenommene Gegenstand zu der vorgesehenen Standard- Anordnung für die typischen Merkmale passt. Beispielsweise lässt sich auf diese Weise heraus finden, ob eine gerade getätigte Aufnahme eine Portraitaufnähme ist. In diesem Zusammenhang ist es denkbar, dass mehrere Standard- Anordnungen typischer Merkmale verschiedener Gegenstände zur Verfügung stehen, um den Vergleich im Rahmen des Entzerrens durchzuführen. Bei einem menschlichen Portrait als das Bild sind bevorzugt als die typischen bildlichen Merkmale Mund, Nase, Augen,
Ohren, Kopfumfang und/oder Kopfumriss verwendbar.
Vorzugsweise ist die Entzerrungseinrichtung zum Vergrößern und zum Verkleinern von Ausschnitten des Bildes ausgebildet, so dass sich Verzerrungen durch ein eingesetztes weitwinkliges Objektiv wirksam ausgleichen lassen. Das Entzerren kann sowohl auf Pixelebene als auch auf Flächenebene vorgenommen werden.
Bei einem Entzerren auf Pixelebene kann für ein Verkleinern eines Bildausschnittes zum Berechnen eines Pixelwertes eines zugehörigen verkleinerten Bildausschnittes eine Mittelwertbildung über entsprechende Pixel des aufgenommenen Bildes vorgenommen werden. Die Entzerrungseinrichtung ist vorzugsweise dazu ausgebildet.
Die Entzerrungseinrichtung kann für ein Vergrößern eines Bildausschnittes zum Berechnen eines Pixelwertes eines zugehörigen vergrößerten Bildausschnittes durch Interpolation aufgrund von Nachbarpixel des aufgenommenen Bildes ausgebildet sein. In diesem Fall ergeben sich aufgrund der Vergrößerung für einen aufgenommenen Bildausschnitt zusätzliche Pixelwerte, denen Intensität- und Farbwerte zuzuordnen sind. Solche sich aufgrund der Vergrößerung ergebende „Lücken" werden mittels Interpolation zur Erzeugung neuer Pixel geschlossen.
Die oben angesprochene Aufgabe wird hinsichtlich des
Verfahrens gelöst durch ein Verfahren zur Entzerrung eines weitwinklig digital aufgenommenen Bildes eines Gegenstands, dessen räumliche Ausrichtung und dessen typische bildliche Merkmale im wesentlichen festgelegt sind, mit den Schritten digitales Aufnehmen und Speichern des Bildes, wobei folgende
Schritte zusätzlich vorgesehen sind:
zweidimensionales Erfassen relativer Lagen der typischen bildlichen Merkmale des aufgenommenen Gegenstands zueinander,
Bereitstellen von einer Standard-Anordnung entsprechenden relativen Lagen der typischen bildlichen Merkmale, und
nicht lineares Entzerren des gespeicherten aufgenommenen Bildes, wobei das aufgenommene Bild ausgelesen und, abhängig von einem Vergleich der relativen Lagen typischer bildlicher Merkmale des aufgenommenen Gegenstands von der Erfassungseinrichtung mit den der Standard-Anordnung entsprechenden relativen Lagen der typischen bildlichen Merkmale von der Referenzspeichereinrichtung, entzerrt wird.
Die Vorteile dieses Verfahrens sowie seiner bevorzugten Ausführungsformen nach den abhängigen Ansprüchen 8 - 12 sind bereits oben anhand der Beschreibung des Gerätes erläutert worden.
Bei einer weiteren bevorzugten Ausführungsform kann aufgrund des Vergleichs bei dem Entzerren ein Maßverhältnis zwischen den relativen Lagen der typischen Merkmale des aufgenommenen Gegenstands zueinander und den relativen Lagen der typischen Merkmale bei der Standard-Anordnung zueinander bestimmt werden, dass in das Entzerren eingeht.
Durch diese Maßnahme wird der Tatsache Rechnung getragen, dass in bestimmten Fällen ein erheblicher Unterschied hinsichtlich der absoluten Abmessungen des Gegenstands im Bild und des Gegenstands in der Standard-Anordnung vorliegen kann. Durch Bestimmung des Maßverhältnisses in der oben beschriebenen Weise können solche Unterschiede ausgeglichen werden.
Besonders bevorzugt wird als das Maßverhältnis das Verhältnis zwischen einem Abstand zwischen den Lagen zweier typischer
Merkmale bei dem aufgenommenen Gegenstand und einem Abstand zwischen den Lagen derselben zwei typischen Merkmale bei der Standard-Anordnung verwendet. Am Beispiel einer
Portraitaufnahme kann der Augenabstand zur Bildung des
Maßverhältnisses herangezogen werden.
Obwohl die räumliche Ausrichtung des aufzunehmenden Gegenstands sowie seine typischen Merkmale im wesentlich festgelegt sind, kann die Entzerrung noch dadurch verbessert werden, dass bei dem Erfassen der relativen Lagen zueinander der typischen Merkmale des aufgenommen Gegenstands eine räumliche Ausrichtung eines mit dem Bild dargestellten Gegenstands bestimmt wird und für das Vergleichen die räumliche Ausrichtung der Standard-Anordnung angepasst wird. Diese Maßnahme kann dann sinnvoll sein, wenn als Standard- Anordnung beispielsweise typische Merkmale für eine Portraitaufnahme im Sinne der typischen Vorderansicht hinterlegt sind, während bei einem aufgenommenen Bild der menschliche Kopf in einer perspektivischen Ansicht aufgenommen wurde. In solchen Fällen kann im Rahmen der Identifizierung der typischen Merkmale des menschlichen Gesichtes, wie der Augen und Ohren o.a., die räumliche Ausrichtung für das aufgenommene Bild bestimmt und aufgrund dessen die räumliche Ausrichtung der Standard-Anordnung angepasst werden. Selbstverständlich ist es auch möglich, auf elektronischem Wege die räumliche Ausrichtung des aufgenommenen Gegenstands zu verändern, d.h. an die räumliche Ausrichtung der Standard-Anordnung anzupassen.
Es ist hervorzuheben, dass sowohl bei dem Gerät wie auch bei dem Verfahren die Entzerrung sowohl für Standbilder, die beispielsweise bereits im einem komprimierten Datenformat wie JPEG, vorliegen, als auch bei Filmen, bei denen sich mehrere Bilder aneinander anschließen, vorgenommen werden kann. Die Entzerrung kann somit in Echtzeit, d.h. während einer Übertragung über KommunikationsVerbindung als auch zeitversetzt durchgeführt werden.
Ein Ausführungsbeispiel der Erfindung ist nachfolgend noch näher erläutert.
Das Ausführungsbeispiel bezieht sich auf eine Portraitaufnahme, die mittels einer digitalen Kamera, die in ein Mobiltelefon integriert ist, getätigt wird. Die digitale Kamera ist mit einem weitwinkligen Objektiv ausgestattet, um es ihrem Benutzer zu ermöglichen, bei bequemer Haltung des Mobiltelefons auch Aufnahmen von sich selbst machen zu können.
Zunächst wird mittels einer Software-implementierten Erfassungseinrichtung eine zweidimensionale Erfassung relativer Lagen typischer bildlicher Merkmale des Kopfes des Benutzers durchgeführt. Dabei werden die typischen bildlichen Merkmale, wie die Augen, die Ohren, der Mund, die Kopfgröße und der Kopfumriss, erfasst. Diese Merkmale werden mittels der Erfassungseinrichtung identifiziert. Außerdem werden ihre Positionen und damit ihre relativen Lagen zueinander bestimmt. Dann wird auf eine Referenzspeichereinrichtung zugegriffen, die einer Standard-Anordnung entsprechende relative Lagen der genannten typischen bildlichen Merkmale eines menschlichen
Kopfes enthält.
Eine nichtlinear arbeitende Entzerrungseinrichtung liest das zwischengespeicherte Bild von dem Kopf des Benutzers aus einer Speichereinrichtung aus. Im Anschluss daran erfolgt eine Entzerrung des abgelegten Bildes wie sie nachfolgend beschrieben ist. Dieser Entzerrung liegt ein Vergleich der relativen Lagen der typischen bildlichen Merkmale des aufgenommenen Kopfes des Benutzers mit den relativen Lagen der typischen bildlichen Merkmale gemäß der Standard- Anordnung zu Grunde. In dieser Standard-Anordnung sind relative Lagen und Positionen der typischen Merkmalen hinterlegt, die beispielsweise aus einem „Durchschnitts- Gesicht" gewonnen werden können.
Im Folgenden wird der Vergleich dahingehend ausgewertet, ob eine erhebliche Korrelation zwischen den relativen Lagen der typischen bildlichen Merkmale des aufgenommenen Gegenstands, hier des Kopfes des Benutzers, und der relativen Lagen, die von der Referenzspeichereinrichtung bereitgestellt werden, vorliegt. Dies kann beispielsweise mittels des Verfahrens der kleinsten Fehlerquadrate bewerkstelligt werden, dass einen repräsentativen Wert für die Korrelation zwischen Pixelwerten des aufgenommenen Bildes und Pixelwerten der Standard- Anordnung liefert. Liegt keine ausreichende Korrelation vor, findet keine Entzerrung statt. Auf diese Weise wird vermieden, dass bei Nicht-Portraitaufnahmen bei dem hier beschriebenen Ausführungsbeispiel eine Entzerrung auf der Grundlage der Standard-Anordnung, die ein menschliches Gesicht betrifft, durchgeführt wird. Der Vergleich wird auch insofern ausgewertet, dass bei dem Entzerren ein Maßverhältnis zwischen den relativen Lagen der typischen Merkmale des aufgenommenen Gegenstands zueinander und den relativen Lagen der typischen Merkmale bei der
Standard-Anordnung bestimmt wird. Auf diese Weise wird vor der eigentlichen Entzerrung erkannt, ob gegebenenfalls erhebliche absolute Abmessungsunterschiede zwischen dem aufgenommenen Bild und der Standard-Anordnung vorliegen. Es kann der Abstand zwischen den beiden Augen bei der Standard- Anordnung für die hier diskutierten Portraitaufnahme mit dem Augenabstand bei dem aufgenommenen Bild verglichen werden, um einen geeigneten Wert für das Maßverhältnis zu gewinnen.
Zur Feststellung der räumlichen Ausrichtung des mit dem aufgenommenen Bild dargestellten menschlichen Kopfes wird das von der Erfassungseinrichtung gelieferte Ergebnis über die Positionen der typischen bildlichen Merkmale ausgewertet. Aufgrund der Identifikation und der Position der Augen, Ohren usw. des aufgenommenen Kopfes des Benutzers kann auf die räumliche Ausrichtung zurückgeschlossen werden.
Auf diese Weise sind für die Entzerrung alle erforderlichen Randbedingungen in geeigneter Weise bewertet worden.
Typischerweise wird bei der eigentlichen Entzerrung ein innerer Bildausschnitt verkleinert, während ein äußerer Bildausschnitt vergrößert wird. Auf Pixelebene wird zur Verkleinerung über eine Anzahl Pixel des aufgenommenen Bildes gemittelt, so dass sich ein Intensitätswert und ein Farbwert für den Pixel, der die Anzahl Pixel im Original- Bildausschnitt wiedergibt, gewonnen werden. Im Falle von nur vergrößerten Bildausschnitten ergeben sich
„Pixellücken", die aufgrund benachbarter Pixel im aufgenommenen Bild aufzufüllen sind. Dies geschieht mittels
Interpolation aufgrund der Intensitäts- und Farbwerte der Nachbarpixel im aufgenommenen Bild.
Aus einer derart durchführten Entzerrung eines aufgenommenen Bildes kann eine Abbildungsvorschrift gewonnen werden, nach der für einen bestimmten Abstand dem menschlichen Kopf und dem weitwinkligen Objektiv zwischen bei einer
Portraitaufnahme für jedes neu aufgenommene Bild eine Entzerrung automatisch vorgenommen werden kann.

Claims

Patentansprüche
1. Gerät mit einer digitalen optischen Aufnahmeeinrichtung zur weitwinkligen Aufnahme eines Bildes einer Person, eines Wesens oder eines Gegenstands, dessen räumliche Ausrichtung und dessen typische bildliche Merkmale im wesentlichen festgelegt sind, und mit einer Speichereinrichtung zum elektronischen Ablegen des Bildes, g e k e n n z e i c h n e t d u r c h, eine Erfassungseinrichtung zur zweidimensionalen Erfassung relativer Lagen der typischen bildlichen Merkmale des aufgenommenen Gegenstands zueinander, eine Referenzspeichereinrichtung, die einer Standard- Anordnung entsprechende relative Lagen der typischen bildlichen Merkmale zueinander enthält, und eine Entzerrungseinrichtung, die zum Auslesen des in der Speichereinrichtung abgelegten Bildes und zum Entzerren des abgelegten Bildes, abhängig von einem Vergleich der relativen Lagen typischer bildlicher Merkmale des aufgenommenen Gegenstands von der Erfassungseinrichtung mit den der Standard-Anordnung entsprechenden relativen Lagen der typischen bildlichen Merkmale von der Referenzspeichereinrichtung, ausgebildet ist.
2. Gerät nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t, dass die Entzerrungseinrichtung derart ausgebildet ist, dass bei dem Vergleich ein Wert für eine Größe ermittelt wird, die eine Korrelation zwischen den relativen Lagen typischer bildlicher Merkmale des aufgenommenen Gegenstands von der Erfassungseinrichtung mit den der Standard-Anordnung entsprechenden relativen Lagen der typischen bildlichen Merkmale von der Referenzspeichereinrichtung wiedergibt und, abhängig von der Größe des Wertes, eine Entzerrung des aufgenommenen Gegenstands vorgenommen wird.
3. Gerät nach einem der Ansprüche 1 oder 2, d a d u r c h g e k e n n z e i c h n e t, dass bei einem menschlichen Portrait als das Bild als die typischen bildlichen Merkmale Mund, Nase, Augen, Ohren, Kopfumfang und/oder Kopfumriss verwendbar sind.
4. Gerät nach einem der Ansprüche 1 bis 3, d a d u r c h g e k e n n z e i c h n e t, dass die Entzerrungseinrichtung zum Vergrößern und zum Verkleinern von Ausschnitten des Bildes ausgebildet ist.
5. Gerät nach Anspruch 4, d a d u r c h g e k e n n z e i c h n e t, dass die Entzerrungseinrichtung für ein Verkleinern eines Bildausschnittes zum Berechnen eines Pixelwertes eines zugehörigen verkleinerten Bildausschnittes durch Mittelwertbildung über entsprechende Pixel des aufgenommenen Bildes ausgebildet ist.
6. Gerät nach Anspruch 4 oder 5, d a d u r c h g e k e n n z e i c h n e t, dass die Entzerrungseinrichtung für ein Vergrößern eines
Bildausschnittes zum Berechnen eines Pixelwertes eines zugehörigen vergrößerten Bildausschnittes durch Interpolation aufgrund von Nachbarpixeln des aufgenommenen Bildes ausgebildet ist.
7. Verfahren zur Entzerrung eines weitwinklig digital aufgenommenen Bildes einer Person, eines Wesens oder eines
Gegenstands, dessen räumliche Ausrichtung und dessen typische bildliche Merkmale im wesentlichen festgelegt sind, mit den Schritten: digitales Aufnehmen und Speichern des Bildes, g e k e n n z e i c h n e t d u r c h die weiteren
Schritte: zweidimensionales Erfassen relativer Lagen der typischen bildlichen Merkmale des aufgenommenen Gegenstands zueinander, bereitstellen von einer Standard-Anordnung entsprechenden relativen Lagen der typischen bildlichen Merkmale, und nicht lineares Entzerren des gespeicherten aufgenommenen Bildes, wobei das aufgenommene Bild ausgelesen und, abhängig von einem Vergleich der relativen Lagen typischer bildlicher Merkmale des aufgenommenen Gegenstands von der
Erfassungseinrichtung mit den der Standard-Anordnung entsprechenden relativen Lagen der typischen bildlichen Merkmale von der Referenzspeichereinrichtung, entzerrt wird.
8. Verfahren nach Anspruch 7, d a d u r c h g e k e n n z e i c h n e t, dass bei dem Vergleich im Rahmen des Entzerrens ein Wert für eine Größe ermittelt wird, die eine Korrelation zwischen den relativen Lagen typischer bildlicher Merkmale des aufgenommenen Gegenstands mit den der Standard-Anordnung entsprechenden relativen Lagen der typischen bildlichen Merkmale wiedergibt und, abhängig von der Größe des Wertes, eine Entzerrung des aufgenommenen Bildes vorgenommen wird.
9. Verfahren nach einem der Ansprüche 7 oder 8, d a d u r c h g e k e n n z e i c h n e t, dass bei einem menschlichen Portrait als das Bild als die typischen bildlichen Merkmale Mund, Nase, Augen, Ohren, Kopfumfang und/oder Kopfumriss verwendet werden.
10. Verfahren nach einem der Ansprüche 7 oder 8, d a d u r c h g e k e n n z e i c h n e t, dass die Entzerrungseinrichtung zum Vergrößern und zum Verkleinern von Abschnitten des Bildes ausgebildet ist.
11. Verfahren nach Anspruch 10, d a d u r c h g e k e n n z e i c h n e t, dass für ein Verkleinern eines Bildausschnittes zum Berechnen eines Pixelwertes eines zugehörigen verkleinerten
Bildausschnittes eine Mittelwertbildung über entsprechende Pixel des aufgenommenen Bildes erfolgt.
12. Verfahren nach Anspruch 10, d a d u r c h g e k e n n z e i c h e t, dass für ein Vergrößern eines Bildausschnittes zum Berechnen eines Pixelwertes eines zugehörigen vergrößerten Bildausschnittes eine Interpolation aufgrund von Nachbarpixeln des aufgenommenen Bildes erfolgt.
13. Verfahren nach einem der Ansprüche 7 bis 12, d a d u r c h g e k e n n z e i c h n e t, dass aufgrund des Vergleichs bei dem Entzerren ein Maßverhältnis zwischen den relativen Lagen der typischen Merkmale des aufgenommenen Gegenstands zueinander und den relativen Lagen der typischen Merkmale bei der Standard-Anordnung zueinander bestimmt wird, das in das Entzerren eingeht.
14. Verfahren nach Anspruch 13, d a d u r c h g e k e n n z e i c h n e t, dass als das Maßverhältnis das Verhältnis zwischen einem Abstand zwischen den Lagen zweier typischer Merkmale bei dem aufgenommenen Gegenstand und einem Abstand zwischen den Lagen derselben zwei typischen Merkmale bei der Standard-Anordnung verwendet wird.
15. Verfahren nach einem der Ansprüche 7 bis 14, d a d u r c h g e k e n n z e i c h n e t, dass bei dem Erfassen der relativen Lagen zueinander der typischen Merkmale des aufgenommenen Gegenstands eine räumliche Ausrichtung eines mit dem Bild dargestellten Gegenstands bestimmt wird und für das Vergleichen die räumliche Ausrichtung der Standardanordnung angepasst wird.
PCT/EP2004/000576 2003-02-19 2004-01-23 Gerät und verfahren zur entzerrung eines weitwinklig aufgenommenen bildes WO2004075111A2 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP04704571A EP1595226A2 (de) 2003-02-19 2004-01-23 Gerät und verfahren zur entzerrung eines weitwinklig aufgenommenen bildes

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10306986.0 2003-02-19
DE10306986A DE10306986A1 (de) 2003-02-19 2003-02-19 Gerät und Verfahren zur Entzerrung eines weitwinklig aufgenommenen Bildes

Publications (2)

Publication Number Publication Date
WO2004075111A2 true WO2004075111A2 (de) 2004-09-02
WO2004075111A3 WO2004075111A3 (de) 2005-03-24

Family

ID=32841707

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2004/000576 WO2004075111A2 (de) 2003-02-19 2004-01-23 Gerät und verfahren zur entzerrung eines weitwinklig aufgenommenen bildes

Country Status (5)

Country Link
EP (1) EP1595226A2 (de)
CN (1) CN1751322A (de)
DE (1) DE10306986A1 (de)
TW (1) TWI243598B (de)
WO (1) WO2004075111A2 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100379266C (zh) * 2005-04-26 2008-04-02 明基电通股份有限公司 摄影装置以及摄影方法
CN111027474A (zh) * 2019-12-09 2020-04-17 Oppo广东移动通信有限公司 人脸区域获取方法、装置、终端设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5675380A (en) * 1994-12-29 1997-10-07 U.S. Philips Corporation Device for forming an image and method of correcting geometrical optical distortions in an image
US5878174A (en) * 1996-11-12 1999-03-02 Ford Global Technologies, Inc. Method for lens distortion correction of photographic images for texture mapping
US6211903B1 (en) * 1997-01-14 2001-04-03 Cambridge Technology Development, Inc. Video telephone headset

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5675380A (en) * 1994-12-29 1997-10-07 U.S. Philips Corporation Device for forming an image and method of correcting geometrical optical distortions in an image
US5878174A (en) * 1996-11-12 1999-03-02 Ford Global Technologies, Inc. Method for lens distortion correction of photographic images for texture mapping
US6211903B1 (en) * 1997-01-14 2001-04-03 Cambridge Technology Development, Inc. Video telephone headset

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100379266C (zh) * 2005-04-26 2008-04-02 明基电通股份有限公司 摄影装置以及摄影方法
CN111027474A (zh) * 2019-12-09 2020-04-17 Oppo广东移动通信有限公司 人脸区域获取方法、装置、终端设备和存储介质
CN111027474B (zh) * 2019-12-09 2024-03-15 Oppo广东移动通信有限公司 人脸区域获取方法、装置、终端设备和存储介质

Also Published As

Publication number Publication date
TW200417252A (en) 2004-09-01
CN1751322A (zh) 2006-03-22
EP1595226A2 (de) 2005-11-16
DE10306986A1 (de) 2004-09-09
WO2004075111A3 (de) 2005-03-24
TWI243598B (en) 2005-11-11

Similar Documents

Publication Publication Date Title
DE60306737T2 (de) Verfahren und system zum bestimmen eines bereichs von bedeutung in einem zu archivierenden bild
DE60312508T2 (de) System und verfahren zur digitalen bildauswahl
DE69934068T2 (de) Bestimmung der position von augen durch blitzreflexerkennung und korrektur von defekten in einem aufgenommenen bild
DE102004001890B4 (de) Digitaler automatischer Weißausgleich
DE69734855T2 (de) Vorrichtung und Verfahren zur Extraktion eines Objektes in einem Bild
DE112006001017B4 (de) Verfahren und Vorrichtung zum Eingliedern von Irisfarbe in eine Rotes-Auge-Korrektur
DE10315462B4 (de) Bildkorrektursystem und -verfahren
DE602005004195T2 (de) Verfahren und Vorrichtung der Bildverarbeitung zur rote-Augen-Korrekur
DE112013004507T5 (de) Bildverarbeitungsvorrichtung, Bilderfassungsvorrichtung, Bildverarbeitungsverfahren, Programm und Aufzeichnungsmedium
DE112012000950T5 (de) Ermitteln des Abstands zwischen verschiedenen Punkten an einem abgebildeten Gegenstand
DE102012006493A1 (de) Kameraimplementierung des Wählens und Stitchens von Einzelbildern für Panoramaaufnahmen
DE102007037310A1 (de) Netzwerkkamera und Steuerungsverfahren hierfür
DE102007011222A1 (de) Autofokusverfahren und Autofokusvorrichtung zu dessen Durchführung
DE102004063577A1 (de) Verfahren und System zur Anzeige von Gesichtsmerkmalen auf nichtplanaren Oberflächen
DE102008001076A1 (de) Verfahren, Vorrichtung sowie Computerprogramm zur Auflösungsreduktion eines Eingangsbilds
DE102014117120A1 (de) Bildverarbeitungsvorrichtung
DE202016008530U1 (de) Vereinheitlichte Bildbearbeitung für zusammengesetzte Bilder auf Basis räumlich nebeneinander angeordneter Bereiche
DE102018123402A1 (de) Bildunschärfekorrekturvorrichtung und steuerverfahren
DE69809191T2 (de) Vorrichtung und verfahren zur szenenbewegungsbasierten dynamischen anpassung der verschlussgeschwindigkeit einer videocamera
EP1906655B1 (de) Verfahren zur Korrektur perspektivischer Verzerrungen eines Linsensystems
EP1595226A2 (de) Gerät und verfahren zur entzerrung eines weitwinklig aufgenommenen bildes
EP3286690B1 (de) Identifikationsdokument, identifikationsvorrichtung und entsprechende verfahren
DE102021213330A1 (de) Verfahren zum Erfassen und Verarbeiten eines digitalen Panoramabildes
DE102006025651A1 (de) Verfahren und Anordnung zur Behandlung von Datensätzen bildgebender Sensoren sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
DE102010025888A1 (de) Verfahren zur Erstellung eines verzerrungsfreien Digitalbilds sowie Digitalkamera

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2004704571

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 20048045577

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2004704571

Country of ref document: EP

WWW Wipo information: withdrawn in national office

Ref document number: 2004704571

Country of ref document: EP