WO2009133095A1 - Kamera und verfahren zum steuern einer kamera - Google Patents

Kamera und verfahren zum steuern einer kamera Download PDF

Info

Publication number
WO2009133095A1
WO2009133095A1 PCT/EP2009/055113 EP2009055113W WO2009133095A1 WO 2009133095 A1 WO2009133095 A1 WO 2009133095A1 EP 2009055113 W EP2009055113 W EP 2009055113W WO 2009133095 A1 WO2009133095 A1 WO 2009133095A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
main sensor
sensor
images
Prior art date
Application number
PCT/EP2009/055113
Other languages
English (en)
French (fr)
Inventor
Alexander Wuerz-Wessel
Jens Schick
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to JP2011506685A priority Critical patent/JP5216137B2/ja
Priority to CN200980115391.9A priority patent/CN102016710B/zh
Priority to US12/988,562 priority patent/US20110149045A1/en
Publication of WO2009133095A1 publication Critical patent/WO2009133095A1/de

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/30—Systems for automatic generation of focusing signals using parallactic triangle with a base line
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/099—Arrangement of photoelectric elements in or on the camera
    • G03B7/0993—Arrangement of photoelectric elements in or on the camera in the camera
    • G03B7/0997—Through the lens [TTL] measuring
    • G03B7/09979—Multi-zone light measuring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00—Details of cameras or camera bodies; Accessories therefor
    • G03B2217/002—Details of arrangement of components in or on camera body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to a camera.
  • the camera may be suitable for taking still pictures or taking moving pictures.
  • the present invention further relates to a method for controlling a camera.
  • a scene with one or more objects can be captured by a camera.
  • a lens of the camera is set for this purpose to a suitable focus to focus the scene.
  • one of the objects is selected for this purpose and the focus is set to this object.
  • the focus adjustment can be done manually.
  • High-quality cameras capture the scene through the lens with a special stereo sensor.
  • a focal length of the lens is changed by the operator until stereoscopically detected phases are aligned in a frame.
  • Active methods for adjusting the focus use a distance measurement to the selected object by means of an ultrasonic sensor or a projection and measurement of striped patterns on objects.
  • Cameras can also implement facial recognition systems.
  • the positions of faces are detected by face recognition.
  • the methods for adjusting the focus are then applied to a section of the image that has been recognized as a face.
  • Such a camera is limited to the photography of persons, further problems arise with partial covering of the face by clothes, beard etc.
  • the invention with the features of claim 1 relates to a camera.
  • the camera has a main sensor for capturing a first image of a scene having at least one object.
  • An objective is provided for the main sensor.
  • At least one auxiliary sensor spaced from the main sensor is for detecting a second image of the scene from a different angle than the main sensor.
  • a stereoscopic evaluation device determines a distance to the at least one object based on the first and second images.
  • An autofocus device adjusts a focus of the lens in response to the particular distance.
  • an exposure setting device sets the exposure of the main sensor corresponding to the detected second image.
  • the following steps are carried out to control a camera: parallel detection of at least one first image of a scene by means of a main sensor and at least one second image of the scene by means of at least one auxiliary sensor from a different angle than the main sensor;
  • the autofocus of the camera works independently of the type of object. An elaborate modeling of objects to be photographed can be omitted. The object can be clearly characterized by its distance. The camera can track the subject and focus on the subject, even though the camera's optical axis is now pointing to another object.
  • Fig. 1 shows an embodiment of a camera
  • Fig. 2 shows another embodiment of a camera
  • Fig. 3 shows another embodiment of a camera
  • FIG. 4 shows a further embodiment of a camera.
  • Fig. 1 shows a frontal view of a first embodiment of a camera 1.
  • the camera 1 has a main sensor 2, which serves to take pictures.
  • the main sensor 2 may include a CCD sensor or a CMOS sensor. Conveniently, the main sensor 2 can capture color images of a scene.
  • an objective 3 is arranged in front of the main sensor 2.
  • the objective 3 has an adjustable focus.
  • the camera 1 controls the lens 3 such that a desired object is sharply imaged on the main sensor 2.
  • a diaphragm In front of the main sensor 2, a diaphragm can be arranged.
  • the iris affects the depth of field. With increasing aperture diameter (decreasing f-number) of the aperture, the depth of field decreases. Therefore, if objects are recorded that are located at different distances from the camera, the aperture will be reduced. However, this is accompanied by a loss of light flux and consequently longer exposure times.
  • the camera 1 can control the aperture. Among other things, this takes into account how bright the objects to be detected are. In addition, it is taken into account whether the objects are located at different distances to the camera 1 and, if applicable, what scattering the different distances have to a medium distance. A method for determining the distance to the individual objects or the corresponding devices are explained below.
  • a flash unit 5 may be integrated in the camera 1.
  • the flash unit 5 is typically fired at the same time as photographing an image.
  • An auxiliary sensor 6 is arranged laterally spaced from the main sensor 2.
  • the auxiliary sensor 6 and the main sensor 2 therefore detect a scene from different directions. This results in a stereoscopic image.
  • the images of the main sensor 2, hereinafter referred to as first images, and the images of the auxiliary sensor 6, hereinafter referred to as second images, are fed to an evaluation device 9 (FIG. 2).
  • the evaluation device 9 compares in each case one of the first images with a simultaneously recorded second image. In the comparison, pixels and image objects which are shifted in the first image from the second image are determined. From the amount of displacement, a distance of the object imaged in the image object to the camera 1 is detected.
  • the image objects can be classified according to their distances to the camera 1.
  • a user may select one or more of the image objects. This can be done, for example, by aligning the optical axis of the main sensor 2 and the objective to the object or objects.
  • a keystroke, a voice command or a stay on the object for a minimum duration confirms the selection to the camera 1.
  • a pattern recognition device 10 e.g. a face recognition, provided. The pattern recognition determines the predefined image objects and makes them available to the user for selection.
  • An autofocus device 8 of the camera 1 determines an optimal focus on the basis of the determined distances to the selected objects.
  • an average distance is determined for this purpose as the arithmetic mean or as the median.
  • the optimal focus corresponds to the mean distance.
  • the brightness values of the selected objects can be determined from the first image. Based on the brightness values and a given exposure time, a first iris number of the diaphragm is determined.
  • a required depth of focus is determined. For this purpose, a variance of the distances of the selected objects can be used. Alternatively, the smallest and largest distances are taken into account for the required depth of focus. Based on the determined depth of focus, a second f-number is determined.
  • the iris can be adjusted by a controller based on the first and second f-number.
  • the aperture is primarily set to the first f-number. However, the first f-number must be greater than the second f-number. Otherwise, the aperture is set to the second f-number and, if necessary, the exposure time is increased.
  • the distance measurements for the individual image objects can be saved. For one
  • Post-processing or further processing of the main image recorded by the main sensor can this data will be used.
  • the distance measurements or image data of the auxiliary sensor can be used for the three-dimensional reconstruction of the recorded objects.
  • Another embodiment of a camera takes into account a proper movement of the objects.
  • the associated image objects change their position in a sequence of first images. Among others, the following cases may occur, which are evaluated by an evaluation device 9:
  • An image object does not move in successive images of a sequence.
  • these image objects are assigned to objects that have no relative movement to the camera 1.
  • the associated objects may also be located at a very great distance to the camera 1.
  • a possible movement of the object or a relative movement of the camera 1 to the object leads to such a small change in direction that it lies below the resolution limit of the main sensor 2.
  • the evaluation device 9 differentiates the two cases on the basis of the above-defined distance measurements to the objects.
  • the image objects move at the same speed, i. Amount and direction, by the picture.
  • the movement is in particular independent of the distance of the individual objects to the camera 1.
  • Such a scenario assigns the evaluation device 9 to a rotational movement of the camera 1.
  • a direction vector of the motion in the image from the two successive images is determined in each case.
  • the direction vectors point to a point in the image plane. This point is called the focus of expansion.
  • the expansion point changes with continuous movement of the camera 1.
  • the evaluation device 9 determines the position of the camera 1 in space from the movement of the expansion point.
  • the moving objects and non-moving objects have a different relative speed to the camera 1. This results in the image objects of the self-moved objects having a directional vector that does not point to the expansion focus.
  • the evaluation device 9 can use this deviation to determine which objects have their own motion. After a determination of the trajectory of the camera With the aid of non-moving objects, the movement of the image objects can also be used to determine their trajectory in space.
  • One embodiment provides for determining a focus for the next tenth of a second or seconds from the determined trajectory of the objects in space.
  • the focus can also be determined for shorter time intervals and with corresponding accuracy of the trajectory determination for longer time intervals.
  • the prediction of the focus is particularly suitable for compensating shutter speeds of the camera 1.
  • Another embodiment uses the particular trajectory of selected image objects for image stabilization.
  • an active area of the main sensor can be moved.
  • a CCD sensor With a CCD sensor, a section of the entire sensor surface is activated. Following the movement of the image object, another section of the sensor surface is activated.
  • the auxiliary sensor 6 may be a simple black and white sensor or grayscale sensor.
  • the resolution of the auxiliary sensor 6 may be lower than that of the main sensor 2.
  • the image data of the main sensor can first be transferred to corresponding gray levels before a distance determination is performed by comparing the images.
  • One embodiment envisages using the grayscale values of the auxiliary sensor 6 for exposure measurements.
  • the auxiliary sensor 6 can be equipped for this purpose with a high dark sensitivity and / or high dynamics.
  • a particularly preferred embodiment provides for the brightness measurement of selected image objects to be used for the brightness measurement. The selection of the image objects can be performed as described above for the autofocus.
  • FIG. 2 shows an embodiment which has two auxiliary sensors.
  • FIG. 1 Another embodiment of a camera 1 uses an auxiliary sensor which is mounted on an external flash unit ( Figure 3).
  • the camera 1 has an interface via which the image data of the auxiliary sensor are transmitted to the evaluation device 9 in the camera 1.
  • a next embodiment of a camera 1 uses an auxiliary sensor in the housing of the camera 1 and an auxiliary sensor mounted on an external image device ( Figure 4).
  • the camera 1 may be both a camera 1 for photographing individual images and a camera for recording a film.
  • the camera 1 can be both a compact camera and a single-lens reflex camera.
  • the camera 1 in a motor vehicle can be used for integrated into the interior or the automotive environment.
  • the camera 1 is used as a permanently installed or movable surveillance camera for object surveillance.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Cameras In General (AREA)

Abstract

Die Kamera 1 weist einen Hauptsensor 2 zum Erfassen eines ersten Bildes einer Szene mit wenigstens einem Objekt auf. Ein Objektiv 3 ist für den Hauptsensor 2 vorgesehen. Wenigstens ein Hilfssensor 6, der zu dem Hauptsensor 2 beabstandet angeordnet ist, dient zum Erfassen eines zweiten Bildes der Szene unter einem anderen Blickwinkel als der Hauptsensor 2. Eine Auswertungseinrichtung 9 zum stereoskopischen bestimmt eine Entfernung zu dem wenigstens einen Objekt basierend auf dem ersten und zweiten Bild. Eine Autofokuseinrichtung 8 stellt einen Fokus des Objektivs 3 ansprechend auf die bestimmte Entfernung ein.

Description

Beschreibung
Titel
Kamera und Verfahren zum Steuern einer Kamera
STAND DER TECHNIK
Die vorliegende Erfindung betrifft eine Kamera. Die Kamera kann für Einzelbildaufnahmen und zum Aufnehmen bewegter Bilder geeignet sein. Die vorliegende Erfindung betrifft ferner ein Verfahren zum Steuern einer Kamera.
Eine Szene mit ein oder mehreren Objekten kann mittels einer Kamera aufgenommen werden. Ein Objektiv der Kamera wird hierfür auf einen geeigneten Fokus eingestellt, um die Szene scharf abzubilden. Typischerweise wird hierfür eines der Objekte ausgewählt und der Fokus auf dieses Objekt eingestellt.
Das Einstellen des Fokus kann manuell erfolgen. Hochwertige Kameras erfassen die Szene durch das Objektiv mit einem speziellen Stereosensor. Eine Brennweite des Objektivs wird von dem Bediener solange verändert, bis stereoskopisch erfassten Phasen in einem Bildausschnitt abgeglichen sind.
Aktive Verfahren zum Einstellen des Fokus bedienen sich einer Entfernungsmessung zu dem ausgewählten Objekt mittels eines Ultraschallsensors oder einer Projektion und Vermessung von Streifenmustern auf Objekten.
In Kameras können auch Gesichtserkennungssysteme implementiert sein. In einem aufgenommenen Bild werden die Positionen von Gesichtern durch die Gesichtserkennung ermittelt. Die Verfahren zum Einstellen des Fokus werden dann auf einen Ausschnitt des Bildes angewandt, der als Gesicht erkannt wurde. Eine solche Kamera ist auf die Fotographie von Personen beschränkt, ferner ergeben sich Probleme bei teilweiser Bedeckung des Gesichts durch Kleidung, Bart etc. OFFENBARUNG DER ERFINDUNG
Die Erfindung mit den Merkmalen des Anspruchs 1 betrifft eine Kamera. Die Kamera weist einen Hauptsensor zum Erfassen eines ersten Bildes einer Szene mit wenigstens einem Objekt auf. Ein Objektiv ist für den Hauptsensor vorgesehen. Wenigstens ein Hilfssensor, der zu dem Hauptsensor beabstandet angeordnet ist, dient zum Erfassen eines zweiten Bildes der Szene unter einem anderen Blickwinkel als der Hauptsensor. Eine Auswertungseinrichtung zum stereoskopischen bestimmt eine Entfernung zu dem wenigstens einen Objekt basierend auf dem ersten und zweiten Bild. Eine Autofo- kuseinrichtung stellt einen Fokus des Objektivs ansprechend auf die bestimmte Entfernung ein. Alternativ oder zusätzlich stellt eine Belichtungseinstellungseinrichtung die Belichtung des Hauptsensors entsprechend dem erfassten zweiten Bild ein.
Erfindungsgemäß werden folgende Schritte zum Steuern einer Kamera durchgeführt: paralleles Erfassen wenigstens eines ersten Bildes einer Szene mittels eines Hauptsensors und wenigstens eines zweiten Bildes der Szene mittels wenigstens eines Hilfssensors aus einem anderen Blickwinkel als der Hauptsensor;
Zuordnen von einem der Bildobjekte in dem ersten und zweiten Bild zu einem Objekt, auf das fokus- siert wird; Bestimmen einer Entfernung zu dem Objekt basierend auf einer Verschiebung des zugeordneten Bildobjekts in dem ersten Bild gegenüber dem zweiten Bild; und
Einstellen eines Fokus eines Objektivs für den Hauptsensor ansprechend auf die bestimmte Entfernung, und/oder Einstellen der Belichtung des Hauptsensors entsprechend dem erfassten zweiten Bild.
Der Autofokus der Kamera arbeitet unabhängig von der Art des Objekts. Eine aufwändige Modellierung zu fotografierender Objekte kann entfallen. Das Objekt kann eindeutig durch seine Entfernung charakterisiert werden. Die Kamera kann das Objekt verfolgen und den Fokus auf das Objekt gerichtet halten, auch wenn die optische Achse der Kamera mittlerweile auf ein anderes Objekt zeigt.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die vorliegende Erfindung wird nachfolgend anhand bevorzugter Ausführungsformen und beigefügten Figuren erläutert. In den Figuren zeigen:
Fig. 1 zeigt eine Ausführungsform einer Kamera;
Fig. 2 zeigt eine weitere Ausführungsform einer Kamera; Fig. 3 zeigt eine weitere Ausführungsform einer Kamera; und
Fig. 4 zeigt eine weitere Ausführungsform einer Kamera.
AUSFÜHRUNGSFORMEN DER ERFINDUNG
Fig. 1 zeigt eine Frontalansicht einer ersten Ausführungsform einer Kamera 1. Die Kamera 1 weist einen Hauptsensor 2 auf, der zum Aufnehmen von Bildern dient. Der Hauptsensor 2 kann einen CCD- Sensor oder einen CMOS-Sensor beinhalten. Zweckmäßigerweise kann der Hauptsensor 2 farbige Bilder einer Szene erfassen.
Vor dem Hauptsensor 2 ist ein Objektiv 3 angeordnet. Das Objektiv 3 weist einen einstellbaren Fokus auf. Die Kamera 1 steuert das Objektiv 3 derart an, dass ein gewünschtes Objekt scharf auf dem Hauptsensor 2 abgebildet wird.
Vor dem Hauptsensor 2 kann eine Blende angeordnet sein. Die Blende beeinflusst die Schärfentiefe. Mit zunehmendem Öffnungsdurchmesser (abnehmender Blendenzahl) der Blende nimmt die Tiefenschärfe ab. Falls Objekte aufgezeichnet werden, die in verschiedenen Entfernungen zur Kamera ange- ordnet sind, wird daher die Öffnung der Blende verringert. Allerdings geht dies mit einem Verlust an Lichtfluss und folglich längeren Belichtungszeiten einher.
Die Kamera 1 kann die Blende steuern. Hierbei wird unter Anderem berücksichtigt, wie leuchtstark die zu erfassenden Objekte sind. Zudem wird berücksichtigt, ob sich die Objekte in verschiedenen Entfernungen zu der Kamera 1 befinden und gegebenenfalls welche Streuung die verschiedenen Entfernungen zu einer mittleren Entfernung aufweisen. Ein Verfahren zum Bestimmen der Entfernung zu den einzelnen Objekten bzw. die entsprechenden Einrichtungen werden nachfolgend erläutert.
Ein Blitzgerät 5 kann in der Kamera 1 integriert sein. Das Blitzgerät 5 wird typischerweise zeitgleich zum Photographieren eines Bildes ausgelöst.
Ein Hilfssensor 6 ist seitlich beabstandet zu dem Hauptsensor 2 angeordnet. Der Hilfssensor 6 und der Hauptsensor 2 erfassen daher eine Szene aus unterschiedlichen Richtungen. Hierdurch ergibt sich eine stereoskopische Aufnahme.
Die Bilder des Hauptsensors 2, nachfolgend als erste Bilder bezeichnet, und die Bilder des Hilfssensor 6, nachfolgend als zweite Bilder bezeichnet, werden einer Auswertungseinrichtung 9 zugeführt (Fig. 2). Die Auswertungseinrichtung 9 vergleicht jeweils eines der ersten Bilder mit einem zeitgleich aufgenommenen zweiten Bild. Bei dem Vergleich werden Bildpunkte und Bildobjekte ermittelt, die in dem ersten Bild gegenüber dem zweiten Bild verschoben sind. Aus dem Betrag der Verschiebung wird eine Entfernung des in dem Bildobjekt abgebildeten Objekts zu der Kamera 1 ermittelt.
Die Bildobjekte können nach ihren Entfernungen zu der Kamera 1 klassifiziert werden.
In einem semi-automatischen Betrieb der Kamera 1 kann ein Benutzer eines oder auch mehrere der Bildobjekte auswählen. Dies kann beispielsweise durch Ausrichten der optischen Achse des Hauptsen- sors 2 und des Objektivs auf das Objekt bzw. die Objekte erfolgen. Ein Tastendruck, ein Sprachbefehl oder ein Verweilen für eine Mindestdauer auf dem Objekt bestätigt der Kamera 1 die Auswahl. In einer weiteren Ausgestaltung ist eine Mustererkennungseinrichtung 10, z.B. eine Gesichtserkennung, vorgesehen. Die Mustererkennung ermittelt die vordefinierten Bildobjekte und stellt diese dem Benutzer zur Auswahl.
Eine Autofokuseinrichtung 8 der Kamera 1 bestimmt anhand der ermittelten Entfernungen zu den ausgewählten Objekten einen optimalen Fokus. In einer Ausgestaltung wird hierzu eine mittlere Entfernung als das arithmetische Mittel oder als der Median bestimmt. Der optimale Fokus entspricht der mittleren Entfernung.
Die Helligkeitswerte der ausgewählten Objekte können aus dem ersten Bild bestimmt werden. Basierend auf den Helligkeitswerten und einer vorgegebenen Belichtungszeit wird eine erste Blendenzahl der Blende ermittelt.
Damit alle ausgewählten Objekte scharf abgebildet werden können, wird eine benötigte Tiefenschärfe ermittelt. Hierzu kann eine Varianz der Entfernungen der ausgewählten Objekte herangezogen werden. Alternativ werden die geringste und größte Entfernung für die benötigte Tiefenschärfe berücksichtigt. Basierend auf der ermittelten Tiefenschärfe wird eine zweite Blendenzahl bestimmt.
Die Blende kann von einer Steuerungseinrichtung basierend auf der ersten und zweiten Blendenzahl eingestellt werden. In einer Variante wird die Blende vorrangig auf die erste Blendenzahl eingestellt. Allerdings muss die erste Blendenzahl dabei größer als die zweite Blendenzahl sein. Andernfalls wird die Blende auf die zweite Blendenzahl eingestellt und gegebenenfalls die Belichtungszeit erhöht.
Die Entfernungsmessungen zu den einzelnen Bildobjekten können abgespeichert werden. Für eine
Nachbearbeitung oder Weiterverarbeitung des vom Hauptsensor aufgenommenen Hauptbildes können diese Daten herangezogen werden. Die Entfernungsmessungen oder Bilddaten des Hilfssensors können zur dreidimensionalen Rekonstruktion der aufgenommen Objekte herangezogen werden.
Eine weitere Ausgestaltung einer Kamera berücksichtigt eine Eigenbewegung der Objekte. Die zuge- hörigen Bildobjekte ändern ihre Position in einer Sequenz von ersten Bildern. Hierbei können unter Anderem folgende Fälle eintreten, die von einer Auswertungseinrichtung 9 ausgewertet werden:
Ein Bildobjekt bewegt sich in aufeinanderfolgenden Bildern einer Sequenz nicht. Zunächst werden diese Bildobjekte Objekten zugeordnet, die keine Relativbewegung zu der Kamera 1 aufweisen. Die zugehörigen Objekte können sich auch in einer sehr großen Entfernung zu der Kamera 1 befinden. Eine mögliche Bewegung des Objekts oder einer relativen Bewegung der Kamera 1 zu dem Objekt führt hierbei zu einer so geringen Richtungsänderung, dass sie unterhalb der Auflösungsgrenze des Hauptsensors 2 liegt. Die Auswertungseinrichtung 9 unterscheidet die beiden Fälle anhand der obig bestimmten Entfernungsmessungen zu den Objekten.
Die Bildobjekte bewegen sich mit gleicher Geschwindigkeit, d.h. Betrag und Richtung, durch das Bild. Die Bewegung ist insbesondere unabhängig von der Entfernung der einzelnen Objekte zu der Kamera 1. Ein solches Szenario ordnet die Auswertungseinrichtung 9 einer Drehbewegung der Kamera 1 zu.
Ergibt eine Analyse der Auswertungseinrichtung 9, dass Bildobjekte von zuvor als weit entfernt bestimmten Objekte eine geringere Verschiebung in zwei aufeinanderfolgenden Bildern aufweisen als Bildobjekte vergleichsweise nahe Objekte, wird eine entsprechende seitliche, translatorische Bewegung der Kamera 1 ermittelt.
Für eine Auswahl von Bildobjekten wird jeweils ein Richtungsvektor der Bewegung im Bild aus den zwei aufeinanderfolgenden Bildern bestimmt. Die Richtungsvektoren weisen auf einen Punkt in der Bildebene. Dieser Punkt wird Expansionsfokus (Focus of Expansion) genannt. Der Expansionspunkt verändert sich mit fortlaufender Bewegung der Kamera 1. Die Auswertungseinrichtung 9 bestimmt aus der Bewegung des Expansionspunkts die Position der Kamera 1 im Raum.
Einzelne Objekte können eine Eigenbewegung aufweisen. Die bewegten Objekte und nicht bewegten Objekten weisen eine unterschiedliche relative Geschwindigkeit zu der Kamera 1 auf. Dies führt dazu, dass die Bildobjekte der eigenbewegten Objekte einen Richtungsvektor aufweisen, der nicht auf den Expansionsfokus weist. Die Auswertungseinrichtung 9 kann anhand dieser Abweichung ermitteln, welche Objekte eine Eigenbewegung aufweisen. Nach einer Bestimmung der Trajektorie der Kamera anhand nicht bewegter Objekte kann aus der Bewegung der Bildobjekte auch deren Trajektorie im Raum bestimmt werden.
Eine Ausgestaltung sieht vor aus der bestimmten Trajektorie der Objekte im Raum einen Fokus für die nächsten Zehntelsekunden oder Sekunden zu bestimmen. Bei entsprechender Rechenleistung der Auswertungseinrichtung 9 kann der Fokus auch für kürzere Zeitabstände und bei entsprechender Genauigkeit der Trajektorienbestimmung auch für längere Zeitabstände bestimmt werden. Das Vorausberechnen des Fokus eignet sich insbesondere um Verschlusszeiten der Kamera 1 zu kompensieren.
Eine weitere Ausgestaltung verwendet die bestimmte Trajektorie von ausgewählten Bildobjekten für eine Bildstabilisierung. Hierbei kann ein aktiver Bereich des Hauptsensors verschoben werden. Bei einem CCD-Sensor wird ein Ausschnitt der gesamten Sensorfläche aktiviert. Der Bewegung des Bildobjekts folgend wird ein anderer Ausschnitt der Sensorfläche aktiviert.
Der Hilfssensor 6 kann ein einfacher Schwarz- Weiß-Sensor oder Graustufensensor sein. Die Auflösung des Hilfssensors 6 kann geringer als die des Hauptsensors 2 sein. Die Bilddaten des Hauptsensors können zunächst in entsprechende Graustufen übertragen werden, bevor eine Entfernungsbestimmung durch Vergleich der Bilder erfolgt.
Eine Ausführungsform sieht vor, die Graustufenwerte des Hilfssensors 6 für Belichtungsmessungen heranzuziehen. Der Hilfssensor 6 kann hierfür mit einer hohen Dunkelempfindlichkeit und/oder hohen Dynamik ausgestatten sein. Eine besonders bevorzugte Ausführungsform sieht vor, für die Helligkeitsmessung die Helligkeitswerte von ausgewählten Bildobjekten heranzuziehen. Die Auswahl der Bildobjekte kann wie obig für den Autofokus beschrieben durchgeführt werden.
In Figur 2 ist eine Ausführungsform gezeigt, die zwei Hilfssensoren aufweist.
Eine weitere Ausführungsform einer Kamera 1 verwendet einen Hilfssensor, der an einem externen Blitzgerät angeordnet ist (Fig. 3). Die Kamera 1 weist eine Schnittstelle auf, über die die Bilddaten des Hilfssensors an die Auswertungseinrichtung 9 in der Kamera 1 übertragen werden.
Eine nächste Ausführungsform einer Kamera 1 verwendet einen Hilfssensor im Gehäuse der Kamera 1 und einen Hilfssensor, der an einem externen Bildgerät angebracht ist (Fig. 4).
Die Kamera 1 kann sowohl eine Kamera 1 zum Photographieren einzelner Bilder wie auch eine Kamera zum Aufzeichnen eines Films sein. Dabei kann die Kamera 1 sowohl eine Kompaktkamera wie auch eine Spiegelreflexkamera sein. Ferner kann die Kamera 1 in einem Kraftfahrzeug zur Überwa- chung des Innenraumes oder der Kraftfahrzeugumgebung integriert sein. In einer weiteren Variante wird die Kamera 1 als fest installierte oder bewegliche Überwachungskamera zur Objektüberwachun^ verwendet.

Claims

Ansprüche
1. Kamera, mit einem Hauptsensor (2) zum Erfassen eines ersten Bildes einer Szene mit wenigstens einem Objekt; einem Objektiv für den Hauptsensor; wenigstens einem Hilfssensor (6), der zu dem Hauptsensor (2) beabstandet angeordnet ist, zum Erfassen eines zweiten Bildes der Szene mit dem wenigstens einen Objekt unter einem anderen Blickwinkel als der Hauptsensor; einer Auswertungseinrichtung (9) zum stereoskopischen Bestimmen einer Entfernung zu dem wenigstens einen Objekt basierend auf dem ersten und zweiten Bild; und einer Autofokuseinrichtung (8) zum Einstellen eines Fokus des Objektivs ansprechend auf die bestimmte Entfernung, und/oder einer Belichtungseinstellungseinrichtung zum Einstellen der Belichtung des Hauptsensors (2) entsprechend dem erfassten zweiten Bild.
2. Kamera nach Anspruch 1, wobei die Auswertungseinrichtung (9) zum Schätzen einer Trajektorie des Objekts basierend auf sequentiell aufgenommener erster und zweiter Bilder eingerichtet ist und die Autofokuseinrichtung (8) den Fokus des Objektivs basierend auf der geschätzten Trajektorie für einen Zeitpunkt einstellt.
3. Kamera nach Anspruch 1 oder 2, wobei eine Mustererkennungseinrichtung (10) zum Auswählen des wenigstens einen Objekts vorgesehen ist.
4. Kamera nach einem der vorhergehenden Ansprüche, wobei der Hilfssensor (6) ein Grauwert- Sensor ist.
5. Verfahren zum Steuern einer Kamera mit den Schritten: paralleles Erfassen wenigstens eines ersten Bildes einer Szene mittels eines Hauptsensors (2) und wenigstens eines zweiten Bildes der Szene mittels wenigstens eines Hilfssensors (6) aus einem anderen Blickwinkel als der Hauptsensor (2); Zuordnen von einem der Bildobjekte in dem ersten und zweiten Bild zu einem Objekt, auf das fokus- siert wird; Bestimmen einer Entfernung zu dem Objekt basierend auf einer Verschiebung des zugeordneten Bildobjekts in dem ersten Bild gegenüber dem zweiten Bild; und
Einstellen eines Fokus eines Objektivs (3) für den Hauptsensor (2) ansprechend auf die bestimmte Entfernung, und/oder Einstellen der Belichtung des Hauptsensors (2) entsprechend dem erfassten zweiten Bild.
6. Verfahren nach Anspruch 5, wobei eine Bewegungsschätzung des Objekts basierend auf einer Sequenz der ersten Bilder und/oder der zweiten Bild durchgeführt wird; eine Entfernung des Objekts zu einem zukünftigen Zeitpunkt basierend auf der Bewegungsschätzung und der bestimmten Entfer- nung zu dem Objekt bestimmt wird und der Fokus auf die zukünftige Entfernung des Objekts eingestellt wird.
7. Verfahren nach Anspruch 6, wobei die Bewegungsschätzung auf den ersten Bilder durchgeführt wird, wenn diese ein höhere Auflösung als die zweiten Bilder aufweisen, und die Bewegungs- Schätzung auf den zweiten Bildern durchgeführt wird, wenn diese eine höhere Auflösung als die ersten Bilder aufweisen.
8. Verfahren nach Anspruch 5 oder 7, wobei eine Mustererkennung das Bildobjekt dem Objekt zuordnet.
9. Verfahren nach einem der Ansprüche 5 bis 8, wobei Bilddaten des Hilfssensors (6) zusammen mit den Bilddaten des Hauptsensors (2) abgespeichert werden.
10. Verfahren nach einem der Ansprüche 6 bis 9, wobei ein Erfassungsbereich des Hauptsensors (2) ansprechend auf eine geschätzte Trajektorie des Objekts verschoben wird.
PCT/EP2009/055113 2008-04-29 2009-04-28 Kamera und verfahren zum steuern einer kamera WO2009133095A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011506685A JP5216137B2 (ja) 2008-04-29 2009-04-28 カメラおよびカメラの制御方法
CN200980115391.9A CN102016710B (zh) 2008-04-29 2009-04-28 摄像装置和用于控制摄像装置的方法
US12/988,562 US20110149045A1 (en) 2008-04-29 2009-04-28 Camera and method for controlling a camera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102008001451A DE102008001451A1 (de) 2008-04-29 2008-04-29 Kamera und Verfahren zum Steuern einer Kamera
DE102008001451.6 2008-04-29

Publications (1)

Publication Number Publication Date
WO2009133095A1 true WO2009133095A1 (de) 2009-11-05

Family

ID=40872775

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2009/055113 WO2009133095A1 (de) 2008-04-29 2009-04-28 Kamera und verfahren zum steuern einer kamera

Country Status (5)

Country Link
US (1) US20110149045A1 (de)
JP (1) JP5216137B2 (de)
CN (1) CN102016710B (de)
DE (1) DE102008001451A1 (de)
WO (1) WO2009133095A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012095258A1 (de) 2011-01-12 2012-07-19 3Vi Gmbh Fernsteuerungseinrichtung und schnittstellen-modul zur steuerung einer vorrichtung anhand eines beweglichen objektes
WO2012126868A1 (de) 2011-03-18 2012-09-27 Martin Waitz Verfahren und vorrichtung zum fokussieren einer filmkamera

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI519156B (zh) * 2011-06-29 2016-01-21 宏達國際電子股份有限公司 影像擷取方法與影像擷取系統
DE102012008986B4 (de) * 2012-05-04 2023-08-31 Connaught Electronics Ltd. Kamerasystem mit angepasster ROI, Kraftfahrzeug und entsprechendes Verfahren
CN105635554B (zh) * 2014-10-30 2018-09-11 展讯通信（上海）有限公司 自动对焦控制方法及装置
CN106324945A (zh) * 2015-06-30 2017-01-11 中兴通讯股份有限公司 非接触式自动对焦方法和装置
US9703175B2 (en) 2015-07-02 2017-07-11 Qualcomm Incorporated Systems and methods for autofocus trigger
CN107343158A (zh) * 2017-07-25 2017-11-10 广东欧珀移动通信有限公司 加快aec收敛的方法及装置、终端设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6130787A (en) * 1997-10-02 2000-10-10 Olympus Optical Co., Ltd. Optical system and optical module
US6320610B1 (en) * 1998-12-31 2001-11-20 Sensar, Inc. Compact imaging device incorporating rotatably mounted cameras
DE10343406A1 (de) * 2003-09-19 2005-04-14 Daimlerchrysler Ag Entfernungsbestimmung eines Objektes
DE102004053416A1 (de) * 2004-11-05 2006-05-11 Robert Bosch Gmbh Konzeption einer Kamera mit Spiegeln zur Erzeugung eines Stereobildpaares
JP2007322128A (ja) * 2006-05-30 2007-12-13 Matsushita Electric Ind Co Ltd カメラモジュール

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3055961B2 (ja) * 1991-04-02 2000-06-26 オリンパス光学工業株式会社 自動焦点装置
US6786420B1 (en) * 1997-07-15 2004-09-07 Silverbrook Research Pty. Ltd. Data distribution mechanism in the form of ink dots on cards
US7612870B2 (en) * 1998-02-25 2009-11-03 California Institute Of Technology Single-lens aperture-coded camera for three dimensional imaging in small volumes
JP4428761B2 (ja) * 1999-07-07 2010-03-10 Ｈｏｙａ株式会社 ステレオカメラ
GB2354389A (en) * 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
EP1085769B1 (de) * 1999-09-15 2012-02-01 Sharp Kabushiki Kaisha Stereoskopisches Bildaufnahmegerät
US6683651B1 (en) * 1999-10-28 2004-01-27 Hewlett-Packard Development Company, L.P. Method of automatically adjusting focus in a shutterless digital camera
WO2001082225A2 (en) * 2000-04-24 2001-11-01 Washington University Method and apparatus for probabilistic model of ultrasonic images
US6834128B1 (en) * 2000-06-16 2004-12-21 Hewlett-Packard Development Company, L.P. Image mosaicing system and method adapted to mass-market hand-held digital cameras
US8085293B2 (en) * 2001-03-14 2011-12-27 Koninklijke Philips Electronics N.V. Self adjusting stereo camera system
EP1390814A2 (de) * 2001-05-30 2004-02-25 Nptest, Inc. Unterpixelausrichtung von bildern
US6970199B2 (en) * 2001-10-05 2005-11-29 Eastman Kodak Company Digital camera using exposure information acquired from a scene
CN100437350C (zh) * 2002-02-28 2008-11-26 美国科技有限公司 立体照片景深计算公式和立体摄影景深定位尺
US8289399B2 (en) * 2004-08-09 2012-10-16 Hewlett-Packard Development Company, L.P. System and method for image capture device
JP2006093860A (ja) * 2004-09-21 2006-04-06 Olympus Corp ２眼撮像系を搭載したカメラ
WO2006036145A1 (en) * 2004-09-27 2006-04-06 Agere Systems Inc. Mobile communication device having stereoscopic imagemaking capability
JP2006145629A (ja) * 2004-11-16 2006-06-08 Fuji Photo Film Co Ltd 撮像装置
KR100667810B1 (ko) * 2005-08-31 2007-01-11 삼성전자주식회사 ３ｄ 영상의 깊이감 조정 장치 및 방법
US8982181B2 (en) * 2006-06-13 2015-03-17 Newbery Revocable Trust Indenture Digital stereo photographic system
JP2008035167A (ja) * 2006-07-28 2008-02-14 Victor Co Of Japan Ltd 撮像装置
US8970680B2 (en) * 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
JP4463792B2 (ja) * 2006-09-29 2010-05-19 富士フイルム株式会社 撮影装置
TWI336810B (en) * 2006-12-21 2011-02-01 Altek Corp Method of generating image data having parallax using a digital image-capturing device and digital image-capturing device
US7676146B2 (en) * 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
JP2010252046A (ja) * 2009-04-15 2010-11-04 Olympus Imaging Corp 撮像装置
US8265477B2 (en) * 2010-03-31 2012-09-11 James Cameron Stereo camera with preset modes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6130787A (en) * 1997-10-02 2000-10-10 Olympus Optical Co., Ltd. Optical system and optical module
US6320610B1 (en) * 1998-12-31 2001-11-20 Sensar, Inc. Compact imaging device incorporating rotatably mounted cameras
DE10343406A1 (de) * 2003-09-19 2005-04-14 Daimlerchrysler Ag Entfernungsbestimmung eines Objektes
DE102004053416A1 (de) * 2004-11-05 2006-05-11 Robert Bosch Gmbh Konzeption einer Kamera mit Spiegeln zur Erzeugung eines Stereobildpaares
JP2007322128A (ja) * 2006-05-30 2007-12-13 Matsushita Electric Ind Co Ltd カメラモジュール

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012095258A1 (de) 2011-01-12 2012-07-19 3Vi Gmbh Fernsteuerungseinrichtung und schnittstellen-modul zur steuerung einer vorrichtung anhand eines beweglichen objektes
US9451237B2 (en) 2011-01-12 2016-09-20 Myestro Interactive Gmbh Remote control device for controlling a mechanism with the aid of a movable object and an interface module based on movement and distance of the movable object with respect to a camera
WO2012126868A1 (de) 2011-03-18 2012-09-27 Martin Waitz Verfahren und vorrichtung zum fokussieren einer filmkamera
US9225894B2 (en) 2011-03-18 2015-12-29 Martin Waitz Method and device for focusing a film camera

Also Published As

Publication number Publication date
CN102016710B (zh) 2014-12-10
CN102016710A (zh) 2011-04-13
DE102008001451A1 (de) 2009-11-05
US20110149045A1 (en) 2011-06-23
JP2012500506A (ja) 2012-01-05
JP5216137B2 (ja) 2013-06-19

Similar Documents

Publication Publication Date Title
WO2009133095A1 (de) Kamera und verfahren zum steuern einer kamera
DE10344058B4 (de) Vorrichtung und Verfahren zum Reduzieren von Bildunschärfe bei einer Digitalkamera
DE102004017536B4 (de) System zur automatischen Schärfeneinstellung
DE602006000272T2 (de) Autofokuseinrichtung mit Fokus-Nachführung für Objekte in Bewegung
DE69117688T2 (de) Auf kontrast basierender autofokusmechanismus
DE602005000296T2 (de) Projektor mit automatischer Fokuseinstellung
DE102014204635B4 (de) Objektivvorrichtung, Kamerasystem, und Steuerverfahren für das Kamerasystem
DE69111377T2 (de) Kamera mit gegenstandshervorhebung und bewegungsdetektion.
DE102010023108B4 (de) Projektor mit automatischer Fokussierung und Abbildungsverfahren
DE112016002229B4 (de) Bildverarbeitungsvorrichtung, bildaufnahmevorrichtung, bildverarbeitungsverfahren und speichermedium
DE102012215429A1 (de) Bildverarbeitungssystem und automatisches Fokussierverfahren
DE602004008360T2 (de) Digitale Kamera mit entfernungsabhängigem Fokussierungsverfahren
DE102016120954A1 (de) Abbildungseinrichtung und Abbildungsverfahren
DE102005016562A1 (de) Bildstabilisationssysteme und -Verfahren
DE102018101035A1 (de) Bildstabilisierungsvorrichtung und steuerverfahren dafür, bildaufnahmevorrichtung und speichermedium
JP2012500506A5 (de)
DE102018118620A1 (de) Bildaufnahmevorrichtung und Steuerverfahren von dieser
DE102013224704A1 (de) Verfahren zur automatischen Fokussierung einer Kamera
DE102007058779B4 (de) Einrichtung eines Kraftfahrzeugs zur Erzeugung eines für eine Bildanalyse geeigneten Bildes
DE102018123402A1 (de) Bildunschärfekorrekturvorrichtung und steuerverfahren
WO2012126868A1 (de) Verfahren und vorrichtung zum fokussieren einer filmkamera
JP2010243843A (ja) オートフォーカスシステム
DE10008676B4 (de) Verfahren und Vorrichtung zur automatischen Seitenerfassung durch eine Digitalkamera
DE602004001960T2 (de) Autofokussystem
JP7254562B2 (ja) 撮像装置及びその制御装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980115391.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09738139

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011506685

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12988562

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 09738139

Country of ref document: EP

Kind code of ref document: A1