WO2011060886A2 - Verfahren zum erzeugen einer darstellung einer umgebung - Google Patents

Verfahren zum erzeugen einer darstellung einer umgebung Download PDF

Info

Publication number
WO2011060886A2
WO2011060886A2 PCT/EP2010/006765 EP2010006765W WO2011060886A2 WO 2011060886 A2 WO2011060886 A2 WO 2011060886A2 EP 2010006765 W EP2010006765 W EP 2010006765W WO 2011060886 A2 WO2011060886 A2 WO 2011060886A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
topography
representation
camera position
Prior art date
Application number
PCT/EP2010/006765
Other languages
English (en)
French (fr)
Other versions
WO2011060886A3 (de
Inventor
Florian Gagel
Jörg KUSHAUER
Original Assignee
Diehl Bgt Defence Gmbh & Co. Kg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Diehl Bgt Defence Gmbh & Co. Kg filed Critical Diehl Bgt Defence Gmbh & Co. Kg
Priority to EP10778566A priority Critical patent/EP2502205A2/de
Priority to CA2781241A priority patent/CA2781241C/en
Publication of WO2011060886A2 publication Critical patent/WO2011060886A2/de
Publication of WO2011060886A3 publication Critical patent/WO2011060886A3/de
Priority to IL218749A priority patent/IL218749A/en
Priority to US13/475,468 priority patent/US8902292B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the submarine For the most undiscovered exploration of an environment by a submarine, it is known that the submarine is located just below the water surface and operates with a passing through the water surface communication mast a radio link or enlighten the environment. Due to the position of the submarine just below the water surface, however, the submarine is relatively easily accessible to enemy reconnaissance. The risk of ramming through a ship is not insignificant. To solve this problem, it is known to suspend from the submarine a communication buoy with which the submarine remains connected. Through transmitter, receiver, and sensors on the buoy, a radio link can be maintained and the environment can be clarified.
  • This object is achieved by a method for generating a representation of an environment in which, according to the invention, at least one image of the surroundings is taken by a camera at a camera position and, assuming that the environment forms a known topography, from the shape of the topography Camera position relative to the topography and the image, the representation in the form of a virtual representation is generated as viewed from an observation point in the environment, which is spaced from the camera position.
  • the invention is based on the consideration that the buoy should be as small as possible in order not to be discovered. As a result, the camera position is only just above the water surface. Will the enlightenment image, so the representation In the real environment, displayed on a display, it is difficult for an operator to correctly estimate a distance of objects located on the water surface.
  • the real environment can be virtually represented so that a distance, for example, of a ship on the water surface to the buoy can be better estimated. If, for example, the observation point in relation to the topography is selected above the camera position, a view of the objects on the water surface from further above is possible so that the entire water surface appears on a larger area on the displayed virtual image. Due to the position of the objects on this surface, enlarged by the new perspective, the distance can be estimated well.
  • the virtual representation may be a computationally rendered representation of a view of the environment from an observer position generated from image data from at least one image taken from a camera position spaced from the observer position.
  • the distance between camera position and observer position can be one meter or more.
  • the observer position can be freely selected. There is no need for a real observer.
  • the virtual representation may be displayed on a display means, such as a screen, and viewed and analyzed by an operator to monitor the environment. If the observation point can be freely selected by an operator within limits, an adjustment of the representation which is optimal for the operator can be chosen such that an object of interest is well represented within the environment.
  • each pixel can be calculated to have a distance from an object of the environment imaged to the camera position. Since the two-dimensional image position of each pixel in the image is known, with this two-dimensional information together with the removal information, the spatial information can be assigned to each pixel. Each object shown in the pixels is thus known in its three-dimensional position in space around the camera position.
  • the pixels can be assigned a position relative to a reference point, for example an origin of a coordinate system, with the aid of the known topography.
  • the reference point may be the camera position, the virtual observation point or a point that is fixed to the buoy, a ship, another vehicle or a land-based point.
  • a view from the virtual observation point on the topography and thus on the imaged objects can be generated by determining the viewing angles to points within the topography from the viewpoint's point of view and assigning to each corresponding point one pixel of the two-dimensional pixel matrix.
  • the topography or objects lying in the topography can now be displayed from any observation point.
  • a distance model can be formed with which the pixels of the image are each assigned a distance from an object imaged in the pixel to a predetermined point.
  • the default point may be the camera position or the virtual observation point. If it is the camera point, the distances in the distances of the objects to the
  • the virtual representation can now be generated according to the assigned distances.
  • the distance model assigns to the position of the pixels in the recorded image in each case a distance of an object shown in the pixel to, for example, the camera position or directly to the virtual observation point.
  • At least two images of different points are recorded and the virtual representation is generated from an image fusion of the two images.
  • pixels of each of the two images for example, the three-dimensional spatial information can be assigned and pixels with the same spatial information from the two images can be merged to form a pixel of the virtual representation.
  • the two images may overlap in their representation wholly or partially, the image fusion is advantageously carried out only for the overlapping part.
  • a simple generation of three-dimensional spatial information or distance information to one pixel at a time can succeed if as a topography a flat surface is assumed and the camera position is located above the surface.
  • the camera position is determined for each image within or above the topography, in the case that multiple images are taken, and in particular for the case that the virtual representation is fused from the images.
  • the camera position is expediently determined with the aid of a sensor.
  • the sensor can be an acceleration sensor, whereby the camera position can be determined by double integration and a fixed reference point.
  • Reference point may be, for example, a known middle position.
  • the camera position fluctuates around this middle position, with the average time being in the known middle position.
  • the camera orientation is determined in the environment. This is particularly advantageous when multiple images are taken with a different camera orientation.
  • the camera alignment can with the help of a sensor, for. B. an acceleration sensor and / or a compass are determined, for. B. using a known and medium orientation, z. B. a middle elevation.
  • an orientation of the image in the topography can be determined on the basis of image information by image processing.
  • a mapped horizon can be used to determine the elevation of the camera, or an azimuth angle and elevation angle of the camera orientation can be determined with the aid of the imaged sun with the aid of the time and the date.
  • a recording time of the image is selected as a function of the camera position. For example, if the camera is moved up and down by sea on a ship or a buoy, it is advantageous if the recording time is selected such that the camera position is as high as possible above a middle position. As a result, a good overview of the environment can be achieved and there are few image disturbances by imaged troughs and wave crests hiding the horizon whose real topography contradicts the assumed topography.
  • a recording time for example, be selected above a predetermined height above a reference point. The predetermined height can in turn be made dependent on the size of the movement of the camera position within, for example, a predetermined period of time.
  • the invention is also directed to an apparatus for generating a representation of an environment with a camera in a camera position, a processing means, a data storage in which data is stored for a presumed topography of the environment, and a display means for displaying the
  • the processing means is provided to control a recording of at least one image of the environment by the camera and accessing the data of the topography, the camera position relative to the topography and the image representation in the form of a virtual representation from the perspective of one of Camera position of spaced observation point to produce.
  • the process means is advantageously prepared to control the performance of any, several, or all of the above-known process steps.
  • Such a preparation may be provided by a corresponding control program of the process means, the sequence of which - such as in conjunction with suitable input signals, such as sensor signals - causes such a control.
  • the process means is prepared to recognize such objects and to control the camera so that it is aligned by a controlled movement on the object.
  • Camera in a schematic representation, 2 shows an image taken by the camera of an environment with two objects
  • Fig. 3 is a virtual image of the two objects from a higher
  • Fig. 4 is a diagram of an up and down movement of the Auftechnikungsboje on the
  • Fig. 5 shows two of the camera from different positions recorded
  • Fig. 1 shows a communication and Aufteilungsboje 2 with a camera 4, which is arranged in a calm sea at a height 6 above a water surface 8.
  • the camera 4 is signal technically connected to a processing means 10 which is arranged in the interior of the reconnaissance buoy 2 together with a data memory 12, an acceleration sensor 14 and a compass 16.
  • the reconnaissance buoy 2 is connected via a pull cable 18 with a submarine, the AufDeutschungsboje the second has in tow. Via the towing cable 18, data can be transmitted from the processing means 10 to another processing means 22 in the submarine 20, which is connected to a display means 24 designed as a screen.
  • the reconnaissance buoy 2 forms a device for generating a representation of an environment on the display means 24 in the submarine 20.
  • the recording of a plurality of images by means of the camera 4 is controlled by the processing means 10.
  • the pictures are taken in chronological order.
  • further cameras are conceivable, which are aligned in other directions, so that from the images of the cameras a panoramic image can be generated, in particular an image with all-round visibility.
  • FIG. A simple image 26 of the camera 4 is shown in FIG. It schematically shows the view of the camera 4 on the water surface 8 and on two in Fig. 2 only schematically illustrated objects 28, 30 which float at some distance from the camera 4 on the water surface 8.
  • the orientation of the camera 4 to the objects 28, 30 defines in each case a line of sight 34, 36 whose elevation angle oti and a 2 and azimuth angle determines the position of the respectively imaged object 28, 30 in the image 26. Due to the elevation angle ⁇ and a 2 and the respective associated azimuth angles, the direction of each line of sight 34, 36 of the camera is uniquely determined.
  • FIG. 2 schematically shows how the objects 28, 30 would be visible in the image 26, if they were displayed on the display means 24.
  • Each object 28, 30 are
  • a virtual representation 38 of the environment is generated by the processing means 10.
  • the virtual representation 38 is a view of the environment from an observation point 40, which is several meters, for example 20 m, above the camera position.
  • This observation point 40 is freely selectable within limits and is determined by an operator in the submarine 20 with the aid of an input to the processing means 22, wherein a data processing program forwards data generated therefrom to the processing means 10 of the reconnaissance buoy 2 and generates the virtual representation 38.
  • the images 26 created by the camera 4 are transmitted to the submarine 20 and the virtual representation 38 is generated by the processing means 22 of the submarine 20.
  • other observation points 42 or 44 are conceivable, which need not necessarily be arranged above the camera position.
  • the topography is a flat surface in the water surface 8 which has just been thought of. In a calm sea, the water surface 8 essentially forms a flat surface, so that this model agrees well with the real environment.
  • the distance of the objects 28, 30 from the camera position 4 can be determined from a simple trigonometric relationship.
  • a distance model is used which assigns each pixel of the image 26 or at least a number of the pixels of the image 26 a defined point in spatial space.
  • the coordinates of the location space may be related to a fixed point, such as the camera position or some other predetermined point, which may be stationary or movable.
  • the distance model is based on the assumption that the possibility of reducing the position of the imaged objects 28, 30 into a two-dimensional landscape or topography forms the basis for the distance model. It can be like that
  • Pixels of each image 26 a place or viewpoint in the landscape or Tot starting be assigned. Without the distance model, only one line of sight 34, 36 would be associated with the pixels. Due to the predetermined topography of the distance model, the possible position of the imaged objects 28, 30 on the intersection of the line of sight 34, 36 with the topography and thus on a unique
  • Point is reduced, which lies in an easily calculable distance to the camera 4 and thus can be provided with concrete three-dimensional coordinates with respect to a reference point.
  • the pixels of an image 26 thus become a voxel fixed in its three-dimensional coordinates.
  • the horizontal line of sight 46 is directed to the horizon 32, so that the pixels that the
  • the distance can be assigned infinite. Likewise, all pixels above the horizon can be traversed.
  • the distance of the objects 28, 30 is usually determined by its lower edge or the position of its lower edge or its lowest point in the image 26, this position of the lower edge or the lowest point in the distance or
  • the distance and the relative position of the objects can be determined by simple coordinate transformation
  • Fig. 1 The corresponding virtual lines of sight 48, 50 on the objects 28, 30 are shown in Fig. 1. They have larger elevation angles, so that in the virtual representation 38 the objects 28, 30 are vertically further apart from each other. In addition, their distance from the horizon 32 is greater. This simplifies the estimation of their position relative to the camera 4 by an operator, who can thus make a better picture of the environment.
  • the reconnaissance buoy 2 is provided with the acceleration sensor 14. When swell the height 6 of the camera 4 varies over the water surface and in particular over a plane as just imagined perfectly smooth water surface 8. By the acceleration sensor 14, the acceleration can be measured and by integrating twice the respective location of the
  • Acceleration sensor 14 and thus the camera 4 are determined. Prerequisite is a known location at a specified time at which the integration can start. In Fig. 4, the height 6 is plotted in a diagram over time t schematically.
  • the average height 52 is the height 6 of the camera 4 above the water surface 8 with the water surface completely calm. Even if the height 6 fluctuates greatly, as shown in FIG. 4, this average height 52 can be determined by averaging over a longer period of time and used as a corrective counteracting a faulty drift.
  • FIG. 4 also shows a height 54 given by, for example, the process means 10, which serves as a triggering height for taking pictures 26 of the surroundings.
  • the images 26 are only taken when the camera 4 is above this predetermined height 54 and thus has a good view of the surrounding waves.
  • the upper reversal point of the position of the camera 4 can be determined by the acceleration sensor 14, so that the images in largest height above the central water surface 8 are recorded. On small wave crests below the height 54 no pictures are taken.
  • the predetermined height 54 is expediently made dependent on the size of the movement, so that it is higher, the higher the swell is or the fluctuation of the height 6 of the camera. 4
  • the elevation angle of the orientation of the camera 4 must also be known, that is to say whether the camera 4 is oriented more upward or more downward at the moment the image is taken. Due to swell this elevation angle varies and must therefore be determined.
  • the elevation angle may refer to any direction of camera orientation, e.g.
  • a further sensor for example a gravitational sensor can be used, which measures the orientation of the reconnaissance buoy 2 in space and thus the camera 4 , This sensor can also be supported by the acceleration sensor 14 or another acceleration sensor in order to achieve a fast and accurate measurement of the alignment.
  • a virtual representation 38 can be generated.
  • the orientation of the camera 4 with respect to the azimuth angle for example the image center of the recorded images 26, is fixed relative to a fixed direction, for example a cardinal direction.
  • the compass 16 which can also be replaced by any other suitable sensor. It is also possible to use the compass 16 only for a coarse and average azimuth angle determination and to use, in addition to the fine determination, the acceleration sensor 14 or another acceleration sensor which measures a rotation of the reconnaissance buoy about its vertical axis.
  • the absolute orientation of the camera 4 and thus of the images 26 in the environment is known, so that the objects 28, 30 can also be determined in their absolute position, for example in geographical longitude and latitude.
  • the orientation of the camera 4 can additionally or alternatively be determined from image information by image processing. If an object is imaged and recognized, whose position in space is known, such. As the horizon 32, the orientation of the camera 4 can be determined based on the image data of this object, for example, the elevation angle based on the location of the horizon 32 in the image 26. By mapping the sun and use as a known object, in addition to the elevation angle and the Azimuth angle of the image or a known point z. B. the center of gravity of the image 26, are calculated.
  • FIG. 5 An example of this is shown in FIG.
  • the images 58, 60 show three objects 62, 64, 66 from two different camera positions and camera orientations.
  • the first image 58 shows the object 62 from a relatively small height 6, so that its upper edge is the horizon
  • the height 6 of the camera 4 in the second image 60 which was taken for example a small period after the first image 58, is slightly higher, so that the object 62 appears slightly deeper relative to the horizon 32.
  • the two objects 64, 66 lying in front of the object 62 are also arranged somewhat deeper relative to the object 62.
  • the camera 4 is between the
  • the proximity of the objects 62, 64, 66 in the images 58, 60 makes it difficult for an operator in the submarine 20 or any operator looking at the display means 24 to determine the absolute location of the objects 62, 64, 66 relative to the camera 4 estimate.
  • the virtual representation 56 is generated, which represents the objects 62, 64, 66 from an elevated position, for example the high observation point 40.
  • the elevation angle of the center of the virtual representation 56 can also be freely selected. In the example shown in FIG. 5, this elevation angle is selected so that the horizon 32 is very close to the upper edge of the image, since the sky above the horizon 32 is of low Interest for the operator. Due to the elevated observation point 40, the objects 62, 64, 66 are now spaced apart from one another in the virtual representation 56 such that their spacing on the one hand to one another and to the camera 4 on the other hand is considerably better recognizable than from the images 58, 60.
  • the image fusion of the images 58, 60 also allows a larger panoramic image to be created so that the virtual representation 56 covers a larger azimuth angle range than the images 58, 60, respectively. In this way, it is also possible to create multiple images to a semi-circular or even 360 ° spanning panoramic view with all-round visibility.
  • the image fusion of the two images 58, 60 or other images to a wide panoramic view can be done as follows.
  • two pixels are assigned to each surrounding point, namely one pixel in the image 58 and another pixel in the image 60.
  • These two corresponding pixels have the same spatial coordinates with respect to the camera position or another arbitrary and known point. They are therefore displayed in the resulting panoramic image 56 one above the other. This can be done by weighted gray value determination, so that a brighter pixel and a darker pixel result in a medium bright pixel.
  • mapping the two corresponding pixels in a pixel of the panoramic image 56 this can be resolved in a finer manner so that consideration can be given to incomplete overlapping of the two corresponding pixels.
  • an operator can also display only portions of the panorama image or, for example, take a continuous panoramic view or a glance over a large azimuth angle by turning the viewing direction.
  • the further advantage can be achieved that an alignment change of the images 26, 58, 60 generated by the fluctuation of the camera 4 is bypassed. If, for example, several virtual representations are made from one observation point 40 in succession, a defined elevation angle of the virtual representations 38, 56 can always be selected so that there is no fluctuation in these representations 38, 56 is more visible. The operator can concentrate fully on the objects 28, 30 or 62, 64, 66 without having to constantly search for them again in the fluctuating image with his eyes.
  • the virtual representation 38, 56 can also be used to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung geht aus von einem Verfahren zum Erzeugen einer Darstellung (38, 56) einer Umgebung, bei dem zumindest ein Bild (26, 58, 60) der Umgebung von einer Kamera (4) an einer Kameraposition aufgenommen wird. Es wird vorgeschlagen, dass unter der Annahme, dass die Umgebung eine bekannte Topografie bildet, aus der Gestalt der Topografie, der Kameraposition relativ zur Topografie und dem Bild (26, 58, 60) die Darstellung (38, 56) in Form einer virtuellen Darstellung (38, 56) aus Sicht von einem Beobachtungspunkt (40, 42, 44) aus erzeugt wird, der von der Kameraposition beabstandet ist. Hierdurch kann eine günstige Perspektive auf im Bild abgebildete Objekte (28, 30, 62, 64, 66) gewählt werden, so dass deren Lage relativ zur Kamera (4) für einen Bediener leicht erkennbar ist.

Description

Diehl BGT Defence GmbH & Co. KG. Alte Nußdorfer Straße 13. 88662 Überlingen
Verfahren zum Erzeugen einer Darstellung einer Umgebung
Zur möglichst unentdeckten Erkundung einer Umgebung durch ein Unterseeboot ist es bekannt, dass das Unterseeboot sich dicht unter der Wasseroberfläche aufhält und mit einem durch die Wasseroberfläche hindurchreichenden Kommunikationsmast eine Funkverbindung betreibt oder die Umgebung aufklärt. Durch die Position des Unterseeboots dicht unter der Wasseroberfläche ist das Unterseeboot jedoch feindlicher Aufklärung relativ leicht zugänglich. Auch die Gefahr eines Rammens durch ein Schiff ist nicht unerheblich. Zur Lösung dieses Problems ist es bekannt, vom Unterseeboot eine Kommunikationsboje auszusetzen, mit der das Unterseeboot verbunden bleibt. Durch Sender, Empfänger, und Sensoren an der Boje kann eine Funkverbindung aufrechterhalten und die Umgebung aufgeklärt werden.
Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren zum Erzeugen einer Darstellung einer Umgebung anzugeben, mit dem die Umgebung besonders gut überwacht werden kann.
Diese Aufgabe wird durch ein Verfahren zum Erzeugen einer Darstellung einer Umgebung gelöst, bei dem erfindungsgemäß zumindest ein Bild der Umgebung von einer Kamera an einer Kameraposition aufgenommen wird und unter der Annahme, dass die Umgebung eine bekannte Topografie bildet, aus der Gestalt der Topografie, der Kameraposition relativ zur Topografie und dem Bild die Darstellung in Form einer virtuelle Darstellung aus Sicht von einem Beobachtungspunkt aus in die Umgebung erzeugt wird, der von der Kameraposition beabstandet ist.
Die Erfindung geht hierbei von der Überlegung aus, dass die Boje möglichst klein sein sollte, um nicht entdeckt zu werden. Hierdurch bedingt ist die Kameraposition nur knapp oberhalb der Wasseroberfläche. Wird das Aufklärungsbild, also die Darstellung der realen Umgebung, auf einer Anzeige dargestellt, so ist es für einen Bediener schwer, eine Entfernung von auf der Wasseroberfläche befindlichen Objekten korrekt einzuschätzen.
Durch die Wahl eines geeigneten Beobachtungspunkts kann die reale Umgebung virtuell so dargestellt werden, dass eine Entfernung beispielsweise eines Schiffes auf der Wasseroberfläche zur Boje besser abschätzbar ist. Wird beispielsweise der Beobachtungspunkt in Bezug zur Topografie oberhalb der Kameraposition gewählt, so ist ein Blick auf die Objekte auf der Wasseroberfläche von weiter oberhalb möglich, sodass die gesamte Wasseroberfläche großflächiger auf dem angezeigten virtuellen Bild erscheint. Durch die Position der Objekte auf dieser durch die neue Perspektive vergrößert dargestellten Oberfläche kann die Entfernung gut abgeschätzt werden.
Die virtuelle Darstellung kann eine rechnerisch erzeugte Darstellung einer Sicht in die Umgebung aus einer Beobachterposition sein, die aus Bilddaten von zumindest einem Bild erzeugt wird, das von einer Kameraposition aufgenommen wurde, die von der Beobachterposition beabstandet ist. Der Abstand zwischen Kameraposition und Beobachterposition kann einen Meter und mehr betragen. Die Beobachterposition kann frei wählbar sein. An ihr ist kein realer Beobachter nötig. Die virtuelle Darstellung kann auf einem Anzeigemittel, beispielsweise einem Bildschirm, angezeigt und von einem Bediener zur Überwachung der Umgebung angeschaut und beispielsweise analysiert werden. Ist der Beobachtungspunkt durch einen Bediener innerhalb von Grenzen frei wählbar, so kann eine für den Bediener optimale Einstellung der Darstellung so gewählt werden, dass ein interessierendes Objekt innerhalb der Umgebung gut dargestellt ist.
Zur einfachen Erzeugung der virtuellen Darstellung ist es vorteilhaft, wenn aus Bildpunkten des Bilds Voxel mit jeweils dreidimensionaler Rauminformation erzeugt werden und die virtuelle Darstellung aus den Rauminformationen der Voxel erzeugt wird. Mit Hilfe der bekannten Topografie und der Kameraposition, deren Lage in oder über der Topografie bekannt ist, kann jedem Bildpunkt eine Entfernung von einem im Bildpunkt abgebildeten Objekt der Umgebung zur Kameraposition errechnet werden. Da die zweidimensionale Bildposition eines jeden Bildpunkts im Bild bekannt ist, kann mit dieser zweidimensionalen Information zusammen mit der Entfemungsinformation jedem Bildpunkt die Rauminformation zugeordnet werden. Jedes in den Bildpunkten dargestellte Objekt ist somit in seiner dreidimensionalen Lage im Raum rund um die Kameraposition bekannt. Den Bildpunkten kann mit Hilfe der bekannten Topografie jeweils eine Position relativ zu einem Bezugspunkt, beispielsweise einem Ursprung eines Koordinatensystems, zugeordnet werden. Der Bezugspunkt kann die Kameraposition, der virtuelle Beobachtungspunkt oder ein Punkt sein, der ortsfest zur Boje, einem Schiff, einem sonstigen Fahrzeug oder einem landfesten Punkt ist.
Nun kann mit Hilfe einfacher trigonometrischer Verfahren, und/oder durch Transformation mit Hilfe der inversen Eulermatrix, eine Ansicht vom virtuellen Beobachtungspunkt aus auf die Topografie und damit auf die abgebildeten Objekte erzeugt werden, indem die Blickwinkel auf Punkte innerhalb der Topografie aus Sicht des Beobachtungspunkts bestimmt und jedem entsprechende Punkt ein Bildpunkt der zweidimensionalen Bildpunktmatrix zugeordnet wird. Innerhalb gewisser Grenzen kann nun die Topografie bzw. die in der Topografie liegenden Gegenstände von jedem beliebigen Beobachtungspunkt aus dargestellt werden.
So kann aus der bekannten Topografie ein Entfernungsmodell gebildet werden, mit dem den Bildpunkten des Bilds jeweils eine Entfernung von einem im Bildpunkt abgebildeten Objekt zu einem vorgegebenen Punkt zugeordnet wird. Der vorgegebene Punkt kann die Kameraposition sein oder der virtuelle Beobachtungspunkt. Ist er der Kamerapunkt, können die Entfernungen in die Entfernungen der Objekte zum
Beobachtungspunkt umgerechnet werden. Die virtuelle Darstellung kann nun entsprechend der zugeordneten Entfernungen erzeugt werden. Das Entfernungsmodell ordnet hierbei der Position der Bildpunkte im aufgenommenen Bild jeweils eine Entfernung eines im Bildpunkt dargestellten Objekts zu beispielsweise der Kameraposition oder direkt zum virtuellen Beobachtungspunkt zu.
In einer weiteren vorteilhaften Ausführungsform der Erfindung werden zumindest zwei Bilder von verschiedenen Punkten aufgenommen und die virtuelle Darstellung aus einer Bildfusion der beiden Bilder erzeugt. So können Bildpunkten eines jeden der beiden Bilder beispielsweise die dreidimensionalen Rauminformationen zugeordnet werden und Bildpunkte mit gleichen Rauminformationen aus den beiden Bildern können zu einem Bildpunkt der virtuellen Darstellung fusioniert werden. Die beiden Bilder können sich in ihrer Darstellung ganz oder teilweise überlappen, wobei die Bildfusion zweckmäßigerweise nur für den überlappenden Teil durchgeführt wird.
Eine einfache Erzeugung dreidimensionaler Rauminformation oder von Entfernungsinformation zu jeweils einem Bildpunkt kann gelingen, wenn als Topografie eine ebene Oberfläche angenommen wird und die Kameraposition über der Oberfläche angeordnet ist.
Zweckmäßigerweise wird die Kameraposition für jedes Bild innerhalb oder oberhalb der Topografie bestimmt, für den Fall dass mehrere Bilder aufgenommen werden, und insbesondere für den Fall, dass die virtuelle Darstellung aus den Bildern fusioniert wird.
Die Kameraposition wird zweckmäßigerweise mit Hilfe eines Sensors bestimmt. Der Sensor kann ein Beschleunigungssensor sein, wobei durch zweifache Integration und einen festen Bezugspunkt die Kameraposition ermittelt werden kann. Der feste
Bezugspunkt kann beispielsweise eine bekannte mittlere Position sein. Bei einer Boje oder einem Schiff schwankt die Kameraposition um diese mittlere Position herum, wobei sie im zeitlichen Mittel in der bekannten mittleren Position liegt. Außerdem ist es vorteilhaft wenn die Kameraausrichtung in die Umgebung bestimmt wird. Die ist besonders vorteilhaft, wenn mehrere Bilder mit einer unterschiedlichen Kameraausrichtung aufgenommen werden. Die Kameraausrichtung kann mit Hilfe eines Sensors, z. B. eines Beschleunigungssensors und/oder eines Kompasses ermittelt werden, z. B. mit Hilfe einer bekannten und mittleren Ausrichtung, z. B. einer mittleren Elevation. Durch die Ermittlung der Kameraausrichtung relativ zur Topografie kann der in der Topografie liegende Bildausschnitt bestimmt und somit die Position der Bildpunkte bzw. von in diesen Bildpunkten abgebildeten Gegenständen in der Topografie erfasst werden. Alternativ oder ergänzend hierzu kann eine Ausrichtung des Bilds in der Topografie anhand von Bildinformationen durch Bildverarbeitung ermittelt werden. So kann beispielsweise ein abgebildeter Horizont zur Bestimmung der Elevation der Kamera dienen oder mit Hilfe der abgebildeten Sonne mit Hilfe der Uhrzeit und des Datums ein Azimutwinkel und Elevationswinkel der Kameraausrichtung bestimmt werden.
In einer weiteren vorteilhaften Ausführungsform der Erfindung wird vorgeschlagen, dass bei einer Bewegung der Kamera ein Aufnahmezeitpunkt des Bilds in Abhängigkeit von der Kameraposition gewählt wird. Wird die Kamera beispielsweise auf einem Schiff oder einer Boje durch Seegang auf und ab bewegt, ist es vorteilhaft, wenn der Aufnahmezeitpunkt so gewählt wird, dass die Kameraposition möglichst hoch über einer mittleren Position ist. Hierdurch kann ein guter Überblick über die Umgebung erreicht werden und es gibt wenige Bildstörungen durch abgebildete Wellentäler und den Horizont verdeckende Wellenkämme, deren reale Topografie der angenommenen Topografie widerspricht. Ein Aufnahmezeitpunkt kann beispielsweise oberhalb einer vorgegebenen Höhe über einem Bezugspunkt gewählt werden. Die vorgegebene Höhe kann wiederum von der Größe der Bewegung der Kameraposition innerhalb beispielsweise einer vorgegebenen Zeitspanne abhängig gemacht werden.
Die Erfindung ist außerdem gerichtet auf eine Vorrichtung zum Erzeugen einer Darstellung einer Umgebung mit einer Kamera in einer Kameraposition, einem Prozessmittel, einem Datenspeicher, in dem Daten zu einer angenommenen Topografie der Umgebung hinterlegt sind, und einem Anzeigemittel zum Anzeigen der
Darstellung, wobei das Prozessmittel dazu vorgesehen ist, eine Aufnahme zumindest eines Bilds der Umgebung durch die Kamera zu steuern und unter Zugriff auf die Daten der Topografie, der Kameraposition relativ zur Topografie und dem Bild die Darstellung in Form einer virtuellen Darstellung aus Sicht eines von der Kameraposition beabstandeten Beobachtungspunkts zu erzeugen.
Das Prozessmittel ist vorteilhafterweise dazu vorbereitet, die Durchführung eines beliebigen, mehrerer beliebiger oder aller der oben bekannten Verfahrensschritte zu steuern. Eine solche Vorbereitung kann durch ein entsprechendes Steuerprogramm des Prozessmittels vorliegen, dessen Ablauf - beispielsweise in Verbindung mit geeigneten Eingangssignalen, wie Sensorsignalen - eine solche Steuerung bewirkt.
Aus der virtuellen Darstellung können interessierende Objekte zuverlässig als solche erkannt werden, z. B. ein auf Kollisionskurs befindliches Boot. Vorteilhafterweise ist das Prozessmittel dazu vorbereitet, solche Objekte zu erkennen und die Kamera so zu steuern, dass sie durch eine gesteuerte Bewegung auf das Objekt ausgerichtet wird.
Weitere Vorteile ergeben sich aus der folgenden Zeichnungsbeschreibung. In der Zeichnung sind Ausführungsbeispiele der Erfindung dargestellt. Die Zeichnung und die Beschreibung enthalten zahlreiche Merkmale in Kombination, die der Fachmann zweckmäßigerweise auch einzeln betrachten und zu sinnvollen weiteren Kombinationen zusammenfassen wird.
Es zeigen:
Fig. 1 eine mit einem Unterseeboot verbundene Aufklärungsboje mit einer
Kamera in einer schematischen Darstellung, Fig. 2 ein von der Kamera aufgenommenes Bild einer Umgebung mit zwei Objekten,
Fig. 3 ein virtuelles Bild auf die beiden Objekte aus einer höheren
Beobachterposition,
Fig. 4 ein Diagramm einer Auf- und Abbewegung der Aufklärungsboje über die
Zeit und
Fig. 5 zwei von der Kamera aus unterschiedlichen Positionen aufgenommene
Bilder auf drei Objekte und eine virtuelle Darstellung auf die drei Objekte aus einer Bildfusion der ersten beiden Bilder.
Fig. 1 zeigt eine Kommunikations- und Aufklärungsboje 2 mit einer Kamera 4, die bei ruhiger See in einer Höhe 6 über einer Wasseroberfläche 8 angeordnet ist. Die Kamera 4 ist signaltechnisch mit einer Prozessmittel 10 verbunden, das im Inneren der Aufklärungsboje 2 angeordnet ist zusammen mit einem Datenspeicher 12, einem Beschleunigungssensor 14 und einem Kompass 16. Die Aufklärungsboje 2 ist über ein Zugkabel 18 mit einem Unterseeboot verbunden, das die Aufklärungsboje 2 im Schlepp hat. Über das Zugkabel 18 können Daten vom Prozessmittel 10 an ein weiteres Prozessmittel 22 im Unterseeboot 20 übertragen werden, das mit einem als Bildschirm ausgeführten Anzeigemittel 24 verbunden ist. Die Aufklärungsboje 2 bildet eine Vorrichtung zum Erzeugen einer Darstellung einer Umgebung auf dem Anzeigemittel 24 im Unterseeboot 20. Hierfür wird die Aufnahme von einer Mehrzahl von Bildern mit Hilfe der Kamera 4 durch das Prozessmittel 10 gesteuert. Die Bilder werden zeitlich hintereinander aufgenommen. Zusätzlich zur Kamera 4 sind weitere Kameras denkbar, die in andere Richtungen ausgerichtet sind, so dass aus den Bildern der Kameras ein Panoramabild erzeugt werden kann, insbesondere ein Bild mit Rundumsicht.
Ein einfaches Bild 26 der Kamera 4 ist in Figur 2 dargestellt. Es zeigt in schematischer Weise den Blick der Kamera 4 auf die Wasseroberfläche 8 und auf zwei in Fig. 2 nur schematisch dargestellte Objekte 28, 30, die in einiger Entfernung von der Kamera 4 auf der Wasseroberfläche 8 schwimmen. Abgebildet ist außerdem der Horizont 32. Die Ausrichtung der Kamera 4 zu den Objekten 28, 30 legt jeweils eine Blicklinie 34, 36 fest, deren Elevationswinkel oti und a2 und Azimutwinkel die Lage des jeweils abgebildeten Objekts 28, 30 im Bild 26 festlegt. Durch die Elevationswinkel αι und a2 und die jeweils zugehörigen Azimutwinkel ist die Richtung einer jeder Blicklinie 34, 36 der Kamera eindeutig bestimmt.
Fig. 2 zeigt schematisch, wie die Objekte 28, 30 im Bild 26 sichtbar wären, wenn dieses auf dem Anzeigemittel 24 dargestellt würden. Jedem Objekt 28, 30 sind
Bildkoordinaten Xi , y-ι und x2, y2 zugeordnet, aus denen die Blicklinien 34, 36 zu den Objekten 28, 30 bestimmt werden kann. Durch die geringe Höhe 6 der Kamera 4 über der Wasseroberfläche 8 sind die beiden Objekte 28, 30, obwohl sie - wie aus Fig. 1 zu sehen ist - relativ weit voneinander und von der Kamera 4 beabstandet sind, im Bild 26 hinsichtlich ihrer Entfernung zur Kamera 4 schwer abzuschätzen.
Es wird daher vom Prozessmittel 10 eine virtuelle Darstellung 38 der Umgebung erzeugt, die in Fig. 3 abgebildet ist. Mit der virtuellen Darstellung 38 wird eine Sicht auf die Umgebung aus einem Beobachtungspunkt 40 darstellt, der mehrere Meter, beispielsweise 20 m, über der Kameraposition liegt. Dieser Beobachtungspunkt 40 ist in Grenzen frei wählbar und wird von einem Bediener im Unterseeboot 20 mit Hilfe einer Eingabe in das Prozessmittel 22 festgelegt, wobei ein Datenverarbeitungsprogramm daraus erzeugte Daten an das Prozessmittel 10 der Aufklärungsboje 2 weitergibt und diese die virtuelle Darstellung 38 erzeugt. Ebenfalls ist denkbar, dass die von der Kamera 4 erstellten Bilder 26 an das Unterseeboot 20 übertragen werden und die virtuelle Darstellung 38 vom Prozessmittel 22 des Unterseeboots 20 erzeugt wird. Anstelle des Beobachtungspunkts 40 sind auch andere Beobachtungspunkte 42 oder 44 denkbar, die nicht zwingend oberhalb der Kameraposition angeordnet sein müssen.
Zum Erzeugen der virtuellen Darstellung 38 wird von einer bekannten Topografie der Umgebung ausgegangen, in der die Objekte 28, 30 liegen. In dem in Fig. 1 dargestellten Beispiel ist die Topografie eine ebene Fläche in der als eben gedachten Wasseroberfläche 8. Bei ruhiger See bildet die Wasseroberfläche 8 im Wesentlichen eine ebene Fläche, sodass dieses Modell mit der realen Umgebung gut übereinstimmt.
Aus den Elevationswinkeln a1 f oc2 der Objekt 28, 30 kann die Entfernung der Objekte 28, 30 von der Kameraposition 4 aus einfacher trigonometrischer Beziehung bestimmt werden. Zum Erzeugen der virtuellen Darstellung 38 wird ein Entfernungsmodell verwendet, das jedem Bildpunkt des Bilds 26 oder zumindest einer Anzahl der Bildpunkte des Bilds 26 einen definierten Punkt im Ortsraum zuordnet. Die Koordinaten des Ortsraums können auf einen festen Punkt bezogen sein, beispielsweise die Kameraposition oder einen anderen vorgegebenen Punkt, der ortsfest oder beweglich sein kann. Das Entfernungsmodell geht von der Annahme der Reduzierung der Lagemöglichkeit der abgebildeten Objekte 28, 30 in eine zweidimensionale Landschaft bzw. Topografie aus, deren Gestalt die Grundlage für das Entfernungsmodell bildet. Es kann so den
Bildpunkten eines jeden Bilds 26 ein Ort oder Blickpunkt in der Landschaft bzw. Totografie zugeordnet werden. Ohne das Entfernungsmodell wäre den Bildpunkten nur eine Blicklinie 34, 36 zugeordnet. Durch die vorgegebene Topografie des Entfernungsmodells wird die mögliche Lage der abgebildeten Objekte 28, 30 auf den Schnittpunkt der Blicklinie 34, 36 mit der Topografie und damit auf einen eindeutigen
Punkt reduziert, der in einer einfach errechenbaren Entfernung zur Kamera 4 liegt und somit mit konkreten dreidimensionalen Koordinaten in Bezug zu einem Bezugspunkt versehen werden kann. Die Bildpunkte oder Pixel eines Bilds 26 werden somit zu einem in seinen dreidimensionalen Koordinaten festgelegten Voxel. Die horizontale Blicklinie 46 ist hierbei zum Horizont 32 gerichtet, sodass den Bildpunkten, die den
Horizont 32 abbilden, die Entfernung unendlich zugeordnet werden kann. Ebenso kann mit allen Bildpunkten oberhalb des Horizonts verfahren werden.
Anhand der als bekannt angenommenen Topografie, der Höhe 6 der Kamera 4 über der Topografie und den Elevationswinkeln <xi, a2 wird dem Objekt 28 die Entfernung d27o = 270 m und dem Objekt 30 die Entfernung d10oo = 1000 m zur aufnehmenden Kamera 4 zugeordnet. Durch die Elevationswinkel α2 kann z. B. bei der ebenen Topografie die Entfernung d durch den Zusammenhang d = h / sinus α bestimmt werden, wobei h die Höhe 6 ist. Hierdurch und durch den Azimutwinkel, der durch die Lage der Objekte 28, 30 im Bild 26 bestimmbar ist, ist die Ortslage der Objekte 28, 30 relativ zur aufnehmenden Kamera 4 bekannt.
Da die Entfernung der Objekte 28, 30 in der Regel durch ihre Unterkante bzw. die Lage ihrer Unterkante oder ihres tiefsten Punkts im Bild 26 bestimmt wird, wird diese Lage der Unterkante bzw. des tiefsten Punkts bei der Entfernungs- bzw.
Positionsbestimmung berücksichtigt.
Mit Hilfe der bekannten Relativposition des vom Bediener festgelegten Beobachtungspunkts 40 zur Kameraposition der aufnehmenden Kamera 4 kann durch einfach Koordinatentransformation die Entfernung und die Relativposition der Objekte
28, 30 zum Beobachtungspunkt 40 ermittelt werden und durch einfach Trigonometrie deren Lage in der virtuellen Darstellung 38. Die entsprechenden virtuellen Blicklinien 48, 50 auf die Objekte 28, 30 sind in Fig. 1 dargestellt. Sie weisen größere Elevationswinkel auf, sodass in der virtuellen Darstellung 38 die Objekte 28, 30 vertikal weiter voneinander beabstandet sind. Außerdem ist ihre Entfernung zum Horizont 32 größer. Hierdurch wird die Abschätzung ihrer Lage relativ zur Kamera 4 durch einen Bediener vereinfacht, der sich somit ein besseres Bild der Umgebung machen kann.
Anstelle der ebenen Topografie ist im Prinzip jede denkbare Topografie möglich, die entsprechend als bekannt angenommen wird. Ist diese Topografie bekannt oder annähernd bekannt, und hat das Prozessmittel 10 Zugriff auf diese Topografie darstellende Daten, die beispielsweise im Datenspeicher 12 abgespeichert sein können oder aus einer Position der Kamera 4, beispielsweise bei Verwendung in einem bewegten Landfahrzeug, und einer bekannten Landschaft errechnet wird, so ist das Entfemungsmodell auch bei unebener Topografie vorteilhaft anwendbar. Zur Ermittlung der Höhe 6, deren Bekanntheit eine Voraussetzung zur Bestimmung der virtuellen Darstellung 38 ist, ist die Aufklärungsboje 2 mit dem Beschleunigungssensor 14 versehen. Bei Wellengang schwankt die Höhe 6 der Kamera 4 über der Wasseroberfläche und insbesondere über eine als eben gedachter vollkommen glatte Wasseroberfläche 8. Durch den Beschleunigungssensor 14 kann die Beschleunigung gemessen und durch zweifache Integration der jeweilige Ort des
Beschleunigungssensors 14 und damit der Kamera 4 bestimmt werden. Voraussetzung ist ein bekannter Ort zu einem festgelegten Zeitpunkt, an dem die Integration starten kann. In Fig. 4 ist die Höhe 6 in einem Diagramm über die Zeit t schematisch aufgetragen.
Über einen großen Zeitraum gemittelt ist die mittlere Höhe 52 die Höhe 6 der Kamera 4 über der Wasseroberfläche 8 bei vollkommen ruhiger Wasseroberfläche. Auch bei starker Schwankung der Höhe 6, wie in Fig. 4 dargestellt, kann diese mittlere Höhe 52 durch Mittelung über einen längeren Zeitraum festgestellt werden und als Korrektiv verwendet werden, das einer fehlerbehafteten Drift entgegenwirkt.
In Fig. 4 ist außerdem eine durch beispielsweise das Prozessmittel 10 vorgegebene Höhe 54 dargestellt die als Auslösehöhe zur Aufnahme von Bildern 26 der Umgebung dient. Hierdurch werden die Bilder 26 nur aufgenommen, wenn die Kamera 4 oberhalb dieser vorgegebenen Höhe 54 ist und somit einen guten Blick über die sie umgebenden Wellen hat. Zusätzlich kann durch den Beschleunigungssensor 14 der obere Umkehrpunkt der Position der Kamera 4 ermittelt werden, sodass die Bilder in größter Höhe über der mittleren Wasseroberfläche 8 aufgenommen werden. Auf kleinen Wellenbergen unterhalb der Höhe 54 werden keine Bilder aufgenommen. Die vorbestimmte Höhe 54 ist hierbei zweckmäßigerweise abhängig gemacht von der Größe der Bewegung, sodass sie umso höher liegt, je höher der Wellengang ist bzw. die Schwankung der Höhe 6 der Kamera 4.
Zusätzlich zur Höhe 6 der Kamera 4 über der Topografie muss auch der Elevationswinkel der Ausrichtung der Kamera 4 bekannt sein, also ob die Kamera 4 im Moment der Bildaufnahme mehr nach oben oder mehr nach unten ausgerichtet ist. Durch Wellengang schwankt dieser Elevationswinkel und muss daher bestimmt werden. Der Elevationswinkel kann sich auf irgendeine zur Kameraausrichtung festgelegte Richtung beziehen, z. B. auf die Bildmitte eines aufgenommenen Bilds 26. Zur Bestimmung der elevativen Ausrichtung der Kamera 4 bei einer Bewegung der Aufklärungsboje 2 kann ein weiterer Sensor, beispielsweise ein Gravitationssensor zum Einsatz kommen, der die Ausrichtung der Aufklärungsboje 2 im Raum und damit der Kamera 4 misst. Auch dieser Sensor kann durch den Beschleunigungssensor 14 oder einen anderen Beschleunigungssensor unterstützt werden, um eine schnelle und genaue Messung der Ausrichtung zu erreichen.
Ist die Höhe der Kamera 4 und die Ausrichtung der Aufklärungsboje im Raum und damit die Ausrichtung der Kamera 4 zumindest in Bezug auf ihren Elevationswinkel bekannt, so kann eine virtuelle Darstellung 38 erzeugt werden. Zusätzlich ist es vorteilhaft, wenn die Ausrichtung der Kamera 4 bezüglich des Azimutwinkels, beispielsweise der Bildmitte der aufgenommenen Bilder 26, relativ zu einer festgelegten Richtung, beispielsweise einer Himmelsrichtung, festgelegt ist. Dies kann durch den Kompass 16 geschehen, der auch durch einen beliebigen anderen geeigneten Sensor ersetzt werden kann. Möglich ist es auch, den Kompass 16 nur für eine grobe und mittlere Azimutwinkelbestimmung zu nutzen und zusätzlich zur Feinbestimmung den Beschleunigungssensor 14 oder einen anderen Beschleunigungssensor zu verwenden, der eine Rotation der Aufklärungsboje um seine senkrechte Achse misst.
Hierdurch ist die absolute Ausrichtung der Kamera 4 und damit der Bilder 26 in der Umgebung bekannt, sodass die Objekte 28, 30 auch in ihrer absoluten Position, beispielsweise in geografischer Länge und Breite, bestimmt werden können. Um eine Fehler erzeugende Drift bei der Ausrichtungsbestimmung der Kamera 4 zu vermeiden, kann die Ausrichtung der Kamera 4 zusätzlich oder alternativ von Bildinformationen durch Bildverarbeitung ermittelt werden. Wird ein Objekt abgebildet und erkannt, dessen Position im Raum bekannt ist, wie z. B. der Horizont 32, so kann die Ausrichtung der Kamera 4 anhand der Bilddaten dieses Objekts bestimmt werden, beispielsweise der Elevationswinkel anhand der Lage des Horizonts 32 im Bild 26. Durch die Abbildung der Sonne und Verwendung als ortsbekanntes Objekt kann neben dem Elevationswinkel auch der Azimutwinkel des Bild bzw. eines bekannten Punkts z. B. des Schwerpunkts des Bilds 26, errechnet werden.
Außerdem ist es möglich, eine virtuelle Darstellung 56 aus zwei Bildern 58, 60 zu erzeugen, deren Ausrichtung in der Umgebung nicht gleich ist. Ein Beispiel hierfür ist in Fig. 5 dargestellt. Die Bilder 58, 60 zeigen drei Objekte 62, 64, 66 aus zwei verschiedenen Kamerapositionen und Kameraausrichtungen. Das erste Bild 58 zeigt das Objekt 62 aus einer relativ kleinen Höhe 6, sodass seine Oberkante den Horizont
32 teilweise bedeckt. Die Höhe 6 der Kamera 4 im zweiten Bild 60, das beispielsweise einen kleinen Zeitraum nach dem ersten Bild 58 aufgenommen wurde, ist etwas höher, sodass das Objekt 62 relativ zum Horizont 32 etwas tiefer erscheint. Ebenso sind die beiden vor dem Objekt 62 liegenden Objekte 64, 66 auch etwas tiefer relativ zum Objekt 62 angeordnet. Des Weiteren ist die Kamera 4 zwischen dem
Aufnahmemoment des ersten Bilds 58 und des zweiten Bilds 60 etwas nach rechts gedreht, sodass die Objekte 62, 64, 66 im zweiten Bild 60 mehr in der Bildmitte angeordnet sind als im ersten Bild 58. Drittens ist der Elevationswinkel der Bildmitte des zweiten Bilds 60 tiefer als beim Bild 58, was dadurch erkennbar wird, dass der Horizont 32 im Bild 60 höher im Bild liegt als im Bild 58.
Durch die nahe Anordnung der Objekte 62, 64, 66 in den Bildern 58, 60 ist es für einen Bediener im Unterseeboot 20 bzw. einem beliebigen Bediener, der auf das Anzeigemittel 24 schaut, schwierig, die absolute Lage der Objekte 62, 64, 66 relativ zur Kamera 4 einzuschätzen.
Zur Vereinfachung dieser Einschätzung wird - analog wie zu Fig. 3 erläutert - die virtuelle Darstellung 56 erzeugt, die die Objekte 62, 64, 66 aus einer erhöhten Position, beispielsweise dem hohen Beobachtungspunkt 40, darstellt. Auch der Elevationswinkel der Bildmitte der virtuellen Darstellung 56 ist frei wählbar. Bei dem in Fig. 5 dargestellten Beispiel ist dieser Elevationswinkel so gewählt, dass der Horizont 32 sehr nahe am oberen Bildrand liegt, da der Himmel über dem Horizont 32 von geringem Interesse für den Bediener ist. Durch den erhöhten Beobachtungspunkt 40 sind die Objekte 62, 64, 66 nun in der virtuellen Darstellung 56 so voneinander beabstandet, dass deren Abstand einerseits zueinander und andererseits zur Kamera 4 erheblich besser erkennbar ist als aus den Bildern 58, 60.
Durch die Bildfusion der Bilder 58, 60 kann außerdem ein größeres Panoramabild geschaffen werden, sodass die virtuelle Darstellung 56 einen größeren Azimutwinkelbereich abdeckt als die Bilder 58, 60 jeweils. Auf diese Weise ist es auch möglich, mehrere Bilder zu einer halbkreisförmigen oder sogar 360° umspannenden Panoramadarstellung mit Rundumsicht zu erzeugen.
Die Bildfusion der beiden Bilder 58, 60 oder weiterer Bilder zu einer weiten Panoramadarstellung kann wie folgt geschehen. Im Überlappungsbereich von zwei Bildern 58, 60 sind jedem Umgebungspunkt zwei Bildpunkte zugewiesen, nämlich ein Bildpunkt im Bild 58 und ein weiterer Bildpunkt im Bild 60. Diese beiden korrespondierenden Bildpunkte haben bezogen auf die Kameraposition oder einen weiteren beliebigen und bekannten Punkt die gleichen Ortskoordinaten. Sie werden daher im entstehenden Panoramabild 56 übereinander abgebildet. Dies kann durch gewichtete Grauwertermittlung geschehen, sodass ein hellerer Bildpunkt und ein dunklerer Bildpunkt einen mittelhellen Bildpunkt ergeben. Die entsprechende
Zuordnung der Bildpunkte von Bild 58 und Bild 60 zur virtuellen Darstellung 56 ist in Fig. 5 durch Pfeile angedeutet.
Anstelle der Abbildung der beiden korrespondierenden Bildpunkte in einem Bildpunkt des Panoramabilds 56 kann dieses feiner aufgelöst sein, sodass auf eine nicht vollständige Überlappung der beiden korrespondierenden Bildpunkte Rücksicht genommen werden kann. Bei Erzeugung eines Panoramabilds kann ein Bediener auch nur Abschnitte des Panoramabilds zur Anzeige bringen oder beispielsweise durch ein Drehen der Blickrichtung einen kontinuierlichen Rundumblick oder einen Blick über einen großen Azimutwinkel nehmen.
Durch die Erzeugung der virtuellen Darstellungen 38, 56 kann der weitere Vorteil erreicht werden, dass eine durch die Schwankung der Kamera 4 erzeugte Ausrichtungsveränderung der Bilder 26, 58, 60 umgangen wird. Werden beispielsweise mehrere virtuelle Darstellungen aus einem Beobachtungspunkt 40 hintereinander angefertigt, so kann stets ein festgelegter Elevationswinkel der virtuellen Darstellungen 38, 56 gewählt werden, sodass in diesen Darstellungen 38, 56 keine Schwankung mehr sichtbar ist. Der Bediener kann sich voll auf die Objekte 28, 30 bzw. 62, 64, 66 konzentrieren ohne diese stets im schwankenden Bild erneut mit den Augen suchen zu müssen. Die virtuelle Darstellung 38, 56, kann des Weiteren dazu verwendet werden, Objekte
28, 30 bzw. 62, 64, 66 automatisiert, beispielsweise durch Bildverarbeitung, zu erkennen und die Kamera 4 automatisiert auf diese Objekte 28, 30, 62, 64, 66 auszurichten. Hierdurch wird einem Bediener das Auffinden von Objekten 28, 30 bzw. 62, 64, 66 erleichtert. Je nach Art der Objekte können auch weitere Handlungen gesteuert werden, beispielsweise ein Alarm bei einem Kollisionskurs oder bei einer bestimmten Art von entdecktem Objekt und/oder es können Gegenstände, z. B. Abwehrwaffen, vorbereitet werden.
Bezugszeichenliste
2 Aufklärungsboje
4 Kamera
6 Höhe
8 Wasseroberfläche
10 Prozessmittel
12 Datenspeicher
14 Beschleunigungssensor
16 Kompass
18 Zugkabel
20 Unterseeboot
22 Prozessmittel
24 Anzeigemittel
26 Bild
28 Objekt
30 Objekt
32 Horizont
34 Blicklinie
36 Blicklinie
38 virtuelle Darstellung
40 Beobachtungspunkt
42 Beobachtungspunkt
44 Beobachtungspunkt
46 Blicklinie
48 Blicklinie
50 Blicklinie
52 mittlere Höhe
54 vorgegebene Höhe
56 virtuelle Darstellung
58 Bild
60 Bild
62 Objekt
64 Objekt
66 Objekt

Claims

Patentansprüche
Verfahren zum Erzeugen einer Darstellung (38, 56) einer Umgebung, bei dem zumindest ein Bild (26, 58, 60) der Umgebung von einer Kamera (4) an einer Kameraposition aufgenommen wird und unter der Annahme, dass die Umgebung eine bekannte Topografie bildet, aus der Gestalt der Topografie, der Kameraposition relativ zur Topografie und dem Bild (26, 58, 60) die Darstellung (38, 56) in Form einer virtuellen Darstellung (38, 56) aus Sicht von einem Beobachtungspunkt (40, 42, 44) aus erzeugt wird, der von der Kameraposition beabstandet ist.
Verfahren nach Anspruch 1 ,
dadurch gekennzeichnet,
dass der Beobachtungspunkt (40, 42, 44) oberhalb der Kameraposition ist.
Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet,
dass der Beobachtungspunkt (40, 42, 44) durch einen Bediener innerhalb von Grenzen frei wählbar ist.
Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
dass aus Bildpunkten des Bilds (26, 58, 60) Voxel mit jeweils dreidimensionaler Rauminformation erzeugt werden und die virtuelle Darstellung (38, 56) aus den Rauminformationen der Voxel erzeugt wird.
Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
dass aus der bekannten Topografie ein Entfernungsmodell gebildet wird, Bildpunkten des Bilds (26, 58, 60) mit Hilfe des Entfernungsmodells jeweils eine Entfernung von einem im Bildpunkt abgebildeten Objekt (28, 30, 62, 64, 66) zu einem vorgegebenen Punkt zugeordnet wird und die virtuelle Darstellung (38, 56) entsprechend der zugeordneten Entfernungen erzeugt wird.
Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
dass den Bildpunkten mit Hilfe der bekannten Topografie jeweils eine Position relativ zu einem Bezugspunkt zugeordnet wird.
Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
dass zumindest zwei Bilder (58, 60) von verschiedenen Punkten aufgenommen werden und die virtuelle Darstellung (56) aus einer Bildfusion der beiden Bilder (58, 60) erzeugt wird.
Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
dass die Topografie eine ebene Oberfläche (8) ist und die Kameraposition über der Oberfläche (8) angeordnet ist.
Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
dass mehrere Bilder (26, 58, 60) aufgenommen werden und die Kameraposition für jedes Bild (26, 58, 60) bestimmt wird.
10. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
dass die Kameraposition mit Hilfe eines Sensors bestimmt wird.
11. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
dass mehrere Bilder (26, 58, 60) aufgenommen werden und die Kameraausrichtung in die Umgebung für jedes Bild (26, 58, 60) bestimmt wird.
12. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
dass eine Ausrichtung des Bilds (26, 58, 60) in der Topografie anhand von Bildinformationen durch Bildverarbeitung ermittelt wird. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
dass bei einer Bewegung der Kamera (4) ein Aufnahmezeitpunkt des Bilds (26, 58, 60) in Abhängigkeit von der Kameraposition gewählt wird.
Verfahren nach Anspruch 13,
dadurch gekennzeichnet,
dass die Kameraposition in Abhängigkeit von der Größe der Bewegung gewählt wird.
Vorrichtung zum Erzeugen einer Darstellung (38, 56) einer Umgebung mit einer Kamera (4) an einer Kameraposition, einem Prozessmittel (10), einem Datenspeicher (12), in dem Daten zu einer angenommenen Topografie der Umgebung hinterlegt sind, und einem Anzeigemittel (24) zum Anzeigen der Darstellung (38, 56), wobei das Prozessmittel (10) dazu vorgesehen ist, eine Aufnahme zumindest eines Bild (26, 58, 60) der Umgebung durch die Kamera (4) zu steuern und unter Zugriff auf die Daten der Topografie, der Kameraposition relativ zur Topografie und dem Bild (26, 58, 60) die Darstellung (38, 56) in Form einer virtuellen Darstellung (38, 56) aus Sicht eines von der Kameraposition beabstandeten Beobachtungspunkts (40, 42, 44) zu erzeugen.
PCT/EP2010/006765 2009-11-21 2010-11-06 Verfahren zum erzeugen einer darstellung einer umgebung WO2011060886A2 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP10778566A EP2502205A2 (de) 2009-11-21 2010-11-06 Verfahren zum erzeugen einer darstellung einer umgebung
CA2781241A CA2781241C (en) 2009-11-21 2010-11-06 Method for generating a representation of surroundings
IL218749A IL218749A (en) 2009-11-21 2012-03-20 A method of representing the environment
US13/475,468 US8902292B2 (en) 2009-11-21 2012-05-18 Method and device for generating a representation of surroundings

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009054214.0 2009-11-21
DE102009054214A DE102009054214B4 (de) 2009-11-21 2009-11-21 Verfahren und Vorrichtung zum Erzeugen einer Darstellung einer Umgebung

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/475,468 Continuation US8902292B2 (en) 2009-11-21 2012-05-18 Method and device for generating a representation of surroundings

Publications (2)

Publication Number Publication Date
WO2011060886A2 true WO2011060886A2 (de) 2011-05-26
WO2011060886A3 WO2011060886A3 (de) 2011-07-21

Family

ID=43629719

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2010/006765 WO2011060886A2 (de) 2009-11-21 2010-11-06 Verfahren zum erzeugen einer darstellung einer umgebung

Country Status (6)

Country Link
US (1) US8902292B2 (de)
EP (1) EP2502205A2 (de)
CA (1) CA2781241C (de)
DE (1) DE102009054214B4 (de)
IL (1) IL218749A (de)
WO (1) WO2011060886A2 (de)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633263B2 (en) * 2012-10-09 2017-04-25 International Business Machines Corporation Appearance modeling for object re-identification using weighted brightness transfer functions
US9240054B1 (en) * 2014-08-08 2016-01-19 National Applied Research Laboratories Method for monitoring water level of a water body and system for implementing the method
US9995572B2 (en) 2015-03-31 2018-06-12 World Vu Satellites Limited Elevation angle estimating device and method for user terminal placement
US10415960B2 (en) * 2015-04-06 2019-09-17 Worldvu Satellites Limited Elevation angle estimating system and method for user terminal placement
US10012503B2 (en) 2015-06-12 2018-07-03 Worldvu Satellites Limited Elevation angle estimating device and method for user terminal placement
GB2561746B (en) * 2015-11-13 2022-02-09 Flir Systems Video sensor fusion and model based virtual and augmented reality systems and methods

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09187038A (ja) * 1995-12-27 1997-07-15 Canon Inc ３次元形状抽出装置
US6121999A (en) * 1997-06-09 2000-09-19 Schaack; David F. Eliminating routine alignment calibrations in perspective dimensional measurements
EP1179958B1 (de) * 1999-04-16 2012-08-08 Panasonic Corporation Bildverarbeitungsgerät und überwachungssystem
GB2362793B (en) * 2000-05-24 2004-06-02 Canon Kk Image processing apparatus
US7345705B2 (en) * 2001-07-27 2008-03-18 Raytheon Company Photonic buoy
US7230881B2 (en) * 2005-04-20 2007-06-12 Lockheed Martin Corporation Submarine remote surface platform

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None

Also Published As

Publication number Publication date
IL218749A (en) 2016-12-29
US8902292B2 (en) 2014-12-02
WO2011060886A3 (de) 2011-07-21
IL218749A0 (en) 2012-06-28
US20120249745A1 (en) 2012-10-04
CA2781241A1 (en) 2011-05-26
EP2502205A2 (de) 2012-09-26
DE102009054214B4 (de) 2013-03-14
DE102009054214A1 (de) 2011-06-01
CA2781241C (en) 2017-03-28

Similar Documents

Publication Publication Date Title
EP2464098B1 (de) Umfeld-Darstellungsvorrichtung sowie ein Fahrzeug mit einer derartigen Umfeld-Darstellungsvorrichtung und Verfahren zur Darstellung eines Panoramabildes
WO2010149132A1 (de) Verfahren zur bestimmung der geographischen koordinaten von bildpunkten in sar bildern
WO2011060886A2 (de) Verfahren zum erzeugen einer darstellung einer umgebung
DE112015005971T5 (de) Hilfsanlegeverfahren und System des Schiffs
DE112011105371T5 (de) Vorrichtung zum Synthetisieren von dreidimensionalen Bildern zum Visualisieren der Fahrzeugumgebung und zugehöriges Verfahren
DE102007049821A1 (de) Verfahren zum Kalibrieren einer Anordnung mit mindestens einer omnidirektionalen Kamera und einer optischen Anzeigeeinheit
EP2350977B1 (de) Verfahren zur bildfusion von zumindest zwei bildern zu einem panoramabild
EP3548842A1 (de) Verfahren und vorrichtung zur georeferenzierung von luftbilddaten mit hilfe von sar-bilddaten
DE102015120999A1 (de) Verfahren zur Erzeugung und Darstellung einer computergenerierten, eine Realumgebung abbildenden Simulationsumgebung
DE102011077854A1 (de) Mobiles Messsystem zur zweidimensionalen Grundrisserzeugung
DE112019004963T5 (de) Optikbasiertes mehrdimensionales Ziel- und Mehrfachobjekterkennungs- und verfolgungsverfahren
DE102008023439B4 (de) Augmented Reality Fernglas zur Navigationsunterstützung
DE102013100569A1 (de) Verfahren und Vorrichtung zur Anzeige einer Fahrzeugumgebung
EP3921819A1 (de) Überwachungsvorrichtung und verfahren zur man-overboard-überwachung eines schiffsabschnitts
DE102010022726A1 (de) Vorrichtung zur Darstellung von Gelände auf einer Anzeigevorrichtung eines Flugkörpers
EP3584536B1 (de) Terrestrisches beobachtungsgerät mit lagebestimmungsfunktionalität
EP3236440B1 (de) Vorrichtung, system und verfahren zur markierungsfreien hangüberwachung und/oder bauüberwachung
WO2020160874A1 (de) Kalibriereinrichtung für eine überwachungsvorrichtung, überwachungsvorrichtung zur man-overboard-überwachung sowie verfahren zur kalibrierung
DE102017118992A1 (de) Verfahren zur Erzeugung eines ISAR-Bildes
WO2017144033A1 (de) Verfahren zur ermittlung und darstellung von veränderungen in einer ein reales gelände und darin befindliche reale objekte umfassenden realumgebung
DE60037447T2 (de) Verfahren und vorrichtung zur darstellung von gegenständen in einem umgebenden raum
WO2020043461A1 (de) Verfahren und anordnung zum erzeugen einer umgebungsrepräsentation eines fahrzeugs und fahrzeug mit einer solchen anordnung
DE102014115488B4 (de) Verfahren und System zur Identifizierung eines Wasserfahrzeugs und Verfahren zur Zuordnung von Geoinformationen zu einem Bild einer Wasserfläche
DE10144456A1 (de) Zeitabhängige Bestimmung der Sonnenscheindauer bezogen auf einen Standort
DE202014104937U1 (de) Navigationssystem für Flugobjekte

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10778566

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010778566

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 218749

Country of ref document: IL

ENP Entry into the national phase

Ref document number: 2781241

Country of ref document: CA