WO2017182021A1 - Verfahren und system zur darstellung einer simulationsumgebung - Google Patents

Verfahren und system zur darstellung einer simulationsumgebung Download PDF

Info

Publication number
WO2017182021A1
WO2017182021A1 PCT/DE2017/100230 DE2017100230W WO2017182021A1 WO 2017182021 A1 WO2017182021 A1 WO 2017182021A1 DE 2017100230 W DE2017100230 W DE 2017100230W WO 2017182021 A1 WO2017182021 A1 WO 2017182021A1
Authority
WO
WIPO (PCT)
Prior art keywords
real
environment
image recordings
simulation
time
Prior art date
Application number
PCT/DE2017/100230
Other languages
English (en)
French (fr)
Inventor
Manuel Pabst
Michael Haubner
Original Assignee
Krauss-Maffei Wegmann Gmbh & Co. Kg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Krauss-Maffei Wegmann Gmbh & Co. Kg filed Critical Krauss-Maffei Wegmann Gmbh & Co. Kg
Priority to EP17726539.4A priority Critical patent/EP3446289A1/de
Priority to CA3016345A priority patent/CA3016345A1/en
Publication of WO2017182021A1 publication Critical patent/WO2017182021A1/de

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/003—Simulators for teaching or training purposes for military purposes and tactics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models

Definitions

  • the present invention relates to a method and a system for displaying a computer-generated, real-environment simulated simulation environment with a database comprising data for geospecifically mapping the terrain and the objects of the real environment, the data describing at least one surface course of the real environment.
  • Generic methods for representing simulation environments are used in different designs. In particular, but by no means exclusively, such methods are used for training purposes or for surveillance or reconnaissance purposes.
  • the respective Training purpose as well as the respective reason of the monitoring can be very different.
  • applications from the field of security technology in which security forces, such as the military, carry out monitoring and / or reconnaissance missions, may be mentioned at this point, in order, if necessary, to prepare a military deployment.
  • an application of such methods may be in the deployment preparation of military task forces who train military deployment using generic simulation environments and methods for representing them, or who are trained and trained on general behavior during deployment.
  • both the training and / or training effect achievable in the context of the simulation environment and the information content as well as the correct interpretability of the information are particularly dependent on the correct embedding of reconnaissance data into one spatial context of the real environment.
  • information particularly image capturing, relating to a particular section or part of the real environment not be detached from the remainder of the real environment or viewed in isolation, analyzed and / or used for training and / or educational purposes, but in a context be set to the other real environment, thereby the To increase the information content or to better interpret the information content and to enable more realistic or realistic training.
  • it is disadvantageous in known methods for displaying simulation environment that the database of the simulation environment is based on less recent data, so that current or recent changes are not known and therefore can not be considered by the user, evaluator or trainees.
  • the object of the present invention to provide a method and system for displaying a computer-generated, real-environment simulated simulation environment having a database comprising data for geo-specific mapping of the real terrain and off-field real objects, the data comprising at least one Describing the surface of the real environment, which overcome the disadvantages of the prior art described above.
  • This object is achieved in a method of the type mentioned above in that real-time image recordings of at least part of the real environment are recorded with a recording device and a part of the simulation environment is displayed on a display, whereby a part of the representation of the real-time Imaging is formed or derived from the real-time image captures.
  • the basic concept of the present invention is therefore based on the fact that real-time image recordings recorded in the real environment are integrated into the representation of the simulation environment in the context of a representation of the simulation environment that maps the real environment.
  • the part of the real environment captured by the real-time image recordings and the corresponding speaking part of the illustrated simulation environment has a particularly high degree of timeliness.
  • live images are integrated into the representation of the simulation environment, or at least visual contents are displayed which are based on live images.
  • the method according to the invention therefore also makes it possible to monitor buildings, it being possible to determine which person is currently moving in the building to where the building is currently entering and / or where a person is currently leaving the building.
  • a representation of a simulation environment can be made, which includes a street, a street intersection or one or more properties, recorded for a specific building or at least for a building front or a section of a road real-time image capture and with or without further processing in the presentation Simulation environment can be displayed or integrated.
  • the method enables and improves situational analyzes.
  • the very up-to-date information that results from the display of real-time image recordings in the presentation of the simulation environment can provide special advantages. Because the training forces can be trained in the context of the representation of the simulation environment as if they were currently in the real environment, since real-time image capturing represent or justify a part of the representation of the simulation environment. As a result, known simulation systems and methods are extended by a real-time component which enables a better training effect.
  • the illustration of the inventive concept will be based on the situation in which the simulation environment is rendered from a point in the simulation environment corresponding to the corresponding point of the real environment from which the real-time image acquisitions are taken. The presentation direction of the simulation environment should also coincide with the recording direction of the real-time image recordings.
  • the real-time image recordings can be integrated largely unchanged or without special preprocessing in the representation of the simulation environment, so that a representation of at least a part of the simulation environment is achieved, in which part of the representation of the real-time image recordings is formed ,
  • the part of the simulation environment that is not shown or represented by the real-time image recordings can already convey a highly realistic or highly realistic impression of the real environment imaged by the simulation environment.
  • the necessary for the creation of the database and generation of the simulation environment and advantageous methods, devices and systems are described, for example, in German Patent Application DE 10 2015 120 999.3.
  • the content of said patent application is hereby incorporated in full in the present description.
  • the simulation environment comprises a high-resolution surface course, in particular with a resolution of less than 10 cm per spatial direction. It can be provided particularly advantageous that the real-imaging objects of the simulation environment and the real-imaging terrain of the simulation environment spanning a finely triangulated grid or height grid. As a result, in contrast to other simulation environments, a complex and error-prone reconstruction of the real environment, in particular of real objects, by means of polygonal models can be avoided and, on the other hand, an accurate and sharply delineated mapping of the real environment can be made possible.
  • the disadvantage of the known methods and devices for representing a computer-generated simulation environment that simulates a real environment lies in the fact that data must first be collected from data relating to the real environment and subsequently a generation of the database or generation of the corresponding simulation environment has to take place.
  • the real environment simulating simulation environments basically is that just inevitably some time lag between the collection of the real environment descriptive data and the representation of the simulation environment is present, which is also the greater, depending more realistic or the more realistic the simulation environment depicts the real environment.
  • the particularly high timeliness of parts of the illustrated simulation environment can be used particularly advantageously in the context of pure monitoring missions as well as in the context of simulations for the preparation of a military mission. In this way, temporal changes in the real environment and their spatial connection can be perceived in the context of the simulation environment and made the basis for the preparation for deployment or taken into account in the monitoring.
  • the recording device can be used to record real-time image recordings that image the visible spectrum of electromagnetic waves.
  • real-time image recordings of thermal radiation are taken with the recording device.
  • Other frequency or wavelength ranges may be advantageous.
  • a respective embodiment of the receiving device can Accordingly, enable a recording of real-time image recordings in the infrared range, in the near infrared range, in the radar range or in the Therahertz range.
  • the display position, from which the representation of the simulation environment takes place is freely selectable or freely changeable. This allows the viewer or user of the simulation environment to be free to move in the simulation environment.
  • At least one real-time texture is generated from the real-time image captures for at least part of the real environment and the at least one real-time texture is projected onto a part of the surface course during the representation of the simulation environment.
  • a surface progression of the real environment is first generated, which is subsequently provided with corresponding textures in order, in addition to the pure three-dimensional upper Plane course of the real environment and other properties of the real environment, such as coloring or the like in the context of the representation of the simulation environment to be able to represent.
  • the particular further development of the proposed embodiment consists in converting the recorded real-time image captures into corresponding real-time textures for at least part of the real environment, namely the part of the real environment captured by the real-time image captures, to then instead of static and If necessary, outdated textures can be used to project real-time textures as part of the simulation environment onto a part of the surface course, which ultimately enables a correctly positioned and perspectively correct representation of the corresponding parts of the simulation environment's surface course with real-time temporally highly updated textures.
  • a particularly preferred embodiment represents real-time color textures that serve to color the surface course of the simulation environment.
  • the position and / or the orientation of the recording device is recorded or recorded.
  • the position of the recording device can be determined on the basis of GPS information and recorded together with the real-time image recordings.
  • the orientation of the recording device can be determined during and together with the recording of the real-time image recordings, for example by motion sensors, such as magnetic field sensors. sensors or similar devices and recorded together with the real-time image captures.
  • distance measurements are taken of distances between a rangefinder arranged in the real environment and a part of the real environment.
  • the rangefinder is arranged on the receiving device.
  • the rangefinder is arranged separately and at a different location than the receiving device.
  • the rangefinder measures distances to the part of the real environment that is also recorded by the recording device in the real-time image recordings.
  • a further embodiment of the method provides that the real-time image recordings are recorded as 3D image recordings or converted into SD image recordings.
  • the real-time image recordings are recorded as 3D image recordings or converted into SD image recordings.
  • the real-time image recordings are recorded as SD image recordings or converted into 3D image recordings.
  • a real-time surface texture is created from the SD real-time image recordings, which is used additionally or alternatively to the surface profile of the database in the representation of the simulation environment.
  • the use of SD real-time image recordings has the advantage that the surface course of the real environment encompassed by the database can not only be extended, in particular textured, using particularly up-to-date two-dimensional image information, but that, in addition, the surface run-off itself can be Real-time image capture can be supplemented or replaced.
  • the real-time image recordings by recording and integrating the real-time image recordings into the simulation environment, spatial changes of the real environment, namely changes in the real environment concerning the surface process of the real environment, can be reflected with particular relevance in the context of the simulation environment.
  • the data base of the simulation environment in particular the surface course of the simulation environment, can be supplemented or replaced by creating and displaying real-time surface textures.
  • the real-time surface textures may, for example, take into account recent explosion effects in the presentation of the simulation environment.
  • a fundamentally advantageous embodiment of the method according to the invention can provide that a plurality of recording devices record real-time image recordings of at least part of the real environment.
  • the respective recorded part of the real environment at least partially overlaps.
  • at least a part of the recording devices each record a part of the real environment which is not picked up by any further recording device, not even partially.
  • the following embodiments relate to the need to make the part of the simulation environment, which is to have a particularly high topicality in the context of the representation of a simulation environment which maps the real environment geospecifically, time-variable. This means that, for example, when monitoring a building, it may be particularly useful to record real-time image recordings of a building facade during the day and real-time image recordings of a building interior or other building front at night and to integrate them into the presentation of the simulation environment.
  • a first embodiment of the method provides that the recording device changes its position, in particular remotely controlled, during the recording of the real-time image recordings.
  • the recording device changes the respectively recorded part of the real environment during the recording of the real-time image recordings. This means that the recording device changes the orientation of the recording device during the recording of the real-time image recordings. This also makes it possible, within certain limits, to adapt the respectively recorded part of the real environment, even if the receiving device is stationary.
  • the respective part of the simulation environment which has a particularly high topicality, can be adapted and selected.
  • the use of at least one static and at least one moving recording device can be linked to the recording of three-dimensional real-time image recordings by the recording devices.
  • Another particularly advantageous embodiment of the method relates to the representation of the simulation environment from a changeable display position and / or the representation of the simulation environment under a changeable display direction.
  • part of the real environment captured by the recording device and a corresponding part of the simulation environment can be viewed from the display position of the simulation environment Display direction of the simulation environment are not visible due to occlusion by other part of the simulation environment.
  • a further, particularly preferred embodiment of the method is provided. This provides that a check of the visibility of the real-time image recordings from a variable display position and / or a variable display direction of the simulation environment is performed.
  • the part of the real environment recorded by the recording device is assigned to a corresponding part or section of the simulation environment. Subsequently, a check is made as to whether the part of the simulation environment for which the real-time image recordings are taken is completely or at least partially visible or visible from the changeable display position and under the changeable display direction of the representation of the simulation environment. Subsequently, only for the parts of the simulation environment visible from the display position and under the display direction is a representation taking into account the corresponding real-time image recordings.
  • a system for displaying the computer-generated real environment simulating simulation environment with a database comprising data for geospecific mapping of the real environment, the data describing at least one surface course of the real environment, with a simulation device comprising a display for displaying the simulation environment from a changeable display position and / or under a changeable display direction and with a recording device for recording real-time image recordings of at least part of the real environment in that the recording device has a transmission means for real-time transmission of the image recordings to the simulation device and the simulation device is set up to display at least a part of the simulation environment on a display, wherein a part of the representation is formed by the real-time image recordings or derived from the real-time image captures.
  • the system according to the invention allows the simulation environment to have a high degree of realism overall and, moreover, to have a particularly high degree of realism in the part of the simulation environment corresponding to the part of the real environment taken up by the recording device Has a measure of timeliness.
  • the basic idea according to the invention is thus realized by providing, in addition to a database based on temporally less recent data relating to the real environment, transmission means for real-time transmission of real-time image recordings of a recording device arranged in the real environment and the transmission means to the simulation device transferred real-time image recordings are considered in the representation of the simulation environment accordingly, so that a part of the representation of the simulation environment of the real-time image recordings is formed or derived from the real-time image recordings.
  • a recording device which generates real-time image recordings in the visible spectral range of the electromagnetic spectrum can be used as recording device. But infrared recording devices, radar or terahertz recording devices can be used advantageously.
  • the simulation device for generating at least one real-time texture, in particular a real-time color texture for at least part of the real environment from the real-time image captures and for the projection of the real-time texture, in particular the real-time color texture , on a part the surface of the simulation environment during the presentation of the simulation environment.
  • the creation of real-time textures and their projection on the surface curve of the simulation environment also for equalization or intentional distortion of real-time image capturing, for example, a falling apart between display position and presentation direction of the simulation environment on the one hand and recording position and recording direction of the recording device for recording the real-time On the other hand, to compensate for image recordings.
  • a carrier which is set up for the transport and / or storage of the receiving device, is additionally provided.
  • the carrier can also be set up for holding or fastening the receiving device.
  • the carrier may comprise, for example, a tripod or a tripod.
  • the carrier comprises a vehicle or an aircraft, preferably an unmanned vehicle or plane.
  • Another particularly preferred embodiment of the system provides a range finder located in the real environment and configured to measure distances between the range finder and a portion of the real environment and connected to a real time transmission means for real time transmission of range measurements to the simulation device ,
  • the distance measurements are particularly preferably real-time distance measurements.
  • distance measurements with a corresponding range finder can be used in conjunction with the real-time image acquisitions to allow for a portion of the simulation environment during presentation of the simulation environment a particularly high degree of timeliness.
  • the distance measurements of the rangefinder are linked together with the real-time image recordings of the recording device and displayed as part of the simulation environment or a part of the illustrated simulation environment is derived from the real-time image recordings and the distance measurements.
  • the simulation device generates at least one real-time surface texture of at least part of the real environment from 3D real-time image captures and for projection of the real-time surface texture onto a part of the surface course of the simulation environment or for display the real-time surface texture is set up in place of a portion of the surface history or in addition to a portion of the simulation environment's surface history during simulation environment presentation.
  • the 3D real-time image recordings can be generated from a plurality of 2D real-time image recordings that are recorded by a recording device or by different recording devices from different positions and under different directions.
  • the 3D real-time image recordings can also be generated by means of a recording device and a rangefinder and a corresponding combination of distance measurements and image recordings.
  • the real-time surface textures for partially supplementing or partially replacing the surface course of the simulation environment have the particular advantage that the spatial representation of the simulation environment, at least in the part of the real environment that is imaged in the SD real-time image recordings, a particularly high temporal Have quality.
  • a static real-time surface texture can be created, in addition or alternatively, a real-time surface texture can be generated at which the In addition, or alternatively, a real-time surface texture can be generated, in which changes only the perspective of the image of the real environment by the movable support of the receiving device changes the excerpt or image section of the real environment, without changing the position of the receiving device.
  • real-time surface textures can be generated which are picked up / generated from a variable position and at which the image area of the real environment changes.
  • the system has a display which is configured as head-mounted displays.
  • a realistic representation of the simulation environment can be made possible in a particularly advantageous manner.
  • a user of the system can influence the display position and / or the presentation direction of the presentation of the simulation environment by means of a user interface.
  • Fig. 1 is a schematic representation of a system according to the invention
  • FIG. 2 is a schematic diagram relating to the process steps for generating real-time textures.
  • FIG. 1 shows components of a system which can be used in carrying out the method according to the invention.
  • Fig. 1 shows a simulation device 1 comprising a user interface 2, a first display 3, a second display 4, a cable connection 5 for physically connecting the simulation device 1 to a data memory and a wireless transmission means 6 for real-time transmission; of information, in particular real-time image recordings 27 to the simulation device.
  • the simulation device may have a database generator 7, a database 22 and a display device 8.
  • the image recordings 12 recorded by a sensor device 9 and its sensor 11 include, for example, the entire real environment 10 to be covered by the simulation environment, including the real field 15 and the real objects 16 located in the real terrain 15. Based on the image recordings 12 of the sensors 11 of the sensor device 9 the data of the database 22 are generated, which allow the geospecific mapping of the real environment and describe at least one surface course of the real environment.
  • each of the recorded image recordings 12 is assigned a GPS location coordinate as well as a course specification and a speed indication.
  • extrinsic and intrinsic data relating to the image recordings 12 with the image recordings 12 are stored. These can for example be stored together in the form of metadata with the respective image recordings 12 or the image data of the respective image recordings 12.
  • the intrinsic properties of the image recordings 12 may, for example, be properties of the sensor 11.
  • the sensor device 9 Based on the positions, directions, velocities and the information on the sensor 11 associated with the image recordings 12, it is possible to generate geospecific simulation environments or optionally also georeferenced simulation environments from the image recordings 12 whose databases each contain data for the geospecific and / or geo-referenced mapping of the images Real environment and at least have a surface course of the real environment 10. In order to be able to generate a complete database for the geospecific mapping of the real environment 10, it can be provided that the sensor device 9 completely flies over the real environment 10 along the route 20 at least once.
  • the sensor device 9 is equipped with a wireless transmission device 17 for the transmission of information to the simulation device 1 already during the overflight over the real environment 10 along the route 20, it still takes a certain time to select from the image recordings 12 to generate a database on the basis of which the simulation environment can be displayed. Accordingly, the presentation of a simulation environment takes place which is based only on the image recordings 12 or comparable sensor data. resting, always with a certain time lag or a lack of timeliness.
  • the system provides that at least one recording device for recording real-time image recordings is arranged in the real environment 10.
  • the system comprises a first recording device 14 and a second recording device 19.
  • the first recording device 14 is designed as a stereoscopic recording device and is thus able to generate SD real-time image recordings 27 and by means of a transmission means 21 to the To transfer simulation device 1.
  • the first receiving device 14 is arranged on a support 18 in the form of a tripod.
  • the second recording device 19 is likewise set up to record real-time image recordings 27.
  • the second receiving device 19 comprises a rangefinder (not shown in FIG.
  • the second receiving device 19 likewise comprises a carrier 18 which, in the case of the second receiving device 19, however, has an unmanned aircraft 23.
  • the configuration of the carrier 18 of the second receiving device 19 in the form of an unmanned aerial vehicle 23 makes it possible for the position and orientation of the second receiving device 19 in the real environment 10 to be changed, in particular remotely controlled.
  • the aircraft 23 is designed as an unmanned aircraft 23, which also has the ability to remain in flight at one and the same position. As a result, the position and orientation of the receiving device 19 can both be changed and kept constant with the aircraft 23 become.
  • the second recording device 19 is also connected to a transmission means 21 for transmitting the real-time image recordings 27 to the simulation device 1.
  • the real-time image recordings 27 recorded with the recording devices 14, 19 By means of the real-time image recordings 27 recorded with the recording devices 14, 19, the disadvantages described above, which result from the required time between the recording of the image recordings 12 and the representation of the simulation environment by means of the simulation device 1, can be eliminated for at least part of the real environment .
  • the real-time image recordings 27 can be transmitted to the simulation device 1 and displayed or integrated into the representation of the simulation environment or can at least influence the representation of the simulation environment.
  • the position and orientations of the receiving devices 14, 19 are transmitted to the simulation device 1. Similar to the image recordings 12 of the sensor 11, it is furthermore particularly advantageous if the properties or data pertinent to the recording devices 14, 19 are transmitted to the simulation device 1 or are known based on an identification of the respective recording device 14, 19 of the simulation device 1.
  • the real-time image recordings 27 taken by the recording devices 14, 19 can be transferred from the reference system of the real environment into the reference environment of the simulation environment, which forms the basis for the real-time image recordings 27 or optical images derived from the real-time image recordings Contents are displayed or displayed in the context of the presentation of the simulation environment.
  • the real-time image recordings 27 generated by the recording devices 14 or 19 can be recorded or displayed as far as possible unprocessed in the representation of the simulation environment.
  • the display position and / or the presentation direction of the simulation environment during the display is freely selectable, it is necessary to ensure by means of the system according to the invention or in the context of the inventive method that derived from the real-time image recordings 27 graphic content that are to be displayed together with the simulation environment, do not adversely affect or alienate the presentation of the simulation environment.
  • These include, among other things, an equalization or intentional distortion of the real-time image recordings 27 and an examination of the visibility of the recorded by the receiving devices 14, 19 parts of the real environment or simulation environment from the respective display position and or the respective display direction of the simulation environment.
  • FIG. 2 shows, by way of example, a section of a simulation environment 24 in which real-imaging objects 25 are arranged in a real-imaging terrain 26, wherein the entirety of the simulation environment 24 is a Surface course 30, which describes the surfaces of the real imaging objects 25 and the real imaging terrain 26.
  • Parts of the surface course 30 are, for example, the surfaces 28.1, 28.2 and
  • the surface course 30 of the simulation environment 24 can be spanned, for example, by a height raster in which each raster point, for example raster points in the drawing plane of FIG. 2, has a height value, for example perpendicular to the plane of FIG. 2, is assigned.
  • the image planes 27.1 and 27.2 of real-time image recordings 27 are shown by way of example in FIG.
  • the image planes 27.1 and 27.2 arise from the assignment of the position and orientation of the receiving device 14, 19 in the reference system of the simulation environment 24. In itself, however, it is not necessary for performing the method according to the invention that imaging planes 27.1 or 27.2 are generated or determined , Rather, these serve to illustrate the method steps for integrating or superimposing real-time image recordings in the representation of the simulation environment 24.
  • mapping rule is illustrated by the dotted and dashed lines, which makes it possible, the respective parts of the real-time image recordings 27 with the image planes 27.1 and 27.2 on the surfaces 28.1 to project 28.3 and so to expand the presentation of the simulation environment to content that results on the real-time images 27.
  • sections 29.1 and 29.1 are illustrated by the dotted and dashed lines, which makes it possible, the respective parts of the real-time image recordings 27 with the image planes 27.1 and 27.2 on the surfaces 28.1 to project 28.3 and so to expand the presentation of the simulation environment to content that results on the real-time images 27.
  • the projection of the real-time image recordings 27 on the surface course of the simulation environment 24, as sketched in FIG. 2, makes it possible to display real-time image recordings in the correct position and in the correct perspective, even if the simulation environment and the recording position and recording direction of the recording devices differ from one another 27 in the representation of the simulation environment 24 is made possible.
  • the real-time image recordings 27 can also be 3D image recordings.
  • the projection of the 3D image recordings onto the surfaces 28 of the surface course 30 proceeds in accordance with the projection of the 2D image recordings 27, with the difference that the corresponding projections can change and / or replace the surface course 30.
  • This forms real-time surface textures from 3D images.

Abstract

Verfahren und System zur Darstellung einer computergenerierten, eine Realumgebung (10) simulierenden Simulationsumgebung (24), mit einer Datenbasis (22), welche Daten zur geospezifischen Abbildung des realen Geländes (15) und der im Gelände (15) befindlichen realen Objekte (16) umfasst, wobei die Daten zumindest einen Oberflächenverlauf (30) der Realumgebung (10) beschreiben, wobei das Verfahren die folgenden Verfahrensschritte umfasst: i) Aufnahme von Echtzeit-Bildaufnahmen (27) von zumindest einem Teil der Realumgebung (10) mit zumindest einer Aufnahmeeinrichtung (14, 19), und ii) Darstellung von zumindest einem Teil der Simulationsumgebung (24) auf einer Anzeige (3, 4), wobei ein Teil der Darstellung von den Echtzeit-Bildaufnahmen (27) gebildet wird oder aus den Echtzeit-Bildaufnahmen (27) abgeleitet wird.

Description

Verfahren und System zur Darstellung einer Simulationsumgebung
Die vorliegende Erfindung betrifft ein Verfahren und ein System zur Darstellung einer computergenerierten, eine Realumgebung simulierenden Simulationsumgebung mit einer Datenbasis, welche Daten zur geospezifischen Abbildung des Geländes und der Objekte der Realumgebung umfasst, wobei die Daten zumindest einen Oberflächenverlauf der Realumgebung beschreiben.
Gattungsgemäße Verfahren zur Darstellung von Simulationsumgebungen kommen in unterschiedlichen Ausführungen zum Einsatz. Besonders, jedoch keinesfalls ausschließlich, werden derartige Verfahren zu Trainingszwecken oder zu Überwachungs- oder Aufklärungszwecken verwendet. Der jeweilige Trainingszweck sowie der jeweilige Grund der Überwachung können dabei höchst unterschiedlich sein. Beispielhaft genannt seien jedoch an dieser Stelle Anwendungen aus dem Gebiet der Sicherheitstechnik, bei denen Sicherheitskräfte, wie beispielsweise Militär, Überwachungs- und/oder Auf - klärungseinsätze durchführen, um ggf. einen militärischen Einsatz vorzubereiten. Gleichermaßen kann eine Anwendung derartiger Verfahren in der Einsatzvorbereitung von militärischen Einsatzkräften liegen, welche einen militärischen Einsatz unter der Verwendung von gattungsgemäßen Simulationsumgebungen und Verfahren zu deren Darstellung trainieren oder zu allgemeinem Verhalten im Einsatz geschult und ausgebildet werden.
Bei den vorangegangen beschriebenen Anwendungsfällen von Verfahren und Systemen zur Darstellung einer Simulationsumgebung ist sowohl der im Rahmen der Darstellung der Simulationsumgebung erreichbare Schulungs- und/ oder Trainingseffekt als auch der Informationsgehalt sowie die korrekte Interpretationsfähigkeit der Informationen in besonderem Umfang von der korrekten Einbettung von Aufklärungsdaten in einen räumlichen Kontext der Realumgebung abhängig. Dies bedeutet beispielsweise, dass es bei der Gewinnung von Aufklärungsdaten, insbesondere bei der Gewinnung von Aufklärungsbilddaten, wie beispielsweise Echtzeit-Bilddaten, nachteilig sein kann, wenn die Bilddaten, die einen bestimmten Ausschnitt der Realumgebung abbilden, losgelöst von der sonstigen oder weiteren Umgebung der Realumgebung ausgewertet, interpretiert oder zu Trainings- oder Schulungszwecken verwendet werden.
Umgekehrt ist es besonders wünschenswert, dass Informationen, insbesondere Bildaufnehmen, betreffend einen bestimmten Ausschnitt oder einen bestimmten Teil der Realumgebung nicht losgelöst von der restlichen Realumgebung oder isoliert betrachtet, analysiert und/oder zu Trainings- und/oder Schulungszwecken herangezogen werden, sondern in einen Kontext zu der sonstigen Realumgebung gesetzt werden, um dadurch den Informationsgehalt zu erhöhen oder den Informationsgehalt besser interpretieren zu können sowie ein realistischeres oder realitätsnäheres Training ermöglichen zu können. Außerdem ist es bei bekannten Verfahren zur Darstellung von Simulationsumgebung nachteilig, dass die Datenbasis der Simulationsumgebung auf wenig aktuellen Daten beruht, so dass aktuelle oder jüngste Veränderungen nicht bekannt sind und dementsprechend vom Benutzer, Auswerter oder Auszubildenden nicht berücksichtigt werden können.
Die A u f g a b e der vorliegenden Erfindung liegt dementsprechend darin, ein Verfahren und ein System zur Darstellung einer computergenerierten, eine Realumgebung simulierenden Simulationsumgebung mit einer Datenbasis, welche Daten zur geospezifischen Abbildung des realen Geländes und der im Gelände befindlichen realen Objekte umfasst, wobei die Daten zumindest einen Oberflächenverlauf der Realumgebung beschreiben, anzugeben, welche die oben beschriebenen Nachteile des Stands der Technik überwinden. Diese Aufgabe wird bei einem Verfahren der eingangs genannten Art dadurch g e l ö s t , dass Echtzeit- Bildaufnahmen von zumindest einem Teil der Realumgebung mit einer Aufnahmeeinrichtung aufgenommen werden und ein Teil der Simulationsumgebung auf einer Anzeige dargestellt wird, wobei ein Teil der Darstellung von den Echtzeit-Bildaufnahmen gebildet wird oder aus den Echtzeit-Bildaufnahmen abgeleitet wird.
Der Grundgedanke der vorliegenden Erfindung basiert also darauf, dass im Rahmen einer Darstellung der die Realumgebung abbildenden Simulationsumgebung in der Realumgebung aufgenommene Echtzeit- Bildaufnahmen in die Darstellung der Simulationsumgebung integriert werden, so dass der von den Echtzeit-Bildaufnahmen erfasste Teil der Realumgebung sowie der ent- sprechende Teil der dargestellten Simulationsumgebung ein besonders hohes Maß an Aktualität aufweist. Es werden also im Rahmen des Verfahrens Live-Bilder in die Darstellung der Simulationsumgebung integriert oder zumindest optische Inhalte mit angezeigt, die auf Live-Bildern basieren.
Dies kann für Überwachungszwecke besonders vorteilhaft sein, weil dadurch einerseits ein besonders gutes Verständnis für die räumliche Umgebung geschaffen wird, in denen die Echtzeit-Bildaufnahmen aufgenommen werden und andererseits ein besonders interessanter Teil der Realum- gebung in Echtzeit dargestellt und ausgewertet werden kann. Durch das erfindungsgemäße Verfahren lassen sich also auch Gebäude überwachen, wobei feststellbar wird, welche Person sich aktuell im Gebäude wohin bewegt, das Gebäude aktuell betritt und/oder wohin eine Person das Gebäude aktuell verlässt. Beispielsweise kann eine Darstellung einer Simulations- Umgebung erfolgen, die einen Straßenzug, eine Straßenkreuzung oder ein oder mehrere Anwesen umfasst, wobei für ein spezielles Gebäude oder zumindest für eine Gebäudefront oder einen Abschnitt einer Straße Echtzeit- Bildaufnahmen aufgenommen und mit oder ohne Weiterverarbeitung in die Darstellung Simulationsumgebung eingeblendet oder integriert werden kön- nen. Damit werden durch das Verfahren Situationsanalysen ermöglicht und verbessert.
Auch für Trainingszwecke können die besonders aktuellen Informationen, die sich aus der Einblendung von Echtzeit-Bildaufnahmen in die Darstellung der Simulationsumgebung ergeben, besondere Vorteile ermöglichen. Denn die trainierenden Kräfte können im Rahmen der Darstellung der Simulationsumgebung so trainiert werden, als würden sie sich aktuell in der Realumgebung befinden, da Echtzeit-Bildaufnahmen einen Teil der Darstellung der Simulationsumgebung darstellen oder begründen. Dadurch werden bekannte Simulationssysteme und Verfahren um eine Echtzeit- Komponente erweitert, die einen besseren Trainingseffekt ermöglicht. Zur beispielhaften Erläuterung des erfindungsgemäßen Grundgedankens soll von der Situation ausgegangen werden, in der die Darstellung der Simulationsumgebung von einem Punkt der Simulationsumgebung aus erfolgt, der dem entsprechenden Punkt der Realumgebung entspricht, von dem aus die Echtzeit- Bildaufnehmen aufgenommen werden. Auch die Darstellungsrichtung der Simulationsumgebung soll mit der Aufnahmerichtung der Echtzeit- Bildaufnahmen zusammenfallen. Bei der Darstellung der Simulationsumgebung soll jedoch ein größerer Ausschnitt der Simulationsumgebung dargestellt werden, als von der Aufnahmeeinrichtung zur Aufnahme der Echtzeit-Bildaufnahmen erfasst wird. In diesem Fall können die Echtzeit-Bildaufnahmen weitestgehend unverändert oder ohne besondere Vorverarbeitung in die Darstellung der Simulations- Umgebung integriert werden, so dass eine Darstellung von zumindest einem Teil der Simulationsumgebung erreicht wird, bei dem ein Teil der Darstellung von den Echtzeit-Bildaufnahmen gebildet wird.
Der nicht von den Echtzeit-Bildaufnahmen erfasste Teil der dargestellten oder darzustellenden Simulationsumgebung kann bereits einen hochgradig realistischen oder hochgradig realitätsgetreuen Eindruck der von der Simulationsumgebung abgebildeten Realumgebung vermitteln. Die für die Erstellung der Datenbasis und Generierung der Simulationsumgebung notwendigen und vorteilhaften Verfahren, Vorrichtungen und Systeme werden bei- spielsweise in der deutschen Patentanmeldung DE 10 2015 120 999.3 beschrieben. Der Inhalt der genannten Patentanmeldung wird hiermit vollumfänglich in die vorliegende Beschreibung mit einbezogen.
Demnach umfasst die Simulationsumgebung einen hochauflösenden Ober- flächenverlauf, insbesondere mit einer Auflösung von weniger al 10cm pro Raumrichtung. Dabei kann besonders vorteilhaft vorgesehen sein, dass die realabbildenden Objekte der Simulationsumgebung und das realabbildende Gelände der Simulationsumgebung ein fein trianguliertes Rasternetz oder Höhenraster aufspannen. Dadurch kann, im Vergleich zu anderen Simulationsumgebungen einerseits eine aufwändige und fehleranfällige Rekonstruk- tion der Realumgebung, insbesondere realer Objekte, mittels polygonaler Modelle vermieden werden und andererseits dadurch eine exakte und scharf abgegrenzte Abbildung der Realumgebung ermöglicht werden.
Der Nachteil der bekannten Verfahren und Vorrichtungen zur Darstellung einer computergenerierten, eine Realumgebung simulierenden Simulationsumgebung liegt jedoch darin, dass zunächst eine Datenerhebung von die Realumgebung betreffenden Daten erfolgen muss und im Anschluss daran eine Generierung der Datenbasis oder eine Generierung der entsprechenden Simulationsumgebung zu erfolgen hat. Auch wenn die nötige Zeit oder die benötigte Zeitperiode zwischen der Erhebung der die Realumgebung betreffenden Daten und der Bereitstellung oder Verfügbarkeit einer Datenbasis oder einer entsprechenden Simulationsumgebung in der jüngeren Vergangenheit, insbesondere auch durch die oben genannte und in die Offenbarung einbezogene deutsche Patentanmeldung erheblich verkürzt wurden, so besteht ein Nachteil der bekannten Verfahren und Vorrichtungen zur Darstellung von computergenerierten, die Realumgebung simulierenden Simulationsumgebungen grundsätzlich jedoch darin, dass eben zwangsläufig ein gewisser Zeitversatz zwischen der Erhebung der die Realumgebung beschreibenden Daten und der Darstellung der Simulationsumgebung vorliegt, der zudem umso größer ausfällt, je realistischer oder je realitätsgetreuer die Simulationsumgebung die Realumgebung abbildet.
Durch das erfindungsgemäß vorgesehene Aufnehmen von Echtzeit-Bildaufnahmen von zumindest einem Teil der Realumgebung mit einer Aufnahme- einrichtung und die Darstellung von zumindest einem Teil der Simulationsumgebung auf einer Anzeige, wobei ein Teil der Darstellung von Echtzeit- Bildaufnahmen gebildet wird oder aus den Echtzeit-Bildaufnahmen abgeleitet wird, kann jedoch ermöglicht werden, dass zusätzlich zu einer an sich hochgradig realitätsgetreuen Simulationsumgebung, die jedoch aus zeitlich weniger aktuellen Daten gebildet wird, zumindest in Teilen der Darstellung der Simulationsumgebung aufgrund der Aufnahme und Integration oder Einblendung der Echtzeit-Bildaufnahmen, ein besonders hohes Maß an Aktualität erreicht wird.
Bei einer entsprechenden Ausrichtung der Aufnahmeeinrichtung in der Re- alumgebung kann so erreicht werden, dass für die Teile der Realumgebung und die entsprechenden Teile der die Realumgebung abbildenden Simulationsumgebung, für die neben einer besonders großen Realitätsnähe auch eine besonders hohe Aktualität im Rahmen der Darstellung der Simulationsumgebung nötig ist, die gewünschte Aktualität der Darstellung der Simu- lationsumgebung auch erreicht wird.
Die besonders hohe Aktualität von Teilen der dargestellten Simulationsumgebung lässt sich dabei sowohl im Rahmen von reinen Überwachungseinsätzen als auch im Rahmen von Simulationen zur Vorbereitung eines mi- litärischen Einsatzes besonders vorteilhaft nutzen. Denn so können im Rahmen der Darstellung der Simulationsumgebung zeitliche Veränderungen in der Realumgebung und deren räumlicher Zusammenhang wahrgenommen und zur Grundlage der Einsatzvorbereitung gemacht werden oder bei der Überwachung berücksichtigt werden.
Mit der Aufnahmeeinrichtung können einerseits Echtzeit-Bildaufnahmen aufgenommen werden, die das sichtbare Spektrum elektromagnetischer Wellen abbilden. Es kann aber auch vorteilhaft sein, wenn mit der Aufnahmeeinrichtung Echtzeit- Bildaufnahmen von Wärmestrahlung aufgenommen werden. Auch andere Frequenz- oder Wellenlängenbereiche können vorteilhaft sein. Eine jeweilige Ausgestaltung der Aufnahmeeinrichtung kann demnach eine Aufnahme von Echtzeit-Bildaufnahmen im Infrarot-Bereich, im Nahinfrarot-Bereich, im Radar-Bereich oder im Therahertz- Bereich ermöglichen. Bei der Darstellung der Simulationsumgebung ist es besonders vorteilhaft, wenn die Darstellungsposition, von der aus die Darstellung der Simulationsumgebung erfolgt, frei wählbar oder frei veränderbar ist. Dies ermöglicht, dass sich der Betrachter oder Benutzer der Simulationsumgebung frei in der Simulationsumgebung bewegen kann. Um im Fall einer frei veränderlichen Darstellung, insbesondere bei einer freien Veränderung der Darstellungsposition und/oder Darstellungsrichtung der Simulationsumgebung trotzdem die Integration oder Einblendung der Echtzeit-Bildaufnahmen in die Darstellung der Simulationsumgebung zu ermöglichen, wird eine erste vorteilhafte Ausführungsform des Verfahrens vorgeschlagen.
Gemäß dieser Ausführungsform ist vorgesehen, dass aus den Echtzeit-Bild- aufnahmen zumindest eine Echtzeit-Textur für zumindest einen Teil der Realumgebung erstellt wird und die zumindest eine Echtzeit-Textur während der Darstellung der Simulationsumgebung auf einen Teil des Oberflä- chenverlaufs projiziert wird. Dadurch wird zu jedem Zeitpunkt bzw. bei jeder Darstellungsposition und/oder Richtung der Simulationsumgebung eine lagerichtige und perspektivisch korrekte Einbindung der Echtzeit-Bildaufnahmen in die Darstellung der Simulationsumgebung ermöglicht. Bei dieser Ausführungsform macht sich das Verfahren einen weitverbreiteten Grundsatz von gattungsgemäßen Verfahren zur Erzeugung und Darstellung von computergenerierten, die Realumgebung simulierenden Simulationsumgebungen zunutze. Denn vielfach wird zur Erzeugung und Darstellung entsprechender Simulationsumgebungen zunächst ein Oberflächen- verlauf der Realumgebung erzeugt, der anschließend mit entsprechenden Texturen versehen wird, um neben dem reinen dreidimensionalen Ober- flächenverlauf der Realumgebung auch weitere Eigenschaften der Realumgebung, wie beispielsweise Farbgebung oder dergleichen im Rahmen der Darstellung der Simulationsumgebung darstellen zu können. Die besondere Weiterentwicklung der vorgeschlagenen Ausführungsform besteht dementsprechend darin, die aufgenommenen Echtzeit-Bildaufnahmen in entsprechende Echtzeit-Texturen für zumindest einen Teil der Realumgebung, nämlich den Teil der Realumgebung, der von den Echtzeit- Bildaufnahmen erfasst wird, umzuwandeln, um dann anstatt von statischen und gegebenenfalls veralteten Texturen Echtzeit-Texturen im Rahmen der Darstellung der Simulationsumgebung auf einen Teil des Oberflächenverlaufs projizieren zu können, wodurch letztendlich ein lagerichtiger und perspektivisch korrekte Darstellung der entsprechenden Teile des Oberflächenverlaufs der Simulationsumgebung mit zeitlich hochaktuellen Echtzeit-Tex- turen ermöglicht wird. Eine besonders bevorzugte Ausgestaltung stellen dabei Echtzeit-Farbtexturen dar, die zur Farbgebung des Oberflächenverlaufs der Simulationsumgebung dienen.
Um die Zuordnung der Echtzeit-Bildaufnahmen zu einem Teil der Realum- gebung und daraus wiederum die Zuordnung der Echtzeit-Bildaufnahmen zu einem Teil der die Realumgebung geospezifisch abbildenden Simulationsumgebung zu ermöglichen, wird eine weitere, besonders vorteilhafte Ausgestaltung des Verfahrens vorgeschlagen. Diese sieht vor, dass während der Aufnahme der Echtzeit-Bildaufnahmen die Position und/oder die Ausrich- tung der Aufnahmeeinrichtung mit aufgenommen wird oder mit aufgenommen werden. Beispielsweise kann die Position der Aufnahmeeinrichtung anhand von GPS- Informationen bestimmt und zusammen mit den Echtzeit- Bildaufnahmen aufgenommen werden. Die Ausrichtung der Aufnahmeeinrichtung kann während und zusammen mit der Aufnahme der Echtzeit- Bildaufnahmen beispielsweise durch Bewegungssensoren, wie etwa Träg- heitssensoren oder vergleichbare Einrichtungen bestimmt und zusammen mit den Echtzeit-Bildaufnahmen aufgenommen werden.
Gemäß einer weiteren besonders wünschenswerten Ausgestaltung des Ver- fahrens ist vorgesehen, dass während der Aufnahme der Echtzeit- Bildaufnahmen Entfernungsmessungen von Entfernungen zwischen einem in der Realumgebung angeordneten Entfernungsmesser und einem Teil der Realumgebung mit aufgenommen werden. Dabei kann vorgesehen sein, dass der Entfernungsmesser an der Aufnahmeeinrichtung angeordnet ist. Es kann alternativ auch vorgesehen sein, dass der Entfernungsmesser separat und an einem anderen Ort als die Aufnahmeeinrichtung angeordnet ist. Außerdem kann vorgesehen sein, dass der Entfernungsmesser Entfernungen zu dem Teil der Realumgebung misst, der auch von der Aufnahmeeinrichtung in den Echtzeit- Bildaufnahmen aufgenommen wird.
Dadurch kann einerseits eine bessere Zuordnung zwischen den Echtzeit- Bildaufnahmen und der Realumgebung sowie der die Realumgebung geo- spezifisch abbildenden Simulationsumgebung erreicht werden. Darüber hinaus wird auch ermöglicht, dass die Entfernungsmessungen mit den Echtzeit- bildaufnahmen verknüpft werden. Das Ergebnis dieser Verknüpfung wird im Rahmen der nachfolgenden Ausführungsformen noch detaillierter beschrieben werden.
Eine weitere Ausführungsform des Verfahrens sieht vor, dass die Echtzeit- Bildaufnahmen als 3D- Bildaufnahmen aufgenommen werden oder in SD- Bildaufnahmen umgewandelt werden. Zur Umwandlung der Echtzeit-Bildaufnahmen in 3D-Bildaufnahmen können beispielsweise 2D-Bildaufnahmen und zusammen mit den 2D-Bildaufnahmen aufgenommene Entfernungsmessungen verwendet werden. Alternativ können mit einer entsprechenden Aufnahmeeinrichtung, insbesondere mit einer Aufnahmeeinrichtung, die zumindest zwei unterschiedliche Echtzeit-Bildaufnahmen aus unterschied- liehen Positionen aufnimmt oder mit mehreren Aufnahmeeinrichtungen, die zumindest abschnittsweise den gleichen Teil der Realumgebung aus unterschiedlichen Positionen aufnehmen, die Echtzeit-Bildaufnahmen als SD- Bildaufnahmen aufgenommen oder in 3D-Bildaufnahmen umgewandelt wer- den.
In einer ebenfalls besonders vorteilhaften Abwandlung des erfindungsgemäßen Verfahrens ist vorgesehen, dass aus den SD-Echtzeit-Bildaufnahmen eine Echtzeit-Oberflächentextur erstellt wird, die zusätzlich oder al- ternativ zu dem Oberflächenverlauf der Datenbasis bei der Darstellung der Simulationsumgebung verwendet wird. Die Verwendung von SD-Echtzeit- Bildaufnahmen hat dementsprechend den Vorteil, dass der von der Datenbasis umfasste Oberflächenverlauf der Realumgebung nicht nur anhand von besonders aktuellen zweidimensionalen Bildinformationen erweitert, insbe- sondere texturiert werden kann, sondern dass darüber hinaus auch der Oberflächenerlauf selbst durch 3D-Echtzeit-Bildaufnahmen ergänzt oder ersetzt werden kann.
Damit können durch die Aufnahme und die Integration der Echtzeit- Bildauf - nahmen in die Darstellung der Simulationsumgebung auch räumliche Veränderungen der Realumgebung, nämlich Veränderungen der Realumgebung betreffend den Oberflächenverlauf der Realumgebung, mit besonders hoher Aktualität im Rahmen der Darstellung der Simulationsumgebung widergespiegelt werden. Denn für den Teil der Realumgebung, für den mittels der Aufnahmeeinrichtung oder den Aufnahmeeinrichtungen SD-Echtzeit- Bildaufnahmen aufgenommen werden, kann durch das Erstellen und Anzeigen von Echtzeit-Oberflächentexturen die Datenbasis der Simulationsumgebung, insbesondere der Oberflächenverlauf der Simulationsumgebung ergänzt oder ersetzt werden. Dementsprechend können durch die Echtzeit- Oberflächentexturen beispielsweise jüngste Explosionsauswirkungen bei der Darstellung der Simulationsumgebung berücksichtigt werden. Wie bereits vorangehend in unterschiedlichen Aspekten angedeutet, kann eine grundsätzlich vorteilhafte Ausführungsform des erfindungsgemäßen Verfahrens vorsehen, dass mit einer Mehrzahl von Aufnahmeeinrichtungen Echtzeit- Bildaufnahmen von zumindest einem Teil der Realumgebung aufgenommen werden. Dabei kann wie oben bereits beschrieben vorgesehen sein, dass der jeweils aufgenommene Teil der Realumgebung zumindest abschnittsweise überlappt. Es kann alternativ oder zusätzlich jedoch auch vorgesehen sein, dass zumindest ein Teil der Aufnahmeeinrichtungen je einen Teil der Realumgebung aufnehmen, der von keiner weiteren Aufnahmeeinrichtung, auch nicht teilweise, aufgenommen wird.
Die nachfolgenden Ausführungsformen betreffen das Bedürfnis, den Teil der Simulationsumgebung, der im Rahmen der Darstellung einer die Realumge- bung geospezifisch abbildenden Simulationsumgebung eine besonders hohe Aktualität aufweisen soll, zeitlich variabel zu gestalten. Dies bedeutet, dass es beispielsweise bei der Überwachung eines Gebäudes besonders sinnvoll sein kann, tagsüber Echtzeit- Bildaufnahmen von einer Gebäudefront und nachts Echtzeit-Bildaufnahmen von einem Gebäudeinnenhof oder einer anderen Gebäudefront aufzunehmen und in die Darstellung der Simulationsumgebung zu integrieren.
Dazu sieht eine erste Ausführungsform des Verfahrens vor, dass die Aufnahmeeinrichtung während der Aufnahme der Echtzeit-Bildaufnahmen ihre Position, insbesondere ferngesteuert, verändert. Damit kann je nach dem aktuellen Bedürfnis im Rahmen der Darstellung der Simulationsumgebung der Teil der Simulationsumgebung angepasst werden, der über die Integration von Echtzeit- Bildaufnahmen eine besonders hohe Aktualität bei der Darstellung der Simulationsumgebung aufweist. Alternativ oder zusätzlich kann in einer vorteilhaften Abwandlung des Verfahrens vorgesehen sein, dass die Aufnahmeeinrichtung während der Aufnahme der Echtzeit-Bildaufnahmen den jeweils aufgenommenen Teil der Realumgebung verändert. Dies bedeutet, dass die Aufnahmeeinrichtung während der Aufnahme der Echtzeit- Bildaufnahmen die Ausrichtung der Aufnahmeeinrichtung verändert. Auch dadurch kann in bestimmten Grenzen der jeweils aufgenommene Teil der Realumgebung angepasst werden, selbst wenn die Aufnahmeeinrichtung ortsfest ist. Anhand der entsprechenden Echtzeit-Bildaufnahmen und deren Verwendung im Rahmen der Darstel- lung der Simulationsumgebung kann der jeweilige Teil der Simulationsumgebung, der eine besonders hohe Aktualität aufweist, angepasst und ausgewählt werden.
Besonders vorteilhaft kann die Verwendung von zumindest einer statischen und zumindest einer bewegten Aufnahmeeinrichtung mit der Aufnahme dreidimensionaler Echtzeit-Bildaufnahmen durch die Aufnahmeeinrichtungen verknüpft werden.
Eine weitere besonders vorteilhafte Ausführungsform des Verfahrens be- trifft die Darstellung der Simulationsumgebung aus einer veränderbaren Darstellungsposition und/oder die Darstellung der Simulationsumgebung unter einer veränderbaren Darstellungsrichtung. Denn je nach Position und Ausrichtung der Aufnahmeeinrichtung kann es in Abhängigkeit von der Darstellungsposition und Darstellungsrichtung der Darstellung der Simulations- Umgebung vorkommen, dass ein Teil der von der Aufnahmeeinrichtung aufgenommenen Teils der Realumgebung und ein entsprechender Teil der Simulationsumgebung aus der Darstellungsposition der Simulationsumgebung und unter der Darstellungsrichtung der Simulationsumgebung aufgrund einer Verdeckung durch andere Teil der Simulationsumgebung nicht sichtbar sind. Um in diesem Fall die verfälschenden Effekte zu verhindern, ist eine weitere, besonders bevorzugte Ausgestaltung des Verfahrens vorgesehen. Diese sieht vor, dass eine Überprüfung der Sichtbarkeit der Echtzeit-Bildaufnahmen aus einer veränderbaren Darstellungsposition und/oder einer veränderbaren Darstellungsrichtung der Simulationsumgebung durchgeführt wird. Dies bedeutet, dass zunächst der von der Aufnahmeein richtung aufgenommene Teil der Realumgebung einem entsprechenden Teil oder Ausschnitt der Simulationsumgebung zugeordnet wird. Anschließend erfolgt eine Prüfung, ob derjenige Teil der Simulationsumgebung für den die Echtzeit-Bildaufnahmen aufgenommen werden, aus der veränderbaren Darstel- lungsposition und unter der veränderbaren Darstellungsrichtung der Darstellung der Simulationsumgebung ganz oder zumindest teilweise sichtbar ist bzw. sichtbar sind. Anschließend erfolgt nur für die aus der Darstellungsposition und unter der Darstellungsrichtung sichtbaren Teile der Simulationsumgebung eine Darstellung unter Berücksichtigung der entsprechen- den Echtzeit- Bildaufnahmen.
Die eingangs genannte Aufgabe wird bei einem System zur Darstellung der computergenerierten, eine Realumgebung simulierenden Simulationsumgebung mit einer Datenbasis, welche Daten zur geospezifischen Abbildung der Realumgebung umfasst, wobei die Daten zumindest einen Oberflächenverlauf der Realumgebung beschreiben, mit einer Simulationsvorrichtung umfassend eine Anzeige zur Darstellung der Simulationsumgebung aus einer veränderbaren Darstellungsposition und/oder unter einer veränderbaren Darstellungsrichtung und mit einer Aufnahmeeinrichtung zur Aufnahme von Echtzeit- Bildaufnahmen von zumindest einem Teil der Realumgebung dadurch g e l ö s t , dass die Aufnahmeeinrichtung ein Übertragungsmittel zur Echtzeit- Übertragung der Bildaufnahmen an die Simulationsvorrichtung aufweist und die Simulationsvorrichtung zur Darstellung von zumindest einem Teil der Simulationsumgebung auf einer Anzeige eingerichtet ist, wo- bei ein Teil der Darstellung von den Echtzeit-Bildaufnahmen gebildet wird oder aus den Echtzeit-Bildaufnahmen abgeleitet wird. Wie oben bereits beschrieben ermöglicht das erfindungsgemäße System, dass die Darstellung der Simulationsumgebung insgesamt ein hohes Maß an Realitätstreue aufweist und darüber hinaus in dem Teil der Simulationsum- gebung, der dem Teil der Realumgebung entspricht, der von der Aufnahmeeinrichtung aufgenommen wird, auch ein besonders hohes Maß an zeitlicher Aktualität aufweist.
Der erfindungsgemäße Grundgedanke wird also dadurch verwirklicht, dass neben einer Datenbasis, die auf zeitlich weniger aktuellen Daten betreffend die Realumgebung basiert, ein Übertragungsmittel zur Echtzeit- Übertragung von Echtzeit-Bildaufnahmen einer in der Realumgebung angeordneten Aufnahmeeinrichtung vorgesehen ist und die über das Übertragungsmittel an die Simulationsvorrichtung übertragenen Echtzeit-Bildaufnahmen bei der Darstellung der Simulationsumgebung entsprechend berücksichtigt werden, so dass ein Teil der Darstellung der Simulationsumgebung von den Echtzeit- Bildaufnahmen gebildet wird oder aus den Echtzeit-Bildaufnahmen abgeleitet wird. Als Aufnahmeeinrichtung kann beispielswiese eine Aufnahemeinrichtung zum Einsatz kommen, die Echtzeitbildaufnahmen im sichtbaren Spektralbereich des elektromagnetischen Spektrums erzeugt. Aber auch Infrarot- Aufnahmeeinrichtungen, Radar- oder Terahertz-Aufnahmeeinrichtungen können vorteilhaft zum Einsatz kommen.
Gemäß einer vorteilhaften Ausführungsform des Systems ist vorgesehen, dass die Simulationsvorrichtung zur Erstellung von zumindest einer Echtzeit-Textur, insbesondere einer Echtzeit- Farbtextur für zumindest einen Teil der Realumgebung aus dem Echtzeit-Bildaufnahmen und zur Projektion der Echtzeit-Textur, insbesondere der Echtzeit- Farbtextur, auf einen Teil des Oberflächenverlaufs der Simulationsumgebung während der Darstellung der Simulationsumgebung eingerichtet ist.
Dadurch wird ermöglicht, dass die vielfach bei der Erzeugung und Darstel- lung von Simulationsumgebung zum Einsatz kommenden Grundstrukturen, wie beispielsweise ein entsprechender die Realumgebung geospezifisch abbildender Oberflächenverlauf, optimal genutzt werden, um mit geringem Aufwand eine Einbindung der Echtzeit- Bildaufnahmen zu ermöglichen. Das entsprechende Erzeugen von Echtheit-Texturen und deren Projektion auf den Oberflächenverlauf der Simulationsumgebung während der Darstellung der Simulationsumgebung hat zudem den Vorteil, dass die von den Echtzeit- Bildaufnahmen abgeleitete Darstellung der Simulationsumgebung lagerichtig und perspektivisch korrekt erfolgen kann. Damit dient die Erstellung von Echtzeit-Texturen und deren Projektion auf den Oberflächenverlauf der Simulationsumgebung auch zur Entzerrung oder zur gewollten Verzerrung der Echtzeit-Bildaufnahmen, um beispielsweise ein Auseinanderfallen zwischen Darstellungsposition und Darstellungsrichtung der Simulationsumgebung einerseits und Aufnahmeposition und Aufnahmerichtung der Aufnahmeeinrichtung zur Aufnahme der Echtzeit-Bildaufnahmen andererseits zu kompensieren.
In einer besonders bevorzugten Ausgestaltung des Systems ist zudem ein Träger, der zum Transport und/oder zur Aufbewahrung der Aufnahmeeinrichtung eingerichtet ist, vorgesehen. Darüber hinaus kann der Träger auch zur Halterung oder Befestigung der Aufnahmeeinrichtung eingerichtet sein. In einer beispielhaften Ausführung kann der Träger beispielsweise ein Stativ oder ein Dreibein aufweisen. Dadurch wird ein ortsfester Betreib der Aufnahmeeinrichtung ermöglicht. Gemäß einer weiteren vorteilhaften Variante des Systems umfasst der Träger ein Fahrzeug oder ein Flugzeug, bevorzugt ein unbemanntes Fahrzeug oder Flugzeug. Dadurch kann gewährleistet werden, dass die Aufnahmeeinrichtung sicher in der entsprechenden Position und unter der entsprechenden Ausrichtung in der Realumgebung gebracht und dort gehalten bzw. die Position und Ausrichtung der Aufnahmeeinrichtung, wie gewünscht, verän- dert werden kann.
Es können beim Einsatz mehrerer Aufnahmeeinrichtungen auch sowohl statische als auch bewegbare träger eingesetzt werden. Dadurch kann je nach Bedarf eine optimale Abdeckung oder Abbildung der Realumgebung durch die Aufnahmeeinrichtungen erreicht werden.
Eine weitere besonders bevorzugte Ausführung des Systems sieht einen Entfernungsmesser vor, der in der Realumgebung angeordnet ist und zur Messung von Entfernungen zwischen dem Entfernungsmesser und einem Teil der Realumgebung eingerichtet ist und mit einem Echtzeit- Übertragungsmittel zur Echtzeit- Übertragung von Entfernungsmessungen an die Simulationsvorrichtung verbunden ist.
Besonders bevorzugt sind die Entfernungsmessungen Echtzeit-Entfernungs- messungen. Wie oben bereits beschrieben können Entfernungsmessungen mit einem entsprechenden Entfernungsmesser zusammen mit den Echtzeit- Bildaufnahmen verwendet werden, um für einen Teil der Simulationsumgebung während der Darstellung der Simulationsumgebung ein besonders hohes Maß an zeitlicher Aktualität zu ermöglichen. Besonders bevorzugt wer- den die Entfernungsmessungen des Entfernungsmessers zusammen mit den Echtzeit- Bildaufnahmen der Aufnahmeeinrichtung verknüpft und als Teil der Simulationsumgebung dargestellt oder ein Teil der dargestellten Simulationsumgebung aus den Echtzeit-Bildaufnahmen und den Entfernungsmessungen abgeleitet. Gemäß einer ebenfalls vorteilhaften Ausgestaltung des Systems ist vorgesehen, dass die Simulationsvorrichtung zur Erstellung von zumindest einer Echtzeit-Oberflächentextur von zumindest einem Teil der Realumgebung aus 3D-Echtzeit-Bildaufnahmen und zur Projektion der Echtzeit- Oberflächentextur auf einen Teil des Oberflächenverlaufs der Simulationsumgebung oder zur Darstellung der Echtzeit-Oberflächentextur anstatt eines Teils des Oberflächenverlaufs oder zusätzlich zu einem Teil des Oberflächenverlaufs der Simulationsumgebung während der Darstellung der Simulationsumgebung eingerichtet ist.
Die 3D-Echtzeit-Bildaufnahmen können dabei aus mehreren 2D-Echtzeit- Bildaufnahmen, die von einer Aufnahmeeinrichtung oder von unterschiedlichen Aufnahmeeinrichtungen aus unterschiedlichen Positionen und unter unterschiedlichen Richtungen aufgenommen werden, generiert werden. Alternativ können die 3D-Echtzeit-Bildaufnahmen auch mittels einer Aufnahmeeinrichtung und einem Entfernungsmesser und einer entsprechenden Verknüpfung von Entfernungsmessungen und Bildaufnahmen erzeugt werden. Die Echtzeit-Oberflächentexturen zur teilweisen Ergänzung oder zur teilweisen Ersetzung des Oberflächenverlaufs der Simulationsumgebung haben den besonderen Vorteil, dass auch die räumliche Darstellung der Simulationsumgebung, zumindest in dem Teil der Realumgebung, der in den SD- Echtzeit- Bildaufnahmen abgebildet wird, eine besonders hohe zeitliche Ak- tualität aufweisen.
Zur Erzeugung von Echtzeit-Oberflächentexturen können besonders vorteilhaft Aufnahmeeinrichtungen mit einem statischen und/oder mit einem bewegten Träger zum Einsatz kommen. Es kann also eine statische Echtzeit- Oberflächentextur erstellt werden, es kann darüber hinaus zusätzlich oder alternativ auch eine Echtzeit-Oberflächentextur generiert bei der sich der Ausschnitt oder Bildausschnitt der Realumgebung ändert, ohne dass sich dabei die Position der Aufnahmeeinrichtung ändert, außerdem kann zusätzlich oder alternativ auch eine Echtzeit-Oberflächentextur erzeugt werden, bei der sich durch den beweglichen Träger der Aufnahmeeinrichtung nur die Perspektive auf den Bildausschnitt der Realumgebung ändert. Schließlich können bei der Verwendung beweglicher Träger auf Echtzeit- Oberflächentexturen erzeugt werden, welche aus einer veränderlichen Position aus aufgenommen /erzeugt werden un bei denen sich der Bildausschnitt der Realumgebung ändert.
Ebenfalls besonders vorteilhaft kann vorgesehen sein, dass das System eine Anzeige aufweist, die als kopfbefestigbare Anzeigen (head-mounted dis- play) ausgestaltet ist. Dadurch lässt sich in besonders vorteilhafter Weise eine realitätsnahe Darstellung der Simulationsumgebung ermöglichen.
Außerdem kann in einer vorteilhaften Ausgestaltung des Systems vorgesehen sein, dass mittels einer Benutzerschnittstelle ein Benutzer des Systems die Darstellungsposition und/oder die Darstellungsrichtung der Darstellung der Simulationsumgebung beeinflussen kann.
Weitere Vorteile und Einzelheiten des erfindungsgemäßen Verfahrens werden nachfolgend unter Zuhilfenahme der beigefügten, schematisierten Zeichnungen von Ausführungsbeispielen erläutert werden. Darin zeigen:
Fig. 1 eine schematische Darstellung eines erfindungsgemäßen Systems;
Fig. 2 eine schematische Darstellung betreffend die die Verfahrensschritte zur Erzeugung von Echtzeit-Texturen. Die Fig. 1 zeigt Komponenten eines Systems, welches bei der Ausführung des erfindungsgemäßen Verfahrens zum Einsatz kommen kann. Die Fig. 1 zeigt eine Simulationsvorrichtung 1 , welche eine Benutzerschnittstelle 2, eine erste Anzeige 3, eine zweite Anzeige 4, eine Kabelverbindung 5 zum physischen Verbinden der Simulationsvorrichtung 1 mit einem Datenspeicher und ein drahtloses Übertragungsmittel 6 zur Echtzeit- Übertragun; von Informationen, insbesondere Echtzeit- Bildaufnahmen 27 an die Simulationsvorrichtung. Darüber hinaus kann die Simulationsvorrichtung einen Datenbasisgenerator 7, eine Datenbasis 22 sowie eine Darstellungsvorrich- tung 8 aufweisen.
Die von einer Sensoreinrichtung 9 und deren Sensor 11 aufgenommenen Bildaufnahmen 12 umfassen beispielsweise die gesamte von der Simulationsumgebung abzudeckende Realumgebung 10 mitsamt des realen Ge- ländes 15 sowie der im realen Gelände 15 befindlichen realen Objekte 16. Anhand der Bildaufnahmen 12 der Sensoren 11 der Sensoreinrichtung 9 werden die Daten der Datenbasis 22 generiert, die die geospezifische Abbildung der Realumgebung erlauben und zumindest einen Oberflächenverlauf der Realumgebung beschreiben. Besonders vorteilhaft ist es dabei, wenn während eines Überflugs der Sensoreinrichtung 9 über die Realumgebung 10 gewonnenen Bildaufnahmen 12 der Realumgebung eine Positionsbestimmungseinrichtung 13 in einer möglichst hohen Frequenz die Posi tion der Sensoreinrichtung 9 und deren Sensor 11 in einem Koordinatensystem der Realumgebung 10 erfasst, aufzeichnet und insbesondere so auf zeichnet, dass die Position mit einer entsprechenden Bildaufnahme 12 ver knüpft werden kann und zudem die Position so häufig bestimmt und aufgezeichnet werden, dass aus der Positionsänderung die Bewegungsrichtuns und die Bewegungsgeschwindigkeit der Sensoreinrichtung 9 abgeleitet und bevorzugt mit den Bildaufnahmen 12 verknüpft werden können. Dies bedeutet beispielhaft, dass jeder der aufgenommenen Bildaufnahmen 12 eine GPS-Ortskoordinate sowie eine Kursangabe und eine Geschwindigkeitsangabe zugeordnet wird. Ebenfalls ist es besonders vorteilhaft, wenn neben den Bildaufnahmen 12 selbst auch weitere, extrinsische und intrinsi- sehe Daten bezüglich der Bildaufnahmen 12 mit den Bildaufnahmen 12 gespeichert werden. Diese können beispielsweise in Form von Metadaten mit den jeweiligen Bildaufnahmen 12 oder den Bilddaten der jeweiligen Bildaufnahmen 12 zusammengespeichert werden. Bei den intrinsischen Eigenschaften der Bildaufnahmen 12 kann es sich beispielsweise um Eigenschaf - ten des Sensors 11 handeln.
Anhand der mit den Bildaufnahmen 12 verknüpften Positionen, Richtungen, Geschwindigkeiten sowie den Informationen über den Sensor 11 können aus den Bildaufnahmen 12 geospezifische Simulationsumgebungen oder ge- gebenenfalls auch georeferenzierte Simulationsumgebungen generiert werden, deren Datenbasen jeweils Daten zur geospezifischen und/oder geo- referenzierten Abbildung der Realumgebung umfassen und zumindest einen Oberflächenverlauf der Realumgebung 10 aufweisen. Um eine vollständige Datenbasis zur geospezifischen Abbildung der Realumgebung 10 erzeugen zu können, kann vorgesehen sein, dass die Sensoreinrichtung 9 die Realumgebung 10 entlang der Route 20 zumindest einmal vollständig überfliegt.
Zudem ist, selbst wenn die Sensoreinrichtung 9 mit einer drahtlosen Übertragungseinrichtung 17 zur Übertragung von Informationen an die Simu- lationseinrichtung 1 schon während des Überflugs über die Realumgebung 10 entlang der Route 20 eingerichtet ist, immer noch eine gewisse Zeit nötig, um aus den Bildaufnahmen 12 eine Datenbasis zu generieren, auf Grundlage derer die Darstellung der Simulationsumgebung erfolgen kann. Dementsprechend erfolgt die Darstellung einer Simulationsumgebung, die lediglich auf den Bildaufnahmen 12 oder vergleichbaren Sensordaten be- ruht, immer unter einem gewissen zeitlichen Versatz oder einer mangelnden zeitlichen Aktualität.
Um diesen Nachteil, zumindest für besonders wichtige Teile der Realum- gebung 10 zu überwinden, sieht das erfindungsgemäße System vor, dass in der Realumgebung 10 zumindest eine Aufnahmeeinrichtung zur Aufnahme von Echtzeit-Bildaufnahmen angeordnet ist. Im Beispiel der Fig. 1 umfasst das System eine erste Aufnahmeeinrichtung 14 sowie eine zweite Aufnahmeeinrichtung 19. Die erste Aufnahmeeinrichtung 14 ist als stereoskopische Aufnahmeeinrichtung ausgebildet und ist somit in der Lage, SD-Echtzeit- Bildaufnahmen 27 zu erzeugen und mittels eines Übertragungsmittels 21 an die Simulationsvorrichtung 1 zu übertragen. Die erste Aufnahmeeinrichtung 14 ist dabei auf einem Träger 18 in Form eines Stativs angeordnet. Die zweite Aufnahmeeinrichtung 19 ist ebenfalls zur Aufnahme von Echtzeit-Bildaufnahmen 27 eingerichtet. Außerdem umfasst die zweite Auf nah - meeinrichtung 19 einen in der Fig. 1 nicht dargestellten Entfernungsmesser, mit dem neben den Echtzeit- Bildaufnahmen 27 auch Entfernungsmessungen zwischen der zweiten Aufnahmeeinrichtung 19 und Teilen der Realum- gebung 10 ausgeführt werden können. Die zweite Aufnahmeeinrichtung 19 umfasst ebenfalls einen Träger 18, der im Fall der zweiten Aufnahme- einrichtung 19 jedoch ein unbemanntes Flugzeug 23 aufweist.
Durch die Ausgestaltung des Trägers 18 der zweiten Aufnahmeeinrichtung 19 in Form eines unbemannten Flugzeugs 23 wird ermöglicht, dass die Position und die Ausrichtung der zweiten Aufnahmeeinrichtung 19 in der Realumgebung 10 verändert, insbesondere ferngesteuert verändert werden kann. Das Flugzeug 23 ist als unbemanntes Flugzeug 23 ausgestaltet, welches zudem die Fähigkeit besitzt, im Flug an ein und derselben Position zu verbleiben. Dadurch kann mit dem Flugzeug 23 die Position und Ausrichtung der Aufnahmeeinrichtung 19 sowohl verändert als auch konstant gehalten werden. Auch die zweite Aufnahmeeinrichtung 19 ist mit einem Übertragungsmittel 21 zur Übertragung der Echtzeit-Bildaufnahmen 27 an die Simulationsvorrichtung 1 verbunden. Über die mit den Aufnahmeeinrichtungen 14, 19 aufgenommenen Echtzeit- Bildaufnahmen 27 lassen sich zumindest für einen Teil der Realumgebung, die oben beschriebenen Nachteile, die aus der benötigten Zeit zwischen der Aufnahme der Bildaufnahmen 12 und der Darstellung der Simulationsumgebung mittels der Simulationsvorrichtung 1 ergeben, ausräumen. Denn über die jeweiligen Übertragungsmittel 21 der ersten und zweiten Aufnahmeeinrichtung 14, 19 können die Echtzeit-Bildaufnahmen 27 an die Simulationsvorrichtung 1 übertragen werden und dort in die Darstellung der Simulationsumgebung eingeblendet oder eingebunden werden oder können zumindest die Darstellung der Simulationsumgebung beeinflussen.
Dazu ist es besonders sinnvoll, wenn auch die Position und Ausrichtungen der Aufnahmeeinrichtungen 14, 19 an die Simulationsvorrichtung 1 übertragen werden. Ähnlich wie zu den Bildaufnahmen 12 des Sensors 11 ist es weiterhin besonders vorteilhaft, wenn auch die Aufnahmeeinrichtungen 14, 19 betreffende Eigenschaften oder Daten an die Simulationsvorrichtung 1 übertragen werden oder anhand einer Kennung der jeweiligen Aufnahmeeinrichtung 14, 19 der Simulationsvorrichtung 1 bekannt sind.
Denn dadurch lassen sich die von den Aufnahmeeinrichtungen 14, 19 aufge- nommene Echtzeit-Bildaufnahmen 27 aus dem Bezugssystem der Realumgebung in das Bezugssystem der Simulationsumgebung übertragen, was die Grundlage dafür darstellt, dass die Echtzeit-Bildaufnahmen 27 oder von den Echtzeit- Bildaufnahmen abgeleitete optische Inhalte im Rahmen der Darstellung der Simulationsumgebung dargestellt oder angezeigt werden. Im Rahmen des erfindungsgemäßen Verfahrens kann beispielsweise vorgesehen sein, dass einem Benutzer die Simulationsumgebung bevorzugt oder ausschließlich aus einer Position und unter einer Richtung dargestellt wird, die einer Position und Ausrichtung der Aufnahmeeinrichtung 14 oder 19 entsprechen. In diesem Fall können die von den Aufnahmeeinrichtungen 14 oder 19 erzeugten Echtzeit- Bildaufnahmen 27 weitestgehend unverarbeitet in die Darstellung der Simulationsumgebung aufgenommen oder eingeblendet werden. Soweit jedoch gewünscht ist, dass die Darstellungsposition und/oder die Darstellungsrichtung der Simulationsumgebung während der Darstellung frei wählbar ist, so ist es notwendig, mittels des erfindungsgemäßen Systems oder im Rahmen des erfindungsgemäßen Verfahrens sicherzustellen, dass die aus den Echtzeit- Bildaufnahmen 27 abgeleiteten grafischen Inhalte, die zusammen mit der Darstellung der Simulationsumgebung dargestellt werden sollen, die Darstellung der Simulationsumgebung nicht nachteilig beeinflussen oder verfremden. Dazu gehört u. a. eine Entzerrung oder gewollte Verzerrung der Echtzeit-Bildaufnahmen 27 sowie eine Prüfung der Sichtbarkeit der von den Aufnahmeeinrichtungen 14, 19 aufgenommenen Teilen der Re- alumgebung bzw. Simulationsumgebung aus der jeweiligen Darstellungsposition und oder der jeweiligen Darstellungsrichtung der Simulationsumgebung.
Verfahrensschritte, die sich mit dieser Anpassung oder Vorverarbeitung der mit den Aufnahmeein richtungen 14, 19 aufgenommenen Echtzeit- Bildaufnahmen 27 beschäftigen, werden nachfolgend mit Bezug auf die Fig. 2 beschrieben.
Die Fig. 2 zeigt beispielhaft einen Ausschnitt aus eine Simulationsumgebung 24, in der realabbildende Objekte 25 in einem realabbildenden Gelände 26 angeordnet sind, wobei die Gesamtheit der Simulationsumgebung 24 einen Oberflächenverlauf 30 umfasst, der die Oberflächen der realabbildenden Objekte 25 und des realabbildenden Geländes 26 beschreibt. Teile des Oberflächenverlaufs 30 sind zum Beispiel die Oberflächen 28.1 , 28.2 und
28.3 des realabbildenden Objekts 25. Der Oberflächenverlauf 30 der Simu- lationsumgebung 24 kann beispielsweise durch ein Höhenraster aufgespannt werden, bei dem jedem Rasterpunkt, beispielsweise Rasterpunkte in der Zeichenebene der Fig. 2, ein Höhenwert, beispielsweise senkrecht auf der Zeichenebene der Fig. 2, zugeordnet wird. Zur Veranschaulichung der Einblendung von Echtzeit-Bildaufnahmen 27 in die Darstellung der Simulationsumgebung sind in der Fig. 2 beispielhaft die Bildebenen 27.1 und 27.2 von Echtzeit-Bildaufnahmen 27 eingezeichnet. Die Bildebenen 27.1 und 27.2 entstehen dabei aus der Zuordnung der Position und Ausrichtung der Aufnahmeeinrichtung 14, 19 in das Bezugssystem der Simulationsumgebung 24. An sich es ist es jedoch zum Durchführen des erfindungsgemäßen Verfahrens nicht zwangsläufig erforderlich, dass Abbildungsebenen 27.1 oder 27.2 erzeugt oder ermittelt werden. Diese dienen vielmehr zur Veranschaulichung der Verfahrensschritte zur Integration oder Einblendung von Echtzeit-Bildaufnahmen in die Darstellung der Simulations- Umgebung 24.
Denn anhand der Oberflächen 28.1 bis 28.3 des realabbildenden Objektes 25 der Simulationsumgebung 24 wird anhand der punktierten und gestichelten Linien jeweils eine Abbildungsvorschrift veranschaulicht, die es ermög- licht, die jeweiligen Teile der Echtzeit-Bildaufnahmen 27 mit den Abbildungsebenen 27.1 und 27.2 auf die Oberflächen 28.1 bis 28.3 zu projizieren und so die Darstellung der Simulationsumgebung um Inhalte zu erweitern, die auf den Echtzeit-Bildaufnahmen 27 resultieren. Gemäß der jeweiligen Abbildungsvorschrift werden die Abschnitte 29.1 und
29.4 der Oberfläche 28.2 zugewiesen. Entsprechend werden die optischen Inhalte im Bereich der Abschnitte 29.1 und 29.3 der Oberfläche 28.1 des realabbildenden Objektes 25 zugeordnet. Schließlich werden die Teile der Echtzeit- Bildaufnahmen 27, im Bereich 29.5 der Abbildungsebene 27.2 der Oberfläche 28.3 des realabbildenden Objekts 25 zugeordnet.
Durch die in der Fig. 2 skizzierte Projektion der Echtzeit-Bildaufnahmen 27 auf den Oberflächenverlauf der Simulationsumgebung 24 wird ermöglicht, dass auch bei einem Auseinanderfallen zwischen Darstellungsposition und Darstellungsrichtung der Simulationsumgebung und Aufnahmeposition und Aufnahmerichtung der Aufnahmeeinrichtungen eine lagerichtige und perspektivisch korrekte Einblendung von Echtzeit-Bildaufnahmen 27 in die Darstellung der Simulationsumgebung 24 ermöglicht wird.
Bei den Echtzeitbildaufnahmen 27 kann es sich auch um 3D-Bildaufnahmen handeln. Die Projektion der 3D-Bildaufnahmen auf die Oberflächen 28 des Oberflächenverlaufs 30 verläuft entsprechend zu der Projektion der 2D- Bildaufnahmen 27 mit dem Unterschied, dass die entsprechenden Projektionen den Oberflächenverlauf 30 ändern und/oder ersetzen können.
Dadurch werden Echtzeit-Oberflächentexturen aus 3D-Bildaufnahmen ge- bildet.
Im Rahmen der Darstellung der Simulationsumgebung kann zudem eine Überprüfung stattfinden, welche Teile des Oberflächenverlaufs der Simulationsumgebung beispielsweise die Oberflächen 28.1 bis 28.3 aus der je- weiligen Darstellungsposition und unter der jeweiligen Darstellungsrichtung aus sichtbar sind, um nur sichtbare Teile des Oberflächenverlaufs bei der Darstellung der Simulationsumgebung darzustellen und ebenfalls nur für sichtbare Teile des Oberflächenverlaufs die Einblendung von Echtzeit- Bildaufnahmen 27 bei der Darstellung der Simulationsumgebung zu berück- sichtigen. Bezugszeichen:
1 Simulationsvorrichtung
2 Benutzerschnittstelle
3 erste Anzeige
4 zweite Anzeige
5 Kabelverbindung
6 Übertragungsmittel
7 Datenbasisgenerator
8 Darstellungsvorrichtung
9 Sensoreinrichtung
10 Realumgebung
1 1 Sensor
12 Bildaufnahme
13 Positionsbestimmungseinrichtung
14 Aufnahmeeinrichtung
15 Gelände
16 Objekt
17 Übertragungseinrichtung
18 Träger
19 Aufnahmeeinrichtung
20 Route
21 Übertragungsmittel
22 Datenbasis
23 Flugzeug
24 Simulationsumgebung
25 realabbildendes Objekt
26 realabbildendes Gelände
27 Echtzeit-Bildaufnahmen erste Bildebene zweite Bildebene erste Oberfläche zweite Oberfläche dritte Oberfläche erster Abschnitt zweiter Abschnitt dritter Abschnitt vierter Abschnitt Oberflächenverlauf

Claims

Patentansprüche:
1 . Verfahren zur Darstellung einer computergenerierten, eine Realum- gebung (10) simulierenden Simulationsumgebung (24), mit einer Datenbasis (22), welche Daten zur geospezifischen Abbildung des realen Geländes (15) und der im Gelände (15) befindlichen realen Objekte (16) umfasst, wobei die Daten zumindest einen Oberflächenverlauf (30) der Realumgebung (10) beschreiben,
g e k e n n z e i c h n e t d u r c h die Verfahrensschritte
- Aufnahme von Echtzeit-Bildaufnahmen (27) von zumindest einem Teil der Realumgebung (10) mit zumindest einer Aufnahmeeinrichtung (14, 19), und
- Darstellung von zumindest einem Teil der Simulationsumgebung
(24) auf einer Anzeige (3, 4), wobei ein Teil der Darstellung von den Echtzeit-Bildaufnahmen (27) gebildet wird oder aus den Echtzeit- Bildaufnahmen (27) abgeleitet wird.
Verfahren nach Anspruch 1
gekennzeichnet durch
Erstellen von zumindest einer Echtzeit-Textur für zumindest einen Teil der Realumgebung (10) aus den Echtzeit-Bildaufnahmen (27) - Projektion der Echtzeit-Textur auf einen Teil des Oberflächenverlaufs (30) während der Darstellung der Simulationsumgebung (24).
Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet,
dass während der Aufnahme der Echtzeit-Bildaufnahmen (27) die Position und/oder die Ausrichtung der Aufnahmeeinrichtung (14, 19) mit aufgenommen wird /werden. Verfahren nach einem der Ansprüche 1 bis 3,
dadurch gekennzeichnet,
dass während der Aufnahme der Echtzeit-Bildaufnahmen (27) Entfernungsmessungen von Entfernungen zwischen einem in der Realumgebung (10) angeordneten Entfernungsmesser und einem Teil der Realumgebung (10) mit aufgenommen werden.
Verfahren nach einem der Ansprüche 1 bis 4,
dadurch gekennzeichnet,
dass die Echtzeit-Bildaufnahmen (27) als dreidimensionale Bildaufnahmen aufgenommen werden oder in dreidimensionale Bildaufnahmen umgewandelt werden.
Verfahren nach Anspruch 5,
dadurch gekennzeichnet,
dass aus dreidimensionalen Echtzeit-Bildaufnahmen (27) eine Echtzeit-Oberflächentextur erstellt wird, die zusätzlich oder alternativ zu dem Oberflächenverlauf (30) der Datenbasis (22) bei der Darstellung der Simulationsumgebung (24) verwendet wird.
Verfahren nach einem der Ansprüche 1 bis 6,
dadurch gekennzeichnet,
dass mit einer Mehrzahl von Aufnahmeeinrichtungen (14, 19) Echtzeit-Bildaufnahmen (27) von zumindest einem Teil der Realumgebuni (10) aufgenommen werden.
Verfahren nach einem der Ansprüche 1 bis 7,
dadurch gekennzeichnet,
dass die Aufnahmeeinrichtung (19) während der Aufnahme ihre Position, insbesondere ferngesteuert, verändert.
9. Verfahren nach einem der Ansprüche 1 bis 8,
dadurch gekennzeichnet, dass die Aufnahmeeinrichtung (14, 19) während der Aufnahme den aufgenommenen Teil der Realumgebung verändert.
Verfahren nach einem der Ansprüche 1 bis 9,
gekennzeichnet durch
eine Überprüfung der Sichtbarkeit der der Echtzeit- Bildaufnahmen (27) im Oberflächenverlauf (30) der Simulationsumgebung (24) aus einer veränderbaren Darstellungsposition und/oder unter einer veränderbaren Darstellungsrichtung der Simulationsumgebung (24).
System zur Darstellung einer computergenerierten, eine Realumgebung (10) simulierenden Simulationsumgebung (24), mit einer Datenbasis (22), welche Daten zur geospezifischen Abbildung des realen Geländes (15) und der im Gelände (15) befindlichen realen Objekte (16) umfasst, wobei die Daten zumindest einen Oberflächenverlauf (30) der Realumgebung (10) beschreiben, mit einer Simulationsvorrichtung (1 ) umfassend eine Anzeige (3, 4) zur Darstellung der Simulationsumgebung (24) aus einer veränderbaren Darstellungsposition und/oder unter einer veränderbaren Darstellungsrichtung und mit einer Aufnahmeeinrichtung (14, 19) zur Aufnahme von zumindest Echtzeit-Bildaufnahmen (27) von einem Teil der Realumgebung (10) d a d u r c h g e k e n n z e i c h n e t ,
dass die Aufnahmeeinrichtung (14, 19) ein Übertragungsmittel (21 ) zur Echtzeit- Übertragung der Echtzeit-Bildaufnahmen (27) an die Simulationsvorrichtung (1 ) aufweist und die Simulationsvorrichtung (1 ) zur Darstellung von zumindest einem Teil der Simulationsumgebung (24) auf einer Anzeige (3, 4) eingerichtet ist, wobei ein Teil der Darstellung von den Echtzeit-Bildaufnahmen (27) gebildet wird oder aus den Echtzeit- Bildaufnahmen (27) abgeleitet wird.
12. System nach Anspruch 1 1 ,
dadurch gekennzeichnet, dass die Simulationsvorrichtung zur Erstellung von zumindest einer Echtzeit-Textur für zumindest einen Teil der Realumgebung aus den Echtzeit-Bildaufnahmen (27) und zur Projektion der Echtzeit-Textur auf einen Teil des Oberflächenverlaufs (30) während der Darstellung der Simulationsumgebung (24) eingerichtet ist.
13. System nach, Anspruch 1 1 oder 12
gekennzeichnet durch
einen Träger (18), der zum Transport und/oder zur Aufbewahrung der Aufnahmeeinrichtung (14, 19) eingerichtet ist.
14. System nach Anspruch 13,
dadurch gekennzeichnet,
dass der Träger (18) ein Fahrzeug oder Flugzeug (23), bevorzugt ein unbemanntes Fahrzeug oder Flugzeug, aufweist.
15. System nach einem der Ansprüche 1 1 bis 14,
gekennzeichnet durch
einen in der Realumgebung (10) angeordneten Entfernungsmesser der Entfernungen zu einem Teil der Realumgebung (10) bestimmt und mit einem Echtzeit- Übertragungsmittel (21 ) zur Echtzeit- Übertragung von Entfernungsmessungen an die Simulationsvorrichtung (1 ) verbunden ist. 16. System nach einem der Ansprüche 1 1 bis 15,
dadurch gekennzeichnet,
dass die Aufnahmeeinrichtung (14) zur Aufnahme von dreidimensionalen Echtzeit-Bildaufnahmen (27) eingerichtet ist. 17. System nach einem der Ansprüche 1 1 bis 16,
dadurch gekennzeichnet,
dass die Simulationsvorrichtung (1 ) zur Erstellung von zumindest ei- ner Echtzeit-Oberflächentextur für zumindest einen Teil der Realumgebung (10) aus den Echtzeit-Bildaufnahmen (27) und/oder den Echtzeit Entfernungsmessungen und zur Projektion der Echtzeit- Oberflächentextur auf einen Teil des Oberflächenverlaufs (30) der Simulationsumgebung (24) oder zur Darstellung der Echtzeit-
Oberflächentextur anstatt eines Teils des Oberflächenverlaufs (30) der Simulationsumgebung(24) während der Darstellung der Simulationsumgebung (24) eingerichtet ist. 18. System nach einem der Ansprüche 1 1 bis 17,
dadurch gekennzeichnet,
dass die Anzeige (4) als kopfbefestigbare Anzeige (head mounted dislplay) ausgestaltet ist. 19. System nach einem der Ansprüche 1 1 bis 18,
gekennzeichnet durch
eine Benutzerschnittstelle (2) mit der ein Benutzer zumindest die Darstellungsposition und/oder die Darstellungsrichtung zur Darstellung der Simulationsumgebung (24) beeinflussen kann.
PCT/DE2017/100230 2016-04-19 2017-03-22 Verfahren und system zur darstellung einer simulationsumgebung WO2017182021A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP17726539.4A EP3446289A1 (de) 2016-04-19 2017-03-22 Verfahren und system zur darstellung einer simulationsumgebung
CA3016345A CA3016345A1 (en) 2016-04-19 2017-03-22 Method and system for representing a simulation environment

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016107251.6 2016-04-19
DE102016107251.6A DE102016107251A1 (de) 2016-04-19 2016-04-19 Verfahren und System zur Darstellung einer Simulationsumgebung

Publications (1)

Publication Number Publication Date
WO2017182021A1 true WO2017182021A1 (de) 2017-10-26

Family

ID=58800582

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2017/100230 WO2017182021A1 (de) 2016-04-19 2017-03-22 Verfahren und system zur darstellung einer simulationsumgebung

Country Status (4)

Country Link
EP (1) EP3446289A1 (de)
CA (1) CA3016345A1 (de)
DE (1) DE102016107251A1 (de)
WO (1) WO2017182021A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510939A (zh) * 2018-04-24 2018-09-07 中航大（天津）模拟机工程技术有限公司 一种基于柔性oled显示屏的仿真成像系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6080063A (en) * 1997-01-06 2000-06-27 Khosla; Vinod Simulated real time game play with live event
US20110202510A1 (en) * 2010-02-17 2011-08-18 Lockheed Martin Corporation Supporting multiple different applications having different data needs using a voxel database
DE102015120999A1 (de) 2015-12-02 2017-06-08 Krauss-Maffei Wegmann Gmbh & Co. Kg Verfahren zur Erzeugung und Darstellung einer computergenerierten, eine Realumgebung abbildenden Simulationsumgebung

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7583275B2 (en) * 2002-10-15 2009-09-01 University Of Southern California Modeling and video projection for augmented virtual environments
US20050195096A1 (en) * 2004-03-05 2005-09-08 Ward Derek K. Rapid mobility analysis and vehicular route planning from overhead imagery

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6080063A (en) * 1997-01-06 2000-06-27 Khosla; Vinod Simulated real time game play with live event
US20110202510A1 (en) * 2010-02-17 2011-08-18 Lockheed Martin Corporation Supporting multiple different applications having different data needs using a voxel database
DE102015120999A1 (de) 2015-12-02 2017-06-08 Krauss-Maffei Wegmann Gmbh & Co. Kg Verfahren zur Erzeugung und Darstellung einer computergenerierten, eine Realumgebung abbildenden Simulationsumgebung

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
D. BULATOV ET AL: "CONTEXT-BASED URBAN TERRAIN RECONSTRUCTION FROM UAV-VIDEOS FOR GEOINFORMATION APPLICATIONS", ISPRS - INTERNATIONAL ARCHIVES OF THE PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES, vol. XXXVIII-1/C22, 16 September 2011 (2011-09-16), pages 75 - 80, XP055384726, DOI: 10.5194/isprsarchives-XXXVIII-1-C22-75-2011 *
DIMITRI BULATOV ET AL: "Ad-hoc model acquisition for combat simulation in urban terrain", SPIE - INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING. PROCEEDINGS, vol. 8538, 25 October 2012 (2012-10-25), US, pages 85380G, XP055384729, ISSN: 0277-786X, ISBN: 978-1-5106-0753-8, DOI: 10.1117/12.974486 *
POLLEFEYS M ET AL: "Detailed Real-Time Urban 3D Reconstruction from Video", INTERNATIONAL JOURNAL OF COMPUTER VISION, KLUWER ACADEMIC PUBLISHERS, BO, vol. 78, no. 2-3, 20 October 2007 (2007-10-20), pages 143 - 167, XP019581883, ISSN: 1573-1405 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510939A (zh) * 2018-04-24 2018-09-07 中航大（天津）模拟机工程技术有限公司 一种基于柔性oled显示屏的仿真成像系统

Also Published As

Publication number Publication date
DE102016107251A1 (de) 2017-10-19
EP3446289A1 (de) 2019-02-27
CA3016345A1 (en) 2017-10-26

Similar Documents

Publication Publication Date Title
EP1650534B1 (de) Verfahren zur Pilotenunterstützung bei Landungen von Helikoptern im Sichtflug unter Brown-Out oder White-Out Bedingungen
EP2491530B1 (de) Bestimmung der pose einer kamera
EP2101867B1 (de) Sehhilfe mit dreidimensionaler bilderfassung
EP2464098B1 (de) Umfeld-Darstellungsvorrichtung sowie ein Fahrzeug mit einer derartigen Umfeld-Darstellungsvorrichtung und Verfahren zur Darstellung eines Panoramabildes
DE102011115739A1 (de) Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen
DE102011075703A1 (de) Verfahren und Vorrichtung zur Kalibrierung einer Projektionseinrichtung eines Fahrzeugs
DE3219032A1 (de) Stereophotogrammetrisches aufnahme- und auswerteverfahren sowie auswertevorrichtung
DE102015120999A1 (de) Verfahren zur Erzeugung und Darstellung einer computergenerierten, eine Realumgebung abbildenden Simulationsumgebung
EP1628262A2 (de) Verfahren und Vorrichtung zur Darstellung einer dreidimensionalen Topographie
DE102006006001B3 (de) Verfahren und Anordnung zum Einblenden ortsbezogener Informationen in eine visuelle Darstellung oder Ansicht einer Szene
EP2859531B1 (de) Verfahren zur bildbasierten veränderungserkennung
DE102019216548A1 (de) Verfahren und mobile Erfassungsvorrichtung zur Erfassung von Infrastrukturelementen eines unterirdischen Leitungsnetzwerks
WO2017092733A1 (de) Verfahren zur vorbereitenden simulation eines militärischen einsatzes in einem einsatzgebiet
WO2017182021A1 (de) Verfahren und system zur darstellung einer simulationsumgebung
DE19746639A1 (de) Verfahren zur digitalen Erfassung räumlicher Objekte und Szenen für eine 3D-Bildkarte sowie 3D-Bildkarte
DE102011084596A1 (de) Verfahren zum Assistieren eines Fahrers in einer fremden Umgebung
DE102014116904A1 (de) Verfahren zum optischen Abtasten und Vermessen einer Szene und zur automatischen Erzeugung einesVideos
WO2013143982A1 (de) Verfahren zum automatischen betreiben einer überwachungsanlage
WO2017144033A1 (de) Verfahren zur ermittlung und darstellung von veränderungen in einer ein reales gelände und darin befindliche reale objekte umfassenden realumgebung
DE102012213336A1 (de) Verfahren und Vorrichtung zur Ergänzung einer digitalen Karte um Höhenangaben an vorbestimmten geografischen Positionen
DE102016224886B3 (de) Verfahren und Vorrichtung zur Ermittlung der Schnittkanten von zwei sich überlappenden Bildaufnahmen einer Oberfläche
EP2940624A1 (de) Verfahren zum Erstellen eines dreidimensionalen virtuellen Modells einer Umgebung für Anwendungen zur Positionsbestimmung
DE102019102423A1 (de) Verfahren zur Live-Annotation von Sensordaten
WO2017092734A2 (de) Verfahren zur darstellung einer simulationsumgebung
DE102015120929A1 (de) Verfahren zur vorbereitenden Simulation eines militärischen Einsatzes in einem Einsatzgebiet

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 3016345

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 2017726539

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017726539

Country of ref document: EP

Effective date: 20181119

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17726539

Country of ref document: EP

Kind code of ref document: A1