WO2017144033A1 - Verfahren zur ermittlung und darstellung von veränderungen in einer ein reales gelände und darin befindliche reale objekte umfassenden realumgebung - Google Patents

Verfahren zur ermittlung und darstellung von veränderungen in einer ein reales gelände und darin befindliche reale objekte umfassenden realumgebung Download PDF

Info

Publication number
WO2017144033A1
WO2017144033A1 PCT/DE2016/100584 DE2016100584W WO2017144033A1 WO 2017144033 A1 WO2017144033 A1 WO 2017144033A1 DE 2016100584 W DE2016100584 W DE 2016100584W WO 2017144033 A1 WO2017144033 A1 WO 2017144033A1
Authority
WO
WIPO (PCT)
Prior art keywords
environment
height
real
simulation
comparison
Prior art date
Application number
PCT/DE2016/100584
Other languages
English (en)
French (fr)
Inventor
Manuel Pabst
Michael Haubner
Original Assignee
Krauss-Maffei Wegmann Gmbh & Co. Kg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Krauss-Maffei Wegmann Gmbh & Co. Kg filed Critical Krauss-Maffei Wegmann Gmbh & Co. Kg
Publication of WO2017144033A1 publication Critical patent/WO2017144033A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30212—Military
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present invention relates to a method for detecting and displaying changes in a real environment comprising a real estate and real objects located therein.
  • the determination and presentation of changes in a real environment comprising a real estate and real objects contained therein is also of great importance for civil protection, surveillance and / or security technology.
  • a natural disaster in a remote region of the world it may be particularly important for the rapid, targeted, and effective use of tools and personnel to quickly, accurately, and comprehensively ascertain what changes in the real environment have been caused by the natural disaster.
  • a landslide it is particularly important to know which parts of the infrastructure in the affected area, ie real objects in the real environment, are buried by masses of earth and are thus unusable.
  • the destruction or damage of buildings or other objects in this context is an important information.
  • the conditions include the time of day, the season and the weather.
  • the respective altered shadow of the terrain and / or the real objects located in the real estate can lead to the investigation of changes in the real environment, esp - the automation which is desirable for detecting changes in large areas of the real environment can not be realized or can only be realized at disproportionately high expense.
  • a further problem in the evaluation of two-dimensional image recordings is that the image recordings are rarely recorded from the exactly identical position and / or orientation.
  • the resulting differences in the perspective of the images also lead to the fact that the determination of changes in the real environment, in particular the automatic detection of changes in a large area of the real environment is much difficult to impossible, even if the available for comparison image captures the depict the same part of the real environment.
  • this object is achieved by carrying out an evaluation of at least two sentences recorded in time offset from sensor data recorded during an overflight and / or transit through the real environment, wherein the evaluation is the generation a computer-generated simulation environment which maps the real environment geospecifically from one set of sensor data, and wherein the respective simulation environment maps at least one height profile of the real environment at the time of recording, and wherein the evaluation further comprises at least one comparison of the at least two height curves of the generated simulation environments ,
  • the method according to the invention further provides that after the evaluation of the sensor data, the representation of at least the result of the comparison of the at least two height profiles of the generated simulation environment takes place.
  • the method is based on the basic idea according to the invention a three-dimensional or at least 2.5-dimensional mapping of the real environment, namely to generate the so-called simulation environment from the respective set of sensor data and to determine and display changes in the real environment at least the height progressions of the surface of FIG , 5- or 3-dimensional simulation environment with each other to compare.
  • imaging simulation environments and their height gradients has the advantage that especially in a generation of georeferenced simulation environments, the recording position or recording positions and the recording direction or Aufnahichtichtitch the sensor data, the evaluation of the simulation environments or their height gradients to determine Changes in the real environment can not complicate or frustrate, since first a corresponding geospecific, possibly even geo-referenced simulation environment is generated from the available sensor data of a respective recording time and the recording positions and recording directions of the sensor data irrelevant or at least negligible, since the height gradients of Simulation environments to capture differences in simulation environments and thereby capture difference be used in the real environment, wherein the generated simulation environments no longer or hardly depend on the positions and orientations with which the sensor data were generated.
  • a first advantageous embodiment of the method provides that the result of the comparison of the at least two height gradients is evaluated on the basis of at least one weighting parameter and displayed as a function of the evaluation.
  • the evaluation would aim to take into account only those parts of the simulation environment simulating the real environment in the presentation in which objects were originally arranged which have a building-like character.
  • the assessment would aim to limit the presentation of the changes to areas where there is a significant height difference in height gradients, such as a collapse or partial collapse of a building.
  • the aforementioned examples could of course also be combined with each other and / or linked with other height barriers. Accordingly, it is provided in a further particularly preferred embodiment of the method to evaluate the result of the comparison of the at least two height gradients on the basis of at least one predefined height barrier, wherein the height barrier preferably relates to a local height difference of the height gradients.
  • the proposed method provides a further embodiment, which makes it possible to deliberately favor changes in the real environment with a minimum of areal extent in the representation of the detected changes.
  • This embodiment provides that the result of the comparison of the at least two height gradients is evaluated on the basis of at least one predefined surface barrier, which relates to a two-dimensional extent of height differences of the height profiles.
  • the described surface barrier with several other weighting parameters can be included together in the evaluation of the result of the comparison.
  • a combination of a vertical barrier and a surface barrier can be provided, which then provides in the above-mentioned example of detection and representation of forest clearings in the real environment that only those detected or determined changes in the real environment in the context of the representation of the changes by the proposed method Find entrance, in which over a surface of at least 100 square meters a continuous height difference of one meter or more was determined.
  • Such a combination of weighting parameters in the context of the evaluation of the result of the comparison of the height profiles of the simulation environments increases the likelihood that the detected and displayed areas of the simulation alvironment actually affect forest clearance. The same applies mutatis mutandis to other areas of application of the method and according to predefined area and / or height barriers.
  • a further advantageous embodiment of the method provides that the result of the comparison of the at least two altitude gradients is evaluated on the basis of at least one predefined safety sector, which comprises a specific area of the simulation environment.
  • the corresponding security sectors can be specified and / or changed statically or dynamically by the user of the method, for example.
  • a user may define an area around a message building, hospital, or strategic hill as a security sector in the simulation environment. This can be done via different types of user input.
  • a definition of a security sector can be made by means of a corresponding user interface on the basis of a representation of a simulation environment or at least a section of the simulation environment. If the simulation environments are generated not only geospecifically but also georeferenced, the definition of the safety sector can also be defined by means of corresponding geodesics, such as GPS coordinates.
  • it is particularly advantageous if the comparison of the simulation environments used to determine changes in the real environment for at least two height gradients allows an automatic evaluation that particularly takes into account previously defined real objects and the corresponding real-imaging objects in the simulation environments.
  • Aircraft are characterized in their reproduction in the computer generated from the sensor data simulation environments, in particular with regard to the height profile by a particularly characteristic shape. Because the height profile of an aircraft in the area of the fuselage and in the area of the wings clearly and in some cases even depends on the type of the environment, in particular on the surrounding real terrain.
  • Such a characteristic height profile which can be described both by a planar extent and by a corresponding height or a height profile, can thus be used in the form of predefined data records in order to pre-store an aircraft with a correspondingly unambiguous contour or signature in the course of the altitude and to take into account in the evaluation of the comparison of the at least two height gradients of the generated simulation environments.
  • a further embodiment of the method provides that the result of the comparison of the at least two height gradients is evaluated by at least one predefined endangerment object that is defined by at least one two-dimensional surface extent and / or one height profile.
  • the method provides for the initial selection of a usage profile which leads to a selection of at least one, preferably a plurality of predefined evaluation criteria for the evaluation of the result of the comparison of the height profiles.
  • the criteria may correspond to the criteria described above or other criteria. In this way, the method described can be adapted particularly simply and effectively to a large number of applications.
  • the above-described embodiment of the method preferably relates to an evaluation or evaluation of the changes determined by the evaluation of the result of the comparison of the at least two height profiles of the simulation environments, in each case tailored to the intended use of the method.
  • the method enables a flexible representation of the determined and optionally evaluated changes in the real environment, preferably adapted to the respective intended use.
  • an embodiment of the method provides that the representation of the result of the comparison of the at least two height progresses takes place in a static display mode in which a representation of at least a part of the simulation environment takes place on a display device, wherein the results of the comparison by a optical, are represented in particular by a color highlighting in the representation of the simulation environment.
  • a representation of one of the simulation environments generated from the at least two sets of sensor data is used as the basis of the representation, and in this illustration a highlighting takes place at the locations of the simulation environment in which in each case, a change in the simulation environment which was classified as being presented as part of the evaluation and thus a corresponding change in the real environment was ascertained.
  • a representation of the simulation environment can be used, which is based both on the sensor data obtained earlier in time as well as a representation of the simulation environment, which is based on the later recorded sensor data.
  • the static display mode has the advantage that the locations of the changes in the simulation environment can be identified particularly quickly and easily by the visual, in particular color highlighting of the results of the comparison as part of a representation of a simulation environment. Accordingly, for the static display mode, a representation of the simulation environment on a small scale is recommended, which provides a good overview of the simulation environment or its parts and the changes detected.
  • the representation of only one computer-generated simulation environment in the context of the static display mode has the disadvantage that the representation makes the location of the change in the simulation environment recognizable, but the change per se can not or at least can not be identified with certainty , Therefore, in the context of a semi-static display mode, it can also be provided that, in particular in response to a user a change between representations of at least two different simulation environments takes place.
  • a representation of an optical in particular color emphasis on the place of change in the representation of a simulation environment on the change of the representation of the simulation environment and the change itself can be perceived.
  • a kind of "before-after" presentation that improves the perceptibility and recognizability of the change in the real environment can also take place.
  • the representation of the result of the comparison takes place in a dynamic representation mode a sequence of representations of at least a section of the simulation environments takes place on a display device, wherein the results of the comparison are represented by an optical see, in particular by a color highlighting in the representation of the simulation environment.
  • the dynamic display mode has the advantage that a larger scale can be used for the display. Accordingly, the dynamic display mode can, for example, take the form of a video on a display device which is generated from individual sections of the simulation environment and in which the section of the simulation environment successively increases from a change in the real environment detected or determined in the context of the result of the comparison a next equally determined change in the real environment moves.
  • the dynamic display mode may be generated as a video representing an overflight over the simulation environment from a change in the real environment to the next determined change in the real environment as a result of the comparison.
  • the dynamic rendering mode provides a lesser overview of all the changes in the real environment detected as part of the result of the comparison, it allows a user to sequentially display or display each of the changes on an appropriately scaled scale, such that Users or operators can analyze and / or evaluate each of the changes. This prevents, for example, that one of the detected and displayed changes in the real environment is overlooked or ignored.
  • a further advantageous embodiment of the method provides that in the dynamic and / or static display mode, the representation of the simulation environment in a plan view, in particular as a map representation, takes place. This is particularly advantageous if the purpose of the proposed method and / or the correspondingly determined, optionally evaluated and illustrated changes in the real environment are more concerned with the presentation of the change itself than with the representation of the details of the changes or respective changes arrives.
  • a representation in a plan view for example in the form of a map display, for the determination and presentation of clearances, in particular forest clearings in the real environment, advantageous because this representation allows a quick and easy detection and optionally further processing of map display, in the as a result of the comparison of the at least two height profiles of the generated simulation environments, the areas affected by deforestation or surfaces of the real environment as determined changes.
  • the representation of the change in the real environment an analysis of the respective object, such as a vehicle or the corresponding environment in which the change has taken place, is displayed or displayed.
  • the representation of the simulation environment in an oblique view, in particular from a bird's eye view representation position the display position automatically at least based on the result of the comparison of the height gradients or freely selectable based on a user input is selected.
  • the representation of the simulation environment depicting the real environment in an oblique view as part of the representation of the determined change of the real environment has the advantage that spatial relationships can be better recognized.
  • the possibly automatically selected display position of the oblique view in particular bird's eye perspective view, has the advantage that the oblique view of the simulation environment can be generated and displayed in such a way that the change, in particular the position of the change, is not covered or partially covered by other parts of the simulation environment becomes.
  • the choice of display position is preferably automated so that the perspective view of the simulation environment allows a free or unobstructed view of the location of the determined change.
  • a user can select and / or change the display position in order to obtain a comprehensive picture of the respectively determined or illustrated changes in the display position Real environment to be able to do.
  • a representation of the simulation environment and the result of the comparison of the at least two altitude profiles are represented by a user input to the user as if the user controlled an aircraft or an aircraft via the simulation environment simulating the real environment geospecifically and thereby the simulation environment consider freely selectable positions and directions.
  • a change is made between the static and the dynamic display mode, in particular in response to a user input.
  • the representation of the karten change for example, done so that initially in a static display mode in the form of a map top view of the simulation environment and the changes shown in the real environment an overview is mediated and then a change takes place in the dynamic representation mode, in the example in the form of a representation a bird's eye perspective view with variable display position of the simulation environment is a detailed representation of individual changes in the real environment geo-specific imaging simulation environment.
  • the generation of the simulation environment comprises the generation of raster data, wherein the altitude profile is mapped by a height raster in which each raster point is assigned a height value.
  • generation of the simulation environment reference is made to the German patent application DE 10 2015 120 999, the content of which is hereby fully incorporated into the present disclosure.
  • sensor data such as distance measurements or image recordings
  • a 2.5-dimensional or three-dimensional image of the real environment can be created.
  • a raster data-based simulation environment can be generated from the respective sensor data particularly quickly and effectively, which reduces the time required for the method to detect and present changes in the real environment as the basis of the simulation environment the advantage that, for example, when using a height raster, in each case one raster point is assigned a height value, which in turn can be used in the evaluation of the simulation environments in the context of the method described here, since the evaluation comprises at least one comparison of the height profiles of the generated simulation environments.
  • the height curves of the simulation environment and the height values assigned to the respective grid points of a height grid coincide, so that no further derivation or further processing is necessary from the height values of the grid points in order to arrive at the height profile of the simulation environment.
  • the evaluation in the context of at least one comparison of the at least two height profiles of the generated simulation environments is also made particularly advantageous if the evaluation can be limited to a comparison of respective height values.
  • another particularly advantageous embodiment of the proposed method provides that the halftone dots of different simulation environments map identical points in the real environment. This ensures that each time a simulation environment is created, halftone dots represent an invariable foundation with a corresponding reference to the real environment.
  • the halftone dots can then be defined on predefined points or patterns of the real environment and correspondingly incorporated into the simulation environment. be transferred, whereby the grid points of different simulation environments map identical points of the real environment by the geo-referenced specification of the grid points to be generated in the real environment.
  • a comparison of the at least two height profiles of the generated simulation environments in the proposed method reduces to a corresponding subtraction of the at least two height values of the height raster to one raster point each becomes.
  • the comparison of the at least two height profiles of the generated simulation environments comprises the comparison of height values of mutually corresponding grid points of different simulation environments.
  • the evaluation comprises a comparison of image information, preferably two sets of image recordings, which map at least part of the real environment.
  • the image recordings represent those sensor data from which the simulation environment is generated.
  • the image recordings are generated in addition to the sensor data from which the simulation environment is generated.
  • the image recordings are particularly preferably generated at the same time as the sensor data from which the simulation environment is generated.
  • the evaluation of image information, for. B. together with the evaluation of the height gradients, serve to determine in which area and to what extent the landslide has taken place and / or which parts of the infrastructure are buried by earth masses, damaged or destroyed.
  • the evaluation of, for example, image recordings that depict an urban area at different times of the day may indicate the habitation of the area and other activities.
  • the generation of the computer-generated simulation environment that maps the real environment geospecifically includes the generation of surface textures by projections of image recordings on the height profile or the surface model of the simulation environments, wherein the evaluation at least a comparison of surface textures of the simulation environments.
  • various special features must be taken into account. Among other things, the position from which the image capture in the real environment is captured and the direction or orientation under which it is captured and other parameters associated with the imaging or imaging system must be documented together with the image capture.
  • a schematic representation of a system for determining and displaying changes in a real environment comprising a real estate and real objects contained therein;
  • Fig. 2 is a schematic representation of a plan view
  • Fig. 3 is a schematic representation of a side view of the
  • FIG. 4 shows a schematic representation of the height profile of the simulation environment of FIG. 2 along the line L1;
  • Fig. 5 is a schematic representation of the height profile of
  • Fig. 6 is a schematic representation of a plan view
  • Fig. 1 1 a to 1 1 c is a schematic representation of the comparison of the height profiles of Fig. 5 and Fig. 9;
  • Fig. 12 is a schematic representation of a representation of a change in the real environment in a static presentation mode of the method
  • Fig. 13 is a schematic representation of a method for
  • Fig. 1 shows components of a system which can be used in carrying out the method according to the invention.
  • 1 shows a computer system 1 embodied as a local computer, which has an operating device 2, a first display device 3, a second display device 4, a cable connection 5 for physically connecting the computer system 1 to a sensor data memory and a wireless communication interface 6 for wireless communication.
  • the computer system 1 includes simulation environment generator 7, a simulation environment memory 8, and an evaluation unit 22.
  • the embodiment of the computer system 1 shown in FIG. 1 is merely an example.
  • the computer system 1 may only have a display device 3 or 4.
  • a variety of other changes or adaptations are possible without affecting the suitability of the computer system to detect and present changes in a real environment comprising a real estate and real objects therein.
  • a networked and / or decentralized computer system distributed over any number of locations can also be used.
  • the simulation environment generator 7 and the evaluation unit 22 are arranged at a first location, whereas the simulation environment memory 8 and the display devices 3 and 4 are distributed at a second location or over several further locations and the corresponding parts of the simulation environment Computer system 1 communicate over one or more data connections, in particular send and receive data.
  • the sensor data 12 recorded by a sensor device and its recording device 11 form, for example, the entire real environment 10 to be covered by the simulation environment, together with the real terrain 15 and the real objects 16 located in the real terrain 15. It is particularly advantageous if the sensor data 12 obtained during the overflight maps the real environment redundantly, ie certain or all regions of the real environment are recorded from different positions.
  • a position determining device 13 detects the position of the sensor carrier and its receiving device 11 in a coordinate system of the real environment 10 recorded, recorded and recorded in particular so that the position can be linked to corresponding sensor data 12 and also determines and records the position so often that derived from the change in position, the direction of movement and the speed of movement of the Sensorträ- 9 and preferably also linked to the sensor data can be.
  • the recorded sensor data 12 for example, a GPS location coordinate and a course indication and a speed indication are assigned. It may be provided that the sensor data 12 are collected as image recordings. Alternatively or additionally, the sensor data may also include range measurements or other measurements of the real environment.
  • three-dimensional surface models can be generated, which are based, for example, on point clouds or vector data.
  • Surface models are generated based on a height grid by assigning a height value in each grid point. In the latter case, it is a 2.5-dimensional surface model, since only one height value can be assigned to each grid point. From the surface model, in each case a height profile of the respective simulation environment can be generated and / or extracted.
  • the simulation environments generated from the sensor data 12 that represent the real environment in a geospecific and true-to-scale manner can be textured, for example, by projecting image recordings onto the surface model in the correct position and thus creating surface textures of the simulation environment.
  • the operating device 2 is designed as a combined operating device with which both general user inputs can be made and the display on the display devices 3 and 4 can be influenced and / or controlled. This means that, for example, a change between a static display mode and a dynamic display mode of the display of changes in the real environment can be triggered via the operating device. In addition, it can be provided, for example, that the section of a simulation environment represented together with the determined changes can be changed or influenced via the operating device 2 as part of the dynamic display mode.
  • inertial and / or gyro sensors could be provided as parts of special operator devices that detect movement of a user and, as a result, impair cause the computer system 1, in particular the display devices 3 and 4.
  • a first display device 3 in the form of a screen and a second display device 4 in the form of a head mountable display is provided.
  • the first display device 3 can be used to define a region of a simulation environment, in particular in a map view of the simulation environment in a static display mode.
  • the display device 4 can be used particularly preferably for representing changes in the real environment in the context of a dynamic display mode.
  • the cable connection 5 of the computer system 1 can optionally be provided, depending on whether it is provided that transmission of sensor data of a sensor data memory of the sensor carrier 9 should already take place during the overflow via the real environment 10 by means of the wireless communication interface 6 or following a completed overflight via the real environment 10 by a physical connection between see the sensor data memory of the sensor carrier 9 and the computer system 1 is to take place.
  • the proposed system also includes corresponding control devices, which may be integrated, for example, in the computer system 1 and in the sensor carrier 9 and ensure that the sensor carrier 9 during the overflight over the real environment 10 a Flight route 20 with waypoints 21 tracked.
  • the flight route can be controlled by an operator or user during the overflight, as well as predefined by means of appropriate programming in advance of the overflight.
  • the sensor data are processed or prepared after receipt by the computer system 1 by the simulation environment generator 7.
  • the simulation environment generator 7 may have, for example, a processor, a main memory and other facilities.
  • simulation environment generator 7 from the sensor data 12 recorded as part of the overflow or transit through the real environment into a computer-generated simulation environment that maps the geospecifically to the real environment. This is done for two or more sets of sensor data, each of which at least partially maps the same area of the real environment 10 at different times.
  • the simulation environment generator 7 thereby creates surface models, in particular 2.5-dimensional or three-dimensional surface models, which are optionally textured with surface textures generated from image recordings.
  • At least a comparison of the elevation curves described by the respective simulation environments follows the real environment. This can be carried out particularly advantageously if the simulation environments have a common reference system, in particular based on an identical height grid with a corresponding reference to the real environment, since then the corresponding height profiles can be easily compared with each other by the matching reference systems.
  • a kind of difference environment results, which is preferably configured in terms of value, thus comprising no negative changes in the height profiles.
  • the difference environment can only the differences in the height gradients of the simulation environments, preferably also with Reference to the reference system or coordinate system.
  • This result of the comparison of the height profiles can be evaluated on the basis of weighting parameters and displayed as a function of the evaluation. This means that, if possible, significant or potentially significant changes in the simulation environments, in particular the height profiles of the simulation environments, should be displayed in the difference environment only for the respective application. This serves to evaluate the result of the comparison of the height curves for noise suppression of the result for the respective application.
  • FIG. 2 shows a detail of a simulation environment 14 depicting a real environment 10.
  • the simulation environment 14 comprises real-image-forming objects 17, such as a house or a tree.
  • real-image-forming objects 17 such as a house or a tree.
  • the grid points 19 to each of which a height value is assigned, which are perpendicular to the plane of the drawing in the illustration of FIG.
  • one of the real-imaging objects 17 of the simulation environment 14 is a hospital or embassy building which is located in a part of the real environment in which terrorist attacks are expected must become.
  • a safety sector 23 which is assigned to the real-imaging object 17 as part of the simulation environment or at least the simulation environment 14, to have an influence on the evaluation of the result of the comparison of the height profiles of the simulation environments 14.
  • the security sector 23 around the real-imaging building of the object 17 means that changes in the height profiles of the simulation environments 14 within the security sector 23 are evaluated differently in the context of the evaluation and represented differently.
  • the proposed method will be illustrated below by way of exemplary lines along the height curves of the simulation environment or simulation environments 14. These are the lines L1 and L2 shown in FIG. However, the corresponding method steps can also be executed equally for all other dotted lines 18 shown in the figure. In addition, an interpolation between the lines and a corresponding further processing of the result of the interpolation can be provided.
  • FIG. 3 shows the section of the simulation environment 14 again in a side view, so that the real-imaging objects 17 and the real-imaging terrain 24 are clearly recognizable in order to illustrate the section of the simulation environment 14 that represents the real environment geospecifically.
  • FIG. 4 a detail of the height profile 25 of the simulation environment 14 along the line L1 of FIG. 2 is reproduced accordingly by way of example.
  • the simulation environment of FIG. 2 is to be based on a height raster, for which reason the exemplary height profile 25 permits only a single height value for each raster point along the line L 1 of FIG. 2, which is why ambiguities with respect to a raster point occur still allow detailed mapping of the real environment 10, are not provided.
  • FIG. 4 the height profile 25 of the simulation environment 14 along the line L2 of FIG. 2 is shown in FIG.
  • FIGS. 6 to 9 largely correspond to FIGS. 2 to 5 with the difference that at the time when the sensor data were generated on which the simulation environment of FIG. 6 is based, in the real environment 10 an additional real object 26, namely, a tanker truck was or was located in the region of the real imaging object 17.
  • the object 26 is also located in the security sector 23 of the simulation environment 14 of FIG. 6.
  • the change of the height profile 25 can be recognized by the additional real-image object 26.
  • FIGS. 10a to 10c and 11a to 11c illustrate the comparison of the at least two height profiles of the simulation environment of FIGS. 2 to 5 and the simulation environment of FIGS. 6 to 9, the illustrations of FIGS. 10a and 11a respectively showing the height profile 25 along the FIG Line L1 of Figures 2 and 6 and Figures 10b and 11b, the height profile 25 along the line L2 of Figures 2 and 6 describe.
  • FIGS. 10c and 11c show the result of the comparison of the at least two height profiles of the respective simulation environments.
  • FIGS. 10c and 11c show that the object 26 and the changes in the height profiles of FIGS. 8 and 9 caused thereby form the result of the comparison ,
  • a height barrier 27 is additionally drawn in, which can be predefined, for example, and which stipulates that results of the comparison of the at least two height profiles are not taken into account for a representation of the changes in the real environment, if the result of the comparison is at least two Height gradients in a in a certain area or on a certain area the height barrier 27 does not exceed.
  • FIG. 12 accordingly shows a representation 28 of changes in a real environment, wherein the representation of a simulation environment and the representation of the result of the comparison of the altitude curves comprises the results of the comparison being represented by an optical highlighting 29.
  • the representation 28 is based on the simulation environment 14 of FIG. 6. However, it may also be provided that the representation 28 is based on the simulation environment 14 of FIG. 2. In this case, although the user would be able to perceive the visual emphasis 29 of the result of the comparison in the simulation environment representation 28, the corresponding change in the simulation environment 14 and the underlying change in the real environment would not be apparent from such a representation.
  • FIG. 13 provides an overview of a possible method sequence for determining and displaying changes in a real environment.
  • a first method step S1 the two sets of temporally offset sensor data SD1 and SD2 are loaded into the simulation environment generator 7.
  • the simulation environments 14 are generated therefrom, as shown in detail in FIGS. 2 and 6, for example. These simulation environments 14 map the real environment geospecifically for the respective time of acquisition of the sensor data.
  • a subsequent method step S3 if not already existing anyway, the height profiles are extracted or generated from the simulation environments. The height profiles of the respective simulation environments are compared with one another in method step S4.
  • the result of the comparison of the at least two height gradients is subjected to a optionally provided evaluation in method step S5, for example an evaluation based on a predefined height limit, a rating based on a predefined surface bound, an evaluation based on a predefined security sector within the respective simulation environment and / or subjected to a rating based on at least one predefined hazard object.
  • a predefined height limit for example an evaluation based on a predefined height limit, a rating based on a predefined surface bound, an evaluation based on a predefined security sector within the respective simulation environment and / or subjected to a rating based on at least one predefined hazard object.
  • the optionally evaluated result of the comparison of the at least two height profiles of the simulation environments is displayed or displayed in method step S6, wherein the representation preferably comprises a representation of at least one simulation environment or its parts, the optionally evaluated results of the comparison of the at least two height profiles being preferred visual emphasis in the representation of the simulation environment done.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Verfahren zur Ermittlung und Darstellung von Veränderungen in einer ein reales Gelände und darin befindliche reale Objekte (16) umfassenden Realumgebung (10) umfassend eine Auswertung von zumindest zwei zeitlich versetzt aufgenommenen Sätzen von bei einem Überflug über und/oder einer Durchfahrt durch die Realumgebung (10) aufgenommenen Sensordaten, wobei die Auswertung die Erzeugung einer computergenerierten, die Realumgebung (10) geospezifisch abbildenden Simulationsumgebung aus je einem Satz von Sensordaten umfasst, wobei die Simulationsumgebung zumindest einen Höhenverlauf der Realumgebung zum Zeitpunkt der Aufnahme abbildet und wobei die Auswertung zumindest einen Vergleich der zumindest zwei Höhenverläufe der erzeugten Simutationsumgebungen umfasst, wobei das Verfahren auch eine an die Auswertung anschließende Darstellung von zumindest dem Ergebnis des Vergleichs der zumindest zwei Höhenverläufe der erzeugten Simulationsumgebungen vorsieht.

Description

Verfahren zur Ermittlung und Darstellung von Veränderungen in einer ein reales Gelände und darin befindliche reale Objekte umfassenden
Realumgebung
Die vorliegende Erfindung betrifft ein Verfahren zur Ermittlung und Darstellung von Veränderungen in einer ein reales Gelände und darin befindliche reale Objekte umfassenden Realumgebung.
Das Wissen um die Veränderungen auf der Erdoberfläche spielt in einer Vielzahl von Disziplinen eine erhebliche Rolle. Beispielsweise sind Positionsveränderungen von realen Objekten in einem realen Gelände in Krisen- und Kriegsgebieten besonders interessant, um beispielsweise Truppen- und/oder Materialbewegungen nachvollziehen zu können, wobei ein besonderes Interesse darin besteht zu wissen, zu welchem Zeitpunkt welcher Truppenteil mit welcher Ausrüstung sich auf welchem Teil der Erdoberfläche aufhält oder zu wissen, zu welchem Zeitpunkt welcher Truppenteil mit welcher Ausrüstung in welchen Teil der Erdoberfläche verlegt wurde. In diesem Zusammenhang können die Truppen und deren Material als bewegli- che reale Objekte betrachtet werden.
Alternativ oder zusätzlich ist die Ermittlung und Darstellung von Veränderungen in einer ein reales Gelände und darin befindliche reale Objekte umfassenden Realumgebung auch für den Katastrophenschutz sowie für Über- wachungs- und/oder Sicherheitstechnik von großer Bedeutung. Beispielsweise kann es nach einer Naturkatastrophe in einer abgelegenen Region der Erde besonders wichtig für einen schnellen, zielgerichteten und effektiven Einsatz von Hilfsmitteln und -Personal sein, möglichst schnell, detailliert und umfassend festzustellen, welche Veränderungen in der Realumgebung durch die Naturkatastrophe hervorgerufen wurden. So ist es nach einem Erdrutsch beispielsweise besonders wichtig zu wissen, welche Teile der Infrastruktur in dem betroffenen Gebiet, also in der Realumgebung befindliche reale Objekte, von Erdmassen verschüttet und damit nicht benutzbar sind. Auch die Zerstörung oder Beschädigung von Gebäuden oder sonstigen Objekten stellt in diesem Zusammenhang eine wichtige Information dar.
Im Bereich der Sicherheits- und/oder Überwachungstechnik gibt es ebenfalls eine Vielzahl von Anwendungsgebieten, in denen es besonders wichtig ist, einen guten Überblick über die kurzfristige Veränderung der Realumge- bung, insbesondere der darin befindlichen Objekte zu verfügen. Als eines von vielen Beispielen sei hier die Prävention terroristischer Anschläge genannt. Hier kann es in der Umgebung von strategisch und/oder ideell hochrangigen Zielen von besonderem Interesse sein, die Realumgebung, gegebenenfalls auch weiträumig auf Veränderungen, insbesondere hinsichtlich Veränderungen der in der Realumgebung befindlichen realen Objekte hin zu untersuchen, um beispielsweise das Deponieren, Anbringen oder Präparieren von Sprengvorrichtungen festzustellen und entsprechende Gegenmaß- nahmen, wie beispielsweise die Evakuierung oder die Entschärfung der Sprengvorrichtung, einleiten zu können.
Im Stand der Technik sind dazu unterschiedliche Verfahren bekannt, die vornehmlich auf der Auswertung von zweidimensionalen Bilddaten, insbesondere auf der Auswertung von Luftbildern des entsprechenden Teils der Realumgebung basieren. Derartige Verfahren haben besonders, aber keinesfalls ausschließlich für zweidimensionale Bildaufnahmen im sichtbaren Bereich des elektromagnetischen Spektrums den Nachteil, dass unterschiedli- che Bedingungen bei der jeweiligen Aufnahme der Bildaufnahmen den Vergleich zwischen den zeitlich versetzt aufgenommenen Bildaufnahmen von jeweils dem gleichen Teil der Realumgebung deutlich erschweren.
Zu den Bedingungen zählen unter anderem die Tageszeit, die Jahreszeit und das Wetter. Beispielsweise kann bei Bildaufnahmen, die innerhalb eines kurzen zeitlichen Abstands generiert werden, selbst an einem hellen und sonnigen Tag der jeweils veränderte Schattenwurf des Geländes und/oder der im realen Gelände befindlichen realen Objekte dazu führen, dass die Ermittlungen von Veränderungen in der Realumgebung, insbeson- dere die für die Ermittlung von Veränderungen in weitläufigen Bereichen der Realumgebung wünschenswerte Automatisierung nicht oder nur unter unverhältnismäßig hohem Aufwand realisiert werden kann.
Ein weiteres Problem bei der Auswertung von zweidimensionalen Bildauf - nahmen besteht darin, dass die Bildaufnahmen in den seltensten Fällen aus der exakt identischen Position und/oder Ausrichtung aufgenommen werden. Die daraus resultierenden Unterschiede hinsichtlich der Perspektive der Bildaufnahmen führen ebenfalls dazu, dass die Ermittlung von Veränderungen in der Realumgebung, insbesondere die automatische Ermittlung von Veränderungen in einem großflächigem Gebiet der Realumgebung deutlich erschwert bis unmöglich wird, selbst wenn die zum Vergleich zur Verfügung stehenden Bildaufnahmen den gleichen Teil der Realumgebung abbilden. Vor diesem Hintergrund ist es die A u f g a b e der vorliegenden Erfindung, ein Verfahren zur Ermittlung und Darstellung von Veränderungen in einer Realumgebung anzugeben, mit dem die Veränderungen, auch in einem gro- ßem Gebiet der Realumgebung, möglichst schnell, insbesondere ohne das Zutun eines menschlichen Auswerters, ermittelt und dargestellt werden können.
Diese Aufgabe wird bei einem Verfahren der eingangs genannten Art da- durch g e l ö s t , dass eine Auswertung von zumindest zwei zeitlich versetzt aufgenommenen Sätzen von bei einem Überflug über und/oder einer Durchfahrt durch die Realumgebung aufgenommenen Sensordaten vorgenommen wird, wobei die Auswertung die Erzeugung einer computergenerierten, die Realumgebung geospezifisch abbildenden Simulationsumgebung aus je ei- nem Satz der Sensordaten umfasst, und wobei die jeweilige Simulationsumgebung zumindest ein Höhenverlauf der Realumgebung zum Zeitpunkt der Aufnahme abbildet, und wobei ferner die Auswertung zumindest ein Vergleich der zumindest zwei Höhenverläufe der erzeugten Simulationsumgebungen umfasst. Das erfindungsgemäße Verfahren sieht dabei weiter vor, dass im Anschluss an die Auswertung der Sensordaten die Darstellung von zumindest dem Ergebnis des Vergleichs der zumindest zwei Höhenverläufe der erzeugten Simulationsumgebung erfolgt.
Damit beruht das Verfahren auf dem erfindungsgemäßen Grundgedanken eine dreidimensionale oder zumindest 2, 5-dimensionale Abbildung der Realumgebung, nämlich die sogenannte Simulationsumgebung aus dem jeweiligen Satz von Sensordaten zu erzeugen und zur Ermittlung und Darstellung von Veränderungen in der Realumgebung zumindest die Höhenverläufe der Oberfläche der 2, 5- oder dreidimensionalen Simulationsumgebung mitein- ander zu vergleichen. Dies bedeutet, dass die aus den Sensordaten generierten Höheninformationen der Simulationsumgebungen als Abbildungen der Realumgebung zur Ermittlung von Veränderungen in der Realumgebung herangezogen werden.
Dies hat den Vorteil, dass beispielsweise ein Schattenwurf des Geländes und/oder von Objekten, verursacht durch einen unterschiedlichen Sonnenstand oder unterschiedlichen Helligkeiten bei der jeweiligen Aufnahme von herkömmlichen zweidimensionalen Bildaufnahmen, keinen Einfluss auf den Vergleich haben oder den Vergleich zumindest nicht erschweren. Umgekehrt hat das Berücksichtigen von die Realumgebung zu unterschiedlichen Zeitpunkten abbildenden Simulationsumgebungen und deren Höhenverläufe den Vorteil, dass insbesondere bei einer Erzeugung von georefe- renzierten Simulationsumgebungen auch die Aufnahmeposition oder Aufnahmepositionen sowie die Aufnahmerichtung oder Aufnahmerichtungen der Sensordaten die Auswertung der Simulationsumgebungen oder deren Höhenverläufe zur Ermittlung von Veränderungen in der Realumgebung nicht erschweren oder vereiteln können, da zunächst aus den zur Verfügung stehenden Sensordaten eines jeweiligen Aufnahmezeitpunktes eine entsprechende geospezifische, möglicherweise sogar georeferenzierte Simula- tionsumgebung erzeugt wird und die Aufnahmepositionen und Aufnahmerichtungen der Sensordaten unerheblich oder zumindest vernachlässigbar werden, da die Höhenverläufe der Simulationsumgebungen zur Erfassung von Unterschieden in den Simulationsumgebungen und dadurch zur Erfassung von Unterschieden in der Realumgebung genutzt werden, wobei die erzeugten Simulationsumgebungen nicht mehr oder kaum noch von den Positionen und Ausrichtungen abhängen, mit denen die Sensordaten erzeugt wurden.
Bei der Berücksichtigung von Höheninformationen der Realumgebung zur Ermittlung von Veränderungen mittels der entsprechenden Simulationsumgebungen und deren Höhenverläufen ist es jedoch besonders wünschenswert, dass je nach Zweck, zu dem die Ermittlung und Darstellung der Ver- änderung der Realumgebung erfolgt, möglicherweise nicht jegliche Veränderung der Höhenverläufe oder Höheninformationen dargestellt wird, sondern dass eine entsprechende Vorauswahl der darzustellenden Veränderungen aus den ermittelten Veränderungen getroffen wird. Beispielsweise kann bei der Erfassung und Darstellung von Veränderungen in Urbanen Gebieten die Bewegung von Menschen als in der realen Umgebung befindliche reale Objekte von wenig oder untergeordneter Bedeutung sein. Dies kann beispielsweise der Fall sein, wenn mit dem vorgeschlagenem Verfahren das Verkehrsaufkommen, die Verkehrsdichte und/oder der Verkehrsfluss in ei- nem Urbanen Realumgebung überwacht und entsprechende Veränderungen dargestellt werden sollen.
Für den vorgenannten Zweck, wie auch für eine Vielzahl anderer aber vergleichbarer Aufgaben, ist es demnach besonders wünschenswert, die Dar- Stellung der ermittelten Veränderungen der Realumgebung vorab zu gewichten oder zu filtern, d. h. die ermittelten Veränderungen vor der Darstellung zu bewerten. Dementsprechend sieht eine erste vorteilhafte Ausführungsform des Verfahrens vor, dass das Ergebnis des Vergleichs der zumindest zwei Höhenverläufe anhand von zumindest einem Gewichtungspa- rameter bewertet und in Abhängigkeit der Bewertung dargestellt wird.
Im Fall des Einsatzes des vorgeschlagenen Verfahren bei einer Naturkatastrophe kann es beispielsweise von besonderem Interesse bei der Ermittlung und Darstellung von Veränderungen in der Realumgebung sein, festzustel- len, welche Gebäude in welchem Umfang von den Auswirkungen der Naturkatastrophe beschädigt und/oder zerstört wurden. Da Gebäude selbst in weniger entwickelten Gebieten der Erde in der Regel eine Erhebung von zwei Meter oder mehr über die umgebenen Gelände aufweisen, kann es deshalb bei der Ermittlung und Darstellung von Veränderungen in der Real- Umgebung bei einem solchen Anwendungsfall besonders vorteilhaft sein, nur solche Veränderungen für die Darstellung zu berücksichtigen, die in dem Höhenverlauf der zeitlich früher aufgenommenen Sensordaten und daraus generierten Simulationsumgebung, also vor dem Eintritt der Naturkatastrophe, eine Erhebung von mehr als zwei Meter gegenüber dem umliegenden Gelände aufweisen. Alternativ kann es vorteilhaft sein, bei der Darstellung der Veränderung der Realumgebung nur solche Veränderungen zu berücksichtigen, bei denen der Vergleich der Höhenverläufe unterschiedlicher Simulationsumgebungen einen Unterschied von mehr als zwei Meter ergibt.
Im erstgenannten Fall würde die Bewertung darauf abzielen, dass nur sol- che Teile der die Realumgebung abbildenden Simulationsumgebung bei der Darstellung berücksichtigt werden, in denen ursprünglich Objekte angeordnet waren, die einen gebäudeähnlichen Charakter haben. Im zweitgenannten Beispiel würde die Bewertung darauf abzielen, die Darstellung der Veränderungen auf Bereiche zu begrenzen, in denen ein deutlicher Höhenun- terschied der Höhenverläufe, wie beispielsweise durch ein Einsturz oder einen Teileinsturz eines Gebäudes, vorliegt. Die vorangehend genannten Beispiele könnten selbstredend auch miteinander kombiniert und/oder mit weiteren Höhenschranken verknüpft werden. Dementsprechend ist in einer weiteren besonders bevorzugten Ausgestaltung des Verfahrens vorgesehen, das Ergebnis des Vergleichs der zumindest zwei Höhenverläufe anhand zumindest einer vordefinierten Höhenschranke zu bewerten, wobei die Höhenschranke bevorzugt einen lokalen Höhenunterschied der Höhenverläufe betrifft.
Für die Anwendung des vorgeschlagenen Verfahrens im Bereich der Umweltforschung sowie vielen anderen Einsatzbereiche kann es wünschenswert sein, dass in der Darstellung der ermittelten Veränderungen der Realumgebung nur solche Veränderungen dargestellt werden, die eine entspre- chende räumliche Ausdehnung in der Realumgebung aufweisen. So ist es beispielweise bei der Erforschung, Dokumentation und/oder der Strafverfolgung von Waldrodung, insbesondere illegaler Waldrodung, im Rahmen der Anwendung des vorgeschlagenen Verfahrens besonders wünschenswert, dass nur oder gerade Rodungsgebiete ab einer gewissen Fläche oder räumlichen Ausdehnung im Rahmen des Verfahrens dargestellt werden. Aber auch im Bereich der Sicherheitstechnik sowie der Überwachungstechnik können Veränderungen ab einer gewissen flächigen Ausdehnung von besonderem Interesse sein. So können beispielsweise im Bereich der militärischen Aufklärung die Bewegungen von schweren militärischen Geräten, wie beispielsweise Panzerfahrzeugen, Kampf- und/oder Transportflugzeugen, Kriegsschiffen und U-Booten von besonderem Interesse sein.
Vor diesem Hintergrund sieht das vorgeschlagene Verfahren eine weitere Ausführungsform vor, die es ermöglicht, gezielt Veränderungen der Realumgebung mit einem Mindestmaß an flächiger Ausdehnung bei der Darstellung der festgestellten Veränderungen zu bevorzugen. Diese Ausgestal- tungsform sieht vor, dass das Ergebnis des Vergleichs der zumindest zwei Höhenverläufe anhand zumindest einer vordefinierten Flächenschranke, die eine zweidimensionale Ausdehnung von Höhenunterschieden der Höhenverläufe betrifft, bewertet wird. Dabei kann die beschriebene Flächenschranke mit mehreren anderen Gewichtungsparametern zusammen in die Bewertung des Ergebnisses des Vergleichs einfließen. Beispielsweise kann eine Kombination aus einer Höhenschranke und einer Flächenschranke vorgesehen werden, die dann im oben genannten Beispiel einer Erfassung und Darstellung von Waldrodungen in der Realumgebung vorsieht, dass nur solche festgestellten oder ermittelten Veränderungen in der Realumgebung im Rahmen der Darstellung der Veränderungen durch das vorgeschlagene Verfahren Eingang finden, bei denen über eine Fläche von mindestens 100 qm eine durchgängige Höhendifferenz von einem Meter oder mehr festgestellt wurde. Eine solche Kombination von Gewichtungsparametern in Rahmen der Bewertung des Ergebnisses des Vergleichs der Höhenverläufe der Simulationsumgebungen erhöht die Wahrscheinlichkeit, dass die aufgefundenen und dargestellten Bereiche der Re- alumgebung tatsächlich Waldrodungen betreffen. Gleiches gilt entsprechend bei anderen Anwendungsgebieten des Verfahrens und entsprechend vordefinierten Flächen- und/oder Höhenschranken. Für Anwendungen des Verfahrens im militärischem Bereich sowie für den Einsatz zur Vorbeugung von terroristischen Anschlägen kann es zudem besonders vorteilhaft sein, wenn bei der Bewertung des Ergebnisses des Vergleichs der zumindest zwei Höhenverläufe bestimmte Gebiete der Realumgebung bzw. der die Realumgebung geospezifisch abbildenden Simulations- Umgebungen eine besondere Berücksichtigung erfahren. So können Veränderungen in der Umgebung von strategisch wichtigen Landmarken oder wichtige Gebäude sowie Veränderungen im Bereich dieser Landmarken oder in der Umgebung solcher Gebäude besonders begutachtet werden. Dementsprechend sieht eine weitere vorteilhafte Ausgestaltung des Verfahrens vor, dass das Ergebnis des Vergleichs der zumindest zwei Höhenverläufe anhand von zumindest einem vordefinierten Sicherheitssektor, der einen bestimmten Bereich der Simulationsumgebung umfasst, bewertet wird. Die entsprechenden Sicherheitssektoren können dabei beispielsweise vom Benutzer des Verfahrens statisch oder dynamisch vorgegeben und /oder verändert werden. Beispielsweise kann ein Benutzer einen Bereich in der Umgebung eines Botschaftsgebäudes, eines Krankenhauses oder einer strategisch wichtigen Anhöhe als Sicherheitssektor in der Simulationsumgebung definieren. Dies kann über verschiedene Arten der Benutzereingabe erfolgen. Einerseits kann durch eine entsprechende Benutzerschnittstelle eine Definition eines Sicherheitssektors anhand einer Darstellung einer Simulationsumgebung oder zumindest eines Ausschnitts der Simulationsumgebung erfolgen. Für den Fall, dass die Simulationsumgebungen nicht nur geospezi- fisch, sondern auch georeferenziert erzeugt werden, kann die Definition des Sicherheitssektors auch anhand von entsprechenden Geodäten, wie beispielweise GPS- Koordinaten definiert werden. Darüber hinaus ist es besonders vorteilhaft, wenn der Vergleich der zumindest zwei Höhenverläufe zur Ermittlung von Veränderungen in der Realumgebung herangezogenen Simulationsumgebungen eine automatische Aus- wertung erlaubt, die vorab definierte reale Objekte und die entsprechenden realabbildenden Objekte in den Simulationsumgebungen besonders berücksichtigt. Als erläuterndes Beispiel sei eine Verwendung des vorgeschlagenen Verfahrens im Rahmen einer militärischen Anwendung zur Aufklärung herangezogen. Beispielweise kann es besonders wünschenswert sein, die Veränderungen von auf einem Flugfeld angeordneten Flugzeugen zu ermitteln und darzustellen, um beispielsweise daraus Schlüsse über die Verlegung von Flugzeugen und/oder die Flugaktivitäten ausgehend von dem Flugfeld ziehen zu können. Flugzeuge zeichnen sich in ihrer Wiedergabe in den aus den Sensordaten computergenerierten Simulationsumgebungen, insbesondere hinsichtlich des Höhenverlaufs durch eine besonders charakteristische Form aus. Denn der Höhenverlauf eines Flugzeugs setzt sich im Bereich des Rumpfs sowie im Bereich der Tragflächen deutlich und teilweise sogar typencharakteris- tisch von der Umgebung, insbesondere vom umgebenden realen Gelände ab. Ein derartiger charakteristischer Höhenverlauf, der sowohl durch eine flächige Ausdehnung als auch durch eine entsprechende Höhe oder einen Höhenverlauf beschrieben werden kann, kann somit in Form vordefinierter Datensätze genutzt werden, um ein Flugzeug mit einer entsprechend ein- deutigen Höhenkontur oder Signatur im Höhenverlauf vorab zu speichern und bei der Auswertung des Vergleichs der zumindest zwei Höhenverläufe der erzeugten Simulationsumgebungen zu berücksichtigen. Entsprechendes gilt für andere Objekte mit einer charakteristischen Flächenausdehnung und /oder charakteristischem Höhenverlauf.
Dementsprechend sieht eine weitere Ausführungsform des Verfahrens vor, dass das Ergebnis des Vergleichs der zumindest zwei Höhenverläufe anhand von zumindest einem vordefinierten Gefährdungsobjekt, das durch zumindest eine zweidimensionale Flächenausdehnung und/oder ein Höhenverlauf definiert ist, bewertet wird. Dies ermöglicht beispielsweise, dass bei der Auswertung und gegebenenfalls bei der anschließenden Darstellung der Veränderungen in der Realumgebung Objekte, wie beispielsweise die oben genannten Flugzeuge berücksichtigt und das Ergebnis des Vergleichs entsprechend bewertet wird.
Es kann auch vorgesehen sein, dass das Verfahren die initiale Auswahl eines Benutzungsprofils vorsieht, die zu einer Auswahl von zumindest einem, bevorzugt einer Vielzahl von vordefinierten Bewertungskriterien für die Bewertung des Ergebnisses des Vergleichs der Höhenverläufe führt. Die Kriterien können den vorangehend beschriebenen Kriterien oder anderen Kriterien entsprechen. Damit kann das beschriebene Verfahren besonders ein- fach und effektiv an eine Vielzahl von Einsatzzwecken angepasst werden.
Die vorangehend beschriebene Ausführungsform des Verfahrens bezieht sich bevorzugt auf eine jeweils auf dem Einsatzzweck des Verfahrens zugeschnittene Auswertung oder Bewertung der ermittelten Veränderungen durch die Bewertung des Ergebnisses des Vergleichs der zumindest zwei Höhenverläufe der Simulationsumgebungen. Neben der jeweils vorteilhaften Bewertung der Ergebnisse des Vergleichs der zumindest zwei Höhenverläufe ist es für das vorgeschlagene Verfahren ebenfalls besonders wünschenswert, dass das Verfahren eine flexible, bevorzugt an den jeweiligen Einsatzzweck angepasst Darstellung der ermittelten und gegebenenfalls bewerteten Veränderungen in der Realumgebung ermöglicht.
Dementsprechend sieht eine Ausgestaltung des Verfahrens vor, dass die Darstellung des Ergebnisses des Vergleichs der zumindest zwei Höhenver- läufe in einer statischen Darstellungsbetriebsart erfolgt, bei der eine Darstellung von zumindest einem Teil der Simulationsumgebung auf einer Anzeigevorrichtung erfolgt, wobei die Ergebnisse des Vergleichs durch eine optische, insbesondere durch eine farbliche Hervorhebung in der Darstellung der Simulationsumgebung dargestellt werden.
Dies bedeutet, dass in der statischen Darstellungsbetriebsart eine Darstel- lung von einer der aus den zumindest zwei Sätzen von Sensordaten erzeugten Simulationsumgebungen als Basis der Darstellung herangezogen wird und in dieser Darstellung eine Hervorhebung an den Orten der Simulationsumgebung auf optische Art und Weise erfolgt, in denen jeweils eine im Rahmen der Auswertung als darzustellend eingestufte Veränderung der Si- mulationsumgebungen und damit eine entsprechende Veränderung der Realumgebung festgestellt wurde. Hierzu kann sowohl eine Darstellung der Simulationsumgebung herangezogen werden, die sowohl auf den zeitlich früher gewonnenen Sensordaten beruht als auch eine Darstellung der Simulationsumgebung, die auf den zeitlich später aufgenommenen Sensordaten beruht.
Die statische Darstellungsbetriebsart hat den Vorteil, dass durch die optische, insbesondere farbliche Hervorhebung der Ergebnisse des Vergleichs im Rahmen einer Darstellung von einer Simulationsumgebung, die Orte der Veränderungen in der Simulationsumgebung besonders schnell und einfach identifiziert werden können. Dementsprechend bietet sich für die statische Darstellungsbetriebsart eine Darstellung der Simulationsumgebung in einem kleinen Maßstab an, die einen guten Überblick über die Simulationsumgebung oder deren Teile und die ermittelten Veränderungen ermöglicht.
Durch die Darstellung von lediglich einer computergenerierten Simulationsumgebung im Rahmen der statischen Darstellungsbetriebsart kommt es jedoch zu dem Nachteil, dass die Darstellung zwar den Ort der Veränderung in der Simulationsumgebung kenntlich macht, die Veränderung an sich je- doch nicht oder zumindest nicht mit Sicherheit identifiziert werden kann. Deshalb kann im Rahmen einer semi -statischen Darstellungsbetriebsart zudem vorgesehen sein, dass, insbesondere in Reaktion auf eine Benutzerin- teraktion, ein Wechsel zwischen Darstellungen von zumindest zwei unterschiedlichen Simulationsumgebungen erfolgt. So kann zusätzlich zu einer Darstellung einer optischen, insbesondere farblichen Hervorhebung am Ort der Veränderung in der Darstellung einer Simulationsumgebung über den Wechsel der Darstellung der Simulationsumgebung auch die Veränderung selbst wahrgenommen werden. Es kann also eine Art„Vorher-Nachher- Darstellung" erfolgen, die die Wahrnehm- und Erkennbarkeit der Veränderung in der Realumgebung verbessert. Eine ebenfalls vorteilhafte alternative Ausgestaltung des Verfahrens vor, dass die Darstellung des Ergebnisses des Vergleichs in einer dynamischen Darstellungsbetriebsart erfolgt, bei der eine Abfolge von Darstellungen von zumindest einem Ausschnitt der Simulationsumgebungen auf einer Anzeigevorrichtung erfolgt, wobei die Ergebnisse des Vergleichs durch eine opti- sehe, insbesondere durch eine farbliche Hervorhebung in der Darstellung der Simulationsumgebung dargestellt werden.
Die dynamische Darstellungsbetriebsart hat den Vorteil, dass zur Darstellung ein größerer Maßstab verwendet werden kann. Die dynamische Dar- Stellungsbetriebsart kann dementsprechend beispielsweise in Form eines Videos auf einer Anzeigevorrichtung erfolgen, welches aus einzelnen Ausschnitten der Simulationsumgebung erzeugt wird und bei dem sich der Ausschnitt der Simulationsumgebung sukzessive von einer im Rahmen des Ergebnisses des Vergleichs festgestellten oder ermittelten Veränderung in der Realumgebung zu einer nächsten gleichermaßen ermittelten Veränderung der Realumgebung bewegt. Mit anderen Worten ausgedrückt kann die dynamische Darstellungsbetriebsart als Video erzeugt werden, welches einen Überflug über die Simulationsumgebung von einer als Ergebnis des Vergleichs ermittelten Veränderung der Realumgebung zu der jeweils nächsten ermittelten Veränderung der Realumgebung darstellt. Damit bietet die dynamische Darstellungsbetriebsart zwar einen geringeren Überblick über die Gesamtheit der im Rahmen des Ergebnisses des Vergleichs festgestellten Veränderungen der Realumgebung, sie ermöglicht jedoch, dass einem Benutzer jede der Veränderungen nacheinander in ei- nem entsprechend angepassten Maßstab dargestellt oder angezeigt wird, so dass der Benutzer oder Bediener jede der Veränderungen analysieren und/oder bewerten kann. Dadurch wird beispielsweise verhindert, dass eine der ermittelten und dargestellten Veränderungen der Realumgebung übersehen wird oder unberücksichtigt bleibt.
In verschiedenen Anwendungsbereichen ist es für die Darstellung von Veränderungen in der Realumgebung besonders vorteilhaft, wenn die Darstellung in einer zweidimensionalen Projektion der die Realumgebung abbildenden Simulationsumgebung erfolgt. Dementsprechend sieht eine weitere vorteilhafte Ausgestaltung des Verfahrens vor, dass in der dynamischen und/oder statischen Darstellungsbetriebsart die Darstellung der Simulationsumgebung in einer Draufsicht, insbesondere als Kartendarstellung, erfolgt. Dies ist insbesondere dann vorteilhaft, wenn es bei dem Anwendungszweck des vorgeschlagenen Verfahrens und /oder bei den entsprechend er- mittelten, gegebenenfalls bewerteten und dargestellten Veränderungen der Realumgebung mehr um die Darstellung der Veränderung an sich, als um die Darstellung der Details der Veränderungen oder der jeweiligen Veränderungen ankommt. So ist beispielsweise eine Darstellung in einer Draufsicht, beispielsweise in Form einer Kartendarstellung, für die Ermittlung und Dar- Stellung von Rodungen, insbesondere Waldrodungen in der Realumgebung, vorteilhaft, da diese Darstellung eine schnelle und einfache Erfassung und gegebenenfalls Weiterverarbeitung der Kartendarstellung erlaubt, in der als Ergebnis des Vergleichs der zumindest zwei Höhenverläufe der erzeugten Simulationsumgebungen, die durch Rodung betroffenen Flächen oder Ober- flächen der Realumgebung als ermittelte Veränderungen dargestellt werden. In anderen Fällen kann es jedoch auch besonders wünschenswert sein, wenn die jeweils ermittelte und dargestellte Veränderung der Realumgebung im Detail dargestellt wird oder sichtbar gemacht wird. Dies kann beispielsweise bei einem Einsatz des Verfahrens zu sicherheitstechnischen oder militärischen Zwecken vorteilhaft sein. Denn in diesem Fall kann es besonders vorteilhaft sein, wenn die Darstellung der Veränderung in der Realumgebung eine Analyse des jeweiligen Objekts, beispielsweise ein Fahrzeug oder die entsprechende Umgebung, in der die Veränderung stattgefunden hat, darstellbar ist oder dargestellt wird. Aus diesem Grund ist gemäß einer weiteren vorteilhaften Weiterbildung des Verfahrens vorgesehen, dass in der dynamischen und/oder statischen Darstellungsbetriebsart die Darstellung der Simulationsumgebung in einer Schrägansicht, insbesondere aus einer vogelperspektivischen Darstellungsposition erfolgt, wobei die Darstellungsposition automatisch zumindest anhand des Ergebnisses des Vergleichs der Höhenverläufe oder frei wählbar anhand einer Benutzereingabe ausgewählt wird.
Die Darstellung der die Realumgebung abbildenden Simulationsumgebung in einer Schrägansicht im Rahmen der Darstellung der ermittelten Verände- rung der Realumgebung hat den Vorteil, dass räumliche Zusammenhänge besser erkannt werden können. Darüber hinaus hat die gegebenenfalls automatisch ausgewählte Darstellungsposition der Schrägansicht, insbesondere vogelperspektivischen Schrägansicht, den Vorteil, dass die Schrägansicht der Simulationsumgebung derart erzeugt und dargestellt werden kann, dass die Veränderung, insbesondere die Position der Veränderung, nicht durch andere Teile der Simulationsumgebung verdeckt oder teilweise überdeckt wird. Das bedeutet mit anderen Worten ausgedrückt, dass die Wahl der Darstellungsposition bevorzugt so automatisiert wird, dass die Schrägansicht der Simulationsumgebung einen freien oder unbehinderten Blick auf den Ort der ermittelten Veränderung ermöglicht. Es kann jedoch ebenfalls vorteilhaft sein, wenn ein Benutzer im Anschluss an eine automatisch bestimmte Darstellungsposition oder alternativ zu einer automatisch ausgewählten Darstellungsposition, die Darstellungsposition selbst wählen und/oder verändern kann, um sich ein umfassendes Bild von der oder den jeweils ermittelten oder dargestellten Veränderungen der Realumgebung machen zu können. Beispielsweise kann vorgesehen sein, dass durch eine Benutzereingabe dem Benutzer eine Darstellung der Simulationsumgebung sowie des Ergebnisses des Vergleichs der zumindest zwei Höhenverläufe so dargestellt werden, als würde der Benutzer ein Fluggerät oder ein Flugzeug über die die Realumgebung geospezifisch abbildenden Simulationsumgebung steuern und dabei die Simulationsumgebung aus frei wählbaren Positionen und Richtungen betrachten.
Dies ermöglicht beispielsweise, dass ein Katastrophengebiet eingehend und im Detail von entsprechendem Fachpersonal inspiziert werden kann, dem zugleich die ermittelten und gegebenenfalls bewerteten Veränderungen in der die Realumgebung abbildenden Simulationsumgebung dargestellt werden, ohne dass das Fachpersonal bereits vor Ort im Katastrophengebiet sein muss und zudem ohne sich in irgendeine Art von Gefahr zu begeben.
Wie vorangehend bereits beschrieben, können unterschiedliche Darstellungen sowie unterschiedliche Darstellungsbetriebsarten je nach Anwendungsoder Einsatzzweck des Verfahrens vorteilhaft sein. Es kann jedoch auch zu Einsätzen des Verfahrens kommen, bei denen unterschiedliche Darstellun- gen und Darstellungsbetriebsarten gleichermaßen vorteilhaft sein können oder abhängig von der Situation oder der jeweiligen Veränderung der Realumgebung vorteilhaft sein können.
Aus diesem Grund ist gemäß einer weiteren bevorzugten Ausführungsform des Verfahrens vorgesehen, dass ein Wechsel zwischen der statischen und der dynamischen Darstellungsbetriebsart, insbesondere in Reaktion auf eine Benutzereingabe ausgeführt wird. Als Beispiel kann die Darstellung der er- mittelten Veränderung beispielsweise so erfolgen, dass zunächst in einer statischen Darstellungsbetriebsart in Form einer Karten -Draufsicht auf die Simulationsumgebung und die darin dargestellten Veränderungen der Realumgebung ein Überblick vermittelt wird und anschließend ein Wechsel in die dynamische Darstellungsbetriebsart erfolgt, in der beispielsweise in Form einer Darstellung aus einer vogelperspektivischen Schrägansicht mit veränderlicher Darstellungsposition der Simulationsumgebung eine detaillierte Darstellung einzelner Veränderungen in der die Realumgebung geo- spezifisch abbildenden Simulationsumgebung erfolgt.
Gemäß einer weiteren vorteilhaften Ausführungsform des vorgeschlagenen Verfahrens ist vorgesehen, dass das Erzeugen der Simulationsumgebung das Generieren von Rasterdaten umfasst, wobei der Höhenverlauf durch ein Höhenraster abgebildet wird, in dem jedem Rasterpunkt ein Höhenwert zugewiesen ist. Hinsichtlich der Erzeugung der Simulationsumgebung wird auf die deutsche Patentanmeldung DE 10 2015 120 999 Bezug genommen, deren Inhalt hiermit vollständig in die vorliegende Offenbarung mit aufgenommen wird. Beispielsweise kann aus Sensordaten, wie etwa Entfernungsmessungen oder Bildaufnahmen eine 2,5-dimensionale oder dreidimensionale Abbildung der Realumgebung geschaffen werden. Dazu können beispielsweise Verfahren wie„structure from motion" oder vergleichbare Verfahren zum Einsatz kommen. Das Generieren der Simulationsumgebung als 2,5-dimensionale Darstellung auf der Basis von Rasterdaten hat verschiedene Vorteile, insbesondere auch hinsichtlich des vorliegenden Verfahrens. Denn im Vergleich zu dreidimensionalen Punktwolken oder Vektordaten kann eine auf Rasterdaten basierende Simulationsumgebung besonders schnell und effektiv aus den jeweiligen Sensordaten erzeugt werden, was die benötigte Zeit redu- ziert, um im Rahmen des Verfahrens zu einer Ermittlung und Darstellung von Veränderungen in der Realumgebung zu gelangen. Darüber hinaus haben die Rasterdaten als Grundlage der Simulationsumgebung den Vorteil, dass beispielsweise bei einer Verwendung eines Höhenrasters jeweils einem Rasterpunkt ein Höhenwert zugewiesen wird, der wiederum bei der Auswertung der Simulationsumgebungen im Rahmen des hier beschriebenen Verfahrens Verwendung finden kann, da die Auswertung zumindest einen Vergleich der Höhenverläufe der erzeugten Simulationsumgebungen um- fasst.
Besonders vorteilhaft ist es zudem, wenn die Höhenverläufe der Simulationsumgebung und die den jeweiligen Rasterpunkten eines Höhenrasters zugewiesenen Höhenwerte zusammenfallen, so dass aus den Höhenwerten der Rasterpunkte keine weitere Ableitung oder Weiterverarbeitung nötig ist, um zum Höhenverlauf der Simulationsumgebung zu gelangen. Die Auswertung im Rahmen von zumindest einem Vergleich der zumindest zwei Höhenverläufe der erzeugten Simulationsumgebungen wird zudem beson- ders vorteilhaft ausgestaltet, wenn die Auswertung sich auf einen Vergleich von jeweiligen Höhenwerten beschränken kann. Dies setzt jedoch voraus, dass die Höhenwerte von unterschiedlichen Simulationsumgebungen ohne weiteres miteinander verglichen werden können. Um dies zu gestatten, sieht eine weitere besonders vorteilhafte Ausführungsform des vorgeschlagenen Verfahrens vor, dass die Rasterpunkte unterschiedlicher Simulationsumgebungen identische Punkte in der Realumgebung abbilden. Dadurch wird gewährleistet, dass bei jeder Erzeugung einer Simulationsumgebung die Rasterpunkte eine unveränderliche Grund- läge mit einem entsprechenden Bezug zur Realumgebung darstellen.
Ermöglicht werden kann dies beispielsweise dadurch, dass die Erfassung der Sensordaten georeferenziert erfolgt und die Georeferenzierung in der Erzeugung der Simulationsumgebung berücksichtigt wird oder bei der Erzeu- gung der Simulationsumgebung in diese übertragen wird. In diesem Fall können die Rasterpunkte dann auf vordefinierten Punkten oder Mustern der Realumgebung definiert werden und entsprechend in die Simulationsumge- bung übertragen werden, wobei durch die georeferenzierte Vorgabe der zu erzeugenden Rasterpunkte in der Realumgebung die Rasterpunkte unterschiedlicher Simulationsumgebungen identische Punkte der Realumgebung abbilden.
Dadurch kann wiederum ermöglicht werden, dass bei der Verwendung von einem Höhenraster im Rahmen der Erzeugung der Simulationsumgebung ein Vergleich der zumindest zwei Höhenverläufe der erzeugten Simulationsumgebungen im Rahmen des vorgeschlagenen Verfahrens auf eine entspre- chende Subtraktion der zumindest zwei Höhenwerte des Höhenraster zu jeweils einem Rasterpunkt reduziert wird. Dadurch kann eine besonders schnelle und effektive Auswertung der zumindest zwei zeitlich versetzt aufgenommenen Sätzen von Sensordaten erfolgen. Dementsprechend sieht eine weitere vorteilhafte Ausführungsform vor, dass der Vergleich der zumindest zwei Höhenverläufe der erzeugten Simulationsumgebungen den Vergleich von Höhenwerten voneinander entsprechenden Rasterpunkten unterschiedlicher Simulationsumgebungen umfasst. In verschiedenen Anwendungsgebieten des vorgeschlagenen Verfahrens, wie beispielsweise dem Katastrophenschutz, kann es darüber hinaus auch besonders wünschenswert sein, wenn neben dem Höhenverlauf einer Simulationsumgebung die Auswertung einen Vergleich von Bildinformationen, bevorzugt von zwei Sätzen von Bildaufnahmen umfasst, die zumindest einen Teil der Realumgebung abbilden. Dabei kann vorgesehen sein, dass die Bildaufnahmen diejenigen Sensordaten darstellen, aus denen die Simulationsumgebung erzeugt wird. Alternativ kann jedoch auch vorgesehen sein, dass die Bildaufnahmen zusätzlich zu den Sensordaten erzeugt werden, aus denen die Simulationsumgebung erzeugt wird. Besonders bevorzugt werden die Bildaufnahmen jedoch zum gleichen Zeitpunkt erzeugt wie die Sensordaten, aus denen die Simulationsumgebung erzeugt wird. Die Auswertung der Bildinformationen in Verbindung mit der Auswertung der Höhenverläufe der Simulationsumgebung kann dabei die Ermittlung und Darstellung der Veränderungen in der Realumgebung erleichtern und präzisieren. Im Fall einer Naturkatastrophe, wie beispielsweise einem Erdrutsch, kann die Auswertung der Bildinformation, z. B. zusammen mit der Auswertung der Höhenverläufe, dazu dienen festzustellen, in welchem Bereich und in welchem Umfang der Erdrutsch stattgefunden hat und/oder welche Teile der Infrastruktur durch Erdmassen verschüttet, beschädigt oder zerstört sind. Bei der Anwendung des Verfahrens im Rahmen der Sicherheitstechnik oder Überwachungstechnik kann die Auswertung von beispielsweise von Bildaufnahmen, die ein urbanes Gebiet zu verschiedenen Tageszeiten abbilden, auf die Bewohntheit des Gebiets und sonstige Aktivitäten schließen lassen. In einer weiteren vorteilhaften Ausgestaltung des Verfahrens ist zudem vorgesehen, dass die Erzeugung der computergenerierten, die Realumgebung geospezifisch abbildenden Simulationsumgebung die Generierung von Oberflächentexturen durch Projektionen von Bildaufnahmen auf den Höhenverlauf oder das Oberflächenmodell der Simulationsumgebungen umfasst, wo- bei die Auswertung zumindest einen Vergleich von Oberflächentexturen der Simulationsumgebungen umfasst. Um aus Bildaufnahmen der Realumgebung entsprechende Oberflächentexturen generieren zu können, sind verschiedene Besonderheiten zu beachten. Unter anderem muss die Position, aus dem die Bildaufnahme in der Realumgebung aufgenommen wird und die Richtung oder Ausrichtung, unter der sie aufgenommen wird sowie weitere Parameter, die mit dem abbildenden oder bildgebenden System zusammenhängen, jeweils mit der Bildaufnahme zusammen dokumentiert werden. Eine genaue und ausführliche Beschreibung zur Erzeugung und Darstellung derartiger Oberflächentexturen findet sich in der deutschen Patent- anmeldung DE 10 2015 120 927.6, auf die hier verwiesen und deren Inhalt vollständig in die vorliegende Beschreibung mit einbezogen wird. Der besondere Vorteil einer Auswertung der Simulationsumgebungen hinsichtlich sowohl des Höhenverlaufs als auch hinsichtlich der Oberflächentexturen besteht darin, dass durch das Vorsehen der Oberflächentexturen farbige 2,5-dimensionale oder dreidimensionale Objekte sowie Gelände, in der die Realumgebung geospezifisch abbildenden Simulationsumgebung beschrieben werden. Insbesondere bei einer Bewertung der festgestellten Veränderungen in der Realumgebung im Rahmen der Auswertung kann eine solche Verknüpfung zwischen Farbinformationen und Forminformationen oder zumindest Höheninformationen eine erheblich genauere und sichere Bewertung der festgestellten oder ermittelten Veränderungen ermöglichen. Denn in diesem Fall könnten Mehrdeutigkeiten hinsichtlich der Veränderung des Höhenverlaufs der Simulationsumgebungen durch die entsprechenden Bildinformationen oder Farbinformationen aus den Oberflächentexturen aufgehoben oder vermieden werden.
Weitere Vorteile und Einzelheiten des erfindungsgemäßen Verfahrens werden nachfolgend unter Zuhilfenahme der beigefügten, schematisierten Zeichnungen von Ausführungsbeispielen erläutert werden. Die Zeichnungen beziehen sich auf eine Anwendung des beschriebenen Verfahrens zu Überwachungszwecken, insbesondere zum Zweck der Verhinderung oder Vereitelung eines terroristischen Angriffs. Das Verfahren kann jedoch ebenfalls für andere Anwendungszwecke ausgeführt werden. Die Figuren zeigen:
Eine schematische Darstellung eines Systems zur Er- mittlung und Darstellung von Änderungen in einer ein reales Gelände und darin befindliche reale Objekte umfassenden Realumgebung;
Fig. 2 eine schematische Darstellung einer Draufsicht auf
einen Teil einer Simulationsumgebung;
Fig. 3 eine schematische Darstellung einer Seitenansicht des
Ausschnitts der Simulationsumgebung der Fig. 2; Fig. 4 eine schematische Darstellung des Höhenverlaufs der Simulationsumgebung der Fig. 2 entlang der Linie L1 ;
Fig. 5 eine schematische Darstellung des Höhenverlaufs der
Simulationsumgebung der Fig. 2 entlang der Linie L2;
Fig. 6 eine schematische Darstellung einer Draufsicht auf
einen Teil einer Simulationsumgebung erzeugt aus zeitlich versetzt aufgenommenen Sensordaten;
Fig. 7 eine schematische Darstellung einer Seitenansicht des
Ausschnitts der Simulationsumgebung der Fig. 6;
Fig. 8 eine schematische Darstellung des Höhenverlaufs der
Simulationsumgebung der Fig. 6 entlang der Linie L1 ;
Fig. 9 eine schematische Darstellung des Höhenverlaufs der
Simulationsumgebung der Fig. 6 entlang der Linie L2;
Fig. 10a bis 10c eine schematische Darstellung des Vergleichs der zwei
Höhenverläufe der Fig. 4 und Fig. 8;
Fig. 1 1 a bis 1 1 c eine schematische Darstellung des Vergleichs der Höhenverläufe der Fig. 5 und Fig. 9;
Fig. 12 eine schematische Darstellung einer Darstellung von einer Veränderungen in der Realumgebung in einer statischen Darstellungsbetriebsart des Verfahrens;
Fig. 13 eine schematische Darstellung eines Verfahrens zur
Ermittlung und Darstellung von Veränderungen in einer ein reales Gelände und darin befindliche reale
Objekte umfassenden Realumgebung.
Fig. 1 zeigt Komponenten eines Systems, welches bei der Ausführung des erfindungsgemäßen Verfahrens zum Einsatz kommen kann. Die Fig. 1 zeigt einen als lokalen Rechner ausgebildetes Computersystem 1 , welches eine Bedienvorrichtung 2, eine erste Anzeigevorrichtung 3, eine zweite Anzeigevorrichtung 4, eine Kabelverbindung 5 zum physischen Verbinden des Computersystems 1 mit einem Sensordatenspeicher und eine drahtlose Kommunikationsschnittstelle 6 zur drahtlosen Kommunikation aufweist. Darüber hinaus umfasst das Computersystem 1 Simulationsumgebungserzeuger 7, einen Simulationsumgebungsspeicher 8 sowie eine Auswertungseinheit 22.
Die in der Fig. 1 dargestellte Ausführung des Computersystems 1 ist ledig- lieh beispielhaft. Das Computersystem 1 kann beispielsweise nur über eine Anzeigevorrichtung 3 oder 4 aufweisen. Ebenfalls sind eine Vielzahl weiterer Änderungen oder Anpassungen möglich, ohne die Eignung des Computersystems zur Ermittlung und Darstellung von Veränderungen in einer ein reales Gelände und darin befindliche reale Objekte umfassenden Realum- gebung zu beeinflussen. In Abwandlung zu der Darstellung der Fig. 1 kann anstatt des dort gezeigten lokalen Computersystems 1 auch ein vernetztes und/oder dezentral über beliebig viele Standorte verteiltes Computersystem zum Einsatz kommen. Dabei kann beispielsweise vorgesehen sein, dass der Simulationsumgebungserzeuger 7 und die Auswertungseinheit 22 an ei- nem ersten Ort angeordnet sind, wohingegen der Simulationsumgebungsspeicher 8 und die Anzeigevorrichtungen 3 und 4 an einem zweiten Ort oder über mehrere weitere Orte verteilt angeordnet sind und die entsprechenden Teile des Computersystems 1 über eine oder mehrere Datenverbindungen miteinander kommunizieren, insbesondere Daten versenden und emp- fangen.
Die von einer Sensoreinrichtung und deren Aufnahmeeinrichtung 11 aufgenommenen Sensordaten 12 bilden beispielsweise die gesamte, von der Simulationsumgebung abzudeckende Realumgebung 10 mitsamt des realen Geländes 15 sowie der im realen Gelände 15 befindlichen realen Objekte 16 ab. Besonders vorteilhaft ist es, wenn die während des Überflugs gewonnenen Sensordaten 12 die Realumgebung redundant abbilden, also bestimmte oder alle Bereiche der Realumgebung aus verschiedenen Positionen aufgenommen werden. Besonders vorteilhaft ist es weiter, wenn während des Überflugs der Sensorträger 9 über die Realumgebung 10 eine Positionsbestimmungseinrichtung 13 die Position des Sensorträgers und dessen Aufnahmeeinrichtung 11 in einem Koordinatensystem der Realumgebung 10 erfasst, aufzeichnet und insbesondere so aufzeichnet, dass die Position mit entsprechenden Sensordaten 12 verknüpft werden kann und zudem die Position so häufig bestimmt und aufzeichnet, dass aus der Positionsänderung die Bewegungsrichtung und die Bewegungsgeschwindigkeit des Sensorträ- gers 9 abgeleitet und bevorzugt ebenfalls mit den Sensordaten verknüpft werden kann.
Dies bedeutet, dass es besonders vorteilhaft sein kann, wenn den aufgenommenen Sensordaten 12 beispielsweise eine GPS-Ortkoordinate sowie eine Kursangabe und eine Geschwindigkeitsangabe zugeordnet werden. Es kann dabei vorgesehen sein, dass die Sensordaten 12 als Bildaufnahmen erhoben werden. Alternativ oder zusätzlich können die Sensordaten auch Entfernungsmessungen oder andere Messungen der Realumgebung umfassen.
Bei der Aufnahme von Bildaufnahmen im Rahmen der Aufnahme der Sensordaten ist es ebenfalls besonders wünschenswert, wenn neben den Bildaufnahmen selbst auch weitere extrinsischen und intrinsische Daten bezüglich der Aufnahmen mit den Bildaufnahmen zusammen gespeichert werden. Diese können beispielsweise in der Form von Metadaten mit den jeweiligen Bildaufnahmen oder den Bilddaten der jeweiligen Bildaufnahmen zusammen gespeichert werden. Bei den intrinsischen Eigenschaften der Bildaufnahmen kann es sich beispielsweise um Eigenschaften der Aufnahmeeinrichtung 11 handeln. Anhand der Sensordaten 12, gegebenenfalls umfassend Bildaufnahmen, den damit verknüpften Positionen, Richtungen, Geschwindigkeiten sowie weiteren Informationen über die Aufnahmeeinrichtung können aus den Sensordaten 12 und den damit verbundenen Informationen geospezifische und ggf. auch georeferenzierte maßstabsgetreue Oberflächenmodelle der Realumgebung 10 alt Teil der die Realumgebung abbil- denden computergenerierten Simulationsumgebung generiert werden. Dabei können dreidimensionale Oberflächenmodelle generiert werden, die beispielsweise auf Punktwolken oder Vektordaten beruhen. Außerdem kön- nen Oberflächenmodelle generiert werden, die auf einem Höhenraster basieren, indem in jedem Rasterpunkt ein Höhenwert zugeordnet wird. Im letztgenannten Fall handelt es sich um ein 2,5-dimensionales Oberflächenmodell, da jedem Rasterpunkt nur genau ein Höhenwert zugeordnet werden kann. Aus dem Oberflächenmodell kann jeweils ein Höhenverlauf der jeweiligen Simulationsumgebung generiert und/oder extrahiert werden.
Die aus den Sensordaten 12 generierten die Realumgebung geospezifisch und maßstabsgetreu abbildenden Simulationsumgebungen können bei- spielsweise texturiert werden, indem Bildaufnahmen auf das Oberflächenmodell lagerichtig projiziert werden und somit Oberflächentexturen der Simulationsumgebung geschaffen werden.
Die Bedienvorrichtung 2 ist im Beispiel der Fig. 1 als kombinierte Bedien- Vorrichtung ausgestaltet, mit der sowohl allgemeine Benutzereingaben vorgenommen werden als auch die Anzeige auf den Anzeigevorrichtungen 3 und 4 beeinflusst und /oder kontrolliert werden kann. Dies bedeutet, dass beispielsweise über die Bedienvorrichtung ein Wechsel zwischen einer statischen Darstellungsbetriebsart und einer dynamischen Darstellungsbetriebs- art der Darstellung von Veränderungen in der Realumgebung ausgelöst werden kann. Darüber hinaus kann beispielsweise vorgesehen sein, dass über die Bedienvorrichtung 2 im Rahmen der dynamischen Darstellungsbetriebsart der zusammen mit den ermittelten Veränderungen dargestellte Ausschnitt einer Simulationsumgebung verändert oder beeinflusst werden kann.
Es kann abweichend von der Darstellung der Fig. 1 auch vorgesehen sein, dass mehrere separate Bedienvorrichtungen zur Interaktion mit dem Computersystem 1 , insbesondere zur Interaktion mit den Anzeigevorrichtungen 3 und 4 vorgesehen sind. Beispielsweise könnte Trägheits- und/oder Kreiselsensoren als Teile von speziellen Bedienervorrichtungen vorgesehen sein, die eine Bewegung eines Benutzers erfasst und aufgrund dessen eine Beein- flussung des Computersystems 1 , insbesondere der Anzeigevorrichtungen 3 und 4 veranlassen.
Im Beispiel der Fig. 1 ist eine erste Anzeigevorrichtung 3 in Form eines Bild- schirms und einer zweiten Anzeigevorrichtung 4 in Form eines kopfbe- festigbaren Displays (Head Mounted Display) vorgesehen. Dabei kann beispielsweise die erste Anzeigevorrichtung 3 zur Festlegung eines Bereichs einer Simulationsumgebung insbesondere in einer Kartenansicht der Simulationsumgebung in einer statischen Anzeigebetriebsart dienen. Die Anzeige- Vorrichtung 4 kann besonders bevorzugt zur Darstellung von Veränderungen in der Realumgebung im Rahmen einer dynamischen Darstellungsbetriebsart verwendet werden.
Die Kabelverbindung 5 des Computersystems 1 kann optional vorgesehen sein, je nachdem, ob vorgesehen ist, dass eine Übertragung von Sensordaten eines Sensordatenspeichers des Sensorträgers 9 bereits während des Überflugs über die Realumgebung 10 mittels der drahtlosen Kommunikationsschnittstelle 6 erfolgen soll oder im Anschluss an einen abgeschlossenen Überflug über die Realumgebung 10 durch eine physische Verbindung zwi- sehen dem Sensordatenspeichers des Sensorträgers 9 und dem Computersystem 1 erfolgen soll.
Zur Durchführung des Verfahrens zur Ermittlung und Darstellung von Veränderungen in einer Realumgebung umfasst das vorgeschlagene System zudem entsprechende Steuervorrichtungen, die beispielsweise in das Computersystem 1 sowie in den Sensorträger 9 integriert sein können und sicherstellen, dass der Sensorträger 9 während des Überflugs über die Realumgebung 10 eine Flugroute 20 mit Wegpunkten 21 verfolgt. Die Flugroute kann sowohl während des Überflugs von einem Bediener oder Benutzer gesteuert wer- den als auch im Vorfeld des Überflugs mittels entsprechender Programmierung vorgegeben werden. Die Sensordaten werden, unabhängig von dem Übertragungsweg zwischen dem Sensorträger 9 und dem Computersystem 1 , nach Erhalt von dem Computersystem 1 durch den Simulationsumgebungserzeuger 7 verarbeitet oder aufbereitet. Der Simulationsumgebungserzeuger 7 kann dabei zum Beispiel einen Prozessor, einen Arbeitsspeicher sowie weitere Einrichtungen aufweisen. Mit dem Simulationsumgebungserzeuger 7 werden aus den im Rahmen des Überflugs über oder der Durchfahrt durch die Realumgebung aufgenommenen Sensordaten 12 in eine computergenerierte die Realumgebung geospezifisch abbildende Simulationsumgebung umgewandelt. Dies ge- schieht dabei für zwei oder mehrere Sätze von Sensordaten, die jeweils zu unterschiedlichen Zeiten zumindest teilweise den gleichen Bereich der Realumgebung 10 abbilden. Der Simulationsumgebungserzeuger 7 erstellt dabei Oberflächenmodelle, insbesondere 2,5-dimensionale oder dreidimensionale Oberflächenmodelle, die gegebenenfalls mit aus Bildaufnahmen gene- rierten Oberflächentexturen texturiert werden.
Nach der Generierung von zumindest zwei Simulationsumgebungen, die die Realumgebung 10 oder zumindest einen Teil der Realumgebung zu unterschiedlichen Zeiten geospezifisch abbilden, folgt zumindest ein Vergleich der von den jeweiligen Simulationsumgebungen beschriebenen Höhenverläufe der Realumgebung. Dies kann besonders vorteilhaft durchgeführt werden, wenn die Simulationsumgebungen ein gemeinsames Bezugssystem aufweisen, insbesondere auf einem identischen Höhenraster mit entsprechendem Bezug zur Realumgebung basieren, da dann die entsprechenden Höhenverläufe durch die übereinstimmenden Bezugssysteme leicht miteinander verglichen werden können.
Als Ergebnis des Vergleichs des zumindest zwei Höhenverläufe der Simulationsumgebung ergibt sich eine Art Differenzumgebung, die bevorzugt be- tragsmäßig ausgestaltet ist somit keine negativen Veränderungen der Höhenverläufe umfasst. Die Differenzumgebung kann lediglich die Unterschiede der Höhenverläufe der Simulationsumgebungen, bevorzugt ebenfalls mit Bezug zu dem Bezugssystem oder Koordinatensystem, aufweisen. Dieses Ergebnis des Vergleichs der Höhenverläufe kann anhand von Gewichtungsparametern bewertet und in Abhängigkeit von der Bewertung zur Darstellung gebracht werden. Dies bedeutet, dass in der Differenzumgebung nach Möglichkeit nur für den jeweiligen Anwendungszweck signifikante oder potenziell bedeutsame Veränderungen der Simulationsumgebungen, insbesondere der Höhenverläufe der Simulationsumgebungen, zur Darstellung gebracht werden sollen. Damit dient die Bewertung des Ergebnisses des Vergleichs der Höhenverläufe zur Rauschunterdrückung des Ergebnisses für den jeweiligen Anwendungszweck.
Der besondere Vorzug bei dem Vergleich von Höheninformationen oder Höhenverläufen der aus den Sensordaten generierten Simulationsumgebungen im Gegensatz zur Auswertung von rein 2-dimensionalen Bilddaten liegt dar- in, dass eine Vielzahl von Einflüssen, die eine rein zweidimensionale grafische Abbildung beeinflussen, keinen Einfluss auf die aus den Sensordaten generierten die Realumgebung geospezifisch abbildenden Simulationsumgebungen ausüben, so dass Veränderungen in der Realumgebung mit gesteigerter Sicherheit automatisch und damit in einem entsprechend großen Ge- biet der Realumgebung erfasst oder ermittelt, bewertet und, gegebenenfalls in Abhängigkeit von einer Bewertung, dargestellt werden können.
Die Figur 2 zeigt einen Ausschnitt aus einer eine Realumgebung 10 abbildenden Simulationsumgebung 14. Die Simulationsumgebung 14 umfasst re- alabbildende Objekte 17, wie beispielsweise ein Haus oder einen Baum. In der Darstellung der Fig. 2 befinden sich an den Kreuzungen der punktierten Linien 18 die Rasterpunkte 19, denen jeweils ein Höhenwert zugewiesen ist, die in der Darstellung der Fig. 2 senkrecht auf der Zeichenebene stehen. Es soll beispielhaft angenommen werden, dass es sich bei einem der realabbildenden Objekte 17 der Simulationsumgebung 14 um ein Krankenhaus oder ein Botschaftsgebäude handelt, welches sich in einem Teil der Realumgebung befindet, in der mit terroristischen Anschlägen gerechnet werden muss. Dementsprechend kann vorgesehen sein, dass um das realabbildende Objekt 17 ein Sicherheitssektor 23 als Teil der Simulationsumgebung oder zumindest der Simulationsumgebung 14 zugeordnet gespeichert ist, der einen Einfluss auf die Bewertung des Ergebnisses des Vergleichs der Höhenverläufe der Simulationsumgebungen 14 hat. In diesem Beispiel bedeutet der Sicherheitssektor 23 um das realabbildende Gebäude des Objekts 17, dass Veränderungen in den Höhenverläufen der Simulationsumgebungen 14 innerhalb des Sicherheitssektors 23 im Rahmen der Auswertung anders bewertet und entsprechend anders dargestellt werden.
Aus Gründen der Darstellbarkeit und der Anschaulichkeit wird nachfolgend das vorgeschlagene Verfahren anhand von beispielhaften Linien entlang der Höhenverläufe der Simulationsumgebung oder der Simulationsumgebungen 14 dargestellt. Dabei handelt es sich um die in der Fig. 2 dargestellten Li- nien L1 und L2. Die entsprechenden Verfahrensschritte können jedoch auch für alle anderen in der Figur dargestellten punktierten Linien 18 gleichermaßen ausgeführt werden. Darüber hinaus kann auch eine Interpolation zwischen den Linien und eine entsprechende Weiterverarbeitung des Ergebnisses der Interpolation vorgesehen sein.
Fig. 3 zeigt zur Veranschaulichung des Ausschnittes der die Realumgebung geospezifisch abbildenden Simulationsumgebung 14 den Ausschnitt der Simulationsumgebung 14 nochmal in einer Seitenansicht, so dass die realabbildenden Objekte 17 und das realabbildende Gelände 24 deutlich erkenn- bar sind.
In Fig. 4 ist entsprechend beispielhaft ein Ausschnitt aus dem Höhenverlauf 25 der Simulationsumgebung 14 entlang der Linie L1 der Fig. 2 wiedergegeben. Die Simulationsumgebung der Fig. 2 soll im Beispiel der Fig. 4 auf ei- nem Höhenraster beruhen, weshalb der beispielhafte Höhenverlauf 25 entlang der Linie L1 der Fig. 2 zu jedem Rasterpunkt nur einen einzigen Höhenwert zulässt, weshalb Mehrdeutigkeiten zu einem Rasterpunkt, die eine noch detaillierte Abbildung der Realumgebung 10 erlauben, nicht vorgesehen sind.
Entsprechend zu Fig. 4 ist in Fig. 5 der Höhenverlauf 25 der Simulationsum- gebung 14 entlang der Linie L2 der Fig. 2 dargestellt.
Die Figuren 6 bis 9 entsprechen weitestgehend den Figuren 2 bis 5 mit dem Unterschied, dass zu dem Zeitpunkt, zu dem die Sensordaten generiert wurden, auf den die Simulationsumgebung der Fig. 6 beruht, in der Real- Umgebung 10 ein zusätzliches reales Objekt 26, nämlich ein Tanklastzug im Bereich des realabbildenden Objekts 17 befindlich war oder ist. Das Objekt 26 befindet sich zudem in dem Sicherheitssektor 23 der Simulationsumgebung 14 der Fig. 6. In den entsprechenden Höhenverläufen 25 der Figuren 8 und 9 ist die Änderung des Höhenverlaufs 25 durch das zusätzliche realab- bildende Objekt 26 erkenntlich.
Die Figuren 10a bis 10c und 11a bis 11c veranschaulichen den Vergleich der zumindest zwei Höhenverläufe der Simulationsumgebung der Figuren 2 bis 5 und der Simulationsumgebung der Figuren 6 bis 9, wobei die Darstellungen der Fig. 10a und der Fig. 11a jeweils den Höhenverlauf 25 entlang der Linie L1 der Figuren 2 und 6 und die Figuren 10b und 11 b den Höhenverlauf 25 entlang der Linie L2 der Figuren 2 und 6 beschreiben. Die Figuren 10c und 11c stellen das Ergebnis des Vergleichs der zumindest zwei Höhenverläufe der jeweiligen Simulationsumgebungen dar. Aus den Figuren 10c und 11c geht damit hervor, dass das Objekt 26 und die dadurch hervorgerufenen Veränderungen der Höhenverläufe der Figuren 8 und 9 das Ergebnis des Vergleichs bildet. In der Fig. 10c ist zudem eine Höhenschranke 27 eingezeichnet, die beispielsweise vordefiniert sein kann und die vorgibt, dass Ergebnisse des Vergleichs der zumindest zwei Höhenverläufe für eine Dar- Stellung der Veränderungen der Realumgebung nicht berücksichtigt werden, wenn das Ergebnis des Vergleichs der zumindest zwei Höhenverläufe in ei- nem gewissen Bereich oder auf einer gewissen Fläche die Höhenschranke 27 nicht überschreitet.
Die Fig. 12 zeigt dementsprechend eine Darstellung 28 von Veränderungen in einer Realumgebung, wobei die Darstellung einer Simulationsumgebung und die Darstellung des Ergebnisses des Vergleichs der Höhenverläufe um- fasst, wobei die Ergebnisse des Vergleichs durch eine optische Hervorhebung 29 dargestellt werden. In der Fig. 12 beruht die Darstellung 28 auf der Simulationsumgebung 14 der Fig. 6. Es kann jedoch auch vorgesehen sein, dass die Darstellung 28 auf der Simulationsumgebung 14 der Fig. 2 beruht. In diesem Fall würde der Benutzer zwar die optische Hervorhebung 29 des Ergebnisses des Vergleichs in der Darstellung 28 der Simulationsumgebung wahrnehmen können, die entsprechende Veränderung in der Simulationsumgebung 14 und die zugrunde liegende Veränderung der Realumgebung wäre aus einer solchen Darstellung jedoch nicht ersichtlich. Deshalb kann es besonders vorteilhaft sein, wenn dem Benutzer die Möglichkeit eröffnet wird, im Rahmen der Darstellung 28 zwischen einer Darstellung der unterschiedlichen Simulationsumgebungen, also zwischen einer Darstellung der Fig. 2 und der Fig. 6, zu wechseln, um den Gegenstand der ermittelten und dargestellten Veränderungen der Realumgebung besser wahrnehmen zu können.
Fig. 13 liefert schließlich einen Überblick über einen möglichen Verfahrensablauf zur Ermittlung und Darstellung von Veränderungen in einer Realum- gebung. In einem ersten Verfahrensschritt S1 werden die zwei Sätze von zeitlich versetzt aufgenommen Sensordaten SD1 und SD2 in den Simulati- onsumgebungserzeuger 7 geladen. Im anschließenden Verfahrensschritt S2 werden daraus die Simulationsumgebungen 14 generiert, wie sie beispielsweise in Fig. 2 und Fig. 6 ausschnittsweise dargestellt sind. Diese Simulati- onsumgebungen 14 bilden die Realumgebung zum jeweiligen Aufnahmezeitpunkt der Sensordaten geospezifisch ab. In einem anschließenden Verfahrensschritt S3 werden, soweit nicht ohnehin bereits vorhanden, aus den Simulationsumgebungen die Höhenverläufe extrahiert oder generiert. Die Höhenverläufe der jeweiligen Simulationsumgebungen werden im Verfahrensschritt S4 miteinander verglichen. Das Ergeb- nis des Vergleichs der zumindest zwei Höhenverläufe wird im Verfahrensschritt S5 einer fakultativ vorgesehenen Bewertung unterzogen, die beispielsweise eine Bewertung anhand einer vordefinierten Höhenschranke, eine Bewertung anhand einer vordefinierten Flächenschranke, eine Bewertung anhand eines vordefinierten Sicherheitssektors innerhalb der jeweili- gen Simulationsumgebung und/oder einer Bewertung anhand von zumindest einem vordefinierten Gefährdungsobjekt unterzogen.
Das gegebenenfalls bewertete Ergebnis des Vergleichs der zumindest zwei Höhenverläufe der Simulationsumgebungen wird im Verfahrensschritt S6 dargestellt oder zur Anzeige gebracht, wobei die Darstellung bevorzugt eine Darstellung von zumindest einer Simulationsumgebung oder deren Teile umfasst, wobei die gegebenenfalls bewerteten Ergebnisse des Vergleichs der zumindest zwei Höhenverläufe bevorzugt als optische Hervorhebungen in der Darstellung der Simulationsumgebung erfolgen.
Bezugszeichen:
1 Computersystem
2 Bedienvorrichtung
3 erste Anzeigevorrichtung
4 zweite Anzeigevorrichtung
5 Kabelverbindung
6 Kommunikationsschnittstelle
7 Simulationsumgebungserzeuger
8 Simulationsumgebungsspeicher
9 Sensorträgers
10 Realumgebung
1 1 Aufnahmeeinrichtung
12 Sensordaten
13 Positionsbestimmungseinrichtung
14 Simulationsumgebung
15 reales Gelände
16 reale Objekte
17 realabbildende Objekte
18 Linien
19 Rasterpunkte
20 Flugroute
21 Wegpunkten
22 Auswertungseinheit
23 Sicherheitssektor
25 Höhenverlauf
26 realabbildendes Objekt
27 Höhenschranke
28 Darstellung
29 optische Hervorhebung L1 , L2 Linien
S1 - S6 Verfahrensschritte
SD1 erster Satz Sensordaten
SD2 zweiter Satz Sensordaten

Claims

Patentansprüche:
1 . Verfahren zur Ermittlung und Darstellung von Veränderungen in einer ein reales Gelände (15) und darin befindliche reale Objekte (16) umfassenden Realumgebung (10)
g e k e n n z e i c h n e t d u r c h
eine Auswertung von zumindest zwei zeitlich versetzt aufgenommenen Sätzen von bei einem Überflug über und/oder einer Durchfahrt durch die Realumgebung aufgenommenen Sensordaten (12), wobei die Auswertung die Erzeugung einer computergenerierten, die Realumgebung geospezifisch abbildenden Simulationsumgebung (14) aus je einem Satz von Sensordaten (12) umfasst, wobei die Simulationsumgebung (14) zumindest einen Höhenverlauf (25) der Realumge- bung zum Zeitpunkt der Aufnahme der Sensordaten (12) abbildet und wobei die Auswertung zumindest einen Vergleich der zumindest zwei Höhenverläufe (25) der erzeugten Simulationsumgebungen (14) umfasst, und
eine an die Auswertung anschließende Darstellung (28) von zumin- dest dem Ergebnis des Vergleichs der zumindest zwei Höhenverläufe
(25) der erzeugten Simulationsumgebungen (14).
2. Verfahren nach Anspruch 1 ,
dadurch gekennzeichnet,
dass das Ergebnis des Vergleichs der zumindest zwei Höhenverläufe
(25) anhand von zumindest einem Gewichtungsparameter bewertet und in Abhängigkeit der Bewertung dargestellt wird.
Verfahren nach Anspruch 2,
Figure imgf000037_0001
dadurch gekennzeichnet,
dass Ergebnis des Vergleichs der zumindest zwei Höhenverläufe (25) anhand zumindest einer vordefinierten Höhenschranke (27) bewertet wird.
4. Verfahren nach Anspruch 2 oder 3,
dadurch gekennzeichnet,
dass das Ergebnis des Vergleichs der zumindest zwei Höhenverläufe (25) anhand zumindest einer vordefinierten Flächenschranke, die eine zweidimensionale Ausdehnung von Höhenunterschieden der Höhenverläufe (25) betrifft, bewertet wird.
Verfahren nach einem der Ansprüche 2 bis 4,
dadurch gekennzeichnet,
dass das Ergebnis des Vergleichs der zumindest zwei Höhenverläufe (25) anhand zumindest einem vordefinierten Sicherheitssektor (23), der einen bestimmten Bereich der Simulationsumgebung (14) um- fasst, bewertet wird.
Verfahren nach einem der Ansprüche 2 bis 5,
dadurch gekennzeichnet,
dass das Ergebnis des Vergleichs der zumindest zwei Höhenverläufe (25) anhand zumindest einem vordefinierten Gefährdungsobjekt, das durch zumindest eine zweidimensionale Flächenausdehnung und/oder einen Höhenverlauf definiert ist, bewertet wird.
Verfahren nach einem der Ansprüche 1 bis 6,
dadurch gekennzeichnet,
dass die Darstellung des Ergebnisses des Vergleichs in einer statischen Darstellungsbetriebsart erfolgt, bei der eine Darstellung von zumindest einem Teil der Simulationsumgebung auf einer Anzeigevorrichtung (3, 4) erfolgt, wobei die Ergebnisse des Vergleichs durch eine optische, insbesondere durch eine farbliche, Hervorhebung in der Darstellung der Simulationsumgebung dargestellt werden.
8. Verfahren nach einem der Ansprüche 1 bis 6,
dadurch gekennzeichnet,
dass die Darstellung des Ergebnisses des Vergleichs in einer dynamischen Darstellungsbetriebsart erfolgt, bei der eine Abfolge von Darstellungen von zumindest einem Ausschnitt der Simulationsumgebungen (14) auf einer Anzeigevorrichtung (3, 4) erfolgt, wobei die Ergebnisse des Vergleichs durch eine optische, insbesondere durch eine farbliche, Hervorhebung (29) in der Darstellung der Simulationsumgebung (14) dargestellt werden.
Verfahren nach Anspruch 7 oder 8,
dadurch gekennzeichnet,
dass in der dynamischen und/oder statischen Darstellungsbetriebsart die Darstellung der Simulationsumgebung (14) in einer Draufsicht, insbesondere als Kartendarstellung, erfolgt.
Verfahren nach einem der Ansprüche 7 bis 9,
dadurch gekennzeichnet,
dass in der dynamischen und/oder statischen Darstellungsbetriebsart die Darstellung der Simulationsumgebung (14) in einer Schrägansicht, insbesondere aus einer vogelperspektivischen Darstellungsposition, erfolgt, wobei die Darstellungsposition automatisch zumindest anhand des Ergebnisses des Vergleichs der Höhenverläufe (25) und/oder frei wählbar anhand einer Benutzereingabe ausgewählt wird.
Verfahren nach einem der Ansprüche 7 bis 10,
dadurch gekennzeichnet,
dass ein Wechsel zwischen der statischen und der dynamischen Darstellungsbetriebsart, insbesondere in Reaktion auf eine Benutzerinteraktion, ausgeführt wird.
12. Verfahren nach einem der Ansprüche 1 bis 1 1 ,
dadurch gekennzeichnet,
dass das Erzeugen der Simulationsumgebung (14) das Generieren von Rasterdaten umfasst, wobei der Höhenverlauf durch ein Höhenraster abgebildet wird, in dem jedem Rasterpunkt (19) ein Höhenwert zugewiesen wird.
13. Verfahren nach Anspruch 12,
dadurch gekennzeichnet,
dass die Rasterpunkte (19) unterschiedlicher Simulationsumgebungen identische Punkte der Realumgebung (10) abbilden.
14. Verfahren nach Anspruch 12 oder 13,
dadurch gekennzeichnet,
dass der Vergleich der zumindest zwei Höhenverläufe (25) der erzeugten Simulationsumgebungen den Vergleich von Höhenwerten von einander entsprechenden Rasterpunkten (19) unterschiedlicher Simulationsumgebungen (14) umfasst.
15. Verfahren nach einem der Ansprüche 1 bis 14,
dadurch gekennzeichnet,
dass die Auswertung zumindest einen Vergleich von Bildinformationen, insbesondere zumindest zwei Sätzen von Bildaufnahmen umfasst, wobei die Bildaufnahmen zumindest einen Teil die Realumge- bung (10), bevorzugt zum Zeitpunkt der Aufnahme der Sensordaten
(12) abbilden.
16. Verfahren nach einem der Ansprüche 1 bis 15,
dadurch gekennzeichnet,
dass die Erzeugung der computergenerierten, die Realumgebung (10) geospezifisch abbildenden Simulationsumgebung (14) die Generierung von Oberflächentexturen durch Projektionen von Bildaufnahmen auf ein Oberflächenmodell der Simulationsumgebungen (14) umfasst, wobei die Auswertung zumindest einen Vergleich von Oberflächentexturen der Simulationsumgebungen (14) umfasst.
PCT/DE2016/100584 2016-02-22 2016-12-14 Verfahren zur ermittlung und darstellung von veränderungen in einer ein reales gelände und darin befindliche reale objekte umfassenden realumgebung WO2017144033A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016103057.0 2016-02-22
DE102016103057.0A DE102016103057A1 (de) 2016-02-22 2016-02-22 Verfahren zur Ermittlung und Darstellung von Veränderungen in einer ein reales Gelände und darin befindliche reale Objekte umfassenden Realumgebung

Publications (1)

Publication Number Publication Date
WO2017144033A1 true WO2017144033A1 (de) 2017-08-31

Family

ID=57906377

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2016/100584 WO2017144033A1 (de) 2016-02-22 2016-12-14 Verfahren zur ermittlung und darstellung von veränderungen in einer ein reales gelände und darin befindliche reale objekte umfassenden realumgebung

Country Status (2)

Country Link
DE (1) DE102016103057A1 (de)
WO (1) WO2017144033A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10964106B2 (en) 2018-03-30 2021-03-30 Cae Inc. Dynamically modifying visual rendering of a visual element comprising pre-defined characteristics
US11380054B2 (en) 2018-03-30 2022-07-05 Cae Inc. Dynamically affecting tailored visual rendering of a visual element

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1998139A1 (de) * 2006-03-17 2008-12-03 PASCO Corporation Verfahren und system zur detektion einer gebäudeformänderung
US20100128977A1 (en) * 2008-11-25 2010-05-27 Nec System Technologies, Ltd. Building change detection apparatus, Building change detection method and program
EP2207138A1 (de) * 2007-10-30 2010-07-14 PASCO Corporation Verfahren zur bestimmung von hausbewegungen, programm zur bestimmung von hausbewegungen, bilderzeugungsverfahren zur bestimmung von hausbewegungen und bild zur bestimmung von hausbewegungen

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004042662A1 (en) * 2002-10-15 2004-05-21 University Of Southern California Augmented virtual environments
DE102012103011A1 (de) * 2012-04-05 2013-10-10 Krauss-Maffei Wegmann Gmbh & Co. Kg Verfahren zur synchronen Wiedergabe einer virtuellen Realität in einer verteilten Simulationsvorrichtung
DE102015120927A1 (de) 2015-12-02 2017-06-08 Krauss-Maffei Wegmann Gmbh & Co. Kg Verfahren zur Darstellung einer Simulationsumgebung
DE102015120999A1 (de) 2015-12-02 2017-06-08 Krauss-Maffei Wegmann Gmbh & Co. Kg Verfahren zur Erzeugung und Darstellung einer computergenerierten, eine Realumgebung abbildenden Simulationsumgebung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1998139A1 (de) * 2006-03-17 2008-12-03 PASCO Corporation Verfahren und system zur detektion einer gebäudeformänderung
EP2207138A1 (de) * 2007-10-30 2010-07-14 PASCO Corporation Verfahren zur bestimmung von hausbewegungen, programm zur bestimmung von hausbewegungen, bilderzeugungsverfahren zur bestimmung von hausbewegungen und bild zur bestimmung von hausbewegungen
US20100128977A1 (en) * 2008-11-25 2010-05-27 Nec System Technologies, Ltd. Building change detection apparatus, Building change detection method and program

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ANDREEA JULEA ET AL: "Unsupervised Spatiotemporal Mining of Satellite Image Time Series Using Grouped Frequent Sequential Patterns", IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 49, no. 4, 1 April 2011 (2011-04-01), pages 1417 - 1430, XP011351008, ISSN: 0196-2892, DOI: 10.1109/TGRS.2010.2081372 *
HEBEL M ET AL: "Automatic change detection using mobile laser scanning", OPTOMECHATRONIC MICRO/NANO DEVICES AND COMPONENTS III : 8 - 10 OCTOBER 2007, LAUSANNE, SWITZERLAND; [PROCEEDINGS OF SPIE , ISSN 0277-786X], SPIE, BELLINGHAM, WASH, vol. 9250, 13 October 2014 (2014-10-13), pages 92500I - 92500I, XP060041223, ISBN: 978-1-62841-730-2, DOI: 10.1117/12.2067903 *
ISABEL RODES ARNAU: "Multispectral and Digital Elevation Model Information Fusion for Classification and Change Detection in Earth Observation", 1 January 2011 (2011-01-01), pages 1 - 82, XP055351306, Retrieved from the Internet <URL:http://elib.dlr.de/71260/1/I.Rodes.MScThesis.pdf> [retrieved on 20170303] *
PATENAUDE G ET AL: "Synthesis of remote sensing approaches for forest carbon estimation: reporting to the Kyoto Protocol", ENVIRONMENTAL SCIENCE & POLICY, ELSEVIER, AMSTERDAM, NL, vol. 8, no. 2, 1 April 2005 (2005-04-01), pages 161 - 178, XP027707742, ISSN: 1462-9011, [retrieved on 20050401] *
THOMAS BUTKIEWICZ ET AL: "Visual analysis for live LIDAR battlefield change detection", SPIE - INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING. PROCEEDINGS, vol. 6983, 3 April 2008 (2008-04-03), US, pages 69830B, XP055351339, ISSN: 0277-786X, ISBN: 978-1-5106-0753-8, DOI: 10.1117/12.777158 *
TIAN JIAOJIAO ET AL: "Building Change Detection Based on Satellite Stereo Imagery and Digital Surface Models", IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 52, no. 1, 1 January 2014 (2014-01-01), pages 406 - 417, XP011532156, ISSN: 0196-2892, [retrieved on 20131126], DOI: 10.1109/TGRS.2013.2240692 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10964106B2 (en) 2018-03-30 2021-03-30 Cae Inc. Dynamically modifying visual rendering of a visual element comprising pre-defined characteristics
US11380054B2 (en) 2018-03-30 2022-07-05 Cae Inc. Dynamically affecting tailored visual rendering of a visual element

Also Published As

Publication number Publication date
DE102016103057A1 (de) 2017-08-24

Similar Documents

Publication Publication Date Title
DE60208438T2 (de) Verfahren zum anzeigen der position eines flugzeugs in einer anzeigeeinrichtung zur luftverkehrskontrolle
EP2297701B1 (de) Videoanalyse
EP1631938B1 (de) Verfahren zur generierung eines dreidimensionalen geländemodells
EP2553660B1 (de) Verfahren zur visualisierung von aktivitätsschwerpunkten in überwachungsszenen
DE102015120999A1 (de) Verfahren zur Erzeugung und Darstellung einer computergenerierten, eine Realumgebung abbildenden Simulationsumgebung
DE102010022726B4 (de) Vorrichtung zur Darstellung von Gelände auf einer Anzeigevorrichtung eines Flugkörpers
EP4051982A1 (de) Verfahren und mobile erfassungsvorrichtung zur erfassung von infrastrukturelementen eines unterirdischen leitungsnetzwerks
EP1628262A2 (de) Verfahren und Vorrichtung zur Darstellung einer dreidimensionalen Topographie
DE102010011186B4 (de) Verfahren und Vorrichtung zur Visualisierung von räumlich verteilten Informationen in einem Frühwarnsystem
DE102009054214B4 (de) Verfahren und Vorrichtung zum Erzeugen einer Darstellung einer Umgebung
DE102013217223A1 (de) Überwachungsanlage sowie Verfahren zur Darstellung eines Überwachungsbereichs
DE10151983A1 (de) Verfahren zur Dokumentation einer Unfallsituation
WO2017144033A1 (de) Verfahren zur ermittlung und darstellung von veränderungen in einer ein reales gelände und darin befindliche reale objekte umfassenden realumgebung
WO2020038944A1 (de) Verfahren und anordnung zum erkennen von objekten an anlagen
EP3420539B1 (de) Verfahren zum betrieb einer anzeigevorrichtung und system zur anzeige von realen bildinhalten einer realumgebung überlagerten virtuellen bildinhalten
EP3534297B1 (de) Verfahren zur positionsermittlung eines beweglichen objekts, verfahren zur wegplanung für ein bewegliches objekt, vorrichtung hierfür, datenträger
WO2017092733A1 (de) Verfahren zur vorbereitenden simulation eines militärischen einsatzes in einem einsatzgebiet
DE102013217824A1 (de) Vorrichtung und Verfahren zum Ermitteln einer geeigneten Position einer Sensoreinrichtung
EP4172729A1 (de) Verfahren zum einblenden eines virtuellen objektes
WO2013057192A1 (de) Verfahren zur vermessung und visualisierung der räumlichen verhältnisse einer fertigungsstätte
EP3640767B1 (de) Verfahren zum bestimmen mindestens eines bereichs in mindestens einem eingabemodell für mindestens ein zu platzierendes element
DE102019220364A1 (de) Kalibriereinrichtung und Verfahren zum Kalibrieren einer Vorrichtung
WO2017182021A1 (de) Verfahren und system zur darstellung einer simulationsumgebung
DE102015120929A1 (de) Verfahren zur vorbereitenden Simulation eines militärischen Einsatzes in einem Einsatzgebiet
DE102009010921B4 (de) Vorrichtung und Verfahren zum Bereitstellen eines Videosignals eines virtuellen Bildes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16831562

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16831562

Country of ref document: EP

Kind code of ref document: A1