WO2014056473A2 - Verfahren zur bildaufbereitung und damit durchführbares verfahren zur automatischen objekterkennung sowie beobachtungsvorrichtung und verfahren zur hochgenauen bahnverfolgung startender raketen auf grosse entfernungen - Google Patents

Verfahren zur bildaufbereitung und damit durchführbares verfahren zur automatischen objekterkennung sowie beobachtungsvorrichtung und verfahren zur hochgenauen bahnverfolgung startender raketen auf grosse entfernungen Download PDF

Info

Publication number
WO2014056473A2
WO2014056473A2 PCT/DE2013/000569 DE2013000569W WO2014056473A2 WO 2014056473 A2 WO2014056473 A2 WO 2014056473A2 DE 2013000569 W DE2013000569 W DE 2013000569W WO 2014056473 A2 WO2014056473 A2 WO 2014056473A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
raster
image information
scene
image processing
Prior art date
Application number
PCT/DE2013/000569
Other languages
English (en)
French (fr)
Other versions
WO2014056473A3 (de
Inventor
Hans Wolfgang PONGRATZ
Manfred Hiebl
Original Assignee
Eads Deutschland Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eads Deutschland Gmbh filed Critical Eads Deutschland Gmbh
Priority to US14/435,020 priority Critical patent/US9300866B2/en
Priority to JP2015535987A priority patent/JP6285940B2/ja
Priority to EP13794796.6A priority patent/EP2907105A2/de
Priority to KR1020157012406A priority patent/KR20150072423A/ko
Publication of WO2014056473A2 publication Critical patent/WO2014056473A2/de
Publication of WO2014056473A3 publication Critical patent/WO2014056473A3/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30212—Military
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations

Definitions

  • the present invention relates to a method for image processing according to the preamble of patent claim 1. It further relates to a method for automatic object recognition according to the preamble of patent claim 4 and observation devices according to claim 6 and claim 7.
  • of the object for example a rocket
  • Confirmation copy of the object (for example a rocket) can be measured so accurately that a stable tracking of the observation device is possible and that
  • a combat of the flying object can take place on its trajectory.
  • Rocket flight route must be stationed close enough so that they always have a flying missile in view over the horizon. This not only requires a great deal of effort, but is often not sufficiently possible for political reasons.
  • radar stations can only determine the position of targets at a distance of 1000 km transversely to the viewing direction with an accuracy of several kilometers and measure their Radarrückstrahlquerites, but make no accurate identification.
  • decoys are usually not distinguishable by radar from real warheads, which causes great problems.
  • Orbits are known that can detect launching missiles in the mid-infrared range with telescopes. Since the discovery must be made from above against the warm earth background with a multitude of hard-to-detect false targets, these systems have to contend with a comparably low sensitivity. Due to the observation from above, the sensor also sees only the less bright and strongly fluctuating part of the engine jet. As a result, its measuring accuracy is limited to a few hundred meters, and can not be significantly improved due to the system. From the unpublished DE 10 201 1 010 337 is a camera system for detecting and tracking of moving objects located at a great distance from a high-flying aircraft, which is above the dense
  • Atmosphere flies known. This system has the great advantage of launching missiles practically out of the atmosphere from below against the background of cold space
  • Core area of the beam has a hundred times higher luminance than the more distant beam and is fixed at the nozzle exit, so does not cause any fluctuation.
  • an ideal extremely bright (1 megawatt / m 2 ) point light source with a diameter of only a few meters is available for tracing the tracks, which accurately and steadily executes the trajectory of the rocket.
  • the object of the invention is to provide a sensor that can locate and track this point light source over a distance of up to 1500 km with an accuracy of a few meters.
  • the multispectral camera can sequentially acquire multispectral images (e.g., at 700nm, 800nm, and 950nm) of a scene by means of a motor driven filter wheel having at least 3 narrowband (e.g., 20nm) transmission filters. From this, by conversion according to the blackbody radiation laws, a temperature image of the scene with a resolution of e.g. 50 ° K can be calculated.
  • multispectral images e.g., at 700nm, 800nm, and 950nm
  • 3 narrowband e.g. 20nm
  • the approximately 2300 ° K hot core area of a solid rocket and its characteristic shape can clearly be distinguished from the 2100 ° K hot core area of a liquid rocket and a different shape, and with sufficient optical resolution of the camera from 1 m to 2 m in 1000 km distance also measure the size of the core area and its temperature distribution.
  • military solid rockets can be distinguished from civil liquid rockets and different rocket types by the size, number and arrangement of the engines.
  • This camera system has a camera provided with a long-focal-length camera lens, which is arranged on a position-stabilized platform.
  • This camera is equipped with a high-speed shutter and a first and a second image sensor.
  • the captured by the camera optics light radiation can be performed either on the first or the second image sensor, wherein one of the image sensors is associated with a further telephoto optics.
  • the camera optics further comprises a pivotable mirror, with which it is possible to scan an area line by line by pivoting the mirror, wherein the captured image signal is fed to one of the image sensors. If a target object is detected during this scanning process, the light beam is deflected to the other image sensor, which is then used for object identification and, if appropriate, for target tracking.
  • Object of the present invention is to provide a method for image processing, with which it is possible, even over long distances,
  • Another object is to use this method for
  • Image processing to perform an automatic object detection
  • the inventive method designed in this way has the following
  • Image processing device for improving the signal-to-noise ratio of the image information, wherein the processing is carried out in the following sub-steps:
  • Raster filter element of a raster filter having an odd number of rows and an odd number of columns; b3) determining the brightness values of each of the raster filters
  • Rasterfilterelement each other raster filter element having an individual light attenuation property
  • step b4) summing the brightness values determined in step b3) into a sum brightness value and associating this sum brightness value with the raster pixel covered by the central raster filter element;
  • step b) generating a result image with the same screening as the raw image from the individual sum brightness values of the raster image elements obtained in step b).
  • Brightness gradient of the raw image is smoothed. Furthermore, noise pixels that emerge from the background of the raw image are removed, thus smoothing the image as well.
  • the brightness curve in the resultant image is continuous and differentiable from the raw image and the image contrast is improved, so that an object contained in the raw image emerges more clearly and clearly in the resulting image.
  • Image processing is characterized in that in step a) the image information of the scene is detected in more than one electromagnetic wavelength range in order to obtain raw images of the scene in different spectral ranges; that the steps b) and c) are performed for all raw images of the scene in order to obtain result images of different spectral regions, and that the result images of the different spectral regions are combined by superimposition into a multispectral result image.
  • a multi-spectral image with filters selected to match the temperature of the observed body (e.g., 2300 ° K) on the short-wave flank of the blackbody radiation curve can be used to convert the multispectral color image to a temperature image.
  • This temperature image makes it possible to have a small stable core temperature range within a much larger, possibly locally brighter, strongly fluctuating, background brightness field, such as, e.g. to find and track a missile fire tail.
  • Image processing the following steps performed: the detection of the scene in step a) is performed at different angles of rotation about the optical axis of the optical device;
  • the individual result images are compared with sample images of individual objects stored in an object database
  • That pattern image with the least deviation from one or more of the result images identifies the object contained in the scene and determines the position of the object in the result image.
  • Object identification enabled. Furthermore, by means of this automatic object recognition method, the position of the object in the result image can be determined, and thus a directional vector of the movement of the object (eg a rocket) can already be predicted with greater accuracy than in the prior art in a single scene detected and analyzed.
  • the object eg a rocket
  • Raster elements of the result image with corresponding raster elements of the pattern image is done.
  • the directed to the observation device part of the object is achieved by the observation device with the features of claim 6 and also by the observation device with the features of claim 7. While the observation device is formed with the features of claim 6, to the inventive method for image processing realize, the observation device according to claim 7 is adapted to perform the inventive method for automatic object recognition using the method according to the invention for image processing.
  • the image processing device has a screen-rastering module and a raster filter module is advantageous.
  • the image screening module has a matrix-like arrangement of light-guiding elements which are arranged between the optical device and a sensor sensitive to the detected radiation. It is at least a part of
  • Light guide each associated with a brightness-reducing raster filter element of the raster filter module.
  • the optical device is designed such that it images the acquired image information in a plane of entry of the image ram module as a raw image, and it is further configured such that the raw image is displaceable with respect to the entrance plane of the image raster module on the entry level.
  • a computer unit is provided which receives a brightness signal from the sensor and on which runs a software which implements method step c) of claim 1 and preferably the method steps of one of claims 2 to 5.
  • This advantageous embodiment of the observation device implements the method steps according to the invention in an opto-mechanical manner. Whenever "brightness" is used in this document, it is not limited to the spectrum of visible light, but also includes the intensity of the radiation in a non-visible spectrum such as in the infrared spectrum or in the ultraviolet spectrum, but without being limited thereto.
  • the method steps according to the invention can also be implemented in software, for which purpose the suitable observation device is characterized in that a visual sensor is arranged downstream of the optical device, that the optical device is designed such that it images the acquired image information in a sensor plane of the image sensor a computer unit is provided, which receives an image signal from the image sensor, and that software runs in the computer unit which implements the method steps b) and c) of claim 1 and preferably the method steps of one of claims 2 to 5, wherein the image rasterization module and the raster filter module are designed as a subroutine of the software.
  • This advantageous embodiment of the observation device implements the method steps according to the invention in an optoelectronic manner.
  • the composite multispectral images are processed after the preparation of the raw single images from a larger number of superimposed
  • Multispectral image then has a much better signal-to-noise ratio than the raw images of preferably more than 100 with a sufficient number of superimposed individual images by averaging over the many frames.
  • the composite multispectral images are preferably with a
  • Multispectral image evaluation and identification method evaluated in the image evaluation device 25, 125.
  • an observation of the target behavior is preferably carried out first and, in particular, the number and the trajectories of the visible objects are determined. Then a file of all flying objects and their trajectories is created, which is a safe
  • the composite multispectral images can also be used to observe and analyze the behavior of the objects (separation of a missile upper stage, ejection of decoys, flight maneuvers of a warhead) over time.
  • the composite multispectral images will continue to be in one
  • the target image recognition can thus recognize imaged targets as target objects of a certain type, and consequently
  • the target image recognition can work more reliably and sharper when the added multispectral images are subjected to multi-stage rendering prior to processing. For this, the composite multispectral images are first
  • a normalized form is converted by first forming the orthogonal vectorially added total brightness as the brightness value for each pixel, and then normalizing all the color components with the total brightness.
  • the entire color vector then consists of the brightness and the normalized
  • Color values This can be a color coordinate system with any number
  • Spectral components can be defined and in this system can all
  • Color operations are performed multispectrum, which are defined in the RGB system only in three colors. For all color components and the brightness of each image pixel, the
  • FIG. 2 shows an operation in which the image is simultaneously smoothed and differentiated, in which after the averaging over a plurality of images still existing interference pixels are removed and smoothed, and in which brightness transitions and edges are accentuated, so that the
  • the image is also subjected to an affine color transformation in which the target characterizing spectral components are stretched and thus better evaluated and atypical spectral components are compressed. This allows the correlation of the result images with the real target objects hidden in the images in the target image recognition a higher selectivity between real targets and false targets, which could be confused with real targets, as without this image processing.
  • the multispectral image recognition can be used either with the device for
  • the telescope 110 generates, via the deflection mirror 112, a real 25 ⁇ 25 pixel target image of a distant target in the plane 121 of the front surface of the optical 5 ⁇ 5
  • Optical fiber bundle of the image capture device 120 which occupies the same area as 5 x 5 pixels of the real target image.
  • the scanning mirror 1 12 deflects the target image horizontally and vertically so that each center pixel of each 5 x 5 pixel block sweeps sequentially over the central light guide of the 5 x 5 optical fiber bundle.
  • the twenty-five values for the 5 x 5 pixel blocks of each 25 x 25 pixel image are stored in the computing unit 126 for all spectral regions. This is repeated for twelve rotational positions over 360 ° of the 25 x 25 pixel image. Search areas of 15x15 pixel blocks from the target images are compared for the value of each center pixel of each 5x5 pixel block with the sought after 15x15 pixel reference images, with the differences of each nine
  • Coefficient values of input image search area and current reference image are formed.
  • the position resolution of the image recognition is five pixels horizontally and vertically.
  • the telescope 110 In the digital-based device (FIG. 4), the telescope 110 generates a real 25x25 pixel target image of a remote illuminated target in the image plane of the image capture device 120 comprising, for example, an NIR (Near Infrared) camera via the deflection mirror 112.
  • the camera converts the light signal into a digital multispectral image with high resolution.
  • characteristic values of a weighting function according to the invention are calculated in the search image (25 ⁇ 25 pixels in size) for each search pixel position, as described above. Due to the described design of the evaluation function, the number of rotational positions to be examined can be limited to twelve without loss of selectivity.
  • target detection, trajectory tracking, trajectory measurement and target observation and target identification of launching missiles can be performed even after engine burnout at distances up to 500 km.
  • FIG. 1A shows a raster filter matrix of the observation device according to FIG. 1;
  • FIG. a second embodiment of an observation device for carrying out the image processing method according to the invention;
  • FIG. 2A shows a raster filter matrix of the observation device according to FIG. 2;
  • Fig. 3 shows a first embodiment of an observation device for
  • Fig. 4 shows a second embodiment of an observation device for
  • the optical device 1 shows an observation device according to the invention with an optical device 1 and an image processing device 2.
  • the optical device 1 has a telescope unit 10 with a long-focal-length objective, which is shown only schematically in the figure.
  • the telescope unit 10 begins
  • electromagnetic radiation S of an observed scene in the visible spectrum of the light and outside the visible spectrum of the light for example, infrared and / or ultraviolet radiation.
  • the captured by the telescope 10 radiation S is moved to a
  • Deflection mirror 12 passes, which is driven by a drive 14 shown only schematically in Fig. 1 for performing a two-dimensional scan movement.
  • the vertical deflection of the deflection mirror 12 takes place in an angular range, which is defined in Fig. 1 by way of example by the upper boundary line a of a central beam SM and by the lower boundary line a 'and by a first lateral boundary line b and a second lateral boundary line b' of the center beam SM.
  • the deflection mirror 12 performs line-by-line scanning of the radiation S captured by the telescope 10 and in each case projects a portion of the target image Z 'determined by the area Z onto an entrance plane E of a rasterization module 20 of
  • the image screening module 20 has a matrix-like arrangement of light-guiding elements, not shown in detail in FIG. 1, which open at one end in the input plane E.
  • a likewise matrix-type raster filter 22 is provided, which is shown only schematically in FIG. 1 and which is reproduced in cross-section in FIG. 1A as a filter matrix.
  • This raster filter 22 contains a central raster filter element 22 "and a plurality of further individual raster filter elements 22 'surrounding it, which are each assigned to one of the further light-guiding elements surrounding the central light-guiding element.
  • the rasterizing module 20 thus consists of five by five (ie twenty-five) Light guide, each of which a raster filter element 22 ', 22 "is assigned.
  • a respective further raster filter element 22 ' is assigned factors which reflect the light transmittance of the individual raster filter element.
  • the central raster filter element 22 " which is assigned to the central light-guiding element, has a light transmittance of 1.00, which corresponds to 100% .
  • the light guided through the central light-guiding element is thus not attenuated by the raster filter 22.
  • the light is transmitted around the central light-emitting element
  • 0.21 corresponds to 21% light transmission.
  • the light emitted by the individual light guide elements of the image screening module 20 through the raster filter 22 impinges on a sensor 24, which is formed, for example, by a photo light amplifier tube and which forms the sum signal of the light radiation emerging through the individual raster filter elements.
  • This brightness or radiation intensity sum signal Ss is forwarded by the sensor 24 to a computer unit 26 of the image processing device 2.
  • the sum of the radiation intensities of the neighboring pixels of the matrix shown in FIG. 1A is detected by the sensor 24 for each target image pixel, wherein the respective target image pixel forms the central element of the matrix.
  • a target image pixel corresponds to a grid element of the grid of the light guide elements
  • Each target image pixel thus becomes the
  • the luminances of the pixels surrounding the central pixel element are summarily assigned according to the matrix, so that a
  • the computer unit 26 after a complete scan of the deflection mirror 12, all stored sum brightness values of the individual target image pixels are combined again into a result image, which is then output via an output interface 27, for example on a display device 28.
  • the formation of the result image from the stored sum brightness values of the individual target image pixels takes place in such a way that the stored sum brightness value of a target image pixel is assigned to the same position in the result image that the target image pixel assumed in the target image.
  • This output result image is not only brighter than the target image Z 'originally projected onto the input plane E by the light amplification described, but due to the different weighting of the respective neighboring pixels according to the matrix from FIG. 1A, this result image is also smoothed and no longer contains any noise pixels emerge from the background.
  • the brightness curve of the result image is continuous, so that the result image is differentiable.
  • the image contrast is also improved by the described method.
  • the brightness filter matrix (raster filter 22) is given with 5 ⁇ 5 raster filter elements and the target image Z 'spanned by the scan area is assumed to be 25 ⁇ 25 pixels, the invention can also be used for all other resolutions of the target image and for all other resolutions of the
  • Brightness filter matrix or the matrix of light-guiding elements can be realized.
  • FIG. 2 shows a modified variant of that shown in FIG.
  • the radiation S received by the scene to be observed is transmitted by the telescope unit 110 of the optical system
  • Device 101 is captured and guided by means of a - in contrast to FIG. 1 Vietnamesebewegbaren- deflecting mirror 1 12 on an image sensor 121 (for example, a CCD sensor) of an image capture device 120, which is part of the image processing device 102, wherein the target image Z 'of observed scene is completely mapped on the image sensor 121.
  • an image sensor 121 for example, a CCD sensor
  • the image capture device 120 converts the optical target image Z 'projected onto the image sensor 121 into a digital image, which is forwarded in the form of an image file to a computer unit 126.
  • the computer unit 126 runs from a software that analogous to that in connection with
  • Fig. 1 described optical image processing method prepared the obtained digital image.
  • the recorded target image Z ' is converted into a raster image and processed in raster element or pixel by pixel, wherein the brightness value of each target pixel and, according to the filter matrix shown in Fig.
  • Result images of different spectral ranges are superimposed in the computer unit 26, 126 to form a multi-spectral image, which is output via the output interface 27, 127.
  • Fig. 3 shows an observation device as already described with reference to Fig. 1.
  • the Jardinrast ceremoniessmodul 20 having the light-guiding elements about a parallel to the longitudinal direction of the Lichtleitiata axis of rotation X in predetermined angular increments (for example, 12 angular steps over 360 °) is rotatable as symbolically represented by the arrow 23.
  • the telescope 10 generates via the deflection mirror 12, for example, a 25 x 25 pixel target image Z ', which is shown in Fig. 3 as a matrix with 5 x 5 fields, each field has the size of 5 x 5 pixels or raster elements and having the same size and number of raster elements as the raster filter 22.
  • the deflection mirror 12 deflects the radiation captured by the telescope 10 horizontally and vertically such that each center pixel of each 5 ⁇ 5 pixel block
  • Frame screening module 20 is performed.
  • the brightness values for the twenty-five target picture elements z, which result in accordance with the image processing described in connection with FIG. 1, are stored in the computer unit 26.
  • the image processing is preferably carried out not only in the visible light range, but also analogously for other spectral ranges.
  • the result values for the other spectral ranges are also stored in the computer unit 26.
  • the rasterization module 20 is rotated further by one angular step and the described rendering steps are repeated. If this procedure for all angular steps, so for a complete revolution of the
  • Defined search image area and reduced to these elements z m target image is compared with stored in a memory device 29 reference images of the same size and the same resolution.
  • the position and the rotational position at which the smallest difference between the search image and the stored reference image occurs is registered as the position and rotational position of a target of a reference image class contained in the monitored scene.
  • Imaging process created. 4 shows a further variant of an inventive
  • Observation device corresponds in its construction of the observation device described in connection with FIG. 2, so that the reference numerals in Fig. 4 are the same reference numerals as in Fig. 2 and thus the same components
  • Embodiment of FIG. 4 on a reference image memory in the memory device 129 which communicates with the computer unit 126 for data exchange.
  • the computer unit 26, 126 and the memory device 29, 129 form an image evaluation device 25 within the image processing device 2.
  • the following characteristic values are calculated in the target image Z '(25 ⁇ 25 pixels) for each search pixel position Pz:
  • the average of the individual normalized spectral components and the total brightness, weighted according to the matrix of the raster filter 122, is calculated for each one of the nine marked 5 x 5 pixel blocks z m and for all four central pixels 123 of the corner pixel blocks in the central area from new pixel blocks In each case, the average value of the average values is calculated for the respective eight 5 ⁇ 5 pixel blocks Z arranged in a ring, which surround a respective corner pixel block.
  • Difference formation compared with the values for the searched reference target image and the value set with the smallest absolute value of the difference sum is registered as a representative of this search pixel.
  • the target image is now decomposed into smaller subareas and the search pixel with the smallest difference sum in each subarea is searched.
  • the value set of the search pixel with the smallest difference sum is interpreted as a recognized target image and at the considered search pixel position with a pixel resolution and the rotational position as the discovered target of the

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)

Abstract

Ein Verfahren zur Bildaufbereitung mit folgenden Schritten: a) Erfassen von Bildinformation einer Szene als elektromagnetische Strahlung mittels einer optischen Einrichtung (1, 101); b) Aufbereiten der in Schritt a) erhaltenen Bildinformation mittels einer Bildaufbereitungseinrichtung (2, 102) zur Verbesserung des Signal-Rausch-Verhältnisses der Bildinformation, wobei die Aufbereitung in folgenden Teilschritten durchgeführt wird: b1) Unterteilen eines die Bildinformation aufweisenden Rohbildes in Zeilen und Spalten zur Schaffung eines Rasterbildes; b2) Überlagern eines Rasterbildelements mit einem zentralen Rasterfilterelement (22", 122") eines eine ungerade Anzahl von Zeilen und eine ungerade Anzahl von Spalten aufweisenden Rasterfilters (22, 122); b3) Bestimmen der Helligkeitswerte eines jeden der vom Rasterfilter (22, 122) überdeckten Rasterbildelemente, wobei außer dem zentralen Rasterfilterelement (22", 122") jedes andere Rasterfilterelement (22', 122') eine individuelle Lichtdämpfungseigenschaft aufweist; b4) Aufsummieren der in Schritt b3) bestimmten Helligkeitswerte zu einem Summen-Helligkeitswert und Zuordnen dieses Summen-Helligkeitswerts zu dem vom zentralen Rasterfilterelement (22", 122") überdeckten Rasterbildelement; b5) Wiederholen der Schritte b2) bis b4) für alle verbleibenden Rasterbildelemente; c) Erzeugen eines Ergebnisbildes mit derselben Rasterung wie das Rohbild aus den einzelnen im Schritt b) erhaltenen Summen-Helligkeitswerten der Rasterbildelemente. Verfahren zur Bahnverfolgung startender Raketen mit brennenden Triebwerken mit stark erhöhter Genauigkeit gegenüber dem Stand der Technik, mit folgenden Kennzeichen: a) Wahl eines Beobachtungsortes seitlich unter dem Ziel mit besonders vorteilhaften Beobachtungsbedingungen, b) Bahnverfolgung über das Temperaturbild des Kerntriebwerksstrahles, gemessen durch eine schmalbandige Multispektralkamera mit mindestens 3 Bändern.

Description

Verfahren zur Bildaufbereitung und damit durchführbares Verfahren zur automatischen Objekterkennung sowie Beobachtungsvorrichtung und Verfahren zur hochgenauen Bahnverfolgung startender Raketen auf große
Entfernungen
TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft ein Verfahren zur Bildaufbereitung gemäß dem Oberbegriff des Patentanspruchs 1. Sie betrifft weiterhin ein Verfahren zur automatischen Objekterkennung nach dem Oberbegriff des Patentanspruchs 4 und Beobachtungsvorrichtungen gemäß Anspruch 6 und Anspruch 7.
HINTERGRUND DER ERFINDUNG
Bei der Fernbeobachtung von Objekten, insbesondere im Zuge der militärischen Aufklärung, kommt es darauf an, bewegte Objekte, zum Beispiel startende Raketen mit brennenden Triebwerken, über eine große Entfernung von bis zu 1500 km und Raketen nach Brennschluss bei ausreichender, gegebenenfalls künstlicher,
Beleuchtung über eine Entfernung von bis zu 1000 km zunächst zu erfassen, entlang ihrer Bewegungsbahn zu verfolgen und zu identifizieren. Selbst dann, wenn zur Beobachtung optische Beobachtungsvorrichtungen mit langbrennweitigen Objektiven und Bildsensoren von hoher Auflösung verwendet werden, sind bei einer Objektentfernung von über 500 km bis hin zu 1500 km keine das Triebwerksfeuer- strahlobjekt scharf wiedergebenden Abbildungen mit hoher Auflösung im Bereich von einigen Metern möglich, da die Helligkeitsverteilung innerhalb des Feuerstrahls in einem Bereich von bis zu 100 m in alle Richtungen mit hoher Frequenz fluktuiert. Trotz einer derartigen reduzierten Abbildungsleistung muss es jedoch möglich sein, feststellen zu können, ob es sich bei dem erfassten Objekt um eine miltitärische oder zivile Trägerrakete oder um einen Täuschkörper handelt. Weiterhin muss die Objekterfassung über einen ausreichenden Zeitraum mit zuverlässigem Ergebnis mit einer Genauigkeit von einigen Metern erfolgen können, um daraus die Flugbahn
|Bestätigungskopie| des Objekts (zum Beispiel einer Rakete) so genau vermessen zu können, dass eine stabile Nachführung der Beobachtungsvorrichtung möglich ist und dass
gegebenenfalls eine Bekämpfung des fliegenden Objekts auf seiner Flugbahn erfolgen kann.
STAND DER TECHNIK
Aus dem allgemeinen Stand der Technik sind für derartige Zielverfolgungszwecke große X-Band-Radaranlagen bekannt, die entlang einer erwarteten
Raketenflugroute dicht genug stationiert sein müssen, so dass sie eine fliegende Rakete stets im Blickfeld über dem Horizont haben. Dies erfordert nicht nur einen sehr großen Aufwand, sondern ist häufig auch aus politischen Gründen nicht ausreichend möglich. Zudem können derartige Radarstationen nur die Position von Zielobjekten bei einer Entfernung von 1000 km quer zur Sichtrichtung mit einer Genauigkeit von mehreren Kilometern bestimmen und deren Radarrückstrahlquerschnitt messen, aber keine genaue Identifikation vornehmen. Insbesondere Täuschkörper sind üblicherweise durch Radar nicht von echten Sprengköpfen zu unterscheiden, was große Probleme verursacht.
Aus dem Stand der Technik sind weiterhin Satelliten in geostationären
Umlaufbahnen bekannt, die startende Raketen im mittleren Infrarotbereich mit Teleskopen entdecken können. Da die Entdeckung von oben gegen den warmen Erdhintergrund mit einer Vielzahl von schwer erkennbaren Falschzielen erfolgen muss, haben diese Systeme mit einer vergleichbar geringen Empfindlichkeit zu kämpfen. Auf Grund der Beobachtung von oben sieht der Sensor auch nur den weniger hellen und stark fluktuierenden Teil des Triebwerksstrahles. Dadurch wird seine Messgenauigkeit auf einige hundert Meter begrenzt, und kann systembedingt nicht wesentlich vernbessert werden. Aus der nicht vorveröffentlichten DE 10 201 1 010 337 ist ein Kamerasystem zur Erfassung und Bahnverfolgung von in großer Entfernung befindlichen bewegten Objekten von einem hochfliegenden Fluggerät aus, das über der dichten
Atmosphäre fliegt, bekannt. Dieses System hat den großen Vorteil, die startenden Raketen praktisch ausserhalb der Atmosphäre von unten gegen den Hintergrund des kalten Weltraums
beobachten zu können, und ausser Sternen und nahen Himmelskörpern, deren Position genau bekannt ist, keine weiteren Falschziele unterdrücken muss, um Fehlalarme zu vermeiden.
Ein weiterer großer Vorteil der Beobachtung von unten und von seitlich der
Flugbahn aus ist, das von dort die Blickrichtung auf den über 2000°K heißen Kernbereich des Triebwerksstrahls direkt am Düsenaustritt frei ist. Dieser
Kernbereich des Strahles hat eine hunderfach höhere Leuchtdichte als der weiter entfernte Strahl und ist fest am Düsenaustritt fixiert, führt also keinerlei Fluktuation aus. Damit steht für die Bahnverfolgung eine ideale extrem helle ( 1 Megawatt/m2 ) Punktlichtquelle mit wenigen Metern Durchmesser zur Verfügung, die genau und stetig die Flugbahn der Rakete ausführt.
Aufgabe der Erfindung ist es, einen Sensor anzugeben, der diese Punktlichtquelle über eine Entfernung von bis zu 1500 km mit einer Genauigkeit von wenigen Metern orten und verfolgen kann.
Dazu wird das folgende Multispektralkamerasystem für den Nahinfrarotbereich vorgeschlagen. Die Multispektralkamera kann mit Hilfe eines Motor getriebenen Filterrades mit mindestens 3 schmalbandigen ( z.B. 20 nm ) Transmissionsfiltern sequentiell Multispektralbilder ( z.B. bei 700nm, 800nm, und 950nm ) einer Szene aufnehmen. Daraus kann durch Umrechnung nach den Schwarzkörperstrahlungs- gesetzen ein Temperaturbild der Szene mit einer Auflösung von z.B. 50°K errechnet werden. Bei dieser Auflösung lässt sich erfind ungsgemäss der ungefähr 2300°K heiße Kernbereich einer Feststoffrakete und dessen charakteristische Form eindeutig von dem 2100°K heissen Kernbereich einer Flüssigkeitsrakete und einer abweichenden Form unterscheiden, und bei genügender optischer Auflösung der Kamera von 1 m bis 2m in 1000 km Entfernung auch die Größe des Kernbereiches und seine Temperaturverteilung messen. Mit diesen Daten können militärische Feststoffraketen von zivilen Flüssigkeitsraketen und verschiedene Raketentypen durch die Größe, Zahl und Anordnung der Triebwerke unterschieden werden.
Dieses Kamerasystem weist eine mit einer langbrennweitigen Kameraoptik versehene Kamera auf, die auf einer lagestabilisierten Plattform angeordnet ist. Diese Kamera ist mit einem Hochgeschwindigkeitsverschluss sowie einem ersten und einem zweiten Bildsensor versehen. Die von der Kameraoptik eingefangene Lichtstrahlung kann wahlweise auf den ersten oder den zweiten Bildsensor geführt werden, wobei einem der Bildsensoren eine weitere Tele-Optik zugeordnet ist. Die Kameraoptik weist weiter einen schwenkbaren Spiegel auf, mit welchem es möglich ist, durch Verschwenken des Spiegels ein Gebiet zeilenweise abzuscannen, wobei das eingefangene Bildsignal einem der Bildsensoren zugeführt wird. Wird bei diesem Scanvorgang ein Zielobjekt erkannt, so wird der Lichtstrahl auf den anderen Bildsensor umgelenkt, der dann zur Objektidentifizierung und gegebenenfalls zur Ziel Verfolgung eingesetzt wird.
DARSTELLUNG DER ERFINDUNG
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zur Bildaufbereitung anzugeben, mit welchem es möglich ist, auch über große Entfernung,
beispielsweise von mehreren hundert Kilometern, insbesondere auf eine Entfernung von 100 km bis 500 km, erfasste Bildinformation so aufzubereiten, dass es möglich ist, mittels dieser aufbereiteten Bildinformation ein in der erfassten Szene
enthaltenes Objekt mittels der aufbereiteten Bildinformation zu erkennen. Eine weitere Aufgabe besteht darin, unter Anwendung dieses Verfahrens zur
Bildaufbereitung eine automatische Objekterkennung durchführen zu können.
Schließlich sind auch Beobachtungsvorrichtungen anzugeben, mit denen diese Verfahren realisierbar sind. Der auf das Verfahren zur Bildaufbereitung gerichtete Teil der Aufgabe wird gelöst mit den im Patentanspruch 1 angegebenen Verfahrensschritten.
Das so ausgestaltete erfindungsgemäße Verfahren weist die folgenden
Verfahrensschritte auf: a) Erfassen von Bildinformation einer Szene als elektromagnetische Strahlung, wie beispielsweise Licht im sichtbaren Spektrum, im infraroten Spektrum oder im ultravioletten Spektrum, mittels einer optischen Einrichtung; b) Aufbereiten der in Schritt a) erhaltenen Bildinformation mittels einer
Bildaufbereitungseinrichtung zur Verbesserung des Signal-Rausch- Verhältnisses der Bildinformation, wobei die Aufbereitung in folgenden Teilschritten durchgeführt wird:
b1 ) Unterteilen eines die Bildinformation aufweisenden Rohbildes in Zeilen und Spalten zur Schaffung eines Rasterbildes;
b2) Überlagern eines Rasterbildelements mit einem zentralen
Rasterfilterelement eines eine ungerade Anzahl von Zeilen und eine ungerade Anzahl von Spalten aufweisenden Rasterfilters; b3) Bestimmen der Helligkeitswerte eines jeden der vom Rasterfilter
überdeckten Rasterbildelemente, wobei außer dem zentralen
Rasterfilterelement jedes andere Rasterfilterelement eine individuelle Lichtdämpfungseigenschaft aufweist;
b4) Aufsummieren der in Schritt b3) bestimmten Helligkeitswerte zu einem Summen-Helligkeitswert und Zuordnen dieses Summen- Helligkeitswerts zu dem vom zentralen Rasterfilterelement überdeckten Rasterbildelement;
b5) Wiederholen der Schritte b2) bis b4) für alle verbleibenden
Rasterbildelemente;
c) Erzeugen eines Ergebnisbildes mit derselben Rasterung wie das Rohbild aus den einzelnen im Schritt b) erhaltenen Summen-Helligkeitswerten der Rasterbildelemente.
VORTEILE
Durch dieses erfindungsgemäße Bildaufbereitungsverfahren wird das Signal-zuRausch-Verhältnis des aufgenommenen Rohbildes verbessert, indem der
Helligkeitsverlauf des Rohbildes geglättet wird. Weiterhin werden Rauschpixel, die aus dem Hintergrund des Rohbildes hervortreten, entfernt und somit ebenfalls das Bild geglättet. Der Helligkeitsverlauf im erhaltenen Ergebnisbild ist gegenüber dem Rohbild stetig und differenzierbar und der Bildkontrast ist verbessert, so dass ein im Rohbild enthaltenes Objekt im Ergebnisbild deutlicher und klarer erkennbar hervortritt. Eine bevorzugte Weiterbildung dieses erfindungsgemäßen Verfahrens zur
Bildaufbereitung zeichnet sich dadurch aus, dass im Schritt a) die Bildinformation der Szene in mehr als einem elektromagnetischen Wellenlängenbereich erfasst wird, um so Rohbilder der Szene in unterschiedlichen Spektralbereichen zu erhalten; dass die Schritte b) und c) für alle Rohbilder der Szene durchgeführt werden, um Ergebnisbilder unterschiedlicher Spektralbereiche zu erhalten, und dass die Ergebnisbilder der unterschiedlichen Spektralbereiche durch Überlagerung zu einem Multispektral-Ergebnisbild zusammengefasst werden.
Das Erfassen der Szene in unterschiedlichen Spektralbereichen durch sequentielle Aufnahme von Bildern mit schmalbandigen ( z.B. 20 nm) Filtern und das
Zusammensetzen der jeweils erfindungsgemäß aufbereiteten Rohbilder dieser unterschiedlichen Spektralbereiche zu einem Multispektral-Ergebnisbild verbessert die Aussagekraft des erhaltenen Bildergebnisses.
Dies ist insbesondere dann der Fall, wenn die einzelnen Ergebnisbilder
unterschiedlicher Spektralbereiche jeweils monochrom in unterschiedlichen Farben eingefärbt zum Multispektral-Ergebnisbild zusammengefasst werden. Ein
Multispektralbild mit passend zu der Temperatur des beobachteten Körpers ( z.B. 2300°K ) auf der kurzwelligen Flanke der Schwarzkörperstrahlungskurve gewählten Filtern kann zur Umrechnung des Multispektralfarbbildes in ein Temperaturbild benutzt werden. Dieses Temperaturbild ermöglicht es, einen kleinen stabilen Kerntemperaturbereich innerhalb eines wesentlich größeren, möglicherweise örtlich auch helleren, stark fluktuirenden , Hintergrundhelligkeitsfeldes, wie z.B. eines Raketenfeuerschweifes zu finden und zu verfolgen.
Vorteilhaft ist dabei, wenn das Erfassen der Bildinformation der Szene in den unterschiedlichen Spektralbereichen unter Verwendung unterschiedlicher
Spektralbereichsfilter in kurzer zeitlicher Aufeinanderfolge mittels einer
Hochgeschwindigkeitskamera erfolgt. Dadurch wird es möglich, im Vergleich zur Bewegung des beobachteten Objekts quasi-zeitsynchrone Rohbilder der Szene in unterschiedlichen Spektralbereichen aufzunehmen, die sich aufgrund der äußerst kurzen zeitlichen Aufeinanderfolge der jeweiligen Aufnahmen nur unwesentlich bezüglich der Position des Objekts im Bild unterscheiden, so dass diese Aufnahmen problemlos durch Überlagerung zu dem Multispektral-Ergebnisbild
zu sammengefasst werden können. Der auf das Verfahren zur automatischen Objekterkennung gerichtete Teil der Aufgabe wird gelöst durch das Verfahren mit den Merkmalen des Patentanspruchs 4. Dabei werden unter Anwendung des erfindungsgemäßen Verfahrens zur
Bildaufbereitung folgende Verfahrensschritte durchgeführt: das Erfassen des Szene im Schritt a) wird in unterschiedlichen Drehwinkeln um die optische Achse der optischen Einrichtung durchgeführt;
zu jedem Drehwinkel wird ein Ergebnisbild gemäß den Schritten des erfindungsgemäßen Verfahrens zur Bildaufbereitung erzeugt;
die einzelnen Ergebnisbilder werden mit in einer Objekte-Datenbank gespeicherten Musterbildern einzelner Objekte verglichen; und
jenes Musterbild mit der geringsten Abweichung von einem oder mehreren der Ergebnisbilder identifiziert das in der Szene enthaltene Objekt und bestimmt die Position des Objekts im Ergebnisbild.
Mittels dieses automatischen Objekterkennungsverfahrens wird unter Anwendung des erfindungsgemäßen Bildaufbereitungsverfahrens eine automatische
Objektidentifikation ermöglicht. Des Weiteren kann mittels dieses automatischen Objekterkennungsverfahrens die Position des Objekts im Ergebnisbild bestimmt werden und damit kann bereits bei einer einzigen erfassten und analysierten Szene ein Richtungsvektor der Bewegung des Objekts (beispielsweise einer Rakete) mit größere Genauigkeit als nach dem Stand der Technik vorhergesagt werden.
Eine bevorzugte Weiterbildung dieses Objekterkennungsverfahrens gemäß der Erfindung zeichnet sich dadurch aus, dass die Bestimmung der Position des Objekts im Ergebnisbild durch die Bestimmung der übereinstimmenden
Rasterelemente des Ergebnisbildes mit entsprechenden Rasterelementen des Musterbildes erfolgt. Der auf die Beobachtungsvorrichtung gerichtete Teil der Aufgabe wird gelöst durch die Beobachtungsvorrichtung mit den Merkmalen des Patentanspruchs 6 und auch durch die Beobachtungsvorrichtung mit den Merkmalen des Patentanspruchs 7. Während die Beobachtungsvorrichtung mit den Merkmalen des Patentanspruchs 6 ausgebildet ist, um das erfindungsgemäße Verfahren zur Bildaufbereitung zu realisieren, ist die Beobachtungsvorrichtung gemäß Anspruch 7 dazu ausgebildet, unter Anwendung des erfindungsgemäßen Verfahrens zur Bildaufbereitung das erfindungsgemäße Verfahren zur automatischen Objekterkennung durchzuführen.
Vorteilhaft ist bei beiden erfindungsgemäßen Beobachtungsvorrichtungen eine Ausführungsform, bei der die Bildaufbereitungseinrichtung ein Bildrasterungsmodul und ein Rasterfiltermodul aufweist. In einer ersten Variante der erfindungsgemäßen Beobachtungsvorrichtung weist das Bildrasterungsmodul eine matrixartige Anordnung von Lichtleitelementen auf, die zwischen der optischen Einrichtung und einem für die erfasste Strahlung empfindlichen Sensor angeordnet sind. Dabei ist zumindest einem Teil der
Lichtleitelemente jeweils ein helligkeitsreduzierendes Rasterfilterelement des Rasterfiltermoduls zugeordnet. Die optische Einrichtung ist so ausgestaltet, dass sie die erfasste Bildinformation in einer Eintrittsebene des Bildrastungsmoduls als Rohbild abbildet, und sie ist weiterhin so ausgestaltet, dass das Rohbild bezüglich der Eintrittsebene des Bildrastungsmoduls auf der Eintrittebene verschiebbar ist. Zudem ist eine Rechnereinheit vorgesehen, die vom Sensor ein Helligkeitssignal erhält und auf der eine Software abläuft, die den Verfahrensschritt c) des Anspruchs 1 sowie vorzugsweise die Verfahrensschritte eines der Ansprüche 2 bis 5 implementiert. Diese vorteilhafte Ausführungsform der Beobachtungsvorrichtung setzt die erfindungsgemäßen Verfahrenschritte in optisch-mechanischer Weise um. Wenn in diesem Dokument von "Helligkeit" gesprochen wird, so ist dieser Begriff nicht auf das Spektrum des sichtbaren Lichts beschränkt, sondern er umfasst auch die Intensität der Strahlung in einem nicht-sichtbaren Spektrum wie beispielsweise im Infrarotspektrum oder im Ultraviolettspektrum, ohne jedoch darauf beschränkt zu sein.
Alternativ können die erfindungsgemäßen Verfahrensschritte auch in Software implementiert sein, wozu sich die dazu geeignete Beobachtungsvorrichtung dadurch auszeichnet, dass der optischen Einrichtung ein Bildsensor nachgeordnet ist, dass die optische Einrichtung so ausgestaltet ist, dass sie die erfasste Bildinformation in einer Sensorebene des Bildsensors abbildet, dass eine Rechnereinheit vorgesehen ist, die vom Bildsensor ein Bildsignal erhält, und dass in der Rechnereinheit eine Software abläuft, die die Verfahrensschritte b) und c) des Anspruchs 1 sowie vorzugsweise die Verfahrensschritte eines der Ansprüche 2 bis 5 implementiert, wobei das Bildrasterungsmodul und das Rasterfiltermodul als Subroutine der Software ausgebildet sind. Diese vorteilhafte Ausführungsform der Beobachtungsvorrichtung setzt die erfindungsgemäßen Verfahrensschritte in optisch-elektronischer Weise um.
Die zusammengesetzten Multispektralbilder werden erst nach der Aufbereitung der Roheinzelbilder aus einer größeren Zahl von überlagerten aufbereiteten
Einzelbildern, die in verschiedenen Spektralfarben aufgenommen worden sind, in der Rechnereinheit rechnerisch zusammengesetzt. Das zusammengesetzte
Multispektralbild besitzt dann bei einer ausreichenden Zahl von überlagerten Einzelbildern durch die Mittelung über die vielen Einzelbilder ein viel besseres Signal-zu-Stör-Verhältnis als die Rohbilder von vorzugsweise über 100.
Die zusammengesetzten Multispektralbilder werden bevorzugt mit einem
Multispektral-Bildauswertungs- und Identifizierungsverfahren nach Fig. 3 oder Fig. 4 in der Bildauswerteeinrichtung 25, 125 ausgewertet. Dabei wird vorzugsweise zuerst eine Beobachtung des Zielverhaltens vorgenommen und insbesondere die Anzahl und die Bahnkurven der sichtbaren Objekte werden bestimmt. Dann wird eine Datei aller Flugobjekte und ihrer Flugbahnen angelegt, die eine sichere
Wiedererkennung aller Objekte bei Folgemessungen gestattet und eine
Extrapolation ihrer Flugbahnen in die Zukunft erlaubt, insbesondere der Berechnung möglicher Einschlagpunkte des Flugobjekts am Ende der Flugbahn. Aus den zusammengesetzten Multispektralbildern kann außerdem das Verhalten der Objekte (Abtrennung einer Raketen-Oberstufe, Ausstoßen von Täuschkörpern, Flugmanöver eines Sprengkopfes) im zeitlichen Verlauf beobachtet und analysiert werden.
Die zusammengesetzten Multispektralbilder werden weiterhin in einer
multispektralen Zielbilderkennung nach Fig. 3 oder Fig. 4 einem Vergleich mit einer mitgeführten und in der Speichereinrichtung 29, 129 abgelegten
Referenzzielbilddatenbank unterzogen. Die Zielbilderkennung kann so abgebildete Ziele als Zielobjekte eines bestimmten Typs wiedererkennen und folglich
identifizieren. Die Zielbilderkennung kann zuverlässiger und trennschärfer arbeiten wenn die aufaddierten Multispektralbilder vor der Bearbeitung einer Aufbereitung in mehreren Stufen unterzogen werden. Dazu werden die zusammengesetzten Multispektralbilder zunächst
erfindungsgemäß in eine normierte Form überführt, indem zunächst für jedes Pixel die orthogonal vektoriell addierte Gesamthelligkeit als Helligkeitswert gebildet wird, und anschließend alle Farbkomponenten mit der Gesamthelligkeit normiert werden. Der gesamte Farbvektor besteht dann aus der Helligkeit und den normierten
Farbwerten. Damit kann ein Farbkoordinatensystem mit beliebig vielen
Spektralkomponenten definiert werden und in diesem System können alle
Farboperationen multispektral ausgeführt werden, die im RGB System nur in drei Farben definiert sind. Für alle Farbkomponenten und die Helligkeit jedes Bildpixels führt die
Bildaufbereitung auf digitaler Basis nach Fig. 2 eine Operation aus, bei der das Bild gleichzeitig geglättet und differenzierbar gemacht wird, bei der nach der Mittelung über mehrere Bilder noch vorhandene Störpixel entfernt und geglättet werden, und bei der Helligkeitsübergänge und Kanten akzentuiert werden, so dass das
Ergebnisbild schärfer, kontrastreicher und klarer in den Farben wird und
zuverlässiger ausgewertet werden kann. Dies wird durch Transformation aller Farbkomponenten und der Helligkeitskomponente des normierten Bildes mit der im gezeigten Beispiel 5 x 5 Pixel großen Filtermatrix des Rasterfilters 122 in der Vorrichtung zur Aufbereitung von Bildern mit schlechtem Signal-zu-Stör-Verhältnis auf digitaler Basis nach Fig. 2 erreicht. Vorzugsweise wird das Bild auch einer affinen Farbtransformation unterzogen, bei der das Ziel charakterisierende Spektralkomponenten gedehnt und damit besser auswertbar werden und untypische Spektralkomponenten gestaucht werden. Das ermöglicht bei der Korrelation der Ergebnisbilder mit den in den Bildern versteckten echten Zielobjekten in der Zielbilderkennung eine höhere Trennschärfe zwischen Echtzielen und Falschzielen, die mit Echtzielen verwechselt werden könnten, als ohne diese Bildaufbereitung.
Die Multispektrale Bilderkennung kann entweder mit der Vorrichtung zur
Multispektralen Bilderkennung auf optischer Basis nach Fig. 3 oder mit höherer Genauigkeit mit der Vorrichtung zur Multispektralen Bilderkennung auf digitaler Basis nach Fig. 4 ausgeführt werden.
Bei der Vorrichtung auf optischer Basis (gemäß Fig. 3) erzeugt das Teleskop 1 10 über den Umlenkspiegel 112 ein reales 25 x 25 Pixel großes Zielbild eines entfernten Zieles in der Ebene 121 der Frontfläche des optischen 5 x 5
Lichtleiterbündels der Bilderfassungseinrichtung 120, das dieselbe Fläche einnimmt wie 5 x 5 Pixel des realen Zielbildes. Der Scanspiegel 1 12 lenkt das Zielbild horizontal und vertikal so ab, dass jedes Mittelpixel jedes 5 x 5 Pixelblockes sequentiell über das mittlere Lichtleitelement des 5 x 5 optischen Lichtleiterbündels streicht. Die fünfundzwanzig Werte für die 5 x 5 Pixelblöcke jedes 25 x 25 Pixel großen Bildes werden für alle Spektralbereiche in der Rechnereinheit 126 abgespeichert. Dies wird für zwölf Drehlagen über 360° des 25 x 25 Pixelbildes wiederholt. Suchbereiche aus 15 x 15 Pixelblöcken aus den Zielbildern werden für den Wert jedes Mittelpixels jedes 5x5 Pixelblockes mit den gesuchten 15 x 15 Pixel großen Referenzbildern verglichen, wobei die Differenzen der jeweils neun
Koeffizientenwerte von Eingangsbildsuchbereich und aktuellem Referenzbild gebildet werden. Die Position und die Drehlage bei der die kleinste Differenzsumme auftritt und bei der diese einen bestimmten Minimalwert unterschreitet wird als Position und Drehlage eines gefundenen Zieles der aktuellen Referenzbildklasse registriert. Bildteile, die aus dem Bildfeld ragen werden nicht berücksichtigt. Die Positionsauflösung der Bilderkennung beträgt dabei fünf Pixel horizontal und vertikal.
Bei der Vorrichtung auf digitaler Basis (Fig. 4) erzeugt das Teleskop 110 über den Umlenkspiegel 112 ein reales 25 x 25 Pixel großes Zielbild eines entfernten beleuchteten Zieles in der Bildebene der beispielsweise eine NIR-(Nahinfrarot)- Kamera aufweisenden Bilderfassungseinrichtung 120. Die Kamera setzt das Lichtsignal um in ein digitales Multispektralbild mit hoher Auflösung. Für die multispektrale Bilderkennung werden in dem Suchbild (25 x 25 Pixel groß) für jede Suchpixelposition Kennwerte einer erfindungsgemäßen Bewertungsfunktion berechnet, wie oben beschrieben worden ist. Durch die beschriebene Ausbildung der Bewertungsfunktion kann die Anzahl der zu untersuchenden Drehlagen ohne Verlust an Trennschärfe auf zwölf begrenzt werden.
Mit einem Nahinfrarot-Sensorsystem, das nach einem der vorgenannten Beispiel ausgestaltet ist, können in besonders vorteilhafter Weise eine Zielauffassung, eine Flugbahnverfolgung, eine Flugbahnvermessung und eine Zielbeobachtung und Zielidentifizierung von startenden Raketen auch nach Triebwerksbrennschluss auf Entfernungen bis zu 500 km durchgeführt werden.
Bevorzugte Ausführungsbeispiele der Erfindung mit zusätzlichen
Ausgestaltungsdetails und weiteren Vorteilen sind nachfolgend unter Bezugnahme auf die beigefügten Zeichnungen näher beschrieben und erläutert.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Es zeigt: eine schematische Darstellung einer ersten Beobachtungsvorrichtung zur Durchführung des erfindungsgemäßen
Bildaufbereitungsverfahrens; Fig. 1A eine Rasterfiltermatrix der Beobachtungsvorrichtung gemäß Fig. 1 ; eine zweite Ausführungsform einer Beobachtungsvorrichtung zur Durchführung des erfindungsgemäßen Bildaufbereitungsverfahrens Fig. 2A eine Rasterfiltermatrix der Beobachtungsvorrichtung gemäß Fig. 2;
Fig. 3 eine erste Ausführungsform einer Beobachtungsvorrichtung zur
Durchführung des erfindungsgemäßen automatischen
Objekterkennungsverfahrens; und
Fig. 4 eine zweite Ausführungsform einer Beobachtungsvorrichtung zur
Durchführung des erfindungsgemäßen automatischen
Objekterkennungsverfahrens. DARSTELLUNG VON BEVORZUGTEN AUSFÜHRUNGSBEISPIELEN
Fig. 1 zeigt eine erfindungsgemäße Beobachtungsvorrichtung mit einer optischen Einrichtung 1 und einer Bildaufbereitungseinrichtung 2. Die optische Einrichtung 1 weist eine Teleskopeinheit 10 mit einem langbrennweitigen Objektiv auf, die in der Figur nur schematisch dargestellt ist. Die Teleskopeinheit 10 fängt
elektromagnetische Strahlung S einer beobachteten Szene im sichtbaren Spektrum des Lichts und außerhalb des sichtbaren Spektrums des Lichts (beispielsweise Infrarot- und/oder Ultraviolett-Strahlung) ein. Die vom Teleskop 10 eingefangene Strahlung S wird auf einen bewegbaren
Umlenkspiegel 12 geleitet, der von einem in Fig. 1 nur schematisch dargestellten Antrieb 14 zur Durchführung einer zweidimensionalen Scan-Bewegung antreibbar ist. Die vertikale Auslenkung des Umlenkspiegels 12 erfolgt in einem Winkelbereich, der in Fig. 1 beispielhaft durch die obere Grenzlinie a eines Mittelstrahls SM und durch die unter Grenzlinie a' sowie durch eine erste seitliche Grenzlinie b und eine zweite seitliche Grenzlinie b' des Mittelstrahls SM definiert ist. In diesem von den Grenzlinien a, a' und b, b' aufgespannten Bereich Z führt der Umlenkspiegel 12 eine zeilenweise Abtastung der vom Teleskop 10 eingefangenen Strahlung S durch und projiziert dabei jeweils einen Teil des durch den Bereich Z bestimmten Zielbilds Z' auf eine Eintrittsebene E eines Bildrasterungsmoduls 20 der
Bildaufbereitungseinrichtung 2. Das Bildrasterungsmodul 20 weist eine matrixartige Anordnung von in Fig. 1 nicht im Detail dargestellten Lichtleitelementen auf, die mit ihrem einen Ende in der Eingangsebene E münden. Am anderen Ende der Lichtleitelemente ist ein ebenfalls matrixartiges Rasterfilter 22 vorgesehen, das in Fig. 1 nur schematisch dargestellt ist und das im Querschnitt in Fig. 1 A als Filtermatrix wiedergegeben ist. Dieses Rasterfilter 22 enthält ein zentrales Rasterfilterelement 22" und eine Mehrzahl von dieses umgebenden weiteren einzelnen Rasterfilterelementen 22', die jeweils einem der das zentrale Lichtleitelement umgebenden weiteren Lichtleitelemente zugeordnet sind. Im gezeigten Beispiel besteht das Bildrasterungsmodul 20 somit aus fünf mal fünf (also fünfundzwanzig) Lichtleitelementen, denen jeweils ein Rasterfilterelement 22', 22" zugeordnet ist.
In Fig. 1A sind einem jeweiligen weiteren Rasterfilterelement 22' Faktoren zugeordnet, die die Lichtdurchlässigkeit des einzelnen Rasterfilterelements wiedergeben. Demnach besitzt das zentrale Rasterfilterelement 22", welches dem zentralen Lichtleitelement zugeordnet ist, eine Lichtdurchlässigkeit von 1 ,00, was 100 % entspricht. Das durch das zentrale Lichtleitelement geführte Licht wird also vom Rasterfilter 22 nicht gedämpft. Im Gegensatz dazu werden die um das zentrale Lichtleitelement herum angeordneten weiteren Lichtleitelemente mit einer lichtdämpfenden Filterwirkung beaufschlagt, wobei die in Fig. 1A angegebenen Faktoren folgende Bedeutung haben:
0,03 entspricht 3 % Lichtdurchlässigkeit,
0,06 entspricht 6 % Lichtdurchlässigkeit,
0,09 entspricht 9 % Lichtdurchlässigkeit, 0,12 entspricht 12 % Lichtdurchlässigkeit,
0,15 entspricht 15 % Lichtdurchlässigkeit,
0,21 entspricht 21 % Lichtdurchlässigkeit. Das von den einzelnen Lichtleitelementen des Bildrasterungsmoduls 20 durch das Rasterfilter 22 abgegebene Licht trifft auf einen Sensor 24, der beispielsweise von einer Fotolichtverstärkerröhre gebildet ist und welcher das Summensignal der durch die einzelnen Rasterfilterelemente austretenden Lichtstrahlung bildet. Dieses Helligkeits- oder Strahlungsintensitäts-Summensignal Ss wird vom Sensor 24 an eine Rechnereinheit 26 der Bildaufbereitungseinrichtung 2 weitergeleitet.
Durch die Scanbewegung des Umlenkspiegels 12 wird somit die einfallende
Strahlung S pixelweise vom Sensor 24 erfasst und der Rechnereinheit 26 als Strahlungsintensitäts-Summensignal Ss zugeführt. Dabei wird zu jedem Zielbildpixel die Summe der mit den Filterfaktoren gewichteten Strahlungsintensitäten der Nachbarpixel der in Fig. 1A gezeigten Matrix vom Sensor 24 erfasst, wobei das jeweilige Zielbildpixel das zentrale Element der Matrix bildet. Dabei entspricht ein Zielbildpixel einem Rasterelement des Rasters der Lichtleitelemente
beziehungsweise des Rasterfilters. Jedem Zielbildpixel werden somit die
entsprechend der in Fig. 1A gezeigten Helligkeitsdämpfungsmatrix gewichteten Helligkeiten der das zentrale Pixelelement (Zielbildpixel) umgebenden Pixel entsprechend der Matrix summarisch zugeordnet, so dass hierdurch eine
entsprechend den Dämpfungsfaktoren der Matrix gewichtete Lichtverstärkung für das Zielbildpixel erfolgt.
In der Rechnereinheit 26 werden nach einem vollständig durchgeführten Scan des Umlenkspiegels 12 alle gespeicherten Summen-Helligkeitswerte der einzelnen Zielbildpixel wieder zu einem Ergebnisbild zusammengefasst, das dann über eine Ausgabeschnittstelle 27 beispielsweise an einer Anzeigeeinrichtung 28 ausgegeben wird. Die Bildung des Ergebnisbildes aus den gespeicherten Summen- Helligkeitswerten der einzelnen Zielbildpixel erfolgt derart, dass der gespeicherte Summen-Helligkeitswert eines Zielbildpixels derselben Position im Ergebnisbild zugewiesen wird, den das Zielbildpixel im Zielbild eingenommen hat. Dieses ausgegebene Ergebnisbild ist durch die beschriebene Lichtverstärkung nicht nur heller als das ursprünglich auf die Eingangsebene E projizierte Zielbild Z', sondern aufgrund der unterschiedlichen Gewichtung der jeweiligen Nachbarpixel gemäß der Matrix aus Fig. 1A ist dieses Ergebnisbild auch geglättet und enthält keine Rauschpixel mehr, die aus dem Hintergrund hervortreten. Dadurch ist der Helligkeitsverlauf des Ergebnisbildes stetig, so dass das Ergebnisbild differenzierbar ist. Der Bildkontrast ist zudem durch das beschriebene Verfahren verbessert. Zwar ist im gezeigten Beispiel die Helligkeitsfiltermatrix (Rasterfilter 22) mit 5 x 5 Rasterfilterelementen angegeben und das von dem Scanbereich aufgespannte Zielbild Z' ist mit 25 x 25 Pixeln angenommen, doch kann die Erfindung auch für alle anderen Auflösungen des Zielbildes und für alle anderen Auflösungen der
Helligkeitsfiltermatrix beziehungsweise der Matrix aus Lichtleitelementen realisiert werden.
In Fig. 2 ist eine abgewandelte Variante der in Fig. 1 gezeigten
Beobachtungsvorrichtung dargestellt. Die von der zu beobachtenden Szene empfangene Strahlung S wird von der Teleskopeinheit 110 der optischen
Einrichtung 101 eingefangen und mittels eines— im Gegensatz zu Fig. 1 nicht bewegbaren— Umlenkspiegels 1 12 auf einen Bildsensor 121 (beispielsweise auf einen CCD-Sensor) einer Bilderfassungseinrichtung 120, die Bestandteil der Bildaufbereitungseinrichtung 102 ist, geleitet, wobei das Zielbild Z' der beobachteten Szene vollständig auf dem Bildsensor 121 abgebildet wird.
Die Bilderfassungseinrichtung 120 setzt das auf den Bildsensor 121 projizierte optische Zielbild Z' in ein digitales Bild um, das in Form einer Bilddatei an eine Rechnereinheit 126 weitergeleitet wird. In der Rechnereinheit 126 läuft eine Software ab, die analog dem in Verbindung mit
Fig. 1 beschriebenen optischen Bildaufbereitungsverfahren das erhaltene digitale Bild aufbereitet. Dabei wird das aufgenommene Zielbild Z' in ein Rasterbild gewandelt und rasterelementweise beziehungsweise pixelweise bearbeitet, wobei der Helligkeitswert eines jeden Zielbildpixels bestimmt und entsprechend der in Fig. 2A gezeigten Filtermatrix, die ein Rasterfilter 122 mit den Rasterfilterelementen 122', 122" als Software Subroutine bildet, mit den gefilterten Pixeln der das aktuelle Zielbildpixel umgebenden Pixel des Zielbildes zu einem Summen-Helligkeitswert aufaddiert. Diese Bildung eines Summen-Helligkeitswerts wird für jedes Zielbildpixel durchgeführt und aus den einzelnen erhaltenen Summen-Helligkeitswerten dieser elektronisch gerasteten Zielbild pixel oder Zielbildelemente wird ein Ergebnisbild auf analoge Weise erzeugt wie dies in Verbindung mit der Fig. 1 beschrieben worden ist. Das Ergebnisbild wird über die Ausgabeschnittstelle 127 an eine
Anzeigeeinrichtung 128 ausgegeben.
Obwohl die hier beschriebenen Beispiele auf das sichtbare Lichtspektrum bezogen sind, sind sie nicht darauf beschränkt. Zusätzlich zu der beschriebenen
Bildaufbereitung von im sichtbaren Lichtspektrum aufgenommenen Szenen werden die Szenen auch in anderen Spektren, beispielsweise im Infrarotspektrum und im Ultraviolettspektrum aufgenommen und auf dieselbe Weise aufbereitet wie dies in Bezug auf die Fig. 1 und Fig. 2 beschrieben worden ist. Die so erhaltenen
Ergebnisbilder unterschiedlicher Spektralbereiche werden in der Rechnereinheit 26, 126 zu einem Multispektralbild überlagert, das über die Ausgabeschnittstelle 27, 127 ausgegeben wird.
Fig. 3 zeigt eine Beobachtungsvorrichtung, wie sie unter Bezugnahme auf Fig. 1 bereits beschrieben worden ist. Die Bezugszeichen entsprechen daher denen aus Fig. 1. Ein wesentlicher Unterschied zur Ausführungsform der Fig. 1 besteht darin, dass das die Lichtleitelemente aufweisende Bildrasterungsmodul 20 um eine parallel zur Längsrichtung der Lichtleitelemente verlaufende Rotationsachse X in vorgegebenen Winkelschritten (beispielsweise 12 Winkelschritte über 360°) drehbar ist wie durch den Pfeil 23 symbolisch dargestellt ist. Das Teleskop 10 erzeugt über den Umlenkspiegel 12 ein beispielsweise 25 x 25 Pixel großes Zielbild Z', das in Fig. 3 als Matrix mit 5 x 5 Feldern dargestellt ist, wobei jedes Feld die Größe von 5 x 5 Pixeln oder Rasterelementen aufweist und damit dieselbe Größe und dieselbe Anzahl von Rasterelementen besitzt, wie das Rasterfilter 22.
Der Umlenkspiegel 12 lenkt die vom Teleskop 10 eingefangene Strahlung horizontal und vertikal so ab, dass jedes Mittelpixel eines jeden 5 x 5 Pixelblocks
(= Zielbildelement Zj) sequentiell über das zentrale Lichtleitelement des
Bildrasterungsmoduls 20 geführt wird. Die sich entsprechend der in Verbindung mit Fig. 1 beschriebenen Bildverarbeitung ergebenden Helligkeitswerte für die fünfundzwanzig Zielbildelemente z, werden in der Rechnereinheit 26 abgespeichert. Dabei erfolgt die Bildaufbereitung vorzugsweise nicht nur im Bereich des sichtbaren Lichts, sondern analog auch für andere Spektralbereiche. Auch die Ergebniswerte für die anderen Spektralbereiche werden in der Rechnereinheit 26 abgespeichert.
Daraufhin wird das Bildrasterungsmodul 20 um einen Winkelschritt weiter gedreht und die beschriebenen Bildaufbereitungsschritte werden wiederholt. Wird dieses Prozedere für alle Winkelschritte, also für eine vollständige Umdrehung des
Bildrasterungsmoduls 20 um die Achse X, durchgeführt, so wird eine der Anzahl der Winkelschritte entsprechende Anzahl von Ergebnisbildern in unterschiedlichen Drehlagen erhalten.
Die neun inneren 5 x 5 Pixelblöcke zm des Zielbilds Z' werden jetzt als
Suchbildbereich definiert und das auf diese Elemente zm reduzierte Zielbild wird mit in einer Speichereinrichtung 29 gespeicherten Referenzbildern gleicher Größe und gleicher Auflösung verglichen. Die Position und die Drehlage bei der die kleinste Differenz zwischen dem Suchbild und dem gespeicherten Referenzbild auftritt, wird als Position und Drehlage eines in der überwachten Szene enthaltenen Zieles einer Referenzbildklasse registriert.
Auf diese Weise ist ein Verfahren zur automatischen Objekterkennung unter
Anwendung des in Verbindung mit Fig. 1 beschriebenen
Bildaufbereitungsverfahrens geschaffen. Die Fig. 4 zeigt eine weitere Variante einer erfindungsgemäßen
Beobachtungsvorrichtung zur automatischen Objekterkennung. Die
Beobachtungsvorrichtung entspricht in ihrem Aufbau der in Verbindung mit Fig. 2 beschriebenen Beobachtungsvorrichtung, so dass die Bezugszeichen in Fig. 4 dieselben Bezugszeichen sind wie in Fig. 2 und somit dieselben Bauteile
bezeichnen. In Abweichung zur Ausführungsform der Fig. 2 weist die
Ausführungsform der Fig. 4 einen Referenzbildspeicher in der Speichereinrichtung 129 auf, der mit der Rechnereinheit 126 zum Datenaustausch in Verbindung steht. Die Rechnereinheit 26, 126 und die Speichereinrichtung 29, 129 bilden innerhalb der Bildaufbereitungseinrichtung 2 eine Bildauswerteeinrichtung 25.
Auch mit dieser Vorrichtung wird ein Verfahren zur Objekterkennung ähnlich dem in Verbindung mit Fig. 3 beschriebenen Verfahren durchgeführt, wobei in der
Ausführungsform der Fig. 4 jedoch die Drehung des Zielbildes Z' virtuell mittels der in der Rechnereinrichtung 126 laufenden Software durchgeführt wird.
Für die, bevorzugterweise multispektrale, Bilderkennung werden in dem Zielbild Z' (25 x 25 Pixel) für jede Suchpixelposition Pz folgende Kennwerte berechnet:
1 ) Der nach der Matrix des Rasterfilters 122 gewichtete Mittelwert der einzelnen normierten Spektralkomponenten und der Gesamthelligkeit wird für jeden einzelnen der neun markierten 5 x 5 Pixelblöcke zm und für alle vier zentralen Pixel 123 der Eck-Pixelblöcke im Zentralbereich aus neuen Pixelblöcken berechnet und es wird jeweils der Durchschnittswert der Mittelwerte für die jeweils acht in einem Ring angeordneten 5 x 5 Pixelblöcke Z , die einen jeweiligen Eck-Pixelblock umgeben, berechnet.
2) Die Standardabweichung der einzelnen normierten Spektralkomponenten und der Gesamthelligkeit wird für jeden der neun markierten 5 x 5 Pixelblöcke zm und für alle vier zentralen Pixel 123 berechnet und es wird jeweils der Durchschnittswert der Standardabweichungen für die jeweils acht in einem
Ring angeordneten 5 x 5 Pixelblöcke zR berechnet.
3) Die Werte nach 1 ) und 2) werden in zwölf über 360° verteilten Drehlagen berechnet. 4) Jeder Wertesatz wird in jeder Drehlage zu einem Suchpixel durch
Differenzbildung mit den Werten für das gesuchte Referenzzielbild verglichen und der Wertesatz mit dem kleinsten Absolutbetrag der Differenzsumme wird als Repräsentant für dieses Suchpixel registriert.
5) Das Zielbild wird nun in kleinere Teilbereiche zerlegt und das Suchpixel mit der kleinsten Differenzsumme in jedem Teilbereich wird gesucht. Der Wertesatz des Suchpixels mit der kleinsten Differenzsumme wird als erkanntes Zielbild interpretiert und an der betrachteten Suchpixelposition mit einem Pixel Auflösung und der Drehlage als entdecktes Ziel des
Referenzzieltyps registriert.
Bezugszeichen in den Ansprüchen, der Beschreibung und den Zeichnungen dienen lediglich dem besseren Verständnis der Erfindung und sollen den Schutzumfang nicht einschränken.
Bezugszeichenliste
Es bezeichnen:
1 optische Einrichtung
2 Bildaufbereitungseinrichtung
10 Teleskopeinheit
12 Umlenkspiegel
14 Antrieb
18 Anzeigeeinrichtung
20 Bildrasterungsmodul
22 Rasterfilter
22' Rasterfilterelement
22" Rasterfilterelement
24 Sensor
25 Bildauswerteeinrichtung
26 Rechnereinheit
27 Ausgabeschnittstelle
28 Anzeigeeinrichtung
29 Speichereinrichtung
101 optische Einrichtung
102 Bildaufbereitungseinrichtung
110 Teleskopeinheit
112 Umlenkspiegel
120 Bilderfassungseinrichtung
121 Bildsensor
122 Rasterfilter
122" Rasterfilterelement
122" Rasterfilterelement
125 Bildauswerteeinrichtung
126 Rechnereinheit
127 Ausgabeschnittstelle 128 Anzeigeeinrichtung
129 Referenzbildspeicher a Grenzlinie
a' Grenzlinie
b Grenzlinie
b' Grenzlinie
E Eingangsebene
Pz Suchpixelposition
s elektromagnetische Strahlung
SM Mittelstrahl
Ss Summensignal
X optische Achse
z aufgespannter Bereich
Z' Zielbild
Zi Zielbildelement
Zm Pixelblock
ZR Pixelblock

Claims

Patentansprüche
Verfahren zur Bildaufbereitung mit folgenden Schritten:
a) Erfassen von Bildinformation einer Szene als elektromagnetische
Strahlung mittels einer optischen Einrichtung (1 , 101 );
b) Aufbereiten der in Schritt a) erhaltenen Bildinformation mittels einer Bildaufbereitungseinrichtung (2, 102) zur Verbesserung des Signal- Rausch-Verhältnisses der Bildinformation, wobei die Aufbereitung in folgenden Teilschritten durchgeführt wird:
b1 ) Unterteilen eines die Bildinformation aufweisenden Rohbildes in Zeilen und Spalten zur Schaffung eines Rasterbildes;
b2) Überlagern eines Rasterbildelements mit einem zentralen
Rasterfilterelement (22", 122") eines eine ungerade Anzahl von Zeilen und eine ungerade Anzahl von Spalten aufweisenden Rasterfilters (22, 122);
b3) Bestimmen der Helligkeitswerte eines jeden der vom Rasterfilter (22, 122) überdeckten Rasterbildelemente, wobei außer dem zentralen Rasterfilterelement (22", 122") jedes andere
Rasterfilterelement (22', 122') eine individuelle
Lichtdämpfungseigenschaft aufweist;
b4) Aufsummieren der in Schritt b3) bestimmten Helligkeitswerte zu einem Summen-Helligkeitswert und Zuordnen dieses Summen- Helligkeitswerts zu dem vom zentralen Rasterfilterelement (22", 122") überdeckten Rasterbildelement;
b5) Wiederholen der Schritte b2) bis b4) für alle verbleibenden
Rasterbildelemente;
c) Erzeugen eines Ergebnisbildes mit derselben Rasterung wie das
Rohbild aus den einzelnen im Schritt b) erhaltenen Summen- Helligkeitswerten der Rasterbildelemente. Verfahren zur Bildaufbereitung nach Anspruch 1 ,
dadurch gekennzeichnet,
dass im Schritt a) die Bildinformation der Szene in mehr als einem elektromagnetischen Wellenlängenbereich erfasst wird, um so
Rohbilder der Szene in unterschiedlichen Spektralbereichen zu erhalten;
dass die Schritte b) und c) für alle Rohbilder der Szene durchgeführt werden, um Ergebnisbilder unterschiedlicher Spektralbereiche zu erhalten, und
dass die Ergebnisbilder der unterschiedlichen Spektralbereiche durch Überlagerung zu einem Multispektral-Ergebnisbild zusammengefasst werden.
Verfahren zur Bildaufbereitung nach Anspruch 2,
dadurch gekennzeichnet,
dass das Erfassen der Bildinformation der Szene in den unterschiedlichen Spektralbereichen unter Verwendung unterschiedlicher Spektralbereichsfilter in kurzer zeitlicher Aufeinanderfolge mittels einer
Hochgeschwindigkeitskamera erfolgt.
Verfahren zur automatischen Objekterkennung unter Anwendung des
Verfahrens zur Bildaufbereitung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet,
dass das Erfassen der Szene im Schritt a) in unterschiedlichen
Drehwinkeln um die optische Achse (X) der optischen Einrichtung durchgeführt wird;
dass zu jedem Drehwinkel ein Ergebnisbild gemäß den Schritten des Verfahrens zur Bildaufbereitung erzeugt wird;
dass die einzelnen Ergebnisbilder mit in einer Objekte-Datenbank gespeicherten Musterbildern einzelner Objekte verglichen werden und dass das Musterbild mit der geringsten Abweichung von einem oder mehreren der Ergebnisbilder das in der Szene enthaltene Objekt identifiziert und die Position des Objekts im Ergebnisbild bestimmt. Verfahren zur automatischen Objekterkennung nach Anspruch 4,
dadurch gekennzeichnet,
dass die Bestimmung der Position des Objekts im Ergebnisbild durch die Bestimmung der übereinstimmenden Rasterelemente des Ergebnisbildes mit entsprechenden Rasterelementen des Musterbildes erfolgt.
Beobachtungsvorrichtung mit einer optischen Einrichtung (1 , 101 ) zum Erfassen von Bildinformation einer Szene sowie mit einer
Bildaufbereitungseinrichtung (2, 102) zur Verbesserung des Signal-Rausch- Verhältnisses der erfassten Bildinformation,
dadurch gekennzeichnet,
dass die Beobachtungsvorrichtung zur Durchführung der Verfahrensschritte des Bildaufbereitungsverfahrens nach einem der Ansprüche 1 bis 3 ausgebildet ist.
Beobachtungsvorrichtung mit einer optischen Einrichtung (1 , 101 ) zum Erfassen von Bildinformation einer Szene sowie mit einer
Bildaufbereitungseinrichtung (2, 102) zur Verbesserung des Signal-Rausch- Verhältnisses der erfassten Bildinformation und einer Bildauswerteeinrichtung (25, 125)
dadurch gekennzeichnet,
dass die Beobachtungsvorrichtung zur Durchführung der Verfahrensschritte des Objekterkennungsverfahrens nach Anspruch 4 oder 5 ausgebildet ist.
Beobachtungsvorrichtung nach Anspruch 6 oder 7,
dadurch gekennzeichnet,
dass die Bildaufbereitungseinrichtung (2, 102) ein Bildrasterungsmodul (20) und ein Rasterfiltermodul (22, 122) aufweist. Beobachtungsvorrichtung nach Anspruch 8,
dadurch gekennzeichnet,
- dass das Bildrasterungsmodul (20) eine matrixartige Anordnung von Lichtleitelementen aufweist, die zwischen der optischen Einrichtung (1 ) und einem für die erfasste Strahlung empfindlichen Sensor (24) angeordnet sind;
- dass zumindest einem Teil der Lichtleitelemente jeweils ein
helligkeitsreduzierendes Rasterfilterelement (22') des Rasterfiltermoduls (22) zugeordnet ist;
- dass die optische Einrichtung (1 ) so ausgestaltet ist, dass sie die erfasste Bildinformation in einer Eintrittsebene (E) des Bildrasterungsmoduls (2) als Rohbild abbildet;
- dass die optische Einrichtung so ausgestaltet ist, dass das Rohbild
bezüglich der Eintrittsebene (E) des Bildrasterungsmoduls (20) auf der Eintrittsebene (E) verschiebbar ist;
- dass eine Rechnereinheit (26) vorgesehen ist, die vom Sensor (24) ein Helligkeitssignal erhält, und
- dass in der Rechnereinheit (26) eine Software abläuft, die den
Verfahrensschritt c) des Anspruchs 1 sowie vorzugsweise die
Verfahrensschritte eines der Ansprüche 2 bis 5 implementiert.
Beobachtungsvorrichtung nach Anspruch 8,
dadurch gekennzeichnet,
- dass der optischen Einrichtung (101 ) ein Bildsensor (121 ) nachgeordnet ist;
- dass die optische Einrichtung (101 ) so ausgestaltet ist, dass sie die
erfasste Bildinformation in einer Sensorebene des Bildsensors (121 ) abbildet;
- dass eine Rechnereinheit (126) vorgesehen ist, die vom Bildsensor (121 ) ein Bildsignal erhält, und
- dass in der Rechnereinheit (126) eine Software abläuft, die die
Verfahrensschritte b) und c) des Anspruchs 1 sowie vorzugsweise die Verfahrensschritte eines der Ansprüche 2 bis 5 implementiert, wobei das Bildrasterungsmodul und das Rasterfiltermodul (122) als Subroutine der Software ausgebildet sind.
Verfahren zur Bahnverfolgung startender Raketen mit brennenden
Triebwerken mit stark erhöhter Genauigkeit gegenüber dem Stand der Technik,
dadurch gekennzeichnet,
- dass die Beobachtung von einem hoch über der dichten Atmosphäre fliegenden Fluggerät nach oben mit dem kalten Weltraum als
Hintergrund erfolgt und dadurch die Empfindlichkeit des Systems wesentlich erhöht und die Störanfälligkeit verringert wird.
- dass die Beobachtung von der Seite und von unten erfolgt, so dass die Sichtlinie auf den heissen Kernbereich des Triebwerksstrahles weder durch den Rumpf der Rakete noch durch den Rauch und Abgasstrahl hinter der Rakete verdeckt wird.
- dass schmalbandige Multispektralbilder des Feuerstrahls der Rakete in mindestens 3 Bändern aufgenommen werden, deren Spektralbereiche so auf die Temperatur des beobachteten Zieles abgestimmt sind, dass sich die Temperaturverteilung in dem Zielbild sehr genau, z.B. auf 50°K genau berechnen lässt.
- dass zur Bahnverfolgung der Rakete der Hochtemperaturbereich des Kernstrahles verwendet wird, der fest an die Triebwerksdüse gebunden ist und keinen Fluktuationen unterworfen ist, die die
Messgenauigkeit beeinträchtigen könnten.
- dass die optische Auflösung in der Größe des Düsendurchmessers der Rakete gewählt wird, um die Größe, die Zahl, und die Anordnung der Raketentriebwerke an der Rakete bestimmen zu können, und die Rakete damit nach ihrem Typ klassifizieren zu können.
PCT/DE2013/000569 2012-10-12 2013-10-08 Verfahren zur bildaufbereitung und damit durchführbares verfahren zur automatischen objekterkennung sowie beobachtungsvorrichtung und verfahren zur hochgenauen bahnverfolgung startender raketen auf grosse entfernungen WO2014056473A2 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/435,020 US9300866B2 (en) 2012-10-12 2013-10-08 Method for image processing and method that can be performed therewith for the automatic detection of objects, observation device and method for high-precision tracking of the course followed by launched rockets over large distances
JP2015535987A JP6285940B2 (ja) 2012-10-12 2013-10-08 画像処理方法、該画像処理方法と共に実行される対象物自動検出方法、観測装置、及び、発射されたロケットの飛翔経路を遠距離から高精度で追跡する方法
EP13794796.6A EP2907105A2 (de) 2012-10-12 2013-10-08 Verfahren zur bildaufbereitung und verfahren zur bahnverfolgung von raketen
KR1020157012406A KR20150072423A (ko) 2012-10-12 2013-10-08 이미지 프로세싱 방법 및 발사된 로켓의 경로를 추적하는 방법

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102012020104.4 2012-10-12
DE102012020104 2012-10-12
DE102012022045.6A DE102012022045A1 (de) 2012-10-12 2012-11-09 Verfahren zur Bildaufbereitung und damit durchführbares Verfahren zur automatischen Objekterkennung sowie Beobachtungsvorrichtung und Verfahren zur hochgenauen Bahn-Verfolgung startender Raketen auf große Entfernungen
DE102012022045.6 2012-11-09

Publications (2)

Publication Number Publication Date
WO2014056473A2 true WO2014056473A2 (de) 2014-04-17
WO2014056473A3 WO2014056473A3 (de) 2014-07-17

Family

ID=50383016

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2013/000569 WO2014056473A2 (de) 2012-10-12 2013-10-08 Verfahren zur bildaufbereitung und damit durchführbares verfahren zur automatischen objekterkennung sowie beobachtungsvorrichtung und verfahren zur hochgenauen bahnverfolgung startender raketen auf grosse entfernungen

Country Status (6)

Country Link
US (1) US9300866B2 (de)
EP (1) EP2907105A2 (de)
JP (1) JP6285940B2 (de)
KR (1) KR20150072423A (de)
DE (1) DE102012022045A1 (de)
WO (1) WO2014056473A2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797872A (zh) * 2019-04-09 2020-10-20 深圳市家家分类科技有限公司 控制方法、电子装置、计算机可读存储介质及降解设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015019474A1 (ja) * 2013-08-08 2015-02-12 株式会社島津製作所 画像処理装置
US11587323B2 (en) * 2019-06-28 2023-02-21 Raytheon Company Target model broker
CN115147313B (zh) * 2022-09-01 2022-12-30 中国科学院空天信息创新研究院 椭圆轨道遥感图像的几何校正方法、装置、设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011010337A1 (de) 2011-02-04 2012-08-09 Eads Deutschland Gmbh Kamerasystem zur Erfassung und Bahnverfolgung von in großer Entfernung befindlichen bewegten Objekten

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4686646A (en) * 1985-05-01 1987-08-11 Westinghouse Electric Corp. Binary space-integrating acousto-optic processor for vector-matrix multiplication
JPH04164275A (ja) * 1990-10-26 1992-06-09 Hamamatsu Photonics Kk 遠隔位置の光学観測装置
US5299275A (en) 1993-03-31 1994-03-29 Eastman Kodak Company Optical fiber filter for reducing artifacts in imaging apparatus
US6965685B1 (en) 2001-09-04 2005-11-15 Hewlett-Packard Development Company, Lp. Biometric sensor
DE102011010339A1 (de) 2011-02-04 2012-08-09 Eads Deutschland Gmbh Luftraumüberwachungssystem zur Erfassung von innnerhalb eines zu überwachenden Gebiets startenden Raketen sowie Verfahren zu Luftraumüberwachung

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011010337A1 (de) 2011-02-04 2012-08-09 Eads Deutschland Gmbh Kamerasystem zur Erfassung und Bahnverfolgung von in großer Entfernung befindlichen bewegten Objekten

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797872A (zh) * 2019-04-09 2020-10-20 深圳市家家分类科技有限公司 控制方法、电子装置、计算机可读存储介质及降解设备
CN111797872B (zh) * 2019-04-09 2023-08-01 深圳市家家分类科技有限公司 控制方法、电子装置、计算机可读存储介质及降解设备

Also Published As

Publication number Publication date
US20150281572A1 (en) 2015-10-01
JP2015537290A (ja) 2015-12-24
EP2907105A2 (de) 2015-08-19
KR20150072423A (ko) 2015-06-29
DE102012022045A1 (de) 2014-04-17
JP6285940B2 (ja) 2018-02-28
US9300866B2 (en) 2016-03-29
WO2014056473A3 (de) 2014-07-17

Similar Documents

Publication Publication Date Title
WO2002103385A1 (de) Verfahren zur bereitstellung von bildinformationen
DE102004018813A1 (de) Verfahren zur Erkennung und/oder Verfolgung von Objekten
EP0355310A2 (de) System zum Erkennen des Starts und des Anflugs von Objekten
EP1460454B1 (de) Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern
DE202016007867U1 (de) Steuerung des Sichtlinienwinkels einer Bildverarbeitungsplattform
WO2014056473A2 (de) Verfahren zur bildaufbereitung und damit durchführbares verfahren zur automatischen objekterkennung sowie beobachtungsvorrichtung und verfahren zur hochgenauen bahnverfolgung startender raketen auf grosse entfernungen
DE10154861A1 (de) Verfahren zur Bereitstellung von Bildinformationen
DE102018108936A1 (de) Formmesssystem und Formmessverfahren
DE102020129096A1 (de) Erzeugung dreidimensionaler punktwolken mittels einer polarimetrischen kamera in einem mit einem fahrassistenzsystem ausgestatteten fahrzeug
DE102005055879A1 (de) Flugverkehr-Leiteinrichtung
DE102012020093A1 (de) Anordnung zur Ortung, Erfassung und Überwachung von Eisbergen sowie Verfahren zur Bestimmung eines von treibenden Eisbergen ausgehenden Gefährdungspotentials für stationäre oder schwimmende Meeresbauwerke
CN108257090B (zh) 一种面向机载行扫相机的高动态图像拼接方法
DE102019008472A1 (de) Multilinsen-Kamerasystem und Verfahren zur hyperspektralen Aufnahme von Bildern
DE102008015979A1 (de) Bewegt-Bild-Verarbeitungssystem und Bewegt-Bild-Verarbeitungsverfahren
DE4205056A1 (de) Verfahren und system zum abtasten einer szene zu dem zweck des klassifizierens einer mehrzahl von sich bewegenden objekten
DE102012111199A1 (de) Optische Vorrichtung mit multifokaler Bilderfassung
DE102006060612B4 (de) Verfahren zur Überwachung von Zielobjekten und Multispektralkamera dazu
DE102017117212A9 (de) System und Verfahren zur Stereotriangulation
DE102016102610A1 (de) Laserscanner
EP3200149B1 (de) Verfahren zum erkennen eines objekts in einem suchbild
DE102012020922A1 (de) Laserscanner
DE102017006877A1 (de) Vorrichtung und Verfahren zum Erfassen von Flugkörpern mit einem Stereokamerasystem und einem Hochfrequenzscanner
DE102021203812B4 (de) Optische Messvorrichtung und Verfahren zum Bestimmen eines mehrdimensionalen Oberflächenmodells
EP4276429A1 (de) Multispektrale und panchromatische bildgebungsvorrichtung sowie zugehöriges system und verfahren
DE102016125372A1 (de) Verfahren zum Bestimmen der Position und/oder Orientierung durch gleichzeitige Aufnahme von Objektrauminformation aus erheblich unterschiedlichen Wellenlängenbereichen in einem Bild, digitales Kamerasystem und mobile elektronische Einrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13794796

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 2015535987

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14435020

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2013794796

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013794796

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20157012406

Country of ref document: KR

Kind code of ref document: A