WO2007125247A1 - Procede de traitement d'images d'un simulateur - Google Patents

Procede de traitement d'images d'un simulateur Download PDF

Info

Publication number
WO2007125247A1
WO2007125247A1 PCT/FR2007/051165 FR2007051165W WO2007125247A1 WO 2007125247 A1 WO2007125247 A1 WO 2007125247A1 FR 2007051165 W FR2007051165 W FR 2007051165W WO 2007125247 A1 WO2007125247 A1 WO 2007125247A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
simulator
camera
landscape
objects
Prior art date
Application number
PCT/FR2007/051165
Other languages
English (en)
Inventor
Thierry Vinatier
Original Assignee
Gdi Simulation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gdi Simulation filed Critical Gdi Simulation
Priority to EP07731938A priority Critical patent/EP2011090A1/fr
Publication of WO2007125247A1 publication Critical patent/WO2007125247A1/fr
Priority to ZA2008/10014A priority patent/ZA200810014B/en

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41A—FUNCTIONAL FEATURES OR DETAILS COMMON TO BOTH SMALLARMS AND ORDNANCE, e.g. CANNONS; MOUNTINGS FOR SMALLARMS OR ORDNANCE
    • F41A33/00—Adaptations for training; Gun simulators
    • F41A33/02—Light- or radiation-emitting guns ; Light- or radiation-sensitive guns; Cartridges carrying light emitting sources, e.g. laser
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41A—FUNCTIONAL FEATURES OR DETAILS COMMON TO BOTH SMALLARMS AND ORDNANCE, e.g. CANNONS; MOUNTINGS FOR SMALLARMS OR ORDNANCE
    • F41A33/00—Adaptations for training; Gun simulators
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G3/00—Aiming or laying means
    • F41G3/26—Teaching or practice apparatus for gun-aiming or gun-laying
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G7/00—Direction control systems for self-propelled missiles
    • F41G7/006—Guided missiles training or simulation devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/003—Simulators for teaching or training purposes for military purposes and tactics

Definitions

  • the present invention relates to a method for processing images of a simulator.
  • the present invention finds a particularly advantageous, but not exclusive, application in the field of simulation for the training and training in the firing of anti-tank missiles ground / ground or ground / air.
  • the method of the invention can be applied to any device where an operator aims and pulls through a telescope or monitor screen.
  • the invention also relates to a simulator comprising such a method.
  • An object of the invention is to perform a simulation of fire without the need to implement real targets or use real missiles.
  • firing simulators are intended for training, improving shooter firing and maintaining their level. They are used to perform shooting exercises whose difficulties are previously defined. These exercises are performed in realistic conditions, based on a virtual reality.
  • This virtual reality is simulated by a computer providing a synthetic image in which the computer embeds virtual images, representing targets.
  • Virtual reality is thus a computer simulation of a virtual three-dimensional environment, which is for example a battlefield.
  • the targets are fixed or mobile in the synthetic image.
  • the virtual environment exploits the power of the computer and presents animations and three-dimensional characteristics of reality.
  • the simulator includes an audio system for reproducing a sound environment integrated with virtual reality and a recording of operational dialogs.
  • This augmented reality includes a simulation by a computer providing a video image of a real landscape captured by a camera in which virtual images are embedded. This video image is captured and digitized and saved before use in simulation. By varying the contrast of these two images, we can visualize them with an image quality close to reality.
  • the pre-filmed video image is a two-dimensional image having no level curve information of the different elements present in this image.
  • the virtual images are moved in this video image without any consideration of the reality of the filmed scene. This results in an unrealistic visualized displacement on the viewfinder or on the monitor, virtual images in the video image.
  • the display of augmented reality or virtual reality is achieved by projection on a large surface, image wall type or large screen. This display can be done by returning to infinity or on a monitor through an episcope. The operator training on the simulator then observes this wall or monitor through the lens of the simulator. This, together with any decorative elements or hardware specific to the simulator, is an important specific infrastructure. The simulator is restricted to use in the training room. With these types of simulators, because of demanding specifications, the cost and bulk are increased.
  • the invention proposes a method of image processing of a simulator making it possible to merge an actual image, taken under conditions of real placement of the simulator in a real firing range, and which is a digitized video image, at a virtual image, in real time.
  • the simulator is then able to perform a simulation, in a viewfinder of the simulator shooting station, and in the actual environmental conditions of a missile firing towards virtual targets presented on real landscapes present in front of the firing station.
  • the invention implements a man-simulator interface made by a monitor positioned immediately in front of the sight of the firing station.
  • This monitor makes it possible to hide the real landscape and presents to the viewer an animated image elaborated by a system of shooting of this real landscape by means of augmented reality of the simulator.
  • the simulator may not include a viewfinder. In this case, the operator views the moving picture directly on the monitor.
  • the monitor is designed so that it is optimized to take into account the field covered by the viewfinder of the shooting station and the magnification of this viewfinder.
  • the invention also implements the reproduction of the visual effects specific to anti-tank missile fire as well as sound effects. These visual effects are embedded in the image displayed on the viewfinder. These visual effects can be the occultation of the image from the missile then the visualization of the missile. And at the end of the simulation of a shot, realistic visual and sound effects are presented such as explosions, smokes, etc.
  • the invention thus implements an image processing method for simulating a shot without the need to implement real targets, nor to use real missiles.
  • the difference in brightness of the digitized video image with that of the virtual image gives rise to difficulties in merging these two images. Indeed, when scanning the video image in which the virtual image is merged, rather large calculation resources are required to perform this merger, resulting in a relatively large execution time to view the two merged images. These two images having different luminosities lead to a visualization with a loss of quality for the virtual image.
  • the invention comprises means for determining a three-dimensional image of the video image.
  • This three-dimensional image is obtained from the real position (x, y, z) of the simulator's shooting system.
  • This three-dimensional image is provided by a predefined geographic database.
  • the invention includes means for merging the three-dimensional image with the virtual image, at the same time as the acquisition of the video image is performed.
  • the invention also comprises means for superimposing the video image on a display of the merged image, in order to colorize elements of the merged image, to reframe the contours of the elements of the merged image, and to add elements video image not present in the merged image.
  • the invention thus increases the realism of augmented reality.
  • the invention allows a lightness and portability of the simulator through a display of the images produced by the monitor in the line of sight of the shooter and not by projection as in the state of the art.
  • the invention is also adaptable to all direct viewers and in particular to any type of anti-tank missile firing positions. Its real-time simulation character takes into account all the elements of the environment, the trajectory of the targets, the movement of the firing point, etc.
  • the simulator of the invention also allows a speed of implementation in geographical or operational situations not predetermined by the use of geographic databases describing the terrain.
  • the invention can be implemented by standard hardware, including: computer platforms, electronic cards, acquisition cards, graphics cards, a digital camera, a monitor.
  • the advantage of this standardization of hardware is to make the system independent of the hardware facilitating the subsequent porting of the system to new hardware without limitations to the elements available at the time of development of the simulator.
  • the subject of the invention is a method for processing images of a simulator, in which a) - a video image (102) of a scene (7) of a landscape is captured
  • the method according to the invention has the following additional features:
  • the step of developing the panoramic three-dimensional image of the landscape comprises the following steps: h) - the position of the camera in the landscape is calculated by means of a positioning receiver, i) - it is transmitted to the base of terrain images the calculated position of the camera, this base providing a panoramic three-dimensional image of the landscape around the position of the camera.
  • the step of displaying the merged image comprises the following steps: j) a path of light rays is simulated between a position of the camera in the panoramic three-dimensional image of the landscape and segmented objects of the merged image, k) - the simulated aiming direction of the camera is determined according to the azimuth of the camera, I) - the information content of voxels located at points of impact of the light rays with the segmented objects of the camera merged image is processed by a visualization processing, m) - the image to be displayed comprises, at a location corresponding to the orientations of the light rays, luminance or chrominance information corresponding to this treatment.
  • the superposition step comprises the following steps: n) - the image to be displayed and the digitized video image are transmitted simultaneously to the monitor, o) - the contours of the objects of the image to be visualized are compared with the contours objects of the digitized video image or vice versa. p) - the contouring of the objects of the image to be manually visualized is carried out. q) - a displacement of the simulator is detected, r) - the steps a) to e), s) are repeated - the image to be visualized is refreshed taking into account this displacement. t) - a displacement of the simulator is detected, u) - a projectile information of the simulator is transmitted to a projectile.
  • the invention also relates to a simulator characterized in that it comprises means for implementing said image processing method of the invention. Brief description of the drawings
  • FIG. 1 shows a schematic representation of a firing simulator according to the invention.
  • Figure 2 shows an illustration of means implementing the method of the invention.
  • Figures 3, 4 and 5 show on the simulator monitor the different movements of a virtual object on the real image seen by the shooter.
  • FIG. 1 diagrammatically represents an embodiment of a simulator 1, according to the invention.
  • the method of the invention can be applied to any type of simulator using augmented reality.
  • the simulator 1 is a firing simulator.
  • This simulator 1 comprises a simulation device 2.
  • This simulation device 2 is designed in such a way that it respects the ergonomics and the performances, used identically to those of a real weapon system.
  • This simulation device 2 is interoperable with tanks, helicopters, small arms and missiles.
  • the simulation device 2 is that of an anti-tank missile.
  • the simulation device 2 comprises a viewfinder 3 or sighting device, in which the augmented reality is viewed by an operator.
  • the sighting device of this viewfinder 3 may have various shapes. It can have a rectangular shape, for example 16/9 or 4/3.
  • the viewfinder 3 preferably has a generally circular shape. It is arranged on a rear face of the simulation device 2, where an operator is supposed to place his eye.
  • the viewfinder 3 is preferably an optical sighting device.
  • the viewfinder 3 may be electronic. In this case, it comprises a camera 6 coupled with a monitor whose image is presented in the viewfinder.
  • the viewfinder 3 has a bright spot 3a in the image shown. This point 3a corresponds to the optical axis, acting as a reticle and materializing an impact of a central radius of sight on the target.
  • the simulator 1 may comprise a tripod 4 making it possible to keep the simulation device 2 stable during the simulation.
  • the tripod 4 has three branches 4a, 4b and 4c, folding or not, sometimes telescopic, that is to say whose elements can slide into each other, branch by branch.
  • the simulator 1 can also be used in the shoulder.
  • the simulation device 2 comprises a firing handle 5.
  • the activation of the firing handle 5, by pressure or by trigger, automatically activates the firing of the simulator 1. This firing is simulated by the opening or the closing of switches, automatically triggering visual and sound effects in the image displayed on the viewfinder.
  • the simulator 1 comprises the camera 6 mounted on the simulation device 2. This camera 6 captures an image of a scene 7 of a real landscape P.
  • the camera 6 receives an illumination beam F going up a direction of view D of the simulator, depending on the focal length of the camera.
  • the viewing direction D is the axis of view or the focal axis of the camera 6.
  • the viewing direction D is adjustable with the simulator 1.
  • the illumination beam F represents the field of view that can be modified by the focal length of the camera. camera 6.
  • the illumination beam F enables the camera 6 to capture a video image of a real scene 7 of a landscape P. After receiving the beam F, the camera 6 transforms into electric signals the energy of the illumination received. These electrical signals are then transmitted to a control logic 8 via an external communication bus 9. These electrical signals allow this control logic 8 to produce a flat video image corresponding to the scene 7 of the landscape P viewed. .
  • the control logic 8 further transforms, according to the invention, this video image into an augmented reality.
  • the simulator 1 comprises a monitor M by which the augmented reality of the scene 7 of the filmed landscape is visualized.
  • the image seen by the viewfinder 3 is that presented by the monitor M.
  • the monitor M transmits to the viewfinder 3 of the simulation device 2 this augmented reality.
  • the simulation device may not include a viewfinder 3.
  • the augmented reality is displayed directly on the monitor M.
  • the augmented reality may be viewed on a viewing headset.
  • the augmented reality of the scene 7 filmed landscape P can be visualized on any device of visualization allowing it.
  • the simulator 1 comprises an acoustic enclosure E which encloses one or more loudspeakers, as well as an amplification system.
  • This speaker E allows sound reproduction and improvement of sound quality.
  • This enclosure E can be integrated on the screen of the monitor M, or a keyboard 14, or the simulation device 2. This enclosure E can be located outside the simulator 1.
  • control logic 8 comprises a microprocessor 10, a program memory 11, a data memory 12, a display screen 13, a keyboard 14, an input interface 15 and an output interface 16.
  • the microprocessor 10, the program memory 11, the data memory 12, the display screen 13, the keyboard 14, the input interface 15 and the output interface 16 are interconnected by an internal communication bus 17.
  • the control logic 8 samples in a first image database 18 virtual images. It also takes, in a second database of field images 19, three-dimensional images of the landscape. These two databases 18 and 19 are preferably external to the simulator 1. The contents, at least partly of these two databases 18 and 19 may, in a variant, be stored in the data memory 12 of the control logic.
  • the data memory 12 further comprises a first database 20 having sound effects. It also comprises a second database 21 comprising visual effects. These visual and sound effects reproduce at the start, the starting sound of a missile, the concealment of the aim by the smoke, the misalignment of the line of sight at the departure of the missile, the unloading of the missile, the representation of the missile in flight. They reproduce, on impact, virtual images of an explosion. The visual and sound effects make it possible to faithfully respect the course of the real shot sequence of a missile during the simulation.
  • the control logic 8 is such a device.
  • the control logic 8 is often in the form of integrated circuits.
  • the program memory 11 is divided into several zones, each zone corresponding to sub-programs and instruction codes for performing a function of the device.
  • the program memory 11 comprises, according to the variants of the invention, a zone 22 comprising instruction codes for receiving an illumination beam F of the landscape P in order to obtain a video image of the illuminated scene 7 of the landscape P.
  • the memory 11 comprises a zone 23 comprising instruction codes for digitizing the video image supplied by the camera.
  • the memory 11 comprises a zone 24 comprising instruction codes for determining a position (x, y, z) of the camera.
  • This position (x, y, z) is preferably provided by a global positioning system, for example the one better known as the English Global Positioning System (GPS).
  • GPS Global Positioning System
  • the simulator 1 thus comprises a GPS positioning receiver placed, preferably on the camera 6. This GPS positioning receiver makes it possible to locate the position of the camera 6.
  • the memory 11 comprises a zone 25 comprising instruction codes for determining an azimuth of the camera.
  • the azimuth is an angle between the geographic north and the camera's D direction.
  • the simulator has a compass B. This compass B makes it possible to measure the azimuth between 0 and 360 degrees in the direction of clockwise.
  • the memory 11 comprises a zone 26 comprising instruction codes for taking, in the terrain image database 19, a three-dimensional panoramic image of the landscape P present in the direction and aim of the camera, from the position of the camera 6.
  • the memory 11 comprises a zone 27 comprising instruction codes for segmenting the panoramic three-dimensional image of the landscape P, in order to assign each voxel of this image a binary value.
  • the binary value 1 is assigned to a voxel when the latter belongs to an object of the three-dimensional image and the binary value 0 is assigned to a voxel in the opposite case, when this voxel represents air.
  • the memory 11 comprises a zone 28 comprising instruction codes for taking and segmenting images of virtual objects in the virtual image database 18.
  • the memory 11 comprises a zone 29 comprising instruction codes for fusing the three-dimensional panoramic image of the segmented landscape P with the images of the segmented virtual objects. This fusion is carried out under the same azimuth of the camera 6.
  • the memory January 1 comprises a zone 30 comprising instruction codes for applying a display method to the merged image.
  • the memory 11 comprises a zone 31 comprising instruction codes for simultaneously taking the image to be viewed from the merged image of the zone 30 and the video image of the zone 23.
  • the memory 11 comprises a zone 32 comprising codes instructions for superimposing, on the monitor M, the digitized video image of the zone 23 with the merged image produced by the instructions of the zone 29.
  • the memory 11 comprises a zone 33 comprising instruction codes to allow, during the superposition, the reframing of the contours of the objects of the merged image with respect to the contours of the objects of the digitized video image, the colorization of the image merged according to the colors of the video image and the addition to the merged image of the video image objects not present in the merged image.
  • the memory 11 comprises a zone 34 comprising instruction codes for carrying out the various simulation sequences in which the sound and visual effects provided respectively by the sound effect database 20 and the visual effects database 21 are integrated. These sound effects are transmitted by the control unit 8 to the loudspeaker E via the communication bus 37.
  • the memory 1 1 includes a zone 35 comprising instruction codes for slaving the merged image transmitted to the monitor M according to of a possible movement of the simulator 1.
  • the simulator 1 comprises for this purpose position sensors (not shown) for detecting this displacement.
  • the GPS sensor delivers useful information in this regard.
  • the memory 1 1 comprises a zone 36 comprising instruction codes for network connection to the control logic at least two simulators 1.
  • These two simulators 1 can be at different positions.
  • the productions of images of virtual objects provided by the database virtual images 18 can be controlled by the keys of the keyboard 14. They can alternatively be controlled by a joystick handle more commonly known as the English joystick 38.
  • the joystick 38 has a 39 vertical handle tilting in all directions . This handle 39 can be manipulated by an instructor according to several degrees of freedom.
  • the joystick 38 also has programmable buttons that control different actions of the virtual objects.
  • FIG. 2 shows the method, according to the invention, of operation of the means illustrated in FIG. 1. In the invention, the steps 100 to 112 are carried out almost simultaneously.
  • Fig. 2 shows a preliminary step in which the control logic acquires an analog video signal.
  • the camera 6 receives an illumination beam F as a function of the focal length of the camera 6 and of the viewing direction D, of a scene 7 of the landscape P.
  • the camera 6 films continuously and produces a still image of the scene 7 of the landscape P located in the beam F.
  • the images provided by the camera give an overall view of the scene 7.
  • the camera 6 transmits the analog video signal to the control logic.
  • This video signal is an electric current whose voltage variations are proportional to the variations in the illumination of the scene 7.
  • the light received by the camera is thus translated into electric current.
  • the control logic also locates the position of the camera. This camera position is localized by the global GPS positioning system.
  • the GPS positioning receiver provides coordinates (x, y, z) of the position of the camera 6, in a three-axis mark, which originates from the mass center of gravity.
  • the control logic can use any other type of repository.
  • the control logic also determines the azimuth B1 of the camera 6. This azimuth B1 is measured by the compass B. the compass makes it possible to measure the azimuth B1 which is the angle between a given reference, which is in an example the geographical north, and the line of sight or the direction of sight D of the camera 6.
  • step 101 consecutive, the control logic 8 digitizes the analog video signal in a digital video image 102, associating with each pixel 103 of this image a numerical value.
  • This numerical value comprises luminance and color chrominance information forming the color of this pixel 103.
  • a pixel is an image element of a plane image.
  • step 104 the control logic transmits the GPS position of the camera 6 to the ground data base 19.
  • the ground base 19 provides, in response to the control logic 8, information representative of a three-dimensional image. panoramic view of the landscape around the GPS position of the camera. This three-dimensional panoramic image of the landscape P 'includes objects 105.
  • the terrain database 19 is provided in a preferred example by the French National Geographical Institute (IGN). It is known that other types of image bases can be used depending on the location of the simulation to be performed.
  • IGN French National Geographical Institute
  • the control logic 8 applies a segmentation method to the panoramic three-dimensional image of the landscape P '.
  • This segmentation makes it possible to delimit the contours of the objects 105.
  • the control logic assigns to all the voxels 107 located inside the outlines of the objects 105 a binary value equal to 1. It assigns to all the voxels 108 located at the Outward of the contours of the objects 105 a binary value equal to 0.
  • the voxels of the image P 'representing the two mountains of the landscape P are assigned an attribute 1.
  • the segmented image only useful as the part of the panoramic three-dimensional image P 'which is in front of the viewing direction D, not the one behind it.
  • the control logic generates images of virtual objects 110 to be inserted into the panoramic three-dimensional image of the landscape P '. These virtual objects 1 10 are segmented before their insertion.
  • the control logic 8 thus obtains a new three-dimensional panoramic image 1 1 1 resulting from the fusion of the image P 'and that of the objects 1 10.
  • This fusion aims to place the objects 1 10 in the image P' at coordinates where the attributes of the voxels are 0 (representing air).
  • the placement altitude of these objects will be that of the ground of the image P 'if the objects 1 10 represent vehicles rolling. This altitude will be higher if these objects represent flying objects, helicopters for example.
  • step 1 12 the control logic applies a display method to the merged panoramic three-dimensional image 11 1.
  • This display method is preferably of the ray tracing algorithm type.
  • This ray tracing algorithm makes it possible to simulate, by computer, the path of light rays 1 14 between a position 113 of the camera 6 in the fused panoramic three-dimensional image 11 1 and the illuminated objects 105 and 110 of this merged panoramic three-dimensional image 1 1 1.
  • the simulated viewing direction D of the camera is determined according to the azimuth B1 of the camera 6.
  • the algorithm calculates, in a plane image, the impact of these rays with the voxels 107 of the objects 105 or 1 10 of the merged image whose attributes are equal to 1.
  • the visualization process processes the information content of each voxel 107 located at the points of impact. It provides an image to view 1 16 at a step
  • This image to be displayed 1 16 comprises at each pixel 1 18 a luminance and / or chrominance information corresponding to the processing of the information content of each voxel 107 or 1 10.
  • the pixel 1 18 corresponds to the orientations 1 15a according to FIG. X axis and 1 15b along the axis of the
  • the image to be viewed 1 16 corresponds to a virtual image with augmented reality of the image of the scene of the filmed landscape.
  • control logic 8 From the GPS coordinates of the camera position and the azimuth, determines an enhanced image 1 16 of the landscape scene image filmed.
  • step 1 19 the control logic 8 transmits to the monitor M, an image resulting from the superimposition of the digitized video image 102 and the image to be displayed 1 16.
  • the control logic 8 superimposes these two images on the monitor M. This superposition makes it possible to enrich the displayed image 120 on the monitor M.
  • the superimposition is established using a merge algorithm. By manipulating the keys of the keyboard, it is possible to readjust the contours of the objects of the image to be viewed 1 16 with respect to the contours of the objects of the digitized video image 102.
  • the control logic 8 can determine by itself the outline these two images and readjust them automatically.
  • the control logic 8 produced for this purpose for each pixel of the image to be viewed 1 16 which does not correspond to the objects 1 10, a color information contained in the pixel located at the same coordinates in the digitized video image 102. operation makes it possible to colorize or increase the contrast of the pixels of the image to be displayed 120, and in any case to make them more realistic.
  • the control logic adds them to the displayed image 120 on the monitor M.
  • the image displayed on the monitor M can be enriched by incorporating virtual images of trees or grove provided by a database.
  • the displayed image 120 on the monitor M is transmitted from the monitor to the viewfinder 3 of the simulator.
  • the simulator 2 comprises position sensors (not shown) for detecting a possible movement of said simulator.
  • the position sensors are placed on the simulation device. As soon as the position sensors have detected a change of position of the simulation device, they transmit to the control logic information relating to the displacement of the simulation device. This information can be, the absolute value of the distance of the displacement, the orientation and the rotation of the displacement.
  • the control logic 8 from this information moves the viewed scene of the landscape 106 accordingly. To do this, the control logic reapplies steps 100 to 1 1 1 of FIG. 2. The control logic thus refreshes the displayed image 120 as a function of the displacement. of the simulator.
  • the control logic 8 refreshes the image displayed on the viewfinder.
  • the refresh time depends on the computing power of the materials used.
  • the control logic also transmits to a projectile (not shown) of the simulation device the information concerning the movement of said simulator, in order to readjust the angle of impact of said projector.
  • a set of simulation devices may be interconnected to the network control logic.
  • This interconnection is provided by an existing communication protocol.
  • This protocol makes it possible to define the way in which information is exchanged between the network simulation devices and the control logic.
  • This protocol can be a GSM protocol or a CAN protocol better known as the English Controller Area Network or an ethernet protocol.
  • control logic determines the image to be displayed on the viewfinder by applying steps 100 to 19 of the method of FIG. image displayed on the viewfinder of a simulation device depends solely on the position and azimuth of the camera.
  • Figures 3 to 5 show different interactions between the images of the virtual objects 1 10 and the images of the objects 107 of the panoramic three-dimensional image of the landscape P '.
  • the virtual objects 1 10 are represented by a helicopter 200 and a tank 201.
  • the helicopter 200 and the tank 201 are moved by an instructor in the panoramic three-dimensional image of the landscape P 'by manipulating the keys of the keyboard and / or the joystick or according to a program established in advance.
  • the user with his eye on the viewfinder 3 and his hand on the control 5 thus learns to use the weapon system represented by the simulator.
  • the helicopter 200 is placed on the building 205 and the tank 201 is moved behind the dune 203. In this case, some parts of the tank 201 must become encrusted behind the dune 203. Some parts of the tank 201 are therefore not displayed.
  • the control logic 8 as a function of the direction of sight and the azimuth of the camera, only allows the visualization of the objects illuminated by the path of the light rays 1 14. Therefore, during the movement of the car 201 all the voxels of said tank not in the X-ray path are not displayed by the visualization method.
  • the control logic 8 considers an object whose voxels have as attribute a binary value equal to 1 as a solid.
  • the tank 201 can thus be moved only by skirting the dune 203 or colliding with the latter.
  • the car 201 is moved on the dune 203.
  • the car 201 is moved in front of the dune 203.
  • the vehicle 201 which does not fly therefore has an altitude z in the three-dimensional image P 'P' equal, at the height of its center of gravity, to that of the ground of the image P 'on which it moves.
  • the control logic moves the tank. To do this, by manipulating the keyboard or joystick electrical signals are transmitted to the control logic. The control logic processes these signals to determine what is the virtual object of the image to be moved, the direction of movement of the object, and the moving distance before making the displacement. If the handling is like making a collision, the vehicle can not move.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

La présente invention a pour objet un procédé de traitement d'images d'un simulateur. L'invention a pour but de réaliser une simulation de tirs sans nécessité de mettre en oeuvre des cibles réelles ni d'utiliser de missiles réels. L'invention propose ainsi un algorithme permettant d'élaborer une image panoramique du paysage (P') en la prélevant dans une base d'images de terrain (19). Ce prélèvement dépend d'une position du simulateur dans le paysage réel. Cet algorithme prélève également des images virtuelles (110) dans une base d'images (118). L'image panoramique est fusionnée avec les images virtuelles obtenant ainsi une image fusionnée (111). L'algorithme permet d'élaborer une image à visualiser (116) de l'image fusionnée sur un moniteur (M) du simulateur, sous un azimut ( B1) de la caméra. Enfin, il superpose sur le moniteur, l'image à visualiser avec l'image vidéo numérisée, afin d'accroître le réalisme de l'affichage.

Description

Procédé de traitement d'images d'un simulateur
Domaine de l'Invention
La présente invention a pour objet un procédé de traitement d'images d'un simulateur. La présente invention trouve une application particulièrement avantageuse, mais non exclusive, dans le domaine de la simulation pour l'entraînement et l'instruction aux tirs de missiles antichars sol/sol ou sol/air. Le procédé de l'invention peut être appliqué à tout dispositif où un opérateur vise et tire au travers d'une lunette ou d'un écran moniteur. L'invention concerne également un simulateur comportant un tel procédé.
Un but de l'invention est de réaliser une simulation de tirs sans nécessité de mettre en œuvre des cibles réelles ni d'utiliser de missiles réels. Etat de la technique
Actuellement, les simulateurs de tirs sont destinés à l'entraînement, à l'amélioration des tirs effectués par un tireur et au maintien de leur niveau. Ils sont utilisés pour réaliser des exercices de tirs dont les difficultés sont préalablement définies. Ces exercices sont réalisés dans des conditions proches de la réalité, basées sur une réalité virtuelle. Cette réalité virtuelle est simulée par un ordinateur fournissant une image synthétique dans laquelle l'ordinateur incruste des images virtuelles, représentant des cibles.
La réalité virtuelle est ainsi une simulation par ordinateur d'un environnement virtuel tridimensionnel, qui est par exemple un champ de bataille. Les cibles sont fixes ou mobiles dans l'image synthétique. L'environnement virtuel exploite la puissance de l'ordinateur et présente des animations et des caractéristiques tridimensionnelles de la réalité. Le simulateur comporte un système audio permettant de reproduire une ambiance sonore intégrée à la réalité virtuelle et un enregistrement des dialogues opérationnels.
Cependant de tels simulateurs de tirs basés sur la réalité virtuelle présentent des inconvénients. En effet, ces simulateurs à base de réalité virtuelle présentent un environnement visuel dont l'illusion tridimensionnelle est produite activement par la majeure partie du cerveau de l'utilisateur. Par exemple, cette réalité virtuelle est obtenue en fournissant une image différente à chaque œil afin de créer le relief présent en vision naturelle. De ce fait, les yeux n'accommodent pas de la même façon en environnement virtuel et dans le monde réel. En réalité virtuelle, les objets semblent plus près ou plus loin qu'ils ne le sont en réalité, entraînant une désorientation causée par une surcharge sensorielle, un déficit visuel temporaire sérieux et des symptômes potentiellement incapacitants ressemblant au mal des transports. Ainsi, un simulateur basé sur la réalité virtuelle ne peut pas excéder un certain temps de simulation pour l'utilisateur. Ceci entraîne des pertes de productivité et d'efficacité de l'entraînement.
Pour aider à la résolution de ces inconvénients des simulateurs à base de réalité virtuelle, il existe dans l'état de la technique de nouveaux simulateurs à base de réalité augmentée. Cette réalité augmentée comporte une simulation par un ordinateur fournissant une image vidéo d'un paysage réel captée par une caméra dans laquelle sont incrustées des images virtuelles. Cette image vidéo est captée puis numérisée et sauvegardée avant son utilisation en simulation. En faisant varier le contraste de ces deux images, on arrive à les visualiser avec une qualité d'image proche de la réalité.
Cependant, ces nouveaux simulateurs présentent eux aussi des inconvénients. En effet, le fait de pré-filmer puis d'enregistrer l'image vidéo entraîne des situations de simulations spécifiques, d'où une limitation à des situations prédéterminées. En outre, il faut d'importantes ressources en calcul et en mémoire pour obtenir un réalisme de bonne qualité.
En outre, l'image vidéo pré-filmée est une image bidimensionnelle ne comportant aucune information de courbe de niveaux des différents éléments présents dans cette image. De ce fait, les images virtuelles sont déplacées dans cette image vidéo sans aucune considération de la réalité de la scène filmée. Ceci entraîne un déplacement visualisé irréaliste sur le viseur ou sur le moniteur, des images virtuelles dans l'image vidéo.
Pour ces deux types de simulateurs, l'affichage de la réalité augmentée ou de la réalité virtuelle est réalisée par projection sur une surface de grande dimension, de type mur d'images ou grand écran. Cet affichage peut être effectué par un renvoi à l'infini ou sur un moniteur à travers un épiscope. L'opérateur en formation sur le simulateur observe alors ce mur ou ce moniteur au travers de l'objectif du simulateur. Ceci, ajouté à d'éventuels éléments de décor ou à des matériels spécifiques au simulateur constituent une infrastructure spécifique importante. Le simulateur est ainsi restreint à une utilisation en salle d'entraînement. Avec ces types de simulateurs, à cause de spécifications exigeantes, le coût et l'encombrement sont augmentés.
L'utilisation de ces types de simulateurs n'est pas adéquate pour un entraînement ou un apprentissage dans des conditions réelles d'entraînement.
Exposé de l'invention
L'invention a justement pour but de remédier aux inconvénients des techniques exposées précédemment. Pour cela, l'invention propose un procédé de traitement d'images d'un simulateur permettant de fusionner une image réelle, prise dans des conditions de placement réel du simulateur dans un champ de tir réel, et qui est une image vidéo numérisée, à une image virtuelle, en temps réel. Le simulateur est alors apte à réaliser une simulation, dans un viseur du poste de tir du simulateur, et dans les conditions d'environnement réel d'un tir de missile vers des cibles virtuelles présentées sur des paysages réels présents devant le poste de tir.
L'invention met en œuvre une interface homme-simulateur réalisée par un moniteur positionné immédiatement devant le viseur du poste de tir. Ce moniteur permet d'occulter le paysage réel et présente au viseur une image animée élaborée par un système de prise de vues de ce paysage réel par des moyens de réalité augmentée du simulateur. Dans une variante, le simulateur peut ne pas comporter de viseur. Dans ce cas, l'opérateur visualise l'image animée directement sur le moniteur.
Le moniteur est réalisé de telle sorte qu'il est optimisé de façon à prendre en compte le champ couvert par le viseur du poste de tir et le grossissement de ce viseur.
L'invention met également en œuvre la reproduction des effets visuels propres aux tirs de missiles antichars ainsi que des effets sonores. Ces effets visuels sont incrustés dans l'image présentée sur le viseur. Ces effets visuels peuvent être l'occultation de l'image au départ du missile puis la visualisation du missile. Et lors de la fin de la simulation d'un tir, des effets visuels et sonores réalistes sont présentés tels qu'explosions, fumées, etc.
L'invention met ainsi en œuvre un procédé de traitement d'images permettant de simuler un tir sans nécessité de mettre en œuvre des cibles réelles, ni d'utiliser de missiles réels. Lors de la réalisation de l'invention, on a mis en outre en évidence que la différence de luminosité de l'image vidéo numérisée avec celle de l'image virtuelle entraîne des difficultés pour réaliser une fusion de ces deux images. En effet, lors du balayage de l'image vidéo dans laquelle est fusionnée l'image virtuelle, des ressources de calcul assez importantes sont nécessaires pour effectuer cette fusion, entraînant un temps d'exécution relativement important pour visualiser les deux images fusionnées. Ces deux images ayant des luminosités différentes entraînent une visualisation avec une perte de qualité pour l'image virtuelle. Pour résoudre ce problème ainsi que surtout pour augmenter l'effet réaliste, l'invention comporte des moyens pour déterminer une image tridimensionnelle de l'image vidéo. Cette image tridimensionnelle est obtenue à partir de la position réelle (x, y, z) du système de prise de vue du simulateur. Cette image tridimensionnelle est fournie par une base de données géographique prédéfinie. L'invention comporte des moyens pour fusionner l'image tridimensionnelle avec l'image virtuelle, en même temps que l'acquisition de l'image vidéo est exécutée. L'invention comporte également des moyens pour superposer l'image vidéo à une visualisation de l'image fusionnée, afin de coloriser des éléments de l'image fusionnée, de recadrer des contours des éléments de l'image fusionnée, et de rajouter des éléments de l'image vidéo non présents dans l'image fusionnée. L'invention augmente ainsi le réalisme de la réalité augmentée.
Grâce à la définition de l'affichage, le réalisme des images virtuelles présentées et de leur évolution dans le paysage réel est accru. De même, l'invention permet une légèreté et une portabilité du simulateur grâce à un affichage des images produites par le moniteur dans la ligne de visée du tireur et non par projection comme dans l'état de la technique. L'invention est également adaptable à tous viseurs directs et en particulier à tout type de postes de tir de missile antichar. Son caractère de simulation en temps réel prend en compte tous les éléments de l'environnement, la trajectoire des cibles, le mouvement du poste de tir, etc.
Le simulateur de l'invention permet également une rapidité de mise en œuvre dans des situations géographiques ou opérationnelles non prédéterminées par l'utilisation de bases de données géographiques décrivant le terrain. L'invention peut être mise en œuvre par des matériels standards, notamment : des plates-formes informatiques, des cartes électroniques, des cartes d'acquisition, cartes graphiques, une caméra numérique, un moniteur. L'avantage de cette standardisation du matériel est de rendre le système indépendant du matériel facilitant ainsi le portage ultérieur du système vers de nouveaux matériels sans limitations aux éléments disponibles au moment du développement du simulateur.
Plus précisément, l'invention a pour objet un procédé de traitement d'images d'un simulateur, dans lequel a) - on capture une image vidéo (102) d'une scène (7) d'un paysage
(P) réel, au moyen d'une caméra (6), b) - on numérise l'image vidéo en associant à chaque pixel (103) de l'image une valeur numérique comportant des informations de luminance et/ou de chrominance, caractérisé en ce qu'il comporte les étapes suivantes : c) - on élabore une image tridimensionnelle panoramique du paysage (P') en la prélevant dans une base d'images de terrain (19), ce prélèvement dépendant d'une position du simulateur dans le paysage réel, d) - on élabore des images d'objets virtuels (1 10) dans une base d'images virtuelles (1 18), e) - on fusionne l'image tridimensionnelle panoramique du paysage avec les images des objets virtuels, et on obtient une image fusionnée (1 1 1 ), f) - on élabore une image à visualiser (1 16) de l'image fusionnée et on la visualise sur un moniteur (M) du simulateur, sous un azimut ( B1 ) de la caméra, l'azimut étant un angle d'une direction de visée (D) de la caméra par rapport à une direction de référence, et g) - on superpose sur le moniteur, l'image à visualiser avec l'image vidéo numérisée.
Selon des modes de réalisation non limitatifs, le procédé selon l'invention comporte les caractéristiques supplémentaires suivantes :
- l'étape d'élaboration de l'image tridimensionnelle panoramique du paysage comporte les étapes suivantes : h) - on calcule la position de la caméra dans le paysage au moyen d'un récepteur de positionnement, i) - on transmet à la base d'images de terrain la position calculée de la caméra, cette base fournissant en sortie une image tridimensionnelle panoramique du paysage autour de la position de la caméra.
- l'étape de visualisation de l'image fusionnée comporte les étapes suivantes : j) - on simule un trajet de rayons lumineux entre une position de la caméra dans l'image tridimensionnelle panoramique du paysage et des objets segmentés de l'image fusionnée, k) - la direction de visée simulée de la caméra est déterminée en fonction de l'azimut de la caméra, I) - Ie contenu d'information de voxels situé à des points d'impact des rayons lumineux avec les objets segmentés de l'image fusionnée est traité par un traitement de visualisation, m) - l'image à visualiser comprend, à un endroit correspondant aux orientations des rayons lumineux, une information de luminance ou de chrominance correspondant à ce traitement.
- l'étape de superposition comporte les étapes suivantes: n) - on transmet simultanément au moniteur l'image à visualiser et l'image vidéo numérisée, o) - on recadre des contours des objets de l'image à visualiser par rapport aux contours des objets de l'image vidéo numérisée ou vice versa. p) - on effectue le cadrage des contours des objets de l'image à visualiser manuellement. q) - on détecte un déplacement du simulateur, r) - on réitère les étapes a) à e), s) - on rafraîchit l'image à visualiser en tenant compte de ce déplacement. t) - on détecte un déplacement du simulateur, u) - on transmet à un projectile une information de déplacement du simulateur. v) - on associe à une séquence de simulation avec le simulateur des effets sonores et des effets visuels. w) - on enregistre les résultats de la simulation. L'invention concerne également un simulateur caractérisé en ce qu'il comporte un moyen de mettre en œuvre ledit procédé de traitement d'images de l'invention. Brève description des dessins
L'invention sera mieux comprise à la lecture de la description qui suit et à l'examen des figures qui l'accompagnent. Celles-ci sont présentées à titre indicatif et nullement limitatif de l'invention. La figure 1 montre une représentation schématique d'un simulateur de tirs, selon l'invention.
La figure 2 montre une illustration de moyens mettant en œuvre le procédé de l'invention.
Les figures 3, 4 et 5 montrent sur le moniteur du simulateur les différents déplacements d'un objet virtuel sur l'image réelle vue par le tireur.
Description détaillée de modes de réalisation de l'invention
La figure 1 représente schématiquement un mode de réalisation d'un simulateur 1 , selon l'invention. Le procédé de l'invention peut être appliqué à tout type de simulateur utilisant une réalité augmentée. Dans l'exemple de l'invention, le simulateur 1 est un simulateur de tir. Ce simulateur 1 comporte un dispositif de simulation 2. Ce dispositif 2 de simulation est réalisé de telle sorte qu'il respecte l'ergonomie et les performances, utilisées à l'identique de celles d'un système d'arme réel. Ce dispositif de simulation 2 est interopérable avec les chars, hélicoptères, armes légères et missiles. Dans un exemple préféré, le dispositif de simulation 2 est celui d'un missile antichar.
Le dispositif de simulation 2 comporte un viseur 3 ou dispositif de visée, dans laquelle la réalité augmentée est visionnée par un opérateur.
L'organe de visée de ce viseur 3 peut avoir diverses formes. Il peut avoir une forme rectangulaire, par exemple 16/9 ou 4/3. Le viseur 3 a de préférence une forme en général circulaire. Il est disposé sur une face arrière du dispositif de simulation 2, là où un opérateur est sensé placer son oeil. Le viseur 3 est de préférence un dispositif optique de visée. Dans une variante, le viseur 3 peut être électronique. Dans ce cas, il comporte une caméra 6 couplée avec un moniteur dont l'image est présentée dans le viseur. Le viseur 3 comporte un point lumineux 3a dans l'image présentée. Ce point 3a correspond à l'axe optique, faisant fonction de réticule et matérialisant un impact d'un rayon central de visée sur la cible. Le simulateur 1 peut comporter un trépied 4 permettant de maintenir le dispositif de simulation 2 stable, lors de la simulation. Le trépied 4 comporte trois branches 4a, 4b et 4c, pliantes ou non, parfois télescopiques, c'est-à-dire dont les éléments peuvent coulisser les uns dans les autres, branche par branche. Le simulateur 1 peut aussi être utilisé à l'épaulé.
Le dispositif de simulation 2 comporte une poignée de tir 5. La mise en marche de la poignée de tir 5, par pression ou par détente, actionne automatiquement la mise à feu du simulateur 1. Cette mise à feu est simulée par l'ouverture ou la fermeture d'interrupteurs, déclenchant automatiquement des effets visuels et sonores dans l'image visualisée sur le viseur.
Le simulateur 1 comporte la caméra 6 montée sur le dispositif de simulation 2. Cette caméra 6 permet de capter une image d'une scène 7 d'un paysage P réel. La caméra 6 reçoit un faisceau d'éclairement F remontant une direction de visée D du simulateur, en fonction de la focale de la caméra. La direction de visée D est l'axe de visée ou l'axe focal de la caméra 6. La direction de visée D est orientable avec le simulateur 1. Le faisceau d'éclairement F représente le champ de vision modifiable par la focale de la caméra 6.
Le faisceau d'éclairement F permet à la caméra 6 de capturer une image vidéo d'une scène 7 réelle d'un paysage P. Après avoir reçu le faisceau F, la caméra 6 transforme en des signaux électriques l'énergie de l'éclairement reçu. Ces signaux électriques sont ensuite transmis à une logique de commande 8 par l'intermédiaire d'un bus de communication externe 9. Ces signaux électriques permettent à cette logique de commande 8 de produire une image vidéo plane correspondant à la scène 7 du paysage P visualisée. La logique de commande 8 transforme en outre, selon l'invention, cette image vidéo en une réalité augmentée.
Le simulateur 1 comporte un moniteur M par laquelle la réalité augmentée, de la scène 7 du paysage filmée, est visualisée. L'image vue par le viseur 3 est celle présentée par le moniteur M. Le moniteur M transmet au viseur 3 du dispositif de simulation 2 cette réalité augmentée. Dans une variante, le dispositif de simulation peut ne pas comporter de viseur 3. Dans ce cas la réalité augmentée est visualisée directement sur le moniteur M. Dans une autre variante, la réalité augmentée peut être visualisée sur un casque de visualisation. De manière générale, la réalité augmentée de la scène 7 filmée du paysage P peut être visualisée sur tout dispositif de visualisation le permettant.
Le simulateur 1 comporte une enceinte acoustique E qui renferme un ou plusieurs haut-parleurs, ainsi qu'un système d'amplification. Cette enceinte E permet la restitution du son et l'amélioration de la qualité acoustique. Cette enceinte E peut être intégrée à l'écran du moniteur M, ou à un clavier 14, ou au dispositif de simulation 2. Cette enceinte E peut être située à l'extérieur du simulateur 1.
Dans un exemple, la logique de commande 8 comporte un microprocesseur 10, une mémoire de programme 1 1 , une mémoire de données 12, un écran de visualisation 13, un clavier 14, une interface d'entrée 15 et une interface de sortie 16. Le microprocesseur 10, la mémoire de programme 1 1 , la mémoire de données 12, l'écran de visualisation 13, le clavier 14, l'interface d'entrée 15 et l'interface de sortie 16 sont interconnectés par un bus de communication interne 17. La logique 8 de commande prélève dans une première base de données d'images 18 des images virtuelles. Elle prélève également, dans une deuxième base de données d'images 19 de terrain, des images tridimensionnelles du paysage. Ces deux bases de données 18 et 19 sont, de préférence, externes au simulateur 1. Les contenus, au moins en partie de ces deux bases de données 18 et 19 peuvent, dans une variante, être mémorisés dans la mémoire de données 12 de la logique de commande.
La mémoire de données 12 comporte en outre une première base de données 20 comportant des effets sonores. Elle comporte aussi une seconde base de données 21 comportant des effets visuels. Ces effets visuels et sonores reproduisent au départ, le bruit de départ d'un missile, l'occultation de la visée par la fumée, le dépointage de l'axe de visée au départ du missile, le délestage du missile, la représentation du missile en vol. Ils reproduisent, à l'impact, des images virtuelles d'une explosion. Les effets visuels et sonores permettent de respecter fidèlement le déroulement de la séquence de tir réel d'un missile lors de la simulation.
Dans la pratique, lorsque l'on fait simuler une action à un dispositif, celle-ci est réalisée par un microprocesseur du dispositif commandé par des codes instructions enregistrés dans une mémoire de programme du dispositif. La logique de commande 8 est un tel dispositif. La logique de commande 8 est, souvent réalisée sous forme de circuits intégrés. La mémoire de programme 1 1 est divisée en plusieurs zones, chaque zone correspondant à des sous programmes et à des codes instructions pour réaliser une fonction du dispositif. La mémoire de programme 11 comporte, selon les variantes de l'invention, une zone 22 comportant des codes instructions pour recevoir un faisceau d'éclairement F du paysage P en vue d'obtenir une image vidéo de la scène 7 éclairée du paysage P.
La mémoire 1 1 comporte une zone 23 comportant des codes instructions pour numériser l'image vidéo fournie par la caméra. La mémoire 1 1 comporte une zone 24 comportant des codes instructions pour déterminer une position (x, y, z) de la caméra. Cette position (x, y, z) est fournie de préférence par un système de positionnement mondial, par exemple celui plus connu sous le nom anglais Global Positioning System (GPS). Le simulateur 1 comporte ainsi un récepteur de positionnement GPS placé, de préférence sur la caméra 6. Ce récepteur de positionnement GPS permet la localisation de la position de la caméra 6.
La mémoire 1 1 comporte une zone 25 comportant des codes instructions pour déterminer, un azimut de la caméra. L'azimut est un angle compris entre le nord géographique et la direction d'émission D de la caméra. Pour mesurer cet angle, le simulateur comporte une boussole B. Cette boussole B permet de mesurer l'azimut entre 0 et 360 degrés dans le sens des aiguilles d'une montre.
La mémoire 1 1 comporte une zone 26 comportant des codes instructions pour prélever, dans la base de données 19 d'images terrains, une image tridimensionnelle panoramique du paysage P présent dans la direction et visée de la caméra, à partir de la position de la caméra 6.
La mémoire 1 1 comporte une zone 27 comportant des codes instructions pour effectuer une segmentation de l'image tridimensionnelle panoramique du paysage P, afin d'attribuer à chaque voxel de cette image une valeur binaire. La valeur binaire 1 est attribuée à un voxel lorsque ce dernier appartient à un objet de l'image tridimensionnelle et la valeur binaire 0 est attribué à un voxel dans le cas contraire, lorsque ce voxel représente de l'air.
La mémoire 1 1 comporte une zone 28 comportant des codes instructions pour prélever et segmenter des images d'objets virtuels dans la base d'images virtuelles 18. La mémoire 1 1 comporte une zone 29 comportant des codes instructions pour fusionner l'image tridimensionnelle panoramique du paysage P segmentée avec les images des objets virtuels segmentés. Cette fusion est réalisée sous un même azimut de la caméra 6. La mémoire 1 1 comporte une zone 30 comportant des codes instructions pour appliquer un procédé de visualisation à l'image fusionnée.
La mémoire 1 1 comporte une zone 31 comportant des codes instructions pour prélever simultanément l'image à visualiser de l'image fusionnée de la zone 30 et l'image vidéo de la zone 23. La mémoire 1 1 comporte une zone 32 comportant des codes instructions pour superposer, sur le moniteur M, l'image vidéo numérisée de la zone 23 avec l'image fusionnée produite par les instructions de la zone 29.
La mémoire 1 1 comporte une zone 33 comportant des codes instructions pour permettre, lors de la superposition, le recadrage des contours des objets de l'image fusionnée par rapport aux contours des objets de l'image vidéo numérisée, la colorisation de l'image fusionnée en fonction des couleurs de l'image vidéo et le rajout à l'image fusionnée des objets de l'image vidéo non présents dans l'image fusionnée.
La mémoire 1 1 comporte une zone 34 comportant des codes instructions pour réaliser les différentes séquences de simulations dans lesquelles sont intégrées les effets sonores et visuels fournis respectivement par la base de données d'effets sonores 20 et la base de données d'effets visuels 21. Ces effets sonores sont transmis, par la logique de commande 8 à l'enceinte acoustique E par le bus de communication 37. La mémoire 1 1 comporte une zone 35 comportant des codes instructions pour asservir l'image fusionnée transmise au moniteur M en fonction d'un éventuel déplacement du simulateur 1. Le simulateur 1 comporte à cet effet des capteurs de position (non représentés) permettant de détecter ce déplacement. Eventuellement, le capteur GPS délivre les informations utiles à cet égard.
A titre optionnel, la mémoire 1 1 comporte une zone 36 comportant des codes instructions pour relier en réseau à la logique de commande au moins deux simulateurs 1. Ces deux simulateurs 1 peuvent se situer à des positions différentes. Les productions des images des objets virtuels fournis par la base d'images virtuelles 18 peuvent être pilotées par les touches du clavier 14. Elles peuvent dans une variante être pilotées par une manche à balai plus communément connu sous le nom anglais joystick 38. Le joystick 38 comporte un manche 39 vertical inclinable dans toutes les directions. Ce manche 39 peut être manipulé par un instructeur selon plusieurs degrés de liberté. Le joystick 38 comporte également des boutons programmables qui commandent différentes actions des objets virtuels.
La figure 2 montre le procédé, selon l'invention, de fonctionnement des moyens illustrés à la figure 1. Dans l'invention, les étapes 10O à 1 12 sont effectuées quasi simultanément.
La figure 2 montre une étape 100 préliminaire dans laquelle la logique de commande acquiert un signal vidéo analogique. Pour acquérir ce signal vidéo analogique, dans l'exemple de la figure 2, la caméra 6 reçoit un faisceau d'éclairement F en fonction de la focale de la caméra 6 et de la direction de visée D, d'une scène 7 du paysage réel P. La caméra 6 filme continûment et produit une image fixe de la scène 7 du paysage P située dans le faisceau F. Les images fournies par la caméra donnent une vision globale de la scène 7.
La caméra 6 transmet le signal vidéo analogique à la logique de commande. Ce signal vidéo est un courant électrique dont les variations de tensions sont proportionnelles aux variations de l'éclairement de la scène 7. La lumière reçue par la caméra est ainsi traduite en courant électrique.
Dans cette étape 100, la logique de commande localise aussi la position de la caméra. Cette position de la caméra est localisée par le système de positionnement mondial GPS. Le récepteur de positionnement GPS fournit des coordonnées (x, y, z) de la position de la caméra 6, dans un repère à trois axes, qui a pour origine le centre de gravité de masse terrestre. Dans une variante, la logique de commande peut utiliser n'importe quel autre type de référentiel. Dans cette étape 100, la logique de commande détermine également l'azimut B1 de la caméra 6. Cet azimut B1 est mesuré par la boussole B. la boussole permet de mesurer l'azimut B1 qui est l'angle entre une référence donnée, qui est dans un exemple le nord géographique, et la ligne de visée ou la direction de visée D de la caméra 6. A l'étape 101 , consécutive, la logique de commande 8 numérise le signal vidéo analogique en une image vidéo 102 numérique, en associant à chaque pixel 103 de cette image une valeur numérique. Cette valeur numérique comporte des informations de luminance et de chrominance, de couleur, formant la couleur de ce pixel 103. Un pixel est un élément d'image d'une image plane.
A l'étape 104, la logique de commande transmet à la base 19 de données de terrain la position GPS de la caméra 6. La base 19 de terrain fournit en réponse à la logique de commande 8, des informations représentatives d'une image tridimensionnelle panoramique du paysage P' autour de la position GPS de la caméra. Cette image tridimensionnelle panoramique du paysage P' comporte des objets 105.
La base de données terrain 19 est fournie dans un exemple préféré par l'Institut Géographique National Français (IGN). On sait que d'autres types de bases d'images peuvent être utilisés en fonction du lieu de la simulation à réaliser.
A une étape ultérieure 106, la logique de commande 8 applique un procédé de segmentation à l'image tridimensionnelle panoramique du paysage P'. Cette segmentation permet de délimiter les contours des objets 105. La logique de commande attribue à tous les voxels 107 se situant à l'intérieur des contours des objets 105 une valeur binaire égale à 1. Elle attribue à tous les voxels 108 situés à l'extérieur des contours des objets 105 une valeur binaire égale à 0. Typiquement, les voxels de l'image P' représentant les deux montagnes du paysage P sont affectés d'un attribut 1. Dans l'image segmentée, on ne retient comme utile que la partie de l'image tri dimensionnelle panoramique P' qui se trouve devant la direction de visée D, pas celle qui est derrière.
A une étape 109 ultérieure, la logique de commande élabore des images d'objets virtuels 110 à insérer dans l'image tridimensionnelle panoramique du paysage P'. Ces objets virtuels 1 10 sont segmentés avant leur insertion. La logique de commande 8 obtient ainsi une nouvelle image tridimensionnelle panoramique 1 1 1 résultant de la fusion de l'image P' et de celle des objets 1 10. Cette fusion a pour objet de placer les objets 1 10 dans l'image P', à des coordonnées où les attributs des voxels sont 0 (représentant l'air). De préférence, l'altitude de placement de ces objets sera celle du sol de l'image P' si les objets 1 10 représentent des véhicules roulants. Cette altitude sera supérieure si ces objets représentent des objets volants, des hélicoptères par exemple.
A l'étape 1 12, la logique de commande applique un procédé de visualisation à l'image tridimensionnelle panoramique fusionnée 11 1. Ce procédé de visualisation est de préférence du type algorithme à lancer de rayons.
Cet algorithme à lancer de rayons permet de simuler informatiquement le trajet de rayons lumineux 1 14 entre une position 113 de la caméra 6 dans l'image tridimensionnelle panoramique fusionnée 1 1 1 et des objets 105 et 1 10 illuminés de cette image tridimensionnelle panoramique fusionnée 1 1 1.
La direction de visée D simulée de la caméra est déterminée en fonction de l'azimut B1 de la caméra 6.
Pour chaque rayon lumineux 1 14 lancé de la caméra 6, l'algorithme calcule, dans une image plan, l'impact de ces rayons avec les voxels 107 des objets 105 ou 1 10 de l'image fusionnée dont les attributs valent 1. Le procédé de visualisation traite le contenu d'information de chaque voxel 107 situé aux points d'impact. Il fournit une image à visualiser 1 16 à une étape
1 17. Cette image à visualiser 1 16 comporte à chaque pixel 1 18 une information de luminance et/ou de chrominance correspondant au traitement du contenu des informations de chaque voxel 107 ou 1 10. Le pixel 1 18 correspond aux orientations 1 15a selon l'axe des X et 1 15b selon l'axe des
Y, des trajets des rayons lumineux 1 14. Les cordonnées 20 et 20b des pixels
18 sont calculées en fonction des angles 1 15a et 1 15b du rayon lumineux
1 14. L'image à visualiser 1 16 correspond à une image virtuelle à réalité augmentée de l'image de la scène du paysage filmée.
Pour produire l'image 1 16, d'autres algorithmes peuvent également être utilisés, notamment l'algorithme du Z-buffer ou tampon de profondeur, ou l'algorithme du peintre.
Quelle que soit, la position du simulateur dans le paysage, la logique de commande 8, à partir des coordonnés GPS de la position de la caméra et de l'azimut, détermine une image augmentée 1 16 de l'image de la scène du paysage filmée.
Pour augmenter le réalisme de l'image à afficher, la logique de commande 8 applique ensuite l'étape 1 19. A l'étape 1 19, la logique de commande 8 transmet au moniteur M, une image résultant de la superposition de l'image vidéo numérisée 102 et de l'image à visualiser 1 16. La logique de commande 8 superpose ces deux images sur le moniteur M. Cette superposition permet d'enrichir l'image affichée 120 sur le moniteur M. La superposition s'établit à l'aide d'algorithme de fusion. En manipulant les touches du clavier, on peut réajuster les contours des objets de l'image à visualiser 1 16 par rapport aux contours des objets de l'image vidéo numérisée 102. Dans une variante, la logique de commande 8 peut déterminer toute seule les contours de ces deux images et les réajuster automatiquement. La logique de commande 8 produit dans ce but pour chaque pixel de l'image à visualiser 1 16 qui ne correspond pas aux objets 1 10, une information de couleur contenue dans le pixel situé aux mêmes cordonnées dans l'image vidéo numérisée 102. Cette opération permet de coloriser ou d'augmenter le contraste des pixels de l'image à afficher 120, et en tous cas de les rendre plus réalistes.
Pour tous les pixels 103 de l'image vidéo numérisée n'ayant pas de correspondance dans l'image à visualiser 1 16, la logique de commande les rajoute dans l'image affichée 120 sur le moniteur M. Dans une variante, l'image affichée 120 sur le moniteur M peut être enrichie par une incorporation d'images virtuelles d'arbres ou de bosquet fournies par une base de donnée.
L'image affichée 120 sur le moniteur M est transmise du moniteur au viseur 3 du simulateur.
Le simulateur 2 comporte des capteurs de position (non représentés) permettant de détecter un éventuel déplacement dudit simulateur. Les capteurs de position sont placés sur le dispositif de simulation. Dès que les capteurs de position ont détecté un changement de position du dispositif de simulation, ils transmettent à la logique de commande des informations relatives au déplacement du dispositif de simulation. Ces informations peuvent être, la valeur absolue de la distance du déplacement, l'orientation et la rotation du déplacement.
La logique de commande 8 à partir de ces informations déplace la scène visualisée du paysage 106 en conséquence. Pour ce faire, la logique de commande réapplique les étapes 100 à 1 1 1 de la figure 2. La logique de commande rafraîchit ainsi l'image affichée 120 en fonction du déplacement du simulateur.
Ainsi, dès la détection d'un déplacement du dispositif de simulation, la logique de commande 8 rafraîchit l'image visualisée sur le viseur. Le temps de rafraîchissement dépend de la puissance de calcul des matériels utilisés. La logique de commande transmet également à un projectile (non représenté) du dispositif de simulation les informations concernant le déplacement dudit simulateur, afin de réajuster l'angle d'impact dudit projecteur.
Dans un exemple, un ensemble de dispositifs de simulation peut être interconnecté à la logique de commande en réseau. Cette interconnexion est assurée par un protocole de communication existant. Ce protocole permet de définir la manière dont les informations sont échangées entre les dispositifs de simulation du réseau et la logique de commande. Ce protocole peut être un protocole GSM ou un protocole CAN plus connu le nom anglais Controller Area Network ou un protocole ethernet.
A partir de la position de chaque caméra et de son azimut, pour chaque dispositif de simulation, la logique de commande détermine l'image à visualiser sur le viseur en appliquant les étapes 100 à 1 19 du procédé de la figure 2. Ainsi, l'image visualisée sur le viseur d'un dispositif de simulation dépend uniquement de la position et de l'azimut de la caméra.
Les figures 3 à 5 montrent différentes interactions entre les images des objets virtuels 1 10 et les images des objets 107 de l'image tridimensionnelle panoramique du paysage P'.
Dans l'exemple de la figure 3, les objets virtuels 1 10 sont représentés par un hélicoptère 200 et un char 201. Les objets 107 de l'image tridimensionnelle panoramique du paysage P' sont représentés par une dune 203, une montagne 204, un bâtiment 205 et une étendue d'herbes ou d'arbres 206. L'hélicoptère 200 et le char 201 sont déplacés par un instructeur dans l'image tridimensionnelle panoramique du paysage P' en manipulant les touches du clavier et/ou le joystick ou selon un programme établi d'avance. L'utilisateur avec son œil sur le viseur 3 et sa main sur la commande 5 apprend ainsi à se servir du système d'arme représenté par le simulateur.
Dans l'exemple de la figure 3, l'hélicoptère 200 est posé sur le bâtiment 205 et le char 201 est déplacé derrière la dune 203. Dans ce cas, certaines parties du char 201 doivent s'incruster derrière la dune 203. Certaines parties du char 201 ne sont donc pas visualisées. La logique de commande 8 en fonction de la direction de visée et de l'azimut de la caméra, ne permet de visualiser que les objets illuminés par le trajet des rayons lumineux 1 14. De ce fait, lors du déplacement du char 201 tous les voxels dudit char ne se situant pas dans le trajet des rayons X, ne sont pas affichés par le procédé de visualisation.
De même, pour la manipulation, les voxels du char ayant un attribut binaire égal à 1 ne peuvent pas s'introduire dans un voxel d'un objet ayant un attribut d'une même valeur binaire. De ce fait, la logique de commande 8 considère un objet dont les voxels ont comme attribut une valeur binaire égale à 1 comme un solide. Le char 201 ne peut ainsi être déplacé qu'en contournant la dune 203 ou en entrant en collision avec cette dernière.
Dans l'exemple de la figure 4, le char 201 est déplacé sur la dune 203. Dans l'exemple de la figure 5, le char 201 est déplacé devant la dune 203. Le véhicule 201 qui ne vole pas possède donc une altitude z dans l'image P' tridimensionnelle P' égale, à la hauteur de son centre de gravité près, à celle du sol de l'image P' sur lequel il se déplace.
En déplaçant les coordonnées des voxels du char 201 , la logique de commande déplace le char. Pour ce faire, en manipulant le clavier ou le joystick des signaux électriques sont transmis à la logique de commande. La logique de commande traite ces signaux afin de déterminer quel est l'objet virtuel de l'image à déplacer, le sens du déplacement de l'objet et la distance de déplacement avant d'effectuer ledit déplacement. Si la manipulation revient à faire une collision, le véhicule ne peut se déplacer.

Claims

REVENDICATIONS
1 - Procédé de traitement d'images d'un simulateur (1 ), dans lequel, a) - on capture une image vidéo (102) d'une scène (7) d'un paysage (P) réel, au moyen d'une caméra (6) du simulateur, b) - on numérise l'image vidéo en associant à chaque pixel (103) de l'image une valeur numérique comportant des informations de luminance et/ou de chrominance, caractérisé en ce qu'il comporte les étapes suivantes : c) - on élabore une image tridimensionnelle panoramique (P') du paysage en la prélevant dans une base d'images de terrain (19), ce prélèvement dépendant d'une position (x, y, z) du simulateur dans le paysage réel, d) - on élabore des images d'objets virtuels (1 10) dans une base d'images virtuelles (1 18), e) - on fusionne (109) l'image tridimensionnelle panoramique du paysage avec les images des objets virtuels, et on obtient une image fusionnée (1 1 1 ), f) - on élabore (1 12) une image à visualiser (1 16) de l'image fusionnée et on la visualise sur un moniteur (M) du simulateur, sous un azimut (B1 ) de la caméra, l'azimut étant un angle d'une direction de visée (D) de la caméra par rapport à une direction de référence, et g) - on superpose (1 19) sur le moniteur, l'image à visualiser avec l'image vidéo numérisée. 2 - Procédé selon la revendication 1 , caractérisé en ce que l'étape d'élaboration de l'image tridimensionnelle panoramique du paysage comporte les étapes suivantes : h) - on calcule la position de la caméra dans le paysage au moyen d'un récepteur de positionnement, i) - on transmet à la base d'images de terrain la position calculée de la caméra, cette base fournissant en sortie une image tridimensionnelle panoramique du paysage autour de la position de la caméra.
3 - Procédé selon l'une quelconque des revendications 1 à 2, caractérisé en ce que l'étape de visualisation de l'image fusionnée comporte les étapes suivantes : j) - on simule un trajet (1 14) de rayons lumineux entre une position (1 13) de la caméra dans l'image tridimensionnelle panoramique du paysage et des objets (105, 1 10) segmentés de l'image fusionnée, k) - la direction de visée simulée de la caméra est déterminée en fonction de l'azimut de la caméra,
I) - le contenu d'information de voxels (107) situé à des points d'impact des rayons lumineux avec les objets segmentés de l'image fusionnée est traité par un traitement de visualisation, m) - l'image à visualiser comprend, à un endroit (118) correspondant aux orientations (1 15a, 1 15b) des rayons lumineux, une information de luminance ou de chrominance correspondant à ce traitement.
4 - Procédé selon l'une quelconque des revendications 1 à 3, caractérisé en ce que l'étape de superposition comporte les étapes suivantes: n) - on transmet simultanément au moniteur l'image à visualiser et l'image vidéo numérisée, o) - on recadre des contours des objets de l'image à visualiser par rapport aux contours des objets de l'image vidéo numérisée ou vice versa.
5 - Procédé selon la revendication 4 caractérisé en ce que p) - on effectue le cadrage des contours des objets de l'image à visualiser manuellement.
6 - Procédé selon l'une quelconque des revendications 1 à 5, caractérisé en ce que : q) - on détecte un déplacement du simulateur, r) - on réitère les étapes a) à e), s) - on rafraîchit l'image à visualiser en tenant compte de ce déplacement.
7 - Procédé selon l'une quelconque des revendications 1 à 6, caractérisé en ce que : t) - on détecte un déplacement du simulateur, u) - on transmet à un projectile une information de déplacement du simulateur.
8 - Procédé selon l'une quelconque des revendications 1 à 7, caractérisé en ce que : v) - on associe à une séquence de simulation avec le simulateur des effets sonores (20) et des effets visuels (21 ).
9 - Procédé selon l'une quelconque des revendications 1 à 8, caractérisé en ce que : w) - on enregistre les résultats de la simulation. 10 - Simulateur caractérisé en ce qu'il comporte un moyen de mettre en œuvre un procédé de traitement d'images selon l'une quelconque des revendications 1 à 9.
PCT/FR2007/051165 2006-04-25 2007-04-24 Procede de traitement d'images d'un simulateur WO2007125247A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP07731938A EP2011090A1 (fr) 2006-04-25 2007-04-24 Procede de traitement d'images d'un simulateur
ZA2008/10014A ZA200810014B (en) 2006-04-25 2008-11-25 Method for processing images of a simulator

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0651460A FR2900261B1 (fr) 2006-04-25 2006-04-25 Procede de traitement d'images d'un simulateur
FR0651460 2006-04-25

Publications (1)

Publication Number Publication Date
WO2007125247A1 true WO2007125247A1 (fr) 2007-11-08

Family

ID=37671110

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2007/051165 WO2007125247A1 (fr) 2006-04-25 2007-04-24 Procede de traitement d'images d'un simulateur

Country Status (4)

Country Link
EP (1) EP2011090A1 (fr)
FR (1) FR2900261B1 (fr)
WO (1) WO2007125247A1 (fr)
ZA (1) ZA200810014B (fr)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010000693A1 (de) * 2009-11-25 2011-05-26 Michael Ardito Fugenabziehgerät und Verfahren zur Herstellung einer Verfugung
RU2592026C1 (ru) * 2015-02-09 2016-07-20 Акционерное общество Центральное конструкторское бюро аппаратостроения Способ создания комбинированной реальности при подготовке военнослужащих сухопутных войск и тренажер для его осуществления

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101614504B (zh) * 2008-06-24 2012-07-11 刘林运 一种真人对抗模拟射击系统、对战平台及其操作方法
FR3067151B1 (fr) 2017-05-30 2019-07-26 Fittingbox Procede d'essayage virtuel realiste d'une paire de lunettes par un individu
CN111223192B (zh) * 2020-01-09 2023-10-03 北京华捷艾米科技有限公司 一种图像处理方法及其应用方法、装置及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIVINGSTON M A ET AL: "Applying a Testing Methodology to Augmented Reality Interfaces to Simulation Systems", INTERNET CITATION, 23 January 2005 (2005-01-23), XP002421088, Retrieved from the Internet <URL:http://www.ait.nrl.navy.mil/3dvmel/papers/cp_SIMCHI05.pdf> [retrieved on 20070214] *
MILGRAM P ET AL: "Augmented reality: a class of displays on the reality-virtuality continuum", PROCEEDINGS OF THE SPIE, SPIE, BELLINGHAM, VA, US, vol. 2351, 1994, pages 282 - 292, XP002421089, ISSN: 0277-786X *
RONALD T AZUMA: "A Survey of Augmented Reality", PRESENCE, CAMBRIDGE, MA, US, August 1997 (1997-08-01), pages 1 - 48, XP002254668, ISSN: 1054-7460 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010000693A1 (de) * 2009-11-25 2011-05-26 Michael Ardito Fugenabziehgerät und Verfahren zur Herstellung einer Verfugung
RU2592026C1 (ru) * 2015-02-09 2016-07-20 Акционерное общество Центральное конструкторское бюро аппаратостроения Способ создания комбинированной реальности при подготовке военнослужащих сухопутных войск и тренажер для его осуществления

Also Published As

Publication number Publication date
FR2900261A1 (fr) 2007-10-26
EP2011090A1 (fr) 2009-01-07
FR2900261B1 (fr) 2009-01-09
ZA200810014B (en) 2010-02-24

Similar Documents

Publication Publication Date Title
EP0511101B1 (fr) Procédé de modélisation d&#39;un système de prise de vues et procédé et système de réalisation de combinaisons d&#39;images réelles et d&#39;images de synthèse
US10783715B2 (en) Augmented reality display reflective of visibility affecting features in real-world environment
EP0068937B1 (fr) Procédé de formation d&#39;une cible fictive dans un appareil pour l&#39;entraînement au pointage de cibles
CA2282088C (fr) Simulateur de tir de missiles avec immersion du tireur dans un espace virtuel
JP5891125B2 (ja) 映像処理装置、映像処理方法、および映像処理システム
WO2015098807A1 (fr) Système de capture d&#39;image associé à une combinaison en temps réel d&#39;un sujet et d&#39;un espace virtuel tridimensionnel
EP4254333A2 (fr) Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d&#39;objets geometriques planaires textures, sans marqueur, dans un flux video
CN105844714A (zh) 基于增强现实的场景显示方法及系统
EP2104925A1 (fr) Procédé et dispositifs pour insérer en temps réel des objets virtuels dans un flux d&#39;images à partir de données issues de la scène réelle représentée par ces images
EP2791914A1 (fr) Système de tournage de film vidéo
US20180239514A1 (en) Interactive 3d map with vibrant street view
WO2007125247A1 (fr) Procede de traitement d&#39;images d&#39;un simulateur
US10728430B2 (en) Systems and methods for displaying object features via an AR device
JP6161749B2 (ja) 映像処理装置、映像処理方法、および映像処理システム
EP3011548B1 (fr) Procédé de mise en oeuvre d&#39;un essai de simulation d&#39;une situation relle comprenant une génération de différents contextes virtuels
WO2007017599A1 (fr) Dispositif d&#39;entrainement au tir a partir d&#39;une arme
EP4252417A1 (fr) Jumelles de visee de simulation, et systeme et procedes de simulation
SE516565C2 (sv) Metod och anordning för att producera information om en omgivning och användning av anordningen
CN112562051A (zh) 虚拟对象显示方法、装置、设备及存储介质
KR20190112407A (ko) 홀로포테이션 컨텐츠 운용 방법
FR3091582A1 (fr) Fusil permettant une simulation précise d’une séquence de tir avec calcul du point d’impact du ou des projectiles
FR2794230A1 (fr) Systeme d&#39;entrainement au tir sur cible simulee
FR2604273A1 (fr) Procede de generation d&#39;informations de vision pour un systeme de visualisation exterieure pour appareils d&#39;instruction, notamment pour la formation d&#39;equipages de chars
FR2537735A1 (fr) Collimateur grand angulaire pour appareil optique ou simulateur

Legal Events

Date Code Title Description
DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07731938

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2007731938

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2007731938

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE