WO2011045276A1 - Verfahren zur darstellung von virtueller information in einer ansicht einer realen umgebung - Google Patents

Verfahren zur darstellung von virtueller information in einer ansicht einer realen umgebung Download PDF

Info

Publication number
WO2011045276A1
WO2011045276A1 PCT/EP2010/065207 EP2010065207W WO2011045276A1 WO 2011045276 A1 WO2011045276 A1 WO 2011045276A1 EP 2010065207 W EP2010065207 W EP 2010065207W WO 2011045276 A1 WO2011045276 A1 WO 2011045276A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
virtual object
view
server
real environment
Prior art date
Application number
PCT/EP2010/065207
Other languages
English (en)
French (fr)
Inventor
Peter Meier
Michael Kuhn
Frank Angermann
Original Assignee
Metaio Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Metaio Gmbh filed Critical Metaio Gmbh
Priority to EP18185218.7A priority Critical patent/EP3410405A1/de
Priority to CN201080045773.1A priority patent/CN102598064B/zh
Priority to EP10768226A priority patent/EP2489013A1/de
Priority to US13/501,697 priority patent/US9001154B2/en
Priority to JP2012532629A priority patent/JP5582548B2/ja
Publication of WO2011045276A1 publication Critical patent/WO2011045276A1/de
Priority to US14/616,213 priority patent/US10074215B2/en
Priority to US16/126,785 priority patent/US10453267B2/en
Priority to US16/658,851 priority patent/US11410391B2/en
Priority to US17/818,255 priority patent/US11880951B2/en
Priority to US18/538,656 priority patent/US20240127561A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Definitions

  • the present invention relates to a method for displaying virtual information in a view of a real environment.
  • Augmented Reality is a technology that overlays virtual data with reality, facilitating the association of data with reality.
  • AR Augmented Reality
  • the use of mobile AR systems is already known.
  • high-performance mobile devices e.g., smartphones
  • additional sensors such as orientation sensors and GPS.
  • the position of the device can be approximated via radio networks.
  • US 2009/0179895 A1 describes a method for fading in three-dimensional notes or quotations into an image of a real environment ("street view"), wherein a user selects by means of a selection box in the picture at which point a note is to be faded in Next, the selection box is projected onto a three-dimensional model to determine a position of the indicia in relation to the image, and location data corresponding to the projection on the three-dimensional model is determined and assigned to the user-entered memo stored in a database of a server and can be displayed in a different image of the real environment according to the location data.
  • Tagagging generally and in the following refers to augmenting the reality with additional information provided by a user.
  • Previous tagging approaches include placing objects on map views (eg, Google Maps), photographing location points, and storing those images with additional ones It is disadvantageous that remote viewers and users can no longer have AR access to interactive scenes in the world, only so-called screenshots of the AR scene can be viewed but not changed any more ,
  • a method of displaying virtual information in a real-world view comprising the steps of: providing at least one virtual object having global position and orientation with respect to a geographic global coordinate system with first pose data, which allow conclusions to be drawn about the global position and orientation of the virtual object, on a database of a server, recording of at least one image of a real environment by means of a mobile device, and provision of len of second Poselves that allow a conclusion about the position and orientation with respect to the geographic global coordinate system, the image was taken, displaying the image on a display of the mobile device, access to the virtual object on the database of the server and positioning the virtual object in the image displayed on the display based on the first and second pose data, manipulating the virtual object or adding another virtual object by appropriate positioning in the image displayed on the display, and providing the manipulated virtual object along with modified ones first pose data corresponding to the positioning in the image or the further virtual object together with third pose data corresponding to the positioning in the image on the database of the server, wherein the
  • a method of presenting virtual information in a real-world view comprising the steps of: providing at least one virtual object having global position and orientation with respect to a geographic global coordinate system on a database of a server, providing at least one view of a real environment by means of data glasses (for example a so-called optical see-through data goggles or a video camera) with first pose data which permit a conclusion on the global position and orientation of the virtual object See-through data goggles) along with second pose data allowing conclusions about where and with what orientation with respect to the geographic global coordinate system the goggles are positioned, access to the virtual object on the server's database and posit ionizing the virtual object in the view based on the first and second pose data, manipulating the virtual object or adding another virtual object by correspondingly positioning in the view, and providing the manipulated virtual object together with modified first pose data corresponding to the positioning in the view; of the further virtual object together with third pose data corresponding to the positioning in the view on the database of the server
  • the pose data may include respective three-dimensional values in position and orientation.
  • an orientation of the image of the real environment can be defined independently of the earth's surface.
  • a storage location on the server records in which image of a plurality of images of a real environment or in which view of several views of a real environment which virtual object has been provided with pose data by a plurality of virtual objects.
  • the position of the mobile device is determined, for example, by means of a GPS (Global Positioning System) sensor, it may happen that the position of the mobile device is only determined relatively inaccurately due to a sensor inaccuracy or a GPS-inherent inaccuracy. This can have the result that superimposed virtual objects in the image relative to the geographic global coordinate system are also positioned with a corresponding inaccuracy, so that in other images or views with different angles, the virtual objects displayed there are displayed out of place in relation to reality.
  • GPS Global Positioning System
  • an embodiment of the method according to the invention comprises the following steps: providing a reference database with reference views to a real environment together with pose data containing a Infer at which position and with which orientation with respect to the geographic global coordinate system the respective reference view was taken by a camera, comparison of at least one real object depicted in the image with at least one part of a real object, included in at least one of the reference views and matching the second pose data of the image with the pose data of the at least one reference view, and modifying at least a portion of the second pose data based on at least a portion of the pose data of the at least one reference view of the Abgle I ... it.
  • at least a portion of the first pose data of the virtual object positioned in the image is also modified as a result of matching the second pose data of the image with the pose data of the at least one reference view.
  • FIG. 1A is a plan view showing a schematic arrangement of a first exemplary embodiment of a system structure usable to carry out a method according to the invention
  • Fig. 1B is a plan view showing a schematic arrangement of a second exemplary embodiment of a system structure usable to carry out a method according to the invention
  • FIG. 1C shows, in a schematic arrangement, a possible data structure of an embodiment of a system in order to carry out a method according to the invention
  • FIG. 2 shows a schematic representation of an overview of participating coordinate systems according to an embodiment of the invention
  • FIG. 4 shows an exemplary sequence of a method according to a further embodiment of the invention, in particular supplemented by optional measures for improving the image pose,
  • FIG. 5 shows an example scene of a real environment with virtual objects placed therein, without a pose improvement taking place
  • FIG. 6 shows an exemplary scene of a real environment with virtual objects placed therein after a pose improvement has taken place.
  • FIG. 7A shows an exemplary real world map view on which a virtual object has been placed
  • FIG. 7B shows an exemplary perspective view of the same scene as in FIG.
  • Fig. 1A shows in plan view a schematic arrangement of a first exemplary embodiment of a system structure that is usable to carry out a method according to the invention.
  • the user carries as a display device a head-mounted display system (HMD) with a display 21 which is part of the system body 20.
  • HMD head-mounted display system
  • the component may be connected to one another by wire connections and / or also wirelessly, and it is also possible for individual components, such as the computer 23, to be stationary
  • the display 21 may, for example, a generally known data glasses in the form of a so-called optical see-through data glasses ("Optical See Through Display", in which the reality by the semipermeability the data glasses is visible) or in the form of a so-called video-see-through data glasses (“Video See Through-display ", in which the reality is played on a worn in front of the user's head screen) may be in the virtual information provided by a computer 23, can be displayed in a known manner.
  • the user then sees in a view 70 visible to the real world within a viewing angle or opening angle 26 by the display 21 or on the display 21 objects of the real environment 40 that are displayed with virtual information 10 (such as so-called point-of-interest Objects, in short, POI objects that are related to the real world) can be enriched.
  • virtual information 10 such as so-called point-of-interest Objects, in short, POI objects that are related to the real world
  • the virtual object 10 is displayed such that the user perceives it in a manner as if it were located in the real environment 40 at an approximate position.
  • This position of the virtual object 10 may also be referred to as a global position with respect to a geographic location global coordinate system, such as an earth coordinate system, are stored, as explained in more detail below.
  • the system assembly 20 forms a first embodiment of a well-known augmented reality system that can be used for the method of the present invention.
  • Additional sensors 24, such as rotation sensors, GPS sensors or ultrasonic sensors, and an optical tracking camera 22 and the recording of one or more images (so-called “views") may be attached to the display 21.
  • the display 21 may be semitransparent or through If the display 21 is semitransparent, calibration is required between the user's eye 25 and display 21. This procedure, known as the Seethrough Calibration, is well known to those skilled in the art from eye to camera 22.
  • the camera can be used to take views to make them accessible to other users, as explained in more detail below
  • As a pose the position and orientation of an object or object is generally related to a reference coordinate system To determine poses are in the art various methods are documented and known to those skilled in the art.
  • position sensors may be installed, such as GPS sensors (GPS: Global Positioning System) to a geographical location of the system structure 20 (eg by latitude and longitude and altitude) in the real world 40.
  • GPS sensors GPS: Global Positioning System
  • the determination of the position of each part of the system structure is suitable, provided that conclusions about the position and viewing direction of the user can be made.
  • FIG. 1B another exemplary system assembly 30 is shown, e.g.
  • a display device 31 e.g in the form of a screen or display
  • computer 33, sensors 34 and camera 32 form a system unit which is accommodated approximately in a common housing of a mobile phone
  • At least portions of the system assembly 30 may be considered as a mobile device comprising one or more of said components, the components may be disposed in a common housing or (partially) distributed and interconnected by wire connections and / or wirelessly be.
  • the view of the real environment 40 is provided by the display 31, which displays an image 50 of the real environment 40, which can be viewed by the camera 32 in a glance. and was recorded with an opening angle 36.
  • the camera image 50 may be displayed on the display 31 and augmented with additional virtual information 10 (such as POI objects related to the real world) that have a particular position relative to reality as described with reference to FIG. 1A.
  • additional virtual information 10 such as POI objects related to the real world
  • the system assembly 30 forms another embodiment of a well known Augmented Reality (AR) system.
  • AR Augmented Reality
  • a similar calibration is used as described with respect to Figure 1A to determine the pose of virtual objects 10 relative to the camera 32 in order to make them accessible to other users, as further explained below.
  • To determine poses various methods have been documented in the prior art and known to the person skilled in the art.
  • position sensors may be installed, such as GPS sensors 34, a geographic location of the system structure 30th (eg, latitude and longitude) in the real world 40 to allow.
  • no camera is needed to determine the pose, for example if the pose is determined only by GPS and orientation sensors.
  • the determination of the position of each part of the system structure is suitable, provided that conclusions about the position and viewing direction of the user can be made.
  • the invention can be usefully used for all forms of AR.
  • the display is performed in the so-called optical see-through method with semipermeable HMD or in the video see-through method with camera and screen.
  • the invention can also be used in connection with stereoscopic displays, whereby advantageously two cameras each record a video stream for an eye in the video see-through approach.
  • the virtual information for each eye can be calculated individually and stored as a pair on the server.
  • the processing of the different substeps described below can basically be distributed to different computers via network. So it is a client / server architecture or a more client-based solution possible. Furthermore, the client or the server can also have several computing units, such as multiple CPUs or specialized hardware components, such as well-known FPGAs, ASICs, GPUs or DSPs include.
  • the pose (position and orientation) of the camera in the room is needed. This can be realized in many different ways. One can e.g. only with GPS and an orientation sensor with electronic compass (as used for example in some more modern mobile phones) determine the pose in the real world. However, the uncertainty of the pose is then very high. Therefore, other methods such as optical initialization and tracking or the combination of optical methods with GPS and orientation sensors may be used.
  • WLAN localization can also be used, or RFIDs (markers or chips for "Radio Frequency Identification”) or optical markers can support the localization.
  • the client may request site-specific information required for optical tracking from the server, such as, for example, reference images of the environment containing pose information and depth information
  • site-specific information required for optical tracking from the server, such as, for example, reference images of the environment containing pose information and depth information
  • An optional embodiment of this invention provides, in particular, the ability to enhance the pose of a view on the server and also to improve the pose of the placed virtual objects in the world based on this information.
  • the invention can be installed or carried in vehicles, aircraft or ships using a monitor, HMDs or a head-up display.
  • virtual objects such as an interesting point (Point of Interest, POI)
  • POI Point of Interest
  • Images of places with GPS information can be displayed - information from the Internet
  • These can be, for example, company or restaurant websites with addresses or pages on which evaluations are made, users can deposit texts, images or 3D objects in specific locations and make them accessible to others Wikipedia, for example, searches for geo-information and makes the pages accessible as POI, and POIs can be automatically generated from the search or browse behavior of mobile device users, or other interesting places, such as subways or bus stations, hospitals , police stations, doctors, real estate ads or fitness clubs are presented ,
  • Such information can be stored in the image 50 or in the view 70 (see Figures 1A and 1B) as virtual objects 10 at specific locations in the real world 40 by a user and made accessible to others with the position corresponding to the respective location.
  • the other users can then, for example, manipulate the information shown in their position in an accessible view or a picture of the real world, or they can also add further virtual objects.
  • FIG. 1C shows data structures used in accordance with one embodiment of the invention and briefly explained below.
  • a view is a fixed view of the real world, in particular a view (see view 70 according to FIG. 1A), an image (see image 50 according to FIG. 1B) or a sequence of images (a film).
  • the view (image 50 / view 70) is associated with camera parameters which describe optical properties of the camera 22, 32 (for example with regard to the aperture angle, main point shift or image distortion) and to the image 50 or the view 70.
  • pose data are also associated with the view, which describe the position and orientation of the image 50 or the view 70 with respect to the earth.
  • the earth is assigned a geographically global coordinate system in order to obtain a geographic global position determination in the real world, e.g. longitude and latitude, to allow.
  • a placed model is a graphically representable virtual object (compare object 10 according to FIGS. 1A, 1B), which also has pose data.
  • the placed model may represent an instance of a model from a model database, that is, refer to it. It is advantageously deposited by means of which views 50 or 70 the respective virtual model 10 has been placed in the world 40, if this is the case. This can be used to improve the pose data, as explained in more detail below.
  • a scene represents a link from a view 50, 70 with 0 to n placed models 10 and optionally includes a creation date. All or part of the data structures may still be linked to metadata. For example, the creator, the date, the frequency of images / views, ratings and keywords can be dropped.
  • FIG. 2 gives an overview of participating coordinate systems according to an embodiment of the invention.
  • an earth coordinate system 200 is used (which in this embodiment represents the geographic global coordinate system), which is a connecting element.
  • the earth's surface is indicated in Figure 2 by reference numeral 201.
  • various standards are defined that are known to those skilled in the art (eg WGS84; National Imaging and Mapping Agency: Department of Defense World Geodetic System 1984; Technical Report, TR 8350.2; 3rd edition, January 2000).
  • a camera coordinate system represents a connection between displayed virtual objects 10 and images 50.
  • the pose P60_10 (“pose model in image 2") of the object 10 relative to the image 60 can be calculated.
  • Pose picture 2 in the world ”) becomes eg also calculated via GPS and / or orientation sensors.
  • a virtual object 10 in a first image (image 50) and view it in a second image (image 60) at a nearby position on the earth but from a different angle.
  • the object 10 is placed, for example, by a first user in the first image 50 with the pose PW10. If a second user then generates a view according to FIG. 60 with his mobile device, the virtual object 10 placed by the first user is automatically displayed in the image 60 at the same global position corresponding to the pose PW10, provided that the image 60 is acquired in one Aperture angle or angle of view is a part of the real world that includes the global position of the pose P Wl 0.
  • FIG. 3 shows an exemplary sequence of a method according to an embodiment of the invention.
  • world related data is generated. These may for example be extracted from the Internet or generated by a first user by means of a camera (FIG. 1B) or an HMD with camera (FIG. 1A).
  • step 1.0 it takes up a view (image or view) for which position and orientation (pose) in the world are determined (step 2.0). This can be done for example by means of GPS and compass.
  • information regarding uncertainty of the generated data may also be included.
  • the user can advantageously place a virtual object in the view directly on his mobile device (step 3.0).
  • the object is placed and manipulated in the camera coordinate system.
  • step 4.0 from the global pose of the view and pose of the object in the camera coordinate system, the global pose of the virtual object (or objects) in the world (e.g., with respect to coordinate system 200) is calculated. This can be done on a client 1 or done on a server 2.
  • a client is a program on a device that makes contact with another program on a server in order to use its services.
  • the underlying client-server model allows tasks to be distributed to different computers in a computer network.
  • a client does not solve one or more specific tasks itself, but has them done by the server or receives corresponding data from the server, which offers a service for it. Basically, most steps of this system can be done either on the server or the client. For high-performance clients, for example, it is advantageous to have them perform as many calculations as possible, thus relieving the load on the server.
  • step 5.0 this information from step 4.0 is then stored in a database 3 of the server 2, advantageously as described with reference to FIG.
  • step 6.0 the same user or other user on another client then takes a picture of the real environment (or views a particular part of the environment via an HMD) and then loads data stored in step 5.0 relative to a location of the considered one Real environment from the server 2,
  • the loading and display of location-related information by means of augmented reality and advantageously with Geospatial functionalities equipped database is known in the art.
  • the user now sees the previously stored information from the previously stored or a new point of view and is able to make changes (manipulations of existing and / or adding new virtual information), which in turn are stored on the server 2.
  • the user does not necessarily have to be on-site, but can use the previously, advantageously stored view as a window on the reality while sitting in his office, for example on an Internet-enabled client.
  • a virtual object 10 is provided or generated by a user on the database 3 of the server 2, which has a global position and orientation with respect to a geographic global coordinate system 200, together with the pose data (Pose PW10), which allow a conclusion on the global position and orientation of the virtual object 10.
  • This user or another user takes at least one image 50 of a real environment 40 by means of a mobile device 30 together with the pose data (pose PW50), which allow conclusions to be drawn as to which position and with which orientation with respect to the geographic global coordinate system 200 picture 50 was taken.
  • the image 50 is displayed on the display 31 of the mobile device.
  • Access is made to the virtual object 10 on the database 3 of the server, and the virtual object 10 is positioned in the image 50 displayed on the display based on the pose data of the poses PW10 and PW50.
  • the virtual object 10 can then be manipulated (eg displaced) by corresponding positioning (compare arrow MP in FIG. 1B) in the image 50 shown on the display, or another virtual object 11 can be positioned by positioning it in the one shown in FIG Display 50 can be added.
  • Such a manipulated virtual object 10 together with the modified pose data (modified pose PW10) corresponding to the positioning in the image 50 or such another virtual object 11 together with its pose data corresponding to the positioning in the image 50 is then stored on the database 3 of the server 2, wherein the modified pose data PW10 and the pose data of the new virtual object 11 each allow a conclusion on the global position and orientation of the manipulated object 10 or other virtual object 11 with respect to the coordinate system 200.
  • the system can respond and cache the information until the server is reachable again.
  • the data to be stored on the server is cached on the mobile device and transmitted to the server as soon as the network connection is available again.
  • the user may retrieve a collection of scenes in an area of a real environment (e.g., in its surrounding area or vicinity) that are sorted by proximity in a list, or provided on a map or by augmented reality for selection.
  • a real environment e.g., in its surrounding area or vicinity
  • the image or virtual information has unique identifying characteristics (eg, unique names), and image or virtual information already present on a client or mobile device (these may be virtual model data or views). , are no longer downloaded from the server, but are loaded from a local datastore.
  • FIG. 4 shows an exemplary sequence of a method according to a further embodiment of the invention, in particular supplemented by optional measures for improving the image pose.
  • the method comprises steps 1.0 to 6.0 of FIG.
  • steps 7.0 and 8.0 the pose of the view (image or view) is subsequently improved, for example by means of optical methods, and the advantageous storage of the information by means of which views has placed which virtual information is the pose of the information also corrected.
  • the pose of the view can be improved immediately after the creation of the view on the client 1 by providing optical tracking reference information for this view or a view with a similar pose to the client 1 from a reference database 4 of the server 2.
  • the accuracy of the view can also be done before calculating the pose of the placed virtual objects (step 4.0) and saved directly correctly.
  • the advantage of the subsequent procedure is that reference data do not have to be available for all locations and a correction can be made for such views as soon as reference data is available.
  • FIG. 5 shows an exemplary scene of a real environment with virtual objects placed therein without a pose improvement having taken place so far.
  • FIG. 5 shows a possible situation before a correction.
  • a virtual object 10 for example, a restaurant's rating
  • real objects 41, 42 e.g., representing the building of the restaurant.
  • both the image and the object 10 with erroneous world coordinates are stored corresponding to incorrect or inaccurate particular camera pose data P30-2. This leads to a corresponding incorrectly stored object 10-2. This is not a problem in this captured image itself.
  • the error comes to light when the virtual object 10 is viewed, for example, on a map or in another image.
  • the virtual object 10 would be displayed at a position in the image as shown by the representation of the virtual object 10-1 and viewed by the generating user as well ,
  • the erroneously stored virtual object 10-2 is displayed shifted in an image other than the true position of the virtual object 10 by a degree by which the defective camera pose P30-2 is shifted from the true camera pose P30-1 ,
  • the representation of the erroneously stored virtual object 10-2 in the image of the mobile device 30 thus does not correspond to the true positioning by the generating user in a previous image.
  • an embodiment of the method according to the invention comprises the following steps: A reference database 4 with reference views to a real environment together with pose data is provided make it possible to infer at which position and with which orientation with respect to the geographic global coordinate system 200 the respective reference view was taken by a camera. Then, at least a portion of a real object depicted in the image is compared to at least a portion of a real object included in at least one of the reference views, and an alignment of the pose data of the image with the pose data of the at least one Reference view made. Thereafter, at least a portion of the pose data of the image is modified based on at least a portion of the pose data of the respective reference view as a result of the matching.
  • At least part of the pose data of the virtual object positioned in the image is also modified as a result of matching the pose data of the image with the pose data of the relevant reference view.
  • FIG. 6 shows an exemplary scene of a real environment similar to that of FIG. 5 with a virtual object 10-1 placed therein after a pose improvement has taken place.
  • FIG. 6 shows on the one hand the mechanism of the recognition of image features in the image and on the other hand the corresponding correction of image pose and object pose.
  • image features 43 e.g., distinctive features of the real objects 41 and 42
  • matching image features are compared and matched with corresponding features of reference images of a reference database 4 (known as "matching" image features).
  • Placement correction means that the user could misjudge the height of the placed object above the ground when placing a virtual object in perspective.
  • Figure 7A shows an exemplary real-world map view on which a virtual object has been placed
  • Figure 7B shows an exemplary perspective view of the same scene as in Figure 7A
  • FIGS. 7A and 7B serve in particular to explain the user-assisted determination of the camera pose.
  • the user as in Figure 7B represented as usual take a picture 50 and place a virtual object 10 in relation to a real object 41. Following this, the user may be prompted to re-display the position of a placed object 10 on a map 80 or world virtual view 80, as shown in Figure 7A.
  • the orientation (heading) of the image 50 in the world can then be calculated or corrected. If the mobile device also has no GPS, the method can also be carried out with two virtual objects or one virtual object and the indication of the location. Further, as shown by way of example in Figure 7A, the user may also be presented with the "field of view” (see indicator 81 of the image detail) of the last image, and the user may select the "field of view” on the map for correction interactively move and reorient. In this case, the opening angle of the "Field of Views" can be shown according to the intrinsic camera parameters.
  • the method includes the following steps: providing a map view (see map view 80) on the display of the mobile device and providing a choice for the user to select a viewing direction when capturing the image. In this way, it is possible to select the viewing direction in which the user is currently looking with the camera on the map.
  • the method also comprises the following steps: placing the virtual object in the image of the real environment and in a map view provided on the display of the mobile device, and determining an orientation of the image from a determined position of the image and the position of the virtual object in the provided map view.
  • the method has the following further steps: At least one image of the real environment is provided along with its pose data on the server's database. Thereafter, access is made to the image of the real environment on the server and transmitted to a client device for displaying the image on the client device. The user manipulates the virtual object or adds another virtual object by appropriate positioning in the real environment image displayed on the client device.
  • the manipulated virtual object, together with its modified pose data corresponding to the positioning in the image displayed on the client device, or the other virtual object is along with its (new) Pose schemes according to the positioning in the image displayed on the client device provided the database of the server, wherein the modified Posestein or new Posedata each allow a conclusion on the global position and orientation of the manipulated or further virtual object in the image displayed on the client device.
  • the AR scene in the image can be modified or enriched with additional virtual information and written back to the server. Due to the newly stored global position of the manipulated or new virtual information, this information can in turn be retrieved by other users via an access to the server and viewed in an AR scene corresponding to the global position.
  • the method comprises the following steps: accessing the image of the real environment on the server and transmitting it to a second client device for viewing the image on the second client device and accessing the server provided on the server virtual objects, wherein in the view of the image on the second client device those virtual objects are displayed whose global position lies within the real environment, which is shown in the view of the image on the second client device.
  • a viewer on another client device can view a scene representing those virtual objects that other users have previously positioned at a corresponding location (whose global location is within the real environment in the view the image is displayed on this client device).
  • the observer sees from his viewing angle those virtual objects that other users have previously placed in the visible field of view.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Computer Networks & Wireless Communication (AREA)

Abstract

Ein Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung umfasst folgende Schritte: Bereitstellen wenigstens eines virtuellen Objekts (10), das eine globale Position und Orientierung in Bezug auf ein geographisch globales Koordinatensystem (200) besitzt, zusammen mit ersten Posedaten (PW10), die einen Rückschluss auf die globale Position und Orientierung des virtuellen Objekts zulassen, auf einer Datenbank (3) eines Servers (2), Aufnahme wenigstens eines Bildes (50) einer realen Umgebung (40) mittels eines mobilen Gerätes (30) und Bereitstellen von zweiten Posedaten (PW50), die einen Rückschluss darüber zulassen, an welcher Position und mit welcher Orientierung in Bezug auf das geographisch globale Koordinatensystem (200) das Bild aufgenommen wurde, Darstellen des Bildes (50) auf einem Display (31) des mobilen Geräts, Zugriff auf das virtuelle Objekt (10) auf der Datenbank (3) des Servers (2) und Positionieren des virtuellen Objekts (10) in dem auf dem Display dargestellten Bild (50) auf Grundlage der ersten und zweiten Posedaten (PW10, PW50), Manipulieren des virtuellen Objekts (10) oder Hinzufügen eines weiteren virtuellen Objekts (11) durch entsprechendes Positionieren in dem auf dem Display dargestellten Bild (50), und Bereitstellen des manipulierten virtuellen Objekts (10) zusammen mit modifizierten ersten Posedaten (PW10) entsprechend der Positionierung in dem Bild (50) bzw. des weiteren virtuellen Objekts (11) zusammen mit dritten Posedaten entsprechend der Positionierung in dem Bild (50) auf der Datenbank (3) des Servers (2), wobei die modifizierten ersten Posedaten und dritten Posedaten jeweils einen Rückschluss auf die globale Position und Orientierung des manipulierten bzw. weiteren virtuellen Objekts zulassen. Statt mit einem Bild der realen Umgebung kann das Verfahren auch analog mit einer Ansicht beispielsweise eines HMD durchgeführt werden.

Description

Verfahren zur Darstellung von virtueller Information
in einer Ansicht einer realen Umgebung
Die vorliegende Erfindung betrifft ein Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung.
Hintergrund der Erfindung
Augmented Reality (AR) ist eine Technologie, welche virtuelle Daten mit der Realität überlagert und somit die Zuordnung von Daten mit der Realität erleichtert. Nach dem Stand der Technik ist der Einsatz mobiler AR-Systeme bereits bekannt. In den vergangenen Jahren haben sich leistungsfähige mobile Geräte (z.B. Smartphones) als geeignet für den AR-Einsatz herausgestellt. Sie haben inzwischen vergleichsweise große Farbdisplays, eingebaute Kameras, gute Prozessoren und zusätzliche Sensoren, wie zum Beispiel Orientierungssensoren und GPS. Zusätzlich kann die Position des Gerätes über Funknetze angenähert werden.
In der Vergangenheit wurden verschiedene Projekte auf mobilen Geräten mit AR durchgeführt. Dabei wurden zunächst spezielle optische Markierungen eingesetzt, um die Position und Orientierung des Gerätes festzustellen. Bezüglich AR, welches auch weiträumig ein- setzbar ist, auch large area AR genannt, wurden in Zusammenhang mit HMDs (Head Mounted Displays) auch Hinweise zur sinnvollen Darstellung von Objekten veröffentlicht [3], In letzter Zeit gibt es auch Ansätze, das GPS und die Orientierungssensorik modernerer Geräte zu nutzen ([1, 2, 4,5].
[1] AR Wikitude. http://www.mobilizy.com/wikitude.php.
[2] Enkln. http://www.enkin.net.
[3] S. Feiner, B. Maclntyre, T. H'ollerer, and A. Webster. A touring machine:
Prototyping 3d mobile augmented reality Systems for exploring
the urban environment. In Proceedlngs of the Ist International Symposium
on Wearable Computers, pages 74-81 , 1997.
[4] Sekai Camera, http://www.tonchidot.com/product-lnfo.html.
[5] layar.com
Die bisher veröffentlichten Ansätze haben jedoch den Nachteil, dass sie die einfache Einbeziehung anderer Nutzer in die AR-Szenen nicht ermöglichen. Desweiteren haben die meisten Systeme, die sich auf GPS und Kompass stützen, den Nachteil, dass diese Geräte zwingend zur Verfügung stehen müssen und hohe Ungenauigkeiten auftreten können.
In US 2009/0179895 AI wird ein Verfahren zum Einblenden von dreidimensionalen Vermerken oder Notierungen in ein Bild einer realen Umgebung („street view") beschrieben. Hierbei wird von einem Benutzer mittels einer Auswahlbox im Bild ausgewählt, an welcher Stelle ein Vermerk eingeblendet werden soll. Anschließend wird die Auswahlbox auf ein dreidimensionales Modell projiziert, um eine Position des Vermerks in Relation zu dem Bild zu ermitteln. Desweiteren werden Ortsdaten entsprechend der Projektion auf das dreidimensionale Modell ermittelt und dem vom Benutzer eingegebenen Vermerk zugeordnet. Der Vermerk wird zusammen mit den Ortsdaten in einer Datenbank eines Servers gespeichert und kann in einem anderen Bild der realen Umgebung entsprechend den Ortsdaten eingeblendet werden.
Als„Tagging" wird im Allgemeinen und im Folgenden die Anreicherung der Realität mit zusätzlichen Informationen durch einen Benutzer bezeichnet. Bisherige Ansätze zum Tagging beinhalten die Platzierung von Objekten auf Kartenansichten (z.B. Google Maps), das Fotografieren von Ortspunkten und das Speichern dieser Bilder mit zusätzlichen Kommentaren und das Erzeugen von Textnachrichten an bestimmten Ortspunkten. Nachteilig ist, dass entfernte Betrachter und Benutzer keinen AR-Zugang auf interaktive Szenen in der Welt mehr haben können. Lediglich sogenannte Screenshots (Bildschirmfotos) der AR- Szene können betrachtet, aber nicht mehr verändert werden.
Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung anzugeben, das Nutzern erlaubt, mittels Augmented Reality von anderen Nutzern erstellte AR-Bild-Szenen interaktiv zu betrachten und dabei eine hohe Genauigkeit und Nutzerfreundlichkeit zu gewährleisten.
Zusammenfassung der Erfindung
In einem ersten Aspekt der Erfindung wird ein Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung bereitgestellt, das die folgenden Schritte aufweist: Bereitstellen wenigstens eines virtuellen Objekts, das eine globale Position und Orientierung in Bezug auf ein geographisch globales Koordinatensystem besitzt, zusammen mit ersten Posedaten, die einen Rückschluss auf die globale Position und Orientierung des virtuellen Objekts zulassen, auf einer Datenbank eines Servers, Aufnahme wenigstens eines Bildes einer realen Umgebung mittels eines mobilen Gerätes und Bereitstel- len von zweiten Posedaten, die einen Rückschluss darüber zulassen, an welcher Position und mit welcher Orientierung in Bezug auf das geographisch globale Koordinatensystem das Bild aufgenommen wurde, Darstellen des Bildes auf einem Display des mobilen Geräts, Zugriff auf das virtuelle Objekt auf der Datenbank des Servers und Positionieren des virtuellen Objekts in dem auf dem Display dargestellten Bild auf Grundlage der ersten und zweiten Posedaten, Manipulieren des virtuellen Objekts oder Hinzufügen eines weiteren virtuellen Objekts durch entsprechendes Positionieren in dem auf dem Display dargestellten Bild, und Bereitstellen des manipulierten virtuellen Objekts zusammen mit modifizierten ersten Posedaten entsprechend der Positionierung in dem Bild bzw. des weiteren virtuellen Objekts zusammen mit dritten Posedaten entsprechend der Positionierung in dem Bild auf der Datenbank des Servers, wobei die modifizierten ersten Posedaten und dritten Posedaten jeweils einen Rückschluss auf die globale Position und Orientierung des manipulierten bzw. weiteren virtuellen Objekts zulassen. Hierbei kann das Bild beispielsweise zusammen mit den zweiten Posedaten auf dem Server bereitgestellt werden.
In einem weiteren Aspekt der Erfindung wird ein Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung bereitgestellt, das die folgenden Schritte aufweist: Bereitstellen wenigstens eines virtuellen Objekts, das eine globale Position und Orientierung in Bezug auf ein geographisch globales Koordinatensystem besitzt, zusammen mit ersten Posedaten, die einen Rückschluss auf die globale Position und Orientierung des virtuellen Objekts zulassen, auf einer Datenbank eines Servers, Bereitstellen wenigstens einer Ansicht auf eine reale Umgebung mittels einer Datenbrille (beispielsweise einer sogenannten Optical-See-Through-Datenbrille oder einer Video-See-Through- Datenbrille) zusammen mit zweiten Posedaten, die einen Rückschluss darüber zulassen, an welcher Position und mit welcher Orientierung in Bezug auf das geographisch globale Koordinatensystem die Datenbrille positioniert ist, Zugriff auf das virtuelle Objekt auf der Datenbank des Servers und Positionieren des virtuellen Objekts in der Ansicht auf Grundlage der ersten und zweiten Posedaten, Manipulieren des virtuellen Objekts oder Hinzufügen eines weiteren virtuellen Objekts durch entsprechendes Positionieren in der Ansicht, und Bereitstellen des manipulierten virtuellen Objekts zusammen mit modifizierten ersten Posedaten entsprechend der Positionierung in der Ansicht bzw. des weiteren virtuellen Objekts zusammen mit dritten Posedaten entsprechend der Positionierung in der Ansicht auf der Datenbank des Servers, wobei die modifizierten ersten Posedaten und dritten Posedaten jeweils einen Rückschluss auf die globale Position und Orientierung des manipulierten bzw. weiteren virtuellen Objekts zulassen. In einer Ausführungsforrn der Erfindung weist das mobile Gerät bzw. die Datenbrille eine Einrichtung zur Generierung der zweiten Posedaten auf oder ist mit einer solchen verbunden.
Beispielsweise können die Posedaten jeweilige dreidimensionale Werte bezüglich Position und Orientierung beinhalten. Außerdem kann eine Orientierung des Bildes der realen Umgebung unabhängig von der Erdoberfläche definiert sein.
Gemäß einer weiteren Ausführungsform der Erfindung wird in einem Speicherort auf dem Server festgehalten, in welchem Bild von mehreren Bildern einer realen Umgebung bzw. in welcher Ansicht von mehreren Ansichten einer realen Umgebung welches virtuelle Objekt von mehreren virtuellen Objekten mit Posedaten versehen wurde.
Wird die Position des mobilen Geräts beispielsweise mittels eines GPS-Sensors (GPS: Global Positioning System) bestimmt, kann es aufgrund einer Sensor-Ungenauigkeit bzw. einer GPS-immanenten Ungenauigkeit vorkommen, dass die Position des mobilen Geräts nur relativ ungenau bestimmt wird. Dies kann zur Folge haben, dass eingeblendete virtuelle Objekte im Bild relativ zum geographisch globalen Koordinatensystem ebenfalls mit einer entsprechenden Ungenauigkeit positioniert werden, so dass in anderen Bildern oder Ansichten mit verschiedenem Blickwinkel die dort eingeblendeten virtuellen Objekte entsprechend deplatziert in Bezug zur Realität dargestellt werden.
Um die Genauigkeit der Darstellung von virtuellen Objekten bzw. deren Position in dem Bild der realen Umgebung zu verbessern, beinhaltet eine Ausführungsform des erfindungsgemäßen Verfahrens die folgenden Schritte: Bereitstellen einer Referenz-Datenbank mit Referenz-Ansichten auf eine reale Umgebung zusammen mit Posedaten, die einen Rückschluss darüber zulassen, an welcher Position und mit welcher Orientierung in Bezug auf das geographisch globale Koordinatensystem die jeweilige Referenz- Ansicht von einer Kamera aufgenommen wurde, Vergleich wenigstens eines realen Objekts, das in dem Bild abgebildet ist, mit wenigstens einem Teil eines realen Objekts, das in wenigstens einer der Referenz-Ansichten enthalten ist, und Abgleich der zweiten Posedaten des Bildes mit den Posedaten der wenigstens einen Referenz-Ansicht, und Modifizieren wenigstens eines Teils der zweiten Posedaten auf Grundlage wenigstens eines Teils der Posedaten der wenigstens einen Referenz- Ansicht infolge des Abgleichs. In einer weiteren Ausführungsform wird außerdem wenigstens ein Teil der ersten Posedaten des im Bild positionierten virtuellen Objekts infolge eines Abgleichs der zweiten Posedaten des Bildes mit den Posedaten der wenigstens einen Referenz-Ansicht modifiziert.
Weitere Ausgestaltungen und Ausführungsformen der Erfindung sind in den Unteransprüchen angegeben.
Aspekte und Ausführungsformen der Erfindung werden im Folgenden anhand der dargestellten Figuren näher erläutert.
Kurze Beschreibung der Zeichnungen
Fig. 1A zeigt in einer Draufsicht eine schematische Anordnung einer ersten beispielhaften Ausführungsform eines Systemaufbaus, der verwendbar ist, um ein Verfahren gemäß der Erfindung durchzuführen,
Fig. 1B zeigt in einer Draufsicht eine schematische Anordnung einer zweiten beispielhaften Ausführungsform eines Systemaufbaus, der verwendbar ist, um ein Verfahren gemäß der Erfindung durchzuführen,
Fig. 1 C zeigt in einer Schemaanordnung eine mögliche Datenstruktur einer Ausführungs- form eines Systems, um ein Verfahren gemäß der Erfindung durchzuführen,
Fig. 2 zeigt in einer schematischen Darstellung eine Übersicht von beteiligten Koordinatensystemen gemäß einer Ausführungsform der Erfindung,
Fig. 3 zeigt einen beispielhaften Ablauf eines Verfahrens gemäß einer Ausfuhrungsform der Erfindung,
Fig. 4 zeigt einen beispielhaften Ablauf eines Verfahrens gemäß einer weiteren Ausführungsform der Erfindung, insbesondere ergänzt durch optionale Maßnahmen zur Verbesserung der Bildpose,
Fig. 5 zeigt eine beispielhafte Szene einer realen Umgebung mit darin platzierten virtuellen Objekten, ohne dass eine Posenverbesserung stattgefunden hat, Fig. 6 zeigt eine beispielhafte Szene einer realen Umgebung mit darin platzierten virtuellen Objekten, nachdem eine Posenverbesserung stattgefunden hat.
Fig. 7A zeigt eine beispielhafte Kartenansicht der realen Welt, auf der ein virtuelles Objekt platziert wurde,
Fig. 7B zeigt eine beispielhafte perspektivische Ansicht der gleichen Szene wie in Fig.
7A.
Beschreibung von Ausführungsformen der Erfindung
Fig. 1 A zeigt in einer Draufsicht eine schematische Anordnung einer ersten beispielhaften Ausführungsform eines Systemaufbaus, der verwendbar ist, um ein Verfahren gemäß der Erfindung durchzuführen.
In der Darstellung der Fig. 1 A trägt der Benutzer als Darstellungsvorrichtung ein kopfgetragenes Bildschirmsystem („Head Mounted Display", kurz HMD) mit einem Display 21, welches Teil des Systemaufbaus 20 ist. Zumindest Teile des Systemaufbaus 20 können als ein mobiles Gerät angesehen werden, das ein oder mehrere miteinander verbundene Komponenten umfasst, wie im Folgenden noch näher erläutert. Die Komponenten können dabei durch Drahtverbindungen und/oder auch drahtlos miteinander verbunden sein. Auch ist es möglich, dass einzelne der Komponenten, wie etwa der Rechner 23, als stationäre Komponenten ausgebildet sind, sich also mit dem Benutzer nicht mitbewegen. Das Display 21 kann beispielsweise eine allgemein bekannte Datenbrille in Form einer sogenannten Optical-See-Through-Datenbrille („Optical-See-Through-Display", bei dem die Realität durch die Halbdurchlässigkeit der Datenbrille sichtbar ist) oder in Form einer sogenannten Video-See-Through-Datenbrille („Video-See-Through-Display", bei dem die Realität auf einem vor dem Kopf des Benutzers getragenen Bildschirm wiedergeben wird) sein, in die virtuelle Information, bereitgestellt von einem Rechner 23, in bekannter Weise eingeblendet werden kann. Der Benutzer sieht dann in einer durch das Display 21 bzw. auf dem Display 21 sichtbaren Ansicht 70 auf die reale Welt innerhalb eines Blickwinkels oder Öffnungswinkels 26 Objekte der realen Umgebung 40, die mit eingeblendeter virtueller Information 10 (wie etwa sogenannten Point-of-Interest-Objekten, kurz POI-Objekten, die mit der realen Welt in Beziehung stehen) angereichert werden kann. Das virtuelle Objekt 10 wird derart eingeblendet, dass der Benutzer dieses in einer Weise wahrnimmt, als ob es in der realen Umgebung 40 an einer ungefähren Position angeordnet wäre. Diese Position des virtuellen Objekts 10 kann auch als globale Position in Bezug auf ein geographisch globales Koordinatensystem, wie einem Erd-Koordinatensystem, gespeichert werden, wie im Folgenden noch näher erläutert. Auf diese Art bildet der Systemaufbau 20 eine erste Ausführungsform eines allgemein bekannten Augmented Reality Systems, welches für das Verfahren der vorliegenden Erfindung verwendet werden kann.
An dem Display 21 können zusätzliche Sensoren 24, wie Rotationssensoren, GPS- Sensoren oder Ultraschallsensoren, und eine Kamera 22 für optisches Tracking und die Aufnahme von einem oder mehreren Bildern (sogenannte„Views") befestigt sein. Das Display 21 kann halbdurchlässig sein oder durch ein Kamerabild der Kamera 22 mit Bildern der Realität gespeist werden. Ist das Display 21 halbdurchlässig, ist eine Kalibrierung zwischen Auge 25 des Benutzers und Display 21 nötig. Dieses als Seethrough- Kalibrierung bezeichnete Verfahren ist dem Fachmann bekannt. Diese Kalibrierung kann vorteilhafterweise gleichzeitig die Pose von Auge zur Kamera 22 bestimmen. Die Kamera kann zur Aufnahme von Views eingesetzt werden, um sie für andere Nutzer zugänglich zu machen, wie im Weiteren noch näher erläutert. Als Pose wird allgemein die Position und Orientierung eines Objekts oder Gegenstands in Relation auf ein Bezugskoordinatensystem verstanden. Zur Posenbestimmung sind im Stand der Technik verschiedene Verfahren dokumentiert und dem Fachmann bekannt. Vorteilhafterweise am Display 21 oder irgendwo am Körper des Benutzers, oder auch in dem Rechner 23 können Positionssensoren verbaut sein, wie zum Beispiel GPS-Sensoren (GPS: Global Positioning System), um eine geographische Ortsbestimmung des Systemaufbaus 20 (z.B. nach Längen- und Breitengrad und Höhe) in der realen Welt 40 zu ermöglichen. Grundsätzlich ist die Posenbestimmung eines jeden Teils des Systemaufbaus geeignet, sofern Rückschlüsse über die Position und Blickrichtung des Benutzers getroffen werden können.
In der Darstellung der Fig. 1B ist ein weiterer beispielhafter Systemaufbau 30 gezeigt, der z.B. in modernen Mobiltelefonen (sog.„Smartphones") häufig zu finden ist. Eine Darstellungsvorrichtung 31 (z.B. in Form eines Bildschirms bzw. Displays), Rechner 33, Sensoren 34 und Kamera 32 bilden eine Systemeinheit, die etwa in einem gemeinsamen Gehäuse eines Mobiltelefons untergebracht ist. Zumindest Teile des Systemaufbaus 30 können als ein mobiles Gerät angesehen werden, das ein oder mehrere der genannten Komponenten umfasst. Die Komponenten können dabei in einem gemeinsamen Gehäuse oder (teilweise) verteilt angeordnet sein, und durch Drahtverbindungen und/oder auch drahtlos miteinander verbunden sein.
Die Ansicht auf die reale Umgebung 40 wird durch das Display 31 bereitgestellt, welches ein Bild 50 der realen Umgebung 40 darstellt, das von der Kamera 32 in einem Blickwin- kel und mit einem Öffnungswinkel 36 aufgenommen wurde. Für Augmented Reality Anwendungen kann das Kamerabild 50 auf dem Display 31 dargestellt und mit zusätzlichen virtuellen Informationen 10 (wie etwa POI-Objekten, die mit der realen Welt in Beziehung stehen), die eine bestimmte Position in Bezug zur Realität besitzen, angereichert werden, ähnlich wie in Bezug auf Figur 1A beschrieben. Auf diese Art bildet der Systemaufbau 30 eine weitere Ausführungsform eines allgemein bekannten Augmented Realtity (AR) Systems.
Es wird eine ähnliche Kalibrierung eingesetzt, wie in Bezug auf Figur 1 A beschrieben, um die Pose von virtuellen Objekten 10 bezüglich der Kamera 32 zu bestimmen, um sie für andere Nutzer zugänglich zu machen, wie im Weiteren noch näher erläutert. Zur Posenbestimmung sind im Stand der Technik verschiedene Verfahren dokumentiert und dem Fachmann bekannt. Vorteilhafterweise am mobilen Gerät (insbesondere, wenn der Systemaufbau 30 als eine Einheit ausgebildet ist) oder irgendwo am Körper des Benutzers, oder auch in dem Rechner 33 können Positionssensoren verbaut sein, wie zum Beispiel GPS-Sensoren 34, um eine geographische Ortsbestimmung des Systemaufbaus 30 (z.B. nach Längen- und Breitengrad) in der realen Welt 40 zu ermöglichen. In bestimmten Fällen ist für die Posenbestimmung keine Kamera nötig, wenn zum Beispiel die Pose nur über GPS und Orientierungssensoren bestimmt wird. Grundsätzlich ist die Posenbestimmung eines jeden Teils des Systemaufbaus geeignet, sofern Rückschlüsse über die Position und Blickrichtung des Benutzers getroffen werden können.
Grundsätzlich kann die Erfindung für alle Ausprägungen von AR sinnvoll eingesetzt werden. Zum Beispiel spielt es keine Rolle, ob die Darstellung im sogenannten Optical-See- Through- Verfahren mit halbdurchlässigem HMD oder im Video-See-Through- Verfahren mit Kamera und Bildschirm durchgeführt wird.
Grundsätzlich kann die Erfindung auch im Zusammenhang mit stereoskopischen Displays eingesetzt werden, wobei vorteilhafterweise beim Video-See-Through-Ansatz zwei Kameras jeweils einen Videostrom für ein Auge aufnehmen. Auf jeden Fall können die virtuellen Informationen für jedes Auge individuell gerechnet werden und als Paar auch auf dem Server gespeichert werden.
Die Abarbeitung der unterschiedlichen, im folgenden beschriebenen Teilschritte kann grundsätzlich auf verschiedene Rechner über Netzwerk verteilt werden. Es ist also eine Client/Server- Architektur oder eine eher Client-basierte Lösung möglich. Des weiteren kann der Client oder der Server auch mehrere Recheneinheiten, wie mehrere CPUs oder spezialisierte Hardwarekomponenten, wie allgemein bekannte FPGAs, ASICs, GPUs oder DSPs beinhalten.
Um AR realisieren zu können, wird die Pose (Position und Orientierung) der Kamera im Raum benötigt. Dies kann auf unterschiedlichste Weise realisiert werden. Man kann z.B. nur mit GPS und einem Orientierungssensor mit elektronischem Kompass (wie zum Beispiel in manchen moderneren Mobiltelefonen verbaut) die Pose in der realen Welt ermitteln. Allerdings ist die Unsicherheit der Pose dann sehr hoch. Daher können auch andere Verfahren, wie zum Beispiel optische Initialisierung und Tracking oder die Kombination optischer Verfahren mit GPS und Orientierungssensoren eingesetzt werden. Es kann auch WLAN-Ortung eingesetzt werden, oder RFIDs (Marker oder Chips für„Radio Frequency Identification") oder optische Marker können die Lokalisierung unterstützen.. Auch hier ist, wie schon erwähnt, ein Client-Server-basierter Ansatz möglich. Insbesondere kann der Client ortsspezifische Informationen, die er für optisches Tracking benötigt, vom Server anfordern. Dies können zum Beispiel Referenzbilder der Umgebung mit Poseinformationen und Tiefeninformationen sein. Eine optionale Ausführungsform dieser Erfindung sieht dabei insbesondere die Möglichkeit vor, auf dem Server die Pose eines Views zu verbessern und auf Basis dieser Informationen die Pose der platzierten virtuellen Objekte in der Welt ebenfalls zu verbessern.
Desweiteren kann die Erfindung auch in Fahrzeugen, Luftfahrzeugen oder Schiffen unter Benutzung eines Monitors, HMDs oder eines Head-Up-Displays verbaut oder mitgeführt werden.
Grundsätzlich können virtuelle Objekte, wie etwa ein interessanter Punkt („Point of Inte- rest", POI), für unterschiedlichste Informationsformen erstellt werden. Es folgen Beispiele: Es können Bilder von Orten mit GPS-Inforrnationen dargestellt werden. Es können Informationen aus dem Internet automatisch extrahiert werden. Dies können zum Beispiel Firmen- oder Restaurant-Websites mit Adressen sein oder Seiten, auf denen Bewertungen vorgenommen werden. Es können Nutzer Texte, Bilder oder 3D-Objekte an bestimmten Orten hinterlegen und anderen zugänglich machen. Es können Informationsseiten, wie zum Beispiel Wikipedia, nach Geoinformationen durchsucht werden und die Seiten als POI zugänglich gemacht werden. Es können POIs automatisch aus dem Such- oder Browse- Verhalten der Nutzer mobiler Geräte erzeugt werden. Es können andere interessante Orte, wie U-Bahnen oder Busstationen, Krankenhäuser, Polizeistationen, Ärzte, Immobilienanzeigen oder Fitnessclubs dargestellt werden. Solche Informationen können in dem Bild 50 oder in der Ansicht 70 (vgl. Figuren 1A und 1B) als virtuelle Objekte 10 an bestimmten Orten in der realen Welt 40 von einem Benutzer hinterlegt und mit der dem jeweiligen Ort entsprechenden Position anderen zugänglich gemacht werden. Die anderen Nutzer können dann in einer ihnen zugänglichen Ansicht oder einem Bild der realen Welt diese ihrer Position entsprechend eingeblendete Information dann beispielsweise manipulieren oder auch weitere virtuelle Objekte hinzufügen. Dies wird im Folgenden näher erläutert.
Zunächst zeigt Figur IC Datenstrukturen, die gemäß einer Ausführungsform der Erfindung verwendet werden und im Folgenden kurz erläutert werden.
Ein View ist eine festgehaltene Sicht auf die reale Welt, insbesondere eine Ansicht (vgl. Ansicht 70 gemäß Figur 1A), ein Bild (vgl. Bild 50 gemäß Figur 1B) oder eine Bildfolge (ein Film). Mit dem View (Bild 50/Ansicht 70) sind Kameraparameter verknüpft, die optische Eigenschaften der Kamera 22, 32 beschreiben (zum Beispiel bezüglich Öffnungswinkel, Hauptpunktverschiebung oder Bildverzerrung) und dem Bild 50 bzw. der Ansicht 70 zuzuordnen sind. Ebenso sind dem View auch Posedaten zugeordnet, welche die Position und Orientierung des Bildes 50 bzw. der Ansicht 70 in Bezug zur Erde beschreiben. Der Erde wird hierzu ein geographisch globales Koordinatensystem zugeordnet, um eine geographisch globale Ortsbestimmung in der realen Welt, z.B. nach Längen- und Breitengrad, zu ermöglichen.
Ein platziertes Modell ist ein grafisch darstellbares virtuelles Objekt (vgl. Objekt 10 gemäß Figuren 1A, 1B), welches ebenfalls Posedaten hat. Das platzierte Modell kann beispielsweise eine Instanz eines Modells aus einer Modelldatenbank darstellen, also auf diese verweisen. Es ist vorteilhafterweise hinterlegt, mittels welchen Views 50 bzw. 70 das jeweilige virtuelle Modell 10 in der Welt 40 platziert wurde, falls dies der Fall ist. Dies kann zur Verbesserung der Posedaten verwendet werden, wie im Folgenden noch näher erläutert. Eine Szene stellt eine Verknüpfung aus einem View 50, 70 mit 0 bis n platzierten Modellen 10 dar und enthält optional ein Erstellungsdatum. Alle oder ein Teil der Datenstrukturen können noch mit Metadaten verknüpft sein. Zum Beispiel können der Ersteller, das Datum, die Häufigkeit der Bilder/ Ansichten, Ratings und Schlüsselworte abgelegt werden.
Im Folgenden werden Aspekte der Erfindung in Bezug auf die Ausführungsform gemäß Figur 1B näher erläutert, in welcher ein Bild 50 von einer Kamera 32 aufgenommen wird und von dem Benutzer auf dem Display 31 zusammen mit eingeblendeten virtuellen Ob- jekten 10 betrachtet wird. Die diesbezüglichen Ausführungen sind vom Fachmann jedoch ohne weiteres analog auch auf die Ausführungsform mit HMD gemäß Figur 1 A übertragbar.
Figur 2 gibt einen Überblick über beteiligte Koordinatensysteme gemäß einer Ausführungsform der Erfindung. Einerseits wird ein Erd-Koordinatensystem 200 verwendet (welches in dieser Ausführungsform das geographisch globale Koordinatensystem repräsentiert), das ein Verbindungselement darstellt. Die Erdoberfläche ist in Figur 2 mit Bezugszeichen 201 angedeutet. Zur Definition eines geographisch globalen Koordinatensystems, wie einem Erd-Koordinatensystem 200, sind verschiedene Standards definiert, die dem Fachmann bekannt sind (z.B. WGS84; NMA - National Imagery and Mapping Agency: Department of Defense World Geodetic System 1984; Technical Report, TR 8350.2, 3rd edition; January 2000). Des weiteren stellt ein Kamerakoordinatensystem eine Verbindung zwischen dargestellten virtuellen Objekten 10 und Bildern 50 dar. Über dem Fachmann bekannte Umrechnungen kann aus den Posen von Kamera 32 und Bild 50 im Erd- Koordinatensystem 200 die Pose P50_10 („Pose Modell im Bild") eines Objekts 10 relativ zum Bild 50 berechnet werden. Die globale Bildpose PW50 („Pose Bild in der Welt") wird z.B. über GPS- und/oder Orientierungssensoren berechnet. Aus den Posen PW50 und P50_10 kann dann die globale Pose PW10 des virtuellen Objekts 10 („Pose Modell in der Welt") berechnet werden,
Γη analoger Weise kann aus der Pose eines zweiten Bildes 60 mit einer anderen globalen Pose PW60 im Erd-Koordinatensystem 200 die Pose P60_10 („Pose Modell im Bild 2") des Objekts 10 relativ zum Bild 60 berechnet werden. Die globale Bildpose PW60 („Pose Bild 2 in der Welt") wird z.B. auch über GPS- und/oder Orientierungssensoren berechnet.
Auf diese Art ist es möglich, ein virtuelles Objekt 10 in einem ersten Bild (Bild 50) zu platzieren und in einem zweiten Bild (Bild 60) an einer in der Nähe liegenden Position auf der Erde, jedoch aus einem anderen Blickwinkel, zu betrachten. Das Objekt 10 wird beispielsweise von einem ersten Benutzer in dem ersten Bild 50 mit der Pose PW10 platziert. Wenn dann ein zweiter Benutzer mit seinem mobilen Gerät eine Ansicht gemäß Bild 60 generiert, wird ihm automatisch das vom ersten Benutzer platzierte virtuelle Objekt 10 in dem Bild 60 an der gleichen globalen Position entsprechend der Pose PW10 eingeblendet, vorausgesetzt, das Bild 60 erfasst in einem Öffnungswinkel oder Blickwinkel einen Teil der realen Welt, der die globale Position der Pose P Wl 0 beinhaltet. Im Folgenden werden Aspekte und Ausführungsformen der Erfindung anhand der Ablaufdiagramme der Figuren 3 und 4 in Verbindung mit den übrigen Figuren näher erläutert.
Figur 3 zeigt einen beispielhaften Ablauf eines Verfahrens gemäß einer Ausführungsform der Erfindung. In einem ersten Schritt 1.0 werden auf die Welt bezogene Daten erzeugt. Diese können zum Beispiel aus dem Internet extrahiert werden oder von einem ersten Benutzer mittels einer Kamera (Fig, 1B) oder einem HMD mit Kamera (Fig. 1A) erzeugt werden. Dazu nimmt dieser in Schritt 1.0 einen View (Bild oder Ansicht) auf, zu dem Position und Orientierung (Pose) in der Welt ermittelt werden (Schritt 2.0). Dies kann zum Beispiel mittels GPS und Kompass geschehen. Optional kann auch noch eine Information bezüglich Unsicherheit der generierten Daten aufgenommen werden.
Ist der View (das Bild bzw. die Ansicht) vorhanden, kann der Benutzer vorteilhafterweise direkt auf seinem mobilen Gerät ein virtuelles Objekt im View platzieren (Schritt 3.0). Vorteilhafterweise wird das Objekt im Kamerakoordinatensystem platziert und manipuliert. In diesem Fall wird in Schritt 4.0 aus der globalen Pose des Views und der Pose des Objekts im Kamerakoordinatensystem die globale Pose des virtuellen Objekts (oder der Objekte) in der Welt (z.B. in Bezug auf Koordinatensystem 200) berechnet. Dies kann auf einem Client 1 geschehen oder auf einem Server 2 erfolgen.
Ein Client ist dabei ein Programm auf einem Gerät, das Kontakt zu einem anderen Programm auf einem Server aufnimmt, um dessen Dienstleistung zu nutzen. Das zugrundeliegende Client-Server-Modell ermöglicht, Aufgaben auf verschiedene Rechner in einem Rechnernetz zu verteilen. Ein Client löst eine oder mehrere bestimmte Aufgaben nicht selbst, sondern lässt sie vom Server erledigen bzw. erhält entsprechende Daten vom Server, der dafür einen Dienst anbietet. Grundsätzlich können die meisten Schritte dieses Systems entweder auf dem Server oder dem Client durchgeführt werden. Bei rechenstarken Clients ist es zum Beispiel von Vorteil, diese möglichst viele Berechnungen durchführen zu lassen und so den Server zu entlasten.
In Schritt 5.0 werden diese Informationen aus Schritt 4.0 dann in einer Datenbank 3 des Servers 2 abgespeichert, vorteilhafterweise wie in Bezug auf Figur IC beschrieben. In Schritt 6.0 nimmt nun derselbe Nutzer oder ein weiterer Nutzer auf einem weiteren Client ein Bild der realen Umgebung auf (oder betrachtet einen bestimmten Teil der Umgebung mittels eines HMDs) und lädt dann Daten, die in Schritt 5.0 gespeichert wurden, bezüglich eines Ortes der betrachteten realen Umgebung vom Server 2, Das Laden und die Anzeige ortsbezogener Informationen mittels Augmented Reality und einer vorteilhafterweise mit Geospatial-Funktionalitäten ausgestatteten Datenbank ist dem Fachmann bekannt. Der Nutzer sieht nun die zuvor gespeicherten Informationen aus dem zuvor gespeicherten oder einem neuen Blickwinkel und ist in der Lage Veränderungen (Manipulationen von bestehenden und/oder Hinzufügen von neuen virtuellen Informationen) vorzunehmen, welche wiederum auf dem Server 2 gespeichert werden. Dabei muss der Nutzer nicht unbedingt vor Ort sein, sondern kann den zuvor, vorteilhafterweise abgespeicherten View als Fenster auf die Realität nutzen und dabei in seinem Büro zum Beispiel an einem Internet-fähigen Client sitzen.
Im Beispiel der Figuren 1 und 2 wird also auf diese Art von einem Nutzer ein virtuelles Objekt 10 auf der Datenbank 3 des Servers 2 bereitgestellt oder generiert, das eine globale Position und Orientierung in Bezug auf ein geographisch globales Koordinatensystem 200 besitzt, zusammen mit den Posedaten (Pose PW10), die einen Rückschluss auf die globale Position und Orientierung des virtuellen Objekts 10 zulassen. Dieser Nutzer oder ein anderer Nutzer nimmt wenigstens ein Bild 50 einer realen Umgebung 40 mittels eines mobilen Gerätes 30 auf zusammen mit den Posedaten (Pose PW50), die einen Rückschluss darüber zulassen, an welcher Position und mit welcher Orientierung in Bezug auf das geographisch globale Koordinatensystem 200 das Bild 50 aufgenommen wurde. Das Bild 50 wird dabei auf dem Display 31 des mobilen Geräts dargestellt. Es erfolgt ein Zugriff auf das virtuelle Objekt 10 auf der Datenbank 3 des Servers, und das virtuelle Objekt 10 wird in dem auf dem Display dargestellten Bild 50 auf Grundlage der Posedaten der Posen PW10 und PW50 positioniert. Das virtuelle Objekt 10 kann dann durch entsprechendes Positionieren (vgl. Pfeil MP in Fig. 1B) in dem auf dem Display dargestellten Bild 50 manipuliert werden (z.B. verschoben werden), oder es kann ein weiteres virtuelles Objekt 11 durch entsprechendes Positionieren in dem auf dem Display dargestellten Bild 50 hinzugefügt werden.
Ein solches manipuliertes virtuelles Objekt 10 zusammen mit den modifizierten Posedaten (modifizierte Pose PW10) entsprechend der Positionierung in dem Bild 50 bzw. ein solches weiteres virtuelles Objekt 11 zusammen mit seinen Posedaten entsprechend der Positionierung in dem Bild 50 wird dann auf der Datenbank 3 des Servers 2 gespeichert, wobei die modifizierten Posedaten PW10 und die Posedaten des neuen virtuellen Objekts 11 jeweils einen Rückschluss auf die globale Position und Orientierung des manipulierten Objekts 10 bzw. weiteren virtuellen Objekts 11 in Bezug zum Koordinatensystem 200 zulassen. In bestimmten Fällen kann es vorkommen, dass der Server nicht erreichbar ist und damit zum Beispiel das Speichern der neuen Szene nicht möglich ist. In diesem Falle kann vorteilhafterweise das System reagieren und die Informationen Zwischenspeichern, bis der Server wieder erreichbar ist. In einer Ausführungsform werden im Falle des Ausfalls der Netzwerkverbindung zum Server die auf dem Server zu speichernden Daten auf dem mobilen Gerät zwischengespeichert und zum Server übertragen, sobald die Netzwerkverbindung wieder zur Verfügung steht.
In einer weiteren Ausführungsform kann der Benutzer eine Sammlung von Szenen in einem Bereich einer realen Umgebung (z.B. in seinem Umgebungsbereich oder Nahbereich) abrufen, die sortiert nach Nähe in einer Liste, oder auf einer Karte oder mittels Augmented Reality ihm zur Auswahl bereitgestellt werden.
In einer weiteren Ausführungsform besitzt das Bild oder die virtuelle Information eindeutig identifizierende Eigenschaften (zum Beispiel eindeutige Namen), und ein Bild oder eine virtuelle Information, welche bereits auf einem Client oder auf dem mobilen Gerät vorhanden sind (dies können virtuelle Modelldaten oder Views sein), werden nicht mehr vom Server heruntergeladen, sondern werden aus einem lokalen Datenspeicher geladen .
Figur 4 zeigt einen beispielhaften Ablauf eines Verfahrens gemäß einer weiteren Ausführungsform der Erfindung, insbesondere ergänzt durch optionale Maßnahmen zur Verbesserung der Bildpose. Das Verfahren weist die Schritte 1.0 bis 6.0 der Figur 3 auf. Zusätzlich wird gemäß Figur 4 in den Schritten 7.0 und 8.0 die Pose des Views (Bild oder Ansicht) nachträglich, zum Beispiel mittels optischer Verfahren, verbessert und durch die vorteilhafte Speicherung der Information, mittels welches Views welche virtuellen Informationen platziert wurden, die Pose der Informationen ebenfalls korrigiert. Alternativ kann die Pose des Views sofort nach der Erstellung des Views schon auf dem Client 1 verbessert werden, indem optische Tracking-Referenzinformationen zu diesem View oder einem View mit einer ähnlichen Pose dem Client 1 von einer Referenzdatenbank 4 des Servers 2 zur Verfügung gestellt werden. Alternativ kann die Genauigkeit des Views aber auch vor dem Berechnen der Pose der platzierten virtuellen Objekte (Schritt 4.0) erfolgen und direkt richtig abgespeichert werden. Vorteil des nachträglichen Verfahrens ist allerdings, dass nicht schon für alle Orte Referenzdaten verfügbar sein müssen und eine Korrektur so auch für solche Views durchgeführt werden kann, sobald Referenzdaten zur Verfügung stehen.
Natürlich können auch andere Views als Referenzdaten genutzt werden, insbesondere wenn viele Views für einen Ort vorhanden sind. Dies als Bundle-Adjustment bezeichnete Verfahren ist dem Fachmann bekannt, wie zum Beispiel in der Veröffentlichung von MA- NOLIS I. A. LOURAKIS and ANTONIS A. ARGYROS : SBA: A Software Package for Generic Sparse Bündle Adjustment. In ACM Transactions on Mathematical Software, Vol. 36, No. 1 , Article 2, Publication date: March 2009 beschrieben. In diesem Falle wären die 3D-Position der Punktkorrespondenzen, die Pose der Views und vorteilhafterweise auch die intrinsichen Kameraparameter optimierbar. Damit bietet der erfindungsgemäße Ansatz auch die Möglichkeit, ein eigenes Modell der Welt zu kreieren, um diese Daten allgemein zu nutzen. Zum Beispiel für Verdeckungsmodelle zur Unterstützung der Tiefenwahrnehmung oder für optisches Tracking in Echtzeit.
Figur 5 zeigt eine beispielhafte Szene einer realen Umgebung mit darin platzierten virtuellen Objekten, ohne dass bisher eine Posenverbesserung stattgefunden hat. Figur 5 zeigt dabei eine mögliche Situation vor einer Korrektur. Ein virtuelles Objekt 10 (zum Beispiel eine Bewertung eines Restaurants) wird aus einer Sicht eines mobilen Geräts 30 in einem auf dem Display 31 des Geräts 30 dargestellten Bild relativ zu realen Objekten 41 , 42 (die z.B. das Gebäude des Restaurants repräsentieren) platziert. Auf Basis von fehlerhaften oder ungenauen GPS-Daten werden sowohl Bild als auch das Objekt 10 mit fehlerhaften Weltkoordinaten entsprechend fehlerhaft oder ungenau bestimmter Kamera-Posedaten P30-2 abgespeichert. Dies führt zu einem entsprechend fehlerhaft abgespeichertem Objekt 10-2. Dies ist in diesem aufgenommenen Bild an sich kein Problem. Der Fehler tritt aber zu Tage, wenn das virtuelle Objekt 10 zum Beispiel auf einer Karte oder in einem anderen Bild betrachtet wird.
Wenn das Bild zusammen mit wahren bzw. genauen Kamera-Posedaten P30-1 generiert worden wäre, würde das virtuelle Objekt 10 an einer Position im Bild dargestellt werden, wie anhand der Darstellung des virtuellen Objekts 10-1 gezeigt und vom generierenden Nutzer auch so betrachtet. Das fehlerhaft gespeicherte virtuelle Objekt 10-2 wird jedoch in einem anderen Bild als von der wahren Position des virtuellen Objekts 10 verschoben dargestellt, und zwar entsprechend um ein Maß, um das die fehlerhafte Kamerapose P30-2 von der wahren Kamerapose P30-1 verschoben ist. Die Darstellung des fehlerhaft abgespeicherten virtuellen Objekts 10-2 im Bild des mobilen Geräts 30 entspricht also nicht der wahren Positionierung durch den generierenden Nutzer in einem vorherigen Bild.
Um die Genauigkeit der Darstellung von virtuellen Objekten bzw. deren Position in dem Bild der realen Umgebung zu verbessern, beinhaltet eine Ausführungsform des erfindungsgemäßen Verfahren die folgenden Schritte: Es wird eine Referenzdatenbank 4 mit Referenz-Ansichten auf eine reale Umgebung zusammen mit Posedaten bereitgestellt, die einen Rückschluss darüber zulassen, an welcher Position und mit welcher Orientierung in Bezug auf das geographisch globale Koordinatensystem 200 die jeweilige Referenz- Ansicht von einer Kamera aufgenommen wurde. Es wird dann wenigstens ein Teil eines realen Objekts, das in dem Bild abgebildet ist, mit wenigstens einem Teil eines realen Objekts, das in wenigstens einer der Referenz- Ansichten enthalten ist, verglichen und ein Abgleich der Posedaten des Bildes mit den Posedaten der wenigstens einen Referenz-Ansicht vorgenommen. Danach wird wenigstens ein Teil der Posedaten des Bildes auf Grundlage wenigstens eines Teils der Posedaten der betreffenden Referenz-Ansicht infolge des Abgleiche modifiziert.
In einer weiteren Ausführungsform wird außerdem wenigstens ein Teil der Posedaten des im Bild positionierten virtuellen Objekts infolge eines Abgleichs der Posedaten des Bildes mit den Posedaten der betreffenden Referenz-Ansicht modifiziert.
Figur 6 zeigt eine beispielhafte Szene einer realen Umgebung ähnlich der aus Figur 5 mit einem darin platzierten virtuellen Objekt 10-1 nachdem eine Posenverbesserung stattgefunden hat. Figur 6 zeigt einerseits den Mechanismus der Wiedererkennung von Bildmerkmalen im Bild und andererseits die entsprechende Korrektur von Bild-Pose und Objektpose. Insbesondere werden Bildmerkmale 43 (z.B. markante Merkmale der realen Objekte 41 und 42) mit entsprechenden Merkmalen von Referenzbildern einer Referenzdatenbank 4 verglichen und abgeglichen (bekannt als„Matching" von Bildmerkmalen).
Nun würde das virtuelle Objekt 10 auch in anderen Bildern (die eine richtige Pose haben) korrekt dargestellt, bzw. es könnte eine Platzierungskorrektur erfolgen. Mit der Platzierungskorrektur ist gemeint, dass der Benutzer beim perspektivischen Platzieren eines virtuellen Objekts durchaus die Höhe des platzierten Objektes über dem Boden falsch einschätzen könnte. Mittels zweier Bilder, die sich in Teilen der aufgenommenen Realität überschneiden, kann es möglich sein, eine Bodenebene zu extrahieren und die platzierten Objekte so umzuplatzieren, dass sie auf dem Boden stehen, aber in dem Bild, in dem sie ursprünglich platziert wurden, fast an der gleichen Stelle zu bleiben scheinen.
Figur 7A zeigt eine beispielhafte Kartenansicht der realen Welt, auf der ein virtuelles Objekt platziert wurde, während Figur 7B eine beispielhafte perspektivische Ansicht der gleichen Szene wie in Fig. 7A zeigt. Figur 7A und 7B dienen insbesondere der Erläuterung der benutzerunterstützten Feststellung der Kamerapose. Zum Beispiel ist es im Falle des Einsatzes von mobilen Geräten, welche nicht mit Kompass ausgestattet sind, nützlich, eine grobe Schätzung der Blickrichtung zu erhalten. Dazu kann der Benutzer, wie in Figur 7B dargestellt, wie gewohnt ein Bild 50 aufnehmen und ein virtuelles Objekt 10 in Relation zu einem realen Objekt 41 platzieren. Im Anschluss kann der Benutzer aufgefordert werden, die Position eines platzierten Objekts 10 auf einer Karte 80 oder einer virtuellen Ansicht 80 der Welt erneut anzuzeigen, wie in Figur 7A dargestellt. Aus der Verbindung zwischen GPS-Position des Bildes 50 und Objektposition des Objekts 10 auf der Karte 80 kann dann die Orientierung (Heading) des Bildes 50 in der Welt berechnet oder korrigiert werden. Besitzt das mobile Gerät auch kein GPS, kann das Verfahren auch mit zwei virtuellen Objekten oder einem virtuellem Objekt und der Angabe des Standortes durchgeführt werden. Des Weiteren kann dem Benutzer auch, wie beispielhaft in Figur 7A gezeigt, das„Field of View" (vgl. Indikator 81 des Bildausschnitts) des letzten Bildes angezeigt werden, und der Benutzer kann für eine Korrektur das„Field of View" auf der Karte interaktiv bewegen und neu orientieren. Dabei kann der Öffnungswinkel des„Field of Views" entsprechend der intrinsischen Kameraparameter gezeigt werden.
Gemäß dieser Ausführungsform beinhaltet das Verfahren insbesondere die folgenden Schritte: Bereitstellen einer Kartenansicht (vgl. Kartenansicht 80) auf dem Display des mobilen Geräts und Bereitstellen einer Auswahlmöglichkeit für den Benutzer zum Auswählen einer Blickrichtung bei der Aufnahme des Bildes. Auf diese Weise ist es möglich, die Blickrichtung, in die der Benutzer gerade mit der Kamera blickt, auf der Karte auszuwählen.
Gemäß einer weiteren Ausführungsform der Erfindung weist das Verfahren noch die folgenden Schritte auf: Platzieren des virtuellen Objekts in dem Bild der realen Umgebung und in einer auf dem Display des mobilen Geräts bereitgestellten Kartenansicht, sowie Ermitteln einer Orientierung des Bildes aus einer ermittelten Position des Bildes und der Position des virtuellen Objekts in der bereitgestellten Kartenansicht. So ist es ermöglicht, dass virtuelle Objekte auf der Karte und außerdem in dem perspektivischen Bild der realen Umgebung platziert werden, wobei daraus Rückschlüsse auf eine Orientierung des Benutzers gewonnen werden können.
Um es auch anderen Nutzern zu ermöglichen, ein mit virtuellen Objekten angereichertes Bild einer realen Umgebung aus der Ferne (beispielsweise auf einem Client, der mit dem Server z.B. über das Internet kommuniziert) zu betrachten und zu bearbeiten, ist in einer Ausführungsform der Erfindung vorgesehen, dass das Verfahren folgende weitere Schritte aufweist: Es wird wenigstens ein Bild der realen Umgebung zusammen mit seinen Posedaten auf der Datenbank des Servers bereitgestellt. Danach erfolgt ein Zugriff auf das Bild der realen Umgebung auf dem Server und ein Übertragen auf ein Client-Gerät zur Darstellung des Bildes an dem Client-Gerät. Der Nutzer manipuliert das virtuelle Objekt oder fügt ein weiteres virtuelles Objekt durch entsprechendes Positionieren in dem an dem Client-Gerät dargestellten Bild der realen Umgebung hinzu. Das manipulierte virtuelle Objekt wird zusammen mit seinen modifizierten Posedaten entsprechend der Positionierung in dem an dem Client-Gerät dargestellten Bild, bzw. das weitere virtuelle Objekt wird zusammen mit seinen (neuen) Posedaten entsprechend der Positionierung in dem an dem Client-Gerät dargestellten Bild auf der Datenbank des Servers bereitgestellt, wobei die modifizierten Posedaten bzw. neuen Posedaten jeweils einen Rückschluss auf die globale Position und Orientierung des manipulierten bzw. weiteren virtuellen Objekts in dem an dem Client- Gerät dargestellten Bild zulassen. Damit kann in einem„Fernzugriff' an einem Client- Gerät die AR-Szene in dem Bild modifiziert bzw. mit weiterer virtueller Information angereichert werden und auf den Server zurückgeschrieben werden. Aufgrund der neu abgespeicherten globalen Position der manipulierten bzw. neuen virtuellen Information kann diese wiederum von anderen Benutzern über einen Zugriff auf den Server abgerufen werden und in einer der globalen Position entsprechenden AR-Szenerie betrachtet werden.
Darauf aufbauend weist das Verfahren in einer weiteren Ausführungsform noch die folgenden Schritte auf: Zugriff auf das Bild der realen Umgebung auf dem Server und Übertragen auf ein zweites Client-Gerät zur Ansicht des Bildes an dem zweiten Client-Gerät und Zugriff auf auf dem Server bereitgestellte virtuelle Objekte, wobei in der Ansicht des Bildes auf dem zweiten Client-Gerät diejenigen virtuellen Objekte dargestellt werden, deren globale Position innerhalb der realen Umgebung liegt, die in der Ansicht des Bildes an dem zweiten Client-Gerät dargestellt ist. Auf diese Art kann ein Betrachter an einem weiteren Client-Gerät eine Szenerie betrachten, in der diejenigen virtuellen Objekte dargestellt werden, die andere Benutzer bereits früher an einer entsprechenden Stelle positioniert haben (deren globale Position also innerhalb der realen Umgebung liegt, die in der Ansicht des Bildes an diesem Client-Gerät dargestellt ist). Mit anderen Worten sieht der Betrachter aus seinem Betrachtungswinkel diejenigen virtuellen Objekte, die andere Benutzer zuvor bereits in dem sichtbaren Blickfeld platziert haben.

Claims

Patentansprüche
1. Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung, mit folgenden Schritten:
- Bereitstellen wenigstens eines virtuellen Objekts (10), das eine globale Position und Orientierung in Bezug auf ein geographisch globales Koordinatensystem (200) besitzt, zu- sammen mit ersten Posedaten (PW10), die einen Rückschluss auf die globale Position und Orientierung des virtuellen Objekts zulassen, auf einer Datenbank (3) eines Servers (2),
- Aufnahme wenigstens eines Bildes (50) einer realen Umgebung (40) mittels eines mobilen Gerätes (30) und Bereitstellen von zweiten Posedaten (PW50), die einen Rückschluss darüber zulassen, an welcher Position und mit welcher Orientierung in Bezug auf das geo- graphisch globale Koordinatensystem (200) das Bild aufgenommen wurde,
- Darstellen des Bildes (50) auf einem Display (31) des mobilen Geräts,
- Zugriff auf das virtuelle Objekt (10) auf der Datenbank (3) des Servers (2) und Positionieren des virtuellen Objekts (10) in dem auf dem Display dargestellten Bild (50) auf Grundlage der ersten und zweiten Posedaten (PW10, PW50),
- Manipulieren des virtuellen Objekts (10) oder Hinzufügen eines weiteren virtuellen Objekts (11) durch entsprechendes Positionieren in dem auf dem Display dargestellten Bild (50),
- Bereitstellen des manipulierten virtuellen Objekts (10) zusammen mit modifizierten ersten Posedaten (PW10) entsprechend der Positionierung in dem Bild (50) bzw. des weiteren virtuellen Objekts (11) zusammen mit dritten Posedaten entsprechend der Positionierung in dem Bild (50) auf der Datenbank (3) des Servers (2), wobei die modifizierten ersten Posedaten und dritten Posedaten jeweils einen Rückschluss auf die globale Position und Orientierung des manipulierten bzw. weiteren virtuellen Objekts zulassen.
2. Verfahren nach Anspruch 1, wobei das Bild (50) zusammen mit den zweiten Posedaten (PW50) auf dem Server bereitgestellt wird.
3. Verfahren zum Darstellen von virtueller Information in einer Ansicht einer realen Umgebung, mit folgenden Schritten:
- Bereitstellen wenigstens eines virtuellen Objekts (10), das eine globale Position und Orientierung in Bezug auf ein geographisch globales Koordinatensystem (200) besitzt, zu- sammen mit ersten Posedaten (PW10), die einen Rückschluss auf die globale Position und Orientierung des virtuellen Objekts zulassen, auf einer Datenbank (3) eines Servers (2),
- Bereitstellen wenigstens einer Ansicht (70) auf eine reale Umgebung (40) mittels einer Datenbrille (20) zusammen mit zweiten Posedaten, die einen Rückschluss darüber zulas- sen, an welcher Position und mit welcher Orientierung in Bezug auf das geographisch globale Koordinatensystem (200) die Datenbrille positioniert ist,
- Zugriff auf das virtuelle Objekt (10) auf der Datenbank (3) des Servers (2) und Positionieren des virtuellen Objekts (10) in der Ansicht auf Grundlage der ersten und zweiten Posedaten,
- Manipulieren des virtuellen Objekts (10) oder Hinzufügen eines weiteren virtuellen Objekts (11) durch entsprechendes Positionieren in der Ansicht (70),
- Bereitstellen des manipulierten virtuellen Objekts (10) zusammen mit modifizierten ersten Posedaten (PW10) entsprechend der Positionierung in der Ansicht (70) bzw. des weiteren virtuellen Objekts (11) zusammen mit dritten Posedaten entsprechend der Positionie- rang in der Ansicht (70) auf der Datenbank (3) des Servers (2), wobei die modifizierten ersten Posedaten und dritten Posedaten jeweils einen Rückschluss auf die globale Position und Orientierung des manipulierten bzw. weiteren virtuellen Objekts zulassen.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei
das mobile Gerät (30) bzw. die Datenbrille (20) eine Einrichtung (24, 34) zur Generierung der zweiten Posedaten aufweist oder mit einer solchen verbunden ist.
5. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Posedaten (PW10, PW50) jeweilige dreidimensionale Werte bezüglich Position und Orientierung beinhalten.
6. Verfahren nach einem der vorhergehenden Ansprüche, bei dem eine Orientierung des Bildes (50) der realen Umgebung unabhängig von der Erdoberfläche (201) definiert ist.
7. Verfahren nach einem der vorhergehenden Ansprüche, bei dem in einem Speicherort auf dem Server (2) festgehalten wird, in welchem Bild (50) von mehreren Bildern einer realen
Umgebung bzw. in welcher Ansicht (70) von mehreren Ansichten einer realen Umgebung welches virtuelle Objekt (10) von mehreren virtuellen Objekten mit Posedaten versehen wurde.
8. Verfahren nach einem der vorhergehenden Ansprüche, mit folgenden weiteren Schritten: - Bereitstellen einer Referenz-Datenbank (4) mit Referenz-Ansichten auf eine reale Umgebung zusammen mit Posedaten, die einen Rückschluss darüber zulassen, an welcher Position und mit welcher Orientierung in Bezug auf das geographisch globale Koordinatensystem (200) die jeweilige Referenz- Ansicht von einer Kamera aufgenommen wurde,
- Vergleich wenigstens eines realen Objekts (41, 42), das in dem Bild abgebildet ist, mit wenigstens einem Teil eines realen Objekts, das in wenigstens einer der Referenz- Ansichten enthalten ist, und Abgleich der zweiten Posedaten (PW50) des Bildes mit den Posedaten der wenigstens einen Referenz-Ansicht,
- Modifizieren wenigstens eines Teils der zweiten Posedaten (PW50) auf Grundlage wenigstens eines Teils der Posedaten der wenigstens einen Referenz-Ansicht infolge des Abgleiche.
9. Verfahren nach Anspruch 8, wobei
außerdem wenigstens ein Teil der ersten Posedaten (PW10) des im Bild positionierten virtuellen Objekts (10) infolge eines Abgleichs der zweiten Posedaten (PW50) des Bildes mit den Posedaten der wenigstens einen Referenz-Ansicht modifiziert wird.
10. Verfahren nach einem der vorhergehenden Ansprüche, mit folgenden weiteren Schritten:
- Bereitstellen des wenigstens einen Bildes (50) der realen Umgebung zusammen mit den zweiten Posedaten (PW50) auf der Datenbank (3) des Servers,
- Zugriff auf das Bild (50) der realen Umgebung auf dem Server (2) und Übertragen auf ein Client-Gerät (1) zur Darstellung des Bildes an dem Client-Gerät,
- Manipulieren des virtuellen Objekts (10) oder Hinzufügen eines weiteren virtuellen Objekts (11) durch entsprechendes Positionieren in dem an dem Client-Gerät dargestellten Bild der realen Umgebung,
- Bereitstellen des manipulierten virtuellen Objekts (10) zusammen mit modifizierten ersten Posedaten (PW10) entsprechend der Positionierung in dem an dem Client-Gerät dargestellten Bild bzw. des weiteren virtuellen Objekts (11) zusammen mit dritten Posedaten entsprechend der Positionierung in dem an dem Client-Gerät dargestellten Bild auf der Datenbank (3) des Servers, wobei die modifizierten ersten Posedaten und dritten Posedaten jeweils einen Rückschluss auf die globale Position und Orientierung des manipulierten bzw. weiteren virtuellen Objekts in dem an dem Client-Gerät dargestellten Bild zulassen.
11. Verfahren nach Anspruch 10, weiterhin aufweisend die Schritte:
- Zugriff auf das Bild (50) der realen Umgebung auf dem Server (2) und Übertragen auf ein zweites Client-Gerät zur Ansicht des Bildes an dem zweiten Client-Gerät und - Zugriff auf auf dem Server bereitgestellte virtuelle Objekte (10), wobei in der Ansicht des Bildes auf dem zweiten Client-Gerät diejenigen virtuellen Objekte dargestellt werden, deren globale Position innerhalb der realen Umgebung liegt, die in der Ansicht des Bildes an dem zweiten Client-Gerät dargestellt ist.
12. Verfahren nach einem der vorhergehenden Ansprüche, mit folgenden weiteren Schritten:
- Bereitstellen einer Kartenansicht (80) auf dem Display des mobilen Geräts und
- Bereitstellen einer Auswahlmöglichkeit für den Benutzer zum Auswählen einer Blickrichtung bei der Aufnahme des wenigstens einen Bildes der realen Umgebung.
13. Verfahren nach einem der vorhergehenden Ansprüche, mit folgenden Schritten:
- Platzieren wenigstens eines virtuellen Objekts (10) in dem Bild der realen Umgebung und in einer auf dem Display des mobilen Geräts bereitgestellten Kartenansicht (80),
- Ermitteln einer Orientierung des Bildes (50) der realen Umgebung aus einer ermittelten Position des Bildes und der Position des wenigstens eines virtuellen Objekts (10) in der bereitgestellten Kartenansicht (80).
14. Verfahren nach einem der vorhergehenden Ansprüche, bei dem im Falle des Ausfalls der Netzwerkverbindung zum Server (3) die auf dem Server zu speichernden Daten auf dem mobilen Gerät zwischengespeichert werden und zum Server übertragen werden, sobald die Netzwerkverbindung wieder zur Verfügung steht.
15. Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Benutzer eine Sammlung von Szenen in einem Bereich einer realen Umgebung abrufen kann, die sortiert nach Nähe in einer Liste, oder auf einer Karte oder mittels Augmented Reality ihm zur Auswahl bereitgestellt werden.
16. Verfahren nach einem der vorhergehenden Ansprüche, bei dem das Bild oder die virtuelle Information eindeutig identifizierende Eigenschaften besitzen, und ein Bild oder eine virtuelle Information, welche bereits auf einem Client oder auf dem mobilen Gerät vorhanden sind , nicht mehr vom Server heruntergeladen werden, sondern aus einem lokalen Datenspeicher geladen werden.
PCT/EP2010/065207 2009-10-12 2010-10-11 Verfahren zur darstellung von virtueller information in einer ansicht einer realen umgebung WO2011045276A1 (de)

Priority Applications (10)

Application Number Priority Date Filing Date Title
EP18185218.7A EP3410405A1 (de) 2009-10-12 2010-10-11 Verfahren zur darstellung von virtueller information in einer ansicht einer realen umgebung
CN201080045773.1A CN102598064B (zh) 2009-10-12 2010-10-11 用于在真实环境的视图中描绘虚拟信息的方法
EP10768226A EP2489013A1 (de) 2009-10-12 2010-10-11 Verfahren zur darstellung von virtueller information in einer ansicht einer realen umgebung
US13/501,697 US9001154B2 (en) 2009-10-12 2010-10-11 Method for representing virtual information in a view of a real environment
JP2012532629A JP5582548B2 (ja) 2009-10-12 2010-10-11 実環境視像における仮想情報の表示方法
US14/616,213 US10074215B2 (en) 2009-10-12 2015-02-06 Method for representing virtual information in a view of a real environment
US16/126,785 US10453267B2 (en) 2009-10-12 2018-09-10 Method for representing virtual information in a view of a real environment
US16/658,851 US11410391B2 (en) 2009-10-12 2019-10-21 Method for representing virtual information in a view of a real environment
US17/818,255 US11880951B2 (en) 2009-10-12 2022-08-08 Method for representing virtual information in a view of a real environment
US18/538,656 US20240127561A1 (en) 2009-10-12 2023-12-13 Method for Representing Virtual Information in a View of a Real Environment

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009049073A DE102009049073A1 (de) 2009-10-12 2009-10-12 Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
DE102009049073.6 2009-10-12

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/501,697 A-371-Of-International US9001154B2 (en) 2009-10-12 2010-10-11 Method for representing virtual information in a view of a real environment
US14/616,213 Continuation US10074215B2 (en) 2009-10-12 2015-02-06 Method for representing virtual information in a view of a real environment

Publications (1)

Publication Number Publication Date
WO2011045276A1 true WO2011045276A1 (de) 2011-04-21

Family

ID=43365284

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2010/065207 WO2011045276A1 (de) 2009-10-12 2010-10-11 Verfahren zur darstellung von virtueller information in einer ansicht einer realen umgebung

Country Status (6)

Country Link
US (6) US9001154B2 (de)
EP (2) EP2489013A1 (de)
JP (1) JP5582548B2 (de)
CN (2) CN102598064B (de)
DE (1) DE102009049073A1 (de)
WO (1) WO2011045276A1 (de)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013028908A1 (en) * 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
US8605141B2 (en) 2010-02-24 2013-12-10 Nant Holdings Ip, Llc Augmented reality panorama supporting visually impaired individuals
US20140247280A1 (en) * 2013-03-01 2014-09-04 Apple Inc. Federated mobile device positioning
US20140247279A1 (en) * 2013-03-01 2014-09-04 Apple Inc. Registration between actual mobile device position and environmental model
US9038127B2 (en) 2011-08-09 2015-05-19 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
US9153195B2 (en) 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
CN109636464A (zh) * 2018-12-11 2019-04-16 深圳市房多多网络科技有限公司 基于ar技术的智能找房方法及系统
US10444021B2 (en) 2016-08-04 2019-10-15 Reification Inc. Methods for simultaneous localization and mapping (SLAM) and related apparatus and systems

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009049073A1 (de) 2009-10-12 2011-04-21 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
JP5377537B2 (ja) * 2011-02-10 2013-12-25 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
JP5741160B2 (ja) * 2011-04-08 2015-07-01 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US8884950B1 (en) * 2011-07-29 2014-11-11 Google Inc. Pose data via user interaction
KR101314679B1 (ko) * 2011-09-14 2013-10-07 엘지전자 주식회사 이동 단말기 및 그 동작 제어 방법
US9536251B2 (en) * 2011-11-15 2017-01-03 Excalibur Ip, Llc Providing advertisements in an augmented reality environment
DE102011122206A1 (de) 2011-12-23 2013-06-27 Volkswagen Aktiengesellschaft Verfahren zum Betrieb eines Augmented-Reality-Systems
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US11266919B2 (en) 2012-06-29 2022-03-08 Monkeymedia, Inc. Head-mounted display for navigating virtual and augmented reality
US20140002580A1 (en) * 2012-06-29 2014-01-02 Monkeymedia, Inc. Portable proprioceptive peripatetic polylinear video player
FR3000241A1 (fr) * 2012-12-21 2014-06-27 France Telecom Procede de gestion d’un systeme d’information geographique adapte pour etre utilise avec au moins un dispositif de pointage, avec creation d’objets numeriques purement virtuels.
EP2936443A1 (de) 2012-12-21 2015-10-28 Metaio GmbH Verfahren zur darstellung von virtuellen information in einer realen umgebung
FR3000242A1 (fr) 2012-12-21 2014-06-27 France Telecom Procede de gestion d’un systeme d’information geographique adapte pour etre utilise avec au moins un dispositif de pointage, avec creation d’associations entre objets numeriques.
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
JP5991423B2 (ja) 2013-02-21 2016-09-14 富士通株式会社 表示装置、表示方法、表示プログラムおよび位置設定システム
US20140240226A1 (en) * 2013-02-27 2014-08-28 Robert Bosch Gmbh User Interface Apparatus
US20140267776A1 (en) * 2013-03-15 2014-09-18 MJK Holding. LLC Tracking system using image recognition
US9245387B2 (en) * 2013-04-12 2016-01-26 Microsoft Technology Licensing, Llc Holographic snap grid
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9710130B2 (en) * 2013-06-12 2017-07-18 Microsoft Technology Licensing, Llc User focus controlled directional user input
FR3007860A1 (fr) * 2013-06-27 2015-01-02 France Telecom Procede d'interaction entre un objet numerique, representatif d'au moins un objet reel ou virtuel localise dans un perimetre geographique distant, et un dispositif de pointage local
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
DE102013021137B4 (de) 2013-12-13 2022-01-27 Audi Ag Verfahren zum Betreiben einer Datenschnittstelle eines Kraftwagens und Kraftwagen
KR20150101686A (ko) * 2014-02-27 2015-09-04 삼성전자주식회사 방송수신장치 및 그 제어방법
EP3123449B1 (de) 2014-03-25 2020-01-01 Apple Inc. Verfahren und system zur darstellung eines virtuellen objekts in einer ansicht einer realen umgebung
EP3132379B1 (de) * 2014-04-15 2018-11-07 Huntington Ingalls Incorporated System und verfahren für erweiterte realitätsanzeige von dynamischen umgebungsinformationen
US9864909B2 (en) 2014-04-25 2018-01-09 Huntington Ingalls Incorporated System and method for using augmented reality display in surface treatment procedures
KR101583286B1 (ko) * 2014-05-16 2016-01-07 네이버 주식회사 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
US10600245B1 (en) * 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
CN106415671B (zh) * 2014-06-03 2020-05-19 苹果公司 用于呈现与真实对象相关的数字信息的方法和系统
CN105338479B (zh) * 2014-06-09 2020-03-10 阿里巴巴集团控股有限公司 基于场所的信息处理方法及装置
WO2015191346A1 (en) 2014-06-09 2015-12-17 Huntington Ingalls Incorporated System and method for augmented reality display of electrical system information
US10915754B2 (en) * 2014-06-09 2021-02-09 Huntington Ingalls Incorporated System and method for use of augmented reality in outfitting a dynamic structural space
US10504294B2 (en) * 2014-06-09 2019-12-10 Huntington Ingalls Incorporated System and method for augmented reality discrepancy determination and reporting
DE102014008852A1 (de) 2014-06-14 2015-12-17 Audi Ag Kalibrierung eines Kraftfahrzeug-Eyetrackingsystems
DE102014009608A1 (de) * 2014-06-27 2015-12-31 Audi Ag Betrieb einer AR-Brille im Kraftfahrzeug
US9898867B2 (en) * 2014-07-16 2018-02-20 Huntington Ingalls Incorporated System and method for augmented reality display of hoisting and rigging information
US9727583B2 (en) * 2014-07-25 2017-08-08 Rovio Entertainment Ltd Interactive physical display
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
US10353532B1 (en) 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
DE102015201290A1 (de) * 2015-01-26 2016-07-28 Prüftechnik Dieter Busch AG Positionieren zweier Körper mittels eines Ausrichtsystems mit einer Datenbrille
US11062383B2 (en) 2016-05-10 2021-07-13 Lowe's Companies, Inc. Systems and methods for displaying a simulated room and portions thereof
US10083534B2 (en) 2016-07-01 2018-09-25 Phillips 66 Company Process for rendering and presenting underground utilities for efficient identification, marking and inspection
US10594786B1 (en) * 2017-01-10 2020-03-17 Lucasfilm Entertainment Company Ltd. Multi-device interaction with an immersive environment
US10812936B2 (en) * 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
US10620084B2 (en) 2017-02-22 2020-04-14 Middle Chart, LLC System for hierarchical actions based upon monitored building conditions
US10776529B2 (en) 2017-02-22 2020-09-15 Middle Chart, LLC Method and apparatus for enhanced automated wireless orienteering
US10824774B2 (en) 2019-01-17 2020-11-03 Middle Chart, LLC Methods and apparatus for healthcare facility optimization
US11900023B2 (en) 2017-02-22 2024-02-13 Middle Chart, LLC Agent supportable device for pointing towards an item of interest
US11194938B2 (en) 2020-01-28 2021-12-07 Middle Chart, LLC Methods and apparatus for persistent location based digital content
US10762251B2 (en) 2017-02-22 2020-09-01 Middle Chart, LLC System for conducting a service call with orienteering
US10831945B2 (en) 2017-02-22 2020-11-10 Middle Chart, LLC Apparatus for operation of connected infrastructure
US10902160B2 (en) 2017-02-22 2021-01-26 Middle Chart, LLC Cold storage environmental control and product tracking
US10949579B2 (en) 2017-02-22 2021-03-16 Middle Chart, LLC Method and apparatus for enhanced position and orientation determination
US11900021B2 (en) 2017-02-22 2024-02-13 Middle Chart, LLC Provision of digital content via a wearable eye covering
US11625510B2 (en) 2017-02-22 2023-04-11 Middle Chart, LLC Method and apparatus for presentation of digital content
US10872179B2 (en) 2017-02-22 2020-12-22 Middle Chart, LLC Method and apparatus for automated site augmentation
US10984146B2 (en) 2017-02-22 2021-04-20 Middle Chart, LLC Tracking safety conditions of an area
US10740503B1 (en) 2019-01-17 2020-08-11 Middle Chart, LLC Spatial self-verifying array of nodes
US10740502B2 (en) 2017-02-22 2020-08-11 Middle Chart, LLC Method and apparatus for position based query with augmented reality headgear
US11468209B2 (en) 2017-02-22 2022-10-11 Middle Chart, LLC Method and apparatus for display of digital content associated with a location in a wireless communications area
US11481527B2 (en) 2017-02-22 2022-10-25 Middle Chart, LLC Apparatus for displaying information about an item of equipment in a direction of interest
US10628617B1 (en) 2017-02-22 2020-04-21 Middle Chart, LLC Method and apparatus for wireless determination of position and orientation of a smart device
US11475177B2 (en) 2017-02-22 2022-10-18 Middle Chart, LLC Method and apparatus for improved position and orientation based information display
DE102017207894A1 (de) * 2017-05-10 2018-11-15 Krones Aktiengesellschaft Verfahren und Computersystem zur Planung einer Anlage im Bereich der Getränkeverarbeitungsindustrie
CN108932051B (zh) * 2017-05-24 2022-12-16 腾讯科技（北京）有限公司 增强现实图像处理方法、装置及存储介质
FR3067842B1 (fr) * 2017-06-19 2020-09-25 SOCIéTé BIC Procede d'application de texture en realite augmentee, systeme et kits correspondants
US11127212B1 (en) 2017-08-24 2021-09-21 Sean Asher Wilens Method of projecting virtual reality imagery for augmenting real world objects and surfaces
WO2019055679A1 (en) 2017-09-13 2019-03-21 Lahood Edward Rashid METHOD, APPARATUS, AND COMPUTER-READABLE MEDIA FOR DISPLAYING INCREASED REALITY INFORMATION
US10102659B1 (en) * 2017-09-18 2018-10-16 Nicholas T. Hariton Systems and methods for utilizing a device as a marker for augmented reality content
US10105601B1 (en) 2017-10-27 2018-10-23 Nicholas T. Hariton Systems and methods for rendering a virtual content object in an augmented reality environment
WO2019102245A1 (en) * 2017-11-21 2019-05-31 Volvo Truck Corporation Assistance method for assisting performance of a task on a product, comprising displaying a highlighting image highlighting a monitored part of the product
US11087527B2 (en) * 2017-12-01 2021-08-10 Koninklijke Kpn N.V. Selecting an omnidirectional image for display
EP3495936A1 (de) * 2017-12-07 2019-06-12 Siemens Aktiengesellschaft Sichere brillenartige vorrichtung und verfahren
US10192115B1 (en) 2017-12-13 2019-01-29 Lowe's Companies, Inc. Virtualizing objects using object models and object position data
WO2019130827A1 (ja) * 2017-12-25 2019-07-04 キヤノン株式会社 画像処理装置およびその制御方法
JP7058585B2 (ja) * 2017-12-25 2022-04-22 キヤノン株式会社 画像処理装置およびその制御方法
CN108245172B (zh) * 2018-01-10 2020-04-07 山东大学 一种不受位置约束的人体姿态识别方法
US10989816B2 (en) 2018-02-09 2021-04-27 Matterport, Inc. Selecting exterior images of a structure based on capture positions of indoor images associated with the structure
US10636188B2 (en) 2018-02-09 2020-04-28 Nicholas T. Hariton Systems and methods for utilizing a living entity as a marker for augmented reality content
CN108510525B (zh) * 2018-03-30 2019-03-12 百度在线网络技术（北京）有限公司 模板追踪方法、装置、增强现实系统及存储介质
CN110415293B (zh) * 2018-04-26 2023-05-23 腾讯科技（深圳）有限公司 交互处理方法、装置、系统和计算机设备
US10198871B1 (en) 2018-04-27 2019-02-05 Nicholas T. Hariton Systems and methods for generating and facilitating access to a personalized augmented rendering of a user
CN109126121B (zh) * 2018-06-01 2022-01-04 成都通甲优博科技有限责任公司 Ar终端互联方法、系统、装置及计算机可读存储介质
US20200090409A1 (en) * 2018-09-14 2020-03-19 Streem, Inc. Location persistent augmented reality object and annotation placement
CA3114093A1 (en) 2018-09-26 2020-04-02 Middle Chart, LLC Method and apparatus for augmented virtual models and orienteering
CN109814710B (zh) * 2018-12-27 2022-05-13 青岛小鸟看看科技有限公司 数据处理方法、装置及虚拟现实设备
KR102232045B1 (ko) 2019-01-08 2021-03-25 삼성전자주식회사 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체.
US11024096B2 (en) 2019-04-29 2021-06-01 The Board Of Trustees Of The Leland Stanford Junior University 3D-perceptually accurate manual alignment of virtual content with the real world with an augmented reality device
US10586396B1 (en) 2019-04-30 2020-03-10 Nicholas T. Hariton Systems, methods, and storage media for conveying virtual content in an augmented reality environment
DE102019213740A1 (de) 2019-09-10 2021-03-11 Audi Ag Verfahren zum Betreiben eines am Kopf tragbaren Anzeigegeräts in einem Kraftfahrzeug, Steuereinrichtung, und am Kopf tragbares Anzeigegerät
CN112561952A (zh) * 2019-09-26 2021-03-26 北京外号信息技术有限公司 用于为目标设置可呈现的虚拟对象的方法和系统
CN111179435B (zh) * 2019-12-24 2024-02-06 Oppo广东移动通信有限公司 增强现实处理方法及装置、系统、存储介质和电子设备
US11507714B2 (en) 2020-01-28 2022-11-22 Middle Chart, LLC Methods and apparatus for secure persistent location based digital content
CN111311758A (zh) * 2020-02-24 2020-06-19 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备
CN111710047A (zh) * 2020-06-05 2020-09-25 北京有竹居网络技术有限公司 一种信息展示方法、装置和电子设备
CN111707280A (zh) * 2020-06-24 2020-09-25 深圳市元征科技股份有限公司 2d地图软件ar导航方法、装置、设备及存储介质
CN112712559B (zh) * 2020-12-28 2021-11-30 长安大学 基于NED坐标系向量旋转的SfM点云校正方法
US20230040573A1 (en) * 2021-03-24 2023-02-09 AbdurRahman Bin Shahzad Bhatti Data systems for wearable augmented reality apparatus
DE102021117904A1 (de) 2021-07-12 2023-01-12 Valeo Comfort And Driving Assistance Videostreamen von einem Fahrzeug zu einem entfernten Virtuelle-Realität-System
DE102021131060B3 (de) 2021-11-26 2022-07-28 Sick Ag System und Verfahren mit einem System
DE102022100840A1 (de) * 2022-01-14 2023-07-20 Sick Ag Augmented-reality-system zum unterrichten eines anwenders einer applikation
US11720380B1 (en) 2022-05-18 2023-08-08 Bank Of America Corporation System and method for updating augmented reality navigation instructions based on a detected error
US11586286B1 (en) 2022-05-18 2023-02-21 Bank Of America Corporation System and method for navigating on an augmented reality display
DE102023001842A1 (de) 2023-05-08 2023-07-27 Mercedes-Benz Group AG Verfahren zur Darstellung von lmmobilienangeboten in einem Fahrzeug

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090179895A1 (en) 2008-01-15 2009-07-16 Google Inc. Three-Dimensional Annotations for Street View Data

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6324299B1 (en) * 1998-04-03 2001-11-27 Cognex Corporation Object image search using sub-models
US7689014B2 (en) * 2000-01-18 2010-03-30 Z-Kat Inc Apparatus and method for measuring anatomical objects using coordinated fluoroscopy
JP4236372B2 (ja) * 2000-09-25 2009-03-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 空間情報利用システムおよびサーバシステム
US20020120728A1 (en) * 2000-12-22 2002-08-29 Jason Braatz Method and apparatus for network-enablement of devices using device intelligence and network architecture
US6822648B2 (en) * 2001-04-17 2004-11-23 Information Decision Technologies, Llc Method for occlusion of movable objects and people in augmented reality scenes
US7203384B2 (en) 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
JP2004318823A (ja) * 2003-03-28 2004-11-11 Seiko Epson Corp 情報表示システム、情報処理装置、ポインティング装置および情報表示システムにおけるポインタマーク表示方法
GB2411229B (en) * 2003-07-22 2006-04-12 Hitachi Int Electric Inc Object tracking method and object tracing apparatus
US7110100B2 (en) 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
US7038846B2 (en) 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
US7268956B2 (en) 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
JP2005174021A (ja) * 2003-12-11 2005-06-30 Canon Inc 情報提示方法及び装置
US7088440B2 (en) 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
JP2005196678A (ja) * 2004-01-09 2005-07-21 Neucore Technol Inc テンプレートマッチング方法および対象画像領域抽出装置
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
US7161664B2 (en) 2004-04-13 2007-01-09 Electronic Scripting Products, Inc. Apparatus and method for optical determination of intermediate distances
US7113270B2 (en) 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus
US7374103B2 (en) * 2004-08-03 2008-05-20 Siemens Corporate Research, Inc. Object localization
US7756300B2 (en) * 2005-02-25 2010-07-13 The Invention Science Fund I, Llc Image mapping to provide visual geographic path
WO2007011306A2 (en) * 2005-07-20 2007-01-25 Bracco Imaging S.P.A. A method of and apparatus for mapping a virtual model of an object to the object
CA2621191C (en) * 2005-08-29 2012-12-18 Evryx Technologies, Inc. Interactivity via mobile image recognition
DE102005041628B4 (de) * 2005-09-01 2012-12-27 Siemens Ag Vorrichtung und Verfahren zur Verarbeitung von Daten unterschiedlicher Modalitäten
DE102005061952B4 (de) * 2005-12-23 2008-09-11 Metaio Gmbh Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System
JP4950550B2 (ja) * 2006-04-21 2012-06-13 株式会社東芝 パターン合わせずれ計測方法およびプログラム
US8026929B2 (en) * 2006-06-26 2011-09-27 University Of Southern California Seamlessly overlaying 2D images in 3D model
KR101005094B1 (ko) * 2006-09-06 2010-12-30 노키아 코포레이션 향상된 비디오 디스플레이 인터페이스를 가지는 이동 단말 기기, 동글 및 외부 디스플레이 기기
US8174568B2 (en) * 2006-12-01 2012-05-08 Sri International Unified framework for precise vision-aided navigation
FR2913128B1 (fr) * 2007-02-23 2009-08-28 Total Immersion Sa Procede et dispositif de determination de la pose d'un objet tridimensionnel dans une image et procede et dispositif de creation d'au moins une image cle
CN100493180C (zh) * 2007-04-17 2009-05-27 天栢宽带网络科技（上海）有限公司 一种基于数字机顶盒的虚拟现实游戏装置和方法
NO327279B1 (no) * 2007-05-22 2009-06-02 Metaio Gmbh Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning
CN100487568C (zh) * 2007-05-29 2009-05-13 南京航空航天大学 具有视线跟踪功能的增强现实自然交互式头盔
US8763058B2 (en) * 2007-06-28 2014-06-24 Apple Inc. Selective data downloading and presentation based on user interaction
EP2009868B1 (de) * 2007-06-29 2016-09-07 Alcatel Lucent Methode und System zur Verbesserung des Erscheinungsbilds einer Person oder von einem Medien-Endgerät kommenden RTP-Stroms
CN101127621A (zh) * 2007-09-26 2008-02-20 许立新 虚拟互联网跨媒体系统
US20090167760A1 (en) * 2007-12-27 2009-07-02 Nokia Corporation Triangle Mesh Based Image Descriptor
US20090231248A1 (en) * 2008-03-14 2009-09-17 Palm, Inc. Apparatus and methods for configuring the color of a mobile computing device cover
US8537174B2 (en) * 2009-10-06 2013-09-17 Palm, Inc. Techniques for adaptive brightness control of a display
DE102009049073A1 (de) * 2009-10-12 2011-04-21 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
WO2011060561A2 (en) * 2009-11-17 2011-05-26 Eth Zurich Transparent autostereoscopic image display apparatus and method
EP2339537B1 (de) * 2009-12-23 2016-02-24 Metaio GmbH Verfahren zur Bestimmung der Referenzmerkmale zur Verwendung in einem optischen Objektinitialisierungsverfolgungsverfahren und Objektinitialisierungsverfolgungsverfahren
US20110234631A1 (en) * 2010-03-25 2011-09-29 Bizmodeline Co., Ltd. Augmented reality systems
US9448758B2 (en) * 2012-07-18 2016-09-20 The Boeing Company Projecting airplane location specific maintenance history using optical reference points
EP2704055A1 (de) * 2012-08-31 2014-03-05 Layar B.V. Bestimmung des Raums zur Anzeige von Inhalt in vergrößerter Realität
EP2901413B1 (de) * 2012-09-28 2019-05-08 Apple Inc. Bildverarbeitungsverfahren für eine augmented-reality-anwendung
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty
US9443355B2 (en) * 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
US9514571B2 (en) * 2013-07-25 2016-12-06 Microsoft Technology Licensing, Llc Late stage reprojection
WO2017147178A1 (en) * 2016-02-22 2017-08-31 Google Inc. Separate time-warping for a scene and an object for display of virtual reality content
JP7156301B2 (ja) * 2017-10-31 2022-10-19 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
KR20230022269A (ko) * 2019-10-15 2023-02-14 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090179895A1 (en) 2008-01-15 2009-07-16 Google Inc. Three-Dimensional Annotations for Street View Data

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
"Technical Report, TR 8350.2", January 2000
"WGS84", NIMA - NATIONAL IMAGERY AND MAPPING AGENCY: DEPARTMENT OF DEFENSE WORLD GEODETIC SYSTEM, 1984
ENKIN RESEARCH TEAM: "Enkin", YOUTUBE VIDEO, 11 April 2008 (2008-04-11), XP002616415, Retrieved from the Internet <URL:http://www.youtube.com/watch?v=2V6MNp_tWG0> [retrieved on 20110112] *
GERHARD REITMAYR ET AL: "Going out: robust model-based tracking for outdoor augmented reality", MIXED AND AUGMENTED REALITY, 2006. ISMAR 2006. IEEE/ACM INTERNATIONAL SYMPOSIUM ON, IEEE, PI, 1 October 2006 (2006-10-01), pages 109 - 118, XP031014657, ISBN: 978-1-4244-0650-0 *
MA-NOLIS I.; A. LOURAKIS; ANTONIS A.: "ARGYROS : SBA: A Software Package for Generic Sparse Bundle Adjustment", ACM TRANSACTIONS ON MATHEMATICAL SOFTWARE, vol. 36, no. 1, March 2009 (2009-03-01)
S. FEINER; B. MACLNTYRE; T. H"OLLERER; A. WEBSTER: "touring machine:Prototyping 3d mobile augmented reality systems for exploringthe urban environment", PROCEEDINGS OF THE IST INTERNATIONAL SYMPOSIUMON WEARABLE COMPUTERS, 1997, pages 74 - 81, Retrieved from the Internet <URL:http://www.tonchidot.com/product-info.html. [5] layar.com>
THUONG N. HOANG ET AL: "Precise Manipulation at a Distance in Wearable Outdoor Augmented Reality", 11 October 2009 (2009-10-11), XP002616414, Retrieved from the Internet <URL:https://www.icg.tugraz.at/~reitmayr/lgo/> [retrieved on 20110112] *
YAN GUO ET AL: "APPLICATION OF AUGMENTED REALITY GIS IN ARCHITECTURE", THE INTERNATIONAL ARCHIVES OF THE PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES. VOL. XXXVII. PART B5. BEIJING 2008, 2008, XP002616413, Retrieved from the Internet <URL:http://www.isprs.org/proceedings/XXXVII/congress/5_pdf/58.pdf> [retrieved on 20110112] *
ZHIYING ZHOU ET AL: "Robust Pose Estimation for Outdoor Mixed Reality with Sensor Fusion", 19 July 2009, UNIVERSAL ACCESS IN HUMAN-COMPUTER INTERACTION. APPLICATIONS AND SERVICES, SPRINGER BERLIN HEIDELBERG, BERLIN, HEIDELBERG, PAGE(S) 281 - 289, ISBN: 978-3-642-02712-3, XP019122846 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8605141B2 (en) 2010-02-24 2013-12-10 Nant Holdings Ip, Llc Augmented reality panorama supporting visually impaired individuals
US11348480B2 (en) 2010-02-24 2022-05-31 Nant Holdings Ip, Llc Augmented reality panorama systems and methods
US9526658B2 (en) 2010-02-24 2016-12-27 Nant Holdings Ip, Llc Augmented reality panorama supporting visually impaired individuals
US10535279B2 (en) 2010-02-24 2020-01-14 Nant Holdings Ip, Llc Augmented reality panorama supporting visually impaired individuals
US9038127B2 (en) 2011-08-09 2015-05-19 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
US9767524B2 (en) 2011-08-09 2017-09-19 Microsoft Technology Licensing, Llc Interaction with virtual objects causing change of legal status
US10223832B2 (en) 2011-08-17 2019-03-05 Microsoft Technology Licensing, Llc Providing location occupancy analysis via a mixed reality device
US9153195B2 (en) 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US11127210B2 (en) 2011-08-24 2021-09-21 Microsoft Technology Licensing, Llc Touch and social cues as inputs into a computer
US9536350B2 (en) 2011-08-24 2017-01-03 Microsoft Technology Licensing, Llc Touch and social cues as inputs into a computer
WO2013028908A1 (en) * 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
US9928652B2 (en) 2013-03-01 2018-03-27 Apple Inc. Registration between actual mobile device position and environmental model
US10217290B2 (en) 2013-03-01 2019-02-26 Apple Inc. Registration between actual mobile device position and environmental model
US9679414B2 (en) * 2013-03-01 2017-06-13 Apple Inc. Federated mobile device positioning
US10909763B2 (en) 2013-03-01 2021-02-02 Apple Inc. Registration between actual mobile device position and environmental model
US20140247279A1 (en) * 2013-03-01 2014-09-04 Apple Inc. Registration between actual mobile device position and environmental model
US20140247280A1 (en) * 2013-03-01 2014-09-04 Apple Inc. Federated mobile device positioning
US11532136B2 (en) 2013-03-01 2022-12-20 Apple Inc. Registration between actual mobile device position and environmental model
US10444021B2 (en) 2016-08-04 2019-10-15 Reification Inc. Methods for simultaneous localization and mapping (SLAM) and related apparatus and systems
US11215465B2 (en) 2016-08-04 2022-01-04 Reification Inc. Methods for simultaneous localization and mapping (SLAM) and related apparatus and systems
CN109636464A (zh) * 2018-12-11 2019-04-16 深圳市房多多网络科技有限公司 基于ar技术的智能找房方法及系统

Also Published As

Publication number Publication date
DE102009049073A1 (de) 2011-04-21
EP3410405A1 (de) 2018-12-05
US11410391B2 (en) 2022-08-09
JP2013507677A (ja) 2013-03-04
US20240127561A1 (en) 2024-04-18
CN102598064A (zh) 2012-07-18
CN105046752B (zh) 2018-11-09
US20200160605A1 (en) 2020-05-21
JP5582548B2 (ja) 2014-09-03
US10453267B2 (en) 2019-10-22
US9001154B2 (en) 2015-04-07
CN102598064B (zh) 2015-08-26
EP2489013A1 (de) 2012-08-22
US20150154803A1 (en) 2015-06-04
CN105046752A (zh) 2015-11-11
US20190005734A1 (en) 2019-01-03
US11880951B2 (en) 2024-01-23
US20220375123A1 (en) 2022-11-24
US10074215B2 (en) 2018-09-11
US20120218263A1 (en) 2012-08-30

Similar Documents

Publication Publication Date Title
EP2489013A1 (de) Verfahren zur darstellung von virtueller information in einer ansicht einer realen umgebung
DE102009037835B4 (de) Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
DE102009049849B4 (de) Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
DE112012001022T5 (de) Ausrichtungssteuerung in einem am Kopf zu tragenden Gerät mit erweiterter Realität
DE202014010935U1 (de) Aktualisierungen von 3D-Modellen mithilfe von Crowd-Sourcing-basiertem Videomaterial
DE102010037169A1 (de) Uneingeschränktes räumlich ausgerichtetes Blickfeld-Darstellungsgerät
DE102010053895A1 (de) Umfeld-Darstellungsvorrichtung sowie ein Fahrzeug mit einer derartigen Umfeld-Darstellungsvorrichtung und Verfahren zur Darstellung eines Panoramabildes
DE102005046735B4 (de) Verfahren zur rechnergestützten Ermittlung einer Position in einer Landkarte, Navigationsvorrichtung und Mobilfunktelefon
DE112016001829T5 (de) Automatische Verbindung von Bildern unter Verwendung visueller Eigenschaftsquerverweise auf zugehörige Anwendungen
DE202014010927U1 (de) Referenzpunktidentifizierung aus Punktwolken, die aus geografischen Bilddaten erstellt werden
DE102018209377A1 (de) Verfahren zur Darstellung von AR-/VR-Inhalten auf einem mobilen Endgerät und mobiles Endgerät, auf dem AR-/VR-Inhalte dargestellt werden
DE112016003134T5 (de) Anzeigen von Objekten basierend auf einer Vielzahl von Modellen
DE202015009139U1 (de) Bildmodifikation
DE202012013439U1 (de) Das Verwenden von Banding zur Optimierung der Kartenwiedergabe in einer dreidimensionalen Neigungsansicht
EP2813999B1 (de) Augmented-Reality-System und Verfahren zum Erzeugen und Anzeigen von Augmented-Reality-Objektdarstellungen für ein Fahrzeug
DE102019107064A1 (de) Anzeigeverfahren, elektronische Vorrichtung und Speichermedium damit
DE112021006396T5 (de) Blickabhängige Okularmodussteuerung für gemischte Realität
DE102006040493B4 (de) Verfahren und Vorrichtungen sowie Computerprogramm zur Erfassung und Nutzung richtungsbezogener Information eines Objekts
EP3446289A1 (de) Verfahren und system zur darstellung einer simulationsumgebung
WO2023078514A1 (de) Verfahren und system zum festlegen der position und ausrichtung einer virtuellen kamera eines umfeldbeobachtungssystems
DE102018109756A1 (de) Verfahren zur Bestimmung von Augmentierungsinformationen für ein Bild
DE202017107040U1 (de) Systeme zum dynamischen Bereitstellen von Maßstabsinformation auf einer digitalen Karte
WO2012107011A2 (de) Verfahren zum betrieb eines mobilen elektrischen geräts

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080045773.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10768226

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010768226

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012532629

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13501697

Country of ref document: US