WO2021073268A1 - 一种增强现实数据呈现方法、装置、电子设备及存储介质 - Google Patents

一种增强现实数据呈现方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
WO2021073268A1
WO2021073268A1 PCT/CN2020/111888 CN2020111888W WO2021073268A1 WO 2021073268 A1 WO2021073268 A1 WO 2021073268A1 CN 2020111888 W CN2020111888 W CN 2020111888W WO 2021073268 A1 WO2021073268 A1 WO 2021073268A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
real scene
virtual object
augmented reality
special effect
Prior art date
Application number
PCT/CN2020/111888
Other languages
English (en)
French (fr)
Inventor
侯欣如
石盛传
李国雄
Original Assignee
北京市商汤科技开发有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京市商汤科技开发有限公司 filed Critical 北京市商汤科技开发有限公司
Priority to KR1020207037546A priority Critical patent/KR20210046591A/ko
Priority to JP2020573244A priority patent/JP2022505998A/ja
Priority to KR1020237003932A priority patent/KR20230022269A/ko
Priority to SG11202013122PA priority patent/SG11202013122PA/en
Priority to US17/134,772 priority patent/US20210118235A1/en
Publication of WO2021073268A1 publication Critical patent/WO2021073268A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Definitions

  • the present disclosure relates to the field of augmented reality technology, and in particular to an augmented reality data presentation method, device, electronic equipment, and storage medium.
  • Augmented Reality (AR) technology superimposes physical information (visual information, sound, touch, etc.) into the real world through simulation, so that the real environment and virtual objects can be placed on the same screen or in real time. Space presentation.
  • the optimization of the effect of the augmented reality scene presented by the AR device and the improvement of the interaction with the user are becoming more and more important.
  • the embodiments of the present disclosure provide at least one solution for augmented reality data presentation.
  • embodiments of the present disclosure provide an augmented reality data presentation method, including:
  • the augmented reality data including the special effect data of the virtual object is displayed in the augmented reality AR device.
  • the special effect data of the virtual object can be determined based on the attribute information of the different target entity objects in the recognized real scene data, and the special effect data of the virtual object integrated into the real scene can be displayed in the AR device, which can make The display of the virtual object matches the attribute information of the target entity data in the real scene data, which improves the display effect of the augmented reality scene.
  • the real scene data includes a real scene image
  • the method further includes:
  • the pose data includes position information and/or shooting angle of the AR device in the real scene;
  • a target entity object matching the pose data is determined.
  • the attention target in the real scene matched with the pose data that is, the target entity object
  • the virtual object special effect matching the attribute of the target entity object can be displayed. State, so that the special effect data of the virtual object is better integrated into the real scene.
  • the above method further includes:
  • the augmented reality data currently displayed in the AR device is updated to first target augmented reality data, and the first target augmented reality data includes special effect data of a virtual object matching the posture of the reference entity object.
  • the posture of the reference entity object includes at least one of facial expressions and body movements.
  • the special effect data of the virtual object in the augmented reality data can be dynamically updated, so that the presented augmented reality scene can show the relationship between the reference entity object and the virtual object.
  • the interactive effect makes the presentation effect more realistic.
  • the recognizing the captured posture of the reference entity object includes:
  • the posture of the photographed reference entity object is recognized.
  • the above implementation manner can reduce unnecessary recognition processing and gesture update processing, and save processing resources.
  • the recognizing the captured posture of the reference entity object includes:
  • posture recognition processing is performed on the acquired real scene image to obtain the reference entity object posture shown in the real scene image.
  • the method further includes:
  • the augmented reality data currently displayed in the AR device is updated to second target augmented reality data, and the second target augmented reality data includes special effect data of a virtual object matching the trigger operation.
  • the trigger operation includes at least one of an operation on the screen of the AR device, voice input, and changing the pose of the AR device.
  • the display effect of the virtual object is enriched, more interactive methods can be provided for the augmented reality AR device, and the interactive capability in the augmented reality scene is improved.
  • the method further includes:
  • the waypoint in the navigation route includes the position of the virtual object in the real scene
  • the augmented reality data including the indication data of the navigation route is displayed in the AR device.
  • the special effect data of the virtual object that matches the attribute information is determined.
  • the above-mentioned three-dimensional scene model can represent the real scene, and the pose data of the virtual object constructed based on the three-dimensional scene model can be better integrated into the real scene. From the pose data of the virtual object in the three-dimensional scene model, it is determined that it is compatible with the AR device The posture data of the virtual object matches the special effect data of the virtual object, so that the display of the special effect data of the virtual object is more suitable for the real scene.
  • an augmented reality data presentation device including:
  • the acquiring part includes acquiring real scene data and transmitting the real scene data to the identifying part;
  • the identification part is configured to identify the attribute information of the target entity object in the real scene data, determine the special effect data of the virtual object matching the attribute information, and transmit the special effect data of the virtual object to the display part;
  • the display part is configured to display the augmented reality data including the special effect data of the virtual object in an augmented reality AR device based on the special effect data of the virtual object.
  • the real scene data includes a real scene image
  • the recognition part is further configured to: before recognizing the attribute information of the target entity object in the real scene data, detect the pose data of the AR device in the real scene; the pose data includes the AR device Position information and/or shooting angle in the real scene; among at least one entity object displayed in the real scene image, a target entity object matching the pose data is determined.
  • the display part is further configured as:
  • the augmented reality data currently displayed in the AR device is updated to first target augmented reality data, and the first target augmented reality data includes special effect data of a virtual object matching the posture of the reference entity object.
  • the reference entity object pose includes at least one of facial expressions and body movements.
  • the display part is further configured as:
  • the posture of the photographed reference entity object is recognized.
  • the display part is further configured as:
  • posture recognition processing is performed on the acquired real scene image to obtain the reference entity object posture shown in the real scene image.
  • the display part is further configured as:
  • the augmented reality data currently displayed in the AR device is updated to second target augmented reality data, and the second target augmented reality data includes special effect data of a virtual object matching the trigger operation.
  • the trigger operation includes at least one of an operation acting on the screen of the AR device, a voice input, and changing the pose of the AR device.
  • the device further includes a navigation part, and the navigation part is configured to:
  • the waypoint in the navigation route includes the position of the virtual object in the real scene
  • the augmented reality data including the indication data of the navigation route is displayed in the AR device.
  • the identification part is also configured as:
  • the special effect data of the virtual object that matches the attribute information is determined.
  • an embodiment of the present disclosure provides an electronic device, including a processor, a memory, and a bus.
  • the memory stores machine-readable instructions executable by the processor.
  • the electronic device is running, the The processor and the memory communicate through a bus, and when the machine-readable instructions are executed by the processor, the steps of the augmented reality data presentation method according to the first aspect or any one of the embodiments are executed.
  • an embodiment of the present disclosure provides a computer-readable storage medium having a computer program stored on the computer-readable storage medium, and the computer program is executed when run by a processor as described in the first aspect or any one of the implementations.
  • the steps of the augmented reality data presentation method are described in the first aspect or any one of the implementations.
  • FIG. 1 shows a schematic flowchart of an augmented reality data presentation method provided by an embodiment of the present disclosure
  • FIG. 2 shows a possible schematic diagram of obtaining real scene images provided by an embodiment of the present disclosure
  • FIG. 3 shows a possible image after superimposing an image of a virtual object in a real scene provided by an embodiment of the present disclosure
  • FIG. 4 shows a schematic diagram of a possible attribute information display of a virtual object provided by an embodiment of the present disclosure
  • FIG. 5a shows the special effect data of the virtual object, that is, the state schematic diagram of the virtual object before the posture of the reference entity object is not recognized according to the embodiment of the present disclosure
  • FIG. 5b shows a schematic diagram of the special effect data of the virtual object, that is, the state of the virtual object after the posture of the reference entity object is not recognized according to the embodiment of the present disclosure
  • FIG. 6 shows a schematic diagram of displaying an augmented reality image including indication data of a navigation route in an AR device provided by an embodiment of the present disclosure
  • FIG. 7 shows a schematic diagram of an augmented reality data presentation architecture provided by an embodiment of the present disclosure
  • FIG. 8 shows a schematic structural diagram of an electronic device provided by an embodiment of the present disclosure.
  • the embodiments of the present disclosure may be applicable to electronic devices (such as AR devices such as mobile phones, tablets, AR glasses, etc.) or servers that support AR technology, or a combination thereof.
  • the server may be combined with other
  • An electronic device with a communication function and a camera function can be connected in a wired connection or a wireless connection.
  • the wireless connection can be, for example, a Bluetooth connection or a wireless broadband (Wireless Fidelity, WIFI) connection.
  • the augmented reality scene presented in the AR device can be understood as displaying virtual objects that are integrated into the real scene in the AR device. It can be directly rendering the presentation screen of the virtual object to integrate it with the real scene, such as presenting a set of virtual tea sets , So that the display effect is placed on the real desktop in the real scene, or it can be displayed after fusing the presentation effects of the virtual object with the real scene image; the specific presentation method selected depends on the AR device The type of equipment and the picture presentation technology used.
  • the AR glasses can directly render the presentation screen of the virtual object Presentation mode; for mobile terminal devices such as mobile phones and tablet computers, since the images displayed in the mobile terminal devices are the images of the real scene, the real scene image and the presentation special effects of the virtual object can be fused to process. Show the augmented reality effect.
  • the degree of integration of virtual objects in the real scene greatly affects the display effect of virtual objects. Based on the different attributes of the target entity object in the real scene, displaying the matching virtual object can make the display of the virtual object more in line with the needs of the real scene, better integration, and thus enhance the display effect of the augmented reality scene.
  • FIG. 1 is a schematic flowchart of an augmented reality data presentation method provided by an embodiment of the present disclosure, it includes the following steps:
  • S102 Identify the attribute information of the target entity object in the real scene data, and determine the special effect data of the virtual object matching the attribute information.
  • the target entity object identified in the real scene data such as the object type (such as belonging to the commodity cabinet), the object state (such as the information of the remaining items in the commodity cabinet), and the object name (such as the building Object name), etc., to determine the special effect data of the virtual object that needs to be displayed, such as the product pattern in the merchandise cabinet, the description of the remaining items, and the name of the building, etc., and then display the augmented reality data containing the special effect data of the virtual object in the AR device. In order to meet the needs of the current real scene, enrich the display effect.
  • the object type such as belonging to the commodity cabinet
  • the object state such as the information of the remaining items in the commodity cabinet
  • the object name such as the building Object name
  • the real scene data may include, but is not limited to, at least one of the following: real scene images and real scene sounds.
  • the real scene image can be obtained, and the attribute information of the target entity object can be identified, so as to determine the special effect data of the matching virtual object.
  • the real scene image can be It is used for the generation of subsequent augmented reality data, or not for the generation of subsequent augmented reality data.
  • the presentation screen of the virtual object can be directly rendered to integrate it with the real scene, or the real scene image can be It is rendered after fusion with the special effect data of the virtual object.
  • the above-mentioned different types of real scene data contain different types of target entity objects.
  • the physical objects in the real scene data may include buildings, placed objects, etc.; reality
  • the entity objects in the scene data can also include sound special effects, smell special effects, and so on.
  • the way to obtain the real scene images is, for example, through the built-in camera of the AR device (such as the front camera), or through a camera deployed in the real scene that is independent of the AR device. Alternatively, it can also be obtained by means of user image data transmitted by other devices to the AR device. This application does not limit the way of acquiring real scene images.
  • the attribute information of the target entity object may be, for example, the type of the target entity object, the size of the target entity object, or the name of the target entity object.
  • the method that can be used includes: inputting the real scene image containing the target entity object into the pre-trained recognition model, and the recognition model The real scene image is processed, and the attribute information of the target entity object is output.
  • this method can also be adopted: different auxiliary identifiers can be set on different entity objects, for example, different auxiliary identifiers can be added to the entity objects.
  • the two-dimensional code can scan the two-dimensional code set on the target entity object to obtain the attribute information of the target entity object.
  • the real scene image may include one or more entity objects.
  • these multiple entity objects can be used as target entity objects to identify the attribute information; in order to save processing resources , To reduce unnecessary recognition processing and accurately identify user viewing needs.
  • the target entity objects that meet the matching conditions can be screened out, and then the attribute information can be identified; the pose data can include the AR device’s Location information and/or shooting angle in the real scene.
  • the process of screening target entities based on the pose data of AR devices can be divided into the following situations:
  • the pose data includes position information.
  • the distance between the position of each physical object shown in the real scene image in the real scene and the position of the AR device in the real scene can be calculated.
  • the calculated distance is less than the preset distance, Determine that the entity object is the target entity object.
  • Figure 2 is a schematic diagram of a possible acquisition of real scene images.
  • the position of point A in the figure is the position information of the AR device in the real scene, and B, C, and D are requirements for the AR device respectively.
  • the pose data includes the shooting angle.
  • the preset shooting angle corresponding to each physical object can be determined first, and for each physical object, it is determined whether the shooting angle of the AR device overlaps with the preset shooting angle corresponding to the physical object. If there is overlap, the entity object is determined as the target entity object.
  • different portraits can be set at different height positions on the same wall
  • the entity object can be portraits of different heights
  • each portrait can have a preset shooting angle, for example, the preset shooting angle of portrait A is 30°-60°, if the shooting angle of the AR device is 40°, the portrait A is determined as the target entity object.
  • these multiple physical objects can be used as the target physical object, or the corresponding physical object with the largest overlap angle can be determined as the target Entity object.
  • the pose data includes position information and shooting angle.
  • the entity objects to be confirmed that are within the preset distance from the AR device can be filtered out from each entity object, and then the objects to be confirmed are correspondingly selected.
  • the entity object whose preset shooting angle overlaps with the shooting angle of the AR device is determined as the target entity object.
  • different portraits set at different heights on the same wall are at the same distance from the AR device.
  • the entity to be confirmed is the portrait on the wall, and the target entity can be filtered based on the preset shooting angles of the different portraits. Object.
  • the special effect data of the virtual object matching the attribute information can be determined in the virtual object special effect database.
  • the special effect data of the virtual object may include a beverage image, and may also include description information of the beverage image, such as a beverage name, etc.; if the attribute information of the target entity object is a bookcase, The special effect data of the virtual object may be a book image, and may also include description information of the book image, such as the book name and author.
  • the special effect data of the virtual object presented can be set by the user.
  • the attribute information of the target entity object is detected on the terminal devices of different users
  • the attribute information of the different target entity objects can be presented on the devices of different users.
  • the configuration of the special effect data of the virtual object can be selectively performed on the physical objects in the real scene.
  • the special effect data of the related virtual objects is not configured.
  • the special effect data of the corresponding virtual object may be empty.
  • the determined special effect data of the virtual object that matches the attribute information of the target entity object may be the position of the AR device determined from the special effect data of the virtual object stored in the virtual object special effect database.
  • the virtual object special effect data of the pose data can be based on the pose data of the AR device in the real scene and the pose data of the virtual object in the three-dimensional scene model used to represent the real scene (it can be considered as stored in the virtual object special effects database). ) To determine the special effect data of the virtual object.
  • a three-dimensional scene model can be used to describe the real scene, and the special effect data of the virtual object can be developed based on the three-dimensional scene model, so that the special effect data of the virtual object can be more integrated into the real scene.
  • the virtual object can be determined based on the pose data (including position information and/or shooting angle) of the AR device in the real scene, and the pose data of the virtual object in the three-dimensional scene model used to represent the real scene Special effects data.
  • the display special effect of the virtual object and the three-dimensional scene in the display screen of the three-dimensional scene model may be included
  • the model is transparently processed, so that in the subsequent rendering stage, the display screen containing the display special effects of the virtual object and the transparentized 3D scene model can be rendered, and the real scene can be made to correspond to the 3D scene model. In this way, you can In the real world, the special effects of the virtual object under the three-dimensional scene model are obtained.
  • the pose data of the virtual object in the three-dimensional scene model may include the position information of the virtual object in the three-dimensional scene model (such as geographic location coordinate information) and/or the corresponding posture Information (display posture of the virtual object); when the virtual object is dynamic, the pose data of the virtual object in the three-dimensional scene model may include multiple sets of position information (such as geographic location coordinate information) and/or corresponding posture information ( The display posture of the virtual object).
  • the special effect data of the virtual object that matches the pose data of the AR device can be determined from the pose data of the virtual object in the three-dimensional scene model. For example, in the special effect data of the virtual object in the constructed building model scene, the position and posture of the virtual object matching the current location and shooting angle of the AR device are determined.
  • the reality Before S102 recognizes the attribute information of each entity object in the real scene image, or selects the target entity object that meets the matching conditions based on the pose data of the AR device, and recognizes the attribute information of the target entity object, the reality can be determined first.
  • the entity objects that can be segmented independently in the scene image.
  • a process may be adopted: image segmentation of the real scene image, and then identification of the entity object corresponding to each part of the segmented image after the image segmentation is performed.
  • Image segmentation is to divide the image into several specific areas with unique properties and propose objects of interest.
  • the augmented reality data including the special effect data of the virtual object is displayed in the AR device.
  • Each type of special effect data may be displayed separately according to the difference of the type of AR device and the type of the special effect data of the virtual object. Or, combine multiple special effects data to display.
  • displaying the augmented reality data including the special effect data of the virtual object may be playing the sound corresponding to the attribute information of the target entity object in the electronic device that shoots the real scene.
  • the attribute information of the target entity object can be a coffee machine of a certain size.
  • the special effect data of the virtual object matching the attribute information is a certain segment
  • the recording of coffee introduction can be played on the AR device.
  • the virtual object includes odors
  • it can be to identify the attribute information of the target entity object in the real scene data, determine the type of odor that matches the attribute information, and the length of time to release the odor, and determine the The type of odor and the length of time for releasing the odor are sent to the third-party device for controlling odor release, and the third-party device for controlling odor release is instructed to release the corresponding type of odor for this length of time.
  • the presentation screen may be static or dynamic, and the augmented reality data may include augmented reality images.
  • augmented reality images can correspond to different presentation methods.
  • a possible presentation method that can be applied to AR glasses. Specifically, based on the preset position information of virtual objects in the real scene, the virtual objects are displayed in the lenses of the AR glasses, and the user can display the virtual objects through the AR In the case that the lenses of the glasses watch a real scene, the virtual object can be viewed at the corresponding position of the virtual object in the real scene.
  • the AR device In the case of displaying augmented reality data including special effect data of virtual objects, the AR device generates a real scene image based on the real scene and displays it on the AR device
  • the augmented reality data of may be an image after superimposing an image of a virtual object in an image of a real scene.
  • the augmented reality image that can be presented using the above presentation method may be as shown in FIG. 3, and there will be an occlusion relationship between the image of the superimposed virtual object and the physical object in the real scene, which will be introduced in detail below. I will not expand on this for now.
  • the attribute information of the virtual object can also be displayed.
  • the virtual object and the attribute information belong to the special effect data of the virtual object.
  • the target entity object is a refrigerator with a transparent door
  • the virtual object is the beverage in the refrigerator (what kind of beverage in the refrigerator is preset)
  • the attribute information of the virtual object is the production date, shelf life, and Energy value and net content, etc.
  • the target physical object is a bookcase
  • the virtual object can be a book placed on the bookcase
  • the attribute information of the virtual object is the author, publisher, and publication date of the book.
  • the interaction effect between the virtual object and the real scene can be added.
  • the special effect data of the virtual object matching the posture of the reference entity object can be displayed.
  • the captured posture of the reference entity object can be recognized, and then the special effect data of the virtual object matching the posture of the reference entity object can be obtained, and then the augmented reality data currently displayed in the AR device can be updated to the first target augmented reality data.
  • the first target augmented reality data includes special effect data of the virtual object matching the posture of the reference entity object.
  • the reference entity object refers to any entity object that can give a reference posture in a real scene, for example, it may be a user who is operating an AR device, a character or an animal or a robot in the real scene, and so on.
  • the posture of the reference entity object may include at least one of facial expressions and body movements. Recognizing the posture of the reference object can be based on a pre-trained neural network model to perform posture recognition processing on the acquired real scene image to obtain the posture of the reference entity object shown in the real scene image.
  • the recognition of the posture of the photographed reference entity object can be achieved in the following ways: detecting the distance between the position information of the AR device in the real scene and the corresponding position information of the virtual object in the real scene; In the case of the preset distance range, the posture of the photographed reference entity object is recognized.
  • the acquired real scene image can be input into a pre-trained neural network model.
  • the neural network model can output the posture recognized in the acquired real scene image, and determine the recognized posture as the reference entity object posture .
  • the training samples for training the neural network can be sample images with posture tags.
  • the posture tags can be facial expression tags (for example, facial expressions can be smile, laugh, cry, or question, etc.) and/or body movement tags (for example, body movements) It can be a photo, a handshake or a greeting, etc.).
  • the predicted posture of each sample image can be obtained.
  • the neural network can be trained. The specific training process will not be introduced. .
  • Updating the augmented reality data currently displayed by the AR device to the first target augmented reality data may be updating the special effect data of the virtual object in the augmented reality data, so that the virtual object currently displayed by the AR device presents a new display state.
  • the reference entity object is another user who cooperates with the user operating the AR device in the real scene, and the gesture, expression, and/or body of the other user is acquired through the AR device, and then the virtual object is controlled.
  • the object presents a state corresponding to the gesture, expression, and/or body of the other user.
  • the recognizable user's gestures, expressions and/or body movements may be preset, and the state of the virtual object corresponding to each gesture, expression and/or body movement may also be preset.
  • the special effect data of the virtual object that is, the state of the virtual object can be as shown in Figure 5a
  • the posture of the reference entity object in the real scene image is detected
  • the state of the virtual object can be As shown in Fig. 5b, what is presented in Fig. 5b is the state of the virtual object after the photographing gesture is recognized.
  • the reference entity object can be the user operating the AR device, that is, the user operating the AR device can make related gestures to the virtual object based on the currently displayed AR scene, and the AR device user can be identified at this time Gesture to perform the corresponding operation.
  • the reference entity object can be the user operating the AR device, that is, the user operating the AR device can make related gestures to the virtual object based on the currently displayed AR scene, and the AR device user can be identified at this time Gesture to perform the corresponding operation.
  • the corresponding payment interface can be displayed in the AR device, and after the successful payment is detected, the order information is generated, and the order information is sent to the corresponding merchant server, so as to realize the virtual object-based physical object buy.
  • the special effect data of the virtual object matching the trigger operation may be obtained, and the augmented reality data currently displayed in the AR device may be updated as the second target
  • the augmented reality data, the second target augmented reality data includes special effect data of the virtual object matching the trigger operation.
  • the trigger operation can include operations on the screen of the AR device (such as tapping, double-clicking, long-pressing or sliding, etc.), voice input and changing the pose of the AR device (such as changing the position of the AR device or changing the shooting angle of the AR device, etc.) ) At least one of.
  • the effect corresponding to the trigger operation corresponds to the gesture operation detected in the real scene.
  • the click operation of the arrow next to the drink on the screen of the AR device is the same as that of triggering the arrow next to the drink based on a gesture in a real scene, and the special effect data of the matched virtual object may be the same.
  • the augmented reality data including the special effect data of the virtual object is displayed in the AR device, and the real scene data includes the real scene image.
  • the virtual object includes the virtual object
  • the physical objects and virtual objects in the real scene image can also be added. Judgment of the occlusion relationship between objects. Specifically, the occlusion relationship between each physical object and the virtual object can be determined based on the pose information of each physical object, the pose information of the virtual object, and the pose information of the AR device.
  • the embodiments of the present disclosure can also increase the presentation of navigation effects.
  • the navigation request in response to the navigation request, obtain the current position information of the AR device in the real scene and the corresponding position information of the virtual object in the real scene, and then use the current position information and the corresponding position information of the virtual object in the real scene to generate a navigation route, and navigate
  • the waypoints in the route include the location of the virtual object in the real scene, or the location area where the virtual object is located in the real scene, and can display augmented reality data including indication data of the navigation route based on the AR device.
  • the AR device can execute the process of generating the navigation route locally, or can send a navigation request to the server, which is executed by the server, and the navigation route is sent to the AR device.
  • the embodiments of the present disclosure increase the navigation effect, and can generate a navigation route with the location of a virtual object added as a route point based on the navigation demand when the user has a navigation demand. In a possible implementation manner, it can be detected whether destination information is received.
  • the destination can be any place in the real scene, or it can be the location area where the virtual object is located in the real scene.
  • the shortest driving route to the virtual object can be determined directly based on the current location information and destination information of the AR device; the destination is In the case of a location in a real scene, it is possible to generate the shortest route to the location area where the virtual object is located in the real scene with the destination as the navigation destination, that is, to guide the user through the deployment of the virtual object display location area to improve users The traveling experience and fun in the itinerary.
  • the related introduction information of the virtual object can also be actively pushed.
  • the navigation route to the location of the virtual object can be determined , And display it on AR devices.
  • displaying an augmented reality image including indication data of a navigation route in an AR device may be as shown in FIG. 6.
  • the augmented reality image may also include indicator symbols (such as arrows on the ground). By displaying the indicator symbols, the user can be guided to the corresponding location.
  • the navigation path to other target virtual objects associated with the target virtual object may be pushed to the user.
  • the writing order of the steps does not mean a strict execution order but constitutes any limitation on the implementation process.
  • the specific execution order of each step should be based on its function and possibility.
  • the inner logic is determined.
  • an embodiment of the present disclosure provides an augmented reality data presentation device.
  • FIG. 7 is a schematic diagram of the architecture of the augmented reality data presentation device provided by the embodiment of the present disclosure, it includes an acquisition part 701, an identification Part 702, display part 703, and navigation part 704, specifically:
  • the acquiring part 701 includes acquiring real scene data, and transmitting the real scene data to the identifying part 702;
  • the recognition part 702 is configured to recognize the attribute information of the target entity object in the real scene data, determine the special effect data of the virtual object matching the attribute information, and transmit the special effect data of the virtual object to the display part 703;
  • the display part 703 is configured to display the augmented reality data including the special effect data of the virtual object in the augmented reality AR device based on the special effect data of the virtual object.
  • the real scene data includes a real scene image
  • the recognition part 702 is further configured to: before recognizing the attribute information of the target entity object in the real scene data, detect the pose data of the AR device in the real scene; the pose data includes the AR Location information and/or shooting angle of the device in the real scene; among at least one entity object displayed in the real scene image, a target entity object matching the pose data is determined.
  • the display part 703 is further configured to:
  • the augmented reality data currently displayed in the AR device is updated to first target augmented reality data, and the first target augmented reality data includes special effect data of a virtual object matching the posture of the reference entity object.
  • the reference entity object posture includes at least one of facial expressions and body movements.
  • the display part 703 is further configured to:
  • the posture of the photographed reference entity object is recognized.
  • the display part 703 is further configured to:
  • posture recognition processing is performed on the acquired real scene image to obtain the reference entity object posture shown in the real scene image.
  • the display part 703 is further configured to:
  • the augmented reality data currently displayed in the AR device is updated to second target augmented reality data, and the second target augmented reality data includes special effect data of a virtual object matching the trigger operation.
  • the trigger operation includes at least one of an operation acting on the screen of the AR device, voice input, and changing the pose of the AR device.
  • the device further includes a navigation part 704, and the navigation part 704 is configured to:
  • the waypoint in the navigation route includes the position of the virtual object in the real scene
  • the augmented reality data including the indication data of the navigation route is displayed in the AR device.
  • the identification part 702 is further configured to:
  • the special effect data of the virtual object that matches the attribute information is determined.
  • the functions or templates contained in the device provided in the embodiments of the present disclosure can be used to execute the methods described in the above method embodiments.
  • the functions or templates contained in the device provided in the embodiments of the present disclosure can be used to execute the methods described in the above method embodiments.
  • parts may be parts of circuits, parts of processors, parts of programs or software, etc., of course, may also be units, modules, or non-modular.
  • FIG. 8 it is a schematic structural diagram of an electronic device provided by an embodiment of the present disclosure, which includes a processor 801, a memory 802, and a bus 803.
  • the memory 802 is used to store execution instructions, including a memory 8021 and an external memory 8022; the memory 8021 here is also called an internal memory, which is used to temporarily store operational data in the processor 801 and data exchanged with an external memory 8022 such as a hard disk.
  • the processor 801 exchanges data with the external memory 8022 through the memory 8021.
  • the processor 801 and the memory 802 communicate through the bus 803, so that the processor 801 executes the following instructions:
  • the augmented reality data including the special effect data of the virtual object is displayed in the augmented reality AR device.
  • the embodiments of the present disclosure also provide a computer-readable storage medium having a computer program stored on the computer-readable storage medium, and the computer program executes the augmented reality data presentation method described in the above method embodiment when the computer program is run by a processor. A step of.
  • the computer program product of the augmented reality data presentation method includes a computer-readable storage medium storing program code, and the program code includes instructions that can be used to execute the augmented reality data described in the above method embodiment
  • the program code includes instructions that can be used to execute the augmented reality data described in the above method embodiment
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, they may be located in one place, or they may be distributed on multiple network units. Some or all of the units may be selected according to actual needs to achieve the objectives of the solutions of the embodiments.
  • the functional units in the various embodiments of the present disclosure may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the function is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a non-volatile computer readable storage medium executable by a processor.
  • the technical solutions of the embodiments of the present disclosure essentially or contribute to the prior art or parts of the technical solutions can be embodied in the form of a software product, and the computer software product is stored in a storage medium.
  • Including several instructions to make a computer device (which may be a personal computer, a server, or a network device, etc.) execute all or part of the steps of the methods described in the various embodiments of the present disclosure.
  • the aforementioned storage media include: U disk, mobile hard disk, read-only memory (Read-Only Memory, ROM), random access memory (Random Access Memory, RAM), magnetic disk or optical disk and other media that can store program code .
  • the embodiments of the present disclosure provide an augmented reality data presentation method, device, electronic device, and storage medium.
  • the method includes: acquiring real scene data; identifying the attribute information of a target entity object in the real scene data, and determining that the attribute information corresponds to the attribute information.
  • Information matching special effect data of the virtual object; based on the special effect data of the virtual object, the augmented reality data including the special effect data of the virtual object is displayed in an augmented reality AR device.
  • the special effect data of the virtual object can be determined based on the attribute information of the different target entity objects in the recognized real scene data, and the special effect data of the virtual object integrated into the real scene can be displayed in the AR device, which can make The display of the virtual object matches the attribute information of the target entity data in the real scene data, which improves the display effect of the augmented reality scene.

Abstract

一种增强现实数据呈现方法、装置、电子设备及存储介质，该方法包括：获取现实场景数据（S101）；识别所述现实场景数据中目标实体对象的属性信息，确定与所述属性信息匹配的虚拟对象的特效数据（S102）；基于所述虚拟对象的特效数据，在增强现实AR设备中展示包括所述虚拟对象的特效数据的增强现实数据（S103）。

Description

一种增强现实数据呈现方法、装置、电子设备及存储介质
相关申请的交叉引用
本申请基于申请号为201910979912.0、申请日为2019年10月15日的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此引入本申请作为参考。
技术领域
本公开涉及增强现实技术领域，具体而言，涉及一种增强现实数据呈现方法、装置、电子设备及存储介质。
背景技术
增强现实(Augmented Reality，AR)技术，通过将实体信息(视觉信息、声音、触觉等)通过模拟仿真后，叠加到真实世界中，从而将真实的环境和虚拟的物体实时地在同一个画面或空间呈现。对AR设备呈现的增强现实场景的效果的优化以及与用户的交互性的提升，愈发重要。
发明内容
有鉴于此，本公开实施例至少提供一种增强现实数据呈现的方案。
第一方面，本公开实施例提供了一种增强现实数据呈现方法，包括：
获取现实场景数据；
识别所述现实场景数据中目标实体对象的属性信息，确定与所述属性信息匹配的虚拟对象的特效数据；
基于所述虚拟对象的特效数据，在增强现实AR设备中展示包括所述虚拟对象的特效数据的增强现实数据。
通过上述方法，可以基于识别出的现实场景数据中的不同的目标实体对象的属性信息，确定出虚拟对象的特效数据，并在AR设备中展示融入到现实场景的虚拟对象的特效数据，可以使得虚拟对象的展示与现实场景数据中目标实体数据的属性信息相匹配，提升了增强现实场景的展示效果。
在一种可能的实施方式中，所述现实场景数据包括现实场景图像；
在识别所述现实场景数据中目标实体对象的属性信息之前，还包括：
检测所述AR设备在现实场景中的位姿数据；所述位姿数据包括所述AR设备在现实场景中的位置信息和/或拍摄角度；
在所述现实场景图像中展示的至少一个实体对象中，确定与所述位姿数据匹配的目标实体对象。
通过上述实施方式，可以基于AR设备的位姿数据，确定与该位姿数据所匹配的现实场景下的关注目标，也即目标实体对象，进而展示与该目标实体对象的属性匹配的虚拟对象特效状态，从而使虚拟对象的特效数据更好地融入现实场景。
在一种可能的实施方式中，上述方法还包括：
识别拍摄到的参考实体对象姿态；
获取与所述参考实体对象姿态匹配的虚拟对象的特效数据；
将所述AR设备中当前展示的增强现实数据更新为第一目标增强现实数据，所述第一目标增强现实数据包括与所述参考实体对象姿态匹配的虚拟对象的特效数据。
其中，所述参考实体对象姿态包括面部表情和肢体动作中至少一种。
这里，通过获取参考实体对象的面部表情和/或肢体动作，可以对增强现实数据中虚拟对象的特效数据进行动态更新，进而可以使得呈现出的增强现实场景展示出参考实体对象与虚拟对象之间的交互效果，使得呈现效果更真实。
在一种可能的实施方式中，所述识别拍摄到的参考实体对象姿态，包括：
检测所述AR设备在现实场景中的位置信息与所述虚拟对象在现实场景中对应的位置信息之间的距离；
在所述距离在预设距离范围内的情况下，识别拍摄到的参考实体对象姿态。
由于现实场景中存在一些实体对象会有一些姿态的展现，但是这些实体对象可能并不是在与虚拟对象互动，采用上述实施方式，可以减少不必要的识别处理及姿态更新处理，节省处理资源。
在一种可能的实施方式中，所述识别拍摄到的参考实体对象姿态，包括：
基于预先训练的神经网络模型，对获取的现实场景图像进行姿态识别处理，得到所述现实场景图像中展示的所述参考实体对象姿态。
在一种可能的实施方式中，所述方法还包括：
响应作用于所述AR设备的触发操作；
获取与所述触发操作匹配的虚拟对象的特效数据；
将所述AR设备中当前展示的增强现实数据更新为第二目标增强现实数据，所述第二目标增强现实数据包括与所述触发操作匹配的虚拟对象的特效数据。
其中，所述触发操作包括作用在所述AR设备屏幕上的操作、声音输入和改变所述AR设备的位姿中至少一种。
通过这种实施方式，丰富了虚拟对象的展示效果，可以为增强现实AR设备提供更多的交互方法，提升了增强现实场景中的交互能力。
在一种可能的实施方式中，所述方法还包括：
响应导航请求，获取所述AR设备在现实场景的当前位置信息和所述虚拟对象在所述现实场景中对应的位置信息；
利用所述当前位置信息和所述虚拟对象在所述现实场景中对应的位置信息，生成导航路线；所述导航路线中的途经点包括所述虚拟对象在现实场景中的位置；
在所述AR设备中展示包括所述导航路线的指示数据的增强现实数据。
在一种可能的实施方式中，
所述确定与所述属性信息匹配的虚拟对象的特效数据，包括：
获取所述AR设备在现实场景的位姿数据；
基于所述AR设备在现实场景的位姿数据和所述虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，确定与所述属性信息匹配的所述虚拟对象的特效数据。
上述三维场景模型可以表征现实场景，基于三维场景模型所构建的虚拟对象的位姿数据可以较好的融入现实场景，从该虚拟对象在三维场景模型中的位姿数据中，确定出与AR设备的位姿数据相匹配的虚拟对象的特效数据，从而使得虚拟对象的特效数据的展示更加贴合现实场景。
第二方面，本公开实施例提供了一种增强现实数据呈现装置，包括：
获取部分，包括获取现实场景数据，并将所述现实场景数据传输至识别部分；
识别部分，被配置为识别所述现实场景数据中目标实体对象的属性信息，确定与所述属性信息匹配的虚拟对象的特效数据，并将所述虚拟对象的特效数据传输至展示部分；
展示部分，被配置为基于所述虚拟对象的特效数据，在增强现实AR设备中展示包括所述虚拟对象的特效数据的增强现实数据。
一种可能的实施方式中，所述现实场景数据包括现实场景图像；
所述识别部分，还被配置为：在识别所述现实场景数据中目标实体对象的属性信息之 前，检测所述AR设备在现实场景中的位姿数据；所述位姿数据包括所述AR设备在现实场景中的位置信息和/或拍摄角度；在所述现实场景图像中展示的至少一个实体对象中，确定与所述位姿数据匹配的目标实体对象。
一种可能的实施方式中，所述展示部分，还被配置为：
识别拍摄到的参考实体对象姿态；
获取与所述参考实体对象姿态匹配的虚拟对象的特效数据；
将所述AR设备中当前展示的增强现实数据更新为第一目标增强现实数据，所述第一目标增强现实数据包括与所述参考实体对象姿态匹配的虚拟对象的特效数据。
一种可能的实施方式中，所述参考实体对象姿态包括面部表情和肢体动作中至少一种。
一种可能的实施方式中，所述展示部分，还被配置为：
检测所述AR设备在现实场景中的位置信息与所述虚拟对象在所述现实场景中对应的位置信息之间的距离；
在所述距离在预设距离范围内的情况下，识别拍摄到的参考实体对象姿态。
一种可能的实施方式中，所述展示部分，还被配置为：
基于预先训练的神经网络模型，对获取的现实场景图像进行姿态识别处理，得到所述现实场景图像中展示的所述参考实体对象姿态。
一种可能的实施方式中，所述展示部分，还被配置为：
响应作用于所述AR设备的触发操作；
获取与所述触发操作匹配的虚拟对象的特效数据；
将所述AR设备中当前展示的增强现实数据更新为第二目标增强现实数据，所述第二目标增强现实数据包括与所述触发操作匹配的虚拟对象的特效数据。
一种可能的实施方式中，所述触发操作包括作用在所述AR设备屏幕上的操作、声音输入和改变所述AR设备的位姿中至少一种。
一种可能的实施方式中，所述装置还包括导航部分，所述导航部分被配置为：
响应导航请求，获取所述AR设备在现实场景的当前位置信息和所述虚拟对象在所述现实场景中对应的位置信息；
利用所述当前位置信息和所述虚拟对象在所述现实场景中对应的位置信息，生成导航路线；所述导航路线中的途经点包括所述虚拟对象在现实场景中的位置；
在所述AR设备中展示包括所述导航路线的指示数据的增强现实数据。
一种可能的实施方式中，
所述识别部分，还被配置为：
获取所述AR设备在现实场景的位姿数据；
基于所述AR设备在现实场景的位姿数据、和所述虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，确定与所述属性信息匹配的所述虚拟对象的特效数据。
第三方面，本公开实施例提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，在电子设备运行的情况下，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的增强现实数据呈现方法的步骤。
第四方面，本公开实施例提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的增强现实数据呈现方法的步骤。
关于上述增强现实数据呈现装置、电子设备、及计算机可读存储介质的效果描述参见上述增强现实数据呈现方法的说明，这里不再赘述。
为使本公开实施例的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开实施例的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种增强现实数据呈现方法的流程示意图；
图2示出了本公开实施例所提供的一种可能的获取现实场景图像的示意图；
图3示出了本公开实施例所提供的一种可能的在现实场景中叠加虚拟物体的图像之后的图像；
图4示出了本公开实施例所提供的一种可能的虚拟物体的属性信息展示的示意图；
图5a示出了本公开实施例所提供的在未识别到参考实体对象的姿态之前，虚拟物体的特效数据也即虚拟物体呈现的状态示意图；
图5b示出了本公开实施例所提供的在未识别到参考实体对象的姿态之后，虚拟物体的特效数据也即虚拟物体呈现的状态示意图
图6示出了本公开实施例所提供的一种在AR设备中展示包括导航路线的指示数据的增强现实图像的示意图；
图7示出了本公开实施例所提供的一种增强现实数据呈现的架构示意图；
图8示出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开实施例的详细描述并非旨在限制要求保护的本公开实施例的范围，而是仅仅表示本公开的选定实施例。基于本公开实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开实施例保护的范围。
本公开实施例可适用于支持AR技术的电子设备(如手机、平板电脑、AR眼镜等AR设备)或服务器，或者其组合，在本公开实施例应用于服务器的情况下，该服务器可以与其他具有通信功能且具有摄像功能的电子设备连接，其连接方式可以是有线连接或无线连接，无线连接例如可以为蓝牙连接、无线宽带(Wireless Fidelity，WIFI)连接等。
AR设备中呈现增强现实场景，可以理解为在AR设备中展示融入到现实场景的虚拟对象，可以是直接将虚拟对象的呈现画面渲染出来，使之与现实场景融合，比如呈现一套 虚拟的茶具，使之显示效果是放置在现实场景中的真实桌面上，也可以是将虚拟对象的呈现特效与现实场景图像融合后，展示融合后的显示画面；具体选择何种呈现方式取决于AR设备的设备类型和采用的画面呈现技术，比如，一般地，由于从AR眼镜中可以直接看到现实场景(并非成像后的现实场景图像)，因此AR眼镜可以采用直接将虚拟对象的呈现画面渲染出来的呈现方式；对于手机、平板电脑等移动终端设备，由于在移动终端设备中展示的是对现实场景成像后的画面，因此可以采用将现实场景图像与虚拟对象的呈现特效进行融合处理的方式，来展示增强现实效果。
虚拟对象在现实场景中的融入程度很大程度上影响着虚拟对象的展示效果。基于现实场景中目标实体对象的属性不同，来展示与之匹配的虚拟对象，可以使得虚拟对象的展示更加符合现实场景的需求，融入性更好，进而提升增强现实场景的展示效果。
下面对本公开实施例所涉及的一种增强现实数据呈现方法进行详细介绍。
参见图1所示，为本公开实施例所提供的一种增强现实数据呈现方法的流程示意图，包括以下几个步骤：
S101、获取现实场景数据。
S102、识别现实场景数据中目标实体对象的属性信息，确定与属性信息匹配的虚拟对象的特效数据。
S103、基于虚拟对象的特效数据，在增强现实AR设备中展示包括虚拟对象的特效数据的增强现实数据。
通过上述方法，可以基于识别出的现实场景数据中的目标实体对象的相关属性信息，比如对象类型(比如属于商品柜)、对象状态(比如商品柜中剩余物品的信息)、对象名称(比如建筑物名称)等，确定出需要展示的虚拟对象的特效数据，比如商品柜中商品图样、剩余物品的描述内容和大厦名称等，进而在AR设备中展示包含虚拟对象的特效数据的增强现实数据，以满足当前现实场景需求，丰富展示效果。
以下对上述步骤分别进行说明。
在上述S101中，现实场景数据可以包括但不限于以下至少一种：现实场景图像和现实场景声音等。
这里需要说明的是，在现实场景数据中包含现实场景图像的情况下，获取现实场景图像，可以识别其中目标实体对象的属性信息，以便于确定匹配的虚拟对象的特效数据，该 现实场景图像可以用于后续增强现实数据的生成，也可以不用于后续增强现实数据的生成，如前面所述，可以直接将虚拟对象的呈现画面渲染出来，使之与现实场景融合，也可以将该现实场景图像与虚拟对象的特效数据融合后渲染出来。
上述不同类型的现实场景数据所包含的目标实体对象的类型不同，比如，在现实场景数据包括现实场景图像的情况下，现实场景数据中的实体对象可以包括建筑物、摆放的物品等；现实场景数据中的实体对象还可以包括声音特效，气味特效等。
在现实场景数据包括现实场景图像的情况下，获取现实场景图像的方式例如为通过AR设备内置摄像头(如前置摄像头)获取，或者，通过现实场景中部署的独立于AR设备之外的摄像头来获取，或者，还可以通过其它设备传输给AR设备的用户图像数据的方式来获取。本申请并不限定现实场景图像的获取方式。
在上述S102中，目标实体对象的属性信息例如可以是目标实体对象的类别、目标实体对象的尺寸、或者目标实体对象的名称等。
在一种可能的实施方式中，识别现实场景数据中目标实体对象的属性信息，可以采用的方式包括：将包含目标实体对象的现实场景图像输入到预先训练好的识别模型中，经过识别模型对现实场景图像进行处理，输出得到该目标实体对象的属性信息。
在另外一种可能的实施方式中，识别现实场景数据中目标实体对象的属性信息，还可以采用这样的方式：在不同的实体对象上设置不同的辅助标识，例如可以在实体对象上添加不同的二维码，可以扫描设置在目标实体对象上的二维码，从而获得目标实体对象的属性信息。
在上述S102中，现实场景图像中可能包括一个或多个实体对象，在包括多个实体对象的情况下，可以将这多个实体对象都作为目标实体对象进行属性信息的识别；为了节省处理资源，减少不必要的识别处理，以及精准识别用户观看需求，可以先基于AR设备的位姿数据，筛选出符合匹配条件的目标实体对象，再进行属性信息的识别；位姿数据可以包括AR设备在现实场景中的位置信息和/或拍摄角度。基于AR设备的位姿数据来筛选目标实体对象的过程可以分为以下几种情况：
情况1、位姿数据包括位置信息。
在这种情况下，可以计算现实场景图像中展示的每一个实体对象在现实场景中的位置和AR设备在现实场景中的位置之间的距离，当计算的距离小于预设距离的情况下，确定 该实体对象为目标实体对象。
示例性的，如图2所示，图2为一种可能的获取现实场景图像的示意图，图中A点位置为AR设备在现实场景中的位置信息，B、C、D分别为AR设备要拍摄的现实场景图像中的实体对象在现实场景中的位置信息，若B与A之间的距离小于预设距离，则将A确定为目标实体对象。
在另外一种可能的实施方式中，还可以在计算现实场景图像中展示的每一个实体对象在现实场景中的位置和AR设备在现实场景中的位置信息之间的距离，将对应的计算出的距离最近的实体对象确定为目标实体对象。
情况2、位姿数据包括拍摄角度。
在位姿数据包括拍摄角度的情况下，可以先确定每一个实体对象对应的预设拍摄角度，针对每一个实体对象，判断AR设备的拍摄角度与该实体对象对应的预设拍摄角度是否有重叠，若有重叠，则将该实体对象确定为目标实体对象。
示例性的，在同一面墙的不同高度位置处可以设置有不同的画像，实体对象可以为不同高度的画像，每一幅画像可以有预设的拍摄角度，例如画像A的预设拍摄角度为30°～60°，若AR设备的拍摄角度为40°，将画像A确定为目标实体对象。
实际应用中，若有多个实体对象的预设拍摄角度与AR设备的拍摄角度有重叠，可以将这多个实体对象作为目标实体对象，也可以将对应的重叠角度最大的实体对象确定为目标实体对象。
情况3、位姿数据包括位置信息和拍摄角度。
在位姿数据同时包括位置信息和拍摄角度的情况下，可以先从各个实体对象中筛选出距离AR设备的位置在预设距离范围内的待确认实体对象，然后将待确认体对象中，对应的预设拍摄角度与AR设备的拍摄角度有重叠的实体对象确定为目标实体对象。
延续上例，在同一面墙的不同高度位置处设置的不同的画像距离AR设备的位置是相同的，待确认实体对象为墙上的画像，则可以基于不同画像的预设拍摄角度筛选目标实体对象。
在识别出目标实体对象的属性信息后，可以在虚拟对象特效数据库中，确定与该属性信息匹配的虚拟对象的特效数据。示例性的，若目标实体对象的属性信息为饮料柜，则虚拟对象的特效数据可以包括饮料图像，还可以包括饮料图像的描述信息，例如饮料名称等； 若目标实体对象的属性信息为书柜，则虚拟对象的特效数据可以为书籍图像，还可以包括书籍图像的描述信息，例如书籍名称和作者等。
本公开实施例中，识别出目标实体对象的属性信息后，所呈现的虚拟对象的特效数据可以由用户自行设定。当不同用户设置呈现不同的虚拟对象的特效数据时，在不同用户的终端设备上检测出目标实体对象的属性信息的情况下，可以在不同用户的设备上呈现不同的目标实体对象的属性信息。
本公开实施例中，可以对现实场景中的实体对象有选择性地进行虚拟对象的特效数据的配置，比如，对于有的实体对象不配置相关虚拟对象的特效数据，在这种情况下，对于有的目标实体对象，识别出该目标实体对象的属性信息后，其对应的虚拟对象的特效数据可以为空。
上述描述内容中，确定出的与目标实体对象的属性信息匹配的虚拟对象的特效数据，可以是从虚拟对象特效数据库中存储的该虚拟对象的特效数据中，确定出来的匹配该AR设备的位姿数据的虚拟对象特效数据。在一种可能的实施方式中，可以基于AR设备在现实场景的位姿数据和虚拟对象在用于表征现实场景的三维场景模型中的位姿数据(可以认为是存储在虚拟对象特效数据库中的)，确定出虚拟对象的特效数据。
这里，为了便于虚拟对象的特效数据的开发，可以采用三维场景模型来描述现实场景，并基于该三维场景模型来开发虚拟对象的特效数据，这样，可以使得虚拟对象的特效数据更加融入现实场景。在这种情况下，可以基于AR设备在现实场景的位姿数据(包括位置信息和/或拍摄角度)，以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，确定虚拟对象的特效数据。
本申请的一些实施例中，为了方便进行虚拟对象特效数据的渲染，还原虚拟对象在三维场景模型下的展示特效，可以将包含了虚拟对象的展示特效和三维场景模型的展示画面中的三维场景模型进行透明处理，这样，在后续渲染阶段，可以将包含了虚拟对象的展示特效和透明化处理后的三维场景模型的展示画面渲染出来，并使得现实场景与三维场景模型对应，如此，便可以在现实世界中得到虚拟对象在三维场景模型下的展示特效。
在上述内容中，在虚拟对象为静态的情况下，虚拟对象在三维场景模型中的位姿数据可以包括虚拟对象在三维场景模型中的位置信息(比如地理位置坐标信息)和/或对应的姿态信息(虚拟对象的展示姿态)；在虚拟对象为动态的情况下，虚拟对象在三维场景模型 中的位姿数据可以包括多组位置信息(比如地理位置坐标信息)和/或对应的姿态信息(虚拟对象的展示姿态)。
具体实施中，当AR设备在现实场景的位姿数据确定后，可以在虚拟对象在三维场景模型中的位姿数据中，确定出与AR设备的位姿数据相匹配的虚拟对象的特效数据，比如在虚拟对象在构建的大厦模型场景下的特效数据中，确定出与AR设备当前所在位置和拍摄角度所匹配的虚拟对象的位置和姿态等。
在S102对现实场景图像中各个实体对象都进行属性信息识别之前，或者基于AR设备的位姿数据筛选符合匹配条件的目标实体对象，并对目标实体对象进行属性信息识别之前，可以先确定出现实场景图像中能够独立分割出来的实体对象。在一种可能的实施方式中，确定现实场景图像中的各个实体对象，可以采用这样的过程：将现实场景图像进行图像分割，然后识别进行图像分割之后的每一部分分割图像所对应的实体对象。图像分割也即将图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标。
在上述S103中，在AR设备中展示包括虚拟对象的特效数据的增强现实数据，可以根据AR设备的类型的不同，以及虚拟对象的特效数据的类型的不同，将每种特效数据分别进行展示，或者，将多种特效数据相结合展示。
(1)、在虚拟对象包括声音的情况下，展示包括虚拟对象的特效数据的增强现实数据，可以是在拍摄现实场景的电子设备中播放与目标实体对象的属性信息对应的声音。
例如，目标实体对象的属性信息可以为某一尺寸的咖啡机，在从现实场景数据中检测到该尺寸的咖啡机的情况下，可以确定与该属性信息匹配的虚拟对象的特效数据为某段咖啡介绍的录音，则可以在AR设备中播放该段录音。
(2)、在虚拟对象包括气味的情况下，可以是识别出现实场景数据中目标实体对象的属性信息，确定与属性信息匹配的气味的类型、以及释放气味的时间长度，并将确定出的气味的类型、以及释放气味的时间长度发送到第三方控制气味释放的设备中，并指示第三方控制气味释放的设备以该时间长度释放对应类型的气味。
(3)、在虚拟对象包括虚拟物体的呈现画面的情况下，该呈现画面可以是静态的，也可以是动态的，增强现实数据可以包括增强现实图像。基于AR设备类型的不同，增强现实图像可以对应有不同的呈现方法。
一种可能的呈现方法，可以应用在AR眼镜上，具体可以基于预先设置的虚拟物体在 现实场景中的位置信息，在AR眼镜的镜片中展示虚拟物体，在用户透过展示有虚拟物体的AR眼镜的镜片观看现实场景的情况下，可以在虚拟物体在现实场景中对应的位置处观看到虚拟物体。
另外一种可能的呈现方法，可以应用在手机、平板等电子设备上，在展示包括虚拟对象的特效数据的增强现实数据的情况下，AR设备基于现实场景生成现实场景图像，在AR设备上展示的增强现实数据可以是在现实场景图像中叠加虚拟物体的图像之后的图像。
示例性的，采用上述呈现方式可以呈现出的增强现实图像可以如图3所示，叠加的虚拟物体的图像与现实场景中的实体对象之间会存在有遮挡关系，具体将在下面展开介绍，在此暂不展开说明。
在另外一示例中，在呈现包含有虚拟物体的增强现实图像的过程中，还可以展示虚拟物体的属性信息，这里，虚拟物体和属性信息都属于虚拟对象的特效数据。如图4所示，目标实体对象为一个透明门的冰箱，虚拟物体为冰箱内的饮料(冰箱内有何种饮料为预先设置好的)，虚拟对象的属性信息为饮料的生产日期、保质期、能量值和净含量等；在目标实体对象为书柜的情况下，虚拟物体可以为书柜上摆放的书籍，虚拟对象的属性信息为书籍的作者、出版社和出版日期等。
为了增强现实体验，展示的AR场景中，可以增加虚拟对象与现实场景的交互效果。比如，可以响应拍摄到的参考实体对象姿态，来展示与该参考实体对象姿态匹配的虚拟对象的特效数据。
具体的，可以识别拍摄到的参考实体对象的姿态，然后获取与参考实体对象的姿态匹配的虚拟对象的特效数据，再将AR设备中当前展示的增强现实数据更新为第一目标增强现实数据，其中，第一目标增强现实数据包括与参考实体对象姿态匹配的虚拟对象的特效数据。
这里，参考实体对象是指在现实场景中能够给出参考的姿态的任何实体对象，比如可以是正在操作AR设备的用户、现实场景中的人物或者动物或者机器人等等。
其中，在一种可能的情况下，参考实体对象的姿态可以包括面部表情和肢体动作中至少一种。识别参考对象的姿态，可以基于预先训练的神经网络模型，对获取的现实场景图像进行姿态识别处理，得到现实场景图像中展示的参考实体对象姿态。
在一种可能的情况下，识别拍摄到的参考实体对象姿态可以通过以下方式实现：检测 AR设备在现实场景中的位置信息与虚拟对象在现实场景中对应的位置信息之间的距离；在距离在预设距离范围内的情况下，识别拍摄到的参考实体对象姿态。
具体的，可以将获取的现实场景图像输入到预先训练的神经网络模型中，神经网络模型可以输出在获取的现实场景图像中识别到的姿态，并将识别到的姿态，确定为参考实体对象姿态。
训练神经网络的训练样本可以是带有姿态标签的样本图像，例如姿态标签可以是面部表情标签(例如面部表情可以是微笑、大笑、哭或疑问等)和/或肢体动作标签(例如肢体动作可以是拍照、握手或打招呼等)，基于神经网络模型可以得到每一个样本图像的预测姿态，基于样本图像的预测姿态和姿态标签，可以对神经网络进行训练，具体的训练过程将不再展开介绍。
将AR设备当前展示的增强现实数据更新为第一目标增强现实数据，可以是将增强现实数据中的虚拟对象的特效数据进行更新，使得AR设备当前展示的虚拟对象呈现新的展示状态。
示例性的，在一种场景下，参考实体对象为现实场景中与操作AR设备的用户配合的另一用户，通过AR设备获取该另一用户的手势、表情和/或肢体等，然后控制虚拟对象呈现与该另一用户的手势、表情和/或肢体相对应的状态。这里，可识别的用户的手势、表情和/或肢体动作等可以是预先设置的，与每一种手势、表情和/或肢体动作所对应的虚拟对象的状态也可以是预先设置的。例如，在未识别到参考实体对象的姿态之前，虚拟对象的特效数据也即虚拟物体呈现的状态可以如图5a所示，检测到现实场景图像中参考实体对象的姿态，虚拟物体的呈现状态可以如图5b所示，在图5b中呈现的为虚拟物体在识别到拍照姿势之后呈现的状态。
在另一种场景下，参考实体对象可以为操作AR设备的用户，也即操作AR设备的用户可以基于当前展示的AR场景，对其中的虚拟对象做出相关手势，此时可以识别AR设备用户的手势，执行对应的操作。示例性的，延续图4所示的例子，通过识别现实场景中饮料旁边的两个箭头是否被点击，从而确定是否更改当前显示的饮料及其属性信息；或者通过识别在现实场景中饮料是否被点击，来确定饮料是否被购买。当识别到饮料被点击，可以在AR设备中呈现对应的支付界面，并在检测到支付成功后，生成订单信息，将该订单信息发送到对应的商家服务器，从而实现基于虚拟物体对实体物体的购买。
在又一种可能的实施方式中，还可以响应作用于AR设备的触发操作，然后获取与触发操作匹配的虚拟对象的特效数据，并将AR设备中当前展示的增强现实数据更新为第二目标增强现实数据，第二目标增强现实数据包括与触发操作匹配的虚拟对象的特效数据。
其中，触发操作可以包括在AR设备屏幕上的操作(如点击、双击、长按或滑动等)、声音输入和改变AR设备的位姿(如改变AR设备的位置或者改变AR设备的拍摄角度等)中的至少一种。
示例性的，延续图4所示的例子，在通过AR设备展示饮料的属性信息的情况下，除了可以检测增强现实场景中饮料旁边的两个虚拟按钮是否被点击之外，还可以确定在AR设备的屏幕上两个虚拟按钮对应的位置是否有触发操作，其触发操作对应的效果与在现实场景中检测到的手势操作是对应的。例如在AR设备的屏幕上饮料旁边的箭头的点击操作与在现实场景中基于手势触发饮料旁边的箭头，所匹配的虚拟对象的特效数据可以相同。
具体实施中，在AR设备中展示包括虚拟对象的特效数据的增强现实数据，且现实场景数据包括现实场景图像，虚拟对象包括虚拟物体的情况下，还可以增加现实场景图像中各实体对象与虚拟物体之间的遮挡关系的判断。具体的，可以基于各实体对象的位姿信息、虚拟物体的位姿信息、以及AR设备的位姿信息，确定各实体对象与虚拟对象之间的遮挡关系。
本公开实施例还可以增加导航效果的呈现。
具体地，响应导航请求，获取AR设备在现实场景的当前位置信息和虚拟对象在现实场景中对应的位置信息，然后利用当前位置信息和虚拟对象在现实场景中对应的位置信息生成导航路线，导航路线中的途经点包括虚拟对象在现实场景中的位置，或者包括虚拟对象在现实场景中所在的位置区域，并可以基于AR设备展示包括导航路线的指示数据的增强现实数据。
其中，AR设备可以在本地执行生成导航路线的过程，也可以将导航请求发送给服务器，由服务器来执行，并将导航路线发送给AR设备。
本公开实施例增加导航效果，可以在用户有导航需求的情况下，基于导航需求，生成添加了虚拟对象位置作为途径地的导航路线。一种可能的实施方式中，可以检测是否接收到目的地信息，目的地可以为现实场景中的任一地点，也可以为虚拟对象在现实场景中所在的位置区域，当检测到的目的地信息对应的地点处于虚拟对象在现实场景中所在的位置 区域的范围内的情况下，可以直接基于AR设备当前的位置信息以及目的地信息，确定到达该虚拟对象的最短的行驶路线；在目的地为现实场景中的地点的情况下，可以生成以该目的地作为导航终点，且途径虚拟对象在现实场景中所在的位置区域的最短路线，也即引导用户途径部署有虚拟对象展示位置区域，提高用户在行程中的行路体验和行路趣味性。
除此之外，在并未接收到目的地信息的情况下，也可以主动推送虚拟对象的相关介绍信息，当检测到用户点击虚拟对象的展示触发按钮，可以确定到达虚拟对象所在位置的导航路线，并在AR设备上进行展示。
示例性的，在AR设备中展示包括导航路线的指示数据的增强现实图像，可以如图6所示，增强现实图像中除了包括虚拟物体之外，还可以包括指示符号(如地上的箭头)，通过展示指示符号，可以指引用户到达对应位置。
示例性的，当用户到达某个目标虚拟物时，可以向用户推送到达与该目标虚拟物关联的其他目标虚拟物的导航路径。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于相同的构思，本公开实施例提供了一种增强现实数据呈现装置，参见图7所示，为本公开实施例所提供的一种增强现实数据呈现装置的架构示意图，包括获取部分701、识别部分702、展示部分703、以及导航部分704，具体的：
获取部分701，包括获取现实场景数据，并将所述现实场景数据传输至识别部分702；
识别部分702，被配置为识别所述现实场景数据中目标实体对象的属性信息，确定与所述属性信息匹配的虚拟对象的特效数据，并将所述虚拟对象的特效数据传输至展示部分703；
展示部分703，被配置为基于所述虚拟对象的特效数据，在增强现实AR设备中展示包括所述虚拟对象的特效数据的增强现实数据。
一种可选的实施方式中，所述现实场景数据包括现实场景图像；
所述识别部分702，还被配置为：在识别所述现实场景数据中目标实体对象的属性信息之前，检测所述AR设备在现实场景中的位姿数据；所述位姿数据包括所述AR设备在现实场景中的位置信息和/或拍摄角度；在所述现实场景图像中展示的至少一个实体对象中， 确定与所述位姿数据匹配的目标实体对象。
一种可选的实施方式中，所述展示部分703，还被配置为：
识别拍摄到的参考实体对象姿态；
获取与所述参考实体对象姿态匹配的虚拟对象的特效数据；
将所述AR设备中当前展示的增强现实数据更新为第一目标增强现实数据，所述第一目标增强现实数据包括与所述参考实体对象姿态匹配的虚拟对象的特效数据。
一种可选的实施方式中，所述参考实体对象姿态包括面部表情和肢体动作中至少一种。
一种可选的实施方式中，所述展示部分703，还被配置为：
检测所述AR设备在现实场景中的位置信息与所述虚拟对象在所述现实场景中对应的位置信息之间的距离；
在所述距离在预设距离范围内的情况下，识别拍摄到的参考实体对象姿态。
一种可选的实施方式中，所述展示部分703，还被配置为：
基于预先训练的神经网络模型，对获取的现实场景图像进行姿态识别处理，得到所述现实场景图像中展示的所述参考实体对象姿态。
一种可选的实施方式中，所述展示部分703，还被配置为：
响应作用于所述AR设备的触发操作；
获取与所述触发操作匹配的虚拟对象的特效数据；
将所述AR设备中当前展示的增强现实数据更新为第二目标增强现实数据，所述第二目标增强现实数据包括与所述触发操作匹配的虚拟对象的特效数据。
一种可选的实施方式中，所述触发操作包括作用在所述AR设备屏幕上的操作、声音输入和改变所述AR设备的位姿中至少一种。
一种可选的实施方式中，所述装置还包括导航部分704，所述导航部分704被配置为：
响应导航请求，获取所述AR设备在现实场景的当前位置信息和所述虚拟对象在所述现实场景中对应的位置信息；
利用所述当前位置信息和所述虚拟对象在所述现实场景中对应的位置信息，生成导航路线；所述导航路线中的途经点包括所述虚拟对象在现实场景中的位置；
在所述AR设备中展示包括所述导航路线的指示数据的增强现实数据。
一种可选的实施方式中，所述识别部分702，还被配置为：
获取所述AR设备在现实场景的位姿数据；
基于所述AR设备在现实场景的位姿数据、和所述虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，确定与所述属性信息匹配的所述虚拟对象的特效数据。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
在本公开实施例以及其他的实施例中，“部分”可以是部分电路、部分处理器、部分程序或软件等等，当然也可以是单元，还可以是模块也可以是非模块化的。
基于同一技术构思，本公开实施例还提供了一种电子设备。参照图8所示，为本公开实施例提供的电子设备的结构示意图，包括处理器801、存储器802、和总线803。其中，存储器802用于存储执行指令，包括内存8021和外部存储器8022；这里的内存8021也称内存储器，用于暂时存放处理器801中的运算数据，以及与硬盘等外部存储器8022交换的数据，处理器801通过内存8021与外部存储器8022进行数据交换，在电子设备800运行的情况下，处理器801与存储器802之间通过总线803通信，使得处理器801在执行以下指令：
获取现实场景数据；
识别所述现实场景数据中目标实体对象的属性信息，确定与所述属性信息匹配的虚拟对象的特效数据；
基于所述虚拟对象的特效数据，在增强现实AR设备中展示包括所述虚拟对象的特效数据的增强现实数据。
其中，处理器801执行的具体处理过程可参照上述方法实施例或者装置实施例中的描述，这里不再展开说明。
此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的增强现实数据呈现方法的步骤。
本公开实施例所提供的增强现实数据呈现方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的增强现实数据呈现方法的步骤，具体可参见上述方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开实施例的具体实施方式，但本公开实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开实施例的保护范围之内。因此，本公开实施例的保护范围应以权利要求的保护范围为准。
工业实用性
本公开实施例提供了一种增强现实数据呈现方法、装置、电子设备及存储介质，该方法包括：获取现实场景数据；识别所述现实场景数据中目标实体对象的属性信息，确定与 所述属性信息匹配的虚拟对象的特效数据；基于所述虚拟对象的特效数据，在增强现实AR设备中展示包括所述虚拟对象的特效数据的增强现实数据。通过上述方法，可以基于识别出的现实场景数据中的不同的目标实体对象的属性信息，确定出虚拟对象的特效数据，并在AR设备中展示融入到现实场景的虚拟对象的特效数据，可以使得虚拟对象的展示与现实场景数据中目标实体数据的属性信息相匹配，提升了增强现实场景的展示效果。

Claims (22)

  1. 一种增强现实数据呈现方法，包括：
    获取现实场景数据；
    识别所述现实场景数据中目标实体对象的属性信息，确定与所述属性信息匹配的虚拟对象的特效数据；
    基于所述虚拟对象的特效数据，在增强现实AR设备中展示包括所述虚拟对象的特效数据的增强现实数据。
  2. 根据权利要求1所述的方法，其中，所述现实场景数据包括现实场景图像；
    在识别所述现实场景数据中目标实体对象的属性信息之前，还包括：
    检测所述AR设备在现实场景中的位姿数据；所述位姿数据包括所述AR设备在现实场景中的位置信息和/或拍摄角度；
    在所述现实场景图像中展示的至少一个实体对象中，确定与所述位姿数据匹配的目标实体对象。
  3. 根据权利要求1或2所述的方法，其中，所述方法还包括：
    识别拍摄到的参考实体对象姿态；
    获取与所述参考实体对象姿态匹配的虚拟对象的特效数据；
    将所述AR设备中当前展示的增强现实数据更新为第一目标增强现实数据，所述第一目标增强现实数据包括与所述参考实体对象姿态匹配的虚拟对象的特效数据。
  4. 根据权利要求3所述的方法，其中，所述参考实体对象姿态包括面部表情和肢体动作中至少一种。
  5. 根据权利要求3或4所述的方法，其中，所述识别拍摄到的参考实体对象姿态，包括：
    检测所述AR设备在现实场景中的位置信息与所述虚拟对象在所述现实场景中对应的位置信息之间的距离；
    在所述距离在预设距离范围内的情况下，识别拍摄到的参考实体对象姿态。
  6. 根据权利要求3至5任一所述的方法，其中，所述识别拍摄到的参考实体对象姿态，包括：
    基于预先训练的神经网络模型，对获取的现实场景图像进行姿态识别处理，得到所述现实场景图像中展示的所述参考实体对象姿态。
  7. 根据权利要求1至6任一所述的方法，其中，所述方法还包括：
    响应作用于所述AR设备的触发操作；
    获取与所述触发操作匹配的虚拟对象的特效数据；
    将所述AR设备中当前展示的增强现实数据更新为第二目标增强现实数据，所述第二目标增强现实数据包括与所述触发操作匹配的虚拟对象的特效数据。
  8. 根据权利要求7所述的方法，其中，所述触发操作包括作用在所述AR设备屏幕上的操作、声音输入和改变所述AR设备的位姿中至少一种。
  9. 根据权利要求1至8任一所述的方法，其中，所述方法还包括：
    响应导航请求，获取所述AR设备在现实场景的当前位置信息和所述虚拟对象在所述现实场景中对应的位置信息；
    利用所述当前位置信息和所述虚拟对象在所述现实场景中对应的位置信息，生成导航路线；所述导航路线中的途经点包括所述虚拟对象在现实场景中的位置；
    在所述AR设备中展示包括所述导航路线的指示数据的增强现实数据。
  10. 根据权利要求1至9任一所述的方法，其中，所述确定与所述属性信息匹配的虚拟对象的特效数据，包括：
    获取所述AR设备在现实场景的位姿数据；
    基于所述AR设备在现实场景的位姿数据和所述虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，确定与所述属性信息匹配的所述虚拟对象的特效数据。
  11. 一种增强现实数据呈现装置，包括：
    获取部分，包括获取现实场景数据，并将所述现实场景数据传输至识别部分；
    识别部分，被配置为识别所述现实场景数据中目标实体对象的属性信息，确定与所述属性信息匹配的虚拟对象的特效数据，并将所述虚拟对象的特效数据传输至展示部分；
    展示部分，被配置为基于所述虚拟对象的特效数据，在增强现实AR设备中展示包括所述虚拟对象的特效数据的增强现实数据。
  12. 根据权利要求11所述的装置，其中，所述现实场景数据包括现实场景图像；所述识别部分，还被配置为：
    在识别所述现实场景数据中目标实体对象的属性信息之前，检测所述AR设备在现实场景中的位姿数据；所述位姿数据包括所述AR设备在现实场景中的位置信息和/或拍摄角度；
    在所述现实场景图像中展示的至少一个实体对象中，确定与所述位姿数据匹配的目标实体对象。
  13. 根据权利要求11或12所述的装置，其中，所述展示部分，还被配置为：
    识别拍摄到的参考实体对象姿态；
    获取与所述参考实体对象姿态匹配的虚拟对象的特效数据；
    将所述AR设备中当前展示的增强现实数据更新为第一目标增强现实数据，所述第一目标增强现实数据包括与所述参考实体对象姿态匹配的虚拟对象的特效数据。
  14. 根据权利要求13所述的装置，其中，所述参考实体对象姿态包括面部表情和肢体动作中至少一种。
  15. 根据权利要求13或14所述的装置，其中，所述展示部分，还被配置为：
    检测所述AR设备在现实场景中的位置信息与所述虚拟对象在所述现实场景中对应的位置信息之间的距离；
    在所述距离在预设距离范围内的情况下，识别拍摄到的参考实体对象姿态。
  16. 根据权利提前13或15任一所述的装置，其中，所述展示部分，还被配置为：
    基于预先训练的神经网络模型，对获取的现实场景图像进行姿态识别处理，得到所述现实场景图像中展示的所述参考实体对象姿态。
  17. 根据权利要求11至16任一所述的装置，其中，所述展示部分，还被配置为：
    响应作用于所述AR设备的触发操作；
    获取与所述触发操作匹配的虚拟对象的特效数据；
    将所述AR设备中当前展示的增强现实数据更新为第二目标增强现实数据，所述第二目标增强现实数据包括与所述触发操作匹配的虚拟对象的特效数据。
  18. 根据权利要求17所述的装置，其中，所述触发操作包括作用在所述AR设备屏幕上的操作、声音输入和改变所述AR设备的位姿中至少一种。
  19. 根据权利要求11至18任一所述的装置，其中，所述装置还包括导航部分，所述导航部分被配置为：
    响应导航请求，获取所述AR设备在现实场景的当前位置信息和所述虚拟对象在所述现实场景中对应的位置信息；
    利用所述当前位置信息和所述虚拟对象在所述现实场景中对应的位置信息，生成导航路线；所述导航路线中的途经点包括所述虚拟对象在现实场景中的位置；
    在所述AR设备中展示包括所述导航路线的指示数据的增强现实数据。
  20. 根据权利要求11至19任一所述的装置，其中，所述识别部分，还被配置为：
    获取所述AR设备在现实场景的位姿数据；
    基于所述AR设备在现实场景的位姿数据和所述虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，确定与所述属性信息匹配的所述虚拟对象的特效数据。
  21. 一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，在电子设备运行的情况下，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至10任一所述的增强现实数据呈现方法的步骤。
  22. 一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至10任一所述的增强现实数据呈现方法的步骤。
PCT/CN2020/111888 2019-10-15 2020-08-27 一种增强现实数据呈现方法、装置、电子设备及存储介质 WO2021073268A1 (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020207037546A KR20210046591A (ko) 2019-10-15 2020-08-27 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체
JP2020573244A JP2022505998A (ja) 2019-10-15 2020-08-27 拡張現実データの提示方法、装置、電子機器及び記憶媒体
KR1020237003932A KR20230022269A (ko) 2019-10-15 2020-08-27 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체
SG11202013122PA SG11202013122PA (en) 2019-10-15 2020-08-27 Method and apparatus for presenting augmented reality data, electronic device and storage medium
US17/134,772 US20210118235A1 (en) 2019-10-15 2020-12-28 Method and apparatus for presenting augmented reality data, electronic device and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910979912.0 2019-10-15
CN201910979912.0A CN110716645A (zh) 2019-10-15 2019-10-15 一种增强现实数据呈现方法、装置、电子设备及存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/134,772 Continuation US20210118235A1 (en) 2019-10-15 2020-12-28 Method and apparatus for presenting augmented reality data, electronic device and storage medium

Publications (1)

Publication Number Publication Date
WO2021073268A1 true WO2021073268A1 (zh) 2021-04-22

Family

ID=69212600

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/111888 WO2021073268A1 (zh) 2019-10-15 2020-08-27 一种增强现实数据呈现方法、装置、电子设备及存储介质

Country Status (5)

Country Link
KR (1) KR20210046591A (zh)
CN (1) CN110716645A (zh)
SG (1) SG11202013122PA (zh)
TW (1) TW202119362A (zh)
WO (1) WO2021073268A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113190116A (zh) * 2021-04-28 2021-07-30 北京市商汤科技开发有限公司 日程提醒方法、装置、电子设备及存储介质
CN113238657A (zh) * 2021-06-03 2021-08-10 北京市商汤科技开发有限公司 一种信息的展示方法、装置、计算机设备及存储介质
CN113359984A (zh) * 2021-06-03 2021-09-07 北京市商汤科技开发有限公司 瓶体的特效呈现方法、装置、计算机设备及存储介质
CN113359983A (zh) * 2021-06-03 2021-09-07 北京市商汤科技开发有限公司 增强现实数据呈现方法、装置、电子设备及存储介质
CN113411248A (zh) * 2021-05-07 2021-09-17 上海纽盾科技股份有限公司 等保测评中结合ar的数据可视化处理方法及系统
CN113838217A (zh) * 2021-09-23 2021-12-24 北京百度网讯科技有限公司 信息展示方法、装置、电子设备及可读存储介质
CN114155605A (zh) * 2021-12-03 2022-03-08 北京字跳网络技术有限公司 一种控制方法、装置以及计算机存储介质
CN114265330A (zh) * 2021-12-17 2022-04-01 中国人民解放军空军特色医学中心 一种基于模拟飞行的增强现实显示效果评估系统及方法
CN114401442A (zh) * 2022-01-14 2022-04-26 北京字跳网络技术有限公司 视频直播及特效控制方法、装置、电子设备及存储介质
CN114935994A (zh) * 2022-05-10 2022-08-23 阿里巴巴（中国）有限公司 物品数据处理方法、设备及存储介质
CN116212361A (zh) * 2021-12-06 2023-06-06 广州视享科技有限公司 虚拟对象显示方法、装置和头戴式显示装置
WO2023124693A1 (zh) * 2021-12-31 2023-07-06 上海商汤智能科技有限公司 增强现实场景的展示

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质
WO2021184388A1 (zh) * 2020-03-20 2021-09-23 Oppo广东移动通信有限公司 图像展示方法及装置、便携式电子设备
CN111538920A (zh) * 2020-03-24 2020-08-14 天津完美引力科技有限公司 内容的呈现方法及装置、系统、存储介质、电子装置
CN111416938B (zh) * 2020-03-27 2021-11-02 咪咕文化科技有限公司 一种增强现实合拍方法、设备及计算机可读存储介质
CN111476911B (zh) * 2020-04-08 2023-07-25 Oppo广东移动通信有限公司 虚拟影像实现方法、装置、存储介质与终端设备
CN111652979A (zh) * 2020-05-06 2020-09-11 福建工程学院 一种实现ar的方法和系统
CN111625091B (zh) * 2020-05-14 2021-07-20 佳都科技集团股份有限公司 基于ar眼镜的标签叠加方法及装置
CN111610998A (zh) * 2020-05-26 2020-09-01 北京市商汤科技开发有限公司 Ar场景内容的生成方法、展示方法、装置及存储介质
CN111610997A (zh) * 2020-05-26 2020-09-01 北京市商汤科技开发有限公司 Ar场景内容的生成方法、展示方法、展示系统及装置
SG11202108241QA (en) * 2020-05-26 2021-12-30 Beijing Sensetime Technology Development Co Ltd Ar scene content generation method and presentation method, apparatuses, and storage medium
CN111627117B (zh) * 2020-06-01 2024-04-16 上海商汤智能科技有限公司 画像展示特效的调整方法、装置、电子设备及存储介质
CN111627097B (zh) * 2020-06-01 2023-12-01 上海商汤智能科技有限公司 一种虚拟景物的展示方法及装置
CN111640190A (zh) * 2020-06-02 2020-09-08 浙江商汤科技开发有限公司 Ar效果的呈现方法、装置、电子设备及存储介质
CN111595346B (zh) * 2020-06-02 2022-04-01 浙江商汤科技开发有限公司 导航提醒方法、装置、电子设备及存储介质
CN111625103A (zh) * 2020-06-03 2020-09-04 浙江商汤科技开发有限公司 雕塑展示方法、装置、电子设备及存储介质
CN111583421A (zh) * 2020-06-03 2020-08-25 浙江商汤科技开发有限公司 确定展示动画的方法、装置、电子设备及存储介质
CN111625100A (zh) * 2020-06-03 2020-09-04 浙江商汤科技开发有限公司 图画内容的呈现方法、装置、计算机设备及存储介质
CN111638793B (zh) * 2020-06-04 2023-09-01 浙江商汤科技开发有限公司 飞行器的展示方法、装置、电子设备及存储介质
CN111640183A (zh) * 2020-06-04 2020-09-08 上海商汤智能科技有限公司 一种ar数据展示控制方法及装置
CN111639611A (zh) * 2020-06-04 2020-09-08 上海商汤智能科技有限公司 一种历史文物的展示控制方法及装置
CN111638792A (zh) * 2020-06-04 2020-09-08 浙江商汤科技开发有限公司 Ar效果的呈现方法、装置、计算机设备及存储介质
CN111639613B (zh) * 2020-06-04 2024-04-16 上海商汤智能科技有限公司 一种增强现实ar特效生成方法、装置及电子设备
CN111640192A (zh) * 2020-06-05 2020-09-08 上海商汤智能科技有限公司 场景图像处理方法、装置、ar设备以及存储介质
CN111651047B (zh) * 2020-06-05 2023-09-19 浙江商汤科技开发有限公司 一种虚拟物体展示方法、装置、电子设备及存储介质
CN111640193A (zh) * 2020-06-05 2020-09-08 浙江商汤科技开发有限公司 文字处理方法、装置、计算机设备及存储介质
CN111640184A (zh) * 2020-06-05 2020-09-08 上海商汤智能科技有限公司 古建筑物重现方法、装置、电子设备及存储介质
CN111638797A (zh) * 2020-06-07 2020-09-08 浙江商汤科技开发有限公司 一种展示控制方法及装置
CN111640165A (zh) * 2020-06-08 2020-09-08 上海商汤智能科技有限公司 Ar合影图像的获取方法、装置、计算机设备及存储介质
CN111643900B (zh) * 2020-06-08 2023-11-28 浙江商汤科技开发有限公司 一种展示画面控制方法、装置、电子设备和存储介质
CN111679741B (zh) * 2020-06-08 2023-11-28 浙江商汤科技开发有限公司 一种图像处理方法、装置、电子设备和存储介质
CN111651049B (zh) * 2020-06-08 2024-01-09 浙江商汤科技开发有限公司 交互方法、装置、计算机设备及存储介质
CN111640166B (zh) * 2020-06-08 2024-03-26 上海商汤智能科技有限公司 一种ar合影方法、装置、计算机设备及存储介质
CN111640197A (zh) * 2020-06-09 2020-09-08 上海商汤智能科技有限公司 一种增强现实ar特效控制方法、装置及设备
CN111640199B (zh) * 2020-06-10 2024-01-09 浙江商汤科技开发有限公司 一种ar特效数据生成的方法及装置
CN111857341B (zh) * 2020-06-10 2023-06-13 浙江商汤科技开发有限公司 一种展示控制方法及装置
CN111640200B (zh) * 2020-06-10 2024-01-09 浙江商汤科技开发有限公司 一种ar场景特效生成的方法及装置
CN111651057A (zh) * 2020-06-11 2020-09-11 浙江商汤科技开发有限公司 一种数据展示方法、装置、电子设备及存储介质
CN111652986B (zh) * 2020-06-11 2024-03-05 浙江商汤科技开发有限公司 舞台效果呈现方法、装置、电子设备及存储介质
CN111640202B (zh) * 2020-06-11 2024-01-09 浙江商汤科技开发有限公司 一种ar场景特效生成的方法及装置
CN111667590B (zh) * 2020-06-12 2024-03-22 上海商汤智能科技有限公司 一种互动合影方法、装置、电子设备及存储介质
CN111693063A (zh) * 2020-06-12 2020-09-22 浙江商汤科技开发有限公司 导航互动展示方法、装置、电子设备及存储介质
CN111667588A (zh) * 2020-06-12 2020-09-15 上海商汤智能科技有限公司 人物图像处理方法、装置、ar设备以及存储介质
CN111652987B (zh) * 2020-06-12 2023-11-07 浙江商汤科技开发有限公司 一种ar合影图像生成的方法及装置
CN111862341A (zh) * 2020-07-09 2020-10-30 北京市商汤科技开发有限公司 虚拟对象的驱动方法、装置、显示设备及计算机存储介质
CN111833461B (zh) * 2020-07-10 2022-07-01 北京字节跳动网络技术有限公司 一种图像特效的实现方法、装置、电子设备及存储介质
CN111897431B (zh) * 2020-07-31 2023-07-25 北京市商汤科技开发有限公司 展示方法及装置、显示设备、计算机可读存储介质
CN111899350A (zh) * 2020-07-31 2020-11-06 北京市商汤科技开发有限公司 增强现实ar图像的呈现方法及装置、电子设备、存储介质
CN111881861B (zh) * 2020-07-31 2023-07-21 北京市商汤科技开发有限公司 一种展示方法、装置、设备及存储介质
CN111880659A (zh) * 2020-07-31 2020-11-03 北京市商汤科技开发有限公司 虚拟人物控制方法及装置、设备、计算机可读存储介质
CN111882567A (zh) * 2020-08-03 2020-11-03 深圳传音控股股份有限公司 Ar效果的处理方法、电子设备及可读存储介质
CN111880664A (zh) * 2020-08-03 2020-11-03 深圳传音控股股份有限公司 Ar互动方法、电子设备及可读存储介质
CN111982093A (zh) * 2020-08-24 2020-11-24 深圳市慧鲤科技有限公司 导航方法、装置、电子设备和存储介质
CN112037314A (zh) * 2020-08-31 2020-12-04 北京市商汤科技开发有限公司 图像显示方法、装置、显示设备及计算机可读存储介质
CN112053370A (zh) 2020-09-09 2020-12-08 脸萌有限公司 基于增强现实的显示方法、设备及存储介质
CN112068704B (zh) * 2020-09-10 2023-12-08 上海幻维数码创意科技股份有限公司 一种在目标对象上显示增强现实效果的方法
CN112437226B (zh) * 2020-09-15 2022-09-16 上海传英信息技术有限公司 图像处理方法、设备及存储介质
CN112148197A (zh) * 2020-09-23 2020-12-29 北京市商汤科技开发有限公司 增强现实ar交互方法、装置、电子设备及存储介质
KR20220045799A (ko) 2020-10-06 2022-04-13 삼성전자주식회사 전자 장치 및 그 동작 방법
CN112270765A (zh) * 2020-10-09 2021-01-26 百度(中国)有限公司 信息处理方法、装置、终端、电子设备以及存储介质
CN114529690B (zh) * 2020-10-30 2024-02-27 北京字跳网络技术有限公司 增强现实场景呈现方法、装置、终端设备和存储介质
CN112288889A (zh) * 2020-10-30 2021-01-29 北京市商汤科技开发有限公司 指示信息展示方法、装置、计算机设备及存储介质
CN112348968B (zh) * 2020-11-06 2023-04-25 北京市商汤科技开发有限公司 增强现实场景下的展示方法、装置、电子设备及存储介质
CN114584684A (zh) * 2020-11-30 2022-06-03 北京市商汤科技开发有限公司 信息展示方法、装置、电子设备及存储介质
CN112927293A (zh) * 2021-03-26 2021-06-08 深圳市慧鲤科技有限公司 Ar场景展示方法及装置、电子设备和存储介质
CN112991555B (zh) * 2021-03-30 2023-04-07 北京市商汤科技开发有限公司 数据展示方法、装置、设备以及存储介质
CN113325951B (zh) * 2021-05-27 2024-03-29 百度在线网络技术（北京）有限公司 基于虚拟角色的操作控制方法、装置、设备以及存储介质
CN113426117B (zh) * 2021-06-23 2024-03-01 网易（杭州）网络有限公司 虚拟相机拍摄参数获取方法、装置、电子设备和存储介质
CN113470186A (zh) * 2021-06-30 2021-10-01 北京市商汤科技开发有限公司 Ar交互方法、装置、电子设备及存储介质
CN113867528A (zh) * 2021-09-27 2021-12-31 北京市商汤科技开发有限公司 显示方法、装置、设备及计算机可读存储介质
CN114390215B (zh) * 2022-01-20 2023-10-24 脸萌有限公司 一种视频生成方法、装置、设备以及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530903A (zh) * 2013-10-28 2014-01-22 智慧城市系统服务（中国）有限公司 一种虚拟试衣间的实现方法及实现系统
CN108537149A (zh) * 2018-03-26 2018-09-14 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108874114A (zh) * 2017-05-08 2018-11-23 腾讯科技（深圳）有限公司 实现虚拟对象情绪表达的方法、装置、计算机设备及存储介质
CN108932051A (zh) * 2017-05-24 2018-12-04 腾讯科技（北京）有限公司 增强现实图像处理方法、装置及存储介质
CN109089097A (zh) * 2018-08-28 2018-12-25 恒信东方文化股份有限公司 一种基于vr图像处理的焦点对象选取方法
CN109078327A (zh) * 2018-08-28 2018-12-25 百度在线网络技术（北京）有限公司 基于ar的游戏实现方法和设备
CN109345637A (zh) * 2018-08-27 2019-02-15 阿里巴巴集团控股有限公司 基于增强现实的互动方法及装置
CN109459029A (zh) * 2018-11-22 2019-03-12 亮风台（上海）信息科技有限公司 一种用于确定目标对象的导航路线信息的方法与设备
CN109741462A (zh) * 2018-12-29 2019-05-10 广州欧科信息技术股份有限公司 基于ar的展品导赏装置、方法及存储介质
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043890A (zh) * 2009-10-16 2011-05-04 马天龙 一种将实体与虚拟物品相关联的控制平台及相应控制方法
JP6108926B2 (ja) * 2013-04-15 2017-04-05 オリンパス株式会社 ウェアラブル装置、プログラム及びウェアラブル装置の表示制御方法
US10600111B2 (en) * 2016-11-30 2020-03-24 Bank Of America Corporation Geolocation notifications using augmented reality user devices
CN107204031B (zh) * 2017-04-27 2021-08-24 腾讯科技（深圳）有限公司 信息展示方法及装置
EP3639261B1 (en) * 2017-05-05 2023-08-30 Unity IPR APS Contextual applications in a mixed reality environment
CN109213728A (zh) * 2017-06-29 2019-01-15 深圳市掌网科技股份有限公司 基于增强现实的文物展示方法及系统
CN108491485A (zh) * 2018-03-13 2018-09-04 北京小米移动软件有限公司 信息提示方法、装置和电子设备
CN108519817A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 基于增强现实的交互方法、装置、存储介质及电子设备
CN108492363B (zh) * 2018-03-26 2020-03-10 Oppo广东移动通信有限公司 基于增强现实的结合方法、装置、存储介质及电子设备
CN108563327B (zh) * 2018-03-26 2020-12-01 Oppo广东移动通信有限公司 增强现实方法、装置、存储介质及电子设备
CN108829250A (zh) * 2018-06-04 2018-11-16 苏州市职业大学 一种基于增强现实ar的对象互动展示方法
CN108876484A (zh) * 2018-08-06 2018-11-23 百度在线网络技术（北京）有限公司 商品推荐方法及装置
CN109298780A (zh) * 2018-08-24 2019-02-01 百度在线网络技术（北京）有限公司 基于ar的信息处理方法、装置、ar设备及存储介质
CN110286773B (zh) * 2019-07-01 2023-09-19 腾讯科技（深圳）有限公司 基于增强现实的信息提供方法、装置、设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530903A (zh) * 2013-10-28 2014-01-22 智慧城市系统服务（中国）有限公司 一种虚拟试衣间的实现方法及实现系统
CN108874114A (zh) * 2017-05-08 2018-11-23 腾讯科技（深圳）有限公司 实现虚拟对象情绪表达的方法、装置、计算机设备及存储介质
CN108932051A (zh) * 2017-05-24 2018-12-04 腾讯科技（北京）有限公司 增强现实图像处理方法、装置及存储介质
CN108537149A (zh) * 2018-03-26 2018-09-14 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN109345637A (zh) * 2018-08-27 2019-02-15 阿里巴巴集团控股有限公司 基于增强现实的互动方法及装置
CN109089097A (zh) * 2018-08-28 2018-12-25 恒信东方文化股份有限公司 一种基于vr图像处理的焦点对象选取方法
CN109078327A (zh) * 2018-08-28 2018-12-25 百度在线网络技术（北京）有限公司 基于ar的游戏实现方法和设备
CN109459029A (zh) * 2018-11-22 2019-03-12 亮风台（上海）信息科技有限公司 一种用于确定目标对象的导航路线信息的方法与设备
CN109741462A (zh) * 2018-12-29 2019-05-10 广州欧科信息技术股份有限公司 基于ar的展品导赏装置、方法及存储介质
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113190116A (zh) * 2021-04-28 2021-07-30 北京市商汤科技开发有限公司 日程提醒方法、装置、电子设备及存储介质
CN113411248A (zh) * 2021-05-07 2021-09-17 上海纽盾科技股份有限公司 等保测评中结合ar的数据可视化处理方法及系统
CN113411248B (zh) * 2021-05-07 2024-03-05 上海纽盾科技股份有限公司 等保测评中结合ar的数据可视化处理方法及系统
CN113238657A (zh) * 2021-06-03 2021-08-10 北京市商汤科技开发有限公司 一种信息的展示方法、装置、计算机设备及存储介质
CN113359984A (zh) * 2021-06-03 2021-09-07 北京市商汤科技开发有限公司 瓶体的特效呈现方法、装置、计算机设备及存储介质
CN113359983A (zh) * 2021-06-03 2021-09-07 北京市商汤科技开发有限公司 增强现实数据呈现方法、装置、电子设备及存储介质
CN113838217B (zh) * 2021-09-23 2023-09-12 北京百度网讯科技有限公司 信息展示方法、装置、电子设备及可读存储介质
CN113838217A (zh) * 2021-09-23 2021-12-24 北京百度网讯科技有限公司 信息展示方法、装置、电子设备及可读存储介质
CN114155605A (zh) * 2021-12-03 2022-03-08 北京字跳网络技术有限公司 一种控制方法、装置以及计算机存储介质
CN114155605B (zh) * 2021-12-03 2023-09-15 北京字跳网络技术有限公司 一种控制方法、装置以及计算机存储介质
CN116212361A (zh) * 2021-12-06 2023-06-06 广州视享科技有限公司 虚拟对象显示方法、装置和头戴式显示装置
CN116212361B (zh) * 2021-12-06 2024-04-16 广州视享科技有限公司 虚拟对象显示方法、装置和头戴式显示装置
CN114265330A (zh) * 2021-12-17 2022-04-01 中国人民解放军空军特色医学中心 一种基于模拟飞行的增强现实显示效果评估系统及方法
WO2023124693A1 (zh) * 2021-12-31 2023-07-06 上海商汤智能科技有限公司 增强现实场景的展示
CN114401442A (zh) * 2022-01-14 2022-04-26 北京字跳网络技术有限公司 视频直播及特效控制方法、装置、电子设备及存储介质
CN114401442B (zh) * 2022-01-14 2023-10-24 北京字跳网络技术有限公司 视频直播及特效控制方法、装置、电子设备及存储介质
CN114935994A (zh) * 2022-05-10 2022-08-23 阿里巴巴（中国）有限公司 物品数据处理方法、设备及存储介质

Also Published As

Publication number Publication date
KR20210046591A (ko) 2021-04-28
SG11202013122PA (en) 2021-05-28
CN110716645A (zh) 2020-01-21
TW202119362A (zh) 2021-05-16

Similar Documents

Publication Publication Date Title
WO2021073268A1 (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
KR102417645B1 (ko) Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
US11366516B2 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US20210118235A1 (en) Method and apparatus for presenting augmented reality data, electronic device and storage medium
US9761057B2 (en) Indicating out-of-view augmented reality images
TWI534654B (zh) 用於在一頭部安裝裝置上選擇一擴充實境物件之方法及電腦可讀媒體與用於選擇一擴充實境物件之頭部安裝裝置
US20200097093A1 (en) Touch free interface for augmented reality systems
JP7079231B2 (ja) 情報処理装置及び情報処理システム及び制御方法、プログラム
US9639887B2 (en) In-store object highlighting by a real world user interface
KR20220115824A (ko) 콘텐츠를 공간 3d 환경에 매칭
KR20230096043A (ko) 실시간 3d 신체 모션 캡처로부터의 사이드-바이-사이드 캐릭터 애니메이션
KR101691985B1 (ko) 개인 정보 통신기
US20220100265A1 (en) Dynamic configuration of user interface layouts and inputs for extended reality systems
US10802784B2 (en) Transmission of data related to an indicator between a user terminal device and a head mounted display and method for controlling the transmission of data
US20230092282A1 (en) Methods for moving objects in a three-dimensional environment
WO2022252688A1 (zh) 增强现实数据呈现方法、装置、电子设备及存储介质
JP2021043752A (ja) 情報表示装置、情報表示方法及び情報表示システム
KR20170022860A (ko) 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 장치 및 방법
WO2023215637A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020573244

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20877562

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20877562

Country of ref document: EP

Kind code of ref document: A1