WO2022055418A1 - 基于增强现实的显示方法、设备及存储介质 - Google Patents

基于增强现实的显示方法、设备及存储介质 Download PDF

Info

Publication number
WO2022055418A1
WO2022055418A1 PCT/SG2021/050488 SG2021050488W WO2022055418A1 WO 2022055418 A1 WO2022055418 A1 WO 2022055418A1 SG 2021050488 W SG2021050488 W SG 2021050488W WO 2022055418 A1 WO2022055418 A1 WO 2022055418A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
target object
real
avatar
time scene
Prior art date
Application number
PCT/SG2021/050488
Other languages
English (en)
French (fr)
Inventor
卢智雄
陈志立
张璟聪
陈子豪
Original Assignee
脸萌有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 脸萌有限公司 filed Critical 脸萌有限公司
Priority to KR1020227017836A priority Critical patent/KR102646977B1/ko
Priority to JP2022530864A priority patent/JP7422876B2/ja
Priority to BR112022010368A priority patent/BR112022010368A2/pt
Priority to EP21867238.4A priority patent/EP4044123A4/en
Priority to US17/695,636 priority patent/US11594000B2/en
Publication of WO2022055418A1 publication Critical patent/WO2022055418A1/zh
Priority to US18/100,521 priority patent/US11989845B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Definitions

  • Augmented Reality-Based Display Method, Device, and Storage Medium This application claims the priority of Chinese Patent Application No. 202010937921.6 filed on September 9, 2020, the full text of which is incorporated herein by reference as the disclosure of the present application part.
  • TECHNICAL FIELD Embodiments of the present disclosure relate to an augmented reality-based display method, device, and storage medium.
  • Augmented Reality is a technology that integrates virtual information with the real world, and widely uses various technical means such as multimedia, three-dimensional modeling, real-time tracking and registration, intelligent interaction, and sensing , after the computer-generated text, images, 3D models, music, videos and other virtual information are simulated and applied to the real world, the two kinds of information complement each other, so as to realize the "enhancement" of the real world.
  • Augmented Reality technology it has been widely used in various industries.
  • One application of AR technology in the known technology is to superimpose virtual models in the real world, such as cartoon character models, animal models, etc.
  • SUMMARY Embodiments of the present disclosure provide an augmented reality-based display method, device, and storage medium to overcome the problem that the virtual model image is relatively simple and cannot meet the diverse needs of users.
  • an embodiment of the present disclosure provides a display method based on augmented reality, including: in response to a first instruction of a user, acquiring an image of a target object in a real-time scene image collected by an image acquisition unit; the virtual image corresponding to the target object; based on the augmented reality display technology, displaying the virtual image of the target object in the real-time scene image simulacrum.
  • an embodiment of the present disclosure provides an augmented reality-based display device, including: a target object determination unit, configured to acquire, in response to a user's first instruction, a target object image in the real-time scene image collected by the image collection unit; a generating unit, configured to generate a virtual image corresponding to the target object according to the target object image; and a display unit, configured to display the virtual image of the target object in the real-time scene image based on an augmented reality display technology.
  • an embodiment of the present disclosure provides an electronic device, including: at least one processor and a memory; the memory stores computer-executable instructions; the at least one processor executes computer-executable instructions stored in the memory, so that the memory At least one processor performs the method described above in the first aspect and various possible designs of the first aspect.
  • an embodiment of the present disclosure provides a computer-readable storage medium, where computer-executable instructions are stored in the computer-readable storage medium, and when a processor executes the computer-executable instructions, the first aspect and the first aspect above are implemented. Aspects various possible designs of the described method.
  • the method acquires the target object image in the real-time scene image collected by the image acquisition unit by responding to the user's first instruction; and generates the target object according to the target object image.
  • the virtual image corresponding to the object Based on the augmented reality technology, the virtual image of the target object is enhanced and displayed in the real-time scene image.
  • various virtual images can be generated according to user requirements , which can meet the diverse needs of users, and display the virtual image at the target position in the real-time scene image through the augmented reality technology, so as to improve the user's willingness to use the AR technology and the use experience.
  • Examples or technical solutions in the known technology the following will briefly introduce the drawings that need to be used in the description of the embodiments or the known technology. Obviously, the following The drawings in the description are some embodiments of the present disclosure, and for those skilled in the art, other drawings can also be obtained from these drawings without any creative effort.
  • 1 is a schematic flowchart of an augmented reality-based display method according to an embodiment of the present disclosure
  • FIG. 2A is an example diagram of displaying an outline of a target object image according to an embodiment of the present disclosure
  • An example diagram of a user issuing a first instruction to determine a target object image
  • FIG. 3 is an example diagram of a virtual image corresponding to a target object image provided by an embodiment of the present disclosure
  • FIG. 4 is a real-time scene image provided by an embodiment of the present disclosure.
  • Figure 5 is a schematic flowchart of an augmented reality-based display method provided by an embodiment of the present disclosure
  • Figure 6 is a schematic flowchart of an augmented reality-based display method provided by an embodiment of the present disclosure
  • Figure 7 is the present disclosure An example diagram of a process of acquiring a virtual image corresponding to a target object provided by an embodiment;
  • FIG. 1 An example diagram of a process of acquiring a virtual image corresponding to a target object provided by an embodiment
  • FIG. 8 is a structural block diagram of an augmented reality-based display device provided by an embodiment of the present disclosure
  • FIG. 9 is a hardware structure of an electronic device provided by an embodiment of the present disclosure Schematic. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS
  • the embodiments of the present disclosure may be applicable to any electronic device with AR functions, such as smart phones, tablet computers, wearable devices, etc.
  • the application scenarios of the embodiments of the present disclosure may include, for example, the electronic device collects real-time scenes through its image acquisition unit image, generate a corresponding virtual image according to the target object in the scene image, and finally perform enhanced display of the virtual image corresponding to the target object in the real-time scene through the augmented reality display method of each embodiment of the present disclosure, wherein the enhanced display includes: : Based on the augmented reality display technology, a virtual object is displayed, for example, the target object in the real-time scene image is a mango, and the virtual image corresponding to the target object mango is generated by using the virtual image generation method in the embodiment of the present disclosure.
  • FIG. 1 is a schematic flowchart of an augmented reality-based display method provided by an embodiment of the present disclosure.
  • the method of this embodiment may be applied to an electronic device with AR function, and the display method based on augmented reality may include:
  • an image acquisition unit of the electronic device such as a camera, can acquire a real-time scene image and display it on the display unit of the electronic device.
  • the user wants to obtain an avatar corresponding to a certain target object image in the real-time scene image, the user can issue a first instruction, so that the electronic device acquires the target object image in the real-time scene image according to the first instruction.
  • the electronic device may copy the same target object image as the acquired target object image based on the target object image in the real-time scene image collected by the image acquisition unit according to the first instruction, and based on the copied image image of the target object to generate an avatar.
  • the electronic device may perform object segmentation on the target object in the real-time scene image to obtain the target object image. Further, the electronic device may also identify the target object image obtained after the target object is segmented. Specifically, the electronic device may run a preloaded object segmentation algorithm to perform object segmentation on the target object in the real-time scene image, thereby obtaining the target object image.
  • the object segmentation algorithm adopted in the embodiment of the present disclosure may include a salient object segmentation algorithm, and during segmentation, a salient object in a real-time scene image may be used as a target object, and an image of the target object may be segmented.
  • the salient object may be an object in the real-time scene image with a large difference in color from the background, or may be an object in the central area of the real-time scene image, or an object with the largest area in the real-time scene image, and so on. For example, as shown in FIG.
  • the mango in the real-time scene image is located in the central area of the real-time scene image and occupies the largest area, and can be used as the target object; and the earphone is not located in the central area in the real-time scene image, and The occupied area is much smaller than that of mango, so it is not used as the target object.
  • the image of the target object can be highlighted, for example, as shown in FIG.
  • the outline of the target object image, or the target object image can also be highlighted, or the image area other than the target object image can be displayed with low brightness, etc., so that the user can confirm the target object obtained by the current electronic device segmentation.
  • a first instruction may be issued, where the first instruction includes but is not limited to a click operation instruction, a drag operation instruction, a voice operation instruction, an operation instruction obtained by expression recognition, etc. on the identified target object image, etc.
  • the present disclosure does not limit the specific form of the first instruction.
  • the user issues the above-mentioned drag operation instruction by dragging in the contour area of the target object image.
  • the user can move the electronic device, so that the image acquisition unit of the electronic device changes the angle to collect the real-time scene image again, and runs the object segmentation algorithm again, and then takes the salient object in the real-time scene image as the target object.
  • the image is segmented and identified, so that the user can re-confirm whether the target object determined by the current electronic device is consistent with the target object required by the user, and whether the segmentation effect meets the user's expectation.
  • prompt information can also be displayed in the display unit, for example, prompt words such as "scanning and dragging at the object", or a dynamic display can be displayed.
  • Prompt images such as dragging the image of the target object with a finger, a dynamic prompt image placed on a plane, etc., are convenient for prompting the user how to confirm and operate the image of the target object.
  • the electronic device may generate a virtual image corresponding to the target object according to the target object image, wherein the virtual image may have limbs Actions and/or facial expressions, for example, when the image of the target object is an image of a mango, the corresponding avatar can grow limbs and facial expressions on the image of the mango, as shown in FIG. 3 . Further, the limbs and facial expressions can also have certain actions to drive the avatar of Mango to move on the screen of the electronic device.
  • the target object image and animation material may be synthesized to generate the avatar corresponding to the target object, wherein the animation material includes the avatar of the avatar.
  • Body animation footage and/or expression animation footage the body movements and/or expression movements of the virtual image corresponding to the target object may be preset, and corresponding body animation materials and/or expression animation materials may be generated for use in the subsequent synthesis process, that is, Add body animation material and/or expression animation material to the image of the target object to obtain an avatar corresponding to the target object, and the limbs and/or expressions of the avatar can be based on the body animation material and/or expression.
  • the playback of the erotic animation material performs certain actions.
  • the electronic device can display the virtual image of the target object in the real-time scene image through the augmented display technology, that is, the virtual image is superimposed on the real real-time scene through the augmented reality technology
  • the effect of enhanced display is realized, as shown in Figure 4.
  • the virtual image may be displayed at any position in the real-time scene image, for example, it may be any plane area detected in the real-time scene image, or it may be a target position designated by the user in the real-time scene image, which may not be used in this embodiment. Do limit.
  • the user can drag the obtained copied target object image from the initial position of the original target object image to a certain position in the real-time scene image, and further, based on the augmented reality display technology, the avatar of the target object is displayed at the position; or the avatar of the target object generated based on the copied target object image can be displayed first, and then the avatar is displayed to the real-time scene image based on the user's drag operation. at a certain position in the .
  • the user may also rotate, zoom, move, and the like on the displayed avatar.
  • the user may issue a control instruction for the avatar on the display interface of the electronic device, and the control instruction may include, but is not limited to, a rotation control instruction, a zoom-out control instruction, a movement control instruction, and a zoom-in control instruction. control instructions, and control the avatar accordingly.
  • the rotation in this embodiment may include the angle change of the avatar in any situation
  • the movement may include the position change of the avatar in any situation.
  • Scaling can include changes in the size of the avatar in any case.
  • the user may also perform more other interaction processes with the avatar, which will not be repeated here for the sake of brevity.
  • the target object image in the real-time scene image collected by the image acquisition unit is acquired by responding to the first instruction of the user; the virtual image corresponding to the target object is generated according to the target object image; Reality technology, which enhances and displays the virtual image of the target object in the real-time scene image.
  • the virtual image is displayed at the target position in the real-time scene image, and the user's willingness and experience to use the AR technology are improved.
  • the target object image in the real-time scene image collected by the image acquisition unit for the object segmentation algorithm, in order to avoid the object segmentation algorithm running for a long time and occupying the calculation of the electronic device Therefore, it can control the timely running and stopping of the object segmentation algorithm, as shown in Figure 5, and the specific process can be as follows:
  • the user can issue a trigger instruction, and the trigger instruction can be a trigger instruction to turn on the image acquisition unit, or it can be a process in which the image acquisition unit collects real-time scene images, the user passes The trigger command issued when the start button in the interface is triggered, and the electronic device responds to the user's trigger command to start and run the object segmentation algorithm, thereby starting to segment the target object in the real-time scene image. Further, after the user issues the first instruction, the electronic device has acquired the target object image in the real-time scene image according to the first instruction, and at this time, the operation of the object segmentation algorithm can be stopped.
  • the trigger instruction can be a trigger instruction to turn on the image acquisition unit, or it can be a process in which the image acquisition unit collects real-time scene images
  • the user passes The trigger command issued when the start button in the interface is triggered, and the electronic device responds to the user's trigger command to start and run the object segmentation algorithm, thereby starting to segment the target object in the real-time scene image.
  • the user can also control the object segmentation algorithm to stop running in its own way, such as turning off the image acquisition unit or triggering the stop button in the interface, etc., which is not limited here.
  • the electronic device runs the object segmentation algorithm in the algorithm module, and when receiving the first trigger instruction (corresponding to the instruction that triggers the operation of the algorithm), that is, starts the operation of the object segmentation algorithm; when receiving the second trigger instruction (corresponding to the triggering algorithm) command to terminate the operation), then the operation of the object segmentation algorithm is stopped.
  • the user can also control the startup of the object segmentation algorithm through a long-press operation, the object segmentation algorithm keeps running during the long-press operation, and when the long-press operation stops, the operation of the object segmentation algorithm can be ended.
  • the target object image and animation material may be synthesized to generate a virtual image corresponding to the target object.
  • the target object image and animation material are combined
  • the steps of synthesizing may specifically include:
  • the electronic device can first obtain the body animation material and/or the expression animation material of the virtual image, wherein the body animation material and/or the expression animation material can be pre-configured and stored in the electronic device, and when it needs to be synthesized, The electronic device may extract the body animation material and/or the expression animation material, and determine a plurality of connection points on the target object image according to the properties of the target object image (eg, shape, size, texture, etc.), where the connection points are the body animation material and/or the position where the expression animation material is combined with the target object image, for example, the electronic device can set the target object image as the body torso part of the virtual image, and set the multiple connection points determined on the target image as the limb connection points, thereby , the connection point may include the connection position of the limb and the torso part of the body, and then the electronic device may synthe
  • the electronic device can also determine the placement position of the expression on the torso part of the virtual image corresponding to the target object image on the target object image according to the target object image, and synthesize the expression animation material with the target object image, so that the target object image has expression.
  • the limbs and/or expressions may also have a certain animation effect, so as to further obtain the virtual image corresponding to the target object with the animation effect, as shown in FIG. 7 .
  • the electronic device may also play animation materials, including playing body animation materials and/or expression animation materials, so as to control actions and/or expressions of the avatar, that is, to obtain the limbs and/or expressions of the avatar corresponding to the target object. The corresponding actions can be displayed.
  • the electronic device may play the animation material according to the preset animation frame of the animation material, so as to control the action and/or expression of the avatar; and/or, generate and play the animation according to the user's body movement and/or expression
  • the above-mentioned animation material may include a preset animation frame, and the preset animation frame may be preset in which kind of animation the body and/or expression specifically shows.
  • the electronic device may also collect images of the user in real time, and generate animation frames of body animation material and/or expression animation material according to the user's body movements and/or facial expressions, so as to realize that the user controls the corresponding target objects through actions.
  • the step of displaying the virtual image of the target object at the target position in the real-time scene image based on the augmented reality display technology includes the following operations: creating a virtual plane in the real-time scene image generating a 3D space on a virtual plane; and displaying the virtual image of the target object in the generated 3D space based on the augmented reality display technology.
  • a virtual 3D space can be created in the real-time scene image. Specifically, a virtual plane is first created in the real-time scene image, and then based on the virtual plane, a 3D space is generated on the virtual plane, and then based on the augmented reality display technology, the virtual image is enhanced and displayed in the 3D space.
  • creating a virtual plane in the real-time scene image may specifically include: if it is detected that a target plane area exists in the real-time scene image, creating the virtual plane based on the target plane area, wherein, the target plane area is a plane area within a first preset distance range from the image acquisition unit and/or within a central area of the real-time scene image; or, created at a specific position in the real-time scene image the virtual plane.
  • the electronic device can detect the plane area included in the real-time scene image based on the real-time scene image through, for example, the SLAM algorithm, and determine that the distance from the image acquisition unit is within the first preset range and/or within the central area of the real-time scene image Whether there is a plane area, if so, the detected plane area can be used as the target plane area, and further, a virtual plane is created on the basis of the target plane area, and the virtual plane can be close to the target plane area, or parallel to the target plane area, and keep a certain fixed distance from the target plane area. If the target plane area is not detected by the electronic device, a virtual plane can be created at a specific location in the real-time scene image.
  • the electronic device does not detect the target plane area, and directly creates a virtual plane at a specific position in the real-time scene image, where the specific position in the real-time scene image may include the central area or the upper right corner of the real-time scene image.
  • the specific position is specifically in the real-time scene image.
  • the location of the scene image can be set according to actual needs.
  • determining the target position in the 3D space may specifically include: receiving a position specifying instruction issued by a user, specifying a position point triggered by the instruction according to the user's position, establishing a 3D anchor point in the 3D space, The 3D anchor point is used as the target position.
  • the user can issue a location specifying instruction, and after receiving the location specifying instruction issued by the user, the electronic device can determine the location point triggered by the user's location specifying instruction, based on the location point extending to generate an intersection with the 3D space, based on The intersection establishes a 3D anchor point in the 3D space, and the 3D anchor point is the target position for displaying the virtual image in the 3D space, and then the electronic device enhances the display of the virtual image of the target object at the 3D anchor point in the 3D space.
  • the position specifying instruction issued by the user may be the user performing a drag operation ending instruction on the avatar, and the position triggered by the drag ending instruction (that is, where the user drags ends) is the position triggered by the user's position specifying instruction.
  • the position designation instruction is not limited to the end instruction of the user's drag operation on the avatar, but can also be the user's click operation instruction, and the position point triggered by the click operation instruction (that is, the user's click position) is the user's position. Specifies the point at which the command triggers.
  • the electronic device can also display the virtual model in any position in the real-time scene image, for example, in any plane area recognized by the electronic device in the real-time scene image.
  • the electronic device may also determine the display position of the virtual model in other ways, which may not be limited in this embodiment.
  • the method further includes: In the pre-placement stage, the avatar corresponding to the target object can be suspended at a predetermined position in front of the image acquisition unit, and after confirming the target position in the real-time scene image, the avatar is displayed at the target position.
  • S101-S103 may be executed multiple times to place multiple virtual images in the real-time scene image.
  • the existing at least one avatar is located.
  • the existing at least one avatar is moved to a second predetermined range of the avatar corresponding to the target object and displayed. That is, in this embodiment, when the existing avatar in the real-time scene image is too far away from the current placement position of the avatar corresponding to the target object, and exceeds When passing the second preset distance range, the existing virtual image can also be moved to the vicinity of the virtual image corresponding to the target object, that is, within the second preset distance range, so that a better and clearer display can be achieved Multiple avatars.
  • the upper limit of the maximum number of avatars that can be displayed in the real-time scene image can be set. If the number of avatars already existing in the real-time scene image reaches the upper limit, when a new avatar is added, the earliest displayed avatar can be replaced.
  • the collision detection mainly detects whether there is any intersection or interference between any two avatars in the space.
  • the first avatar and/or the second avatar may be removed until there is no interference between the first avatar and the second avatar.
  • the shadow of the virtual image may also be displayed at a specific position around the virtual image.
  • the shadow of the avatar can be obtained, and then the shadow can be placed at a specific position around the avatar, wherein the placement position of the shadow can be determined according to the position of the light source in the real-time scene, for example, the light source is on the left side of the avatar , the shadow is placed on the right side of the virtual image, and the position of the light source can be determined through the real-time scene image, for example, it can determine which direction the shadow of the target object in the real-time scene image is facing, then the position of the light source can be determined, or the real-time image can be detected.
  • the position of the light source in the avatar to determine where the shadow of the avatar is placed.
  • the placement position of the avatar shadow may be directly determined.
  • the position where the shadow of the avatar is placed can also be determined in other ways, for example, it can also be placed in a random direction or in a fixed position.
  • the shadow of the avatar can be adjusted correspondingly according to the action of the avatar, so that the shadow of the avatar is adjusted according to the action of the avatar, so that the effect is more realistic.
  • the virtual image of the target object is enhanced and displayed at the target position of the real-time scene image, and the virtual image may be further dynamically displayed, for example, the animation of the virtual image is dynamically displayed, so as to present the actions and actions of the virtual image on the interface. /Expression animation, increase the user's operating experience and fun.
  • FIG. 8 is a structural block diagram of the display device based on augmented reality provided by an embodiment of the present disclosure.
  • the augmented reality-based display device 80 includes a target object determination unit 801, a generation unit 802 and a display unit 803.
  • the target object determination unit 801 is configured to, in response to the user's first instruction, acquire the target object image in the real-time scene image collected by the image acquisition unit; the generation unit 802 is configured to generate the target object corresponding to the target object image according to the target object image Virtual image; a display unit 803, configured to display the virtual image of the target object in the real-time scene image based on the augmented reality display technology.
  • the target object determining unit 801 when acquiring the target object image in the real-time scene image collected by the image acquisition unit, is configured to: determine the target object in the real-time scene image Perform object segmentation to obtain the target object image, and identify the target object image.
  • the target object determination unit 801 is further configured to: in response to a user's trigger instruction, run a preloaded object segmentation algorithm, so as to detect the target object in the real-time scene image performing object segmentation; and in response to the first instruction, stopping the operation of the object segmentation algorithm.
  • the generating unit 802 when the generating unit 802 generates the virtual image corresponding to the target object according to the target object image, the generating unit 802 is configured to: synthesize the target object image and animation material, and generate the The avatar corresponding to the target object, wherein the animation material includes body animation material and/or expression animation material of the avatar.
  • the generating unit 802 when synthesizing the target object image and animation material, is configured to: acquire the limb animation material and/or the expression animation material; determining a plurality of connection points on the target object image; synthesizing the limb animation material and/or the expression animation material with the target object image through the plurality of connection points to generate a virtual image corresponding to the target object .
  • the display unit 803 is further configured to: play the animation material, so as to perform motion and/or expression control on the avatar.
  • the display unit 803 when the display unit 803 plays the animation material to perform motion and/or expression control on the avatar, the display unit 803 is configured to: according to a preset animation of the animation material Playing the animation material frame by frame to control the action and/or expression of the avatar; and/or generating and playing the animation frame of the animation material according to the physical movement and/or expression of the user, so as to control the movement and/or expression of the avatar.
  • the avatar performs motion and/or expression control.
  • the display unit 803 is further configured to: in response to a user's control instruction on the avatar, perform corresponding control on the avatar, where the control instruction includes at least one of the following Items: Rotation Control Command, Zoom Out Control Command, Move Control Command, Zoom In Control Command.
  • the display unit 803 when displaying the virtual image of the target object in the real-time scene image based on the augmented reality display technology, the display unit 803 is configured to: in the real-time scene image creating a virtual plane; generating a 3D space at the virtual plane; and displaying the virtual image of the target object in the generated 3D space based on the augmented reality display technology.
  • the display unit 803 when creating a virtual plane in the real-time scene image, is configured to: if it is detected that there is a target plane area in the real-time scene image, based on the target creating the virtual plane from a plane area, wherein the target plane area is a plane area that is within a first preset distance range from the image acquisition unit and/or within a central area of the real-time scene image; or The virtual plane is created at a specific location in the scene image.
  • the display unit 803 when displaying the virtual image of the target object in the generated 3D space based on the augmented reality display technology, the display unit 803 is configured to: in the 3D space determining a target position in the 3D space; based on the augmented reality display technology, displaying the virtual image of the target object at the target position in the 3D space.
  • the display unit 803 when the display unit 803 determines the target position in the 3D space, the display unit 803 is configured to: receive a position designation instruction sent by the user, and according to the user's position designation instruction to trigger a position point, at A 3D anchor point is established in the 3D space, and the 3D anchor point is used as the target position.
  • the method is further used for: suspending the virtual image at a predetermined position in front of the image acquisition unit.
  • the display unit 803 is further configured to: if at least one avatar already exists in the real-time scene image, and the location of the existing at least one avatar is close to the target When the distance between the avatars corresponding to the object exceeds a second preset distance range, the existing at least one avatar is moved to a second predetermined range of the avatar corresponding to the target object and displayed.
  • the display unit 803 is further configured to: if multiple avatars already exist in the real-time scene image, perform collision detection between the avatars; When a collision occurs between the images, any one of the two avatars that collide is moved.
  • the display unit 803 when the avatar of the target object is enhanced and displayed at the target position in the real-time scene image, the display unit 803 is further configured to: A shadow of the avatar is displayed at the location.
  • the display unit 803 is further configured to: dynamically display the virtual image of the target object in the real-time scene image based on an augmented reality display technology.
  • the augmented reality-based display device provided in this embodiment can be used to implement the augmented reality display-based technical solutions of the foregoing method embodiments, and its implementation principles and technical effects are similar, and details are not described herein again in this embodiment.
  • FIG. 9 shows a schematic structural diagram of an electronic device 900 suitable for implementing an embodiment of the present disclosure.
  • the electronic device 900 may be a terminal device or a server, and may be used to execute the augmented reality display-based display of the foregoing method embodiments. method.
  • the terminal equipment may include, but not limited to, such as Mobile phone, notebook computer, digital broadcast receiver, personal digital assistant (Personal Digital Assistant, referred to as PDA), tablet computer (Portable Android Device, referred to as PAD), portable multimedia player (Portable Media Player, referred to as PMP), vehicle terminal (
  • PDA Personal Digital Assistant
  • PAD tablet computer
  • PMP portable multimedia player
  • vehicle terminal For example, mobile terminals such as car navigation terminals, wearable electronic devices, etc., and stationary terminals such as digital TVs, desktop computers, and the like.
  • the electronic device shown in FIG. 9 is only an example, and should not impose any limitation on the function and scope of use of the embodiments of the present disclosure. As shown in FIG.
  • the electronic device 900 may include a processing device (eg, a central processing unit, a graphics processor, etc.) 901, which may be stored in a read-only memory (Read Only Memory, ROM for short) 902 according to a program or from a storage device 908 loads a program into a random access memory (Random Access Memory, RAM for short) 903 to execute various appropriate actions and processes.
  • a processing device eg, a central processing unit, a graphics processor, etc.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • various programs and data necessary for the operation of the electronic device 900 are also stored.
  • the processing device 901 , the ROM 902 , and the RAM 903 are connected to each other through a bus 904 .
  • An input/output (I/O) interface 905 is also connected to bus 904 .
  • an input device 906 including a touch screen, a touch pad, a keyboard, a mouse, a camera, a microphone, an accelerometer, a gyroscope, etc.
  • an input device 906 including, for example, a Liquid Crystal Display (LCD for short) ), speaker, vibrator, etc. output device 907
  • storage device 908 including, eg, magnetic tape, hard disk, etc.
  • FIG. 9 shows an electronic device 900 having various means, it should be understood that not all of the illustrated means are required to be implemented or available. More or fewer devices may alternatively be implemented or provided.
  • an embodiment of the present disclosure includes a computer program product, which includes a computer program carried on a computer-readable medium, the computer program includes program code for executing the method shown in the flowchart, and can be used for executing the above method
  • the augmented reality display-based method of an embodiment may be downloaded and installed from the network via the communication device 909 , or from the storage device 908 , or from the ROM 902 .
  • the processing device 901 the above-mentioned functions defined in the methods of the embodiments of the present disclosure are executed.
  • the computer-readable medium mentioned above in the present disclosure may be a computer-readable signal medium quality or computer readable storage medium or any combination of the above.
  • the computer readable storage medium can be, for example, but not limited to, an electrical, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus or device, or any combination of the above. More specific examples of computer readable storage media may include, but are not limited to: electrical connections with one or more wires, portable computer disks, hard disks, random access memory (RAM), read only memory (ROM), erasable Programmable read only memory (EPROM or flash memory), optical fiber, portable compact disk read only memory (CD-ROM), optical storage devices, magnetic storage devices, or any suitable combination of the above.
  • a computer-readable storage medium may be any tangible medium that contains or stores a program that can be used by or in conjunction with an instruction execution system, apparatus, or device.
  • a computer-readable signal medium may include a data signal propagated in baseband or as part of a carrier wave, carrying computer-readable program code therein. Such propagated data signals may take a variety of forms, including but not limited to electromagnetic signals, optical signals, or any suitable combination of the foregoing.
  • a computer-readable signal medium can also be any computer-readable medium other than a computer-readable storage medium that can transmit, propagate, or transmit a program for use by or in conjunction with an instruction execution system, apparatus, or device .
  • the program code embodied on the computer-readable medium may be transmitted by any suitable medium, including but not limited to: wire, optical fiber cable, RF (radio frequency), etc., or any suitable combination of the above.
  • the above-mentioned computer-readable medium may be included in the above-mentioned electronic device; or may exist alone without being assembled into the electronic device.
  • the above computer readable medium carries one or more programs, and when the above one or more programs are executed by the electronic device, the electronic device causes the electronic device to execute the methods shown in the above embodiments.
  • Computer program code for carrying out operations of the present disclosure may be written in one or more programming languages, including object-oriented programming languages such as Java, Smalltalk, C++, and conventional Procedural programming language - such as the "C" language or similar programming language.
  • the program code may execute entirely on the user's computer, partly on the user's computer, as a stand-alone software package, partly on the user's computer and partly on a remote computer, or entirely on the remote computer or server.
  • the remote computer can be connected to the user's computer through any kind of network, including a Local Area Network (LAN) or a Wide Area Network (WAN), or can be connected to an external computer (e.g. using the Internet Internet service provider to connect via the Internet).
  • LAN Local Area Network
  • WAN Wide Area Network
  • Internet Internet service provider to connect via the Internet.
  • each block in the flowchart or block diagram may represent a module, program segment, or part of code that contains one or more logic functions for implementing the specified executable instructions.
  • the functions noted in the block may occur out of the order noted in the figures. For example, two blocks shown in succession may, in fact, be executed substantially concurrently, or the blocks may sometimes be executed in the reverse order, depending upon the functionality involved.
  • each block in the block diagrams and/or flowcharts, and combinations of blocks in the block diagrams and/or flowcharts can be implemented with dedicated hardware-based systems that perform the specified functions or operations , or can be implemented using a combination of dedicated hardware and computer instructions.
  • the units involved in the embodiments of the present disclosure may be implemented in a software manner, and may also be implemented in a hardware manner.
  • the name of the unit does not constitute a limitation on the unit itself under certain circumstances, for example, the first obtaining unit may also be described as "a unit for obtaining at least two Internet Protocol addresses".
  • the functions described herein above may be performed, at least in part, by one or more hardware logic components.
  • exemplary types of hardware logic components include: Field Programmable Gate Arrays (FPGAs), Application Specific Integrated Circuits (ASICs), Application Specific Standard Products (ASSPs), Systems on Chips (SOCs), Complex Programmable Logical Devices (CPLDs) and more.
  • a machine-readable medium may be a tangible medium that may contain or store a program for use by or in connection with an instruction execution system, apparatus, or device.
  • the machine-readable medium may be a machine-readable signal medium or a machine-readable storage medium.
  • Machine-readable media may include, but are not limited to, electronic, magnetic, optical, electromagnetic, infrared, or semiconductor systems, devices, or devices, or any suitable combination of the foregoing.
  • machine-readable storage media would include one or more wire-based electrical connections, portable computer disks, hard disks, random access memory (RAM), read only memory (ROM), erasable programmable read only memory (EPROM or flash memory), fiber optics, compact disk read only memory (CD-ROM), optical storage devices, magnetic storage devices, or any suitable combination of the foregoing.
  • RAM random access memory
  • ROM read only memory
  • EPROM or flash memory erasable programmable read only memory
  • CD-ROM compact disk read only memory
  • optical storage devices magnetic storage devices, or any suitable combination of the foregoing.
  • an augmented reality-based display method including: In response to the user's first instruction, acquire the target object image in the real-time scene image collected by the image acquisition unit; generate a virtual image corresponding to the target object according to the target object image; based on the augmented reality display technology, in the real-time scene The virtual image of the target object is displayed in the image.
  • the acquiring the target object image in the real-time scene image collected by the image acquisition unit includes: performing object segmentation on the target object in the real-time scene image, so as to acquire the target object image in the real-time scene image.
  • the target object image is identified, and the target object image is identified.
  • the method further includes: in response to a user's trigger instruction, running a preloaded object segmentation algorithm to perform object segmentation on the target object in the real-time scene image; responding According to the first instruction, the operation of the object segmentation algorithm is stopped.
  • the generating the virtual image corresponding to the target object according to the target object image includes: synthesizing the target object image and animation material, and generating an image corresponding to the target object.
  • An avatar, wherein the animation material includes body animation material and/or facial expression animation material of the avatar.
  • the synthesizing the target object image and animation material includes: acquiring the limb animation material and/or the expression animation material; determining on the target object image Multiple connection points; synthesizing the body animation material and/or the expression animation material with the target object image through the multiple connection points to generate an avatar corresponding to the target object.
  • the method further includes: playing the animation material to perform motion and/or expression control on the avatar.
  • the playing the animation material to perform motion and/or expression control on the avatar includes: playing the animation material according to a preset animation frame of the animation material , to perform motion and/or expression control on the avatar; and/or The animation frames of the animation material are generated and played according to the body movements and/or expressions of the user, so as to control the movements and/or expressions of the avatar.
  • the method further includes: in response to a user's control instruction on the avatar, performing corresponding control on the avatar, where the control instruction includes at least one of the following: rotating Control command, zoom out control command, move control command, zoom in control command.
  • the displaying the virtual image of the target object in the real-time scene image based on the augmented reality display technology includes: creating a virtual plane in the real-time scene image; generating a 3D space at the virtual plane; and displaying the virtual image of the target object in the generated 3D space based on the augmented reality display technology.
  • the creating a virtual plane in the real-time scene image includes: if it is detected that a target plane area exists in the real-time scene image, creating the virtual plane based on the target plane area a virtual plane, wherein the target plane area is a plane area that is within a first preset distance from the image acquisition unit and/or within the central area of the real-time scene image; or a specific position in the real-time scene image to create the virtual plane.
  • displaying the virtual image of the target object in the generated 3D space based on the augmented reality display technology includes: determining a target position in the 3D space; based on The augmented reality display technology displays the virtual image of the target object at the target position in the 3D space.
  • the determining the target position in the 3D space includes: receiving a position specifying instruction issued by a user, specifying a position point triggered by the instruction according to the position of the user, A 3D anchor point is established, and the 3D anchor point is used as the target position.
  • the method further includes: suspending the virtual image at a predetermined position in front of the image acquisition unit.
  • the method further includes: if at least one avatar already exists in the real-time scene image, and the location of the existing at least one avatar corresponds to the target object When the distance between the avatars exceeds a second preset distance range, the existing at least one avatar is moved to a second predetermined range of the avatar corresponding to the target object and displayed.
  • the method further includes: if multiple avatars already exist in the real-time scene image, performing collision detection between the avatars; When a collision occurs, either one of the two avatars that collide is moved.
  • the method when the virtual image of the target object is displayed in the real-time scene image based on the augmented reality display technology, the method further includes: at a specific position around the virtual image A shadow of the avatar is displayed.
  • the method further includes: dynamically displaying the virtual image of the target object in the real-time scene image based on an augmented reality display technology.
  • an augmented reality-based display device including: a target object determination unit, configured to acquire, in response to a first instruction of a user, a real-time image acquired by an image acquisition unit an image of a target object in a scene image; a generating unit, configured to generate a virtual image corresponding to the target object according to the image of the target object; a display unit, configured to display the real-time scene image based on an augmented reality display technology The avatar of the target object.
  • the target object determination unit when acquiring the target object image in the real-time scene image collected by the image acquisition unit, the target object determination unit is configured to: The object is segmented to obtain the target object image, and the target object image is identified. According to one or more embodiments of the present disclosure, the target object determination unit is further configured to: in response to a user's trigger instruction, run a preloaded object segmentation algorithm, so as to perform a preloaded object segmentation algorithm on the target object in the real-time scene image. object segmentation; in response to the first instruction, stopping the operation of the object segmentation algorithm.
  • the generating unit when the generating unit generates the virtual image corresponding to the target object according to the target object image, the generating unit is configured to: combine the target object image and animation material, and generate the target object image.
  • the generating unit when synthesizing the target object image and animation material, the generating unit is configured to: acquire the limb animation material and/or the expression animation material; Determining multiple connection points on the target object image; synthesizing the body animation material and/or the expression animation material with the target object image through the multiple connection points to generate a virtual image corresponding to the target object.
  • the display unit is further configured to: play the animation material, so as to perform motion and/or expression control on the avatar.
  • the display unit when the display unit is playing the animation material to perform motion and/or expression control on the avatar, the display unit is configured to: according to a preset animation frame of the animation material Playing the animation material to perform motion and/or expression control on the avatar; and/or generating and playing animation frames of the animation material according to the user's body movements and/or expressions, so as to control the virtual image The avatar performs motion and/or expression control.
  • the display unit is further configured to: control the avatar correspondingly in response to a user's control instruction on the avatar, where the control instruction includes at least one of the following : Rotation control command, reduction control command, movement control command, enlargement control command.
  • the display unit when displaying the virtual image of the target object in the real-time scene image based on the augmented reality display technology, the display unit is configured to: create in the real-time scene image virtual plane; generating a 3D space at the virtual plane; and displaying the virtual image of the target object in the generated 3D space based on the augmented reality display technology.
  • the display unit when the display unit creates a virtual plane in the real-time scene image, the display unit is configured to: if it is detected that a target plane area exists in the real-time scene image, based on the target plane area to create the virtual plane, wherein the target plane area is a plane area within a first preset distance range from the image acquisition unit and/or within the central area of the real-time scene image; or in the real-time scene
  • the virtual plane is created at a specific location in the image.
  • the display unit when displaying the virtual image of the target object in the generated 3D space based on the augmented reality display technology, the display unit is configured to: in the 3D space determining a target position; and displaying the virtual image of the target object at the target position in the 3D space based on the augmented reality display technology.
  • the display unit when the display unit determines the target position in the 3D space, the display unit is configured to: receive a position specifying instruction issued by a user, specify a position point triggered by the user's position specifying instruction, A 3D anchor point is established in the 3D space, and the 3D anchor point is used as the target position.
  • the display unit displays the real-time scene image based on an augmented reality display technology Before the virtual image of the target object, the method is further used for: suspending the virtual image at a predetermined position in front of the image acquisition unit.
  • the display unit is further configured to: if at least one avatar already exists in the real-time scene image, and the location of the existing at least one avatar is close to the target object If the distance between the corresponding avatars exceeds a second preset distance range, the existing at least one avatar is moved to a second predetermined range of the avatar corresponding to the target object and displayed.
  • the display unit is further configured to: if a plurality of avatars already exist in the real-time scene image, perform a collision between the avatars Collision detection; when it is determined that a collision occurs between any two avatars, move any one of the two avatars that collide.
  • the display unit when the display unit enhances and displays the avatar of the target object at the target position in the real-time scene image, the display unit is further configured to: at a specific position around the avatar A shadow of the avatar is displayed there.
  • the display unit is further configured to: dynamically display the virtual image of the target object in the real-time scene image based on an augmented reality display technology.
  • an electronic device comprising: at least one processor and a memory; the memory stores computer-executed instructions; the at least one processor executes the memory storage The computer executes the instructions, so that the at least one processor executes the information display method described in the first aspect and various possible designs of the first aspect.
  • a computer-readable storage medium is provided, where computer-executable instructions are stored in the computer-readable storage medium, and when a processor executes the computer-executable instructions, The information display methods described in the first aspect and various possible designs of the first aspect are implemented.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种基于增强现实的显示方法、设备及存储介质，该方法通过响应于用户的第一指令，获取图像采集单元采集的实时场景图像中的目标物体图像；根据目标物体图像生成目标物体对应的虚拟形象；基于增强现实技术，在实时场景图像中显示目标物体的虚拟形象。通过获取目标物体图像，基于目标物体图像生成目标物体对应的虚拟形象，并基于增强现实技术，将虚拟形象显示于实时场景图像中，可以根据用户需求生成各种各样的虚拟形象，满足用户多样化的需求，提高用户使用 AR 技术的使用体验。

Description

基于增强 现实的显示 方法、 设备及存储介 质 本申请 要求于 2020年 9月 9日提交的 中国专利 申请第 202010937921.6 的优 先权， 该中国专利 申请的全文 通过引用 的方式结合 于此以作 为本申请 的 一部 分。 技术领 域 本公开 实施例涉 及一种基 于增强现 实的显示方 法、 设备及存储介质 。 背景技 术 增强现 实技术 （ Augmented Reality , 简称 AR） , 是一种将虚拟信息与真 实世 界融合的技 术， 广泛运用了 多媒体、 三维建模 、 实时跟踪及注册、 智能 交互 、 传感等多种技术手段 ， 将计算机生成的文 字、 图像、 三维模型、 音乐、 视频等 虚拟信 息模拟仿真 后， 应用到真实世界 中， 两种信息互为 补充， 从而 实现对 真实世界 的 “增强” 。 随着增强现实技术的发 展， 其在各行业 中均得 到广 泛应用。 已知技 术中对 AR技术 的一种应 用是在真 实世界中 叠加虚拟模 型， 例如 卡通 人物模型 、 动物模型等， 然而， 已知技术中的虚 拟模型通 常是固定 的， 是 由开发人员预 先设计好 的虚拟模型 形知 这就 导致虚拟模 型形象 比较单一, 无法 满足用户 多样化的需 求，进而影响用 户使用 AR技术的 意愿和使 用体验。 发明 内容 本公开 实施例提 供一种基 于增强现 实的显示方 法、 设备及存储介质 ， 以 克服 虚拟模型 形象比较单 一， 无法满足用户 多样化的 需求的问题 。 第一 方面， 本公开实施例 提供一种基 于增强现 实的显示 方法， 包括： 响应于 用户的第 一指令 ， 获取图像采集单元采 集的实时 场景图像 中的目 标物体 图像； 根据 所述目标物 体图像生 成所述 目标物体对应 的虚拟形 象； 基于增 强现实显 示技术， 在所述实 时场景图像 中显示所述 目标物体 的虚 拟形 象。 第二 方面， 本公开实施例 提供一种基 于增强现 实的显示设 备， 包括： 目标物 体确定单 元， 用于响应于用 户的第一指 令， 获取图像采集 单元采 集的 实时场景 图像中的 目标物体图像 ； 生成单 元， 用于根据所述 目标物体 图像生成 所述目标物 体对应的 虚拟形 象； 显示单 元， 用于基于增强 现实显示技 术， 在所述实时场景 图像中显 示所 述 目标物体的虚 拟形象 。 第三 方面， 本公开实施例 提供一种 电子设备 ， 包括： 至少一个处理器和 存储 器； 所述存 储器存储 计算机执行 指令； 所述 至少一个处 理器执行 所述存储 器存储的计 算机执行 指令， 使得所述 至少 一个处 理器执行 如上第 一方面 以及第 一方面各 种可能 的设计 所述的方 法。 第四 方面， 本公开实施例 提供一种计 算机可读 存储介质 ， 所述计算机可 读存储 介质中存 储有计算机 执行指令 ，当处理器执行所 述计算机 执行指令 时 , 实现如 上第一 方面以及 第一方面各 种可能的 设计所述 的方法。 本公开 实施例提 供的基于 增强现实 的显示方法 、 设备及存储介质 ， 该方 法通 过响应于用 户的第一 指令， 获取图像采 集单元采 集的实时场 景图像中 的 目标 物体图像 ； 根据目标物体图像 生成目标 物体对应 的虚拟形象 ； 基于增强 现实技 术， 在实时场景图像 中增强显 示目标物 体的虚拟形 象。 通过获取目标 物体 图像， 基于目标物体 图像生成 目标物体 对应的虚拟 形知 可以 避免虚拟 形象 需要预先设 计、 且形象固定单 一的问题 ， 本公开实施例中可 根据用户 需 求生 成各种各样 的虚拟形 象， 可以满足用户 多样化的 需求， 通过增强现 实技 术， 将虚拟形象显示在 实时场景图像 中的 目标位置处， 提高用户使 用 AR技 术的 意愿和使 用体验 O 附图说 明 为了更 清楚地说 明本公开 实施例或 已知技术 中的技术方 案， 下面将对实 施例 或已知技 术描述中 所需要使 用的附图作 简单地介 绍， 显而易见地， 下面 描述 中的附 图是本公开 的一些实施 例， 对于本领域普 通技术人 员来讲， 在不 付 出创造性劳 动性的前提 下， 还可以根据这 些附图获得 其他的 附图。 图 1为本公开一实施 例提供 的基于增强 现实的显 示方法流程 示意图 ； 图 2A为本公 开一实施 例提供 的显示目标 物体图像 的轮廓的一 个示例 图； 图 2B为本公 开一实施 例提供的 用户发 出第一指令 、 确定目标物体图像 一个 示例图； 图 3 为本公开一 实施例提供 的目标 物体图像 的对应 的虚拟形 象的示例 图； 图 4为本公开一实施 例提供 的实时场景 图像中显示 虚拟形象 的示例 图； 图 5为本公开一实施 例提供 的基于增强 现实的显 示方法流程 示意图 ； 图 6为本公开一实施 例提供 的基于增强 现实的显 示方法流程 示意图 ； 图 7为本公开一实施 例提供 的获取目标 物体对应 的虚拟形 象过程的示 例 图； 图 8为本公开实施例 提供的基 于增强现 实的显示设 备的结构 框图； 图 9为本公开实施例 提供的 电子设备的硬 件结构示 意图。 具体 实施方式 为使本 公开实施 例的目的 、 技术方案和优点 更加清楚 ， 下面将结合本公 开实施 例中的 附图， 对本公开实施 例中的技 术方案进行 清楚、 完整地描述 ， 显然 ， 所描述的实施例是 本公开一 部分实施 例， 而不是全部的 实施例。 基于 本公 开中的实施 例， 本领域普通技 术人员在 没有作 出创造性劳动 前提下所 获 得的 所有其他 实施例， 都属于本公开保护 的范围。 本公 开实施例可 适用于任 意的具备 AR功 能的电子设 备，例如智能手机 、 平板 电脑、 可穿戴设备等 等， 本公开实施例 的应用场景 可以包括 例如， 电子 设备通 过其图像 采集单元 采集实时 场景图像 ， 根据场景图像中的 目标物体生 成对 应的虚拟形 象， 并经过本公开各 实施例 的增强现 实的显示方 法， 最终将 目标 物体对应 的虚拟形 象在实时场景 的中进行 增强显示 ,其中增强显示包括: 基于 增强现实显 示技术 ， 显示虚拟物体， 例如实时场景 图像中的 目标物体 为 一个 芒果， 通过采用本 公开实施例 中的虚拟 形象生成 方法生成 目标物体 芒果 对应 的虚拟形 象， 经过本公开各实施 例的增 强现实的显 示方法后 ， 可以将目 标物 体芒果对应 的虚拟形 象在实时 场景图像 中进行增强 显示并进一 步通过动 画的 形式动态显 示， 其中芒果对应的 虚拟形象可 具备四肢 和/或表情， 且四肢 和/或表 情可以有 一定的 动作， 以使得芒果对应的 虚拟形 象在实时 场景中运 动。 参考 图 1 , 图 1为本公开实施例提供的基于增 强现实的 显示方法 流程示 意 图。 本实施例的方法 可以应用在 具备 AR功能 的电子设备 中， 该基于增强 现实 的显示方 法可以包括 ：
S101、 响应于用户的 第一指令 ， 获取图像采集单元 采集的实 时场景图像 中的 目标物体 图像。 在本 实施例中 ， 电子设备的图像采 集单元如摄 像头等可 以采集实 时场景 图像 ， 并显示在电子设备 的显示单元 中。 当用户希望得 到实时场景 图像中 的 某一 目标物体 图像对应 的虚拟形象 时， 用户可发出第一 指令， 使得电子设备 根据 第一指令 获取实时场 景图像 中的目标物体 图像。 在一个实施 例中， 电子 设备 可以根据 第一指令 ， 基于图像采集单元 采集到的 实时场景 图像中的 目标 物体 图像， 再复制出同样 的目标物 体图像作 为获取到 的目标物体 图像， 并基 于复 制后的 目标物体图像 生成虚拟 形象。 其中 ， 电子设备可以对实 时场景图像 中的目标物 体进行物 体分割 ， 以得 到 目标物体图像 。 进一步的， 电子设备还可对 目标物体 分割后所 得到的 目标 物体 图像进行 标识。 具体的， 电子设备可运行 预加载的 物体分割 算法， 以对 实时 场景图像 中的目标物 体进行物体 分割， 从而得到 目标物体 图像。 其中， 本公 开实施例 中采用的 物体分割 算法可以 包括显著性 物体分割 算法 , 在分割 时可 将实时场景 图像中的 显著物体作 为目标物 体， 并分割出目标 物体图像 。 其 中， 显著物体可以为 实时场景 图像中与背 景颜色存在 较大差异 的物体 ， 也 可以 为实时场景 图像中心 区域处的 物体， 或者实时场景 图像中所 占面积最 大 的物 体， 等等。 例如图 2A 中所示， 实时场景图像中的芒果 处于实时 场景图 像 中的中心 区域且所 占面积最大 ， 可以将其作为所述 目标物体 ； 而耳机并未 位于 实时场景 图像中的 中心区域 ， 且所占面积较芒果 小很多， 因此不将其作 为所 述目标物体 。 进一 步的，在电子设 备得到 目标物体图像 、对目标物体 图像进行标 识时， 可将 目标物体 图像进行 突出显示 ， 例如如图 2A所 示， 通过描边突 出显示目 标物体 图像的轮 廓， 或者， 也可对目标物体 图像进行 高亮显示 ， 或者， 对除 了 目标物体图像 外的图像 区域进行 低亮度显 示等等， 进而可以使得用户确 认 当前 电子设备分 割得到 的目标物体 是否与用 户自己所 需的目标物 一致。 当用 户确认 一致时 ， 可发出第一指令 ， 其中第一指令包括 但不限于 对经过标识 的 目标 物体图像 的点击操作 指令、 拖拽操作指 令、 语音操作指令 、 表情识别获 取到 的操作指 令等， 本公开不对第 一指令 的具体形 式进行限定 。 如图 2B所 示 ， 用户通过在目标物体 图像的轮 廓区域 内进行拖拽 ， 从而发出上述的拖 拽 操作 指令。 当用户确认不一致时 ， 用户可移动电子设备 ， 使得电子设备的 图 像采 集单元更换 角度重新 采集实 时场景图像 ， 并再次运行物体分 割算法 ， 再 将 实时场景图像 中的显著 物体作为 目标物体 ， 对目标物体图像进行 分割并标 识， 以使用户重新确认 当前电子设备 所确定 的目标物体 是否与用 户自己所 需 的 目标物一致 ， 以及分割效果是 否符合用户 的预期 。 可选 的， 在电子设备得到 目标物体 图像、 对目标物体图像 进行标识 时， 还可 在显示单元 中显示提 示信息 ， 例如可显示提示语 ， 如 “对准物体扫描， 拖动” ， 或者显示动态提示 图， 如用手指拖动 目标物体 图像、 放到平面上的 动态提 示图等 ， 以便于提示用户如 何确认并操 作目标物 体图像 。
S 102、 根据目标物体图像生成 目标物体对 应的虚拟 形象。 在本 实施例中 ， 在得到目标物体 图像后 （例如， 复制原始目标物体图像 后获取 到的 目标物体图像 ） ， 电子设备可根据目标物体 图像生成 目标物体 对 应的虚 拟形象 ， 其中虚拟形象可具有 肢体动作 和/或表情动作 ， 例如， 当目标 物体 图像为芒 果的图像 时， 则对应的虚拟形 象可以在芒 果的图像 上长出四肢 和面 部表情 ， 如图 3所示。 进一步的， 四肢和表情还可 具有一定 的动作以驱 动芒 果的虚拟形 象在电子 设备的屏 幕中运动 。 可选 的， 在根据目标物体 图像生成 目标物体对 应的虚拟 形象时， 可将所 述 目标物体图像 与动画素 材进行合 成， 生成所述目标 物体对应的 虚拟形象 ， 其 中， 该动画素材包括虚 拟形象 的肢体动画 素材和 /或表情动画素材 。 也即， 在本 实施例中 ，可预先设置 目标物体对应 的虚拟形 象的肢体 动作和/或表情 动 作 ， 生成相应的肢体动 画素材和 /或表情动画素材 ， 以用于后续的合 成过程， 也即 在目标物体 图像上 添加肢体动 画素材和/表情 动画素材 ，得到目标物体 对 应的 虚拟形 象， 且该虚拟形象 的肢体和/或表 情可以根 据肢体 动画素材 和/表 情动 画素材的播 放进行 一定的动作 。
S103、 基于增强现 实显示技术 ， 在所述实时场景图像 中显示所 述目标物 体的 虚拟形象 。 在本 实施例中 ， 在得到目标物体的 虚拟形象后 ， 电子设备可通过 增强显 示技 术， 将目标物体的虚 拟形象显 示在实时 场景图像 中， 也即将虚拟形象 通 过增 强现实技术 叠加到真 实的实时 场景图像 中， 实现增强显示的效 果， 如图 4 所示 。 其中可以将虚拟形 象显示于 实时场景 图像中的任 意位置 ， 例如可以 是在 实时场景 图像中检测 到的任意 平面区域 ， 或者也可以是用户 在实时场 景 图像 中指定的 目标位置 ， 本实施例中可不做 限定。 在一种 可选实施 例中， 用户可将获取 到的复制 后的目标 物体图像从 原始 目标 物体图像 的初始位 置出拖动至 实时场景 图像中的 某一位置处 ，进一步的， 基于 增强现实显 示技术 ， 在该位置处显示 目标物体的虚 拟形象； 或者也可先 显示 出基于复 制后的 目标物体图像 生成的 目标物体的虚 拟形象 ， 再基于用户 的拖 动操作将 该虚拟形 象显示至 实时场景图像 中的某一 位置处。 在一 个实施例 中， 用户还可对所显示 的虚拟形 象进行旋 转、 缩放、 移动 等 。 例如， 用户可在电子设备的显 示界面上 发出对虚拟 形象的控 制指令 ， 控 制指 令可包括 但不限于 旋转控制 指令、 缩小控制指令 、 移动控制指令 、 放大 控制 指令， 电子设备响应于用户对虚 拟形象 的控制指令 ， 对该虚拟形象进行 相应 的控制。 需要说明的是， 本实施例中 的旋转可 包括虚拟形 象在任意 情况 下的 角度变化 ， 移动可包括虚拟形 象在任意 情况下 的位置变化 。 缩放可以包 括虚 拟形象在任 意情况 下的大小 的变化。 当然本实施例中， 用户还可与 该虚 拟形 象进行更 多其他的 交互过程 ， 为简明起见， 此处不再 — 赘述。 本实施 例提供 的基于增 强现实的显 示方法，通过响应 于用户的第 一指令, 获取 图像采集单 元采集 的实时场景 图像中的 目标物体 图像； 根据目标物体 图 像生 成目标物体 对应的虚 拟形象； 基于增强现实技术 ， 在实时场景图像中增 强显 示目标物体 的虚拟形 象。 通过获取目标 物体图像 ， 基于目标物体图像 生 成 目标物体对应 的虚拟形 象， 可以避免虚拟 形象需要预 先设计 、 且形象固定 单一 的问题， 本实施例 中可根据用 户需求生 成各种各样 的虚拟形 象， 可以满 足用 户多样化 的需求， 通过增强现 实技术， 将虚拟形 象显示在 实时场景图像 中的 目标位置 处， 提高用户使用 AR技术 的意愿和使 用体验 。 在本公 开的一个 实施例 中， 可选的， 在获取图像采集单 元采集的 实时场 景 图像中的 目标物体图像 时， 针对于物体分割 算法， 为了避免物体分割算 法 长时 间运行， 占用电子设备的运算 资源， 因此可控制物 体分割算 法的适 时运 行和 停止运行 ， 如图 5所示， 具体过程可如下 所示：
5201、 响应于用户的 触发指令 ， 运行预加载的物体 分割算法 ， 以对所述 实时 场景图像 中的所述 目标物体进行 物体分割 ;
5202、 响应于所述第 一指令 ， 停止所述物体分割 算法的运 行。 在本 实施例中 ， 当需要运行物体分 割算法时 ， 用户可发出触发指 令， 触 发指 令可以为 开启图像采 集单元的 触发指令 ， 也可以是在图像采 集单元在 采 集 实时场景图像 的过程 中， 用户通过触发界 面中的启动 按钮时发 出的触发指 令 ， 电子设备响应用户的 触发指令 ， 启动运行物体分割 算法， 从而开始对 实 时场 景图像中 的目标物体 进行物体 分割。进一步 的， 当用户发出第一指令 后， 电子设 备根据第 一指令 已获取实时 场景图像 中的目标物 体图像， 此时则可停 止物 体分割算 法的运行 。 当然 ， 用户也可通过其方 式控制物 体分割算 法停止运 行， 例如关闭图像 采集 单元或者 触发界面 中的停止按 钮等， 此处可不做 限定。 例如 ， 电子设备运行算法模 块中的物 体分割 算法， 当接收到第一 触发指 令 （对应于触发 算法运行 的指令 ） ， 即启动物体分割算法的运 行； 当接收到 第二 触发指令 （对应于触 发算法终 止运行的 指令） ， 则停止物体分割算 法的 运行 。 在一 个实施例 中， 用户也可通过长按 操作控 制物体分割 算法的启 动， 在 长按 操作的过程 中物体 分割算法持 续保持运 行， 当长按操作停 止时， 可结束 物体 分割算法 的运行。 通过采 用上述方 式控制物 体分割算 法的适时 运行和停 止运行 ， 可以避免 物体 分割算法 在电子设备 中的长时 间运行， 并节约了电子设备的运 算资源 。 在上 述任一实施 例的基础 上， 在根据所述 目标物体图像 生成所述 目标物 体对 应的虚拟形 象时， 可将所述 目标物体图像 与动画素 材进行合 成， 以生成 所述 目标物体 对应的虚拟 形象， 其中， 所述动画素材 包括虚拟形 象的肢体 动 画素 材和 /或表情动画素材。 其中 ， 在一个实施例中 ， 如图 6所示， 将所述目标物体 图像与动画 素材 进行 合成的步骤 ， 具体可包括：
5301、 获取所述肢体 动画素材 和/或所述表情 动画素材 ；
5302、 在所述目标物 体图像上 确定多个 连接点；
5303、通过所述 多个连接点 将所述肢 体动画素 材和/或所述表 情动画素 材 与所 述目标物体 图像进行 合成， 以生成所述目标物体 对应的虚拟 形象。 在本 实施例中 ， 电子设备首先可获取虚拟 形象的肢 体动画素材 和/或表情 动画 素材，其中肢体 动画素材 和/或表情动画 素材可以 预先配置 并存储在 电子 设备 中， 在需要进行合成 时， 电子设备可提取出肢 体动画素 材和 /或表情动画 素材 ， 并且根据目标物 体图像的属 性 （例如， 形状、 大小、 纹理等）在目标 物体 图像上确 定多个连接 点，其中连接 点为肢体 动画素材 和/或表情动画素 材 与 目标物体图像 结合的位 置， 例如电子设备 可以将 目标物体图像 设置为虚 拟 形 象的身体躯 干部分 ，将在目标图像上确 定的多个 连接点设置 为肢体连接 点， 由此 ， 连接点可包括肢 体与身体躯 干部分 的连接位 置， 进而电子设备可通 过 连接 点将肢体 动画素材 与目标物体 图像进行 合成， 使得目标物体 图像长 出肢 体 。 此外， 电子设备还可以根据 目标物体图像 在目标物 体图像上 确定表情 在 目标 物体图像对 应的虚拟 形象身体 躯干部分 的放置位 置， 并将表情动画素 材 与 目标物体图像 进行合成 ， 从而使得目标物体 图像具有 表情。 此外， 肢体和/ 或表 情还可以 具有一定 的动画效 果， 从而进一步得到 具有动画 效果的 目标物 体对 应的虚拟形 象， 具体如图 7所示。 进一 步的， 电子设备还可以播放 动画素 材， 包括播放肢 体动画 素材和/ 或表 情动画素 材， 从而对虚拟形象进 行动作和/或表 情控制， 也即使得 目标物 体对 应的虚拟形 象的肢体 和/或表情可 以展示出相 应的动作 。 具体 的， 电子设备可根据 该动画素材 的预设动 画帧播放该 动画素材 ， 以 对该虚 拟形象 进行动作和 /或表情控制； 和 /或， 根据用户的肢体动作和 /或表 情生 成并播放 动画素材 的动画帧 ，以对目标物体 对应的虚拟 形象进行 动作和/ 或表 情控制 。 也即， 上述的动画素材可包括 预设动画 帧， 预设动画帧中可 预 先设 置肢体和/或表 情具体展 示怎样的 动画。 在一个实施例 中， 电子设备还可 以 实时采集用 户的图像 ，并根据用户的肢 体动作和 /或表情动作生成肢体动 画 素材 和 /或表情动画素材的动 画帧，从而实现 用户通过动 作控制 目标物体对应 的虚 拟形象的 动作。 例如用户做 出某个肢体 动作， 则虚拟形象也 相应的展 示 相 同的肢体动作 ， 和/或用户做出某个表情 ， 则虚拟形象也相应 的展示相 同的 表情 ， 通过采用用户的动 作驱动并控 制目标物 体对应的 虚拟形象 的动作， 能 够提 高用户的操 作体验和 乐趣。 在上述 任一实施 例的基础 上， 所述基于增强 现实显示技 术， 在实时场景 图像 中的目标位 置处显示 所述目标 物体的虚 拟形象的 步骤， 包括如下操作 ： 在实 时场景图像 中创建虚拟 平面； 在虚拟平面 处生成 3D空间 ； 基于所 述增 强现实显示 技术，在所生 成的 3D空间中显示 所述目标 物体的虚 拟形象。 在本 实施例中 ， 在增强显示目标物体 的虚拟形 象时， 为了保证虚 拟形象 在 实时场景图像 中的动作 更加真实 、 立体， 可在实时场景图像中创 建一个虚 拟的 3D 空间。 具体的， 首先在实时场景 图像中创 建虚拟平 面， 再以虚拟平 面为基 础， 在虚拟平面之 上生成 3D空 间， 进而基于增强现 实显示技 术， 将 虚拟 形象增强显 示在该 3D空间中 。 在上述 实施例 的基础上 ， 在所述实时场景图像 中创建虚 拟平面， 具体可 包括 ： 若检测 到所述 实时场景图像 中存在 目标平面 区域， 则基于所述 目标平面 区域 创建所述虚 拟平面 ， 其中目标平面区域 为与所述 图像采集 单元距离处 于 第一 预设距离 范围内和 /或处于所述实时 场景图像 的中心区域 内的平面 区域； 或者 ， 在所述实时场景 图像中特定 位置处创建 所述虚拟 平面。 在本 实施例中 ，电子设备可通过 诸如 SLAM算 法基于 实时场景图像 检测 实时 场景图像 中包括的平 面区域 ， 判断与图像采集单元 距离在第 一预设范 围 内和 /或处于实时场景图像中心 区域内是 否存在平 面区域， 若存在， 可将检测 到的 该平面区域 作为 目标平面区域 ， 进一步的， 在该目标平面 区域的基础 上 创建虚 拟平面 ， 虚拟平面可紧贴 目标平面区域 ， 或者平行于 目标平面区域 、 且与 目标平面 区域保持 一定的固 定距离。若电子设备 未检测到 目标平面 区域, 则可 在实时场景 图像中特 定位置处创 建虚拟平 面。 或者电子设备 不检测目标 平面 区域， 直接在实时 场景图像 中特定位置 处创建虚拟 平面， 其中实时场景 图像 中的特定位 置处可 以包括实 时场景图像 的中心区域 或右上 角等区域 ， 特 定位 置具体在 实时场景 图像的哪一 位置可根 据实际需 求进行设置 。 在上述 实施例 的基础上 ， 在生成的 3D 空间中显示 目标物体 的虚拟形 象 时， 由于 3D空间可 能比较大 ， 因此需要确定具体将 虚拟形象 显示在 3D空间 的 目标位置处 ， 也即， 可以首先在 3D空间中确 定目标位 置； 再基于增强现 实显 示技术， 在 3D空间 的目标位置 处显示 目标物体的虚 拟形象 。 在上 述实施例 的基础上 ， 在 3D空间中确定 目标位置， 具体可包括： 接收 用户发出的 位置指定 指令，根据用户的 位置指定 指令触发 的位置点 ， 在 3D空间中建 立 3D锚点 ， 将所述 3D锚点作 为所述 目标位置。 在本 实施例中 ， 用户可发出位置指 定指令， 电子设备在接收到用 户发出 的位 置指定指 令后， 可确定用户 的位置指 定指令触发 的位置点 ， 基于位置点 延伸 到与 3D空间产生 交点 , 基于该交点在 3D空间 中建立 3D锚点 , 3D锚 点 即为在 3D空间 中显示虚拟形 象的 目标位置， 进而电子设备 将目标物 体的 虚拟 形象在 3D空间中的 3D锚点处 增强显示 。 可选 的， 用户发出的位置 指定指令 可以为， 用户对虚拟形象进行拖 动操 作结 束指令， 拖动结束指 令触发的 位置处 （也即用户拖 动结束处 ）为用户 的 位置 指定指令 触发的位 置点； 此外， 位置指定指令 也不限于是 用户对虚 拟形 象的 拖动操作 的结束指令 ， 也可以为用户的 点击操作 指令， 点击操作指令 触 发的 位置点 （也即用户点击位置 ）为用户的 位置指定 指令触发 的位置点 。 当然 电子设备也 可将虚拟模 型显示 于实时场景 图像中的任 意位置 ， 例如 显示 在电子设备 在实时场景 图像中识 别到的任 意平面区域 。 电子设备还可通 过其 他方式确 定虚拟模 型的显示位 置， 本实施例中可 不做限定 。 在上 述任一实施 例的基础 上， 在根据所述 目标物体图像 生成所述 目标物 体对 应的虚拟形 象之后 ， 在实时场景图像中 的目标位置 处增强显 示所述 目标 物体 的虚拟形 象之前， 还包括预放置阶段 ， 即， 可以将目标物体对应的虚 拟 形 象悬浮于图像 采集单元 前方的预 定位置处 ， 在确认实时场景图像 中的 目标 位置 后， 再将虚拟形象 显示在 目标位置处 。 在上 述任一实施 例的基础 上， 本实施例中还 可执行多次 S101-S103从而 在 实时场景图像 中放置多 个虚拟形 象。 可选 的， 若实时场景图像 中已存在至 少一个虚 拟形象 ， 且该已存在的至 少一 个虚拟形 象所在位 置与目标物 体对应的 虚拟形象之 间的距 离超过第二 预 设距 离范围， 则将该已存在的至少 一个虚拟 形象移动 至目标物体 对应的虚 拟 形 象的第二预 定范围内 并显示。 也即， 在本实施例 中， 当实时场景图像 中已 存在 的虚拟形 象距离 目标物体对应 的虚拟形 象当前放 置位置距 离过远、 且超 过第 二预设距 离范围时 ， 可将已存在的虚拟 形象也移 动到目标物 体对应的虚 拟形 象的附近 范围， 也即第二预设 距离范 围之内， 从而可以更好 的、 更清晰 的展 示多个虚 拟形象。 此外， 实时场景图像中可设置 最多可显示 的虚拟形 象 的数 量上限 ， 若实时场景图像中 已存在的虚 拟形象达 到数量上 限， 再新增加 虚拟 形象时， 可将最早显示的虚拟 形象替换 掉。 可选 的， 若所述实时场景 图像中已存 在多个虚 拟形象 ， 为了避免实时场 景 图像中已存 在的多个 虚拟形象之 间出现交 叉、 从而出现穿模 现象， 因此可 以对 各虚拟形 象之间进行 碰撞检测 ； 当确定任意两个虚 拟形象之 间发生碰 撞 时， 电子设备移动发生碰撞 的两个虚 拟形象 中的任意一 个虚拟形 象。 其中碰 撞检 测主要检测 在空间 中任意两个 虚拟形象之 间是否存 在交叉或 干涉， 例如 在第 一虚拟形 象和第二 虚拟形象 的肢体或躯 干部分 出现在 3D空间 中的同一 空 间位置处， 则说明第一虚拟形象 和第二虚 拟形象 出现干涉， 可将第一虚 拟 形 象移开和/或将第 二虚拟形 象移开 ,直至第一 虚拟形象 和第二虚 拟形象之 间 无干 涉。 在上 述任一实施 例的基础 上， 基于增强现实显 示技术 ， 在实时场景图像 中增 强显示 目标物体的虚 拟形象 时， 还可以在虚拟形 象周围的特 定位置处 显 示该 虚拟形象 的影子。 在本 实施例中 ， 可以获取虚拟形象 的影子， 再将影子放置在虚 拟形象周 围的 特定位置 处 ,其中影子的放置位 置可根据 实时场景 中的光源 的位置确 定, 例如 光源在虚 拟形象的 左侧， 则影子放置在 虚拟形 象的右侧， 而其中光源的 位置 可以通过 实时场景 图像进行确 定， 例如可确定实 时场景图像 中目标物体 的影 子朝向哪 个方向 ， 则可确定光源位置 ， 或者可以检测实时 图像中的 光源 位置 从而确定 虚拟形象 的影子放 置位置。 或者也可直接确定虚 拟形象影 子的 放置 位置。 当然虚拟形象的影子放 置的位 置也可通 过其他方 式确定， 例如也 可采 用随机方 向放置或 者固定位 置放置。 此外， 可选的， 虚拟形象的影子可 才艮据虚拟形象的动作 进行相应 的调整， 以使得虚拟 形象的影 子随着虚 拟形象 的动 作进行调整 ， 从而效果更加真 实。 以上 的实施例 中， 在实时场景图像 的目标位置 处增强显 示目标物体 的虚 拟形 象还可以 进一步动 态显示该虚拟 形象， 例如， 动态显示该虚拟 形象的动 画 ， 从而在界面上呈现虚 拟形象的动 作和 /表情动画， 增加用户的操作体验 和 乐趣 。 对应于 上文实施 例的基于 增强现实 的显示方法 ， 图 8为本公开实施例 提 供的 基于增强 现实的显示 设备的结构 框图。 为了便于说明， 仅示出了与本公 开实施 例相关 的部分。 参照图 8, 所述基于增强现 实的显示设 备 80包括 目标 物体 确定单元 801、 生成单元 802以及显示单元 803。 目标物 体确定单 元 801 , 用于响应于用户的第一指令 ， 获取图像采集单 元采 集的实时 场景图像 中的目标物体 图像； 生成单 元 802, 用于根据所述 目标物体图像 生成所述 目标物体对 应的虚 拟形 象； 显示单 元 803, 用于基于增强现 实显示技术 ， 在所述实时场景图像 中显 示所 述目标物体 的虚拟形 象。 根据本 公开的一 个或多个 实施例 ， 所述目标物体确定单 元 801在获取 图 像采 集单元采 集的实时场 景图像中 的目标物体 图像时 ， 用于： 对所述 实时场景 图像中的所 述目标物 体进行物体 分割， 以获取所述目标 物体 图像， 并对所述 目标物体图像 进行标识 。 根据本 公开的一 个或多个 实施例 ， 所述目标物体确定单 元 801还用于 ： 响应于 用户的触 发指令， 运行预加载 的物体分 割算法 ， 以对所述实时场 景 图像中的所 述目标物体 进行物体 分割； 响应于 所述第一 指令， 停止所述物 体分割算 法的运行 。 根据本 公开的一 个或多个 实施例 ， 所述生成单元 802根据所述目标物 体 图像 生成所述 目标物体对 应的虚拟 形象时， 用于： 将所述 目标物体 图像与动 画素材进行 合成， 生成所述 目标物体对 应的虚 拟形 象， 其中 ， 所述动画素材包括 虚拟形象 的肢体动 画素材和 /或表情动画素材 。 根据本 公开的一 个或多个 实施例 ， 所述生成单元 802在将所述目标物 体 图像 与动画素材 进行合成 时， 用于： 获取所 述肢体动 画素材和/或所 述表情动 画素材； 在所述 目标物体 图像上确 定多个连接 点； 通过 所述多个 连接点将 所述肢 体动画素 材和 /或所述表情动 画素材 与所 述 目标物体图像 进行合成 ， 生成所述目标物 体对应的虚 拟形象 。 根据本 公开的一 个或多个 实施例 ， 所述显示单元 803还用于 ： 播放 所述动画素 材， 以对所述虚拟 形象进行动 作和/或表情控 制。 根据本 公开的一 个或多个 实施例 ， 所述显示单元 803在播放 所述动画 素 材 ， 以对所述虚拟形象进 行动作和/或表 情控制时 ， 用于： 根据 所述动画素 材的预设 动画帧播放 所述动画 素材， 以对所述虚 拟形象 进行 动作和 /或表情控制； 和 /或 根据 所述用户 的肢体动作 和/或表情生成 并播放所 述动画素材 的动画 帧， 以对 所述虚拟形 象进行动 作和/或表情控 制。 根据本 公开的一 个或多个 实施例 ， 所述显示单元 803还用于 ： 响应于 用户对所 述虚拟形 象的控制指 令， 对所述虚拟形 象进行相应 的控 制 ， 所述控制指令包括 以下至少 一项： 旋转控 制指令 、 缩小控制指令、 移动控制指令 、 放大控制指令 。 根据本 公开的一 个或多个 实施例 ， 所述显示单元 803在基于 增强现实显 示技 术， 在所述实时场景 图像中显 示所述 目标物体的虚 拟形象时 ， 用于： 在所述 实时场景 图像中创建 虚拟平面 ； 在所述 虚拟平 面处生成 3D空间； 基于 所述增强现 实显示技 术， 在所生成的 3D空间 中显示所述 目标物体 的虚 拟形象。 根据本 公开的一 个或多个 实施例 ， 所述显示单元 803在所述 实时场景 图 像 中创建虚拟平 面时， 用于： 若检测 到所述 实时场景图像 中存在 目标平面 区域， 则基于所述 目标平面 区域 创建所述虚 拟平面 ， 其中目标平面区域 为与所述 图像采集单 元距离处 于 第一 预设距离 范围内和 /或处于所述实时 场景图像 的中心区域 内的平面 区域； 或者 在所述 实时场景 图像中特 定位置处创 建所述虚 拟平面。 根据本 公开的一 个或多个 实施例 ， 所述显示单元 803在基于 所述增强 现 实显 示技术， 在所生成的 3D空间中显 示所述 目标物体的 虚拟形象 时， 用于： 在所述 3D空间 中确定 目标位置； 基于 所述增强现 实显示技 术， 在所述 3D空间的 目标位置处显 示所述 目 标物体 的虚拟形 象。 根据本 公开的一 个或多个 实施例 ， 所述显示单元 803在所述 3D 空间中 确定 目标位置 时， 用于： 接收用 户发出的 位置指定 指令，根据用户的位 置指定指 令触发 的位置点 ， 在所 述 3D空 间中建立 3D锚点， 将所述 3D锚点作为所 述目标位 置。 根据本 公开的一 个或多个 实施例 ， 所述显示单元 803在所述根 据所述 目 标物体 图像生成 所述 目标物体对应 的虚拟形 象之后， 在基于增 强现实显示技 术， 在所述实时场景图像 中显示所述 目标物体 的虚拟形 象之前 ， 还用于： 将所述 虚拟形 象悬浮于所 述图像采 集单元前 方的预定位 置处。 根据本 公开的一 个或多个 实施例 ， 所述显示单元 803还用于 ： 若所述 实时场景 图像中 已存在至少一 个虚拟形 象， 且所述已存在 的至少 一个 虚拟形象 所在位置 与所述 目标物体对应 的虚拟形 象之间的距 离超过第 二 预设距 离范围 ， 则将所述已存在的 至少一个 虚拟形象移 动至所述 目标物体 对 应的虚 拟形象 的第二预定 范围内并 显示。 根据本 公开的一 个或多个 实施例 ， 所述显示单元 803还用于 ： 若所述 实时场景 图像中 已存在多个虚 拟形象 ， 对各虚拟形象之间进 行碰 撞检 测； 当确 定任意两个 虚拟形 象之间发生碰 撞时， 移动发生碰 撞的两个 虚拟形 象 中的任意一 个虚拟形 象。 根据本 公开的一 个或多个 实施例 ， 所述显示单元 803在所述 实时场景 图 像 中的目标位 置处增强显 示所述 目标物体的 虚拟形象 时， 还用于： 在所述 虚拟形 象周围的特 定位置处显 示所述虚 拟形象 的影子。 根据本 公开的一 个或多个 实施例 ， 所述显示单元 803还用于 ： 基于增 强现实显 示技术， 在所述实 时场景图像 中动态显示 所述目标 物体 的虚 拟形象。 本实施 例提供 的基于增强 现实的显示 设备， 可用于执行 上述方法 实施例 的基 于增强现 实显示的技 术方案 ， 其实现原理和技术效 果类似 ， 本实施例此 处不 再赘述。 参考 图 9, 其示出了适 于用来实现 本公开实施 例的电子 设备 900的结构 示意 图， 该电子设备 900可以为终端设备或 服务器 ， 并可用于执行上述 方法 实施 例的基于增 强现实显 示的方法 。 其中， 终端设备可以包括但 不限于诸 如 移动 电话、 笔记本电脑 、 数字广播接收器 、 个人数字助理 （Personal Digital Assistant, 简称 PDA） 、 平板电脑（ Portable Android Device, 简称 PAD） 、 便携 式多媒体 播放器 （ Portable Media Player, 简称 PMP） 、 车载终端（例如 车载 导航终端 ） 、 可穿戴电子设备等等的移 动终端以 及诸如数 字 TV、 台式 计算 机等等的 固定终端 。 图 9示出的电子设备仅 仅是一个 示例， 不应对本公 开实施 例的功 能和使用 范围带来任 何限制 。 如图 9所示， 电子设备 900可以 包括处理装 置 （例如中央处理 器、 图形 处理 器等 ） 901 , 其可以根据存储在只读存储器 （ Read Only Memory , 简称 ROM ） 902 中的程序或者从存储 装置 908加载到 随机访问存 储器 （Random Access Memory , 简称 RAM） 903中的程序 而执行各种 适当的动 作和处理 。 在 RAM 903中， 还存储有电子 设备 900操作所需的各 种程序和数 据。 处理 装置 901、 ROM 902以及 RAM 903通过总线 904彼此相连。输入 /输出（ I/O） 接 口 905也连接至 总线 904。 通常 ， 以下装置可以连接 至 I/O接口 905: 包括例如触摸 屏、 触摸板、 键盘 、 鼠标、 摄像头、 麦克风、 加速度计、 陀螺仪等的输入装置 906; 包括 例如 液晶显示 器 （ Liquid Crystal Display , 简称 LCD） 、 扬声器、 振动器等 的输 出装置 907; 包括例如磁带、硬盘等的存储 装置 908; 以及通信装置 909o 通信 装置 909可以允许电子设备 900与其他设备 进行无线 或有线通 信以交换 数据 。 虽然图 9示出 了具有各种装 置的电子 设备 900, 但是应理解的是， 并 不要 求实施或 具备所有 示出的装 置。 可以替代地实施 或具备更 多或更少 的装 置 。 特别地 ， 根据本公开的 实施例， 上文参考流程 图描述 的过程可 以被实现 为计 算机软件程 序。 例如， 本公开的实施例 包括一种计 算机程序 产品， 其包 括承 载在计算机 可读介质 上的计算 机程序， 该计算机程序包含用 于执行流 程 图所 示的方法 的程序代 码， 并可用于执行上 述方法 实施例的基 于增强现 实显 示的 方法。 在这样的实施 例中， 该计算机程 序可以通 过通信装 置 909从网络 上被 下载和安 装， 或者从存储装 置 908被安装 ， 或者从 ROM 902被安装 。 在该 计算机程序 被处理装 置 901执行时 ， 执行本公开实施例 的方法中 限定的 上述 功能。 需要说 明的是 ， 本公开上述的计算机 可读介质 可以是计 算机可读 信号介 质或 者计算机 可读存储介 质或者是 上述两者 的任意组合 。 计算机可读存储 介 质例 如可以是 - 但 不限于 - 电 、 磁、 光、 电磁、 红外线、 或半导体的系 统、 装置或器件， 或者任意以上 的组合。 计算机可读 存储介质 的更具体 的例 子可 以包括但 不限于： 具有一个或多个导 线的电连接 、 便携式计算机磁盘 、 硬盘 、 随机访问存储器 （RAM ） 、 只读存储器（ROM ） 、 可擦式可编程只 读存 储器（ EPROM 或闪存 ）、光纤、便携式紧凑磁盘只读存 储器（ CD-ROM ）、 光存 储器件、 磁存储器件 、 或者上述的任 意合适的组 合。 在本公开中 ， 计算 机可 读存储介质 可以是任 何包含或 存储程序 的有形介 质， 该程序可以被指 令 执行 系统、 装置或者器件 使用或者 与其结合 使用。 而在本公开中， 计算机可 读信 号介质可 以包括在基 带中或者 作为载波 一部分传播 的数据信 号， 其中承 载 了计算机可读 的程序代 码。 这种传播的数据 信号可 以采用多种 形式， 包括 但不 限于电磁信 号、 光信号或上 述的任意合 适的组合 。 计算机可读信号 介质 还可 以是计算机 可读存储 介质以外 的任何计 算机可读介 质， 该计算机可读信 号介 质可以发 送、 传播或者传输用 于由指令 执行系统 、 装置或者器件使用 或 者与 其结合使 用的程序 。 计算机可读介质上 包含的程 序代码可 以用任何 适当 的介 质传输， 包括但不限于： 电线、 光缆、 RF（射频）等等， 或者上述的任 意合 适的组合 。 上述计 算机可读 介质可以 是上述电子 设备中所 包含的； 也可以是单独存 在 ， 而未装配入该电子设 备中。 上述计 算机可读 介质承载有 一个或者 多个程序 ， 当上述一个或者 多个程 序被 该电子设备 执行时， 使得该电子 设备执行 上述实施例 所示的方 法。 可以 以一种或 多种程序设 计语言或其 组合来编 写用于执行 本公开 的操作 的计 算机程序 代码， 上述程序设计 语言包括 面向对象 的程序设计 语言一诸如 Java、 Smalltalk. C++, 还包括常规的过程式程序设计语 言一诸如 “C” 语言 或类 似的程序设 计语言 。 程序代码可以完全 地在用户计 算机上执 行、 部分地 在用 户计算机 上执行、 作为一个独 立的软件 包执行、 部分在用户 计算机上 部 分在 远程计算机 上执行 、 或者完全在远程计 算机或服 务器上执行 。 在涉及远 程计 算机的 情形中 ， 远程计算机可 以通过任 意种类 的网络 — 包括局域 网 （ Local Area Network , 简称 LAN）或广域网 （ Wide Area Network , 简称 WAN ）一连接 到用户计算 机， 或者， 可以连接到外部计算 机 （例如利用因特 网服 务提供商 来通过因特 网连接 ） 。 附图 中的流程 图和框图， 图示了按照本公开各 种实施例 的系统、 方法和 计算机 程序产 品的可能 实现的体 系架构、 功能和操作 。 在这点上， 流程图或 框 图中的每个 方框可以 代表一个模 块、 程序段、 或代码的一部 分， 该模块、 程序 段、 或代码的一部 分包含一 个或多个用 于实现规 定的逻辑功 能的可执 行 指令 。 也应当注意， 在有些作为替 换的实现 中， 方框中所标注 的功能也可 以 以不 同于附 图中所标注 的顺序发生 。 例如， 两个接连地表示的 方框实际上 可 以基 本并行地 执行， 它们有时也可 以按相反 的顺序执行 ， 这依所涉及的功 能 而定 。 也要注意的是 ， 框图和 /或流程图中的每个方 框、 以及框图和 /或流程 图中 的方框的组 合， 可以用执行规 定的功能 或操作的 专用的基 于硬件的 系统 来 实现， 或者可以用专用 硬件与计 算机指令 的组合来 实现。 描述 于本公开 实施例中所 涉及到的 单元可以通 过软件 的方式实现 ， 也可 以通 过硬件的 方式来实现 。 其中， 单元的名称在某种 情况下并 不构成对该 单 元本 身的限定 ， 例如， 第一获取单元还可以 被描述为 “获取至少 两个网际协 议地 址的单元” 。 本文 中以上描述 的功能可 以至少部 分地由一 个或多个 硬件逻辑 部件来执 行。 例如， 非限制性地， 可以使用的示范 类型的硬件 逻辑部件 包括： 现场可 编程 门阵列 （FPGA） 、 专用集成电路（ ASIC） 、 专用标准产品（ ASSP） 、 片上 系统 （SOC） 、 复杂可编程逻辑设备 （ CPLD）等等。 在本公 开的上下 文中， 机器可读介 质可以是有 形的介质 ， 其可以包含或 存储 以供指令执 行系统 、 装置或设备使用或 与指令执行 系统、 装置或设备 结 合地 使用的程 序。 机器可读介质可 以是机 器可读信号 介质或机 器可读储存 介 质。 机器可读介 质可以 包括但不 限于电子的 、 磁性的、 光学的、 电磁的、 红 夕卜的、 或半导体系统、 装置或设备， 或者上述内容 的任何合 适组合。 机器可 读存储 介质的更 具体示例 会包括基 于一个或 多个线的 电气连接 、 便携式计算 机盘 、 硬盘、 随机存取存储器 （RAM ） 、 只读存储器（ROM ） 、 可擦除可 编程 只读存储 器 （EPROM 或快闪存储 器） 、 光纤、 便捷式紧凑盘只读存储 器 （CD-ROM ）、 光学储存设备、 磁储存设备、 或上述内容的任何 合适组合 。 第一 方面， 根据本公开 的一个或多 个实施例 ， 提供了一种基于增 强现实 的显 示方法， 包括： 响应于 用户的第 一指令， 获取图像采集单元采 集的实时场 景图像 中的目 标物体 图像； 根据所 述目标物 体图像生 成所述 目标物体对应 的虚拟形 象； 基于增 强现实显 示技术， 在所述实时 场景图像 中显示所述 目标物体 的虚 拟形 象。 根据本 公开的一 个或多个 实施例， 所述获取图像采集单 元采集的 实时场 景图像 中的 目标物体图像 ， 包括： 对所述 实时场景 图像中的所 述目标物体 进行物体 分割， 以获取所述目标 物体 图像， 并对所述目标 物体图像 进行标识 。 根据本 公开的一 个或多个 实施例， 所述方法还包括： 响应于 用户的触发 指令， 运行预加载 的物体分 割算法 ， 以对所述实时场 景图像 中的所述 目标物体 进行物体 分割； 响应于 所述第一 指令， 停止所述物体 分割算 法的运行 。 根据本 公开的一 个或多个 实施例， 所述根据所述目标物 体图像生 成所述 目标物 体对应的 虚拟形象 ， 包括： 将所述 目标物体 图像与动 画素材进行 合成， 生成所述 目标物体对应 的虚 拟形 象， 其中 ， 所述动画素材包括 虚拟形象 的肢体动 画素材和 /或表情动画素材 。 根据本 公开的一 个或多个 实施例， 所述将所述目标物体 图像与动 画素材 进行合 成， 包括： 获取所 述肢体动 画素材和/或所 述表情动 画素材； 在所述 目标物体 图像上确 定多个连接 点； 通过所 述多个 连接点将 所述肢 体动画素 材和 /或所述表情动 画素材 与所 述 目标物体图像 进行合成 ， 生成所述目标物体 对应的虚 拟形象。 根据本 公开的一 个或多个 实施例， 所述方法还包括： 播放所 述动画素 材， 以对所述虚拟形 象进行动 作和/或表情控 制。 根据本 公开的一 个或多个 实施例， 所述播放所述动画素 材， 以对所述虚 拟形 象进行动作 和/或表情控制 ， 包括： 根据所 述动画素 材的预设动 画帧播放 所述动画 素材， 以对所述虚拟 形象 进行动 作和 /或表情控制； 和 /或 根据所 述用户的 肢体动作 和/或表情生成 并播放所 述动画素材 的动画帧 ， 以对 所述虚拟形 象进行动 作和/或表情控 制。 根据本 公开的一 个或多个 实施例， 所述方法还包括： 响应于 用户对所 述虚拟形 象的控制指 令， 对所述虚拟形 象进行相应 的控 制， 所述控制指令包括 以下至少 一项： 旋转控 制指令 、 缩小控制指令、 移动控制指令 、 放大控制指令 。 根据本 公开的一 个或多个 实施例， 所述基于增强现实显 示技术， 在所述 实时场 景图像 中显示所述 目标物体 的虚拟形 象， 包括： 在所述 实时场景 图像中创建 虚拟平面 ； 在所述 虚拟平面 处生成 3D空间； 基于所 述增强现 实显示技 术， 在所生成的 3D空间 中显示所述 目标物体 的虚 拟形象。 根据本 公开的一 个或多个 实施例， 所述在所述实时场景 图像中创 建虚拟 平面 ， 包括： 若检测 到所述实 时场景图像 中存在 目标平面区域 ， 则基于所述 目标平面 区域 创建所述虚 拟平面 ， 其中目标平面区域 为与所述 图像采集单 元距离处 于 第一 预设距离 范围内和 /或处于所述实时场 景图像的 中心区域 内的平面 区域； 或者 在所述 实时场景 图像中特定 位置处创 建所述虚 拟平面。 根据本 公开的一 个或多个 实施例， 所述基于所述增强现 实显示技 术， 在 所生 成的 3D空间中显示 所述目标物 体的虚拟 形象， 包括： 在所述 3D空间 中确定 目标位置； 基于所 述增强现 实显示技 术， 在所述 3D 空间的 目标位置处显 示所述 目 标物体 的虚拟形 象。 根据本 公开的一 个或多个 实施例，所述 在所述 3D空间中确 定目标位 置， 包括 ： 接收用 户发出的 位置指定 指令，根据用户的位 置指定指 令触发 的位置点 ， 在所 述 3D空 间中建立 3D锚点， 将所述 3D锚点作为所 述目标位 置。 根据本 公开的一 个或多个 实施例， 在所述根据所述 目标物体图像 生成所 述 目标物体对应 的虚拟形 象之后， 在基于增强现实显示 技术， 在所述实时场 景 图像中显示 所述目标物 体的虚拟 形象之前 ， 还包括： 将所述 虚拟形 象悬浮于所 述图像采 集单元前 方的预定位 置处。 根据本 公开的一 个或多个 实施例 ， 所述方法还包括： 若所述 实时场景 图像中 已存在至少一 个虚拟形 象， 且所述已存在 的至少 一个 虚拟形象 所在位置 与所述 目标物体对应 的虚拟形 象之间的距 离超过第 二 预设距 离范围 ， 则将所述已存在的 至少一个 虚拟形象移 动至所述 目标物体 对 应的虚 拟形象 的第二预定 范围内并 显示。 根据本 公开的一 个或多个 实施例 ， 所述方法还包括： 若所述 实时场景 图像中已存 在多个虚 拟形象 ， 对各虚拟形象之间进 行碰 撞检 测； 当确 定任意两个 虚拟形 象之间发生碰 撞时， 移动发生碰 撞的两个 虚拟形 象 中的任意一 个虚拟形 象。 根据本 公开的一 个或多个 实施例 ， 在所述基于增强现 实显示技术 ， 在所 述 实时场景图像 中显示所 述目标物体 的虚拟形 象时， 还包括： 在所述 虚拟形 象周围的特 定位置处显 示所述虚 拟形象 的影子。 根据本 公开的一 个或多个 实施例 ， 所述方法还包括： 基于增 强现实显 示技术， 在所述实 时场景图像 中动态显示 所述目标 物体 的虚 拟形象。 第二 方面， 根据本公开 的一个或多 个实施例 ， 提供了一种基于增 强现实 的显 示设备， 包括： 目标物 体确定单 元， 用于响应于用 户的第一指 令， 获取图像采集 单元采 集的 实时场景 图像中的 目标物体图像 ； 生成单 元， 用于根据所述 目标物体 图像生成 所述目标物 体对应的 虚拟形 象； 显示单 元， 用于基于增强 现实显示技 术， 在所述实时场景 图像中显 示所 述 目标物体的虚 拟形象 。 根据本 公开的一 个或多个 实施例 ， 所述目标物体确定单 元在获取 图像采 集单 元采集的 实时场景 图像中的 目标物体图像 时， 用于： 对所述 实时场景 图像中的所 述目标物 体进行物体 分割， 以获取所述目标 物体 图像， 并对所述 目标物体图像 进行标识 。 根据本 公开的一 个或多个 实施例， 所述目标物体确定单 元还用于 ： 响应于 用户的触发 指令， 运行预加载 的物体分 割算法 ， 以对所述实时场 景图像 中的所述 目标物体 进行物体 分割； 响应于 所述第一 指令， 停止所述物体 分割算 法的运行 。 根据本 公开的一 个或多个 实施例， 所述生成单元根据所 述目标物 体图像 生成 所述目标物 体对应的 虚拟形象 时， 用于： 将所述 目标物体 图像与动 画素材进行 合成， 生成所述 目标物体对应 的虚 拟形 象， 其中 ， 所述动画素材包括 虚拟形象 的肢体动 画素材和 /或表情动画素材 。 根据本 公开的一 个或多个 实施例， 所述生成单元在将所 述目标物 体图像 与动 画素材进行 合成时 ， 用于： 获取所 述肢体动 画素材和/或所 述表情动 画素材； 在所述 目标物体 图像上确 定多个连接 点； 通过所 述多个 连接点将 所述肢 体动画素 材和 /或所述表情动 画素材 与所 述 目标物体图像 进行合成 ， 生成所述目标物体 对应的虚 拟形象。 根据本 公开的一 个或多个 实施例， 所述显示单元还用于 ： 播放所 述动画素 材， 以对所述虚拟形 象进行动 作和/或表情控 制。 根据本 公开的一 个或多个 实施例， 所述显示单元在播放 所述动画 素材， 以对 所述虚拟形 象进行动作 和/或表情控 制时， 用于： 根据所 述动画素 材的预设动 画帧播放 所述动画 素材， 以对所述虚拟 形象 进行动 作和 /或表情控制； 和 /或 根据所 述用户的 肢体动作 和/或表情生成 并播放所 述动画素材 的动画帧 ， 以对 所述虚拟形 象进行动作 和/或表情控 制。 根据本 公开的一 个或多个 实施例， 所述显示单元还用于 ： 响应于 用户对所述 虚拟形 象的控制指 令， 对所述虚拟形 象进行相应 的控 制， 所述控制指令包括 以下至少一 项： 旋转控 制指令 、 缩小控制指令、 移动控制指令 、 放大控制指令 。 根据本 公开的一 个或多个 实施例， 所述显示单元在基于 增强现实显 示技 术， 在所述实 时场景图像 中显示所述 目标物体 的虚拟形 象时， 用于： 在所述 实时场景 图像中创建 虚拟平面 ； 在所述 虚拟平 面处生成 3D空间； 基于 所述增强现 实显示技 术， 在所生成的 3D空间 中显示所述 目标物体 的虚 拟形象。 根据本 公开的一 个或多个 实施例 ， 所述显示单元在所述 实时场景 图像中 创建虚 拟平面 时， 用于： 若检测 到所述 实时场景图像 中存在 目标平面 区域， 则基于所述 目标平面 区域 创建所述虚 拟平面 ， 其中目标平面区域 为与所述 图像采集单 元距离处 于 第一 预设距离 范围内和 /或处于所述实时 场景图像 的中心区域 内的平面 区域； 或者 在所述 实时场景 图像中特 定位置处创 建所述虚 拟平面。 根据本 公开的一 个或多个 实施例 ， 所述显示单元在基 于所述增强 现实显 示技 术， 在所生成的 3D空间中显 示所述 目标物体的虚 拟形象时 ， 用于： 在所述 3D空间 中确定 目标位置； 基于 所述增强现 实显示技 术， 在所述 3D空间的 目标位置处显 示所述 目 标物体 的虚拟形 象。 根据本 公开的一 个或多个 实施例 ， 所述显示单元在所述 3D 空间中确 定 目标位 置时， 用于： 接收用 户发出的 位置指定 指令，根据用户的位 置指定指 令触发 的位置点 ， 在所 述 3D空 间中建立 3D锚点， 将所述 3D锚点作为所 述目标位 置。 根据本 公开的一 个或多个 实施例 ， 所述显示单元在所述 根据所述 目标物 体 图像生成所 述目标物体 对应的虚 拟形象之后 ， 在基于增强现 实显示技术 ， 在所 述实时场景 图像中显 示所述 目标物体的虚 拟形象之 前， 还用于： 将所述 虚拟形 象悬浮于所 述图像采 集单元前 方的预定位 置处。 根据本 公开的一 个或多个 实施例 ， 所述显示单元还用于 ： 若所述 实时场景 图像中 已存在至少一 个虚拟形 象， 且所述已存在 的至少 一个 虚拟形象 所在位置 与所述 目标物体对应 的虚拟形 象之间的距 离超过第 二 预设距 离范围 ， 则将所述已存在的 至少一个 虚拟形象移 动至所述 目标物体 对 应的虚 拟形象 的第二预定 范围内并 显示。 根据本 公开的一 个或多个 实施例 ， 所述显示单元还用于 ： 若所述 实时场景 图像中 已存在多个虚 拟形象 ， 对各虚拟形象之间进 行碰 撞检 测； 当确 定任意两个 虚拟形 象之间发生碰 撞时， 移动发生碰 撞的两个 虚拟形 象 中的任意一 个虚拟形 象。 根据本 公开的一 个或多个 实施例 ， 所述显示单元在所述 实时场景 图像中 的 目标位置处增 强显示所 述目标物 体的虚拟 形象时， 还用于： 在所述 虚拟形 象周围的特 定位置处显 示所述虚 拟形象 的影子。 根据本 公开的一 个或多个 实施例 ， 所述显示单元还用于 ： 基于增 强现实显 示技术， 在所述实 时场景图像 中动态显示 所述目标 物体 的虚 拟形象。 第三 方面， 根据本公开 的一个或多 个实施例 ， 提供了一种电子设 备， 包 括： 至少一个处理器和存 储器； 所述存 储器存储 计算机执行 指令； 所述 至少一个处 理器执行 所述存储 器存储的计 算机执行 指令， 使得所述 至少 一个处理 器执行如上 第一方 面以及第一 方面各种 可能的设 计所述的信 息 显示 方法。 第四 方面， 根据本公开 的一个或多 个实施例 ， 提供了一种计算机 可读存 储介质 ， 所述计算机可读 存储介质 中存储有计 算机执行 指令， 当处理器执行 所述 计算机执行 指令时 ， 实现如上第一方面 以及第一 方面各种可 能的设计 所 述的 信息显示 方法。 以上描 述仅为本 公开的可 选实施例 以及对所运 用技术原 理的说明 。 本领 域技 术人员应 当理解， 本公开中所 涉及的公 开范围， 并不限于上述技术特 征 的特 定组合而 成的技术 方案，同时也应涵盖 在不脱 离上述公开 构思的情 况下， 由上 述技术特征 或其等 同特征进行 任意组合 而形成的 其它技术 方案。 例如上 述特 征与本公 开中公开 的 （但不限于）具有类似功能 的技术特征 进行互相 替 换而 形成的技 术方案。 此外 ， 虽然采用特定次序 描绘了各 操作， 但是这不应 当理解为要 求这些 操作 以所示 出的特定次 序或以顺序 次序执行 来执行 。 在一定环境下， 多任务 和并 行处理可 能是有利 的。 同样地， 虽然在上面论述 中包含 了若干具体 实现 细节 ， 但是这些不应当被 解释为对本 公开的范 围的限制 。 在单独的实施例 的 上下 文中描述 的某些特 征还可以组 合地实现 在单个实施 例中。 相反地， 在单 个 实施例的上 下文中描 述的各种特 征也可 以单独地或 以任何合 适的子组合 的 方式 实现在多个 实施例 中。 尽管 已经采用特 定于结构 特征和 /或方法逻辑动作 的语言描述 了本主题 ， 但是 应当理解 所附权利要 求书中所 限定的主 题未必局 限于上面描 述的特 定特 征或 动作。 相反， 上面所描述的特 定特征和 动作仅仅 是实现权利 要求书的 示 例形 式。

Claims

权 利要 求 书
1、 一种基于增强 现实的显示 方法， 包括： 响应于 用户的第 一指令 ， 获取图像采集单元采 集的实时 场景图像 中的目 标物体 图像； 根据 所述目标物 体图像生 成所述 目标物体对应 的虚拟形 象； 基于增 强现实显 示技术， 在所述实 时场景图像 中显示所述 目标物体 的虚 拟形 象。
2、根据权 利要求 1所述的方法 ， 其中， 所述获取图像采集单元采集 的实 时场景 图像中 的目标物体 图像， 包括： 对所述 实时场景 图像中的所 述目标物 体进行物体 分割， 以获取所述目标 物体 图像， 并对所述 目标物体图像 进行标识 。
3、 根据权利要求 2所述的方 法， 还包括： 响应于 用户的触 发指令， 运行预加载 的物体分 割算法 ， 以对所述实时场 景 图像中的所 述目标物体 进行物体 分割； 响应于 所述第一 指令， 停止所述物 体分割算 法的运行 。
4、 根据权利要求 1-3任一所述的方法 ， 其中， 所述根据所述目标物体 图 像生 成所述 目标物体对应 的虚拟形 象， 包括： 将所述 目标物体 图像与动 画素材进行 合成， 生成所述 目标物体对 应的虚 拟形 象， 其中 ， 所述动画素材包括 虚拟形象 的肢体动 画素材和 /或表情动画素材 。
5、根据权 利要求 4所述的方法 ， 其中， 所述将所述目标物体图像与 动画 素材 进行合成 ， 包括： 获取所 述肢体动 画素材和/或所 述表情动 画素材； 在所述 目标物体 图像上确 定多个连接 点； 通过 所述多个 连接点将 所述肢 体动画素 材和/或所 述表情动 画素材 与所 述 目标物体图像 进行合成 ， 生成所述目标物 体对应的虚 拟形象 。
6、 根据权利要求 4或 5所述的方 法， 还包括： 播放 所述动画素 材， 以对所述虚拟 形象进行动 作和/或表情控 制。
7、 根据权利要求 6所述的方法 ， 其中， 所述播放所述动画素材 ， 以对所 述虚 拟形象进行 动作和/或表情 控制， 包括： 根据所 述动画素 材的预设动 画帧播放 所述动画 素材， 以对所述虚拟 形象 进行动 作和 /或表情控制； 和 /或 根据所 述用户的 肢体动作 和/或表情生成 并播放所 述动画素材 的动画帧 ， 以对 所述虚拟形 象进行动作 和/或表情控 制。
8、 根据权利要求 1-7任一所述的方 法， 还包括： 响应于 用户对所述 虚拟形 象的控制指 令， 对所述虚拟形 象进行相应 的控 制， 所述控制指令包括 以下至少一 项： 旋转控 制指令 、 缩小控制指令、 移动控制指令 、 放大控制指令 。
9、 根据权利要求 1-8任一所述的方法 ， 其中， 所述基于增强现实显示技 术， 在所述实 时场景图像 中显示所述 目标物体 的虚拟形 象， 包括： 在所述 实时场景 图像中创建 虚拟平面 ； 在所述 虚拟平面 处生成 3D空间； 基于所 述增强现 实显示技 术， 在所生成的 3D空间 中显示所述 目标物体 的虚 拟形象。
10、 根据权利要求 9所述的方 法， 其中， 所述在所述实时场景 图像中创 建虚 拟平面， 包括： 若检测 到所述实 时场景图像 中存在 目标平面区域 ， 则基于所述目标 平面 区域创 建所述虚 拟平面 ， 其中目标平面区域 为与所述 图像采集单 元距离处 于 第一预 设距离 范围内和 /或处于所述实时场 景图像的 中心区域 内的平面 区域； 或者 在所述 实时场景 图像中特定 位置处创 建所述虚 拟平面。
11、根据权利 要求 9或 10所述的方法 ， 其中， 所述基于所述增强现实显 示技 术， 在所生成的 3D空间中显示 所述目标 物体的虚 拟形象， 包括： 在所述 3D空间 中确定 目标位置； 基于所 述增强现 实显示技 术， 在所述 3D 空间的 目标位置处显 示所述 目 标物体 的虚拟形 象。
12、 根据权利要求 11所述的方法 ， 其中， 所述在所述 3D空间中确 定目 标位 置， 包括： 接收用 户发出的位 置指定指 令； 根据用 户的位置 指定指令 触发的位 置点 ,在所述 3D空间中建 立 3D锚点， 将所 述 3D锚点 作为所述 目标位置 。
13、 根据权利要求 1-12任一所述的方法 ， 其中， 在所述根据所述目标物 体 图像生成所 述目标物体 对应的虚 拟形象之后 ， 在基于增强现 实显示技术 ， 在所 述实时场景 图像中显 示所述 目标物体的虚 拟形象之 前， 还包括： 将所述 虚拟形 象悬浮于所 述图像采 集单元前 方的预定位 置处。
14、 根据权利要求 1-13任一所述的方 法， 还包括： 若所述 实时场景 图像中 已存在至少一 个虚拟形 象， 且所述已存在 的至少 一个 虚拟形象 所在位置 与所述 目标物体对应 的虚拟形 象之间的距 离超过第 二 预设距 离范围 ， 则将所述已存在的 至少一个 虚拟形象移 动至所述 目标物体 对 应的虚 拟形象 的第二预定 范围内并 显示。
15、 根据权利要求 1-13任一所述的方 法， 还包括： 若所述 实时场景 图像中 已存在多个虚 拟形象 ， 对各虚拟形象之间进 行碰 撞检 测； 当确 定任意两个 虚拟形 象之间发生碰 撞时， 移动发生碰 撞的两个 虚拟形 象 中的任意一 个虚拟形 象。
16、 根据权利要求 1-15任一所述的方法 ， 其中， 在所述基于增强现实显 示技 术， 在所述实时场景 图像中显 示所述 目标物体的虚 拟形象时 ， 所述方法 还包 括： 在所述 虚拟形 象周围的特 定位置处显 示所述虚 拟形象 的影子。
17、 根据权利要求 1-16任一所述的方 法， 还包括： 基于增 强现实显 示技术， 在所述实 时场景图像 中动态显示 所述目标 物体 的虚 拟形象。
18、 一种基于增强 现实的显示 设备， 包括： 目标物 体确定单 元， 用于响应于用 户的第一指 令， 获取图像采集 单元采 集的 实时场景 图像中的 目标物体图像 ； 生成单 元， 用于根据所述 目标物体 图像生成 所述目标物 体对应的 虚拟形 象； 显示单 元， 用于基于增强 现实显示技 术， 在所述实时场景 图像中显 示所 述 目标物体的虚 拟形象 。
19、 一种电子设备 ， 包括： 至少一 个处理器 ； 以及 存储器 ； 所述存 储器存储 计算机执行 指令； 所述 至少一个处 理器执行 所述存储 器存储的计 算机执行 指令时， 使得所 述至 少一个处 理器执行如 权利要求 1-17任一项所述的 方法。
20、 一种计算机可读 存储介质 ， 其中， 所述计算机可读存储 介质中存 储 有计 算机执行指 令， 当处理器执行 所述计算机 执行指令 时， 实现如权利要 求 1-17任一 项所述的 方法。
PCT/SG2021/050488 2020-09-09 2021-08-20 基于增强现实的显示方法、设备及存储介质 WO2022055418A1 (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020227017836A KR102646977B1 (ko) 2020-09-09 2021-08-20 증강 현실에 기반한 디스플레이 방법 및 장치, 및 저장 매체
JP2022530864A JP7422876B2 (ja) 2020-09-09 2021-08-20 拡張現実に基づいた表示方法及び装置、並びに記憶媒体
BR112022010368A BR112022010368A2 (pt) 2020-09-09 2021-08-20 Método e dispositivo de exibição com base em realidade aumentada, dispositivo eletrônico e meio de armazenamento legível por computador
EP21867238.4A EP4044123A4 (en) 2020-09-09 2021-08-20 IMAGE REPRESENTATION METHODS AND STORAGE MEDIUM BASED ON AUGMENTED REALITY AND STORAGE MEDIUM
US17/695,636 US11594000B2 (en) 2020-09-09 2022-03-15 Augmented reality-based display method and device, and storage medium
US18/100,521 US11989845B2 (en) 2020-09-09 2023-01-23 Implementation and display of augmented reality

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010937921.6A CN112053449A (zh) 2020-09-09 2020-09-09 基于增强现实的显示方法、设备及存储介质
CN202010937921.6 2020-09-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/695,636 Continuation US11594000B2 (en) 2020-09-09 2022-03-15 Augmented reality-based display method and device, and storage medium

Publications (1)

Publication Number Publication Date
WO2022055418A1 true WO2022055418A1 (zh) 2022-03-17

Family

ID=73611476

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/SG2021/050488 WO2022055418A1 (zh) 2020-09-09 2021-08-20 基于增强现实的显示方法、设备及存储介质

Country Status (7)

Country Link
US (2) US11594000B2 (zh)
EP (1) EP4044123A4 (zh)
JP (1) JP7422876B2 (zh)
KR (1) KR102646977B1 (zh)
CN (1) CN112053449A (zh)
BR (1) BR112022010368A2 (zh)
WO (1) WO2022055418A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115712344A (zh) * 2022-09-27 2023-02-24 汉华智能科技(佛山)有限公司 一种智慧电子祭祀的场景交互方法、系统及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210375023A1 (en) * 2020-06-01 2021-12-02 Nvidia Corporation Content animation using one or more neural networks
CN112053449A (zh) * 2020-09-09 2020-12-08 脸萌有限公司 基于增强现实的显示方法、设备及存储介质
JP7427786B2 (ja) 2021-02-09 2024-02-05 北京字跳▲網▼絡技▲術▼有限公司 拡張現実に基づく表示方法、機器、記憶媒体及びプログラム製品
CN113176827B (zh) * 2021-05-25 2022-10-28 青岛大学 基于表情的ar交互方法、系统、电子设备及存储介质
US11861778B1 (en) * 2022-07-25 2024-01-02 Gravystack, Inc. Apparatus and method for generating a virtual avatar

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070182739A1 (en) * 2006-02-03 2007-08-09 Juri Platonov Method of and system for determining a data model designed for being superposed with an image of a real object in an object tracking process
CN106791784A (zh) * 2016-12-26 2017-05-31 深圳增强现实技术有限公司 一种虚实重合的增强现实显示方法和装置
CN110597397A (zh) * 2019-09-29 2019-12-20 深圳传音控股股份有限公司 增强现实的实现方法、移动终端及存储介质
CN111626183A (zh) * 2020-05-25 2020-09-04 深圳市商汤科技有限公司 一种目标对象展示方法及装置、电子设备和存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101367175B1 (ko) * 2011-04-19 2014-02-27 네오뷰코오롱 주식회사 투명 디스플레이를 갖는 블루투스 단말
JP2013186691A (ja) * 2012-03-08 2013-09-19 Casio Comput Co Ltd 画像処理装置及び画像処理方法並びにプログラム
JP6089898B2 (ja) 2013-04-09 2017-03-08 ソニー株式会社 画像処理装置および記憶媒体
JP5856104B2 (ja) 2013-06-19 2016-02-09 日本電信電話株式会社 プログラミング方法及び装置
JP5884816B2 (ja) 2013-12-16 2016-03-15 コニカミノルタ株式会社 透過型ｈｍｄを有する情報表示システム及び表示制御プログラム
US9652895B2 (en) * 2014-03-06 2017-05-16 Disney Enterprises, Inc. Augmented reality image transformation
KR101575954B1 (ko) * 2014-04-30 2015-12-11 인하대학교 산학협력단 3차원 정합을 이용한 증강현실 장치 및 그 방법
EP4206870A1 (en) 2014-06-14 2023-07-05 Magic Leap, Inc. Method for updating a virtual world
CN107683497B (zh) 2015-06-15 2022-04-08 索尼公司 信息处理设备、信息处理方法及程序
US10984610B2 (en) * 2016-04-23 2021-04-20 Devar Entertainment Limited Method for influencing virtual objects of augmented reality
CN107067474A (zh) * 2017-03-07 2017-08-18 深圳市吉美文化科技有限公司 一种增强现实处理方法及装置
JP2019053423A (ja) 2017-09-13 2019-04-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10997760B2 (en) * 2018-08-31 2021-05-04 Snap Inc. Augmented reality anthropomorphization system
US11353259B2 (en) * 2018-09-18 2022-06-07 Samsung Electronics Co., Ltd. Augmented-reality refrigerator and method of controlling thereof
CN110335334A (zh) * 2019-07-04 2019-10-15 北京字节跳动网络技术有限公司 虚拟头像驱动显示方法、装置、电子设备及存储介质
JP2020087429A (ja) * 2019-07-17 2020-06-04 株式会社ドワンゴ 動画合成装置、動画合成方法及び動画合成プログラム
US10665036B1 (en) * 2019-08-03 2020-05-26 VIRNECT inc. Augmented reality system and method with dynamic representation technique of augmented images
CN110941337A (zh) * 2019-11-25 2020-03-31 深圳传音控股股份有限公司 虚拟形象的控制方法、终端设备及计算机可读存储介质
CN112053449A (zh) * 2020-09-09 2020-12-08 脸萌有限公司 基于增强现实的显示方法、设备及存储介质
US11644899B2 (en) * 2021-04-22 2023-05-09 Coapt Llc Biometric enabled virtual reality systems and methods for detecting user intentions and modulating virtual avatar control based on the user intentions for creation of virtual avatars or objects in holographic space, two-dimensional (2D) virtual space, or three-dimensional (3D) virtual space

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070182739A1 (en) * 2006-02-03 2007-08-09 Juri Platonov Method of and system for determining a data model designed for being superposed with an image of a real object in an object tracking process
CN106791784A (zh) * 2016-12-26 2017-05-31 深圳增强现实技术有限公司 一种虚实重合的增强现实显示方法和装置
CN110597397A (zh) * 2019-09-29 2019-12-20 深圳传音控股股份有限公司 增强现实的实现方法、移动终端及存储介质
CN111626183A (zh) * 2020-05-25 2020-09-04 深圳市商汤科技有限公司 一种目标对象展示方法及装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4044123A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115712344A (zh) * 2022-09-27 2023-02-24 汉华智能科技(佛山)有限公司 一种智慧电子祭祀的场景交互方法、系统及存储介质

Also Published As

Publication number Publication date
KR20220088924A (ko) 2022-06-28
KR102646977B1 (ko) 2024-03-13
EP4044123A1 (en) 2022-08-17
JP2023504030A (ja) 2023-02-01
US11989845B2 (en) 2024-05-21
CN112053449A (zh) 2020-12-08
EP4044123A4 (en) 2023-08-02
US20220277530A1 (en) 2022-09-01
JP7422876B2 (ja) 2024-01-26
BR112022010368A2 (pt) 2022-08-16
US20230162452A1 (en) 2023-05-25
US11594000B2 (en) 2023-02-28

Similar Documents

Publication Publication Date Title
WO2022055418A1 (zh) 基于增强现实的显示方法、设备及存储介质
WO2022055421A1 (zh) 基于增强现实的显示方法、设备及存储介质
WO2022068479A1 (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
WO2022089178A1 (zh) 视频处理方法及设备
WO2022170958A1 (zh) 基于增强现实的显示方法、设备、存储介质及程序产品
WO2021254502A1 (zh) 目标对象显示方法、装置及电子设备
WO2022206335A1 (zh) 图像显示方法、装置、设备及介质
WO2022007565A1 (zh) 增强现实的图像处理方法、装置、电子设备及存储介质
EP4246435A1 (en) Display method and apparatus based on augmented reality, and device and storage medium
WO2023011318A1 (zh) 媒体文件处理方法、装置、设备、可读存储介质及产品
JP2023538257A (ja) 画像処理方法、装置、電子デバイス及び記憶媒体
US20230267664A1 (en) Animation processing method and apparatus, electronic device and storage medium
JP7427786B2 (ja) 拡張現実に基づく表示方法、機器、記憶媒体及びプログラム製品
WO2022055424A2 (zh) 视频拍摄方法、装置、设备及存储介质
RU2801917C1 (ru) Способ и устройство для отображения изображений на основе дополненной реальности и носитель для хранения информации
US20230133163A1 (en) Video processing method and apparatus, device, storage medium and computer program product
WO2023284410A1 (zh) 视频效果的添加方法、装置、设备及存储介质
WO2022055419A2 (zh) 文字的显示方法、装置、电子设备及存储介质
WO2023075677A1 (zh) 视频处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21867238

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021867238

Country of ref document: EP

Effective date: 20220510

ENP Entry into the national phase

Ref document number: 2022530864

Country of ref document: JP

Kind code of ref document: A

Ref document number: 20227017836

Country of ref document: KR

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112022010368

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112022010368

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20220527

NENP Non-entry into the national phase

Ref country code: DE