WO2022055419A2 - 文字的显示方法、装置、电子设备及存储介质 - Google Patents

文字的显示方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
WO2022055419A2
WO2022055419A2 PCT/SG2021/050491 SG2021050491W WO2022055419A2 WO 2022055419 A2 WO2022055419 A2 WO 2022055419A2 SG 2021050491 W SG2021050491 W SG 2021050491W WO 2022055419 A2 WO2022055419 A2 WO 2022055419A2
Authority
WO
WIPO (PCT)
Prior art keywords
text
special effect
display
dynamic special
processing
Prior art date
Application number
PCT/SG2021/050491
Other languages
English (en)
French (fr)
Other versions
WO2022055419A3 (zh
Inventor
李云珠
徐力有
陈志立
朱逸衡
朱世光
Original Assignee
脸萌有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 脸萌有限公司 filed Critical 脸萌有限公司
Priority to EP21867239.2A priority Critical patent/EP4170599A4/en
Priority to JP2023504123A priority patent/JP7574400B2/ja
Publication of WO2022055419A2 publication Critical patent/WO2022055419A2/zh
Publication of WO2022055419A3 publication Critical patent/WO2022055419A3/zh
Priority to US18/060,454 priority patent/US11836437B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/109—Font handling; Temporal or kinetic typography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Definitions

  • an embodiment of the present disclosure provides a method for displaying text, including: acquiring a real-life shot image; acquiring text to be displayed; calling text motion trajectory data to perform dynamic special effects processing on the text to be displayed; The processed text is displayed on the live-action image.
  • an embodiment of the present disclosure provides a text display device, including: a communication module, used for acquiring real-scene captured images, and acquiring text to be displayed; a processing module, used for invoking text motion trajectory data, The text to be displayed is processed with dynamic special effects; The display module is configured to display the text processed by the dynamic special effect on the real scene shot image.
  • an embodiment of the present disclosure provides an electronic device, including: at least one processor and a memory; the memory stores computer-executable instructions; the at least one processor executes computer-executable instructions stored in the memory, so that the memory At least one processor executes the above first aspect and various possible display methods related to the text as described above.
  • an embodiment of the present disclosure provides a computer-readable storage medium, where computer-executable instructions are stored in the computer-readable storage medium, and when a processor executes the computer-executable instructions, the first aspect and the first aspect above are implemented.
  • the display method of the text is described.
  • the text display method, device, electronic device, and storage medium provided by the embodiments of the present disclosure, by acquiring a real-life shot image and text to be displayed, calling text motion trajectory data, performing dynamic special effects processing on the text to be displayed, and processing the dynamic special effects
  • the text is displayed on the real-scene shot image, thereby realizing the function of displaying the text with dynamic special effects in the virtual augmented reality display, making the display effect of the text more vivid, and the display method can be widely used in various application scenarios. Users bring better visual sensory experience.
  • FIG. 1 is a schematic diagram of a network architecture on which the disclosure is based;
  • FIG. 2 is a schematic diagram of a first scenario based on a method for displaying text;
  • FIG. 3 is a schematic diagram of another network architecture based on the disclosure;
  • FIG. 4 is a text
  • FIG. 5 is a schematic flowchart of a text display method provided by an embodiment of the present disclosure;
  • FIG. 6 is a schematic diagram of a first interface of the text display method provided by the present disclosure;
  • FIG. 1 is a schematic diagram of a network architecture on which the disclosure is based
  • FIG. 2 is a schematic diagram of a first scenario based on a method for displaying text
  • FIG. 3 is a schematic diagram of another network architecture based on the disclosure
  • FIG. 4 is a text
  • FIG. 5 is a schematic flowchart of a text display method provided by an embodiment of the present disclosure
  • FIG. 8 is a schematic diagram of a third interface of the method for displaying text provided by the present disclosure
  • 9 is a schematic diagram of a fourth interface of a text display method provided by the present disclosure
  • FIG. 10 is a structural block diagram of a text display device provided by an embodiment of the present disclosure
  • DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS In order to make the purposes, technical solutions and advantages of the embodiments of the present disclosure clearer, the following will clearly and completely describe the technical solutions in the embodiments of the present disclosure with reference to the accompanying drawings in the embodiments of the present disclosure.
  • the embodiments of the present disclosure are some, but not all, embodiments of the present disclosure.
  • Augmented reality Augmented Reality, AR for short
  • display technology is a technology that skillfully integrates virtual information with the real world. More special effects are incorporated into the virtual augmented reality display technology to better present application scenarios.
  • the application of text in virtual and augmented reality display is an important part of virtual and augmented reality display technology.
  • a static text display mode is generally adopted, which makes the display effect of the text relatively rigid and the display mode is relatively simple.
  • an embodiment of the present disclosure provides a text display method.
  • FIG. 1 is a schematic diagram of a network architecture on which the disclosure is based.
  • the network architecture shown in FIG. 1 may specifically include a terminal 1 , a text display device 2 and a server 3 .
  • the terminal 1 may be a hardware device such as a user's mobile phone, a smart home device, a tablet computer, etc.
  • the text display device 2 may be a client integrated or installed on the terminal 1.
  • the server 3 may be a server cluster provided in the cloud including storing various types of text motion trajectory data.
  • the text display device 2 can run on the terminal 1 and provide the terminal 1 with a display page for the terminal 1 to display the page provided by the text display device 2 to the user by using its screen or display component.
  • the text display device 2 can also use the network component of the terminal 1 to interact with the server 3 to acquire pre-stored text motion trajectory data in the server 3 .
  • the terminal 1 may also cache various types of text motion trajectory data in the server 3 for ease of use.
  • the terminal 1 may store various types of text motion trajectory data, and by calling the text motion trajectory data, dynamic special effects processing is performed on the text to be displayed, and the text after the dynamic special effect processing is displayed in the real-life shot image captured by the terminal 1 superior.
  • the architecture shown in FIG. 1 is applicable to various application scenarios
  • FIG. 2 is a schematic diagram of a first scenario based on which the text display method is based.
  • the user can activate the virtual augmented reality display function provided by the text display device, and send an operation instruction for displaying the text to be displayed to the text display device 2 through the terminal 1 to
  • the display device 2 for text interacts with the server 3 to obtain corresponding text motion trajectory data.
  • the text display device 2 uses the text motion trajectory data to process the text to be displayed, and displays the text after the display processing in the real-life shot image obtained by the terminal.
  • the user can perform operations such as screen recording on the processed real-scene shooting image to obtain an image work with a personal style, and can also use the processed real-scene shooting image as an illustration of a navigation scene displayed in virtual augmented reality, virtual Illustrations of tourist scenes displayed by augmented reality, etc.
  • FIG. 3 is a schematic diagram of another network architecture on which the present disclosure is based, and the network architecture shown in FIG. 3 may specifically include a plurality of terminals 1, a text display device 2, a server 3 and a camera, a system 4 Different from the architecture shown in FIG.
  • the text display device 2 is integrated in the server 3 .
  • the photographing system 4 can interact with the server 3 to provide a real-time photographed image for the text display device 2 therein, and the text display device 2 will use the text display method provided by the present disclosure to
  • the real-life captured images are processed, and the processed images are sent to a plurality of terminals 1 for viewing and acquisition by the terminals 1 .
  • the photographing system 4 may be constituted by a plurality of photographing devices arranged in the same photographing area, and the plurality of photographing devices will photograph the photographing area at different photographing angles.
  • FIG. 4 is a schematic diagram of a second scene on which the text display method is based.
  • the multi-angle real-life shooting images captured by the shooting system will be processed by the text display device in the server and sent to the terminals 1 at different locations for viewing by each user.
  • the following will take the structure shown in FIG. 1 as an example to further describe the text display method provided by the present disclosure.
  • FIG. 5 is a schematic flowchart of a method for displaying text according to an embodiment of the present disclosure.
  • the method for displaying text provided by the embodiment of the present disclosure includes: Step 101: Acquire a real-scene photographed image.
  • the text to be displayed may be acquired in various ways: In an optional implementation manner, the text to be displayed is directly acquired by receiving text information input by the user.
  • the display device may acquire the voice input by the user, perform voice conversion processing on the voice, and obtain the text to be displayed.
  • the limb information input by the user can also be obtained, and according to the preset mapping relationship between the limb information and the text, the text corresponding to the limb information is determined, and the text corresponding to the limb information is used as The text to be displayed.
  • the body information includes one or more types of information among sign language information, gesture information, and facial expression information.
  • Step 103 Call the text motion trajectory data, and perform dynamic special effects processing on the text to be displayed.
  • Step 104 Display the text processed by the dynamic special effect on the real-life shot image.
  • the execution body of the processing method provided in this example is the display device of the aforementioned text.
  • the display device for the text can be installed in the terminal or in the server. No matter what kind of device it is installed in, the user-triggered operation can be received through the installed device (terminal or server). , and perform corresponding processing to send the processing result to the terminal and display it.
  • the solution based on the present disclosure includes: calling the text motion trajectory data, performing dynamic special effect processing on the text to be displayed, and displaying the text after the dynamic special effect processing in the real scene shot image steps above.
  • FIG. 6 is a schematic diagram of a first interface of the method for displaying text provided by the present disclosure
  • FIG. 7 is a schematic diagram of a second interface of the method for displaying text provided by the present disclosure.
  • the text display device will first interact with the shooting component of the terminal or through the shooting system to obtain a live shot image. Then the display device will acquire the text to be displayed, call the text motion trajectory data, and perform dynamic special effects processing on the text to be displayed, as shown in FIG.
  • step 103 can be implemented in the following manner: Step 1031, receiving a user's selection instruction for the type of dynamic special effect; Step 1032, the text display device can select the type of dynamic special effect from the text movement track database according to the selected dynamic special effect type. Invoke the corresponding type of text motion trajectory data O, wherein the dynamic special effect type specifically refers to the text effect provided by the text display device for the user to be selected by the user, and different dynamic special effect types will perform different dynamic special effects processing on the text, so that it presents different dynamic motion trajectories and different rendering results.
  • the text motion trajectory data corresponding to different types of dynamic special effects is pre-designed by the developer and stored in the text motion trajectory database of the server for the display device of the text to call at any time.
  • Step 1023 Generate a three-dimensional text modeling of the text to be displayed according to the selected dynamic special effect type, and obtain modeling data of the text.
  • Step 1034 Process the modeling data of the character by using the obtained character motion trajectory data to obtain the character after dynamic special effect processing. Further, according to the selected dynamic special effect type, a three-dimensional text modeling of the text to be displayed is generated, and modeling data of the text is obtained, wherein the modeling data of the text can be specifically composed of three-dimensional text coordinates of the text. Taking Fig.
  • the text motion track data includes text position coordinates under different motion frames.
  • the text motion trajectory data includes the text position coordinates under each motion frame: such as the text position coordinates in the first motion frame [( xll,yll,zll ) , ( xl2,yl2,zl2 ) ]; Among them, ( xll,yll,zll ) is used to represent the text position coordinates of "you" in the first motion frame, and ( xl2,yl2,zl2 ) is used The coordinates of the text position representing "good" in the first motion frame.
  • the text position coordinates will be [( xNl,yNl,z21 ),( xN2,yN2,zN2 )]; where ( xNl,yNl,zNl ) is used to represent "you” in the Nth motion frame
  • the text position coordinates of , and ( xN2, yN2, zN2 ) are used to represent the "good” text position coordinates in the Nth motion frame. That is to say, for "you", by ( xll, yll, zll ),
  • (xN1, yN1, z21) and the set of text position coordinates under N motion frames will become its motion trajectory under the duration corresponding to the N motion frames; similarly, for "good", by ( xl2,yl2,zl2 ) , ( x22,y22,z22 )( xN2,yN2,zN2 ) and other text position coordinates under N motion frames will be the set of text position coordinates under the corresponding duration of the N motion frames movement trajectory.
  • the character position coordinates are used to represent the position coordinates of each character. That is to say, when the same dynamic special effect type is used, the character position coordinates in the character motion track data corresponding to characters with different numbers of characters are also different.
  • Step 1023 Process the modeling data of the text by using the obtained text motion trajectory data to obtain the text after dynamic special effect processing. Specifically, in this step, the display device will use a preset coordinate mapping script to map the three-dimensional text coordinates of the text to the coordinate system on which the text motion trajectory data is based, so as to ensure that the two use the same coordinate system the coordinates below.
  • the display device performs coordinate alignment processing on the three-dimensional text coordinates of the mapped text and the text position coordinates under each motion frame in the text motion track data, so that the three-dimensional text coordinates of the center point of each text in the text are aligned to the pair of texts.
  • the corresponding text position coordinates; finally, the aligned text is regarded as the text processed by the dynamic special effect.
  • the dynamic special effect processing on the text further includes: performing special effect processing on the text shape of the text. Based on the different dynamic effect types selected by the user, The setting will use different special effect processing algorithms to process the text shape of the text.
  • the three-dimensional model can also be processed with special effects, such as artistic word processing to make
  • the 3D model of the text has a certain artistic style.
  • a step of displaying the text processed by the dynamic special effect on the real scene shot image is also included.
  • this step can be realized by using a virtual reality enhancement algorithm, such as a fusion algorithm of SLAM, that is, the text after the dynamic special effect processing is fused with the real-scene captured image, and the fusion-processed real-scene captured image is displayed.
  • a virtual reality enhancement algorithm such as a fusion algorithm of SLAM
  • the SLAM fusion algorithm is a known algorithm model that fuses virtual information and real-world images to display.
  • the fusion algorithm and the three-dimensional text coordinates of the aligned text under each motion frame are used to achieve text fusion.
  • the display method further includes a function of selecting the special effect display area.
  • displaying the text processed by the dynamic special effect on the live-action shot image further includes: determining a special effect display area in the live-action shot image according to the selected dynamic special effect type; The text is displayed on the special effect display area of the real-life shot image.
  • FIG. 8 is a schematic diagram of a third interface of the text display method provided by the present disclosure. As shown in FIG. 8 , in this scene, the display device can be enabled by turning on the front camera of the terminal.
  • the type A is a text glasses special effect
  • the special effect display area in which the text is generated in the real scene shot image, such as the real scene Capture the area where the eyes are on the face in the image
  • call the text motion trajectory data corresponding to the special effect type and perform dynamic special effects processing on the text (such as "GOOD GIRL” input by the user)
  • display the processed text In the special effect display area obtained above such as the area where the eyes are located.
  • a related virtual object may also be added to the special effect display area, and the processed text is displayed on the virtual object. example For example, in FIG.
  • FIG. 9 is a schematic diagram of a fourth interface of the text display method provided by the present disclosure.
  • the display device will perform recognition processing on the face in the current live-action captured image based on the dynamic special effect type, so as to determine whether the eyes in the face are in the face.
  • the position area in the image, and then the special effect display area is determined according to the area where the eyes are located.
  • the special effect display area will also change accordingly, so as to obtain the schematic diagram shown in FIG. 9 .
  • the text display device may acquire the text to be displayed in various ways: In an optional implementation manner, the text to be displayed is directly acquired by receiving text information input by the user. In another optional implementation manner, the display device may acquire the voice input by the user, perform voice conversion processing on the voice, and obtain the text to be displayed. In yet another optional implementation manner, the display device may also acquire body information input by the user, and according to a preset mapping relationship between the body information and the text, determine that the body information corresponds to the text, and the body information corresponds to the text. Text as the text to be displayed.
  • the body information includes one or more types of information among sign language information, gesture information, and facial expression information.
  • the text display method provided by the embodiment of the present disclosure, by acquiring a real-scene captured image, calling the text motion trajectory data, performing dynamic special effects processing on the text to be displayed, and displaying the text after the dynamic special effect processing on the real-scene captured image, so as to realize
  • the function of displaying the text with dynamic special effects in the virtual augmented reality display makes the display effect of the text more vivid, and the display method can be widely used in various application scenarios to bring a better visual sensory experience to the user.
  • FIG. 10 is a structural block diagram of a text display device provided by an embodiment of the present disclosure.
  • the text display device includes: a communication module 10 , a processing module 20 and a display module 30 .
  • the communication module 10 is used to obtain the real-time shot image and the text to be displayed;
  • the processing module 20 is used to call the text motion trajectory data to perform dynamic special effects processing on the text to be displayed;
  • the display module 30 is used to process the dynamic special effects After the text is displayed in the live-action image superior.
  • the communication module 10 is configured to receive a user's selection instruction for the type of dynamic special effects; the processing module 20 is further configured to determine the special effect display area in the live-action captured image according to the selected dynamic special effect type; the display module 30 , which is used to display the text after the dynamic special effect processing on the special effect display area of the real scene shooting image.
  • the processing module 20 is further configured to perform target recognition processing on the live-action shot image according to the selected dynamic special effect type, and determine the image area where the target to be identified is located in the live-action shot image; The image area where the target is located determines the special effect display area.
  • the communication module 10 is used to receive a user's selection instruction for the type of dynamic special effects; the processing module 20 is specifically used to call the corresponding type of text movement trajectory data from the text movement trajectory database according to the selected dynamic special effect type. and generating three-dimensional character modeling of the characters to be displayed according to the selected dynamic special effect type, and obtaining modeling data of the characters; processing the modeling data of the characters by using the character motion trajectory data to obtain the dynamic Text after effect processing.
  • the modeling data of the text includes three-dimensional text coordinates of the text; the text motion trajectory data includes the text position coordinates under different motion frames; the processing module 20 is specifically configured to use a preset coordinate mapping script , mapping the three-dimensional text coordinates of the text to the coordinate system on which the text motion track data is based; performing coordinate alignment processing on the three-dimensional text coordinates of the mapped text and the text position coordinates under each motion frame in the text motion track data; The text after the alignment processing is used as the text processed by the dynamic special effect.
  • the processing module 20 is further configured to perform special effect processing on the character shape of the character.
  • the display module 30 is specifically configured to, based on the augmented reality display technology, perform fusion processing on the text after the dynamic special effect processing and the real-scene captured image, and display the fusion-processed real-scene captured image .
  • the communication module 10 is further configured to acquire the voice input by the user, perform voice conversion processing on the voice, and obtain the text to be displayed.
  • the communication module 10 is further configured to acquire the limb information input by the user, determine the text corresponding to the limb information according to the preset mapping relationship between the limb information and the text, and use the text corresponding to the limb information as the text corresponding to the limb information. The text to be displayed.
  • the body information includes one or more types of information among sign language information, gesture information, and facial expression information.
  • the text display device provided by the embodiment of the present disclosure, by acquiring a real-life shot image and acquiring the text to be displayed, calling the text motion trajectory data, performing dynamic special effects processing on the text to be displayed, and displaying the text after the dynamic special effect processing in the On the real scene shooting image, the function of displaying the text with dynamic special effects in the virtual augmented reality display is realized, which makes the display effect of the text more vivid. Visual sensory experience.
  • the electronic device provided in this embodiment can be used to implement the technical solutions of the foregoing method embodiments, and the implementation principle and technical effect thereof are similar, and details are not described herein again in this embodiment. Referring to FIG.
  • the terminal device may include, but is not limited to, a mobile phone, a notebook computer, a digital broadcast receiver, a personal digital assistant (Personal Digital Assistant, PDA for short), a tablet computer (Portable Android Device, PAD for short), a portable multimedia player (Portable Media Player, PMP for short), mobile terminals such as in-vehicle terminals (eg, in-vehicle navigation terminals), etc., and stationary terminals such as digital TVs, desktop computers, and the like.
  • PDA Personal Digital Assistant
  • PMP portable multimedia player
  • mobile terminals such as in-vehicle terminals (eg, in-vehicle navigation terminals), etc.
  • stationary terminals such as digital TVs, desktop computers, and the like.
  • the electronic device 900 may include a text display method (eg, a central processing unit, a graphics processing unit, etc.) 901, which may be based on a program stored in a read only memory (Read Only Memory, ROM for short) 902 or from The storage device 908 loads a program in a random access memory (Random Access Memory, RAM for short) 903 to execute various appropriate actions and processes. In the RAM 903, various programs and data necessary for the operation of the electronic device 900 are also stored.
  • the text display method 901 , the ROM 902 and the RAM 903 are connected to each other through a bus 904 .
  • I/O interface 905 is also connected to bus 904 .
  • I/O interface 905 the following devices can be connected to I/O interface 905: Input devices 906 including, for example, a touch screen, touch pad, keyboard, mouse, camera, microphone, accelerometer, gyroscope, etc.; including Output devices 907, such as screens, speakers, vibrators, etc.; storage devices 908, including, for example, tapes, hard drives, etc.;
  • FIG. 11 shows the electronic device 900 having various means, it should be understood that not all of the illustrated means are required to be implemented or available. More or fewer devices may alternatively be implemented or provided.
  • embodiments of the present disclosure include a computer program product comprising a computer program carried on a computer-readable medium, the computer program containing program code for performing the method illustrated in the flowchart.
  • the computer program may be downloaded and installed from the network via the communication device 909 , or from the storage device 908 , or from the ROM 902 .
  • the computer program is executed by the text display method 901
  • the above-mentioned functions defined in the methods of the embodiments of the present disclosure are executed.
  • the computer-readable medium mentioned above in the present disclosure may be a computer-readable signal medium or a computer-readable storage medium, or any combination of the above two.
  • the computer readable storage medium can be, for example, but not limited to, an electrical, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus or device, or a combination of any of the above. More specific examples of computer readable storage media may include, but are not limited to: electrical connections with one or more wires, portable computer disks, hard disks, random access memory (RAM), read only memory (ROM), erasable Programmable read only memory (EPROM or flash memory), optical fiber, portable compact disk read only memory (CD-ROM), optical storage devices, magnetic storage devices, or any suitable combination of the above.
  • a computer-readable storage medium may be any tangible medium that contains or stores a program that can be used by or in conjunction with an instruction execution system, apparatus, or device.
  • a computer-readable signal medium may include a data signal propagated in baseband or as part of a carrier wave, carrying computer-readable program code therein. Such propagated data signals may take a variety of forms, including but not limited to electromagnetic signals, optical signals, or any suitable combination of the foregoing.
  • a computer-readable signal medium can also be any computer-readable medium other than a computer-readable storage medium that can transmit, propagate, or transmit a program for use by or in conjunction with an instruction execution system, apparatus, or device .
  • the program code embodied on the computer-readable medium may be transmitted by any suitable medium, including but not limited to: wire, optical fiber cable, RF (radio frequency), etc., or any suitable combination of the above.
  • the above-mentioned computer-readable medium may be included in the above-mentioned electronic device; or may exist alone without being assembled into the electronic device.
  • the above computer readable medium carries one or more programs, and when the above one or more programs are executed by the electronic device, the electronic device causes the electronic device to execute the methods shown in the above embodiments.
  • Computer program code for carrying out operations of the present disclosure may be written in one or more programming languages, including object-oriented programming languages such as Java, Smalltalk, C++, and conventional Procedural programming language - such as the "C" language or similar programming language.
  • the program code may execute entirely on the user's computer, partly on the user's computer, as a stand-alone software package, partly on the user's computer and partly on a remote computer, or entirely on the remote computer or media library.
  • the remote computer can be connected to the user's computer through any kind of network—including a Local Area Network (LAN for short) or a Wide Area Network (WAN for short), or it can be connected to an external computer (eg, using an Internet service provider to connect through the Internet) o the flowcharts and block diagrams in the accompanying drawings illustrating the architecture, functionality, and operation of possible implementations of systems, methods, and computer program products according to various embodiments of the present disclosure .
  • LAN Local Area Network
  • WAN Wide Area Network
  • each block in the flowchart or block diagram may represent a module, program segment, or part of code that contains one or more logic functions for implementing the specified executable instructions.
  • the functions noted in the block may occur out of the order noted in the figures. For example, two blocks shown in succession may, in fact, be executed substantially concurrently, or the blocks may sometimes be executed in the reverse order, depending upon the functionality involved.
  • each block in the block diagrams and/or flowcharts, and combinations of blocks in the block diagrams and/or flowcharts can be implemented with dedicated hardware-based systems that perform the specified functions or operations , or can be implemented using a combination of dedicated hardware and computer instructions.
  • the units involved in the embodiments of the present disclosure may be implemented in a software manner, and may also be implemented in a hardware manner.
  • the name of the unit does not constitute a limitation on the unit itself under certain circumstances, for example, the first obtaining unit may also be described as "a unit for obtaining at least two Internet Protocol addresses".
  • the functions described herein above may be performed, at least in part, by one or more hardware logic components.
  • exemplary types of hardware logic components include: Programmable Gate Array (FPGA), Application-Specific Integrated Circuit (ASIC), Application-Specific Standard Product (ASSP), System-on-Chip (SOC), Complex Programmable Logic Device (CPLD), etc.
  • a machine-readable medium may be a tangible medium that may contain or store a program for use by or in connection with an instruction execution system, apparatus, or device.
  • the machine-readable medium may be a machine-readable signal medium or a machine-readable storage medium.
  • Machine-readable media may include, but are not limited to, electronic, magnetic, optical, electromagnetic, infrared, or semiconductor systems, devices, or devices, or any suitable combination of the foregoing.
  • a method for displaying text includes: acquiring a real-life shot image; acquiring text to be displayed; Perform dynamic special effect processing; and display the text after the dynamic special effect processing on the real scene shot image.
  • the displaying the text processed by the dynamic special effect on the real-scene shooting image includes: receiving a user's instruction for selecting a type of dynamic special effect; The special effect display area; displaying the text processed by the dynamic special effect on the special effect display area of the real-life shot image.
  • the determining the special effect display area in the real-life shooting image according to the selected dynamic special effect type includes: performing target recognition processing on the real-scene shooting image according to the selected dynamic special effect type, and determining The image area where the target to be recognized is located in the real-life shot image; and the special effect display area is determined according to the image area where the target to be recognized is located.
  • the text movement track data is called, and the text to be displayed is moved
  • the dynamic special effect processing includes: receiving a user's selection instruction for the dynamic special effect type; calling the text motion trajectory data of the corresponding type from the text motion trajectory database according to the selected dynamic special effect type; and, according to the selected dynamic special effect type, generating the Three-dimensional character modeling of the characters to be displayed, and obtaining modeling data of the characters; and processing the modeling data of the characters by using the character motion trajectory data to obtain the characters processed by the dynamic special effects.
  • the modeling data of the text includes the three-dimensional text coordinates of the text; the text motion trajectory data includes the text position coordinates of the motion trajectory in different motion frames; the use of the text motion trajectory data for the text
  • the modeling data of the text is processed to obtain the text after dynamic special effects processing, including: using a preset coordinate mapping script to map the three-dimensional text coordinates of the text to the coordinate system based on the text motion trajectory data; Coordinate alignment processing is performed between the three-dimensional text coordinates of the text and the text position coordinates under each motion frame in the text motion track data; and the text after the alignment processing is used as the text after the dynamic special effect processing.
  • the dynamic special effect processing further includes: performing special effect processing on the text shape of the text.
  • the displaying the text after the dynamic special effect processing on the real scene shooting image includes: based on an augmented reality display technology, performing fusion processing on the text after the dynamic special effect processing and the real scene shooting image , and display the real scene shot image after fusion processing.
  • the method further includes: acquiring the voice input by the user, and performing voice conversion processing on the voice to obtain the text to be displayed.
  • the method further includes: acquiring the limb information input by the user, determining the text corresponding to the limb information according to a preset mapping relationship between the limb information and the text, and using the text corresponding to the limb information as the Describes the text to be displayed.
  • a text display device includes: a communication module for acquiring a real-life shot image and text to be displayed; a processing module for calling a text motion trajectory data, and perform dynamic special effect processing on the text to be displayed; and a display module, configured to display the text after the dynamic special effect processing on the real-scene shot image.
  • the communication module is used to receive a user's selection instruction for the type of dynamic special effect; the processing module is further used to determine the special effect display area in the real-life shot image according to the selected type of dynamic special effect; the display module is used to display The text processed by the dynamic special effect is displayed on the special effect display area of the real-life shot image.
  • the processing module is further configured to perform target recognition processing on the live-action captured image according to the selected dynamic special effect type, and determine the image area where the target to be identified is located in the live-action captured image; according to the target to be identified The image area in which it is located determines the special effect display area.
  • the communication module is used to receive a user's selection instruction on the type of dynamic special effects; the processing module is specifically used to call the text motion trajectory data of the corresponding type from the text motion trajectory database according to the selected dynamic special effect type; and According to the selected dynamic special effect type, generate a three-dimensional text modeling of the text to be displayed, and obtain the modeling data of the text; use the text motion trajectory data to process the modeling data of the text to obtain the dynamic special effect processing
  • the modeling data of the text includes three-dimensional text coordinates of the text; the text motion trajectory data includes the text position coordinates under different motion frames; the processing module is specifically configured to use preset coordinates A mapping script, which maps the three-dimensional text coordinates of the text to the coordinate system on which the text motion trajectory data is based; aligns the three-dimensional text coordinates of the mapped text with the text position coordinates under each motion frame in the text motion trajectory data.
  • the processing module is further configured to perform special effect processing on the text shape of the text.
  • the display module is specifically configured to display technology based on augmented reality, The text after the dynamic special effect processing is fused with the real-scene captured image, and the fused-processed real-scene captured image is displayed.
  • the communication module is further configured to obtain the voice input by the user, and perform voice conversion processing on the voice to obtain the text to be displayed.
  • the communication module is further configured to acquire the limb information input by the user, determine the text corresponding to the limb information according to the preset mapping relationship between the limb information and the text, and use the text corresponding to the limb information as the text corresponding to the limb information. Describes the text to be displayed.
  • the body information includes one or more types of information among sign language information, gesture information, and facial expression information.
  • an electronic device includes: at least one processor and a memory; the memory stores computer-executed instructions; the at least one processor executes a computer stored in the memory Executing the instruction causes the at least one processor to execute the method for displaying text as described in any preceding item.
  • a computer-readable storage medium stores computer-executable instructions, and when a processor executes the computer-executable instructions, it implements the following:
  • the display method of the characters described in the preceding item is merely a preferred embodiment of the present disclosure and an illustration of the technical principles employed.
  • Those skilled in the art should understand that the scope of disclosure involved in the present disclosure is not limited to the technical solutions formed by the specific combination of the above-mentioned technical features, and should also cover the technical solutions made of the above-mentioned technical features or Other technical solutions formed by any combination of its equivalent features.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种文字的显示方法、装置、电子设备及存储介质，通过获取实景拍摄图像以及待显示的文字，调用文字运动轨迹数据，对待显示的文字进行动态特效处理，将动态特效处理后的文字显示在所述实景拍摄图像上，从而实现了在虚拟增强现实显示中对文字进行动态特效显示的功能，使得文字的显示效果更为生动，该显示方法能广泛运用于各应用场景，为用户带来更好的视觉感官体验。

Description

文 字的显示 方法、 装置、 电子设备及存储 介质 本申请 要求于 2020年 9月 10日提交的 中国专利 申请第 202010948338.5 的优 先权， 该中国专利 申请的全文 通过引用 的方式结合 于此以作 为本申请 的 一部 分。 技术领 域 本公 开实施例涉 及一种文 字的显示 方法、 装置、 电子设备及存储介 质。 背景技 术 增强现 实 (Augmented Reality , 简称 AR)显示技术是一种将虚拟信息与真 实世 界巧妙融合 的技术 ， 在虚拟增强现实显 示技术中 融入更多 的特效内容 ， 能够 更好呈现应 用场景 。 文字在 虚拟增 强现实显示 中的应用是 虚拟增强 现实显示技 术的重要 组成 部分 。 在已知的文字显 示方案中 ， 一般采用的是静 态文字展示 的方式 ， 这使 得对 于文字的 显示效果较 为生硬 ， 展示方式也较为单一 。 发明 内容 针对上 述问题， 本公开实施例提供 了一种文字 的显示方 法、 装置、 电子 设备及 存储介质 。 第一 方面， 本公开实施例 提供一种 文字的显 示方法， 包括： 获取 实景拍摄图像 ； 获取待 显示的文 字； 调用文 字运动轨 迹数据 ， 对所述待显示的文字 进行动态特 效处理 ； 将动 态特效处理 后的文字 显示在所述 实景拍摄 图像上。 第二 方面， 本公开实施例 提供一种 文字的显 示装置， 包括： 通信模 块， 用于获取实景 拍摄图像 ， 以及获取待显示的 文字； 处理模 块， 用于调用文字运 动轨迹数 据， 对用户输入的待 显示的文 字进 行动 态特效处理; 显示模 块， 用于将动态特效 处理后 的文字显示 在所述 实景拍摄图像 上。 第三 方面， 本公开实施例 提供一种 电子设备 ， 包括： 至少一个处理器和 存储 器； 所述存 储器存储 计算机执行 指令； 所述 至少一个处 理器执行 所述存储 器存储的计 算机执行 指令， 使得所述 至少 一个处理 器执行如上 第一方 面以及第一 方面各种 可能的涉 及所述的 文字 的显 示方法。 第四 方面， 本公开实施例 提供一种计 算机可读 存储介质 ， 所述计算机可 读存储 介质中存 储有计算机 执行指令 ，当处理器执行所 述计算机 执行指令 时 , 实现如 上第一 方面以及 第一方面各 种可能的 设计所述 的文字的显 示方法 。 本公开 实施例提 供的文字 的显示方 法、 装置、 电子设备及存储介质 ， 通 过获取 实景拍摄 图像以及待 显示的文 字， 调用文字运动 轨迹数据 ， 对待显示 的文 字进行动 态特效处理 ， 将动态特效处理后 的文字显 示在所述 实景拍摄 图 像上 ， 从而实现了在虚拟 增强现 实显示中对文 字进行动 态特效显示 的功能 ， 使得 文字的显 示效果更 为生动， 该显示方法 能广泛运 用于各应用 场景， 为用 户带 来更好的视 觉感官体 验。 附图说 明 为了更 清楚地说 明本公开 实施例或 已知技术 中的技术方 案， 下面将对实 施例 或已知技 术描述中 所需要使 用的附图作 一简单地 介绍， 显而易见地 ， 下 面描 述中的附 图是本公 开的一些 实施例， 对于本领域普 通技术人 员来讲 ， 在 不付 出创造性 劳动性的前 提下， 还可以根据 这些附图获 得其他的 附图。 图 1为本公开所基 于的一种 网络架构的 示意图； 图 2为文字的显示 方法所基 于的第一场 景示意 图； 图 3为本公开所基 于的另一种 网络架构 的示意 图； 图 4为文字的显示 方法所基 于的第二场 景示意 图； 图 5为本公开实施例 提供的一 种文字的 显示方法 的流程示 意图； 图 6为本公开提供 的文字的显 示方法的 第一界面 示意图； 图 7为本公开提供 的文字的显 示方法的 第二界面 示意图； 图 8为本公开提供 的文字的显 示方法的 第三界面 示意图； 图 9为本公开提供 的文字的显 示方法 的第四界 面示意图； 图 10为本公开实施例 提供的文 字的显示 装置的结 构框图; 图 11为本公开实施例 提供的 电子设备的硬 件结构示 意图。 具体 实施方式 为使本 公开实施 例的目的 、 技术方案和优点 更加清楚 ， 下面将结合本公 开实施 例中的 附图， 对本公开实施 例中的技 术方案进行 清楚、 完整地描述 ， 显然 ， 所描述的实施例是 本公开一 部分实施 例， 而不是全部的 实施例。 基于 本公 开中的实施 例， 本领域普通技 术人员在 没有作 出创造性劳动 前提下所 获 得的 所有其他 实施例， 都属于本公开保护 的范围。 增强现 实 (Augmented Reality , 简称 AR)显示技术是一种将虚拟信息与真 实世 界巧妙融合 的技术 ， 在虚拟增强现实显 示技术中 融入更多 的特效内容 ， 能够 更好呈现应 用场景 。 文字在 虚拟增 强现实显示 中的应用是 虚拟增强 现实显示技 术的重要 组成 部分 。 在已知的文字显 示方案中 ， 一般采用的是静 态文字展示 的方式 ， 这使 得对 于文字的 显示效果较 为生硬 ， 展示方式也较为单一 。 针对这 样的问题 ， 本公开的实施例提供 了一种文 字的显示 方法， 通过调 用文 字运动轨迹 数据， 对待显示的 文字进行 动态特效处 理， 基于增强现 实技 术将 动态特效处 理后的文 字显示在 拍摄获取 的实景拍摄 图像上， 从而实现 了 在增 强现实显示 中对文字 进行动态特 效显示 的功能， 使得文字的 显示效果 更 为生 动， 该显示方法能广 泛运用于 各应用场 景， 为用户带来更好 的视觉感 官 体验 。 参考 图 1 , 图 1为本公开所基于的一 种网络架构 的示意 图， 该图 1所示 网络 架构具体 可包括终 端 1、 文字的显示装置 2以及服务器 3。 其中 ， 终端 1具体可为用户 手机、 智能家居设备 、 平板电脑等可用 于拍 摄实 景并且展现 拍摄的 实景的硬件设 备， 而文字的显示 装置 2可为集成或安 装在 所述终端 1上的客户端 或显示端 ， 服务器 3可为设置在 云端的 包括存储 各类 文字运动轨 迹数据 的服务器集 群。 文字 的显示装置 2可在终端 1上运行， 并为终端 1提供显示页 面， 以供 终端 1利用其屏 幕或显示组 件向用户 显示文字 的显示装置 2所提供的 页面。 同时 ， 文字的显示装置 2还可利用终端 1的网络组件 与服务 器 3进行交 互 ， 以获取服务器 3中的预 存的文字 运动轨迹数 据。 此外 ， 在一些可选的实施 方式中 ， 终端 1中也可对服务器 3中的各类 文 字运 动轨迹数据 进行缓存 ， 以便于使用。 例如， 终端 1中可以存储 有各类文 字运 动轨迹数据 ， 通过调用文字运 动轨迹数据 ， 对待显示的文字 进行动态特 效处 理， 并将动态特效处 理后的文 字显示在 该终端 1所拍摄的实景 拍摄图像 上 。 特别来 说， 图 1所示架构可适 用多种应 用场景， 图 2为文字的显示方法 所基 于的第一 场景示意 图。 如图 2所示的， 在该场景中 ， 用户可启动文字的 显示装置提 供的虚 拟增 强现 实显示功 能， 并通过终端 1向文字的显示装 置 2发送对 于待显示 的文字 进行 显示的操作 指令， 以供文字的显示装置 2与服务器 3交互， 获得相应的 文字 运动轨迹数 据。 文字的显示装 置 2利用文 字运动轨迹 数据对待 显示的文 字进 行处理，并将显示处 理后的文 字显示在 终端拍摄 获得的实景 拍摄图像 中。 在该场 景中， 用户可对于 处理后的 实景拍摄 图像进行录屏 等操作 ， 获得 具有 个人风格 的图像作 品， 还可将处理后的 实景拍摄 图像作为虚 拟增强现 实 显示 的导航场景 的图示 、 虚拟增强现实显示 的旅游场景 的图示等 。 此外 ， 参考图 3, 图 3为本公开所基 于的另 一种网络 架构的示意 图， 该 图 3所示网络架构 具体可 包括多个终 端 1、文字的显示装置 2、服务器 3以及 拍摄 ,系统 4O 与图 1所示架构不 同的是 ， 文字的显示装置 2是集成在服务 器 3中的。 在该 图 3所示网络 架构中 ， 拍摄系统 4可与服务器 3进行交互 ， 为其中的文 字的 显示装置 2提供实景拍 摄图像， 而文字的显示装置 2将采用本公 开提供 的文 字的显示 方法对实景 拍摄图像 进行处理 , 并将处理后的图像发送 至多个 终端 1 , 以供终端 1观看获取。 其中 ， 拍摄系统 4可由设置在 同一拍摄 区域的多 个拍摄设 备构成， 该多 个拍 摄设备将 以不同拍摄 角度对于 拍摄区域 进行拍摄 。 当拍摄系统 4在对拍 摄 区域进行拍摄 时， 其拍摄得到的 实景拍摄 图像将被传 输至服务 器 3, 并通 过＞9艮务器 3转发文字的显示装置 2, 以呈现在终端 1上。 特别来 说， 图 3所示架构可适 用于基 于视频直播 场景下的 文字的显 示场 景 。 其中， 图 4为文字的显示方法所基 于的第 二场景示 意图。 如图 4所示的， 在该场景中 ， 由拍摄系统拍摄的 多角度的 实景拍摄 图像 将经 过服务器 中的文字 的显示装置 的处理， 发送至位于不同地 点的终端 1, 以供 各用户观看 。 下面将 以图 1所示结构为例 ， 针对本公开提供的 文字的显 示方法进行 进 一步 说明。 其中， 文字的显示方 法在图 3所示结构上的应 用与其在 图 1所示 结构 上的应用 类似， 不再进行赘述 。 第一 方面， 参考图 5, 图 5为本公开实施例提 供的一种 文字的显 示方法 的流 程示意 图。 本公开实施例提供 的文字 的显示方法 ， 包括： 步骤 101、 获取实景拍摄图像。 步骤 102、 获取待显示的文字。 在本公 开中， 可采用多种 方式获取待 显示的 文字： 在其 中一种可选 的实施方 式中， 通过接收用 户输入的文 字信息 ， 直接获 取待 显示的文 字。 在其 中另一种可 选实施方 式中， 显示装置可 获取用户输入 的语音 ， 对所 述语 音进行语音 转换处理 ， 获得待显示的文字 。 在其 中的又一种 可选实施 方式中， 还可获取用 户输入的肢 体信息 ， 根据 预设 的肢体信 息与文字之 间的映射 关系， 确定所述肢 体信息对应 文字， 所述 肢体 信息对应 文字作为所 述待显示 的文字 。 其中， 所述肢体信息包括手 语信 息 、 手势信息、 面部表情信息中 的一种信 息或多种信 息。 步骤 103、 调用文字运动轨迹数据， 对待显示的文 字进行动 态特效处理 。 步骤 104、 将动态特效处理后的文字 显示在所 述实景拍摄 图像上 。 需要说 明的是 ， 本示例的提供的处 理方法的 执行主体 为前述的文 字的显 示装 置。 如前所示的， 该文字的显示装 置可架设 于终端中 ，也可架设于服 务 器 中， 无论其架设在何种 设备中 ， 均可通过其架设的设 备 （终端或服务器 ） 接收 用户触发 的操作， 并进行相应的处理， 以将处理结果发送至 终端并进行 显示 。 与 已知技术不 同的是， 在本公开所 基于的方 案中， 包括有： 调用文字运 动轨迹 数据， 对待显示 的文字进行 动态特效处 理， 并将动态特效 处理后的文 字显 示在所述 实景拍摄 图像上的步 骤。 通过采 用本公开 的方案 ， 实现了在增强现实显 示中对文 字进行动态 特效 显示 的功能， 使得文字 的显示效果 更为生动 ， 该显示方法能广泛 运用于各 应 用场 景， 为用户带来更好 的视觉感 官体验。 图 6为本公开提供 的文字的显 示方法的 第一界面 示意图， 图 7为本公开 提供 的文字的 显示方法 的第二界 面示意图 。 如图 6所示的， 首先， 当用户触 发文 字的显示装 置执行该 显示功能 时， 文字的显示装置 首先将通 过与终端 的 拍摄 组件或通过 拍摄系统 进行交互 ， 获得实景拍摄图像 。 然后显示装置将获 取待 显示的文 字， 并调用文字运动 轨迹数据 ， 对待显示的文字进 行动态特 效 处理 ， 如图 7所示的， 显示装置将动 态特效处理 后的文字 显示在 实景拍摄图 像上 。 可选 实施例中 ， 对于步骤 103, 可采用如下方式 实现： 步骤 1031、 接收用户对动态特效类型 的选择指令 ； 步骤 1032、 文字的显示装置可根据选 中的动态特效 类型， 从文字运动轨 迹数 据库中调用 相应类型 的文字运 动轨迹数据 O 其中 ， 动态特效类型具体 指代的是 文字的显 示装置为用 户提供的 可供用 户选择 的文字效 果，不同的动态特 效类型将对 文字进行 不同的动 态特效处理, 以使 其呈现不 同的动态运 动轨迹和 不同的渲 染结果。 而不同动态特效类型 对 应的 文字运动轨 迹数据 由开发人员预 先设计并 存储在服 务器的文字 运动轨迹 数据 库中， 以供文字的 显示装置 随时调用。 步骤 1023、 根据选中的动态特效类型， 生成所述待显 示的文字 的三维文 字建 模， 并获得文字的 建模数据 。 步骤 1034、利用前述获得的文字 运动轨迹 数据对所 述文字的 建模数据进 行处 理， 获得动态特效处 理后的文 字。 进一步 来说， 根据选中的 动态特效类 型， 生成所述待显 示的文字 的三维 文字 建模， 并获得文字 的建模数据 o 其中， 文字的建模数据具体 可由文字 的 三维 文字坐标构 成。 以图 7为例， 如文字为 “你好” ， 相应的， 分别对 “你” 和 “好” 进行建模处 理， 分别得到对应 的三维文字 模型 “你” 和 “好” ， 然 后 ， 该两个三维文字模型 的中心 坐标将作为 文字的三 维文字坐 标。 文字运 动轨迹数 据包括不 同运动帧 下的文字位 置坐标 。 如， 在某一种动 态特 效类型下 ， 例如， 文字运动轨迹是从界 面的左侧 “滑” 向界面的右侧， 且该 “滑” 的时间为 1秒 (对应 N个运 动帧) ， 那么可知的是， 文字运动轨 迹数 据包括每 一运动帧 下的文字位 置坐标： 如第 1运动帧 中的文字位 置坐标 [ ( xll,yll,zll ) , ( xl2,yl2,zl2 ) ]; 其 中 ， ( xll,yll,zll ) 用于表示第 1 运动帧中 “你 ” 的文字位置坐标 ， 而 ( xl2,yl2,zl2 )用于表示第 1运动帧中 “好” 的文字位置坐标。 在第 N运动帧 中，文字位置坐 标将为 [( xNl,yNl,z21 ),( xN2,yN2,zN2 )]; 其 中， ( xNl,yNl,zNl )用于表示第 N运动帧中 “你” 的文字位置坐标， 而 ( xN2,yN2,zN2 )用于表示第 N运动帧中 “好” 的文字位置坐标。 也就是 说， 针对于 “你”来说 ， 由 ( xll,yll,zll )、
Figure imgf000009_0001
( xNl,yNl,z21 )等 N个运动帧下的文字位置坐 标构成的 集合将成 为其在该 N 个运 动帧 所对应 的时长 下的运 动轨迹 ； 类似的， 针对于 “好” 来说， 由 ( xl2,yl2,zl2 ) 、 ( x22,y22,z22 ) ( xN2,yN2,zN2 )等 N个运动帧下的 文字 位置坐标构 成的集合 将成为其 在该 N个运 动帧所对应 的时长下 的运动轨 迹。 当然 ， 文字位置坐标用于 表示每个 文字的位 置坐标。 也就是说， 当采用 相 同的动态特效 类型时 ， 不同字数的文字所 对应的文 字运动轨迹 数据中的 文 字位 置坐标也是 不同的 。 相应的， 若文字的字数发生 变化， 显示装置需要 重 新确 定每个文 字在各运 动帧下的文 字位置 坐标， 以保证该文字 中的每一 个文 字能 够被精准表 示。 步骤 1023、利用前述获得的文字 运动轨迹 数据对所 述文字的 建模数据进 行处 理， 获得动态特效处 理后的文 字。 具体 来说， 在该步骤中， 显示装置将利用预设 的坐标映射 脚本， 将所述 文字 的三维文 字坐标映射 至文字运 动轨迹数 据所基于 的坐标系 中， 以保证两 者是 采用同一 坐标系下 的坐标。 然后 ， 显示装置将映射后 的文字的 三维文字 坐标与文 字运动轨迹 数据中 各运 动帧下的文 字位置 坐标进行坐 标对齐处理 ， 即使得文字中每 一文字的 中 心点 的三维文 字坐标对 齐至该对文 字对应的文 字位置坐 标处； 最后， 所述对 齐处理 后的文 字作为动态 特效处理后 的文字 。 可选 的， 本公开提供的方 案中， 对于文字的 动态特效处 理还包括 ： 对文 字的 文字形状 进行特效 处理。 基于用户选 中的不同的 动态特效类 型， 显示装 置将 采用不 同的特效处 理算法对文 字的文字 形状进行 处理， 例如， 在 “你” “好” 的三维模型 的基础上 ， 还可对三维模型进行 特效处理 ， 例如对其进行 艺术 字处理以使 文字的三 维模型具 备一定的 艺术风格 。 可选 实施例中 ， 在获得动态特效处理 后的文字 之后， 还将包括有 将动态 特效 处理后的 文字显示在 所述实景 拍摄图像 上的步骤 。 具体的， 该步骤可利 用虚 拟现实增强 算法实现 ， 例如 SLAM的 融合算法 ， 即所述动态特效处理 后 的文 字与所述 实景拍摄 图像进行融 合处理， 将融合处理后的所述 实景拍摄 图 像进 行显示。其中 的 SLAM 的融合 算法是一 种已知 的将虚拟信 息与实景 图像 进行 融合显示 的算法模型 ， 利用该融合算法 和每一运 动帧下的对 齐处理后 的 文字 的三维文 字坐标，实现将文字 融合至 实景拍摄图像 中并进行 显示的功 能。 可选 的， 显示方法中还 包括对于特效 显示区 的选择功能 。 具体来说， 将 动态特 效处理后 的文字显 示在所述 实景拍摄 图像上， 还包括： 根据选中的 动 态特 效类型， 确定所述 实景拍摄 图像中的特 效显示区 ； 将所述动态特效处 理 后的 文字显示在 所述实景 拍摄图像 的特效显 示区上。 进一步 的， 在确定特效显 示区的过程 中， 可才艮据选中的动态特效类型， 对所 述实景拍摄 图像进行 目标识别处 理， 确定所述实景拍 摄图像 的目标所在 区域 ； 根据所述实景拍摄 图像的 目标所在 区域确定所 述特效显 示区。 以基 于人脸 自拍的场景为 例， 图 8为本公开提供 的文字的 显示方法 的第 三界 面示意 图， 如图 8所示的， 在该场景中， 通过开启终 端的前置摄 像头可 使得 显示装置 获取包括人 脸的实景 拍摄图像 ， 然后从界面提供 的多种动态 特 效类 型中选中其 中一种动 态特效， 以使在实景拍摄图像 的人脸的 特效显示 区 显示相 应的文 字。 具体 的， 在图 8中的第三界 面中设置有 多种动 态特效类型 ： 类型 A、 类 型 B、 类型 C和类型 D。 当接收到用户选中 的 “类型 A（例如， 该类型 A为 文字 眼镜特效 ） ” 的特效类型的指令 时， 基于该类型， 首先在实景 拍摄图像 中确 定生成该 文字的特 效显示区 ， 如， 实景拍摄图像中人脸上 眼睛所在 的区 域； 随后， 调用该特效类型对应的 文字运动轨 迹数据 ， 并对文字 （如用户输 入的 “GOOD GIRL” ）进行动态特效处理 ； 最后， 将处理后的文字显示在前 述获得 的特效显 示区 （如眼睛所在的区域 ） 。 在一个实施例中， 还可以在特 效显 示区增加相 关的虚拟 物体， 并将处理后 的文字显 示在该虚拟 物体处。 例 如 ， 在图 8中， 还可以在眼睛区域先 设置虚拟 眼镜， 并将处理后 的文字显示 在虚 拟眼镜上 ， 以增强界面的美观 性。 图 9为本公开提供 的文字的显 示方法的 第四界面 示意图，如图 9所示的， 显示 装置将基 于该动 态特效 类型对 当前实景 拍摄图像 中的面 部进行识 别处 理 ， 以确定面部中眼睛 在图像中 的位置区域 ， 然后根据眼睛 所在的区域 确定 特效 显示区， 相应的， 当面部在图像中出现 旋转或位 置改变时 ， 特效显示区 也将 相应改变 ， 从而获得图 9所示的 示意图。 例如， 处理后的文字 的位置和 角度 也可以随 着面部的 位置和角度 的变化 而在画面 中相应地 变化。 此外 ，在本公开中 ，文字的显示装 置可采用 多种方式 获取待显示 的文字 ： 在其 中一种可选 的实施方 式中， 通过接收用户 输入的文 字信息， 直接获 取待 显示的文 字。 在其 中另一种可 选实施方 式中， 显示装置可获 取用户输入 的语音 ， 对所 述语 音进行语音 转换处理 ， 获得待显示的文字 。 在其 中的又一种 可选实施 方式中， 显示装置还 可获取用 户输入的肢 体信 息 ， 根据预设的肢体信 息与文字之 间的映射 关系， 确定所述肢体 信息对应 文 字 ， 所述肢体信息对应文 字作为所 述待显示 的文字。 其中， 所述肢体信息包 括手 语信息、 手势信息、 面部表情信息中 的一种信息 或多种信 息。 本公开 实施例提 供的文字 的显示方 法， 通过获取实景拍摄 图像， 调用文 字运 动轨迹数据 ， 对待显示的文字 进行动态特 效处理 ， 将动态特效处理后 的 文字 显示在所 述实景拍摄 图像上 ， 从而实现了在虚拟增 强现实显 示中对文字 进行 动态特效显 示的功能 ， 使得文字的显示 效果更为生 动， 该显示方法能 广 泛运 用于各应 用场景， 为用户带来更好的视 觉感官体验 。 对应于 上文实施 例的文字 的显示方 法，图 10为本公开实施例 提供的文 字 的显 示装置的 结构框图 。 为了便于说明， 仅示出了与本 公开实施 例相关的 部 分。 参照图 10, 所述文字的显示装 置包括： 通信模块 10、 处理模块 20以及 显示模 块 30。 通信模 块 10, 用于获取实景拍摄图像 以及待显 示的文字 ； 处理模 块 20, 用于调用文字运 动轨迹数据 ， 对所述待显示的文 字进行动 态特 效处理； 显示模 块 30, 用于将动态特效 处理后 的文字显 示在所述 实景拍摄 图像 上。 可选 实施方式 中， 通信模块 10, 用于接收用户对动 态特效类型 的选择指 令； 处理模 块 20还用于根 据选中的 动态特效类 型，确定所述实景 拍摄图像 中 的特 效显示区 ； 显示模 块 30,用于将所 述动态特 效处理后 的文字显 示在所述 实景拍摄图 像的 特效显示 区上。 可选 实施方式 中，处理模块 20还用于根据选 中的动态特 效类型 ，对所述 实景 拍摄图像进 行目标识 别处理， 确定所述 实景拍摄图像 中待识别 目标所在 的 图像区域； 根据所述待 识别目标 所在的 图像区域确 定所述特 效显示区 。 可选 实施方式 中， 通信模块 10, 用于接收用户对动 态特效类型 的选择指 令； 处理模 块 20, 具体用于根据选 中的动态特 效类型 ， 从文字运动轨迹数据 库中 调用相应类 型的文字 运动轨迹数 据； 以及根据选 中的动态特 效类型， 生 成所 述待显示 的文字的 三维文字建 模， 并获得文字的 建模数据 ； 利用文字运 动轨迹 数据对所 述文字 的建模数据 进行处理 ， 获得所述动态特效 处理后的 文 字。 可选 实施方式 中， 所述文字的建模 数据包括 文字的三 维文字坐标 ； 所述 文字 运动轨迹数 据包括 不同运动帧 下的文字 位置坐标 ； 处理模 块 20, 具体用于利用预 设的坐标 映射脚本 ， 将所述文字的三维文 字坐 标映射至 文字运动轨 迹数据所 基于的坐 标系中； 将映射后的文字的 三维 文字 坐标与文 字运动轨迹 数据中各 运动帧下 的文字位 置坐标进行 坐标对齐处 理； 将所述对齐处理后 的文字作为 所述动态特 效处理后 的文字 。 可选 实施方式 中， 处理模块 20, 具体还用于对文字 的文字形状 进行特效 处理 。 可选 实施方式 中， 显示模块 30, 具体用于基于增 强现实显示 技术， 对所 述动 态特效处理 后的文字 与所述 实景拍摄图像 进行融合 处理， 将融合处理后 的所 述实景拍摄 图像进行 显示。 可选 实施方式 中，通信模块 10还用于获取用 户输入的语 音，对所述语 音 进行语 音转换处 理， 获得所述待显示 的文字 。 可选 实施方式 中，通信模块 10还用于获取用 户输入的肢 体信息 ，根据预 设的 肢体信息 与文字之 间的映射 关系， 确定所述肢体 信息对应 文字， 并将所 述肢 体信息对应 文字作 为所述待显 示的文字 。 可选 实施方式 中， 所述肢体信息 包括手语信 息、 手势信息、 面部表情信 息 中的一种信 息或多种信 息。 本公 开实施例提 供的文字 的显示装 置， 通过获取实景拍 摄图像， 以及获 取待 显示的文 字， 调用文字运动轨 迹数据 ， 对待显示的文字进行 动态特效 处 理 ， 将动态特效处理后 的文字显示 在所述 实景拍摄图像 上， 从而实现了在 虚 拟增 强现实显示 中对文字 进行动态特 效显示的 功能， 使得文字的 显示效果 更 为生 动， 该显示方法能广 泛运用于 各应用场 景， 为用户带来更好 的视觉感 官 体验 。 本实施 例提供 的电子设备 ， 可用于执行上述方 法实施例 的技术方 案， 其 实现原 理和技 术效果类似 ， 本实施例此处不再 赘述。 参考 图 11 ,其示出了适于用来 实现本公开 实施例的 电子设备 900的结构 示意 图， 该电子设备 900可以为终端设备或 媒体库 。 其中， 终端设备可以包 括但 不限于 诸如移 动电话、 笔记本电脑、 数字广播接 收器 、 个人数字助理 （ Personal Digital Assistant,简称 PDA）、平板电脑（ Portable Android Device, 简称 PAD）、 便携式多媒体 播放器 （ Portable Media Player, 简称 PMP）、 车 载终 端 （例如车载导航终端）等等 的移动终 端以及诸 如数字 TV、 台式计算 机等 等的固定 终端。 图 11示出的电子设备仅 仅是一个 示例，不应对 本公开实 施例 的功能和 使用范 围带来任何 限制。 如图 11所示，电子设备 900可以 包括文字的 显示方法（例如中 央处理器 、 图形 处理器等 ） 901 , 其可以根据存储在只读存储器 （ Read Only Memory , 简称 ROM ） 902 中的程序或 者从存 储装置 908 加载到随机访 问存 储器 （ Random Access Memory , 简称 RAM） 903中的程序而执行 各种适 当的动 作和 处理。 在 RAM 903中， 还存储有 电子设备 900操作所需的 各种程序 和 数据 。 文字的显示方法 901、 ROM 902以及 RAM 903通过总线 904彼此相 连。 输入 /输出 （I/O）接口 905也连接至总线 904。 通常 ， 以下装置可以连接 至 I/O接口 905: 包括例如触摸 屏、 触摸板、 键盘 、 鼠标、 摄像头、 麦克风、 加速度计、 陀螺仪等的输入装置 906; 包括 例如 屏幕、 扬声器、 振动器等的输 出装置 907; 包括例如磁 带、 硬盘等的存 储装 置 908; 以及通信装置 909 o通信装置 909可以允许电子设备 900与其他 设备 进行无线或 有线通信 以交换数据 。虽然图 11示出了具 有各种装 置的电子 设备 900, 但是应理解 的是， 并不要求实施 或具备所 有示出的 装置。 可以替 代地 实施或具备 更多或 更少的装 置。 特别地 ， 根据本公开的 实施例， 上文参考流程 图描述 的过程可 以被实现 为计 算机软件程 序。 例如， 本公开的实施例 包括一种计 算机程序 产品， 其包 括承 载在计算机 可读介质 上的计算 机程序， 该计算机程序包含用 于执行流 程 图所 示的方法 的程序代 码。 在这样的实施例 中， 该计算机程序可 以通过通 信 装置 909从网络上被 下载和安 装，或者从存 储装置 908被安装，或者从 ROM 902 被安装 。 在该计算机程序被 文字的显 示方法 901执行时， 执行本公开 实 施例 的方法 中限定的上 述功能。 需要说 明的是 ， 本公开上述的计算机 可读介质 可以是计 算机可读 信号介 质或 者计算机 可读存储介 质或者是 上述两者 的任意组合 。 计算机可读存储 介 质例 如可以是 - 但 不限于 电 、 磁、 光、 电磁、 红外线、 或半导体的系 统、 装置或器件， 或者任意以上 的组合。 计算机可读 存储介质 的更具体 的例 子可 以包括但 不限于： 具有一个或多个导 线的电连接 、 便携式计算机磁盘 、 硬盘 、 随机访问存储器 （RAM ） 、 只读存储器（ROM ） 、 可擦式可编程只 读存 储器（ EPROM 或闪存 ）、光纤、便携式紧凑磁盘只读存 储器（ CD-ROM ）、 光存 储器件、 磁存储器件 、 或者上述的任 意合适的组 合。 在本公开中， 计算 机可 读存储介质 可以是任 何包含或 存储程序 的有形介 质， 该程序可以被指 令 执行 系统、 装置或者器件 使用或者 与其结合 使用。 而在本公开中， 计算机可 读信 号介质可 以包括在基 带中或者 作为载波 一部分传播 的数据信 号， 其中承 载 了计算机可读 的程序代 码。 这种传播的数据 信号可 以采用多种 形式， 包括 但不 限于电磁信 号、 光信号或上 述的任意合 适的组合 。 计算机可读信号 介质 还可 以是计算机 可读存储 介质以外 的任何计 算机可读介 质， 该计算机可读信 号介 质可以发 送、 传播或者传输用 于由指令 执行系统 、 装置或者器件使用 或 者与 其结合使 用的程序 。 计算机可读介质上 包含的程 序代码可 以用任何 适当 的介 质传输， 包括但不限于： 电线、 光缆、 RF（射频）等等， 或者上述的任 意合 适的组合 。 上述计 算机可读 介质可以 是上述电子 设备中所 包含的； 也可以是单独存 在 ， 而未装配入该电子设 备中。 上述计 算机可读 介质承载有 一个或者 多个程序 ， 当上述一个或者 多个程 序被 该电子设备 执行时， 使得该电子 设备执行 上述实施例 所示的方 法。 可以 以一种或 多种程序设 计语言或其 组合来编 写用于执行 本公开 的操作 的计 算机程序 代码， 上述程序设计 语言包括 面向对象 的程序设计 语言一诸如 Java、 Smalltalk. C++, 还包括常规的过程式程序设计语 言一诸如 “C” 语言 或类 似的程序设 计语言 。 程序代码可以完全 地在用户计 算机上执 行、 部分地 在用 户计算机 上执行、 作为一个独 立的软件 包执行、 部分在用户 计算机上 部 分在 远程计算机 上执行 、 或者完全在远程计 算机或媒体 库上执行 。 在涉及远 程计 算机的 情形中 ， 远程计算机可 以通过任 意种类 的网络 — 包括局域 网 ( Local Area Network , 简称 LAN )或广域网 ( Wide Area Network , 简称 WAN ) 一连接到用 户计算机 ， 或者， 可以连接到外部计算机 (例如利用因特 网服 务提供商 来通过因特 网连接) O 附图 中的流程 图和框图 ， 图示了按照本公开各 种实施例 的系统、 方法和 计算 机程序产 品的可能 实现的体 系架构、 功能和操作 。 在这点上， 流程图或 框 图中的每个 方框可以 代表一个模 块、 程序段、 或代码的一部 分， 该模块、 程序 段、 或代码的一部 分包含一 个或多个 用于实现规 定的逻辑 功能的可执 行 指令 。 也应当注意， 在有些作为替 换的实现 中， 方框中所标注 的功能也可 以 以不 同于附 图中所标注 的顺序发生 。 例如， 两个接连地表示的 方框实际上 可 以基 本并行地 执行， 它们有时也可 以按相反 的顺序执 行， 这依所涉及的 功能 而定 。 也要注意的是 ， 框图和 /或流程图中的每个方 框、 以及框图和 /或流程 图中 的方框的 组合， 可以用执行规 定的功能 或操作的 专用的基 于硬件的 系统 来 实现， 或者可以用专用 硬件与计 算机指令 的组合来 实现。 描述 于本公开 实施例中所 涉及到的 单元可以 通过软件 的方式实现 ， 也可 以通 过硬件的 方式来实现 。 其中， 单元的名称在某种 情况下并 不构成对该 单 元本 身的限定 ， 例如， 第一获取单元还可 以被描述为 “获取至少 两个网际协 议地 址的单元” 。 本文 中以上描述 的功能可 以至少部 分地由一 个或多个 硬件逻辑 部件来执 行 。 例如， 非限制性地， 可以使用的示范 类型的硬件 逻辑部件 包括： 现场可 编程 门阵列 （FPGA） 、 专用集成电路（ ASIC） 、 专用标准产品（ ASSP） 、 片上 系统 （SOC） 、 复杂可编程逻辑设备 （ CPLD）等等。 在本公 开的上下 文中， 机器可读介 质可以是有 形的介质 ， 其可以包含或 存储 以供指令执 行系统 、 装置或设备使用或 与指令执行 系统、 装置或设备 结 合地 使用的程 序。 机器可读介质可 以是机 器可读信号 介质或机 器可读储存 介 质。 机器可读介 质可以 包括但不 限于电子的 、 磁性的、 光学的、 电磁的、 红 夕卜的、 或半导体系统、 装置或设备， 或者上述内容 的任何合 适组合。 机器可 读存储 介质的更 具体示例 会包括基 于一个或 多个线的 电气连接 、 便携式计算 机盘 、 硬盘、 随机存取存储器 （RAM ） 、 只读存储器（ROM ） 、 可擦除可 编程 只读存储 器 （EPROM 或快闪存储 器） 、 光纤、 便捷式紧凑盘只读存储 器 （CD-ROM ）、 光学储存设备、 磁储存设备、 或上述内容的任何 合适组合 。 以下是 本公开 的一些实施 例。 第一 方面， 才艮据本公开的一个或多个实施 例， 一种文字的显 示方法， 包 括： 获取 实景拍摄图像 ； 获取待 显示的文 字； 调用文 字运动轨 迹数据， 对所述待显示的文字 进行动态特 效处理 ； 将动 态特效处理后 的文字 显示在所述 实景拍摄 图像上。 可选 实施方式 中， 所述将动态特效处 理后的文 字显示在 所述实景 拍摄图 像上 ， 包括： 接收用 户对动态特 效类型 的选择指令 ； 根据选 中的动态 特效类型 ， 确定所述实景拍摄 图像中的特 效显示 区； 将所 述动态特 效处理 后的文 字显示在 所述 实景拍摄 图像的特 效显示 区 上。 可选 实施方式 中， 所述才艮据选中的动态特效类型， 确定所述 实景拍摄图 像 中的特效显 示区， 包括： 根据选 中的动态 特效类型 ， 对所述实景拍摄图像 进行 目标识别处理 ， 确 定所 述实景拍摄 图像中待 识别目标 所在的图像 区域； 根据 所述待识别 目标所在 的图像区域 确定所述 特效显示 区。 可选 实施方式 中， 所述调用文字运 动轨迹数据 ， 对待显示的文字 进行动 态特 效处理， 包括： 接收用 户对动态特 效类型 的选择指令 ； 根据选 中的动态 特效类型 ， 从文字运动轨迹数 据库中调用 相应类型 的文 字运 动轨迹数据 ； 以及， 根据选 中的动态 特效类型 ， 生成所述待显示 的文字的三 维文字建模 ， 并 获得 文字的建模 数据； 利用文 字运动轨 迹数据对 所述文字 的建模数据 进行处理 ， 获得所述动态 特效 处理后的 文字。 可选 实施方式 中， 所述文字的建模 数据包括 文字的三 维文字坐标 ； 所述文 字运动轨 迹数据 包括运动轨迹 在不同运 动帧下的 文字位置 坐标； 所述 利用文字运 动轨迹数 据对所述 文字的建模 数据进行 处理， 获得动态 特效 处理后的 文字， 包括： 利用预 设的坐标 映射脚本 ， 将所述文字的三 维文字坐标 映射至文 字运动 轨迹数 据所基 于的坐标 系中； 将映射 后的文字 的三维文 字坐标与 文字运动轨 迹数据 中各运动帧 下的文 字位 置坐标进行 坐标对齐 处理； 将所述 对齐处理后 的文字作 为所述动 态特效处 理后的文 字。 可选 实施方式 中， 所述动态特效处理 还包括： 对文字 的文字形 状进行特 效处理。 可选 实施方式 中， 所述将动态特效处 理后的文 字显示在 所述实景 拍摄图 像上 ， 包括： 基于增 强现实显 示技术， 对所述动态 特效处理后 的文字 与所述实景 拍摄 图像 进行融合处 理， 将融合处理后 的所述 实景拍摄图像 进行显示 。 可选 实施方式 中， 该方法还包括： 获取用 户输入的语 音， 对所述语音进 行语音转换 处理， 获得所述待显 示 的文 字。 可选 实施方式 中， 该方法还包括： 获取用 户输入的肢 体信息 ，根据预设的肢体信 息与文字 之间的映 射关系， 确定 所述肢体 信息对应文 字， 并将所述肢体 信息对应 文字作为 所述待显示 的 文字 。 可选 实施方式 中， 所述肢体信息 包括手语信 息、 手势信息、 面部表情信 息 中的一种信 息或多种信 息。 第二 方面， 才艮据本公开的一个或多个实施 例， 一种文字的显 示装置， 包 括： 通信模 块， 用于获取实景 拍摄图像 以及待显示 的文字； 处理模 块， 用于调用文字运 动轨迹数 据， 对所述待显示 的文字进行 动态 特效 处理； 显示模 块， 用于将动态特效 处理后 的文字显示 在所述 实景拍摄图像 上。 可选 实施方式 中， 通信模块用于接 收用户对动 态特效类型 的选择指 令； 处理模 块还用于根 据选中 的动态特效 类型， 确定所述实景 拍摄图像 中的 特效 显示区； 显示模 块， 用于将所述动 态特效处理 后的文字 显示在所 述实景拍摄 图像 的特 效显示区 上。 可选 实施方式 中， 处理模块还用于根 据选中的 动态特效类 型， 对所述实 景拍 摄图像进行 目标识别 处理， 确定所述实景 拍摄图像 中待识别 目标所在的 图像 区域； 根据所述待 识别目标所 在的图像 区域确定 所述特效显 示区。 可选 实施方式 中，通信模块，用于接 收用户对 动态特效 类型的选择 指令; 处理模 块， 具体用于根据 选中的动 态特效类型 ， 从文字运动轨迹数 据库 中调 用相应类型 的文字运 动轨迹数据 ； 以及根据选中 的动态特效 类型， 生成 所述 待显示的 文字的三 维文字建模 ， 并获得文字的建 模数据； 利用文字运动 轨迹数 据对所述 文字的建 模数据进 行处理 ，获得所述动态特效处 理后的文 字 可选 实施方式 中， 所述文字的建模 数据包括 文字的三 维文字坐标 ； 所述 文字 运动轨迹数 据包括 不同运动帧 下的文字 位置坐标 ； 处理模 块， 具体用于利用 预设的坐标 映射脚本 ， 将所述文字的三 维文字 坐标 映射至文 字运动轨迹 数据所基 于的坐标 系中； 将映射后的 文字的三 维文 字 坐标与文 字运动轨 迹数据 中各运 动帧下的 文字位 置坐标进 行坐标 对齐处 理； 将所述对齐处理后 的文字作为 所述动态特 效处理后 的文字 。 可选 实施方式 中， 处理模块， 具体还用于对文 字的文字 形状进行 特效处 理。 可选 实施方式 中， 显示模块， 具体用于基于增 强现实显 示技术， 对所述 动态特 效处理后 的文字与 所述实景 拍摄图像进 行融合处 理， 将融合处理后 的 所述 实景拍摄 图像进行显 示。 可选 实施方式 中， 通信模块还用于获 取用户输入 的语音 ， 对所述语音进 行语 音转换处理 ， 获得所述待显示 的文字。 可选 实施方式 中， 通信模块还用于获 取用户输入 的肢体信 息， 根据预设 的肢 体信息与 文字之间 的映射关 系， 确定所述肢体信 息对应文 字， 并将所述 肢体 信息对应文 字作为所 述待显示 的文字。 可选 实施方式 中， 所述肢体信息 包括手语信 息、 手势信息、 面部表情信 息 中的一种信 息或多种信 息。 第三 方面， 根据本公开 的一个或多 个实施例 ， 一种电子设备， 包括： 至 少一 个处理器 和存储器 ； 所述存 储器存储 计算机执行 指令； 所述 至少一个处 理器执行 所述存储 器存储的计 算机执行 指令， 使得所述 至少 一个处理 器执行如前 任一项所 述的文字 的显示方 法。 第四 方面，根据本公 开的一个 或多个 实施例，一种计 算机可读存 储介质， 所述 计算机可读 存储介质 中存储有 计算机执行 指令， 当处理器执行所述计 算 机执 行指令时 ， 实现如前任一项所 述的文字 的显示方 法。 以上描 述仅为本 公开的较佳 实施例 以及对所运 用技术原 理的说明 。 本领 域技 术人员应 当理解， 本公开中所 涉及的公 开范围， 并不限于上述技术特 征 的特 定组合而 成的技术 方案，同时也应涵盖 在不脱 离上述公开 构思的情 况下， 由上 述技术特征 或其等 同特征进行 任意组合 而形成的 其它技术 方案。 例如上 述特 征与本公 开中公开 的 （但不限于）具有类似功能 的技术特征 进行互相 替 换而 形成的技 术方案。 此外 ， 虽然采用特定次序 描绘了各 操作， 但是这不应 当理解为要 求这些 操作 以所示 出的特定次 序或以顺序 次序执行 来执行 。 在一定环境下， 多任务 和并 行处理可 能是有利 的。 同样地， 虽然在上面论述 中包含 了若干具体 实现 细节 ， 但是这些不应当被 解释为对本 公开的范 围的限制 。 在单独的实施例 的 上下 文中描述 的某些特 征还可以组 合地实现 在单个实施 例中。 相反地， 在单 个 实施例的上 下文中描 述的各种特 征也可 以单独地或 以任何合 适的子组合 的 方式 实现在多个 实施例 中。 尽管 已经采用特 定于结构 特征和 /或方法逻辑动作 的语言描述 了本主题 ， 但是 应当理解 所附权利要 求书中所 限定的主 题未必局 限于上面描 述的特 定特 征或 动作。 相反， 上面所描述的特 定特征和 动作仅仅 是实现权利 要求书的 示 例形 式。

Claims

权 利要 求 书
1、 一种文字的显 示方法 ， 包括： 获取 实景拍摄图像 ； 获取待 显示的文 字； 调用文 字运动轨 迹数据 ， 对所述待显示的文字 进行动态特 效处理 ； 将动 态特效处理 后的文字 显示在所述 实景拍摄 图像上。
2、根据权 利要求 1所述的文字 的显示方 法， 其中， 所述将动态特效处理 后的 文字显示 在所述实 景拍摄图像 上， 包括： 接收 用户对动态 特效类型 的选择指令 ； 根据选 中的动态 特效类型 ， 确定所述实景拍摄 图像中的 特效显示 区； 将所 述动态特 效处理 后的文 字显示在 所述 实景拍摄 图像的特 效显示 区 上 。
3、根据权 利要求 2所述的文字 的显示方 法， 其中， 所述根据选中的动态 特效 类型， 确定所述实 景拍摄图像 中的特效 显示区， 包括： 根据选 中的动态 特效类型 ， 对所述实景拍摄 图像进行 目标识别处理 ， 确 定所 述实景拍摄 图像中待 识别目标 所在的图像 区域； 根据 所述待识别 目标所在 的图像区域 确定所 述特效显示 区。
4、 根据权利要求 1-3任一所述的文字 的显示方 法， 其中， 所述调用文字 运动 轨迹数据 ， 对待显示的文字进 行动态特效 处理， 包括： 接收 用户对动态 特效类型 的选择指令 ； 根据选 中的动态 特效类型 ， 从文字运动轨迹数 据库中调 用相应类型 的文 字运 动轨迹数据 ； 以及， 根据选 中的动态 特效类型 ， 生成所述待显示 的文字的三 维文字建 模， 并 获得 文字的建模 数据； 利用 文字运动轨 迹数据对 所述文字 的建模数据 进行处理 ， 获得所述动态 特效 处理后的 文字。
5、根据权 利要求 4所述的文字 的显示方 法， 其中， 所述文字的建模数据 包括 文字的三 维文字坐 标； 所述 文字运动轨 迹数据 包括运动轨迹 在不同运 动帧下的 文字位置 坐标； 所述 利用文字运 动轨迹数 据对所述 文字的建模 数据进行 处理， 获得动态 特效 处理后的 文字， 包括： 利用预 设的坐标 映射脚本 ， 将所述文字的三 维文字坐标 映射至文 字运动 轨迹数 据所基 于的坐标 系中； 将映射 后的文字 的三维文 字坐标与 文字运动轨 迹数据 中各运动帧 下的文 字位 置坐标进行 坐标对齐 处理； 将所述 对齐处理后 的文字作 为所述动 态特效处 理后的文 字。
6、 根据权利要求 1-5任一所述的文字 的显示方 法， 其中， 所述动态特效 处理还 包括： 对文字 的文字形 状进行特 效处理。
7、根据权 利要求 1所述的文字 的显示方法 ， 其中， 所述将动态特效处理 后的 文字显示在 所述实景 拍摄图像 上， 包括： 基于增 强现实显 示技术， 对所述动态 特效处理后 的文字 与所述实景 拍摄 图像 进行融合处 理， 将融合处理后 的所述 实景拍摄图像 进行显示 。
8、 根据权利要求 1-7任一项所述的 文字的显 示方法， 还包括： 获取用 户输入的语 音， 对所述语音进 行语音转换 处理， 获得所述待显 示 的文 字。
9、 根据权利要求 1-7任一项所述的 文字的显 示方法， 还包括： 获取用 户输入的肢 体信息 ，根据预设的肢体信 息与文字 之间的映 射关系， 确定 所述肢体 信息对应文 字， 并将所述肢体 信息对应 文字作为 所述待显示 的 文字 。
10、 根据权利要求 9所述的文 字的显示方 法， 其中， 所述肢体信息 包括 手语信 息、 手势信息、 面部表情信息中的一 种信息或 多种信息 。
11、 一种文字的显 示装置， 包括： 通信模 块， 用于获取实景 拍摄图像 ， 以及获取待显示的 文字； 处理模 块， 用于调用文字运 动轨迹数 据， 对所述待显示 的文字进行 动态 特效 处理； 显示模 块， 用于将动态特效 处理后 的文字显示 在所述 实景拍摄图像 上。
12、 一种电子设备 ， 包括: 至少一 个处理器 ； 以及 存储器 ； 所述存 储器存储 计算机执行 指令； 所述 至少一个处 理器执行 所述存储 器存储的计 算机执行 指令， 使得所述 至少 一个处理 器执行如权 利要求 1-10任一项所述的文 字的显示 方法。
13、 一种计算机可读 存储介质 ， 其中， 所述计算机可读存储 介质中存 储 有计 算机执行指 令， 当处理器执行 所述计算机 执行指令 时， 实现如权利要 求 1-10任一 项所述的 文字的显 示方法。
PCT/SG2021/050491 2020-09-10 2021-08-23 文字的显示方法、装置、电子设备及存储介质 WO2022055419A2 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21867239.2A EP4170599A4 (en) 2020-09-10 2021-08-23 CHARACTER DISPLAY METHOD AND APPARATUS, ELECTRONIC DEVICE AND STORAGE MEDIA
JP2023504123A JP7574400B2 (ja) 2020-09-10 2021-08-23 文字の表示方法、装置、電子機器及び記憶媒体
US18/060,454 US11836437B2 (en) 2020-09-10 2022-11-30 Character display method and apparatus, electronic device, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010948338.5A CN112053450B (zh) 2020-09-10 2020-09-10 文字的显示方法、装置、电子设备及存储介质
CN202010948338.5 2020-09-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/060,454 Continuation US11836437B2 (en) 2020-09-10 2022-11-30 Character display method and apparatus, electronic device, and storage medium

Publications (2)

Publication Number Publication Date
WO2022055419A2 true WO2022055419A2 (zh) 2022-03-17
WO2022055419A3 WO2022055419A3 (zh) 2022-05-05

Family

ID=73610437

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/SG2021/050491 WO2022055419A2 (zh) 2020-09-10 2021-08-23 文字的显示方法、装置、电子设备及存储介质

Country Status (4)

Country Link
US (1) US11836437B2 (zh)
EP (1) EP4170599A4 (zh)
CN (1) CN112053450B (zh)
WO (1) WO2022055419A2 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117676227A (zh) * 2023-12-08 2024-03-08 腾讯科技（深圳）有限公司 数据处理方法及相关设备

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101075349A (zh) * 2007-06-22 2007-11-21 珠海金山软件股份有限公司 一种在svg中表达演示动画效果的方法
WO2014048497A1 (en) * 2012-09-28 2014-04-03 Metaio Gmbh Method of image processing for an augmented reality application
CN103729878A (zh) 2013-12-19 2014-04-16 江苏锐天信息科技有限公司 一种基于wpf的三维图形实现方法及三维文字实现方法
US10146318B2 (en) * 2014-06-13 2018-12-04 Thomas Malzbender Techniques for using gesture recognition to effectuate character selection
EP3317858B1 (en) * 2015-06-30 2022-07-06 Magic Leap, Inc. Technique for more efficiently displaying text in virtual image generation system
CN105184840A (zh) * 2015-07-17 2015-12-23 天脉聚源（北京）科技有限公司 动画显示拼字的方法和装置
CN106100983A (zh) * 2016-08-30 2016-11-09 黄在鑫 一种基于增强现实与gps定位技术的移动社交网络系统
US10402211B2 (en) * 2016-10-21 2019-09-03 Inno Stream Technology Co., Ltd. Method for processing innovation-creativity data information, user equipment and cloud server
US10914957B1 (en) * 2017-05-30 2021-02-09 Apple Inc. Video compression methods and apparatus
CN107590860A (zh) * 2017-09-07 2018-01-16 快创科技（大连）有限公司 一种基于ar技术的ar名片数据管理系统
CN108337547B (zh) * 2017-11-27 2020-01-14 腾讯科技（深圳）有限公司 一种文字动画实现方法、装置、终端和存储介质
US10565761B2 (en) * 2017-12-07 2020-02-18 Wayfair Llc Augmented reality z-stack prioritization
CN108022306B (zh) * 2017-12-30 2021-09-21 华自科技股份有限公司 基于增强现实的场景识别方法、装置、存储介质和设备
CN110858903B (zh) * 2018-08-22 2022-07-12 华为技术有限公司 色度块预测方法及装置
CN109035421A (zh) * 2018-08-29 2018-12-18 百度在线网络技术（北京）有限公司 图像处理方法、装置、设备及存储介质
CN110874859A (zh) * 2018-08-30 2020-03-10 三星电子（中国）研发中心 一种生成动画的方法和设备
US11080330B2 (en) * 2019-02-26 2021-08-03 Adobe Inc. Generation of digital content navigation data
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质
CN111274910B (zh) * 2020-01-16 2024-01-30 腾讯科技（深圳）有限公司 场景互动方法、装置及电子设备
CN111311757B (zh) * 2020-02-14 2023-07-18 惠州Tcl移动通信有限公司 一种场景合成方法、装置、存储介质及移动终端
CN111476911B (zh) * 2020-04-08 2023-07-25 Oppo广东移动通信有限公司 虚拟影像实现方法、装置、存储介质与终端设备
CN111415422B (zh) * 2020-04-17 2022-03-18 Oppo广东移动通信有限公司 虚拟对象调整方法、装置、存储介质与增强现实设备
CN111586426B (zh) * 2020-04-30 2022-08-09 广州方硅信息技术有限公司 全景直播的信息展示方法、装置、设备及存储介质
CN111640193A (zh) * 2020-06-05 2020-09-08 浙江商汤科技开发有限公司 文字处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN112053450A (zh) 2020-12-08
WO2022055419A3 (zh) 2022-05-05
US20230177253A1 (en) 2023-06-08
EP4170599A2 (en) 2023-04-26
US11836437B2 (en) 2023-12-05
JP2023542598A (ja) 2023-10-11
EP4170599A4 (en) 2023-08-30
CN112053450B (zh) 2024-07-16

Similar Documents

Publication Publication Date Title
WO2022166872A1 (zh) 一种特效展示方法、装置、设备及介质
WO2023051185A1 (zh) 图像处理方法、装置、电子设备及存储介质
WO2022100735A1 (zh) 视频处理方法、装置、电子设备及存储介质
WO2022068479A1 (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
WO2022089178A1 (zh) 视频处理方法及设备
WO2020248900A1 (zh) 全景视频的处理方法、装置及存储介质
WO2023179346A1 (zh) 特效图像处理方法、装置、电子设备及存储介质
WO2022055421A1 (zh) 基于增强现实的显示方法、设备及存储介质
US12019669B2 (en) Method, apparatus, device, readable storage medium and product for media content processing
WO2023103720A1 (zh) 视频特效处理方法、装置、电子设备及程序产品
CN111862349A (zh) 虚拟画笔实现方法、装置和计算机可读存储介质
WO2022132033A1 (zh) 基于增强现实的显示方法、装置、设备及存储介质
WO2023226628A1 (zh) 图像展示方法、装置、电子设备及存储介质
WO2022093112A1 (zh) 图像合成方法、设备及存储介质
WO2023121569A2 (zh) 粒子特效渲染方法、装置、设备及存储介质
WO2022088908A1 (zh) 视频播放方法、装置、电子设备及存储介质
US11836437B2 (en) Character display method and apparatus, electronic device, and storage medium
WO2024051540A1 (zh) 特效处理方法、装置、电子设备及存储介质
WO2024027819A1 (zh) 图像处理方法、装置、设备及存储介质
WO2022237435A1 (zh) 更换画面中的背景的方法、设备、存储介质及程序产品
WO2022151687A1 (zh) 合影图像生成方法、装置、设备、存储介质、计算机程序及产品
JP7214926B1 (ja) 画像処理方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体
JP7574400B2 (ja) 文字の表示方法、装置、電子機器及び記憶媒体
CN112486380A (zh) 一种显示界面的处理方法、装置、介质和电子设备
CN114339356B (zh) 视频录制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21867239

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 2023504123

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202327004110

Country of ref document: IN

ENP Entry into the national phase

Ref document number: 2021867239

Country of ref document: EP

Effective date: 20230120

NENP Non-entry into the national phase

Ref country code: DE