WO2022078066A1 - 视频处理方法、系统、终端和存储介质 - Google Patents

视频处理方法、系统、终端和存储介质 Download PDF

Info

Publication number
WO2022078066A1
WO2022078066A1 PCT/CN2021/113971 CN2021113971W WO2022078066A1 WO 2022078066 A1 WO2022078066 A1 WO 2022078066A1 CN 2021113971 W CN2021113971 W CN 2021113971W WO 2022078066 A1 WO2022078066 A1 WO 2022078066A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
image
terminal
key point
target image
Prior art date
Application number
PCT/CN2021/113971
Other languages
English (en)
French (fr)
Inventor
徐铭鑫
李辉
Original Assignee
北京字节跳动网络技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京字节跳动网络技术有限公司 filed Critical 北京字节跳动网络技术有限公司
Publication of WO2022078066A1 publication Critical patent/WO2022078066A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS

Definitions

  • the present disclosure relates to the field of computer technologies, and in particular, to a video processing method, system, terminal and storage medium.
  • the video conference system usually compresses the video with the H.264 or H.265 video coding standard and transmits the data through the RTMP protocol (Real Time Messaging Protocol, real-time messaging protocol) or RTSP protocol (Real Time Streaming Protocol, real-time streaming protocol).
  • RTMP protocol Real Time Messaging Protocol, real-time messaging protocol
  • RTSP protocol Real Time Streaming Protocol, real-time streaming protocol
  • a video processing method comprising:
  • the first target image, the second target image, the second target key point information and the second target simulated image all correspond to the same target.
  • a video processing method comprising:
  • the second target key point information, the first target image and the second target simulated image correspond to the same target.
  • a first terminal including:
  • a first target image acquisition unit configured to acquire a first target image
  • a first target image sending unit configured to send the first target image to the second terminal
  • a second target image acquisition unit configured to acquire a second target image
  • a key point information determining unit configured to determine second target key point information according to the second target image
  • a key point information sending unit configured to send the second target key point information to the second terminal, so that the second terminal processes the first target image based on the second target key point information to obtain The second target simulated image;
  • the first target image, the second target image, the second target key point information and the second target simulated image all correspond to the same target.
  • a second terminal comprising:
  • a first image acquisition unit for acquiring a first target image
  • a key point information receiving unit configured to receive second target key point information
  • an image processing unit configured to process the first target image based on the second target key point information to obtain a second target simulated image
  • a display unit for displaying the second target simulation image
  • the first target image, the second target key point information and the second target simulation image correspond to the same target.
  • a system comprising:
  • a second terminal provided according to one or more embodiments of the present disclosure.
  • a terminal comprising:
  • the memory is used for storing program codes
  • the processor is used for calling the program codes stored in the memory to execute the video processing method provided according to one or more embodiments of the present disclosure.
  • a non-transitory computer storage medium storing program code executable by a computer device to cause the computer device to The video processing method provided according to one or more embodiments of the present disclosure is performed.
  • the second terminal can process the first target image based on the second target key point information to A simulated image of the second target that is similar to the second target image is obtained, so that real-time image transmission can be realized with a very low amount of data, and a video session can be performed under the condition of a poor network environment.
  • FIG. 1 is a flowchart of a video processing method provided according to an embodiment of the present disclosure
  • FIG. 2 is a flowchart of a video processing method provided according to another embodiment of the present disclosure.
  • FIG. 3 is a schematic diagram of a system provided according to an embodiment of the present disclosure.
  • FIG. 4 is a signal flow diagram of a system provided according to an embodiment of the present disclosure.
  • FIG. 5 is a schematic structural diagram of a first terminal provided according to an embodiment of the present disclosure.
  • FIG. 6 is a schematic structural diagram of a second terminal provided according to another embodiment of the present disclosure.
  • FIG. 7 is a schematic structural diagram of a terminal device used to implement an embodiment of the present disclosure.
  • the term “including” and variations thereof are open-ended inclusions, ie, "including but not limited to”.
  • the term “based on” is “based at least in part on.”
  • the term “one embodiment” means “at least one embodiment”; the term “another embodiment” means “at least one additional embodiment”; the term “some embodiments” means “at least some embodiments”.
  • the term “responsive to” and related terms means that one signal or event is affected to some extent, but not necessarily completely or directly, by another signal or event. If event x occurs "in response to" event y, then x may respond directly or indirectly to y. For example, the occurrence of y may ultimately lead to the occurrence of x, but there may be other intervening events and/or conditions.
  • y may not necessarily cause x to occur, and x may occur even if y has not occurred.
  • responsive to can also mean “responsive at least in part.”
  • the term “determining” broadly covers a wide variety of actions, which may include calculating, calculating, processing, deriving, investigating, looking up (eg, in a table, database, or other data structure), finding, and the like, and may also This includes receiving (eg, receiving information), accessing (eg, accessing data in memory) and the like, as well as parsing, selecting, selecting, establishing and the like, and the like. Relevant definitions of other terms will be given in the description below. Relevant definitions of other terms will be given in the description below. Relevant definitions of other terms will be given in the description below.
  • phrase "A and/or B” means (A), (B), or (A and B).
  • the video processing method provided according to one or more embodiments of the present disclosure is applied to the first terminal, including but not limited to, such as digital TV, desktop computer, notebook computer, PAD (tablet computer), smart watch, mobile phone, digital broadcasting Mobile terminals and stationary terminals such as receivers, PDAs (Personal Digital Assistants), PMPs (Portable Multimedia Players), etc., which can transmit image data in a wired or wireless manner.
  • the first terminal including but not limited to, such as digital TV, desktop computer, notebook computer, PAD (tablet computer), smart watch, mobile phone, digital broadcasting Mobile terminals and stationary terminals such as receivers, PDAs (Personal Digital Assistants), PMPs (Portable Multimedia Players), etc.
  • FIG. 1 shows a flowchart of a video processing method 100 provided by an embodiment of the present disclosure, including steps S101-S105:
  • Step S101 Acquire a first target image.
  • the first target image is an image containing the target.
  • the target image is a human face image.
  • the first target image is acquired by an image capture device of an imaging device.
  • the first terminal turns on the front camera to obtain the current target image.
  • the first target image may be pre-stored in the first terminal, or stored in a cloud server, and sent by the server to the first terminal.
  • the first target image may be a frontal face image of a user or an avatar of the user.
  • Step S102 Send the first target image to the second terminal.
  • the first terminal may send the acquired first target image to the second terminal directly or to the second terminal via at least one intermediate server in a wired or wireless manner.
  • Step S103 Acquire a second target image.
  • the second target image may be acquired by the image capturing device of the imaging device.
  • Step S104 Determine second target key point information according to the second target image.
  • models such as ASM (Active Shape Model, Active Shape Model), AAM (Active Appearance Models, Active Appearance Model), CPR (Cascaded Pose Regression, Cascaded Pose Regression) and deep convolutional neural networks can be used according to the second model.
  • the target image determines second target key point information.
  • Step S105 Send the second target key point information to the second terminal, so that the second terminal processes the first target image based on the second target key point information to obtain a second target simulation image .
  • the first target image, the second target image, the second target key point information and the second target simulated image all correspond to the same target.
  • a video call is used as an application scenario for description below.
  • the mobile phone when user A initiates a video call with user B using a first terminal (eg, a mobile phone), the mobile phone can capture the face image (ie, the first target image) of user A through the front camera and send the To the terminal of user B (ie, the second terminal), the face avatar used by user A may also be sent to the second terminal as the first target image.
  • the first terminal does not need to send the video data containing the real-time image (the second target image) of user A to the second terminal, but can send the user A generated according to the second target image to the second terminal.
  • the face feature point information of A (that is, the second target key point information) is sent to the second terminal, and the second terminal can obtain the second target image by processing the first target image according to the second target key point information.
  • the simulated image is presented to user B in place of the second target image.
  • the first terminal sends the initial face image to the second terminal, it only needs to send the face feature point information generated according to the face image captured in real time by the face image, and does not need to send the real-time captured face image.
  • the visual effect of the "video image" of user A is presented on the second terminal.
  • the second terminal can process the first target image based on the second target key point information to A simulated image of the second target that is similar to the second target image is obtained, so that real-time image transmission can be realized with a very low amount of data, and a video session can be performed under the condition of a poor network environment.
  • the method 100 further includes: acquiring video data through an image capturing device; step S103 : extracting a second target image from the video data.
  • the second target image is a certain image frame which may be a video.
  • step S101 extracting a first target image from the video data.
  • the first target image is a certain image frame which may be a video.
  • step S101 includes: capturing the first target image through the image capturing device when the first terminal establishes a video connection with the second terminal.
  • the image capturing device may be built into the first terminal or externally connected to the first terminal.
  • step S101 includes: capturing the first target image through the image capturing device when the first terminal initiates a video connection to the second terminal.
  • the terminal has turned on the camera device to capture the face image of the user. Therefore, in this embodiment, when the first terminal initiates a video connection to the second terminal, the image captured by the image capture device is used as the first target image, without additionally acquiring the first target image.
  • method 100 further includes:
  • Step A1 determine the network connection status of the first terminal and/or the second terminal
  • Step A2 If the network connection status satisfies a preset condition, send the second target key point information.
  • the preset condition may be that the network speed of the first terminal and/or the second terminal is lower than a preset threshold.
  • the second target key point information with an extremely low amount of data can be sent, for real-time video processing.
  • step A1 may be performed before any one of steps S101-S105. It can be understood that different execution orders of step A1 will cause step B1 to include different sub-steps.
  • step A1 can be performed before step S101, and when it is judged that the network connection status satisfies the preset conditions, steps S102-S105 are performed, that is, step A2 includes steps S102-S105 at this time; it can also be performed in step S104 After that, step A1 is performed before step S105, and when it is determined that the network connection state meets the preset condition, step S105 is performed, that is, step A2 is step S105 at this time.
  • method 100 further includes:
  • Step B1 determine the network connection status of the first terminal and/or the second terminal
  • Step B2 If the network connection state does not meet the preset condition, send image data to the second terminal.
  • the image data is generated according to the obtained image captured by the image capturing device.
  • the image data may be video data compressed according to the H.264 or H.265 video coding standard.
  • step B1 may be performed before or after any one of steps S101-S105.
  • step B1 can be executed before step S101, when it is judged that the network connection state does not meet the preset conditions, step B1 is executed, and the execution of steps S101-S105 is stopped, that is, step A2 is executed; it can also be executed in step S104 After that, step B1 is executed before step S105, and when it is determined that the network connection state does not meet the preset condition, step B1 is executed, and the execution of step S105 is stopped.
  • the first terminal can choose to send image information or key point information according to the network connection status of the first terminal and/or the second terminal, so that the adjustment can be made according to the network connection status.
  • the amount of data transmitted is adapted to the current state of network connectivity.
  • the video processing method provided according to one or more embodiments of the present disclosure is applied to the second terminal, including but not limited to, such as digital TV, desktop computer, notebook computer, PAD (tablet computer), smart watch, mobile phone, digital broadcasting Mobile terminals and stationary terminals such as receivers, PDAs (Personal Digital Assistants), PMPs (Portable Multimedia Players), etc., which can transmit image data in a wired or wireless manner.
  • FIG. 2 shows a flowchart of a video processing method 200 provided by an embodiment of the present disclosure, including steps S201-S204:
  • Step S201 Acquire a first target image.
  • the first target image is an image containing the target.
  • the target image is a human face image.
  • the second terminal receives the first target image sent by the first terminal.
  • the first target image may be pre-stored in the second terminal, or stored in a cloud server, and sent by the server to the second terminal.
  • Step S202 Receive second target key point information.
  • Step S203 Process the first target image based on the second target key point information to obtain a second target simulated image.
  • an MLS Moving Least Squares, moving least squares
  • a face motion parameter-based mesh deformation algorithm Gram-Based Deformation
  • key point displacement information may be determined based on second target key point information and key point information corresponding to the first target image, and the first target image may be processed based on the key point displacement information, A second target simulated image is obtained.
  • Step S204 Display the second target simulation image.
  • the second terminal after acquiring the first target image, the second terminal only needs to receive real-time target key point information with an extremely low amount of data, and can The target image is processed to obtain a simulated target image that is similar to the real-time target image, so that the real-time image of the target can be presented with extremely low network bandwidth resources, and the display effect close to the video session can be achieved under the condition of poor network environment.
  • FIG. 3 shows a schematic diagram of a system provided according to an embodiment of the present disclosure.
  • the first terminal 310 and the second terminal 320 may directly perform network communication or perform network communication via at least one intermediate server.
  • FIG. 4 shows a signal flow diagram of a system provided according to an embodiment of the present disclosure.
  • Step S411 the first terminal 310 initiates a video connection to the second terminal 320 .
  • Step S412 The first terminal 310 captures the first target image through the image capture device.
  • Step S413 The first terminal 310 determines whether the network connection state of the first terminal satisfies a preset condition.
  • step S413 if the network connection state of the first terminal satisfies the preset condition, steps S414-S417 are performed.
  • Step S414 the first terminal 310 sends the first target image to the second terminal 320; correspondingly, in step S511, the second terminal 320 receives the first target image.
  • Step S415 the first terminal 310 captures the second target image through the image capture device.
  • Step S416 The first terminal 310 determines the second target key point information according to the second target image.
  • Step S417 The first terminal 310 sends the second target key point information to the second terminal 320, and returns to the loop to perform steps S415-S417.
  • step S512 the second terminal 320 receives the second target key point information; next, the second terminal 320 executes steps S513-514.
  • Step S513 The second terminal 320 processes the first target image based on the second target key point information to obtain a second target simulated image.
  • Step S514 The second terminal 320 displays the second target simulation image.
  • step S413 if the network connection state of the first terminal does not satisfy the preset condition, step S420 is performed.
  • Step S420 the first terminal 310 sends the video data to the second terminal 320 .
  • the video data is generated according to image capture of the first terminal 310 or continuous images captured by the device.
  • step S520 the second terminal 320 receives the video data.
  • Step S521 The second terminal 320 displays the video according to the received video data.
  • an embodiment of the present disclosure provides a first terminal 600, including:
  • a first target image acquisition unit 610 configured to acquire a first target image
  • a first target image sending unit 620 configured to send the first target image to the second terminal
  • a second target image acquisition unit 630 configured to acquire a second target image
  • a key point information determining unit 640 configured to determine second target key point information according to the second target image
  • the key point information sending unit 650 is configured to send the second target key point information to the second terminal, so that the second terminal processes the first target image based on the second target key point information to obtain the second target simulated image;
  • the first target image, the second target image, the second target key point information and the second target simulated image all correspond to the same target.
  • the second terminal can process the first target image based on the second target key point information to A simulated image of the second target that is similar to the second target image is obtained, so that real-time video processing can be realized with an extremely low amount of data, and a video session can be performed under the condition of a poor network environment.
  • the first terminal 600 further includes: a video capture unit for capturing video data; the second target image acquisition unit 630 for extracting a second target image from the video data.
  • the second target image is a certain image frame which may be a video.
  • the first target image obtaining unit 610 is configured to extract the first target image from the video data.
  • the first target image is a certain image frame which may be a video.
  • the first target image acquisition unit 610 is configured to capture the first target image through the image capture device when the first terminal establishes a video connection with the second terminal.
  • the image capturing device may be built into the first terminal or externally connected to the first terminal.
  • the first target image acquisition unit 610 is configured to capture the first target image through the image capture device when the first terminal initiates a video connection to the second terminal.
  • the terminal has turned on the camera device to capture the face image of the user. Therefore, in this embodiment, when the first terminal initiates a video connection to the second terminal, the image captured by the image capture device is used as the first target image, without additionally acquiring the first target image.
  • the first terminal 600 further includes: a network status determination unit, configured to determine the network connection status of the first terminal and/or the second terminal; the key point information sending unit 650 is configured to If the network connection status satisfies the preset condition, the second target key point information is sent.
  • a network status determination unit configured to determine the network connection status of the first terminal and/or the second terminal
  • the key point information sending unit 650 is configured to If the network connection status satisfies the preset condition, the second target key point information is sent.
  • the preset condition may be that the network speed of the first terminal and/or the second terminal is lower than a preset threshold.
  • the second target key point information with an extremely low amount of data can be sent, for real-time video processing.
  • the first terminal 600 further includes: an image data sending unit, configured to send image data to the second terminal if the network connection state does not meet a preset condition.
  • the image data is generated according to the obtained image captured by the image capturing device.
  • the image data may be video data compressed according to the H.264 or H.265 video coding standard.
  • the first terminal can choose to send image information or key point information according to the network connection status of the first terminal and/or the second terminal, so that the adjustment can be made according to the network connection status.
  • the amount of data transmitted is adapted to the current state of network connectivity.
  • an embodiment of the present disclosure provides a second terminal 700, including:
  • a first image acquisition unit 710 configured to acquire a first target image
  • a key point information receiving unit 720 configured to receive second target key point information
  • An image processing unit 730 configured to process the first target image based on the second target key point information to obtain a second target simulated image
  • the second target key point information, the first target image and the second target simulated image correspond to the same target.
  • a display unit 740 configured to display the second target simulation image
  • the second terminal after acquiring the first target image, it only needs to receive real-time target key point information with an extremely low amount of data, and then the first target image can be processed according to the target key point information. After processing, a simulated target image similar to the real-time target image is obtained, so that the real-time image of the target can be presented with extremely low network bandwidth resources, and the display effect of the simulated video session can be realized under the condition of poor network environment.
  • the image processing unit 730 is configured to determine key point displacement information based on the second target key point information and the key point information corresponding to the first target image, and perform the key point displacement information based on the key point displacement information
  • the first target image is processed to obtain a second target simulated image.
  • a system characterized in that the system includes:
  • a first terminal as provided according to one or more embodiments of the present disclosure.
  • a second terminal as provided according to one or more embodiments of the present disclosure is provided.
  • an electronic device comprising:
  • the memory is used for storing program codes
  • the processor is used for calling the program codes stored in the memory to execute the video processing method provided according to one or more embodiments of the present disclosure.
  • a non-transitory computer storage medium storing program code executable by a computer device to cause the computer device to execute A video processing method is provided according to one or more embodiments of the present disclosure.
  • FIG. 7 shows a schematic structural diagram of a terminal device 800 (eg, the first terminal shown in FIG. 3 ) used to implement an embodiment of the present disclosure.
  • Terminal devices in the embodiments of the present disclosure may include, but are not limited to, mobile terminals such as mobile phones, notebook computers, digital broadcast receivers, PDAs (personal digital assistants), PADs (tablets), PMPs (portable multimedia players), and mobile terminals such as Fixed terminals such as digital TV and desktop computers.
  • the terminal device shown in FIG. 7 is only an example, and should not impose any limitations on the functions and scope of use of the embodiments of the present disclosure.
  • the terminal device 800 may include a processing device (eg, a central processing unit, a graphics processor, etc.) 801, which may be loaded into random access according to a program stored in a read only memory (ROM) 802 or from a storage device 808 Various appropriate actions and processes are executed by the programs in the memory (RAM) 803 . In the RAM 803, various programs and data necessary for the operation of the terminal device 800 are also stored.
  • the processing device 801, the ROM 802, and the RAM 803 are connected to each other through a bus 804.
  • An input/output (I/O) interface 805 is also connected to bus 804 .
  • the following devices may be connected to the I/O interface 805: input devices 806 including, for example, a touch screen, touchpad, keyboard, mouse, camera, microphone, accelerometer, gyroscope, etc.; including, for example, a liquid crystal display (LCD), speakers, vibration An output device 807 of a computer, etc.; a storage device 808 including, for example, a magnetic tape, a hard disk, etc.; and a communication device 809.
  • the storage device 808 may store a first database and a second database, wherein the first database stores at least one first subprogram identifier of the first program; the second database stores at least one second subprogram of the first program. Program ID.
  • the communication means 809 may allow the terminal device 800 to communicate wirelessly or by wire with other devices to exchange data.
  • FIG. 7 shows the terminal device 800 having various means, it should be understood that not all of the illustrated means are required to be implemented or provided. More or fewer devices may alternatively be implemented or provided.
  • embodiments of the present disclosure include a computer program product comprising a computer program carried on a non-transitory computer readable medium, the computer program containing program code for executing the means illustrated in the flowcharts.
  • the computer program may be downloaded and installed from the network via the communication device 809, or from the storage device 808, or from the ROM 802.
  • the processing apparatus 801 the above-mentioned functions defined in the apparatus of the embodiment of the present disclosure are executed.
  • the computer-readable medium mentioned above in the present disclosure may be a computer-readable signal medium or a computer-readable storage medium, or any combination of the above two.
  • the computer-readable storage medium can be, for example, but not limited to, an electrical, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus or device, or a combination of any of the above. More specific examples of computer readable storage media may include, but are not limited to, electrical connections with one or more wires, portable computer disks, hard disks, random access memory (RAM), read only memory (ROM), erasable Programmable read only memory (EPROM or flash memory), fiber optics, portable compact disk read only memory (CD-ROM), optical storage devices, magnetic storage devices, or any suitable combination of the foregoing.
  • a computer-readable storage medium can be any tangible medium that contains or stores a program that can be used by or in conjunction with an instruction execution system, apparatus, or device.
  • a computer-readable signal medium may include a data signal propagated in baseband or as part of a carrier wave with computer-readable program code embodied thereon. Such propagated data signals may take a variety of forms, including but not limited to electromagnetic signals, optical signals, or any suitable combination of the foregoing.
  • a computer-readable signal medium can also be any computer-readable medium other than a computer-readable storage medium that can transmit, propagate, or transport the program for use by or in connection with the instruction execution system, apparatus, or device .
  • Program code embodied on a computer readable medium may be transmitted using any suitable medium including, but not limited to, electrical wire, optical fiber cable, RF (radio frequency), etc., or any suitable combination of the foregoing.
  • clients and servers can communicate using any currently known or future developed network protocols such as HTTP (HyperText Transfer Protocol), and can communicate with digital data in any form or medium.
  • Communication eg, a communication network
  • Examples of communication networks include local area networks (“LAN”), wide area networks (“WAN”), the Internet (eg, the Internet), and peer-to-peer networks (eg, ad hoc peer-to-peer networks), as well as any currently known or future development network of.
  • the above-mentioned computer-readable medium may be included in the above-mentioned terminal device; or may exist independently without being assembled into the terminal device.
  • the computer-readable medium carries one or more programs, and when the one or more programs are executed by the terminal device, the terminal device: acquires a first target image; sends the first target image to a second terminal; Acquire a second target image; determine second target key point information according to the second target image; send the second target key point information to the second terminal, so that the second terminal is based on the second target key point information point information to process the first target image to obtain a second target simulation image; wherein, the first target image, the second target image, the second target key point information and the second target simulation The images all correspond to the same target.
  • the above computer-readable medium carries one or more programs, and when the one or more programs are executed by the terminal device, the terminal device: acquires the first target image; receives the second target key point information; The second target key point information is processed on the first target image to obtain a second target simulation image; the second target simulation image is displayed; wherein, the second target key point information, the first target image and the second target simulated image corresponds to the same target.
  • Computer program code for performing operations of the present disclosure may be written in one or more programming languages, including but not limited to object-oriented programming languages—such as Java, Smalltalk, C++, and This includes conventional procedural programming languages - such as the "C" language or similar programming languages.
  • the program code may execute entirely on the user's computer, partly on the user's computer, as a stand-alone software package, partly on the user's computer and partly on a remote computer, or entirely on the remote computer or server.
  • the remote computer may be connected to the user's computer through any kind of network, including a local area network (LAN) or a wide area network (WAN), or may be connected to an external computer (eg, using an Internet service provider through Internet connection).
  • LAN local area network
  • WAN wide area network
  • each block in the flowchart or block diagrams may represent a module, segment, or portion of code that contains one or more logical functions for implementing the specified functions executable instructions.
  • the functions noted in the blocks may occur out of the order noted in the figures. For example, two blocks shown in succession may, in fact, be executed substantially concurrently, or the blocks may sometimes be executed in the reverse order, depending upon the functionality involved.
  • each block of the block diagrams and/or flowchart illustrations, and combinations of blocks in the block diagrams and/or flowchart illustrations can be implemented in dedicated hardware-based systems that perform the specified functions or operations , or can be implemented in a combination of dedicated hardware and computer instructions.
  • the units involved in the embodiments of the present disclosure may be implemented in a software manner, and may also be implemented in a hardware manner.
  • the name of the unit does not constitute a limitation of the unit itself in some cases, for example, the first target image acquisition unit may be described as "a unit for acquiring the first target image".
  • exemplary types of hardware logic components include: Field Programmable Gate Arrays (FPGAs), Application Specific Integrated Circuits (ASICs), Application Specific Standard Products (ASSPs), Systems on Chips (SOCs), Complex Programmable Logical Devices (CPLDs) and more.
  • FPGAs Field Programmable Gate Arrays
  • ASICs Application Specific Integrated Circuits
  • ASSPs Application Specific Standard Products
  • SOCs Systems on Chips
  • CPLDs Complex Programmable Logical Devices
  • a machine-readable medium may be a tangible medium that may contain or store a program for use by or in connection with the instruction execution system, apparatus or device.
  • the machine-readable medium may be a machine-readable signal medium or a machine-readable storage medium.
  • Machine-readable media may include, but are not limited to, electronic, magnetic, optical, electromagnetic, infrared, or semiconductor systems, devices, or devices, or any suitable combination of the foregoing.
  • machine-readable storage media would include one or more wire-based electrical connections, portable computer disks, hard disks, random access memory (RAM), read only memory (ROM), erasable programmable read only memory (EPROM or flash memory), fiber optics, compact disk read only memory (CD-ROM), optical storage, magnetic storage, or any suitable combination of the foregoing.
  • RAM random access memory
  • ROM read only memory
  • EPROM or flash memory erasable programmable read only memory
  • CD-ROM compact disk read only memory
  • magnetic storage or any suitable combination of the foregoing.
  • a video processing method applied to a first terminal, including: acquiring a first target image; sending the first target image to a second terminal; acquiring a second target image ; determine second target key point information according to the second target image; send the second target key point information to the second terminal, so that the second terminal based on the second target key point information
  • the first target image is processed to obtain a second target simulation image; wherein, the first target image, the second target image, the second target key point information and the second target simulation image all correspond to the same target .
  • the video processing method provided according to one or more embodiments of the present disclosure further includes: acquiring video data through an image capture device; the acquiring a second target image includes: extracting a second target image frame from the video data.
  • the acquiring the first target image includes: capturing the first target through the image capturing device when the first terminal establishes a video connection with the second terminal image.
  • the video processing method provided according to one or more embodiments of the present disclosure further includes: determining a network connection state of the first terminal and/or the second terminal; if the network connection state satisfies a preset condition, Then, the second target key point information is sent.
  • the video processing method provided according to one or more embodiments of the present disclosure further includes: if the network connection state does not meet a preset condition, sending image data to the second terminal.
  • a video processing method applied to a second terminal, comprising: acquiring a first target image; receiving second target key point information; based on the second target key point information Process the first target image to obtain a second target simulation image; display the second target simulation image; wherein, the first target image information, the second target key points and the second target simulation The images correspond to the same target.
  • the processing of the first target image based on the second target key point information to obtain the second simulated target image includes: based on the second target key point information and all the The key point information corresponding to the first target image determines key point displacement information; and the first target image is processed based on the key point displacement information to obtain a second target simulated image.
  • a first terminal comprising: a first target image acquisition unit for acquiring a first target image; a first target image sending unit for sending the first target image The target image is sent to the second terminal; the second target image acquisition unit is used to acquire the second target image; the key point information determination unit is used to determine the second target key point information according to the second target image; the key point information sending unit , for sending the second target key point information to the second terminal, so that the second terminal processes the first target image based on the second target key point information to obtain a second target simulation image ; wherein, the first target image, the second target image, the second target key point information and the second target simulation image all correspond to the same target.
  • a second terminal including: a first image acquisition unit for acquiring a first target image; a key point information receiving unit for receiving key point information of a second target an image processing unit for processing the first target image based on the second target key point information to obtain a second target simulated image; a display unit for displaying the second target simulated image; The first target image, the second target key point information, and the second target simulation image correspond to the same target.
  • a video processing system including: a first terminal provided according to one or more embodiments of the present disclosure; and a first terminal provided according to one or more embodiments of the present disclosure; second terminal.
  • a terminal comprising: at least one memory and at least one processor; wherein the memory is used to store program codes, and the processor is used to call the memory stored in the memory program code to execute the video processing method provided according to one or more embodiments of the present disclosure.
  • a non-transitory computer storage medium storing program code executable by a computer device to cause the computer device to perform the functions provided in accordance with one or more embodiments of the present disclosure. video processing method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开涉及计算机技术领域，具体涉及一种视频处理方法、系统、终端和存储介质。本公开提供的视频处理方法包括：获取第一目标图像；发送第一目标图像至第二终端；获取第二目标图像；根据第二目标图像确定第二目标关键点信息；发送第二目标关键点信息至第二终端，使得第二终端基于第二目标关键点信息对第一目标图像进行处理以得到第二目标模拟图像；其中，第一目标图像、第二目标图像、第二目标关键点信息和第二目标模拟图像均对应同一目标。

Description

视频处理方法、系统、终端和存储介质
相关申请的交叉引用
本申请基于申请号为202011090106.7、申请日为2020年10月13日、名称为“视频处理方法、系统、终端和存储介质”的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此引入本申请作为参考。
技术领域
本公开涉及计算机技术领域，具体涉及一种视频处理方法、系统、终端和存储介质。
背景技术
视频会议系统通常以H.264或H.265视频编码标准压缩视频后通过RTMP协议(Real Time Messaging Protocol，实时消息传输协议)或RTSP协议(Real Time Streaming Protocol，实时流传输协议)传输，传输数据量较大，对网络带宽和稳定性要求较高。在网络不稳定或带宽较低的环境下，存在网络延迟高、屏幕显示不清甚至设备掉线等问题。
发明内容
提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
根据本公开的一个或多个实施例，提供了一种视频处理方法，包括：
获取第一目标图像；
发送所述第一目标图像至第二终端；
获取第二目标图像；
根据所述第二目标图像确定第二目标关键点信息；
发送所述第二目标关键点信息至所述第二终端，使得所述第二终端基于所述第二目标关键点信息对所述第一目标图像进行处理以得到第二目标模拟图像；
其中，所述第一目标图像、所述第二目标图像、所述第二目标关键点信息和所述第二目标模拟图像均对应同一目标。
根据本公开的一个或多个实施例，提供了一种视频处理方法，包括：
获取第一目标图像；
接收第二目标关键点信息；
基于所述第二目标关键点信息对所述第一目标图像进行处理，得到第二目标模拟图像；
显示所述第二目标模拟图像；
其中，所述第二目标关键点信息、所述第一目标图像和所述第二目标模拟图像对应同一目标。
根据本公开的一个或多个实施例，提供了一种第一终端，包括：
第一目标图像获取单元，用于获取第一目标图像；
第一目标图像发送单元，用于发送所述第一目标图像至第二终端；
第二目标图像获取单元，用于获取第二目标图像；
关键点信息确定单元，用于根据所述第二目标图像确定第二目标关键点信息；
关键点信息发送单元，用于发送所述第二目标关键点信息至所述第二终端，使得所述第二终端基于所述第二目标关键点信息对所述第一目标图像进行处理以得到第二目标模拟图像；
其中，所述第一目标图像、所述第二目标图像、所述第二目标关键点信息和所述第二目标模拟图像均对应同一目标。
根据本公开的一个或多个实施例，提供了一种第二终端，包括：
第一图像获取单元，用于获取第一目标图像；
关键点信息接收单元，用于接收第二目标关键点信息；
图像处理单元，用于基于所述第二目标关键点信息对所述第一目标图像进行处理，得到第二目标模拟图像；
显示单元，用于显示所述第二目标模拟图像；
其中，所述第一目标图像、所述第二目标关键点信息和所述第二目标模拟图像对应同一目标。
根据本公开的一个或多个实施例，提供了一种系统，包括：
根据本公开的一个或多个实施例提供的第一终端；以及
根据本公开的一个或多个实施例提供的第二终端。
根据本公开的一个或多个实施例，提供了一种终端，包括：
至少一个存储器和至少一个处理器；
其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器所存储的程序代码以执行根据本公开的一个或多个实施例提供的视频处理方法。
根据本公开的一个或多个实施例，提供了一种非暂态计算机存储介质，所述非暂态计算机存储介质存储有程序代码，所述程序代码可被计算机设备执行来使得所述计算机设备执行根据本公开的一个或多个实施例提供的视频处理方法。
这样，根据本公开实施例提供的视频处理方法，通过发送第一目标图像和第二目标关键点信息至第二终端，使第二终端基于第二目标关键点信息对第一目标图像进行处理以得到与第二目标图像相近的第二目标模拟图像，从而可以以极低的数据量实现实时图像传输，进而可以在网络环境较差的条件下进行视频会话。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为根据本公开一实施例提供的视频处理方法的流程图；
图2为根据本公开另一实施例提供的视频处理方法的流程图；
图3为根据本公开一实施例提供的系统的示意图；
图4为根据本公开一实施例提供的系统的信号流图；
图5为根据本公开一实施例提供的第一终端的结构示意图；
图6为根据本公开另一实施例提供的第二终端的结构示意图；
图7为用来实现本公开实施例的终端设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的实施方式中记载的步骤可以按照不同的顺序执行，和/或并行执行。此外，实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。术语“响应于”以及有关的术语是指一个信号或事件被另一个信号或事件影响到某个程度，但不一定是完全地或直接地受到影响。如果事件x“响应于”事件y而发生，则x可以直接或间接地响应于y。例如，y的出现最终可能导致x的出现，但可能存在其它中间事件和/或条件。在其它情形中，y可能不一定导致x的出现，并且即使y尚未发生，x也可能发生。此外，术语“响应于”还可以意味着“至少部分地响应于”。术语“确定”广泛涵盖各种各样的动作，可包括演算、计算、处理、推导、调研、查找(例如，在表、数据库或其他数据结构中查找)、探明、和类似动作，还可包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)和类似动作，以及 解析、选择、选取、建立和类似动作等等。其他术语的相关定义将在下文描述中给出。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
为了本公开的目的，短语“A和/或B”意为(A)、(B)或(A和B)。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
根据本公开的一个或多个实施例提供的视频处理方法，应用于第一终端，包括但不限于诸如数字TV、台式计算机、笔记本电脑、PAD(平板电脑)、智能手表、移动电话、数字广播接收器、PDA(个人数字助理)、PMP(便携式多媒体播放器)等移动终端和固定终端，其可以以有线或者无线的方式传输图像数据。
参考图1，图1示出了本公开一实施例提供的视频处理方法100的流程图，包括步骤S101-步骤S105：
步骤S101：获取第一目标图像。
其中，第一目标图像为包含目标的图像。在一些实施例中，目标图像为人脸图像。
在一些实施例中，第一目标图像通过图像设备的图像捕获装置获取。例如，第一终端开启前置摄像头获取当前的目标图像。
在一些实施例中，第一目标图像可以预先存储于第一终端中，或存储于云端服务器中，由服务器发送至第一终端。示例性地，第一目标图像可以为用户的正脸图像或用户头像。
步骤S102：发送所述第一目标图像至第二终端。
在本步骤中，第一终端可以以有线或无线的方式将获取的第一目标图像直接发送至第二终端或经由至少一个中间服务器发送至第二终端。
步骤S103：获取第二目标图像。
在本步骤中，第二目标图像可以通过图像设备的图像捕获装置获取。
步骤S104：根据所述第二目标图像确定第二目标关键点信息。
示例性地，可以采用ASM(Active Shape Model，主动形状模型)、AAM(Active Appearance Models，主动外观模型)、CPR(Cascaded Pose Regression，级联姿势回归)以及深度卷积神经网络等模型根据第二目标图像确定第二目标关键点信息。
步骤S105：发送所述第二目标关键点信息至所述第二终端，使得所述第二终端基于所述第二目标关键点信息对所述第一目标图像进行处理以得到第二目标模拟图像。
其中，第一目标图像、第二目标图像、第二目标关键点信息和第二目标模拟图像均对应同一目标。
为了进一步阐明本公开实施例的技术方案，下面以视频通话为应用场景进行说明。根据本公开的一个多个实施例，当用户A使用第一终端(例如手机)向用户B发起视频通话时，手机可以通过前置摄像头捕获用户A的人脸图像(即第一目标图像)发送至用户B的终端(即第二终端)，也可以将用户A使用的人脸头像作为第一目标图像发送至第二终端。在此基础上，在之后的视频通话过程中，第一终端无需发送用户A的包含实时图像(第二目标图像)的视频数据至第二终端，而是可以发送根据第二目标图像生成的用户A的人脸特征点信息(即第二目标关键点信息)至第二终端，第二终端通过根据第二目标关键点信息对第一目标图像进行处理，即可得到与第二目标图像相近的模拟图像，从而将该模拟图像替代第二目标图像呈现给用户B。换言之，第一终端向第二终端发送初始人脸图像后，仅需发送根据人脸图像实时捕获的人脸图像生成的人脸特征点信息，而无需发送实时捕获的人脸图像，即可在第二终端上呈现用户A的“视频图像”的视觉效果。
这样，根据本公开实施例提供的视频处理方法，通过发送第一目标图像和第二目标关键点信息至第二终端，使第二终端基于第二目标关键点信息对第一目标图像进行处理以得到与第二目标图像相近的第二目标模 拟图像，从而可以以极低的数据量实现实时图像传输，进而可以在网络环境较差的条件下进行视频会话。
在一些实施例中，方法100还包括：通过图像捕获装置获取视频数据；步骤S103：从所述视频数据中提取第二目标图像。示例性地，第二目标图像为可以为视频的某一图像帧。
在一些实施例中，步骤S101：从所述视频数据中提取第一目标图像。示例性地，第一目标图像为可以为视频的某一图像帧。
在一些实施例中，步骤S101包括：在所述第一终端与所述第二终端建立视频连接时，通过所述图像捕获装置捕获所述第一目标图像。
其中，图像捕获装置可以内置于第一终端或外置连接于第一终端。
在一些实施例中，步骤S101包括：在所述第一终端向所述第二终端发起视频连接时，通过所述图像捕获装置捕获所述第一目标图像。通常，用户在使用终端发起视频连接时，终端此时已开启摄像装置捕获用户的人脸图像。因此，本实施例通过在第一终端向第二终端发起视频连接时，通过图像捕获装置捕获的图像作为第一目标图像，无需额外获取第一目标图像。
在一些实施例中，方法100还包括：
步骤A1：确定所述第一终端和/或所述第二终端的网络联通状态；
步骤A2：若所述网络联通状态满足预设的条件，则发送所述第二目标关键点信息。
示例性地，所述预设的条件可以为第一终端和/或所述第二终端的网速低于预设阈值。在本实施例中，通过判断当前第一终端和/或所述第二终端的网络联通状态，可以在网络联通状态较差的情况下，通过发送数据量极低的第二目标关键点信息，来实现实时视频处理。
需要说明的是，在本实施例中，步骤A1可以在步骤S101-S105中的任意一个步骤之前执行。可以理解，步骤A1不同的执行顺位将导致步骤B1包括不同的子步骤。例如，但不限于此，可以在步骤S101之前执行步骤A1，当判断网络联通状态满足预设的条件时，执行步骤S102-S105，即此时步骤A2包括步骤S102-S105；还可以在步骤S104之后步骤S105 之前执行步骤A1，则当判断网络联通状态满足预设的条件时，执行步骤S105，即此时步骤A2为步骤S105。
在一些实施例中，方法100还包括：
步骤B1：确定所述第一终端和/或所述第二终端的网络联通状态；
步骤B2：若所述网络联通状态不满足预设的条件，则发送图像数据至所述第二终端。
其中，所述图像数据系根据图像捕获装置捕获的得到的图像生成。示例性地，图像数据可以为根据H.264或H.265视频编码标准压缩得到的视频数据。
需要说明的是，在本实施例中，步骤B1可以在步骤S101-S105中的任意一个步骤之前或之后执行。例如，但不限于此，可以在步骤S101之前执行步骤B1，当判断网络联通状态不满足预设的条件时，执行步骤B1，停止执行步骤S101-S105，即执行步骤A2；还可以在步骤S104之后步骤S105之前执行步骤B1，则当判断网络联通状态不满足预设的条件时，执行步骤B1，停止执行步骤S105。
这样，根据本公开的一个或多个实施例，第一终端可以根据第一终端和/或所述第二终端的网络联通状态，选择发送图像信息或关键点信息，从而可以根据网络联通状态调节传输数据量，以适应当前网络联通状态。
根据本公开的一个或多个实施例提供的视频处理方法，应用于第二终端，包括但不限于诸如数字TV、台式计算机、笔记本电脑、PAD(平板电脑)、智能手表、移动电话、数字广播接收器、PDA(个人数字助理)、PMP(便携式多媒体播放器)等移动终端和固定终端，其可以以有线或者无线的方式传输图像数据。
参考图2，图2示出了本公开一实施例提供的视频处理方法200的流程图，包括步骤S201-步骤S204：
步骤S201：获取第一目标图像。
其中，第一目标图像为包含目标的图像。在一些实施例中，目标图像为人脸图像。
在一些实施例中，第二终端接收第一终端发送的第一目标图像。
在一些实施例中，第一目标图像可以预先存储于第二终端中，或存储于云端服务器中，由服务器发送至第二终端。
步骤S202：接收第二目标关键点信息。
步骤S203：基于所述第二目标关键点信息对所述第一目标图像进行处理，得到第二目标模拟图像。
示例性地，可以采用MLS(Moving Least Squares，移动最小二乘)算法、或基于脸部运动参数的网格变形算法(Gradient-Based Deformation)对第一目标图像进行处理。
在一些实施例中，可以基于第二目标关键点信息和所述第一目标图像对应的关键点信息确定关键点位移信息，并基于所述关键点位移信息对所述第一目标图像进行处理，得到第二目标模拟图像。
步骤S204：显示所述第二目标模拟图像。
这样，根据本公开实施例提供的视频处理方法，第二终端在获取第一目标图像后，仅需接收数据量极低的实时的目标关键点信息，即可根据该目标关键点信息对第一目标图像进行处理从而得到与实时目标图像相近的模拟目标图像，从而可以以极低的网络带宽资源呈现目标的实时图像，进而可以在网络环境较差的条件下实现接近视频会话的显示效果。
针对上述视频处理方法，图3示出了根据本公开一实施例提供的系统的示意图。第一终端310和第二终端320可以直接进行网络通信或经由至少一个中间服务器进行网络通信。
参考图4，图4示出了根据本公开一实施例提供的系统的信号流图。
步骤S411：第一终端310向第二终端320发起视频连接。
步骤S412：第一终端310通过图像捕获装置捕获第一目标图像。
步骤S413：第一终端310确定第一终端的网络联通状态是否满足预设条件。
在步骤S413中，若所述第一终端的网络联通状态满足预设条件则执行步骤S414-S417。
步骤S414：第一终端310发送第一目标图像至第二终端320；相应地，在步骤S511中，第二终端320接收第一目标图像。
步骤S415：第一终端310通过图像捕获装置捕获第二目标图像。
步骤S416：第一终端310根据第二目标图像确定第二目标关键点信息。
步骤S417：第一终端310发送所述第二目标关键点信息至所述第二终端320，并返回循环执行步骤S415-S417。
相应地，在步骤S512中，第二终端320接收所述第二目标关键点信息；接下来，第二终端320执行步骤S513-514。
步骤S513：第二终端320基于第二目标关键点信息对第一目标图像进行处理，得到第二目标模拟图像。
步骤S514：第二终端320显示第二目标模拟图像。
在步骤S413中，若所述第一终端的网络联通状态不满足预设条件则执行步骤S420。
步骤S420：第一终端310发送视频数据至第二终端320。其中视频数据根据第一终端310的图像捕获或装置捕获的连续图像生成。
相应地，在步骤S520中，第二终端320接收视频数据。
步骤S521：第二终端320根据接收到的视频数据显示视频。
相应地，如图5所示，本公开实施例提供了一种第一终端600，包括：
第一目标图像获取单元610，用于获取第一目标图像；
第一目标图像发送单元620，用于发送所述第一目标图像至第二终端；
第二目标图像获取单元630，用于获取第二目标图像；
关键点信息确定单元640，用于根据所述第二目标图像确定第二目标关键点信息；
关键点信息发送单元650，用于发送所述第二目标关键点信息至所述第二终端，使得所述第二终端基于所述第二目标关键点信息对所述第一目标图像进行处理以得到第二目标模拟图像；
其中，所述第一目标图像、所述第二目标图像、所述第二目标关键点信息和所述第二目标模拟图像均对应同一目标。
对于装置的实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示 意性的，其中作为分离模块说明的模块可以是或者也可以不是分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
这样，根据本公开实施例提供的第一终端，通过发送第一目标图像和第二目标关键点信息至第二终端，使第二终端基于第二目标关键点信息对第一目标图像进行处理以得到与第二目标图像相近的第二目标模拟图像，从而可以以极低的数据量实现实时视频处理，进而可以在网络环境较差的条件下进行视频会话。
在一些实施例中，第一终端600还包括：视频捕获单元，用于捕获视频数据；所述第二目标图像获取单元630用于从所述视频数据中提取第二目标图像。示例性地，第二目标图像为可以为视频的某一图像帧。
在一些实施例中，第一目标图像获取单元610用于从所述视频数据中提取第一目标图像。示例性地，第一目标图像为可以为视频的某一图像帧。
在一些实施例中第一目标图像获取单元610用于在所述第一终端与所述第二终端建立视频连接时，通过所述图像捕获装置捕获所述第一目标图像。
其中，图像捕获装置可以内置于第一终端或外置连接于第一终端。
在一些实施例中，第一目标图像获取单元610用于在所述第一终端向所述第二终端发起视频连接时，通过所述图像捕获装置捕获所述第一目标图像。通常，用户在使用终端发起视频连接时，终端此时已开启摄像装置捕获用户的人脸图像。因此，本实施例通过在第一终端向第二终端发起视频连接时，通过图像捕获装置捕获的图像作为第一目标图像，无需额外获取第一目标图像。
在一些实施例中，第一终端600还包括：网络状态确定单元，用于确定所述第一终端和/或所述第二终端的网络联通状态；关键点信息发送单元650用于若所述网络联通状态满足预设的条件，则发送所述第二目标关键点信息。
示例性地，所述预设的条件可以为第一终端和/或所述第二终端的网速低于预设阈值。在本实施例中，通过判断当前第一终端和/或所述第二终端的网络联通状态，可以在网络联通状态较差的情况下，通过发送数据量极低的第二目标关键点信息，来实现实时视频处理。
在一些实施例中，第一终端600还包括：图像数据发送单元，用于若所述网络联通状态不满足预设的条件，则发送图像数据至所述第二终端。
其中，所述图像数据系根据图像捕获装置捕获的得到的图像生成。示例性地，图像数据可以为根据H.264或H.265视频编码标准压缩得到的视频数据。
这样，根据本公开的一个或多个实施例，第一终端可以根据第一终端和/或所述第二终端的网络联通状态，选择发送图像信息或关键点信息，从而可以根据网络联通状态调节传输数据量，以适应当前网络联通状态。
相应地，如图6所示，本公开实施例提供了一种第二终端700，包括：
第一图像获取单元710，用于获取第一目标图像；
关键点信息接收单元720，用于接收第二目标关键点信息；
图像处理单元730，用于基于所述第二目标关键点信息对所述第一目标图像进行处理，得到第二目标模拟图像；
其中，所述第二目标关键点信息、所述第一目标图像和所述第二目标模拟图像对应同一目标。
显示单元740，用于显示所述第二目标模拟图像；
对于装置的实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离模块说明的模块可以是或者也可以不是分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
这样，根据本公开实施例提供的第二终端，在获取第一目标图像后，仅需接收数据量极低的实时的目标关键点信息，即可根据该目标关键点信息对第一目标图像进行处理从而得到与实时目标图像相近的模拟目标 图像，从而可以以极低的网络带宽资源呈现目标的实时图像，进而可以在网络环境较差的条件下实现模拟视频会话的显示效果。
在一些实施例中，图像处理单元730用于基于所述第二目标关键点信息和所述第一目标图像对应的关键点信息确定关键点位移信息，并基于所述关键点位移信息对所述第一目标图像进行处理，得到第二目标模拟图像。
相应地，根据本公开的一个或多个实施例，提供了一种系统，其特征在于，系统包括：
如根据本公开的一个或多个实施例提供的第一终端；以及
如根据本公开的一个或多个实施例提供的第二终端。
相应地，根据本公开的一个或多个实施例，提供了一种电子设备，包括：
至少一个存储器和至少一个处理器；
其中，存储器用于存储程序代码，处理器用于调用存储器所存储的程序代码以执行根据本公开一个或多个实施例提供的视频处理方法。
相应地，根据本公开的一个或多个实施例，提供了一种非暂态计算机存储介质，非暂态计算机存储介质存储有程序代码，程序代码可被计算机设备执行来使得所述计算机设备执行根据本公开一个或多个实施例提供的视频处理方法。
图7示出了用来实现本公开实施例的终端设备800(例如如图3所示的第一终端)的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)等移动终端以及诸如数字TV、台式计算机等固定终端。图7示出的终端设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示，终端设备800可以包括处理装置(例如中央处理器、图形处理器等)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储装置808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有终端设备800操 作所需的各种程序和数据。处理装置801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
通常，以下装置可以连接至I/O接口805：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置806；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置807；包括例如磁带、硬盘等的存储装置808；以及通信装置809。示例性地，存储装置808可以存储第一数据库和第二数据库，其中，第一数据库存储有第一程序的至少一个第一子程序标识；第二数据库存储有第一程序的至少一个第二子程序标识。通信装置809可以允许终端设备800与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的终端设备800，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的装置的程序代码。在这样的实施例中，该计算机程序可以通过通信装置809从网络上被下载和安装，或者从存储装置808被安装，或者从ROM 802被安装。在该计算机程序被处理装置801执行时，执行本公开实施例的装置中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合 使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText Transfer Protocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述终端设备中所包含的；也可以是单独存在，而未装配入该终端设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该终端设备执行时，使得该终端设备：获取第一目标图像；发送所述第一目标图像至第二终端；获取第二目标图像；根据所述第二目标图像确定第二目标关键点信息；发送所述第二目标关键点信息至所述第二终端，使得所述第二终端基于所述第二目标关键点信息对所述第一目标图像进行处理以得到第二目标模拟图像；其中，所述第一目标图像、所述第二目标图像、所述第二目标关键点信息和所述第二目标模拟图像均对应同一目标。
或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该终端设备执行时，使得该终端设备：获取第一目标图像；接收第二目标关键点信息；基于所述第二目标关键点信息对所述第一目标图像进行处理，得到第二目标模拟图像；显示所述第二目标模拟图像；其中，所述第二目标关键点信息、所述第一目标图像和所述第二目标模拟 图像对应同一目标。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、装置和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一目标图像获取单元可以被描述为“用于获取第一目标图像的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、 片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，提供了一种视频处理方法，应用于第一终端，包括：获取第一目标图像；发送所述第一目标图像至第二终端；获取第二目标图像；根据所述第二目标图像确定第二目标关键点信息；发送所述第二目标关键点信息至所述第二终端，使得所述第二终端基于所述第二目标关键点信息对所述第一目标图像进行处理以得到第二目标模拟图像；其中，所述第一目标图像、所述第二目标图像、所述第二目标关键点信息和所述第二目标模拟图像均对应同一目标。
根据本公开的一个或多个实施例提供的视频处理方法，还包括：通过图像捕获装置获取视频数据；所述获取第二目标图像包括：从所述视频数据中提取第二目标图像帧。
根据本公开的一个或多个实施例，所述获取第一目标图像，包括：在所述第一终端与所述第二终端建立视频连接时，通过所述图像捕获装置捕获所述第一目标图像。
根据本公开的一个或多个实施例提供的视频处理方法，还包括：确定所述第一终端和/或所述第二终端的网络联通状态；若所述网络联通状态满足预设的条件，则发送所述第二目标关键点信息。
根据本公开的一个或多个实施例提供的视频处理方法，还包括：若所述网络联通状态不满足预设的条件，则发送图像数据至所述第二终端。
根据本公开的一个或多个实施例，提供了一种视频处理方法，应用于第二终端，包括：获取第一目标图像；接收第二目标关键点信息；基于所述第二目标关键点信息对所述第一目标图像进行处理，得到第二目标模拟图像；显示所述第二目标模拟图像；其中，所述第一目标图像信息、所述第二目标关键点和所述第二目标模拟图像对应同一目标。
根据本公开的一个或多个实施例，所述基于所述第二目标关键点信息对第一目标图像进行处理，得到第二模拟目标图像，包括：基于所述第二目标关键点信息和所述第一目标图像对应的关键点信息确定关键点位移信息；基于所述关键点位移信息对所述第一目标图像进行处理，得到第二目标模拟图像。
根据本公开的一个或多个实施例，提供了一种第一终端，包括：第一目标图像获取单元，用于获取第一目标图像；第一目标图像发送单元，用于发送所述第一目标图像至第二终端；第二目标图像获取单元，用于获取第二目标图像；关键点信息确定单元，用于根据所述第二目标图像确定第二目标关键点信息；关键点信息发送单元，用于发送所述第二目标关键点信息至所述第二终端，使得所述第二终端基于所述第二目标关键点信息对所述第一目标图像进行处理以得到第二目标模拟图像；其中，所述第一目标图像、所述第二目标图像、所述第二目标关键点信息和所述第二目标模拟图像均对应同一目标。
根据本公开的一个或多个实施例，提供了一种第二终端，包括：第一图像获取单元，用于获取第一目标图像；关键点信息接收单元，用于接收第二目标关键点信息；图像处理单元，用于基于所述第二目标关键点信息对所述第一目标图像进行处理，得到第二目标模拟图像；显示单元，用于显示所述第二目标模拟图像；其中，所述第一目标图像、所述第二目标关键点信息和所述第二目标模拟图像对应同一目标。
根据本公开的一个或多个实施例，提供了一种视频处理系统，包括：根据本公开的一个或多个实施例提供的第一终端；以及根据本公开的一个或多个实施例提供的第二终端。
根据本公开的一个或多个实施例，提供了一种终端，包括：至少一个 存储器和至少一个处理器；其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器所存储的程序代码以执行根据本公开的一个或多个实施例提供的视频处理方法。
一种非暂态计算机存储介质，所述非暂态计算机存储介质存储有程序代码，所述程序代码可被计算机设备执行来使得所述计算机设备执行根据本公开的一个或多个实施例提供的视频处理方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或装置逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (12)

  1. 一种视频处理方法，应用于第一终端，其特征在于，包括：
    获取第一目标图像；
    发送所述第一目标图像至第二终端；
    获取第二目标图像；
    根据所述第二目标图像确定第二目标关键点信息；
    发送所述第二目标关键点信息至所述第二终端，使得所述第二终端基于所述第二目标关键点信息对所述第一目标图像进行处理以得到第二目标模拟图像；
    其中，所述第一目标图像、所述第二目标图像、所述第二目标关键点信息和所述第二目标模拟图像均对应同一目标。
  2. 如权利要求1所述的视频处理方法，其特征在于，还包括：
    通过图像捕获装置获取视频数据；
    所述获取第二目标图像包括：从所述视频数据中提取第二目标图像。
  3. 如权利要求1所述的视频处理方法，其特征在于，所述获取第一目标图像，包括：
    在所述第一终端与所述第二终端建立视频连接时，通过图像捕获装置捕获所述第一目标图像。
  4. 如权利要求1所述的视频处理方法，其特征在于，还包括：
    确定所述第一终端和/或所述第二终端的网络联通状态；
    若所述网络联通状态满足预设的条件，则发送所述第二目标关键点信息。
  5. 如权利要求4所述的视频处理方法，其特征在于，还包括：
    若所述网络联通状态不满足预设的条件，则发送图像数据至所述第二终端。
  6. 一种视频处理方法，应用于第二终端，其特征在于，包括：
    获取第一目标图像；
    接收第二目标关键点信息；
    基于所述第二目标关键点信息对所述第一目标图像进行处理，得到第二目标模拟图像；
    显示所述第二目标模拟图像；
    其中，所述第一目标图像信息、所述第二目标关键点和所述第二目标模拟图像对应同一目标。
  7. 如权利要求6所述的视频处理方法，其特征在于，所述基于所述第二目标关键点信息对第一目标图像进行处理，得到第二模拟目标图像，包括：
    基于所述第二目标关键点信息和所述第一目标图像对应的关键点信息确定关键点位移信息；
    基于所述关键点位移信息对所述第一目标图像进行处理，得到第二目标模拟图像。
  8. 一种第一终端，其特征在于，包括：
    第一目标图像获取单元，用于获取第一目标图像；
    第一目标图像发送单元，用于发送所述第一目标图像至第二终端；
    第二目标图像获取单元，用于获取第二目标图像；
    关键点信息确定单元，用于根据所述第二目标图像确定第二目标关键点信息；
    关键点信息发送单元，用于发送所述第二目标关键点信息至所述第二终端，使得所述第二终端基于所述第二目标关键点信息对所述第一目标图像进行处理以得到第二目标模拟图像；
    其中，所述第一目标图像、所述第二目标图像、所述第二目标关键点信息和所述第二目标模拟图像均对应同一目标。
  9. 一种第二终端，其特征在于，包括：
    第一图像获取单元，用于获取第一目标图像；
    关键点信息接收单元，用于接收第二目标关键点信息；
    图像处理单元，用于基于所述第二目标关键点信息对所述第一目标图像进行处理，得到第二目标模拟图像；
    显示单元，用于显示所述第二目标模拟图像；
    其中，所述第一目标图像、所述第二目标关键点信息和所述第二目标模拟图像对应同一目标。
  10. 一种视频处理系统，其特征在于，包括：
    如权利要求8所述的第一终端；以及
    如权利要求9所述的第二终端。
  11. 一种终端，其特征在于，包括：
    至少一个存储器和至少一个处理器；
    其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器所存储的程序代码以执行权利要求1至7任一所述的方法。
  12. 一种非暂态计算机存储介质，其特征在于，所述非暂态计算机存储介质存储有程序代码，所述程序代码可被计算机设备执行来使得所述计算机设备执行权利要求1至7任一所述的方法。
PCT/CN2021/113971 2020-10-13 2021-08-23 视频处理方法、系统、终端和存储介质 WO2022078066A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011090106.7 2020-10-13
CN202011090106.7A CN112218034A (zh) 2020-10-13 2020-10-13 视频处理方法、系统、终端和存储介质

Publications (1)

Publication Number Publication Date
WO2022078066A1 true WO2022078066A1 (zh) 2022-04-21

Family

ID=74053773

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/113971 WO2022078066A1 (zh) 2020-10-13 2021-08-23 视频处理方法、系统、终端和存储介质

Country Status (2)

Country Link
CN (1) CN112218034A (zh)
WO (1) WO2022078066A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115225542A (zh) * 2022-07-20 2022-10-21 北京京东乾石科技有限公司 视频信息处理方法、装置、电子设备和存储介质
CN117041231A (zh) * 2023-07-11 2023-11-10 启朔(深圳)科技有限公司 用于线上会议的视频传输方法、系统、存储介质及设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112218034A (zh) * 2020-10-13 2021-01-12 北京字节跳动网络技术有限公司 视频处理方法、系统、终端和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040218827A1 (en) * 2003-05-02 2004-11-04 Michael Cohen System and method for low bandwidth video streaming for face-to-face teleconferencing
US20090147141A1 (en) * 2007-12-11 2009-06-11 Hae Sun Lee Method and apparatus for video telephony in mobile terminal
CN102271241A (zh) * 2011-09-02 2011-12-07 北京邮电大学 一种基于面部表情/动作识别的图像通信方法及系统
CN103647922A (zh) * 2013-12-20 2014-03-19 百度在线网络技术（北京）有限公司 虚拟视频通话方法和终端
CN108174141A (zh) * 2017-11-30 2018-06-15 维沃移动通信有限公司 一种视频通信的方法和一种移动装置
CN108985241A (zh) * 2018-07-23 2018-12-11 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN110536095A (zh) * 2019-08-30 2019-12-03 Oppo广东移动通信有限公司 通话方法、装置、终端及存储介质
CN112218034A (zh) * 2020-10-13 2021-01-12 北京字节跳动网络技术有限公司 视频处理方法、系统、终端和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040218827A1 (en) * 2003-05-02 2004-11-04 Michael Cohen System and method for low bandwidth video streaming for face-to-face teleconferencing
US20090147141A1 (en) * 2007-12-11 2009-06-11 Hae Sun Lee Method and apparatus for video telephony in mobile terminal
CN102271241A (zh) * 2011-09-02 2011-12-07 北京邮电大学 一种基于面部表情/动作识别的图像通信方法及系统
CN103647922A (zh) * 2013-12-20 2014-03-19 百度在线网络技术（北京）有限公司 虚拟视频通话方法和终端
CN108174141A (zh) * 2017-11-30 2018-06-15 维沃移动通信有限公司 一种视频通信的方法和一种移动装置
CN108985241A (zh) * 2018-07-23 2018-12-11 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN110536095A (zh) * 2019-08-30 2019-12-03 Oppo广东移动通信有限公司 通话方法、装置、终端及存储介质
CN112218034A (zh) * 2020-10-13 2021-01-12 北京字节跳动网络技术有限公司 视频处理方法、系统、终端和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115225542A (zh) * 2022-07-20 2022-10-21 北京京东乾石科技有限公司 视频信息处理方法、装置、电子设备和存储介质
CN117041231A (zh) * 2023-07-11 2023-11-10 启朔(深圳)科技有限公司 用于线上会议的视频传输方法、系统、存储介质及设备

Also Published As

Publication number Publication date
CN112218034A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
WO2022078066A1 (zh) 视频处理方法、系统、终端和存储介质
US10873769B2 (en) Live broadcasting method, method for presenting live broadcasting data stream, and terminal
US20230007065A1 (en) Video sharing method, apparatus, device and medium
EP4262214A1 (en) Screen projection method and apparatus, and electronic device and storage medium
US20230291980A1 (en) Method and apparatus for video generation and displaying, device, and medium
US20190051147A1 (en) Remote control method, apparatus, terminal device, and computer readable storage medium
US20240119969A1 (en) Video processing method and apparatus, electronic device and storage medium
CN111790148B (zh) 游戏场景中的信息交互方法、设备及计算机可读介质
WO2022095840A1 (zh) 直播间创建方法、装置、电子设备及存储介质
CN107948724B (zh) 视频传输控制方法、装置及存储介质和移动终端
US20220391229A1 (en) Icon updating method and apparatus, and electronic device
CN111935442A (zh) 信息显示方法、装置和电子设备
US11818491B2 (en) Image special effect configuration method, image recognition method, apparatus and electronic device
CN112291316A (zh) 连接处理方法、装置、电子设备及计算机可读存储介质
CN114040189A (zh) 多媒体测试方法、装置、存储介质及电子设备
US20220272283A1 (en) Image special effect processing method, apparatus, and electronic device, and computer-readable storage medium
US11962929B2 (en) Method, apparatus, and device for configuring video special effect, and storage medium
WO2023098576A1 (zh) 图像处理方法、装置、设备及介质
CN113596328B (zh) 摄像头调用方法、装置和电子设备
EP4274237A1 (en) Information display method and apparatus, and device and medium
CN112203103B (zh) 消息处理方法、装置、电子设备及计算机可读存储介质
US11805219B2 (en) Image special effect processing method and apparatus, electronic device and computer-readable storage medium
CN112188245B (zh) 一种前端摄像头实时视频点播方法及装置、电子设备
CN114187169A (zh) 视频特效包的生成方法、装置、设备及存储介质
CN112162682A (zh) 内容显示方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21879113

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21879113

Country of ref document: EP

Kind code of ref document: A1