WO2013143380A1 - 一种视频模拟形象的通信方法和装置 - Google Patents

一种视频模拟形象的通信方法和装置 Download PDF

Info

Publication number
WO2013143380A1
WO2013143380A1 PCT/CN2013/072246 CN2013072246W WO2013143380A1 WO 2013143380 A1 WO2013143380 A1 WO 2013143380A1 CN 2013072246 W CN2013072246 W CN 2013072246W WO 2013143380 A1 WO2013143380 A1 WO 2013143380A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
cartoon
video
rendering model
image
Prior art date
Application number
PCT/CN2013/072246
Other languages
English (en)
French (fr)
Inventor
汪斐
陈波
高歌
俞尚
张会丽
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Priority to JP2014526383A priority Critical patent/JP5870469B2/ja
Publication of WO2013143380A1 publication Critical patent/WO2013143380A1/zh
Priority to US14/165,117 priority patent/US9210372B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Definitions

  • the present invention relates to the field of network communication technologies, and in particular, to a video analog image communication method and apparatus. Background technique
  • the video chat communication tool actually utilizes a webpage or client technology, and uses a video capture tool such as a camera to perform visual chat communication.
  • the two sides of the communication record their own video images through the cameras installed on the data processing equipment (such as computers, smart phones, etc.) to achieve the effect of visual chat.
  • This kind of chat effect is vivid, so video chat tools have been more and more Netizens love it.
  • FIG. 1 is a schematic diagram of a typical video data processing and transmission of current video chat technology.
  • the sender and the receiver specifically refer to a video chat tool installed on the data processing device of both communication parties.
  • the video chat tool needs to be connected to a local video capture tool such as a camera.
  • the sender's video chat tool collects the video data captured by the local camera, compresses and encodes the video data, converts it into video bitmap data, and transmits it to the receiver via the network.
  • a bitmap also called a bitmap image or a rendered image, is composed of a single point called a pixel (picture element) that can be arranged and dyed differently to form a pattern.
  • the video chat tool of the receiver After receiving the video bitmap data, the video chat tool of the receiver is decoded and decompressed, and then displayed on the local display interface, thereby realizing the transmission of the video data.
  • Figure 1 only the one-way transmission of the video image is shown, which is the same for the video image transmission process in the reverse direction. In this way, the two parties can use the video chat tool to interact with the video.
  • FIG. 2 is a schematic diagram of a conventional video simulation of a character video in video communication. Referring to Figure 2, this technique is a modification of the conventional video communication technology shown in Figure 1.
  • the video chat tool of the sender collects the video data captured by the camera, filters the video data, and simulates and renders the corresponding cartoon video simulation image based on the captured video image of the person, that is, the cartoon image of the cartoon image, and then
  • the video data of the cartoon image is compressed and encoded, and the video bitmap data is generated and transmitted to the receiver through the network;
  • the video chat tool of the receiver performs corresponding decoding after receiving the video bitmap data of the cartoon image. Unzip and finally display on the local display interface.
  • the prior art only improves the traditional video chat technology shown in FIG. 1 and uses the traditional video compression technology to encode the rendered video data and transmit it to the other party of the call.
  • the real video data, the data transmitted in the network is video bitmap data, the data volume of the video bitmap data is large, the network traffic occupied by the network transmission is too large, and the network bandwidth resources are limited. This will cause the video to play unsmoothly.
  • the main object of the present invention is to provide a video analog image communication method and apparatus to reduce the amount of data transmitted by the network and save network bandwidth resources.
  • a communication method for video simulation image comprising:
  • the sender collects the camera data, converts the captured camera data into vector data through an image recognition algorithm, and transmits the vector data to the receiver;
  • the receiving party calls a cartoon rendering model, and renders a corresponding cartoon video simulation image according to the received vector data and the cartoon rendering model.
  • a video simulation image communication device comprising:
  • the camera data acquisition module is configured to collect local camera data
  • a recognition conversion module configured to convert the captured image data into vector data by using an image recognition algorithm
  • a sending module configured to send vector data to a receiver
  • a receiving module configured to receive data from a sender
  • the other party video simulation module is configured to invoke a cartoon rendering model, and render a corresponding cartoon video simulation image according to the received vector data and the cartoon rendering model.
  • a machine readable medium having stored thereon a set of instructions that, when executed, cause the machine to perform the communication method of the video analog image.
  • FIG. 1 is a schematic diagram of a typical video data processing and transmission of a video chat technology
  • FIG. 2 is a schematic diagram of a conventional cartoon video of a character in a video communication
  • FIG. 3 is a schematic flow chart of a communication method for a video simulation image according to the present invention.
  • FIG. 4 is a schematic diagram of a composition of a video simulation image communication device of the present invention.
  • FIG. 5 is a schematic flow chart of still another specific embodiment of the method according to the present invention.
  • FIG. 6 is a schematic flow chart of still another specific embodiment of the method of the present invention.
  • FIG. ⁇ is a schematic diagram showing the composition of still another embodiment of the communication device for video analog image of the present invention.
  • DETAILED DESCRIPTION OF THE INVENTION The present invention will be further described in detail below with reference to the accompanying drawings and specific embodiments.
  • FIG. 3 is a schematic flow chart of a communication method for a video simulation image according to the present invention. Shown in FIG. 3 is a unidirectional process in the communication process of the video simulation image of the present invention, that is, assuming that video communication between users A and B is performed, the image of A is displayed to the process involved in B, where A is a transmission. Fang, B is the receiver. The process of displaying the image of B to A is the same, except that B is the sender and A is receiver. In addition, this scheme is also applicable to the video process of multiple people. One party can be regarded as the sender, and the other parties are the receivers. The following will be described in detail in accordance with the specific process involved.
  • the method of the present invention mainly includes: the sender collects the camera data, converts the captured camera data into vector data through an image recognition algorithm, and sends the vector data to the receiver; the receiver invokes the cartoon rendering model, according to the received
  • the obtained vector data and the cartoon rendering model render a corresponding cartoon video simulation image (referred to as a cartoon image in the present specification), and finally display the video of the cartoon video simulation image.
  • the present invention also discloses a video simulation image communication device for performing the method of the present invention.
  • 4 is a schematic diagram of a composition of a video analog image communication device according to the present invention.
  • the device is a video chat tool installed on a user terminal, and the communication parties can perform the present invention through the video chat tool.
  • the method for implementing the video communication of the cartoon video simulation image of the present invention the device specifically includes:
  • the camera data acquisition module 401 is configured to collect local camera data
  • the identification conversion module 402 is configured to convert the captured imaging data into vector data by using an image recognition algorithm
  • a sending module 403, configured to send vector data to a receiver
  • a receiving module 404 configured to receive data from a sender
  • the other party video simulation module 405 is configured to invoke a cartoon rendering model, and render a corresponding cartoon video simulation image according to the received vector data and the cartoon rendering model, and output the displayed card-passing video simulation image.
  • the sender specifically refers to a video analog image communication device of the sender
  • the receiver specifically refers to a video analog image communication device of the receiver.
  • the method of the present invention needs to preset the cartoon rendering model data, and the basic data required for the cartoon image finally rendered by the receiver is set in the cartoon rendering model data, and the data mainly included in the cartoon rendering model data is: Image model data and further cartoon effect data.
  • the base image model data includes, for example, model data of various face types of cartoon characters, model data of various head types, model data of various facial features, model data of various clothes, and models of glasses accessories worn. Data; each basic image model data has call identification information.
  • a corresponding image is rendered according to the model data, and the specified call identification information is sent by Party recognition through image recognition algorithm Don't get, for example, what face type (face type logo), facial features (five facial features), what hairstyle (hair style logo), what clothes to wear (clothing logo), whether to wear glasses and glasses (glass logo), and so on.
  • the cartoon effect data may be used to further enhance and enrich the performance of the cartoon image, for example, cartoon effect data including various expressions and actions, such as happy cartoon effect data, blush cartoon effect data, and Khan's cartoon effect data, etc., can also be a predefined animation and so on.
  • Each cartoon effect is correspondingly set with call instruction data, which is sent by the sender.
  • the cartoon rendering model data may be pre-stored locally on the receiving side, or the cartoon rendering model data may be stored in the designated server in advance, and the storage address is notified to the receiving party. After receiving the vector data, the receiving party may The cartoon rendering model data is downloaded from the designated server.
  • the sender collects the camera data mainly by connecting and communicating with the camera acquisition device such as the camera of the sender terminal, and collecting the camera data captured by the camera.
  • the camera data captured by the sender is usually the character image of the sender user, such as the user's basic image (including head shape, face type, clothes, etc.), expression, head, and limb movements.
  • the captured image data is subjected to recognition processing by an image recognition algorithm to obtain vector data.
  • the image recognition algorithm may adopt the prior art, and the main processing processes include: 1) image preprocessing, such as gray level normalization processing; 2) face detection and positioning processing; 3) image feature extraction processing; 4) face recognition deal with.
  • the vector data of the image data can be obtained. Compared with the bitmap data, the vector data is greatly reduced, and the occupation of the network bandwidth can be reduced.
  • the vector data includes basic image data and image change data.
  • the basic image data is used to specify a specific basic image model in the cartoon rendering model, such as what face type (face type identification), facial features (five features), what hairstyle (hair style identification), what clothes to wear (clothing) Marking), whether to wear glasses and the style of the glasses (glasses logo), etc.
  • These basic image data are the calling identifiers of the specific basic image model data in the cartoon rendering model, and the receiving party can read according to the instructions of the basic image data.
  • the corresponding basic image model data in the cartoon rendering model is taken, thereby rendering the basic image of the cartoon video simulation image.
  • the specific rendering process can utilize existing animation rendering techniques, wherein the main processes include: 1) reading the loaded model data; 2) calculating the rendered object using the rendering model formula according to the basic image data and the loaded model data. Specific image information; 3) Draw a specific cartoon image.
  • the image change data is used to indicate dynamic change information of the character image in the current camera video, such as the degree of eye closure, opening (for example, can be expressed by 1 to 3 levels), the degree of mouth closing, opening (for example, It is expressed in 1 to 10 levels.)
  • the amplitude of the head swing (used by -10 to 10 levels).
  • the receiver can modify the rendered base image according to the image change data to obtain a dynamic cartoon video simulation image.
  • the present invention transmits vector data with a very small amount of data in the network instead of bitmap data, thereby reducing the amount of data transmitted by the network and saving network bandwidth resources.
  • the video quality (such as resolution) of the bitmap data transmitted by the prior art scheme is fixed. Once the quality of the video rendered by the sender is not high, even if the hardware computing capability of the receiver is very strong, it cannot be displayed. Produce high quality video effects.
  • the present invention transmits vector data to the receiver, if the receiver's hardware computing power is strong, it is possible to render a better video effect than the sender, such as higher resolution, more realistic animation details, and the like.
  • FIG. 5 is a schematic flowchart of still another embodiment of the method according to the present invention.
  • the video analog image communication device of the sender may further be connected to an audio collection device such as a microphone.
  • the collected audio data is sent to the receiver, and the receiver plays the received audio data in synchronization with the rendered cartoon image.
  • the transmission communication channel of the audio data may be an independent communication channel, or may use the same communication channel as the vector data.
  • the device further includes: an audio collection module 406, configured to collect audio data, by the sending module 403 The audio data is further sent to the receiver.
  • the video simulation module 405 is further configured to: play the received audio data from the receiver synchronously with the rendered cartoon image.
  • the sender may also issue an instruction for a special cartoon effect to be sent to the recipient as part of the vector data.
  • These instructions correspond to the cartoon effect data in the above cartoon rendering model, and a specific instruction corresponds to a specific cartoon effect, for example, a cartoon effect instruction including various moods, such as a happy cartoon effect instruction, a blush cartoon effect instruction, Sweating cartoon effect instructions, instructions for playing predefined animations, and more.
  • Trigger mode 1 The sending party provides a trigger mechanism for specifying a cartoon effect, for example, displaying a trigger button on the interface, for example, respectively, triggering a happy effect, a blush effect , sweating effect, etc., in the After the trigger mechanism is triggered (if the button is clicked), the instruction data corresponding to the cartoon effect is sent to the receiver; the receiver reads the corresponding cartoon effect data from the cartoon rendering model according to the received instruction data.
  • the cartoon effect is rendered on the cartoon video simulation image. For example, if the command of the blush effect is triggered, a cartoon effect of blushing is rendered.
  • Trigger mode 2 The sender uses the sensor to detect the sensing signal. For example, many mobile phones currently have various sensors that can detect various sensing signals, such as the shaking of the mobile phone, the location of the mobile phone, and the direction in which it is aligned.
  • the sender's video analog image communication device collects the sensing signals of the sensors and transmits the sensing signal data as a specific instruction of the cartoon effect to the recipient.
  • the cartoon rendering model stores a correspondence between a specific sensing signal and a specific cartoon effect, and the receiving party reads the corresponding cartoon effect data from the cartoon rendering model according to the received sensing signal data, and simulates the image image in the cartoon video. Render the corresponding cartoon effect on it.
  • the device 400 further includes a specified effect triggering module 407 for providing a trigger mechanism for specifying a cartoon effect.
  • the instruction data corresponding to the cartoon effect is sent to the receiver through the sending module 403.
  • the counterpart video simulation module 405 is further configured to: read from the cartoon rendering model according to the received instruction data.
  • the corresponding cartoon effect data is output, and the cartoon effect is rendered on the cartoon video simulation image screen.
  • the device 400 may further include a sensing detection module 408, configured to detect the sensing signal by using the sensor, and send the sensing signal data to the receiving party through the sending module 403.
  • the counterpart video simulation module 405 is further configured to: The corresponding cartoon effect data is read from the cartoon rendering model according to the received sensing signal data, and the corresponding cartoon effect is rendered on the cartoon video simulation image screen.
  • the sender of the present invention may further encode and compress the transmitted data before transmitting the data to the receiver, for example, using Huffman coding or Gzip data compression.
  • the method is such that the data transmitted on the network is small; after receiving the data from the sender, the receiver further performs decompression and decoding processing.
  • the transmission method can be diverse for different usage scenarios, such as one-to-one (two-party chat), or one-to-many (video conference, group game).
  • the transmission of these data can be real-time or non-real-time, and can be temporarily saved by the server or relayed through the server. Because the amount of data in these data is small, it can be done faster on the network. Transmission.
  • the sending module further includes an encoding module, configured to encode, compress, and then transmit the data to be sent;
  • the module further includes a decoding module, configured to decode and decompress the received data, and then process the video simulation module of the counterpart.
  • the method further includes: the sender copies the data sent to the receiver locally, and invokes with the receiver.
  • the cartoon rendering model of the same cartoon rendering model, according to the copied data and the cartoon rendering model to render a corresponding cartoon video simulation image specifically comprising: rendering a cartoon image consistent with the rendering of the receiver according to the vector data
  • the corresponding cartoon effect is rendered according to the instruction data triggered by the trigger mechanism and/or the sensing signal detected by the sensor, and the audio data collected by the local microphone is synchronized with the locally rendered cartoon image.
  • the receiver and the sender are required to call the same cartoon rendering model data, or call the same Cartoon rendering model data and local hardware configuration information for video rendering.
  • the hardware configuration information may be, for example, information such as screen resolution, refresh frequency, and the like.
  • the synchronization method can be:
  • a cartoon rendering model is set in at least one of the two parties.
  • the two parties synchronously transmit the cartoon rendering model data through the agreed communication protocol, so that both parties have the same cartoon. Rendering the model;
  • both parties need to call the cartoon rendering model, they directly call the local cartoon rendering model.
  • the cartoon rendering model data is synchronously transmitted through the communication protocol, the local hardware configuration information for video rendering may be further synchronously transmitted, and the two parties adjust the hardware configuration information to be consistent according to a preset policy.
  • the cartoon rendering model is set only on the sender, and in the case that the receiver and the sender are in non-real-time communication, the sender sends the cartoon rendering model data to the designated server while transmitting the vector data.
  • the receiving party downloads the cartoon rendering model data from the storage address to the local; when both parties need to call the cartoon rendering model, directly call the local Cartoon rendering model.
  • the sender sends the cartoon rendering model data
  • the local hardware configuration information for video rendering may be further sent to the receiver, and after receiving, the receiver adjusts the local hardware configuration information to the sender.
  • the hardware configuration information is consistent.
  • the communication device of the video simulation image may further include: a copying module 409, configured to copy the data sent to the receiver locally;
  • the video simulation module 410 is configured to call a cartoon rendering model identical to the cartoon rendering model of the other party, and render a corresponding cartoon video simulation image according to the copied data and the cartoon rendering model.
  • the video simulation image communication device may further include a model synchronization module 41 1 for synchronizing cartoon rendering model data of both sides of the communication, or cartoon rendering model data of both sides of the synchronization communication and hardware configuration information for video rendering. Specifically, the above synchronization method can be adopted.
  • the embodiment of the invention further provides a video simulation image communication device, comprising: a memory for storing instructions; and a processor coupled to the memory.
  • the processor is configured to execute instructions stored in the memory and configured as various implementations of the communication method for performing the video analog image described above.
  • embodiments of the present invention further provide a machine readable medium having stored thereon a set of instructions that, when executed, cause the machine to perform various embodiments of the communication method of the video analog image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • Image Processing (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开了一种视频模拟形象的通信方法和装置，方法包括：发送方采集摄像数据，通过图像识别算法将所采集的摄像数据转换为矢量数据，将矢量数据发送给接收方；接收方调用卡通渲染模型，根据所收到的矢量数据和所述卡通渲染模型渲染出对应的卡通视频模拟形象。装置包括：摄像数据采集模块，用于采集本地的摄像数据；识别转换模块，用于通过图像识别算法将所采集的摄像数据转换为矢量数据；发送模块，用于将矢量数据发送给接收方；接收模块，用于接收来自发送方的数据；对方视频模拟模块，用于调用卡通渲染模型，根据所收到的矢量数据和所述卡通渲染模型渲染出对应的卡通视频模拟形象。利用本发明，可以减少网络传输的数据量，节省网络带宽资源。

Description

一种视频模拟形象的通信方法和装置
技术领域
本发明涉及网络通信技术领域， 尤其涉及一种视频模拟形象的通信方法 和装置。 背景技术
随着互联网技术的发展， 各种基于互联网的通信工具也运用而生， 从简 单的基于文字信息的即时聊天通信工具、 到语音聊天通信工具、 甚至视频聊 天通信工具都已经应用在人们的生活和工作中。
其中， 所述视频聊天通信工具实际上就是利用网页或客户端技术， 并借 助视频采集工具如摄像头来进行可视化的聊天通信。 通信双方通过数据处理 设备（如计算机、 智能手机等）机器上安装的摄像头将自己的视频形象录制 对方， 达到可视化聊天的效果， 这样的聊天效果生动形象， 因此视频聊天工 具已经被越来越多的网友所喜爱。
图 1为目前视频聊天技术的一种典型的视频数据处理和传输的示意图。 参见图 1 , 其中发送方和接收方具体是指安装在通信双方数据处理设备上的 视频聊天工具。 所述视频聊天工具需要连接本地的视频采集工具例如摄像头 等。 发送方的视频聊天工具采集本地摄像头所拍摄的视频数据， 将视频数据 进行压缩和编码， 转变为视频位图数据， 并通过网络传输给接收方。 所谓位 图亦称为点阵图像或绘制图像， 是由称作像素（图片元素）的单个点组成的， 这些点可以进行不同的排列和染色以构成图样。 接收方的视频聊天工具在收 到所述视频位图数据后， 经过解码和解压缩处理， 然后显示在本地的显示界 面上， 从而实现了视频数据的传输。 图 1 中只画出了视频图像单向发送的过 程， 对于反方向的视频图像发送过程同理。 这样， 通信双方就可以利用视频 聊天工具进行视频互动交流了。
但是视频聊天技术存在着一些安全风险， 例如可能会发生用户隐私形象 的泄漏， 或者黑客盗取用户的视频聊天形象进行非法敲诈等等。 为了降低视 频聊天过程中的安全风险， 同时又保留视频聊天技术形象生动的效果， 目前 已经出现了一种将视频聊天中的人物视频形象模拟为卡通形象的视频模拟形 象的通信技术。 图 2为现有的一种将视频通信中的人物视频模拟成卡通形象 的一种示意图。 参见图 2, 这种技术是对图 1 所示的传统的视频通信技术上 改造而来。 即： 发送方的视频聊天工具采集摄像头所拍摄的视频数据， 对这 些视频数据进行过滤， 以所拍摄的人物视频图像为基础模拟渲染出对应的卡 通视频模拟形象， 即卡通形象的模拟视频， 然后对该卡通形象的视频数据进 行压缩和编码， 生成视频位图数据， 并通过网络传输给接收方； 接收方的视 频聊天工具在收到所述卡通形象的视频位图数据后进行对应的解码和解压， 最后显示在本地的显示界面上。
图 2所述的现有技术的缺陷是：
该现有技术只是对图 1所示的传统视频聊天技术进行了简单的改进， 利 用传统的视频压缩技术对所渲染出来的视频数据进行编码并传输至通话的另 一方， 由于这种编码方案针对的是真实的视频数据， 在网络中传输的数据是 视频位图数据， 这种视频位图数据的数据量较大， 在网络传输时所占用的网 络流量偏大， 在网络带宽资源有限的情况下会造成视频播放不流畅的问题。 发明内容
有鉴于此， 本发明的主要目的在于提供一种视频模拟形象的通信方法和 装置， 以减少网络传输的数据量， 节省网络带宽资源。
本发明的技术方案是这样实现的：
一种视频模拟形象的通信方法， 包括：
发送方采集摄像数据， 通过图像识别算法将所采集的摄像数据转换为矢 量数据， 将矢量数据发送给接收方；
接收方调用卡通渲染模型， 根据所收到的矢量数据和所述卡通渲染模型 渲染出对应的卡通视频模拟形象。
一种视频模拟形象的通信装置， 包括：
摄像数据采集模块， 用于采集本地的摄像数据；
识别转换模块， 用于通过图像识别算法将所采集的摄像数据转换为矢量 数据； 发送模块， 用于将矢量数据发送给接收方；
接收模块， 用于接收来自发送方的数据；
对方视频模拟模块， 用于调用卡通渲染模型， 根据所收到的矢量数据和 所述卡通渲染模型渲染出对应的卡通视频模拟形象。
一种机器可读介质， 其上存储有指令集合， 当该指令集合被执行时， 使 得该机器可执行上述视频模拟形象的通信方法。
与现有技术相比， 本发明在发送方采集摄像数据， 通过图像识别算法将 所采集的摄像数据转换为矢量数据， 将矢量数据发送给接收方， 由接收方进 行渲染； 最终渲染出的卡通视频模拟形象的基础数据都设置在卡通渲染模型 中， 接收方可以根据收到的矢量数据， 读取所述卡通渲染模型从而渲染出对 应的卡通形象。 本发明在网络中传输的是数据量非常小的矢量数据， 而不是 位图数据， 因此可以减少网络传输的数据量， 节省网络带宽资源。 附图说明 图 1为目前视频聊天技术的一种典型的视频数据处理和传输的示意图； 图 2为现有的一种将视频通信中的人物视频模拟成卡通形象的一种示意 图；
图 3为本发明视频模拟形象的通信方法的一种流程示意图；
图 4为本发明视频模拟形象的通信装置的一种组成示意图；
图 5为本发明所述方法的又一种具体实施例的流程示意图；
图 6为本发明所述方法的再一种具体实施例的流程示意图；
图 Ί为本发明所述视频模拟形象的通信装置的又一种具体实施例的组成 示意图。 具体实施方式 下面结合附图及具体实施例对本发明再作进一步详细的说明。
图 3为本发明视频模拟形象的通信方法的一种流程示意图。 图 3中所展 示的是本发明所述视频模拟形象的通信过程中单方向的过程， 即假设用户 A 和 B间进行视频通信， 将 A的形象展示给 B所涉及的过程， 其中 A为发送 方， B为接收方。 将 B的形象展示给 A的过程同理， 只是 B为发送方， A为 接收方。 此外， 本方案同样适用于多人的视频过程中， 可以将某一方看作是 发送方， 其余各方均是接收方。 下面将按照所涉及的具体流程进行详细介绍。
参见图 3 , 本发明的方法主要包括： 发送方采集摄像数据， 通过图像识 别算法将所采集的摄像数据转换为矢量数据， 将矢量数据发送给接收方； 接 收方调用卡通渲染模型， 根据所收到的矢量数据和所述卡通渲染模型渲染出 对应的卡通视频模拟形象（本说明书中简称为卡通形象） ， 并最终显示所述 卡通视频模拟形象的视频。
对应的， 本发明还公开了一种视频模拟形象的通信装置， 用于执行本发 明的所述方法。 图 4为本发明所述视频模拟形象的通信装置的一种组成示意 图， 参见图 4, 该装置是一种安装在用户终端上的视频聊天工具， 通信双方 可以通过该视频聊天工具执行本发明的方法， 实现本发明所述的卡通视频模 拟形象的视频通信， 该装置具体包括：
摄像数据采集模块 401 , 用于采集本地的摄像数据；
识别转换模块 402, 用于通过图像识别算法将所采集的摄像数据转换为 矢量数据；
发送模块 403 , 用于将矢量数据发送给接收方；
接收模块 404 , 用于接收来自发送方的数据；
对方视频模拟模块 405 , 用于调用卡通渲染模型， 根据所收到的矢量数 据和所述卡通渲染模型渲染出对应的卡通视频模拟形象， 将所述渲染出的卡 通视频模拟形象输出显示。
在本说明书中， 如未特殊说明， 所述发送方具体是指发送方的视频模拟 形象通信装置， 所述接收方具体是指接收方的视频模拟形象通信装置。
本发明所述的方法需要预先设置卡通渲染模型数据， 接收方最终渲染出 的卡通形象所需要的基础数据都设置在该卡通渲染模型数据中， 该卡通渲染 模型数据中主要包括的数据有： 基础形象模型数据以及进一步的卡通效果数 据等。 所述基 形象模型数据例如包括： 卡通人物形象的各种脸型的模型数 据、 各种头型的模型数据、 各种五官的模型数据、 各种衣服的模型数据、 以 及所佩戴的眼镜饰品等模型数据； 每种基础形象模型数据都具有调用标识信 息， 在渲染时， 只要指定了某个模型数据的调用标识， 则根据该模型数据渲 染出对应的形象来， 所述指定的调用标识信息由发送方通过图像识别算法识 别得到， 例如是什么脸型 （脸型标识） 、 五官的特征（五官标识） 、 什么发 型（发型标识）、 穿什么衣服（衣服标识）、 是否带眼镜以及眼镜的式样（眼 镜标识）等等。 所述卡通效果数据可以备选， 用于进一步增强和丰富所述卡 通形象的表现效果， 例如可以包括各种表情和动作的卡通效果数据， 如开心 的卡通效果数据、 脸红的卡通效果数据、 出汗的卡通效果数据等等， 也可以 是一段预定义的动画等等。 每种卡通效果都对应设置有调用指令数据， 该调 用指令数据由发送方发出。
所述卡通渲染模型数据可以预先存储在接收方本地， 或者也可以预先将 所述卡通渲染模型数据存储在指定服务器， 并将存储地址告知接收方， 当接 收方收到所述矢量数据之后， 可以从该指定服务器下载所述卡通渲染模型数 据。
如图 3所示， 发送方采集摄像数据主要是通过与发送方终端的摄像采集 装置如摄像头连接通信， 采集摄像头所拍摄的摄像数据。 在视频聊天过程中， 发送方所拍摄的摄像数据通常为发送方用户的人物形象视频， 例如用户的基 本形象（包括头型、 脸型、 衣服等） 、 表情、 头部、 以及肢体动作等。 然后 通过图像识别算法对所采集的摄像数据进行识别处理， 得到矢量数据。 所述 图像识别算法可以采用现有技术， 主要处理过程包括： 1 )图像预处理， 例如 灰度归一处理； 2 )人脸检测和定位处理； 3 )形象特征提取处理； 4 )人脸识 别处理。 经过图像识别算法的处理， 可以得到摄像数据的矢量数据， 矢量数 据相对于位图数据来讲， 其数据量大大降低， 可以减少对网络带宽的占用。
所述矢量数据中包括基础形象数据和形象变化数据。 所述基础形象数据 用于指定所述卡通渲染模型中的具体的基础形象模型， 例如是什么脸型 （脸 型标识） 、 五官的特征（五官标识） 、 什么发型 （发型标识） 、 穿什么衣服 (衣服标识） 、 是否带眼镜以及眼镜的式样（眼镜标识）等等， 这些基础形 象数据就是对卡通渲染模型中的具体的基础形象模型数据的调用标识， 接收 方可以根据这些基础形象数据的指示， 读取卡通渲染模型中对应的基础形象 模型数据， 从而渲染出卡通视频模拟形象的基础形象。 具体的渲染过程可以 利用现有的动画渲染技术， 其中主要过程包括： 1 )读取载入模型数据； 2 ) 根据所述基础形象数据和载入的模型数据， 利用渲染模型公式计算渲染对象 的具体形象信息； 3 )绘制出具体的卡通形象。 所述形象变化数据用于指示当前摄像视频中人物形象的动态变化信息， 例如眼睛闭合、 张开的程度（例如可以用 1〜3个等级来表示） ， 嘴巴闭合、 张开的程度（例如可以用 1〜10个等级来表示）， 头部摇摆的幅度（利用可以 用 -10〜10个等级来表示） 。 接收方可以根据这些形象变化数据修改所渲染出 的所述基 形象， 从而得到动态的卡通视频模拟形象。
与现有技术相比， 本发明在网络中传输的是数据量非常小的矢量数据， 而非位图数据， 因此可以减少网络传输的数据量， 节省网络带宽资源。 另夕卜， 现有技术方案传输的位图数据的视频质量（如分辨率等）是固定的， 一旦发 送方渲染出的视频质量不高， 即使接收方的硬件运算能力非常强， 也无法显 示出高质量的视频效果。 但是本发明由于传输给接收方的是矢量数据， 如果 接收方的硬件运算能力强， 可以渲染比发送方更好的视频效果， 比如更高的 分辨率， 更逼真的动画细节等。
图 5为本发明所述方法的又一种具体实施例的流程示意图， 参见图 5 , 在该实施例中， 所述发送方的视频模拟形象通信装置还可以进一步与麦克风 等音频采集装置连接， 以采集音频数据发送给接收方， 接收方将收到的音频 数据与所述渲染的卡通形象同步播放。 所述音频数据的传输通信通道可以为 独立的通信通道， 也可以采用与所述矢量数据相同的通信通道。
与之对应的， 如图 7所示， 本发明所述视频模拟形象的通信装置的一种 实施例中， 该装置进一步包括： 音频采集模块 406 , 用于采集音频数据， 由 所述发送模块 403进一步将所述音频数据发送给接收方； 所述对方视频模拟 模块 405进一步用于： 将收到的来自接收方的音频数据与所述渲染的卡通形 象同步播放。
在图 5所述的实施例中， 发送方还可以发出特殊卡通效果的指令， 作为 所述矢量数据的一部分发送给接收方。 这些指令对应于上述卡通渲染模型中 的卡通效果数据， 一种具体的指令对应一种具体的卡通效果， 例如包括各种 心情的卡通效果指令， 如开心的卡通效果指令、 脸红的卡通效果指令、 出汗 的卡通效果指令、 播放预定义动画的指令等等。
所述卡通效果指令的触发方式有多种， 例如主要包括以下两种： 触发方式一、 发送方提供指定卡通效果的触发机构， 例如在界面上显示 触发按钮， 例如分别代表触发开心效果、 脸红效果、 出汗效果等等， 在所述 触发机构被触发后 （如所述按钮被点击） ， 将对应卡通效果的指令数据发送 给接收方； 接收方根据收到的指令数据从卡通渲染模型中读取出对应的卡通 效果数据， 在所述卡通视频模拟形象画面上渲染该卡通效果。 例如如果触发 了脸红效果的指令， 则渲染出脸红的卡通效果。
触发方式二、 发送方利用传感器检测感应信号， 例如目前许多手机都具 有各种传感器， 可以检测到的各种感应信号， 比如手机的摇晃、 所在的位置、 所对准的方向等。 发送方的视频模拟形象通信装置采集这些传感器的感应信 号， 并将所述感应信号数据作为卡通效果的具体指令发送给接收方。 所述卡 通渲染模型中存储有具体感应信号和具体卡通效果的对应关系， 接收方根据 收到的感应信号数据从卡通渲染模型中读取出对应的卡通效果数据， 在所述 卡通视频模拟形象画面上渲染出对应的卡通效果。
与之对应的， 如图 7所示， 本发明所述视频模拟形象的通信装置的一种 实施例中， 该装置 400进一步包括指定效果触发模块 407, 用于提供指定卡 通效果的触发机构， 在所述触发机构被触发后， 将对应卡通效果的指令数据 通过所述发送模块 403发送给接收方； 所述对方视频模拟模块 405进一步用 于： 根据收到的指令数据从卡通渲染模型中读取出对应的卡通效果数据， 在 所述卡通视频模拟形象画面上渲染该卡通效果。
该装置 400还可以进一步包括传感检测模块 408, 用于利用传感器检测 感应信号， 并将所述感应信号数据通过所述发送模块 403发送给接收方； 所 述对方视频模拟模块 405进一步用于： 根据收到的感应信号数据从卡通渲染 模型中读取出对应的卡通效果数据， 在所述卡通视频模拟形象画面上渲染出 对应的卡通效果。
对于数据的传输方式， 为了提高传输效率， 本发明的发送方在向接收方 发送所述数据之前， 还可以进一步对所发送的数据进行编码、 压缩处理， 比 如使用哈夫曼编码或 Gzip数据压缩方法， 以便使在网络上传输的数据较小； 接收方在收到来自发送方的数据后， 进一步进行解压、 解码处理。 在具体传 输时， 针对不同的使用场景， 传输方式可以是多样化的， 比如一对一的 （双 方聊天） ， 或是一对多的 （视频会议、 集体游戏） 。 根据通讯形式的不同， 这些数据的传输可以是实时的， 也可以是非实时的， 可以由服务器暂时保存， 或经过服务器中转。 因为这些数据的数据量很小， 可以在网络上较快的进行 传输。
对应的， 本发明所述视频模拟形象的通信装置的一种实施例中， 所述发 送模块中进一步包括编码模块， 用于对要发送的数据进行编码、 压缩处理， 之后再发送； 所述接收模块中进一步包括解码模块， 用于对接收的数据进行 解码、 解压处理， 再给所述对方视频模拟模块处理。
在进行卡通视频模拟形象的通信互动的过程中， 视频通信的双方不但希 望对方能看到自己的视频卡通形象， 而且希望在本地也可以看到自己的视频 卡通形象。 为了达到这一目的， 如图 6所示， 在本发明的一种实施例中， 所 述方法还进一步包括： 发送方将所述发送给接收方的数据复制在本地， 并调 用与接收方的卡通渲染模型相同的卡通渲染模型， 根据所复制的数据和所述 卡通渲染模型渲染出对应的卡通视频模拟形象， 具体包括： 根据所述矢量数 据渲染出与接收方所渲染出的一致的卡通形象， 根据所述触发机构触发的指 令数据和 /或传感器检测的感应信号渲染出对应的卡通效果， 以及才艮据本地麦 克风所采集的音频数据， 与本地渲染的卡通形象同步播放。
为了确保在发送方本地显示的发送方用户的视频卡通形象与接收方看到 的发送方用户的视频卡通形象的效果相同， 需要接收方和发送方调用相同的 卡通渲染模型数据， 或者调用相同的卡通渲染模型数据和用于视频渲染的本 地硬件配置信息。 所述硬件配置信息例如可以是屏幕分辨率、 刷新频率等信 息。 保证了双方具有相同的卡通渲染模型数据后， 就可以渲染出相同的卡通 视频形象效果， 保证了双方的所述硬件配置信息的一致， 则可以使渲染出的 卡通视频形象的显示效果更加一致。
如图 6所示， 为了使接收方和发送方调用相同的卡通渲染模型数据或者 相同的卡通渲染模型数据和本地硬件配置信息， 需要对所述卡通渲染模型和 所述硬件配置信息进行同步， 具体的同步方式可以有：
第一种同步方式， 在双方中的至少一方设置有卡通渲染模型， 在接收方 与发送方为实时通信的情况下， 双方通过约定的通信协议同步传输卡通渲染 模型数据， 使双方具有相同的卡通渲染模型； 双方在需调用卡通渲染模型时， 直接调用本地的卡通渲染模型。 在通过所述通信协议同步传输卡通渲染模型 数据时， 还可以进一步同步传输所述用于视频渲染的本地硬件配置信息， 双 方根据预设的策略将所述硬件配置信息调正为一致。 第二种同步方式， 只在发送方设置卡通渲染模型， 在接收方与发送方为 非实时通信的情况下， 发送方在发送所述矢量数据的同时附带发送所述卡通 渲染模型数据到指定服务器进行存储， 并将存储地址告知接收方， 接收方在 收到所述矢量数据后， 从所述存储地址下载所述卡通渲染模型数据到本地； 双方在需调用卡通渲染模型时， 直接调用本地的卡通渲染模型。 在发送方发 送卡通渲染模型数据时， 还可以进一步发送所述用于视频渲染的本地硬件配 置信息给接收方， 接收方在收到后， 将本地的所述硬件配置信息调整为与发 送方的所述硬件配置信息一致。
对应的， 如图 7所示， 所述视频模拟形象的通信装置还可以进一步包括： 复制模块 409, 用于将发送给接收方的数据复制在本地；
本方视频模拟模块 410 , 用于调用与对方的卡通渲染模型相同的卡通渲 染模型， 根据所复制的数据和所述卡通渲染模型渲染出对应的卡通视频模拟 形象。
所述视频模拟形象的通信装置还可以进一步包括模型同步模块 41 1 , 用 于同步通信双方的卡通渲染模型数据， 或同步通信双方的卡通渲染模型数据 和用于视频渲染的硬件配置信息。 具体可以采用上述的同步方式。
本发明实施例还提供一种视频模拟形象的通信设备， 其包括： 存储器， 用于存储指令； 以及处理器， 与所述存储器耦合。 该处理器被配置为执行存 储在所述存储器中的指令， 且被配置为用于执行上述视频模拟形象的通信方 法的各种实施方式。 此外， 本发明实施例又提供一种机器可读介质， 其上存 储有指令集合， 当该指令集合被执行时， 使得该机器可执行上述视频模拟形 象的通信方法的各种实施方式。
以上所述仅为本发明的较佳实施例而已， 并不用以限制本发明， 凡在本 发明的精神和原则之内， 所做的任何修改、 等同替换、 改进等， 均应包含在 本发明保护的范围之内。

Claims

权 利 要 求 书
1、 一种视频模拟形象的通信方法， 其特征在于， 包括：
发送方采集摄像数据， 通过图像识别算法将所采集的摄像数据转换为矢 量数据， 将矢量数据发送给接收方；
接收方调用卡通渲染模型， 根据所收到的矢量数据和所述卡通渲染模型 渲染出对应的卡通视频模拟形象。
2、 根据权利要求 1所述的方法， 其特征在于， 该方法进一步包括： 发送 方采集音频数据发送给接收方， 接收方将收到的音频数据与所述渲染的卡通 视频模拟形象同步播放。
3、 根据权利要求 1所述的方法， 其特征在于， 该方法进一步包括： 发送 方提供指定卡通效果的触发机构， 在所述触发机构被触发后， 将对应卡通效 果的指令数据发送给接收方； 接收方根据收到的指令数据从卡通渲染模型中 读取出对应的卡通效果数据， 在所述卡通视频模拟形象画面上渲染该卡通效 果。
4、 根据权利要求 1所述的方法， 其特征在于， 该方法进一步包括： 发送 方利用传感器检测感应信号， 并将所述感应信号数据发送给接收方， 接收方 根据该感应信号数据从卡通渲染模型中读取出对应的卡通效果数据， 在所述 卡通视频模拟形象画面上渲染出对应的卡通效果。
5、 根据权利要求 1至 4任一项所述的方法， 其特征在于， 该方法进一步 包括： 发送方将所述发送给接收方的数据复制在本地， 并调用与接收方的卡 通渲染模型相同的卡通渲染模型， 根据所复制的数据和所述卡通渲染模型渲 染出对应的卡通视频模拟形象。
6、 根据权利要求 5所述的方法， 其特征在于， 所述发送方和接收方调用 卡通渲染模型的方法为：
在双方中的至少一方设置有卡通渲染模型， 在接收方与发送方为实时通 信的情况下， 双方通过约定的通信协议同步传输卡通渲染模型数据， 使双方 具有相同的卡通渲染模型； 双方在需调用卡通渲染模型时， 直接调用本地的 卡通渲染模型；
或者， 只在发送方设置卡通渲染模型， 在接收方与发送方为非实时通信 的情况下， 发送方在发送所述矢量数据的同时附带发送所述卡通渲染模型数 据到指定服务器进行存储， 并将存储地址告知接收方， 接收方在收到所述矢 量数据后， 从所述存储地址下载所述卡通渲染模型数据到本地； 双方在需调 用卡通渲染模型时， 直接调用本地的卡通渲染模型。
7、 根据权利要求 6所述的方法， 其特征在于， 所述发送方或接收方在发 送卡通渲染模型数据的同时，进一步发送用于视频渲染的本地硬件配置信息， 对方收到所述硬件配置信息后， 进一步利用该硬件配置信息调整对应的视频 显示效果。
8、 根据权利要求 5所述的方法， 其特征在于，
所述矢量数据中包括基础形象数据和形象变化数据；
所述根据所收到的矢量数据和所述卡通渲染模型渲染出对应的卡通视频 模拟形象的具体方法为：
根据所述基 形象数据读取卡通渲染模型中的基 形象模型数据， 渲染 出卡通视频模拟形象的基石出形象；
根据所述形象变化数据修改所渲染出的所述基础形象， 得到动态的卡通 视频模拟形象。
9、 根据权利要求 1至 4任一项所述的方法， 其特征在于，
发送方在向接收方发送所述数据之前，进一步对所发送的数据进行编码、 压缩处理；
接收方在收到来自发送方的数据后， 进一步进行解压、 解码处理。
10、 一种视频模拟形象的通信装置， 其特征在于， 包括：
摄像数据采集模块， 用于采集本地的摄像数据；
识别转换模块， 用于通过图像识别算法将所采集的摄像数据转换为矢量 数据；
发送模块， 用于将矢量数据发送给接收方；
接收模块， 用于接收来自发送方的数据；
对方视频模拟模块， 用于调用卡通渲染模型， 根据所收到的矢量数据和 所述卡通渲染模型渲染出对应的卡通视频模拟形象。
1 1、 根据权利要求 10所述的装置， 其特征在于， 该装置进一步包括： 音频采集模块， 用于采集音频数据， 由所述发送模块进一步将所述音频 数据发送给接收方； 所述对方视频模拟模块进一步用于： 将收到的来自接收方的音频数据与 所述渲染的卡通视频模拟形象同步播放。
12、 根据权利要求 10所述的装置， 其特征在于， 该装置进一步包括： 指定效果触发模块， 用于提供指定卡通效果的触发机构， 在所述触发机 构被触发后， 将对应卡通效果的指令数据通过所述发送模块发送给接收方； 所述对方视频模拟模块进一步用于： 根据收到的指令数据从卡通渲染模 型中读取出对应的卡通效果数据， 在所述卡通视频模拟形象画面上渲染该卡 通效果。
13、 根据权利要求 10所述的装置， 其特征在于， 该装置进一步包括： 传感检测模块， 用于利用传感器检测感应信号， 并将所述感应信号数据 通过所述发送模块发送给接收方；
所述对方视频模拟模块进一步用于： 根据收到的感应信号数据从卡通渲 染模型中读取出对应的卡通效果数据， 在所述卡通视频模拟形象画面上渲染 出对应的卡通效果。
14、 根据权利要求 10至 13任一项所述的装置， 其特征在于， 该装置进 一步包括：
复制模块， 用于将发送给接收方的数据复制在本地；
本方视频模拟模块， 用于调用与对方的卡通渲染模型相同的卡通渲染模 型 ,根据所复制的数据和所述卡通渲染模型渲染出对应的卡通视频模拟形象。
15、 根据权利要求 14所述的装置， 其特征在于， 该装置进一步包括： 模型同步模块， 用于同步通信双方的卡通渲染模型数据， 或同步通信双 方的卡通渲染模型数据和用于视频渲染的硬件配置信息。
16、 根据权利要求 10至 13任一项所述的装置， 其特征在于， 所述发送 模块中进一步包括编码模块， 用于对要发送的数据进行编码、 压缩处理， 之 后再发送； 所述接收模块中进一步包括解码模块， 用于对接收的数据进行解 码、 解压处理， 之后再给所述对方视频模拟模块处理。
17、 一种机器可读介质， 其上存储有指令集合， 当该指令集合被执行时， 使得该机器可执行权利要求 1至 9中任意一个权利要求所述的方法。
PCT/CN2013/072246 2012-03-29 2013-03-06 一种视频模拟形象的通信方法和装置 WO2013143380A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014526383A JP5870469B2 (ja) 2012-03-29 2013-03-06 ビデオシミュレーション画像のための通信方法及びデバイス
US14/165,117 US9210372B2 (en) 2012-03-29 2014-01-27 Communication method and device for video simulation image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210087665.1A CN103369289B (zh) 2012-03-29 2012-03-29 一种视频模拟形象的通信方法和装置
CN201210087665.1 2012-03-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/165,117 Continuation US9210372B2 (en) 2012-03-29 2014-01-27 Communication method and device for video simulation image

Publications (1)

Publication Number Publication Date
WO2013143380A1 true WO2013143380A1 (zh) 2013-10-03

Family

ID=49258186

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/072246 WO2013143380A1 (zh) 2012-03-29 2013-03-06 一种视频模拟形象的通信方法和装置

Country Status (4)

Country Link
US (1) US9210372B2 (zh)
JP (1) JP5870469B2 (zh)
CN (1) CN103369289B (zh)
WO (1) WO2013143380A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103647922A (zh) * 2013-12-20 2014-03-19 百度在线网络技术（北京）有限公司 虚拟视频通话方法和终端
CN105631914A (zh) * 2014-10-31 2016-06-01 鸿富锦精密工业(武汉)有限公司 漫画创作系统及方法
CN106303690A (zh) * 2015-05-27 2017-01-04 腾讯科技（深圳）有限公司 一种视频处理方法及装置
CN105263040A (zh) * 2015-10-08 2016-01-20 安徽理工大学 一种节省手机流量观看球赛直播的方法
CN105407313A (zh) * 2015-10-28 2016-03-16 掌赢信息科技（上海）有限公司 一种视频通话方法、设备和系统
WO2017137948A1 (en) * 2016-02-10 2017-08-17 Vats Nitin Producing realistic body movement using body images
CN107465885A (zh) * 2016-06-06 2017-12-12 中兴通讯股份有限公司 一种实现视频通讯的方法和装置
CN106209878A (zh) * 2016-07-20 2016-12-07 北京邮电大学 基于WebRTC的多媒体数据传输方法及装置
US10497163B1 (en) * 2017-05-16 2019-12-03 Electronic Arts Inc. Computer architecture for animation of a character in a simulation based on muscle activation data
CN107203953B (zh) * 2017-07-14 2021-05-28 深圳极速汉语网络教育有限公司 一种基于互联网、表情识别和语音识别的教学系统及其实现方法
CN107911644B (zh) * 2017-12-04 2020-05-08 吕庆祥 基于虚拟人脸表情进行视频通话的方法及装置
KR20210056336A (ko) * 2018-09-13 2021-05-18 소니 세미컨덕터 솔루션즈 가부시키가이샤 정보 처리 장치 및 정보 처리 방법, 촬상 장치, 이동체 장치, 그리고 컴퓨터 프로그램
CN109302598B (zh) * 2018-09-30 2021-08-31 Oppo广东移动通信有限公司 一种数据处理方法、终端、服务器和计算机存储介质
CN109831638B (zh) * 2019-01-23 2021-01-08 广州视源电子科技股份有限公司 视频图像传输方法、装置、交互智能平板和存储介质
CN111586259B (zh) * 2020-04-03 2022-09-23 北京仿真中心 图像仿真方法、图像计算机以及目标模拟器
CN112165598A (zh) * 2020-09-28 2021-01-01 北京字节跳动网络技术有限公司 数据处理的方法、装置、终端和存储介质
CN114373047B (zh) * 2021-12-29 2023-05-12 达闼机器人股份有限公司 一种基于数字孪生监控物理世界的方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1606347A (zh) * 2004-11-15 2005-04-13 北京中星微电子有限公司 一种视频通信的方法
CN101051392A (zh) * 2006-04-04 2007-10-10 罗技欧洲公司 实时的自动面部特征替换
CN101535991A (zh) * 2006-10-16 2009-09-16 惠普开发有限公司 流式视频通信
CN101640792A (zh) * 2008-08-01 2010-02-03 中国移动通信集团公司 卡通视频的压缩编解码方法、设备及系统
CN102364965A (zh) * 2011-10-05 2012-02-29 辜进荣 手机通信信息精化显示方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63191476A (ja) * 1987-02-04 1988-08-08 Nippon Telegr & Teleph Corp <Ntt> 知能画像通信方式
JPH08307841A (ja) * 1995-05-10 1996-11-22 Hitachi Ltd 擬似動画ｔｖ電話装置
JPH09138767A (ja) * 1995-11-14 1997-05-27 Fujitsu Ten Ltd 感情表現の通信装置
JP2002325238A (ja) * 2001-04-26 2002-11-08 Seiko Instruments Inc 簡易動画送受信システム及び動画送受信方法
JP4182656B2 (ja) * 2001-10-01 2008-11-19 コニカミノルタホールディングス株式会社 端末装置、送信方法、およびコンピュータプログラム
JP2003248841A (ja) * 2001-12-20 2003-09-05 Matsushita Electric Ind Co Ltd バーチャルテレビ通話装置
JP4725936B1 (ja) * 2011-02-01 2011-07-13 有限会社Ｂｏｎｄ 入力支援装置、入力支援方法及びプログラム
US9613450B2 (en) * 2011-05-03 2017-04-04 Microsoft Technology Licensing, Llc Photo-realistic synthesis of three dimensional animation with facial features synchronized with speech
US9456244B2 (en) * 2012-06-25 2016-09-27 Intel Corporation Facilitation of concurrent consumption of media content by multiple users using superimposed animation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1606347A (zh) * 2004-11-15 2005-04-13 北京中星微电子有限公司 一种视频通信的方法
CN101051392A (zh) * 2006-04-04 2007-10-10 罗技欧洲公司 实时的自动面部特征替换
CN101535991A (zh) * 2006-10-16 2009-09-16 惠普开发有限公司 流式视频通信
CN101640792A (zh) * 2008-08-01 2010-02-03 中国移动通信集团公司 卡通视频的压缩编解码方法、设备及系统
CN102364965A (zh) * 2011-10-05 2012-02-29 辜进荣 手机通信信息精化显示方法

Also Published As

Publication number Publication date
US9210372B2 (en) 2015-12-08
JP5870469B2 (ja) 2016-03-01
JP2014529233A (ja) 2014-10-30
CN103369289B (zh) 2016-05-04
CN103369289A (zh) 2013-10-23
US20140139619A1 (en) 2014-05-22

Similar Documents

Publication Publication Date Title
WO2013143380A1 (zh) 一种视频模拟形象的通信方法和装置
CN113422903B (zh) 拍摄模式切换方法、设备、存储介质
WO2015090147A1 (zh) 虚拟视频通话方法和终端
CN110430441B (zh) 一种云手机视频采集方法、系统、装置及存储介质
EP1480425B1 (en) Portable terminal and program for generating an avatar based on voice analysis
JP2016129416A (ja) 引き続くアプリケーションを容易にするためにビデオ画像パラメータを動的に適合させるための方法
WO2022022019A1 (zh) 投屏数据处理方法和装置
CN103517072B (zh) 视频通信方法和设备
AU2012226283A1 (en) Render-orientation information in video bitstream
JP2004201191A (ja) 画像処理送信システム、携帯電話、画像処理送信方法、および、画像処理送信プログラム
CN112584049A (zh) 远程交互方法及装置、电子设备、存储介质
CN112949547A (zh) 数据传输和显示方法、装置、系统、设备以及存储介质
WO2015117373A1 (zh) 一种语音消息可视化服务的实现方法及装置
TW201105136A (en) Video conferencing signal processing system
CN111372113B (zh) 基于数字人表情、嘴型及声音同步的用户跨平台交流方法
CN114938408B (zh) 一种云手机的数据传输方法、系统、设备及介质
CN103248830A (zh) 面向移动智能终端增强现实的实时视频合并方法
CN113438442A (zh) 一种会议资料的共享方法及装置
JP2002158981A (ja) 画像情報付電話帳機能を有する電話機
JP2020115299A (ja) 仮想空間情報処理装置、方法、プログラム
CN111294543A (zh) 一种针对视频监控拍照防护的系统和方法
CN112203126A (zh) 投屏方法、投屏装置及存储介质
JPH11341456A (ja) 家庭用マルチメディア通信システム
WO2018232668A1 (zh) 一种通讯账号登录方法和装置
CN114640882B (zh) 视频处理方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13767609

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014526383

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 20/02/2015)

122 Ep: pct application non-entry in european phase

Ref document number: 13767609

Country of ref document: EP

Kind code of ref document: A1