WO2014117660A1 - 视频短信的发送、接收方法及其装置和手持电子设备 - Google Patents

视频短信的发送、接收方法及其装置和手持电子设备 Download PDF

Info

Publication number
WO2014117660A1
WO2014117660A1 PCT/CN2014/070922 CN2014070922W WO2014117660A1 WO 2014117660 A1 WO2014117660 A1 WO 2014117660A1 CN 2014070922 W CN2014070922 W CN 2014070922W WO 2014117660 A1 WO2014117660 A1 WO 2014117660A1
Authority
WO
WIPO (PCT)
Prior art keywords
graffiti
video
audio
file
layer
Prior art date
Application number
PCT/CN2014/070922
Other languages
English (en)
French (fr)
Inventor
亢治
刘荣亮
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to EP14745985.3A priority Critical patent/EP2940940B1/en
Priority to EP18214996.3A priority patent/EP3525403A1/en
Publication of WO2014117660A1 publication Critical patent/WO2014117660A1/zh
Priority to US14/811,308 priority patent/US9479728B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/58—Message adaptation for wireless communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • H04W4/14—Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]

Definitions

  • the present invention claims to be submitted to the Chinese Patent Office on January 29, 2013, and the application number is 201310033292.4, and the invention name is "sending and receiving method of video short message and its device and handheld The priority of the Chinese Patent Application for Electronic Devices, the entire contents of which is incorporated herein by reference.
  • the present invention relates to communication technologies, and in particular, to a method for transmitting and receiving a video short message, a device thereof, and a handheld electronic device.
  • FIG. 1 is a schematic diagram of an implementation scheme of a video technology in the prior art, and a relatively popular one-to-one video short message implementation scheme.
  • the mobile phone A collects audio and video through two video and video collection devices, such as a camera and a microphone on the mobile phone, and compresses after the collection to reduce the transmitted traffic, and then sends the data to the public network.
  • the signaling and data server the data server first finds the destination of the video message as the B party, and finds that the B party is online, and then sends the video message to the B party, and the B party first decompresses after receiving the video message. Then decode and play the received video message.
  • Embodiments of the present invention provide a method and a device for transmitting and receiving a video short message and a handheld electronic device, so as to highlight the key points in the video short message and optimize the display effect of the video short message.
  • an embodiment of the present invention provides a method for sending a frequency short message, including: Obtaining audio and video content, and synchronously acquiring graffiti input corresponding to the audio and video content, and synthesizing the audio and video content and the graffiti input into a graffiti video file;
  • the graffiti video file is sent as a video message to the short message recipient.
  • acquiring the audio and video content, and acquiring the graffiti input corresponding to the audio and video content, and synthesizing the audio and video content and the graffiti input into the graffiti video file includes:
  • the audio and video files and the graffiti file are separately stored in the graffiti video file, and the respective starting positions of the audio and video files and the graffiti file are recorded.
  • the audio and video content is acquired to form an audio and video file
  • the graffiti input corresponding to the audio and video content is synchronously acquired to form a graffiti file.
  • the attribute information of the graffiti picture of the current frame at least includes: a graffiti picture size of the current frame, and a time point of the current frame And encoding format and current frame duration.
  • the audio and video content is acquired to form an audio and video file
  • the graffiti input corresponding to the audio and video content is synchronously acquired to form a graffiti file.
  • Attribute information Attribute information
  • acquiring audio and video content, and acquiring the pair synchronously Inputting the graffiti content of the audio and video content, and synthesizing the audio and video content and the graffiti input into a graffiti video file includes:
  • the various types of the graffiti input include at least: a touch track input and an additional picture.
  • the attribute information of the touch track input includes: touch track coordinates, line width, color, time point, and duration.
  • an embodiment of the present invention provides a method for receiving a video short message, including:
  • the audio and video content and the graffiti input are parsed from the video message, and the graffiti input is superimposed and played on the audio and video content.
  • the obtaining the audio and video content and the graffiti input from the video short message, and superimposing the graffiti input on the audio and video content comprises: from the video The initial positions of the audio and video files and the graffiti files marked in the graffiti video file of the short message are respectively parsed to obtain audio and video files and graffiti files;
  • the audio and video are parsed from the video short message.
  • Frequency content and graffiti input, and superimposing the graffiti input on the audio and video content comprises: parsing and acquiring sounds from respective starting positions of the audio and video files and the graffiti files marked in the graffiti video file of the video short message Video files and graffiti files;
  • the graffiti input in the graffiti layer is synchronized with the audio layer and the video layer for frame time;
  • the various types of the graffiti input include at least: a touch track input and an additional picture.
  • an embodiment of the present invention provides a device for sending a frequency short message, including:
  • Obtaining a synthesizing module configured to acquire audio and video content, and synchronously acquire graffiti input corresponding to the audio and video content, and synthesize the audio and video content and the graffiti input into a graffiti video file;
  • the sending module is configured to send the graffiti video file as a video short message to the short message receiving party.
  • the acquiring the synthesis module includes:
  • a file obtaining unit configured to acquire audio and video content to form an audio and video file, and synchronously obtain graffiti input corresponding to the audio and video content to form a graffiti file;
  • a file synthesizing unit configured to separately store the audio and video files and the graffiti files in the graffiti video file, and record respective starting positions of the audio and video files and the graffiti files.
  • the file obtaining unit includes:
  • An audio and video file acquisition subunit configured to acquire audio and video content of the current frame, and record to the audio and video file
  • the first graffiti file obtaining sub-unit is configured to collect at least one type of graffiti input in a transparent background layer while acquiring the current frame audio and video content, and synthesize various graffiti inputs into a graffiti picture of the current frame, Recording the graffiti image of the current frame to the graffiti file, and recording the attribute information of the graffiti picture of the current frame in the graffiti information maintenance table;
  • the attribute information of the graffiti picture of the current frame at least includes: a graffiti picture size of the current frame, and a time point of the current frame And encoding format and current frame duration.
  • the file acquiring unit includes:
  • An audio and video file acquisition subunit configured to acquire audio and video content of the current frame, and record to the audio and video file
  • the second graffiti file obtaining sub-unit is configured to collect at least one type of graffiti input in the transparent background layer while acquiring the current frame audio and video content, and record each graffiti input into the graffiti file separately, and in the graffiti information
  • the attribute information of each type of graffiti input is recorded in the maintenance table
  • the operation of repeatedly performing the audio/video file obtaining subunit and the second graffiti file acquiring subunit processes each frame until it is determined that the recording of the audio and video content ends.
  • the acquiring the synthesis module includes:
  • the audio and video buffer unit is configured to acquire the audio and video content of the current frame and store it in the audio and video frame buffer.
  • the graffiti buffer unit is configured to collect at least one category in the transparent background layer while acquiring the current frame audio and video content.
  • the graffiti input stores the various graffiti inputs into various graffiti frame buffers;
  • the cache synthesizing unit is configured to synthesize the audio and video frame buffers of the current frame and the data of various graffiti frame buffers, and store them in the synthesized frame buffer. ;
  • a buffer encoding unit configured to encode data in the synthesized frame buffer to form an audio frequency of the current frame, and record the data to the graffiti video file;
  • the operations of repeatedly performing the audio and video buffer unit, the graffiti buffer unit, the buffer synthesizing unit, and the buffer encoding unit process each frame until it is determined that the recording of the audio and video content ends.
  • the various types of the graffiti input include at least: a touch track input and an additional picture.
  • the attribute information of the touch track input includes: touch track coordinates, line width, color, time point, and duration.
  • an embodiment of the present invention provides a receiving device for a frequency short message, including:
  • a receiving module configured to receive a video message sent by a sender of the short message
  • a parsing play module configured to parse and obtain audio and video content and graffiti input from the video short message, And superimposing the graffiti input on the audio and video content for playing.
  • the parsing the playing module includes:
  • a file parsing unit configured to parse and obtain an audio and video file and a graffiti file from respective starting positions of the audio and video files and the graffiti files marked in the graffiti video file of the video short message;
  • An audio and video distribution unit configured to offload an audio layer and a video layer from the audio and video file
  • a graffiti shunting unit configured to obtain a graffiti layer from the graffiti file
  • a first time synchronization unit configured to maintain, according to the graffiti information in the graffiti file, attribute information of the graffiti image recorded by the table, and perform frame time synchronization between the graffiti layer and the audio layer and the video layer;
  • a first playing unit configured to play the audio layer through an audio channel, play the video layer through a second layer of the video channel, and play the graffiti layer through a first layer of the video channel, where the first layer is superimposed Above the second layer.
  • the parsing the playing module includes:
  • a file parsing unit configured to parse and obtain an audio and video file and a graffiti file from respective starting positions of the audio and video files and the graffiti files marked in the graffiti video file of the video short message;
  • An audio and video distribution unit configured to offload an audio layer and a video layer from the audio and video file
  • a graffiti shunting unit configured to obtain a graffiti layer from the graffiti file
  • a second time synchronization unit configured to perform, according to the graffiti information in the graffiti file, the attribute information of each type of graffiti input recorded in the table, and synchronize the various graffiti inputs in the graffiti layer with the audio layer and the video layer;
  • a second playing unit configured to play the audio layer through the audio channel, play the video layer through the second layer of the video channel, and input various graffiti inputs in the graffiti layer through the first layer of the video channel respectively.
  • the first layer is superimposed on the second layer.
  • each of the graffiti inputs comprises at least: a touch track input and an additional picture.
  • the embodiment of the present invention provides a handheld electronic device, including a memory, and further includes: a sending device for sending a short message according to any embodiment of the present invention
  • a receiving device for a video short message provided by any embodiment of the present invention.
  • a touch screen for receiving input operations of a user
  • Audio channel for playing audio content
  • Video channel for playing video content and graffiti input.
  • a method for transmitting and receiving a video short message, a device thereof, and a handheld electronic device by highlighting a highlight in a video by using a graffiti during a video message shooting process, highlighting a key point in the video short message, and optimizing the video short message. Display of results.
  • FIG. 1 is a schematic diagram of an implementation scheme of a video short message in the prior art
  • FIG. 2 is a flowchart of a method for sending a video short message according to Embodiment 1 of the present invention
  • FIG. 3 is a flowchart of a method for sending a video short message according to Embodiment 2 of the present invention.
  • FIG. 4 is a flowchart of a method for sending a video short message according to Embodiment 3 of the present invention.
  • FIG. 5 is a flowchart of a method for sending a video short message according to Embodiment 4 of the present invention.
  • FIG. 6 is a flowchart of a method for receiving a video short message according to Embodiment 5 of the present invention.
  • FIG. 7 is a flowchart of a method for receiving a video short message according to Embodiment 6 of the present invention.
  • FIG. 8 is a flowchart of a method for receiving a video short message according to Embodiment 7 of the present invention.
  • FIG. 9 is a schematic structural diagram of a device for sending a video short message according to Embodiment 8 of the present invention.
  • FIG. 10 is a schematic structural diagram of a device for sending a video short message according to Embodiment 9 of the present invention.
  • FIG. 11 is a schematic structural diagram of a device for sending a video short message according to Embodiment 10 of the present invention.
  • FIG. 12 is a schematic structural diagram of a device for receiving a video short message according to Embodiment 11 of the present invention
  • FIG. 13 is a schematic structural diagram of a device for receiving a video short message according to Embodiment 12 of the present invention
  • Schematic diagram of electronic equipment structure
  • Embodiment 2 is a flowchart of a method for sending a video short message according to Embodiment 1 of the present invention.
  • the present embodiment is applicable to a video message that is added to a graffiti input by a handheld electronic device, and highlights a highlight in a video that the user wants to share.
  • the device is executed by a sending device of a video message, and the device can be implemented in the form of hardware and/or software integrated in the handheld electronic device.
  • the handheld electronic device can be any terminal device such as a mobile phone or a tablet computer.
  • the method specifically includes the following steps:
  • Step 201 Acquire audio and video content, and synchronously obtain a graffiti input corresponding to the audio and video content, and synthesize the audio and video content and the graffiti input into a graffiti video file.
  • the audio and video content may be audio and video content collected by two audio and video collection devices, such as a camera and a microphone in the handheld electronic device;
  • the graffiti input may be collected by a touch screen of the handheld electronic device. Touching the track input and/or attaching the picture information; the synthesis in this step only needs to connect the video file synthesized by the audio and video content and the graffiti input synthesized graffiti file with a simple head and tail, and in the graffiti video file Add a file header to record the location of the two files after the overlay, so that you can split the two files when parsing the file.
  • Step 202 Send the graffiti video file as a video short message to the short message receiver.
  • the short message receiving party is only peer-to-peer with respect to the short message sender.
  • the short message receiving party and the short message sending party can simultaneously send the video short message, or one of the sending video SMS.
  • the highlights in the video are marked by graffiti input, so that the video message in the prior art needs to be converted into graffiti by a large amount of language, and the video message display is optimized.
  • the effect but also adds to the user experience and video shooting fun.
  • the audio and video content is acquired, and the graffiti input corresponding to the audio and video content is synchronously acquired
  • the operation of synthesizing the audio and video content and the graffiti input into a graffiti video file may be specifically: acquiring sound Video content to form an audio and video file, and synchronously acquiring graffiti input corresponding to the audio and video content to form a graffiti file; storing the audio and video file and the graffiti file in the graffiti video file, respectively, and recording the audio and video file and The starting position of the graffiti files.
  • the technical solution can separately form independent audio and video files and graffiti files, and record separately for the recipient to obtain the parsing, so that the user can operate the graffiti file or the audio and video file separately, for example, after the recording is completed. You can modify the graffiti file again.
  • FIG. 3 is a flowchart of a method for sending a video short message according to Embodiment 2 of the present invention.
  • the present embodiment obtains audio and video content to form an audio and video file, and synchronously acquires the audio and video content corresponding to the audio and video content.
  • the graffiti input is further optimized by the operation of forming the graffiti file.
  • the audio and video content is acquired to form an audio and video file, and the graffiti input corresponding to the audio and video content is synchronously acquired to form a graffiti file.
  • Step 301 Obtain audio and video content of the current frame, and record the audio and video files;
  • Step 302 At the same time as acquiring the current frame audio and video content, collecting at least one type of graffiti input in the transparent background layer, synthesizing various graffiti inputs into a graffiti picture of the current frame, and recording the graffiti picture of the current frame. To the graffiti file, and record the attribute information of the graffiti picture of the current frame in the graffiti information maintenance table;
  • the attribute information of the graffiti picture of the current frame includes at least: a graffiti picture size of the current frame, a time point of the current frame, an encoding format, and a current frame duration.
  • the graffiti picture can be restored by the receiver obtaining the attribute information by parsing.
  • Each of the graffiti inputs can include at least: a touch track input and an additional picture, for example, a transparent background picture.
  • Step 303 Repeat steps 301 and 302 to process each frame until it is determined that the recording of the audio video content ends.
  • steps 301 and 302 are processing for each frame, the processing operations of the respective frames are the same, the execution is repeated, and each frame is recorded into the file one by one until the end of the recording.
  • each frame of the graffiti picture is synchronously synthesized, which can save subsequent processing time.
  • the time for the receiver to parse and synchronize after receiving the video message is shortened, and the graffiti information maintenance table of the graffiti file records the current time.
  • the attribute information of the graffiti picture of the frame is convenient for parsing during playback, and the graffiti information maintenance table may be updated in time when the graffiti picture of the current frame is changed, for example, when the operation of erasing the touch track input or deleting the additional picture is performed in real time
  • the modification information is updated to the part of the current frame corresponding to the graffiti information maintenance table, so that the user can operate the graffiti file or the audio and video file separately.
  • Step 401 Acquire The audio and video content of the current frame, and recorded to the audio and video files
  • Step 402 Collecting at least one type of graffiti input in the transparent background layer while acquiring the current frame audio and video content, respectively recording various graffiti inputs into the graffiti file, and separately recording various types in the graffiti information maintenance table.
  • the attribute information entered by the graffiti is as follows: Step 401: Acquire The audio and video content of the current frame, and recorded to the audio and video files;
  • Step 402 Collecting at least one type of graffiti input in the transparent background layer while acquiring the current frame audio and video content, respectively recording various graffiti inputs into the graffiti file, and separately recording various types in the graffiti information maintenance table. The attribute information entered by the graffiti;
  • the graffiti input of the various types includes at least: a touch track input and an additional picture; and the attribute information of the touch track input includes: a touch track coordinate, a line width, a color, a time point, and a duration. Recording these attribute information, that is, the recipient can retrieve the various types of crow input by parsing and obtaining the attribute information.
  • Step 403 Repeat steps 401 and 402 to process each frame until it is determined that the recording of the audio video content ends.
  • steps 401 and 402 are processing for each frame, the processing operations of the respective frames are the same, and the execution is repeated, and each frame is recorded into the file one by one until the end of the audio and video content recording.
  • the difference between the embodiment of the present invention and the second embodiment is that the graffiti input of the current frame does not synthesize the graffiti image of the current frame, but is separately recorded to the graffiti file and recorded in the graffiti information maintenance table.
  • the attribute information of the graffiti input is such that when the graffiti input of each type is changed separately, only the corresponding attribute information can be updated, thereby improving the efficiency. For example, when the attribute information such as the line width and the color of the touch track input is erased or the attribute information of the touch track input is switched, only the attribute information of the touch track input in the graffiti information maintenance table is updated; and when the additional picture is deleted or added, only the graffiti is updated.
  • the attribute information of the attached picture in the information maintenance table is convenient for the user to perform various operations on various graffiti inputs.
  • FIG. 5 is a flowchart of a method for sending a video short message according to Embodiment 4 of the present invention.
  • the audio and video content is acquired, and the graffiti input corresponding to the audio and video content is acquired synchronously, and
  • the audio and video content and the graffiti input are further synthesized as a graffiti video file, as shown in FIG. 5, acquiring audio and video content, and synchronously acquiring graffiti input corresponding to the audio and video content, and the audio and video content and the graffiti
  • the input synthesis into a graffiti video file may specifically include:
  • Step 501 Acquire the audio and video content of the current frame and store it in the audio and video frame buffer.
  • the audio and video content can be collected by the camera and the microphone, and the audio and video data is stored in the audio and video frame buffer when the video is echoed, and the audio and video frame buffer is a hardware resource and exists in all the mobile terminal devices. in.
  • Step 502 Collect at least one of the current background audio and video content in the transparent background layer
  • each type of graffiti input is stored in each type of graffiti frame buffer.
  • the types of the graffiti input include at least: a touch track input and an additional picture, for example, a transparent background picture; and the various graffiti inputs store the graffiti data in the various graffiti
  • the touch track input stores the graphic data formed by the touch in the touch display frame buffer during the echo display, and the additional picture or the like is stored in the user interface display frame buffer.
  • Step 503 Synthesize the audio and video frame buffer of the current frame and the data of various types of graffiti frame buffers, and store them in the synthesized frame buffer.
  • the layer data of the audio and video frame buffer of the current frame and the layer data of various types of graffiti frame buffers are combined into one main layer by a layer (or audio) mixer, and the synthesized data is The data that is finally sent to the display device.
  • the data of each layer is in the format of ARGB32. Since the final display is a main layer, and the main layer is composed of multiple layers, this combination refers specifically to one layer.
  • the corresponding control data describes the data of the layer corresponding to each region, and the mixer performs and/or synthesizes the respective layer data according to the information.
  • Step 504 Encode data in the synthesized frame buffer to form an audio and video of the current frame, and record the data into the graffiti video file.
  • the encoding that is, compression coding standard, is used to reduce the transmission traffic, such as the H.264/MPEG4 standard.
  • Step 505 Repeat steps 501 to 504 to process each frame until it is determined that the recording of the audio video content ends.
  • steps 501 to 504 are processing for each frame, the processing operations of the respective frames are the same, and the execution is repeated, and each frame is recorded one by one into the graffiti video file until the recording of the audio and video content ends.
  • the audio and video content of the current frame and various graffiti inputs are synthesized through a hardware mixer, and the audio and video content and the graffiti input are not separately parsed during playback parsing, thereby saving the parsing time of the receiver and improving the playback efficiency.
  • FIG. 6 is a flowchart of a method for receiving a video short message according to Embodiment 5 of the present invention.
  • the embodiment is applicable to a video message of a handheld electronic device that plays graffiti input, and highlights a video that the user wants to share.
  • the highlight is that the method can be performed by a receiving device for video short messages, and the device can be implemented in the form of hardware and/or software integrated in the handheld electronic device.
  • the handheld electronic device can be any terminal device such as a mobile phone or a tablet computer.
  • the method specifically includes the following steps: Step 601: Receive a video short message sent by a short message sender.
  • the video short message is a video short message added with graffiti input in the current frame audio and video content.
  • Step 602 Parse the audio and video content and the graffiti input from the video short message, and superimpose the graffiti input on the audio and video content to play.
  • the audio and video content is audio and video content collected by two audio and video collection devices, such as a camera and a microphone in a handheld electronic device;
  • the graffiti input is a touch track collected by a touch screen of the handheld electronic device. Enter and/or attach image information.
  • the content that needs to be expressed by a large number of languages is converted into graffiti, the effect of displaying video messages is optimized, and the user experience and the fun of video shooting are increased.
  • FIG. 7 is a flowchart of a method for receiving a video short message according to Embodiment 6 of the present invention.
  • the audio and video content and the graffiti input are parsed from the video short message, and the graffiti is input.
  • Step 701 Analyze and obtain audio and video files and graffiti files from respective starting positions of the audio and video files and the graffiti files marked in the graffiti video file of the video short message;
  • the audio and video file and the graffiti file in the graffiti video file are simply connected end to end, and the graffiti video file includes a file header, and records the starting position of the two files after the overlay, which is convenient for parsing. Split two files when the file is in use.
  • Step 702 Offering an audio layer and a video layer from the audio and video files.
  • the audio layer may be sound data collected by a microphone;
  • the video layer may be video data collected by a camera.
  • Step 703 Obtain a graffiti layer from the graffiti file.
  • the graffiti layer may be a graffiti picture synthesized by image information such as a touch track input, an additional picture or a transparent background picture collected by the touch screen.
  • Step 704 Maintain, according to the graffiti information in the graffiti file, attribute information of the graffiti picture recorded in the table, and perform frame time synchronization between the graffiti layer and the audio layer and the video layer;
  • the graffiti information maintenance table is mainly a size, a time point, and a time point of each frame of the graffiti image. Attribute information such as encoding format and duration. The frame time synchronization is performed with the audio layer and the video layer according to the time point and duration of the graffiti picture.
  • Step 705 Play the audio layer through the audio channel, play the video layer through the second layer of the video channel, play the graffiti layer through the first layer of the video channel, and stack the first layer in the second layer. Above the layer.
  • the graffiti file in the graffiti layer stores the graffiti input, such as a transparent background image, a touch track input, and an additional image
  • the graffiti image is synthesized, so the play layer and the video layer of the graffiti layer Just like playing, send the video channel display directly.
  • the crow input is added to the video content of the current frame, the graffiti layer is superimposed and played on top of the video layer.
  • each frame of the graffiti picture is synthesized synchronously with the current frame audio and video content, which can save the frame synchronization time;
  • the graffiti information maintenance table of the graffiti file records the attribute information of the current frame graffiti picture for analysis, and
  • the technical solution can be parsed to obtain independent audio and video files and graffiti files, and the user can perform secondary modification or secondary graffiti on the basis of the graffiti video, so that the user can edit the graffiti video at any time.
  • FIG. 8 is a flowchart of a method for receiving a video short message according to Embodiment 7 of the present invention.
  • the embodiment of the present invention based on the foregoing embodiment, parses and retrieves audio and video content and graffiti input from the video short message, and superimposes the graffiti input on the audio and video content to play Further optimized to:
  • Step 801 Analyze and obtain audio and video files and graffiti files from respective starting positions of the audio and video files and the graffiti files marked in the graffiti video file of the video short message;
  • Step 802 Offering an audio layer and a video layer from the audio and video files.
  • Step 803 Obtain a graffiti layer from the graffiti file
  • the graffiti layer may be a touch track input and/or an additional picture collected through the touch screen.
  • Step 804 Perform, according to the graffiti information in the graffiti file, the attribute information of various types of graffiti input recorded in the table, and perform various frame graffiti input in the graffiti layer with the audio layer and the video layer for frame time synchronization; specifically, the Various types of graffiti input include at least: touch track input and additional pictures.
  • the attribute information of the touch track input may be a touch track coordinate, a line width, a color, a time point, a duration, and the like
  • the attribute information of the additional picture may be a picture size, a time point, a duration, and the like.
  • the frame time synchronization may be performed with the audio layer and the video layer according to the corresponding time point and duration of the touch track input and the additional picture.
  • Step 805 The audio layer is played through the audio channel, and the video layer is played through the second layer of the video channel, and the graffiti input in the graffiti layer is respectively played through the first layer of the video channel, where the first layer Superimposed on the second layer.
  • the play of the graffiti layer and the video layer play are at least two cases: The additional picture is sent directly to the first layer of the video channel; if the touch track is input, the first layer of the video channel is drawn according to the touch track coordinates, line width and color.
  • the graffiti input is added to the video content of the current frame, the graffiti layer is superimposed and played on top of the video layer.
  • the attribute information of each type of graffiti input is separately recorded in the graffiti information maintenance table, and the independent graffiti input can be parsed, so that the user can edit the graffiti video at any time, and the user separately types the graffiti video.
  • the graffiti input is used for the second operation, for example, modifying or re-graffiti, only the original graffiti video is added to the graffiti input according to the original graffiti video, and the graffiti image of the current frame is not required to be input to replace the original graffiti. Pictures make the second operation more convenient and faster.
  • FIG. 9 is a schematic structural diagram of a device for sending a video short message according to Embodiment 8 of the present invention.
  • the device of this embodiment can be used to implement the technical solution of the method for sending a video short message provided by the embodiment of the present invention.
  • the apparatus of this embodiment specifically includes: an acquisition synthesis module 91 and a transmission module 92, wherein the acquisition synthesis module 91 is configured to acquire audio and video content, and synchronously acquire graffiti input corresponding to the audio and video content, and The audio and video content and the graffiti input are combined into a graffiti video file, and the sending module 92 is configured to send the graffiti video file as a video short message to the short message receiving party.
  • the device in this embodiment may be used to implement the technical solution of the method for sending a video message according to the embodiment of the present invention.
  • the implementation principle and technical effects are similar, and details are not described herein again.
  • the acquisition and synthesis module 91 preferably includes: a file acquisition unit 911 and a file synthesis unit 912, wherein the file acquisition unit 911 is configured to acquire audio and video content to form an audio and video file, and acquire the audio and video corresponding to the audio and video simultaneously. Graffiti input of content to form a graffiti file; file synthesizing unit 912 is configured to separately store the audio and video file and the graffiti file in the graffiti video file, and record the The starting position of the audio and video files and the graffiti files.
  • the file obtaining unit 911 preferably includes:
  • the audio and video file acquisition subunit 9111 is configured to acquire audio and video content of the current frame, and record to the audio and video file;
  • the first graffiti file obtaining sub-unit 9112 is configured to collect at least one category of graffiti input in a transparent background layer while acquiring the current frame audio and video content, and synthesize various graffiti inputs into a graffiti image of the current frame, and The graffiti picture of the current frame is recorded to the graffiti file, and the attribute information of the graffiti picture of the current frame is recorded in the graffiti information maintenance table;
  • the operations of the audio/video file obtaining subunit 9111 and the first graffiti file obtaining subunit 9112 are repeatedly performed to process each frame until it is determined that the recording of the audio and video content ends.
  • the attribute information of the graffiti picture of the current frame at least includes: a graffiti picture size of the current frame, a time point of the current frame, an encoding format, and a current frame duration; and each type of the graffiti input includes at least: a touch track
  • the input and additional pictures may further include a transparent background picture or the like; the attribute information of the touch track input includes: touch track coordinates, line width, color, time point, and duration.
  • the file obtaining unit 101 may include: an audio and video file acquiring subunit 1011 and a second graffiti file acquiring subunit 1012, wherein the audio and video file acquiring subunit 1011 is configured to acquire the current frame.
  • the audio and video content is recorded to the audio and video file;
  • the second graffiti file obtaining subunit 1012 is configured to collect at least one category of graffiti input in the transparent background layer while acquiring the current frame audio and video content,
  • the graffiti input is separately recorded to the graffiti file, and the attribute information of each graffiti input is separately recorded in the graffiti information maintenance table; wherein the operations of the audio and video file obtaining subunit 1011 and the second graffiti file obtaining subunit 1012 are repeatedly performed.
  • the graffiti input of the various types includes at least: a touch track input and an additional picture; and the attribute information of the touch track input includes: a touch track coordinate, a line width, a color, a time point, and a duration.
  • the device in this embodiment may be used to implement the technical solution of the method for sending a video message according to the embodiment of the present invention.
  • the implementation principle and technical effects are similar, and details are not described herein again.
  • the acquiring and synthesizing module 11 may include: an audio and video buffer unit 111, a graffiti buffer unit 112, a buffer synthesizing unit 113, and a buffer encoding unit 114, where
  • the video buffer unit 111 is configured to acquire the audio and video content of the current frame and store the audio and video content in the audio and video frame buffer.
  • the graffiti buffer unit 112 is configured to collect at least one of the transparent background layers while acquiring the current frame audio and video content.
  • the graffiti input of the category is used to store various graffiti inputs into various graffiti frame buffers; the cache synthesizing unit 113 is configured to synthesize the audio and video frame buffer of the current frame and the data of various graffiti frame buffers, and store the data into the composite frame.
  • the cache encoding unit 114 is configured to encode the data in the composite frame buffer to form an audio and video of the current frame, and record the audio and video files to the graffiti video file.
  • the audio and video buffer unit 111, the graffiti buffer unit 112, and the cache are repeatedly executed.
  • the operations of the synthesizing unit 113 and the buffer encoding unit 114 process each frame until it is judged that the recording of the audio and video content ends.
  • the graffiti input of the various types includes at least: a touch track input and an additional picture.
  • the device in this embodiment may be used to implement the technical solution of the method for sending a video message according to the embodiment of the present invention.
  • the implementation principle and technical effects are similar, and details are not described herein again.
  • FIG. 12 is a schematic structural diagram of a device for receiving a short message according to Embodiment 11 of the present invention.
  • the device of this embodiment can be used to implement the technical solution for receiving a video short message provided by Embodiment 4 of the present invention.
  • the apparatus of this embodiment specifically includes: a receiving module 12 and a parsing playing module 13 , wherein the receiving module 12 is configured to receive a video short message sent by a short message sender; the parsing playing module 13 is configured to parse and obtain the video short message. Audio and video content and graffiti input, and the graffiti input is superimposed on the audio and video content to play.
  • the device in this embodiment may be used to perform the technical solution of the embodiment of the method for receiving a video message provided by the embodiment of the present invention.
  • the implementation principle and the technical effect are similar, and details are not described herein again.
  • the parsing and playing module 13 preferably includes: a file parsing unit 131, an audio and video shunting unit 132, a graffiti shunting unit 133, a first time synchronizing unit 134, and a first playing unit 135, wherein the file parsing unit 131 And an audio/video file and a graffiti file are respectively parsed from the starting positions of the audio and video files and the graffiti files marked in the graffiti video file of the video short message; the audio and video shunting unit 132 is configured to offload the audio and video files.
  • the graffiti-dividing unit 133 is configured to obtain the graffiti layer from the graffiti file;
  • the first time synchronization unit 134 is configured to maintain the attribute information of the graffiti image recorded in the table according to the graffiti information in the graffiti file,
  • the graffiti layer performs frame time synchronization with the audio layer and the video layer;
  • the first playing unit 135 is configured to play the audio layer through the audio channel, and play the video layer through the second layer of the video channel, and the graffiti layer is The first layer is superimposed on the second layer by playing through the first layer of the video channel.
  • all kinds of the graffiti Inputs include at least: Touch track input and additional pictures.
  • the parsing and playing module 14 further preferably includes: a file parsing unit 141, an audio and video shunting unit 142, a graffiti shunting unit 143, a second time synchronizing unit 144, and a second playing unit.
  • the file parsing unit 141 is configured to separately parse the audio and video files and the graffiti file from the respective starting positions of the audio and video files and the graffiti files marked in the graffiti video file of the video short message;
  • the audio and video shunting unit 142 is used to Obtaining an audio layer and a video layer from the audio and video file;
  • the graffiti-dividing unit 143 is configured to obtain a graffiti layer from the graffiti file;
  • the second time synchronization unit 144 is configured to maintain a table record according to the graffiti information in the graffiti file.
  • the attribute information of each type of graffiti input is used to synchronize the various graffiti inputs in the graffiti layer with the audio layer and the video layer; the second playing unit 145 is configured to play the audio layer through the audio channel, and the video is played.
  • the layer is played through the second layer of the video channel, and the various graffiti layers in the graffiti layer are respectively input through The first layer of the video channel is played, and the first layer is superimposed on the second layer.
  • the graffiti input of each type includes at least: a touch track input and an additional picture.
  • FIG. 14 is a schematic structural diagram of a handheld electronic device according to Embodiment 13 of the present invention.
  • the handheld electronic device provided by the embodiment of the present invention includes a memory, a camera 100, a microphone 200, a touch screen 300, a video message sending device 400 provided by any embodiment of the present invention, and a video short message receiving device provided by any embodiment of the present invention. 500, audio channel 600 and video channel 700.
  • the camera 100 is configured to collect video content;
  • the microphone 200 is configured to collect audio content;
  • the touch screen 300 is configured to receive an input operation of a user;
  • the audio channel 600 is configured to play audio content;
  • Channel 700 is used to play video content and graffiti input.
  • the handheld electronic device can perform all the functions of the foregoing embodiments, and the implementation principle and the beneficial effects are similar, and are not described herein again.
  • the aforementioned program can be stored in a computer readable storage medium.
  • the program when executed, performs the steps including the foregoing method embodiments; and the foregoing storage medium includes: a medium that can store program codes, such as a ROM, a RAM, a magnetic disk, or an optical disk.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例提供一种视频短信的发送、接收方法及其装置和手持电子设备。本发明视频短信的发送方法，包括：获取音视频内容，并同步获取对应于所述音视频内容的涂鸦输入，并将所述音视频内容和涂鸦输入合成为涂鸦视频文件；将所述涂鸦视频文件作为视频短信发送至短信接收方。本发明实施例能够突出视频短信中的重点，优化了视频短信的展示效果。

Description

视频短信的发送、 接收方法及其装置和手持电子设备 本申请要求于 2013 年 01 月 29 日提交中国专利局、 申请号为 201310033292.4, 发明名称为 "视频短信的发送、 接收方法及其装置和手持电 子设备" 的中国专利申请的优先权， 其全部内容通过引用结合在本申请中。 技术领域 本发明实施例涉及通信技术， 尤其涉及一种视频短信的发送、接收方法及 其装置和手持电子设备。 背景技术 随着计算机技术和通信技术的发展， 尤其是智能手机迅猛发展的年代， 用 户对手机的需求已经不再是简单的通话功能和短信功能，希望手机能够提供更 丰富多彩的媒体应用服务，同时运营商也希望通过多媒体增值业务来賺取更多 的利润。因此多媒体彩信、图片短信和视频短信的出现正好迎合了市场的需求。
图 1为现有技术中视频技术的实现方案示意图， 目前比较普及的一对一的 视频短信的实现方案。 如图 1中所示， 对于 A方， 手机 A通过手机上的摄像头和 麦克风这两个音视频釆集设备釆集音视频，釆集完毕后进行压缩以减少传输的 流量， 然后发送至公网信令和数据服务器，数据服务器首先查找该条视频短信 的目的地为 B方， 并且发现 B方在线， 此时便把视频短信发送至 B方， B方在接 收完视频短信后首先进行解压， 然后再进行解码播放收到的视频短信。
上述技术中， 视频釆集到的内容需要通过发送者加入语音文字来加以阐 述，接收者需要听取视频中的声音来判断用户想分享的重点， 无法突出视频中 的亮点。 发明内容 本发明实施例提供一种视频短信的发送、接收方法及其装置和手持电子设 备， 以突出视频短信中的重点， 优化视频短信的展示效果。
第一方面， 本发明实施例提供一种频短信的发送方法， 包括： 获取音视频内容， 并同步获取对应于所述音视频内容的涂鸦输入， 并将所 述音视频内容和涂鸦输入合成为涂鸦视频文件；
将所述涂鸦视频文件作为视频短信发送至短信接收方。
在第一方面的第一种可能的实现方式中， 获取音视频内容， 并同步获取对 应于所述音视频内容的涂鸦输入，并将所述音视频内容和涂鸦输入合成为涂鸦 视频文件包括：
获取音视频内容以形成音视频文件 ,并同步获取对应于所述音视频内容的 涂鸦输入以形成涂鸦文件；
在涂鸦视频文件中分别存储所述音视频文件和涂鸦文件，并记录所述音视 频文件和涂鸦文件各自的起始位置。
根据第一方面的第一种可能的实现方式，在第二种可能的实现方式中， 获 取音视频内容以形成音视频文件，并同步获取对应于所述音视频内容的涂鸦输 入以形成涂鸦文件包括：
获取当前帧的音视频内容， 并记录至音视频文件；
在获取当前帧音视频内容的同时，在透明背景层中釆集至少一种类别的涂 鸦输入，将各类涂鸦输入合成为当前帧的涂鸦图片，将所述当前帧的涂鸦图片 记录至涂鸦文件， 且在涂鸦信息维护表中记录当前帧的涂鸦图片的属性信息； 重复执行上述步骤对各帧进行处理， 直至判断出音视频内容的录制结束。 根据第一方面的第二种可能的实现方式，在第三种可能的实现方式中， 所 述当前帧的涂鸦图片的属性信息至少包括： 所述当前帧的涂鸦图片大小、 当前 帧的时间点和编码格式和当前帧持续时间。
根据第一方面的第一种可能的实现方式，在第四种可能的实现方式中， 获 取音视频内容以形成音视频文件，并同步获取对应于所述音视频内容的涂鸦输 入以形成涂鸦文件包括：
获取当前帧的音视频内容， 并记录至音视频文件；
在获取当前帧音视频内容的同时，在透明背景层中釆集至少一种类别的涂 鸦输入，将各类涂鸦输入分别记录至涂鸦文件，且在涂鸦信息维护表中分别记 录各类涂鸦输入的属性信息；
重复执行上述步骤对各帧进行处理， 直至判断出音视频内容的录制结束。 在第一方面的第五种可能的实现方式中， 获取音视频内容， 并同步获取对 应于所述音视频内容的涂鸦输入，并将所述音视频内容和涂鸦输入合成为涂鸦 视频文件包括：
获取当前帧的音视频内容， 存储至音视频帧緩存中；
在获取当前帧音视频内容的同时，在透明背景层中釆集至少一种类别的涂 鸦输入， 将各类涂鸦输入分别存储至各类涂鸦帧緩存中；
将当前帧的音视频帧緩存和各类涂鸦帧緩存的数据合成，并存储至合成帧 緩存中；
将合成帧緩存中的数据进行编码， 形成当前帧的音视频， 并记录至涂鸦视 频文件；
重复执行上述步骤对各帧进行处理， 直至判断出音视频内容的录制结束。 根据第一方面的第二种至第五种可能的实现方式的任意一种，在第六种可 能的实现方式中， 各类所述涂鸦输入至少包括： 触摸轨迹输入和附加图片。
根据第一方面的第六种可能的实现方式，在第七种可能的实现方式中，触 摸轨迹输入的属性信息包括： 触摸轨迹坐标、线宽、颜色、时间点和持续时间。
第二方面， 本发明实施例提供一种视频短信的接收方法， 包括：
接收短信发送方发送的视频短信；
从所述视频短信中解析获取音视频内容和涂鸦输入，并将所述涂鸦输入叠 加在所述音视频内容上播放。
在第二方面的第一种可能的实现方式中，从所述视频短信中解析获取音视 频内容和涂鸦输入， 并将所述涂鸦输入叠加在所述音视频内容上播放包括： 从所述视频短信的涂鸦视频文件中标记的音视频文件和涂鸦文件各自的 起始位置分别解析获取音视频文件和涂鸦文件；
从所述音视频文件中分流获取音频层和视频层；
从所述涂鸦文件中获取涂鸦层；
根据涂鸦文件中的涂鸦信息维护表记录的涂鸦图片的属性信息，将所述涂 鸦层与所述音频层和视频层进行帧时间同步；
将所述音频层通过音频通道播放， 将视频层通过视频通道的第二层播放， 将所述涂鸦层通过视频通道的第一层播放， 所述第一层叠加在所述第二层之 上。
在第二方面的第二种可能的实现方式中，从所述视频短信中解析获取音视 频内容和涂鸦输入， 并将所述涂鸦输入叠加在所述音视频内容上播放包括： 从所述视频短信的涂鸦视频文件中标记的音视频文件和涂鸦文件各自的 起始位置分别解析获取音视频文件和涂鸦文件；
从所述音视频文件中分流获取音频层和视频层；
从所述涂鸦文件中获取涂鸦层；
根据涂鸦文件中的涂鸦信息维护表记录的各类涂鸦输入的属性信息，将所 述涂鸦层中各类涂鸦输入与所述音频层和视频层进行帧时间同步；
将所述音频层通过音频通道播放， 将视频层通过视频通道的第二层播放， 将所述涂鸦层中各类涂鸦输入分别通过视频通道的第一层播放，所述第一层叠 加在所述第二层之上。
根据第二方面的第二种可能的实现方式，在第三种可能的实现方式中，各 类所述涂鸦输入至少包括： 触摸轨迹输入和附加图片。
第三方面， 本发明实施例提供一种频短信的发送装置， 包括：
获取合成模块， 用于获取音视频内容， 并同步获取对应于所述音视频内容 的涂鸦输入， 并将所述音视频内容和涂鸦输入合成为涂鸦视频文件；
发送模块， 用于将所述涂鸦视频文件作为视频短信发送至短信接收方。 在第三方面的第一种可能的实现方式中， 获取合成模块包括：
文件获取单元， 用于获取音视频内容以形成音视频文件， 并同步获取对应 于所述音视频内容的涂鸦输入以形成涂鸦文件；
文件合成单元，用于在涂鸦视频文件中分别存储所述音视频文件和涂鸦文 件， 并记录所述音视频文件和涂鸦文件各自的起始位置。
根据第三方面的第一种可能的实现方式，在第二种可能的实现方式中， 文 件获取单元包括：
音视频文件获取子单元， 用于获取当前帧的音视频内容， 并记录至音视频 文件；
第一涂鸦文件获取子单元， 用于在获取当前帧音视频内容的同时，在透明 背景层中釆集至少一种类别的涂鸦输入，将各类涂鸦输入合成为当前帧的涂鸦 图片，将所述当前帧的涂鸦图片记录至涂鸦文件， 且在涂鸦信息维护表中记录 当前帧的涂鸦图片的属性信息；
其中，重复执行所述音视频文件获取子单元和第一涂鸦文件获取子单元的 操作对各帧进行处理， 直至判断出音视频内容的录制结束。
根据第三方面的第二种可能的实现方式，在第三种可能的实现方式中， 所 述当前帧的涂鸦图片的属性信息至少包括： 所述当前帧的涂鸦图片大小、 当前 帧的时间点和编码格式和当前帧持续时间。
根据第三方面的第一种可能的实现方式，在第四种可能的实现方式中， 文 件获取单元包括：
音视频文件获取子单元， 用于获取当前帧的音视频内容， 并记录至音视频 文件；
第二涂鸦文件获取子单元， 用于在获取当前帧音视频内容的同时，在透明 背景层中釆集至少一种类别的涂鸦输入， 将各类涂鸦输入分别记录至涂鸦文 件， 且在涂鸦信息维护表中分别记录各类涂鸦输入的属性信息；
其中，重复执行所述音视频文件获取子单元和第二涂鸦文件获取子单元的 操作对各帧进行处理， 直至判断出音视频内容的录制结束。
在第三方面的第五种可能的实现方式中， 获取合成模块包括：
音视频緩存单元，用于获取当前帧的音视频内容，存储至音视频帧緩存中； 涂鸦緩存单元， 用于在获取当前帧音视频内容的同时，在透明背景层中釆 集至少一种类别的涂鸦输入， 将各类涂鸦输入分别存储至各类涂鸦帧緩存中； 緩存合成单元，用于将当前帧的音视频帧緩存和各类涂鸦帧緩存的数据合 成， 并存储至合成帧緩存中；
緩存编码单元， 用于将合成帧緩存中的数据进行编码， 形成当前帧的音视 频， 并记录至涂鸦视频文件；
其中， 重复执行音视频緩存单元、 涂鸦緩存单元、 緩存合成单元和緩存编 码单元的操作对各帧进行处理， 直至判断出音视频内容的录制结束。
根据第三方面的第二种至第五种可能的实现方式的任意一种，在第六种可 能的实现方式中， 各类所述涂鸦输入至少包括： 触摸轨迹输入和附加图片。
根据第三方面的第六种实现方式，在第七种可能的实现方式中， 触摸轨迹 输入的属性信息包括： 触摸轨迹坐标、 线宽、 颜色、 时间点和持续时间。
第四方面， 本发明实施例提供一种频短信的接收装置， 包括：
接收模块， 用于接收短信发送方发送的视频短信；
解析播放模块， 用于从所述视频短信中解析获取音视频内容和涂鸦输入， 并将所述涂鸦输入叠加在所述音视频内容上播放。
在第四方面的第一种可能的实现方式中， 解析播放模块包括：
文件解析单元，用于从所述视频短信的涂鸦视频文件中标记的音视频文件 和涂鸦文件各自的起始位置分别解析获取音视频文件和涂鸦文件；
音视频分流单元， 用于从所述音视频文件中分流获取音频层和视频层； 涂鸦分流单元， 用于从所述涂鸦文件中获取涂鸦层；
第一时间同步单元，用于根据涂鸦文件中的涂鸦信息维护表记录的涂鸦图 片的属性信息， 将所述涂鸦层与所述音频层和视频层进行帧时间同步；
第一播放单元， 用于将所述音频层通过音频通道播放，将视频层通过视频 通道的第二层播放，将所述涂鸦层通过视频通道的第一层播放， 所述第一层叠 加在所述第二层之上。
在第四方面的第二种可能的实现方式中， 解析播放模块包括：
文件解析单元，用于从所述视频短信的涂鸦视频文件中标记的音视频文件 和涂鸦文件各自的起始位置分别解析获取音视频文件和涂鸦文件；
音视频分流单元， 用于从所述音视频文件中分流获取音频层和视频层； 涂鸦分流单元， 用于从所述涂鸦文件中获取涂鸦层；
第二时间同步单元，用于根据涂鸦文件中的涂鸦信息维护表记录的各类涂 鸦输入的属性信息，将所述涂鸦层中各类涂鸦输入与所述音频层和视频层进行 帧时间同步；
第二播放单元， 用于将所述音频层通过音频通道播放，将视频层通过视频 通道的第二层播放，将所述涂鸦层中各类涂鸦输入分别通过视频通道的第一层 播放， 所述第一层叠加在所述第二层之上。
根据第四方面的第二种可能的实现方式，在第三种可能的实现方式中，各 类所述涂鸦输入至少包括： 触摸轨迹输入和附加图片。
第五方面， 本发明实施例提供一种手持电子设备， 包括内存， 还包括： 本发明任意实施例所提供的视频短信的发送装置；
本发明任意实施例所提供的视频短信的接收装置；
摄像头， 用于釆集视频内容；
麦克风， 用于釆集音频内容；
触摸屏， 用于接收用户的输入操作； 音频通道， 用于播放音频内容；
视频通道， 用于播放视频内容和涂鸦输入。
本发明实施例一种视频短信的发送、 接收方法及其装置和手持电子设备， 通过在视频短信拍摄的过程中通过涂鸦来标记视频中的亮点，以突出视频短信 中的重点， 优化视频短信的展示效果。 附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作一简单地介绍， 显而易见地， 下面描 述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出 创造性劳动性的前提下， 还可以根据这些附图获得其他的附图。
图 1为现有技术中视频短信的实现方案示意图；
图 2为本发明实施例一提供的视频短信的发送方法流程图；
图 3为本发明实施例二提供的视频短信的发送方法流程图；
图 4为本发明实施例三提供的视频短信的发送方法流程图；
图 5为本发明实施例四提供的视频短信的发送方法流程图；
图 6为本发明实施例五提供的视频短信的接收方法流程图；
图 7为本发明实施例六提供的视频短信的接收方法流程图；
图 8为本发明实施例七提供的视频短信的接收方法流程图；
图 9为本发明实施例八提供的视频短信的发送装置结构示意图；
图 10为本发明实施例九提供的视频短信的发送装置结构示意图；
图 11为本发明实施例十提供的视频短信的发送装置结构示意图；
图 12为本发明实施例十一提供的视频短信的接收装置结构示意图； 图 13为本发明实施例十二提供的视频短信的接收装置结构示意图； 图 14为本发明实施例十三提供的手持电子设备结构示意图。 具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚， 下面将结合本发明 实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然， 所描述的实施例是本发明一部分实施例， 而不是全部的实施例。基于本发明中 的实施例 ,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其 他实施例， 都属于本发明保护的范围。
实施例一
图 2为本发明实施例一提供的视频短信的发送方法流程图， 本实施例可适 用于手持电子设备编辑添加涂鸦输入的视频短信，重点突出用户想要分享的视 频中的亮点， 该方法可以由视频短信的发送装置来执行， 该装置可以通过硬件 和 /或软件的形式实现， 集成在手持电子设备之中。 手持电子设备可以为手机、 平板电脑等任意终端设备。 该方法具体包括如下步骤：
步骤 201、 获取音视频内容， 并同步获取对应于所述音视频内容的涂鸦输 入， 并将所述音视频内容和涂鸦输入合成为涂鸦视频文件。
具体地，所述音视频内容可以为通过手持电子设备中的摄像头和麦克风这 两个音视频釆集设备釆集的音视频内容；所述涂鸦输入可以为通过手持电子设 备的触摸屏釆集到的触摸轨迹输入和 /或附加图片信息； 本步骤中的合成只需 要将所述音视频内容合成的视频文件和涂鸦输入合成的涂鸦文件简单的头尾 相连即可， 并且在所述涂鸦视频文件中添加一个文件头， 记录叠加后两个文件 的位置， 便于解析文件时拆分两个文件。
步骤 202、 将所述涂鸦视频文件作为视频短信发送至短信接收方。
具体地， 所述短信接收方只是相对于短信发送方而言， 二者是对等的， 在 通信过程中，短信接收方和短信发送方可以同时发送视频短信， 也可以是其中 之一发送视频短信。
本实施例， 在视频短信获取的过程中通过涂鸦输入来标记视频中的亮点， 使现有技术中的视频短信需要通过大量的语言来表达的内容转换成涂鸦的方 式， 优化了视频短信的展示效果， 而且增加了用户体验和视频拍摄的乐趣。
在上述实施例的基础上， 获取音视频内容， 并同步获取对应于所述音视频 内容的涂鸦输入，并将所述音视频内容和涂鸦输入合成为涂鸦视频文件的操作 可以具体为： 获取音视频内容以形成音视频文件， 并同步获取对应于所述音视 频内容的涂鸦输入以形成涂鸦文件；在涂鸦视频文件中分别存储所述音视频文 件和涂鸦文件， 并记录所述音视频文件和涂鸦文件各自的起始位置。该技术方 案可以分别形成独立的音视频文件和涂鸦文件， 并分别记录供接收方获取解 析， 方便用户单独对涂鸦文件或音视频文件进行操作， 例如在录制完成之后， 可以对涂鸦文件再进行修改。
实施例二
图 3为本发明实施例二提供的视频短信的发送方法流程图， 本实施例在上 述实施例的基础上，对获取音视频内容以形成音视频文件， 并同步获取对应于 所述音视频内容的涂鸦输入以形成涂鸦文件的操作进行进一步优化， 如图 3所 示， 获取音视频内容以形成音视频文件， 并同步获取对应于所述音视频内容的 涂鸦输入以形成涂鸦文件的操作进行具体可以包括：
步骤 301、 获取当前帧的音视频内容， 并记录至音视频文件；
步骤 302、 在获取当前帧音视频内容的同时， 在透明背景层中釆集至少一 种类别的涂鸦输入，将各类涂鸦输入合成为当前帧的涂鸦图片， 将所述当前帧 的涂鸦图片记录至涂鸦文件，且在涂鸦信息维护表中记录当前帧的涂鸦图片的 属性信息；
其中， 所述当前帧的涂鸦图片的属性信息至少包括： 所述当前帧的涂鸦图 片大小、 当前帧的时间点和编码格式和当前帧持续时间。 记录这些属性信息， 即可以在接收方通过解析获取属性信息来复原涂鸦图片。各类所述涂鸦输入可 以至少包括： 触摸轨迹输入和附加图片， 例如， 还可以包括透明背景图片。
步骤 303、 重复执行步骤 301和步骤 302对各帧进行处理， 直至判断出音视 频内容的录制结束。
上述步骤 301和步骤 302是对每一帧所进行的处理， 各帧的处理操作相同， 重复执行， 并将每帧逐一记录至文件中， 直至录制结束。
本发明实施例中每帧涂鸦图片都是同步合成的， 可以节省后续处理时间， 例如接收方在接收到视频短信后进行解析和同步的时间缩短，所述涂鸦文件的 涂鸦信息维护表中记录当前帧的涂鸦图片的属性信息以便于播放时的解析，且 在当前帧涂鸦图片有所更改时可以及时更新所述涂鸦信息维护表，例如在擦除 触摸轨迹输入或删除附加图片等操作时实时将修改信息更新到所述涂鸦信息 维护表对应当前帧的部分， 方便用户单独对涂鸦文件或音视频文件进行操作。
实施例三
在上述基础上， 如图 4所示， 获取音视频内容以形成音视频文件， 并同步 获取对应于所述音视频内容的涂鸦输入以形成涂鸦文件的另一种实现方式为： 步骤 401、 获取当前帧的音视频内容， 并记录至音视频文件； 步骤 402、 在获取当前帧音视频内容的同时， 在透明背景层中釆集至少一 种类别的涂鸦输入，将各类涂鸦输入分别记录至涂鸦文件，且在涂鸦信息维护 表中分别记录各类涂鸦输入的属性信息；
其中， 各类所述涂鸦输入至少包括： 触摸轨迹输入和附加图片； 所述触摸 轨迹输入的属性信息包括： 触摸轨迹坐标、 线宽、 颜色、 时间点和持续时间。 记录这些属性信息，即可以在接收方通过解析获取属性信息来复原所述各类涂 鸦输入。
步骤 403、 重复执行步骤 401和步骤 402对各帧进行处理， 直至判断出音视 频内容的录制结束。
上述步骤 401和步骤 402是对每一帧所进行的处理， 各帧的处理操作相同， 重复执行， 并将每帧逐一记录至文件中， 直至音视频内容录制结束。
本发明实施例与上述实施例二的区别在于：本发明实施例中所述各类涂鸦 输入并没有合成当前帧的涂鸦图片，而是分别记录至涂鸦文件且在涂鸦信息维 护表中分别记录各类涂鸦输入的属性信息，这样在单独更改各类所述涂鸦输入 时可以只更新其对应的属性信息，从而在效率上有所提升。例如在擦除触摸轨 迹输入或切换触摸轨迹输入的线宽和颜色等属性信息时只更新所述涂鸦信息 维护表中触摸轨迹输入的属性信息；而删除或增加附加图片时则只更新所述涂 鸦信息维护表中附加图片的属性信息， 方便用户单独对各类涂鸦输入进行操 作。
实施例四
图 5为本发明实施例四提供的视频短信的发送方法流程图， 本实施例在上 述实施例的基础上对获取音视频内容，并同步获取对应于所述音视频内容的涂 鸦输入， 并将所述音视频内容和涂鸦输入合成为涂鸦视频文件进一步优化，如 图 5所示， 获取音视频内容， 并同步获取对应于所述音视频内容的涂鸦输入， 并将所述音视频内容和涂鸦输入合成为涂鸦视频文件具体可以包括：
步骤 501、 获取当前帧的音视频内容， 存储至音视频帧緩存中。
具体地， 可以通过摄像机和麦克风釆集音视频内容，在视频回显时会把音 视频数据存放在音视频帧緩存中， 而所述音视频帧緩存为硬件资源，存在于所 有的移动终端设备中。
步骤 502、 在获取当前帧音视频内容的同时， 在透明背景层中釆集至少一 种类别的涂鸦输入， 将各类涂鸦输入分别存储至各类涂鸦帧緩存中。 具体地， 所述各类所述涂鸦输入至少包括： 触摸轨迹输入和附加图片， 例 如，还包括透明背景图片； 所述各类涂鸦输入在回显时会把涂鸦数据存放于所 述各类涂鸦帧緩存中， 例如， 所述触摸轨迹输入在回显时会把触摸形成的图形 数据存放于触摸显示帧緩存中， 而附加图片等存放在用户界面显示帧緩存中。
步骤 503、 将当前帧的音视频帧緩存和各类涂鸦帧緩存的数据合成， 并存 储至合成帧緩存中。
具体地， 通过图层 （或音频） 混合器 （mixer )将当前帧的音视频帧緩存 的图层数据和各类涂鸦帧緩存的图层数据合成一个主图层的数据，合成后的数 据是最后送入显示设备的数据。例如，每个图层的数据都是 ARGB32的格式的， 由于最后的显示是一个主图层， 而此主图层是按照多个图层的组合而成的， 这 个组合方式具体是指由一个对应的控制数据说明每个区域对应的图层的数据， 混合器根据这个信息将各个图层数据做与 /或合成。
步骤 504、 将合成帧緩存中的数据进行编码， 形成当前帧的音视频， 并记 录至涂鸦视频文件。
具体地， 所述编码， 即压缩编码标准， 以减少传输的流量， 例如釆用 H.264/MPEG4标准。
步骤 505、 重复执行步骤 501至步骤 504对各帧进行处理， 直至判断出音视 频内容的录制结束。
上述步骤 501至步骤 504是对每一帧所进行的处理， 各帧的处理操作相同， 重复执行，并将每帧逐一记录至涂鸦视频文件中 ,直至音视频内容的录制结束。
本发明实施例，将当前帧的音视频内容和各类涂鸦输入通过硬件混合器合 成，在播放解析时不用分别解析处理音视频内容和涂鸦输入， 由此节省接收方 的解析时间， 提升播放效率。
实施例五
图 6为本发明实施例五提供的视频短信的接收方法流程图， 如图 6所示， 本 实施例可适用于手持电子设备播放添加涂鸦输入的视频短信，重点突出用户想 要分享的视频中的亮点， 该方法可以由视频短信的接收装置来执行， 该装置可 以通过硬件和 /或软件的形式实现， 集成在手持电子设备之中。 手持电子设备 可以为手机、 平板电脑等任意终端设备。 该方法具体包括如下步骤： 步骤 601、 接收短信发送方发送的视频短信。
具体地， 所述视频短信为当前帧音视频内容中添加涂鸦输入的视频短信。 步骤 602、 从所述视频短信中解析获取音视频内容和涂鸦输入， 并将所述 涂鸦输入叠加在所述音视频内容上播放。
具体地，所述音视频内容为通过手持电子设备中的摄像头和麦克风这两个 音视频釆集设备釆集的音视频内容；所述涂鸦输入为通过手持电子设备的触摸 屏釆集到的触摸轨迹输入和 /或附加图片信息。
本实施例， 在视频短信播放过程中，将需要通过大量的语言来表达的内容 转换成涂鸦的方式，优化了视频短信的展示效果， 而且增加了用户体验和视频 拍摄的乐趣。
实施例六
图 7为本发明实施例六提供的视频短信的接收方法流程图， 本实施例在上 述实施例的基础上对从所述视频短信中解析获取音视频内容和涂鸦输入，并将 所述涂鸦输入叠加在所述音视频内容上播放进行进一步优化， 如图 7所示， 从 所述视频短信中解析获取音视频内容和涂鸦输入，并将所述涂鸦输入叠加在所 述音视频内容上播放可以包括：
步骤 701、 从所述视频短信的涂鸦视频文件中标记的音视频文件和涂鸦文 件各自的起始位置分别解析获取音视频文件和涂鸦文件；
具体地，所述涂鸦视频文件中所述音视频文件和涂鸦文件只是简单的头尾 相连， 并且所述涂鸦视频文件中包含有一个文件头，记录叠加后两个文件的起 始位置， 便于解析文件时拆分两个文件。
步骤 702、 从所述音视频文件中分流获取音频层和视频层；
具体地， 所述音频层可以为通过麦克风釆集的声音数据； 所述视频层可以 为通过摄像头釆集的视频数据。
步骤 703、 从所述涂鸦文件中获取涂鸦层；
具体地， 所述涂鸦层可以为通过触摸屏釆集的触摸轨迹输入、 附加图片或 透明背景图片等图像信息所合成的涂鸦图片。
步骤 704、根据涂鸦文件中的涂鸦信息维护表记录的涂鸦图片的属性信息， 将所述涂鸦层与所述音频层和视频层进行帧时间同步；
具体地， 所述涂鸦信息维护表中主要是每一帧涂鸦图片的大小、 时间点、 编码格式和持续时间等属性信息。根据所述涂鸦图片的时间点和持续时间与所 述音频层和视频层进行帧时间同步。
步骤 705、 将所述音频层通过音频通道播放， 将视频层通过视频通道的第 二层播放， 将所述涂鸦层通过视频通道的第一层播放， 所述第一层叠加在所述 第二层之上。
具体地， 由于所述涂鸦层中的涂鸦文件存储的是将涂鸦输入， 例如透明背 景图片、 触摸轨迹输入和附加图片等信息， 合成之后的涂鸦图片， 所以， 所述 涂鸦层的播放与视频层播放一样， 直接送去视频通道显示即可。 另外， 由于涂 鸦输入是在当前帧视频内容上的添加的，所以，涂鸦层叠加在视频层之上播放。
本发明实施例中每帧涂鸦图片都是与当前帧音视频内容同步合成的 ,可以 节省帧同步时间；所述涂鸦文件的涂鸦信息维护表中记录当前帧涂鸦图片的属 性信息以便于解析， 另外， 该技术方案可以解析获得独立的音视频文件和涂鸦 文件， 用户可以在涂鸦视频的基础上进行二次修改或二次涂鸦， 方便用户随时 编辑涂鸦视频。
实施例七
图 8为本发明实施例七提供的视频短信的接收方法流程图。如图 8所示， 本 发明实施例在上述实施例的基础上，从所述视频短信中解析获取音视频内容和 涂鸦输入，并将所述涂鸦输入叠加在所述音视频内容上播放还可以进一步优化 为：
步骤 801、 从所述视频短信的涂鸦视频文件中标记的音视频文件和涂鸦文 件各自的起始位置分别解析获取音视频文件和涂鸦文件；
步骤 802、 从所述音视频文件中分流获取音频层和视频层；
步骤 803、 从所述涂鸦文件中获取涂鸦层；
具体地， 所述涂鸦层可以为通过触摸屏釆集的触摸轨迹输入和 /或附加图 片。
步骤 804、 根据涂鸦文件中的涂鸦信息维护表记录的各类涂鸦输入的属性 信息， 将所述涂鸦层中各类涂鸦输入与所述音频层和视频层进行帧时间同步； 具体地， 所述各类涂鸦输入至少包括： 触摸轨迹输入和附加图片。 其中， 所述触摸轨迹输入的属性信息可以是触摸轨迹坐标、 线宽、 颜色、 时间点和持 续时间等， 所述附加图片的属性信息可以是图片大小、 时间点和持续时间等。 可以根据所述触摸轨迹输入和附加图片的对应的时间点和持续时间与所述音 频层和视频层进行帧时间同步。
步骤 805、 将所述音频层通过音频通道播放， 将视频层通过视频通道的第 二层播放， 将所述涂鸦层中各类涂鸦输入分别通过视频通道的第一层播放， 所 述第一层叠加在所述第二层之上。
具体地， 由于所述涂鸦层中的涂鸦文件存储的是各类涂鸦输入， 例如触摸 轨迹输入和附加图片等信息， 所以， 所述涂鸦层的播放与视频层播放至少分两 种情况： 若是所述附加图片， 则直接送去视频通道的第一层显示即可； 若是所 述触摸轨迹输入， 则根据触摸轨迹坐标、线宽和颜色等信息绘制至视频通道的 第一层。 另外， 由于涂鸦输入是在当前帧视频内容上的添加的， 所以， 涂鸦层 叠加在视频层之上播放。
本发明实施例中各类所述涂鸦输入的属性信息在涂鸦信息维护表中单独 记录， 可以解析获得独立的各类涂鸦输入， 方便用户随时编辑涂鸦视频， 而且 用户在涂鸦视频上分别对各类涂鸦输入进行二次操作时， 例如修改或再涂鸦， 只需在原涂鸦视频基础上对所述各类涂鸦输入分别相应更新，无需再将各类涂 鸦输入合成当前帧的涂鸦图片去替换原先的涂鸦图片， 使得二次操作更方便、 快捷。
实施例八
图 9为本发明实施例八提供的视频短信的发送装置结构示意图。 本实施例 的装置， 可以用于执行本发明实施例提供的视频短信的发送方法的技术方案。 本实施例的装置具体包括： 获取合成模块 91和发送模块 92, 其中， 所述获取合 成模块 91 , 用于获取音视频内容， 并同步获取对应于所述音视频内容的涂鸦输 入， 并将所述音视频内容和涂鸦输入合成为涂鸦视频文件， 所述发送模块 92, 用于将所述涂鸦视频文件作为视频短信发送至短信接收方。
本实施例的装置，可以用于执行本发明实施例所提供的视频短信的发送方 法实施例的技术方案， 其实现原理和技术效果类似， 此处不再赘述。
在上述基础上， 获取合成模块 91优选是包括： 文件获取单元 911和文件合 成单元 912 , 其中， 文件获取单元 911用于获取音视频内容以形成音视频文件， 并同步获取对应于所述音视频内容的涂鸦输入以形成涂鸦文件；文件合成单元 912用于在涂鸦视频文件中分别存储所述音视频文件和涂鸦文件， 并记录所述 音视频文件和涂鸦文件各自的起始位置。
在上述基础上， 文件获取单元 911优选是包括：
音视频文件获取子单元 9111 , 用于获取当前帧的音视频内容， 并记录至音 视频文件；
第一涂鸦文件获取子单元 9112, 用于在获取当前帧音视频内容的同时， 在 透明背景层中釆集至少一种类别的涂鸦输入，将各类涂鸦输入合成为当前帧的 涂鸦图片， 将所述当前帧的涂鸦图片记录至涂鸦文件，且在涂鸦信息维护表中 记录当前帧的涂鸦图片的属性信息；
其中，重复执行所述音视频文件获取子单元 9111和第一涂鸦文件获取子单 元 9112的操作对各帧进行处理， 直至判断出音视频内容的录制结束。
具体地， 所述当前帧的涂鸦图片的属性信息至少包括： 所述当前帧的涂鸦 图片大小、 当前帧的时间点和编码格式和当前帧持续时间； 各类所述涂鸦输入 至少包括： 触摸轨迹输入和附加图片， 还可以包括透明背景图片等； 所述触摸 轨迹输入的属性信息包括： 触摸轨迹坐标、 线宽、 颜色、 时间点和持续时间。
实施例九
在上述基础上， 如图 10所示， 文件获取单元 101可以包括： 音视频文件获 取子单元 1011和第二涂鸦文件获取子单元 1012, 其中， 音视频文件获取子单元 1011 , 用于获取当前帧的音视频内容， 并记录至音视频文件； 第二涂鸦文件获 取子单元 1012, 用于在获取当前帧音视频内容的同时，在透明背景层中釆集至 少一种类别的涂鸦输入， 将各类涂鸦输入分别记录至涂鸦文件， 且在涂鸦信息 维护表中分别记录各类涂鸦输入的属性信息； 其中， 重复执行所述音视频文件 获取子单元 1011和第二涂鸦文件获取子单元 1012的操作对各帧进行处理，直至 判断出音视频内容的录制结束。 其中， 各类所述涂鸦输入至少包括： 触摸轨迹 输入和附加图片； 所述触摸轨迹输入的属性信息包括： 触摸轨迹坐标、 线宽、 颜色、 时间点和持续时间。
本实施例的装置，可以用于执行本发明实施例所提供的视频短信的发送方 法实施例的技术方案， 其实现原理和技术效果类似， 此处不再赘述。
实施例十
参考图 11 , 在上述实施例基础上， 获取合成模块 11可以包括： 音视频緩存 单元 111、 涂鸦緩存单元 112、 緩存合成单元 113和緩存编码单元 114, 其中， 音 视频緩存单元 111 , 用于获取当前帧的音视频内容， 存储至音视频帧緩存中； 涂鸦緩存单元 112, 用于在获取当前帧音视频内容的同时， 在透明背景层中釆 集至少一种类别的涂鸦输入， 将各类涂鸦输入分别存储至各类涂鸦帧緩存中； 緩存合成单元 113 , 用于将当前帧的音视频帧緩存和各类涂鸦帧緩存的数据合 成， 并存储至合成帧緩存中； 緩存编码单元 114, 用于将合成帧緩存中的数据 进行编码， 形成当前帧的音视频， 并记录至涂鸦视频文件； 其中， 重复执行音 视频緩存单元 111、 涂鸦緩存单元 112、 緩存合成单元 113和緩存编码单元 114 的操作对各帧进行处理， 直至判断出音视频内容的录制结束。 其中， 各类所述 涂鸦输入至少包括： 触摸轨迹输入和附加图片。
本实施例的装置，可以用于执行本发明实施例所提供的视频短信的发送方 法实施例的技术方案， 其实现原理和技术效果类似， 此处不再赘述。
实施例十一
图 12为本发明实施例十一提供的视频短信的接收装置结构示意图。本实施 例的装置，可以用于执行本发明实施例四提供的视频短信的接收方法的技术方 案。 本实施例的装置具体包括： 接收模块 12和解析播放模块 13 , 其中所述接收 模块 12用于接收短信发送方发送的视频短信；所述解析播放模块 13用于从所述 视频短信中解析获取音视频内容和涂鸦输入，并将所述涂鸦输入叠加在所述音 视频内容上播放。
本实施例的装置，可以用于执行本发明实施例所提供的视频短信的接收方 法实施例的技术方案， 其实现原理和技术效果类似， 此处不再赘述。
在上述基础上， 所述解析播放模块 13优选是包括： 文件解析单元 131、 音 视频分流单元 132、 涂鸦分流单元 133、 第一时间同步单元 134和第一播放单元 135 , 其中， 文件解析单元 131用于从所述视频短信的涂鸦视频文件中标记的音 视频文件和涂鸦文件各自的起始位置分别解析获取音视频文件和涂鸦文件；音 视频分流单元 132用于从所述音视频文件中分流获取音频层和视频层； 涂鸦分 流单元 133用于从所述涂鸦文件中获取涂鸦层；第一时间同步单元 134用于根据 涂鸦文件中的涂鸦信息维护表记录的涂鸦图片的属性信息，将所述涂鸦层与所 述音频层和视频层进行帧时间同步； 第一播放单元 135用于将所述音频层通过 音频通道播放，将视频层通过视频通道的第二层播放，将所述涂鸦层通过视频 通道的第一层播放， 所述第一层叠加在所述第二层之上。 其中， 各类所述涂鸦 输入至少包括： 触摸轨迹输入和附加图片。
实施例十二
在上述基础上，如图 13所示，所述解析播放模块 14进一步优选，可以包括： 文件解析单元 141、 音视频分流单元 142、 涂鸦分流单元 143、 第二时间同步单 元 144和第二播放单元 145 , 其中， 文件解析单元 141用于从所述视频短信的涂 鸦视频文件中标记的音视频文件和涂鸦文件各自的起始位置分别解析获取音 视频文件和涂鸦文件； 音视频分流单元 142用于从所述音视频文件中分流获取 音频层和视频层； 涂鸦分流单元 143用于从所述涂鸦文件中获取涂鸦层； 第二 时间同步单元 144用于根据涂鸦文件中的涂鸦信息维护表记录的各类涂鸦输入 的属性信息，将所述涂鸦层中各类涂鸦输入与所述音频层和视频层进行帧时间 同步； 第二播放单元 145用于将所述音频层通过音频通道播放， 将视频层通过 视频通道的第二层播放，将所述涂鸦层中各类涂鸦输入分别通过视频通道的第 一层播放， 所述第一层叠加在所述第二层之上。 其中， 各类所述涂鸦输入至少 包括： 触摸轨迹输入和附加图片。
实施例十三
图 14为本发明实施例十三提供的手持电子设备结构示意图。本发明实施例 所提供的手持电子设备包括内存、 摄像头 100、 麦克风 200、 触摸屏 300、 本发 明任意实施例所提供的视频短信的发送装置 400、 本发明任意实施例所提供的 视频短信的接收装置 500、 音频通道 600和视频通道 700。 其中， 所述摄像头 100 用于釆集视频内容； 所述麦克风 200用于釆集音频内容； 所述触摸屏 300用于接 收用户的输入操作； 所述音频通道 600用于播放音频内容； 所述视频通道 700 用于播放视频内容和涂鸦输入。
该手持电子设备可以完成上述实施例所有功能，其实现原理和有益效果类 似， 此处不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤 可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取 存储介质中。 该程序在执行时， 执行包括上述各方法实施例的步骤； 而前述的 存储介质包括： ROM, RAM,磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是： 以上各实施例仅用以说明本发明的技术方案， 而非对其 限制； 尽管参照前述各实施例对本发明进行了详细的说明， 本领域的普通技术 人员应当理解： 其依然可以对前述各实施例所记载的技术方案进行修改， 或者 对其中部分或者全部技术特征进行等同替换； 而这些修改或者替换， 并不使相 应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

权 利 要 求
1、 一种视频短信的发送方法， 其特征在于， 包括：
获取音视频内容， 并同步获取对应于所述音视频内容的涂鸦输入， 并将所 述音视频内容和涂鸦输入合成为涂鸦视频文件；
将所述涂鸦视频文件作为视频短信发送至短信接收方。
2、 根据权利要求 1所述的方法， 其特征在于， 获取音视频内容， 并同步获 取对应于所述音视频内容的涂鸦输入，并将所述音视频内容和涂鸦输入合成为 涂鸦视频文件包括：
获取音视频内容以形成音视频文件，并同步获取对应于所述音视频内容的 涂鸦输入以形成涂鸦文件；
在涂鸦视频文件中分别存储所述音视频文件和涂鸦文件，并记录所述音视 频文件和涂鸦文件各自的起始位置。
3、 根据权利要求 2所述的方法， 其特征在于， 获取音视频内容以形成音视 频文件， 并同步获取对应于所述音视频内容的涂鸦输入以形成涂鸦文件包括： 获取当前帧的音视频内容， 并记录至音视频文件；
在获取当前帧音视频内容的同时，在透明背景层中釆集至少一种类别的涂 鸦输入，将各类涂鸦输入合成为当前帧的涂鸦图片，将所述当前帧的涂鸦图片 记录至涂鸦文件， 且在涂鸦信息维护表中记录当前帧的涂鸦图片的属性信息； 重复执行上述步骤对各帧进行处理， 直至判断出音视频内容的录制结束。
4、 根据权利要求 3所述的方法， 其特征在于， 所述当前帧的涂鸦图片的属 性信息至少包括： 所述当前帧的涂鸦图片大小、 当前帧的时间点和编码格式和 当前帧持续时间。
5、 根据权利要求 2所述的方法， 其特征在于， 获取音视频内容以形成音视 频文件， 并同步获取对应于所述音视频内容的涂鸦输入以形成涂鸦文件包括： 获取当前帧的音视频内容， 并记录至音视频文件；
在获取当前帧音视频内容的同时，在透明背景层中釆集至少一种类别的涂 鸦输入，将各类涂鸦输入分别记录至涂鸦文件，且在涂鸦信息维护表中分别记 录各类涂鸦输入的属性信息； 重复执行上述步骤对各帧进行处理， 直至判断出音视频内容的录制结束。
6、 根据权利要求 1所述的方法， 其特征在于， 获取音视频内容， 并同步获 取对应于所述音视频内容的涂鸦输入，并将所述音视频内容和涂鸦输入合成为 涂鸦视频文件包括：
获取当前帧的音视频内容， 存储至音视频帧緩存中；
在获取当前帧音视频内容的同时，在透明背景层中釆集至少一种类别的涂 鸦输入， 将各类涂鸦输入分别存储至各类涂鸦帧緩存中；
将当前帧的音视频帧緩存和各类涂鸦帧緩存的数据合成，并存储至合成帧 緩存中；
将合成帧緩存中的数据进行编码， 形成当前帧的音视频， 并记录至涂鸦视 频文件；
重复执行上述步骤对各帧进行处理， 直至判断出音视频内容的录制结束。
7、 根据权利要求 3-6任一所述的方法， 其特征在于， 各类所述涂鸦输入至 少包括： 触摸轨迹输入和附加图片。
8、 根据权利要求 7所述的方法， 其特征在于， 触摸轨迹输入的属性信息包 括： 触摸轨迹坐标、 线宽、 颜色、 时间点和持续时间。
9、 一种视频短信的接收方法， 其特征在于， 包括：
接收短信发送方发送的视频短信；
从所述视频短信中解析获取音视频内容和涂鸦输入，并将所述涂鸦输入叠 加在所述音视频内容上播放。
10、 根据权利要求 9所述的方法， 其特征在于， 从所述视频短信中解析获 取音视频内容和涂鸦输入，并将所述涂鸦输入叠加在所述音视频内容上播放包 括：
从所述视频短信的涂鸦视频文件中标记的音视频文件和涂鸦文件各自的 起始位置分别解析获取音视频文件和涂鸦文件；
从所述音视频文件中分流获取音频层和视频层；
从所述涂鸦文件中获取涂鸦层；
根据涂鸦文件中的涂鸦信息维护表记录的涂鸦图片的属性信息，将所述涂 鸦层与所述音频层和视频层进行帧时间同步；
将所述音频层通过音频通道播放， 将视频层通过视频通道的第二层播放， 将所述涂鸦层通过视频通道的第一层播放， 所述第一层叠加在所述第二层之 上。
11、 根据权利要求 9所述的方法， 其特征在于， 从所述视频短信中解析获 取音视频内容和涂鸦输入，并将所述涂鸦输入叠加在所述音视频内容上播放包 括：
从所述视频短信的涂鸦视频文件中标记的音视频文件和涂鸦文件各自的 起始位置分别解析获取音视频文件和涂鸦文件；
从所述音视频文件中分流获取音频层和视频层；
从所述涂鸦文件中获取涂鸦层；
根据涂鸦文件中的涂鸦信息维护表记录的各类涂鸦输入的属性信息，将所 述涂鸦层中各类涂鸦输入与所述音频层和视频层进行帧时间同步；
将所述音频层通过音频通道播放， 将视频层通过视频通道的第二层播放， 将所述涂鸦层中各类涂鸦输入分别通过视频通道的第一层播放，所述第一层叠 加在所述第二层之上。
12、 根据权利要求 11所述的方法， 其特征在于， 各类所述涂鸦输入至少包 括： 触摸轨迹输入和附加图片。
13、 一种视频短信的发送装置， 其特征在于， 包括：
获取合成模块， 用于获取音视频内容， 并同步获取对应于所述音视频内容 的涂鸦输入， 并将所述音视频内容和涂鸦输入合成为涂鸦视频文件；
发送模块， 用于将所述涂鸦视频文件作为视频短信发送至短信接收方。
14、 根据权利要求 13所述的装置， 其特征在于， 获取合成模块包括： 文件获取单元， 用于获取音视频内容以形成音视频文件， 并同步获取对应 于所述音视频内容的涂鸦输入以形成涂鸦文件；
文件合成单元，用于在涂鸦视频文件中分别存储所述音视频文件和涂鸦文 件， 并记录所述音视频文件和涂鸦文件各自的起始位置。
15、 根据权利要求 14所述的装置， 其特征在于， 文件获取单元包括： 音视频文件获取子单元， 用于获取当前帧的音视频内容， 并记录至音视频 文件；
第一涂鸦文件获取子单元， 用于在获取当前帧音视频内容的同时，在透明 背景层中釆集至少一种类别的涂鸦输入，将各类涂鸦输入合成为当前帧的涂鸦 图片，将所述当前帧的涂鸦图片记录至涂鸦文件， 且在涂鸦信息维护表中记录 当前帧的涂鸦图片的属性信息；
其中，重复执行所述音视频文件获取子单元和第一涂鸦文件获取子单元的 操作对各帧进行处理， 直至判断出音视频内容的录制结束。
16、 根据权利要求 15所述的装置， 其特征在于， 所述当前帧的涂鸦图片的 属性信息至少包括： 所述当前帧的涂鸦图片大小、 当前帧的时间点和编码格式 和当前帧持续时间。
17、 根据权利要求 14所述的装置， 其特征在于， 文件获取单元包括： 音视频文件获取子单元， 用于获取当前帧的音视频内容， 并记录至音视频 文件；
第二涂鸦文件获取子单元， 用于在获取当前帧音视频内容的同时，在透明 背景层中釆集至少一种类别的涂鸦输入， 将各类涂鸦输入分别记录至涂鸦文 件， 且在涂鸦信息维护表中分别记录各类涂鸦输入的属性信息；
其中，重复执行所述音视频文件获取子单元和第二涂鸦文件获取子单元的 操作对各帧进行处理， 直至判断出音视频内容的录制结束。
18、 根据权利要求 13所述的装置， 其特征在于， 获取合成模块包括： 音视频緩存单元，用于获取当前帧的音视频内容，存储至音视频帧緩存中； 涂鸦緩存单元， 用于在获取当前帧音视频内容的同时，在透明背景层中釆 集至少一种类别的涂鸦输入， 将各类涂鸦输入分别存储至各类涂鸦帧緩存中； 緩存合成单元，用于将当前帧的音视频帧緩存和各类涂鸦帧緩存的数据合 成， 并存储至合成帧緩存中；
緩存编码单元， 用于将合成帧緩存中的数据进行编码， 形成当前帧的音视 频， 并记录至涂鸦视频文件；
其中， 重复执行音视频緩存单元、 涂鸦緩存单元、 緩存合成单元和緩存编 码单元的操作对各帧进行处理， 直至判断出音视频内容的录制结束。
19、 根据权利要求 15-18任一所述的装置， 其特征在于， 各类所述涂鸦输 入至少包括： 触摸轨迹输入和附加图片。
20、 根据权利要求 19所述的装置， 其特征在于， 触摸轨迹输入的属性信息 包括： 触摸轨迹坐标、 线宽、 颜色、 时间点和持续时间。
21、 一种视频短信的接收装置， 其特征在于， 包括： 接接收收模模块块，， 用用于于接接收收短短信信发发送送方方发发送送的的视视频频短短信信；；
解解析析播播放放模模块块，， 用用于于从从所所述述视视频频短短信信中中解解析析获获取取音音视视频频内内容容和和涂涂鸦鸦输输入入，， 并并将将所所述述涂涂鸦鸦输输入入叠叠加加在在所所述述音音视视频频内内容容上上播播放放。。
2222、、 根根据据权权利利要要求求 2211所所述述的的装装置置，， 其其特特征征在在于于，， 解解析析播播放放模模块块包包括括：： 55 文文件件解解析析单单元元，，用用于于从从所所述述视视频频短短信信的的涂涂鸦鸦视视频频文文件件中中标标记记的的音音视视频频文文件件 和和涂涂鸦鸦文文件件各各自自的的起起始始位位置置分分别别解解析析获获取取音音视视频频文文件件和和涂涂鸦鸦文文件件；；
音音视视频频分分流流单单元元，， 用用于于从从所所述述音音视视频频文文件件中中分分流流获获取取音音频频层层和和视视频频层层；； 涂涂鸦鸦分分流流单单元元，， 用用于于从从所所述述涂涂鸦鸦文文件件中中获获取取涂涂鸦鸦层层；；
第第一一时时间间同同步步单单元元，，用用于于根根据据涂涂鸦鸦文文件件中中的的涂涂鸦鸦信信息息维维护护表表记记录录的的涂涂鸦鸦图图 1100 片片的的属属性性信信息息，， 将将所所述述涂涂鸦鸦层层与与所所述述音音频频层层和和视视频频层层进进行行帧帧时时间间同同步步；；
第第一一播播放放单单元元，， 用用于于将将所所述述音音频频层层通通过过音音频频通通道道播播放放，，将将视视频频层层通通过过视视频频 通通道道的的第第二二层层播播放放，，将将所所述述涂涂鸦鸦层层通通过过视视频频通通道道的的第第一一层层播播放放，， 所所述述第第一一层层叠叠 加加在在所所述述第第二二层层之之上上。。
2233、、 根根据据权权利利要要求求 2211所所述述的的装装置置，， 其其特特征征在在于于，， 解解析析播播放放模模块块包包括括：： 1155 文文件件解解析析单单元元，，用用于于从从所所述述视视频频短短信信的的涂涂鸦鸦视视频频文文件件中中标标记记的的音音视视频频文文件件 和和涂涂鸦鸦文文件件各各自自的的起起始始位位置置分分别别解解析析获获取取音音视视频频文文件件和和涂涂鸦鸦文文件件；；
音音视视频频分分流流单单元元，， 用用于于从从所所述述音音视视频频文文件件中中分分流流获获取取音音频频层层和和视视频频层层；； 涂涂鸦鸦分分流流单单元元，， 用用于于从从所所述述涂涂鸦鸦文文件件中中获获取取涂涂鸦鸦层层；；
第第二二时时间间同同步步单单元元，，用用于于根根据据涂涂鸦鸦文文件件中中的的涂涂鸦鸦信信息息维维护护表表记记录录的的各各类类涂涂 2200 鸦鸦输输入入的的属属性性信信息息，，将将所所述述涂涂鸦鸦层层中中各各类类涂涂鸦鸦输输入入与与所所述述音音频频层层和和视视频频层层进进行行 帧帧时时间间同同步步；；
第第二二播播放放单单元元，， 用用于于将将所所述述音音频频层层通通过过音音频频通通道道播播放放，，将将视视频频层层通通过过视视频频 通通道道的的第第二二层层播播放放，，将将所所述述涂涂鸦鸦层层中中各各类类涂涂鸦鸦输输入入分分别别通通过过视视频频通通道道的的第第一一层层 播播放放，， 所所述述第第一一层层叠叠加加在在所所述述第第二二层层之之上上。。
2255 2244、、 根根据据权权利利要要求求 2233所所述述的的装装置置，， 其其特特征征在在于于，， 各各类类所所述述涂涂鸦鸦输输入入至至少少包包 括括：： 触触摸摸轨轨迹迹输输入入和和附附加加图图片片。。
2255、、 一一种种手手持持电电子子设设备备，， 包包括括内内存存，， 还还包包括括：：
权权利利要要求求 1133--2200任任一一所所述述的的视视频频短短信信的的发发送送装装置置；；
权权利利要要求求 2211--2244任任一一所所述述的的视视频频短短信信的的接接收收装装置置；；
30 * 麦克风， 用于釆集音频内容； 触摸屏， 用于接收用户的输入操作； 音频通道， 用于播放音频内容；
视频通道， 用于播放视频内容和涂鸦输入。
PCT/CN2014/070922 2013-01-29 2014-01-20 视频短信的发送、接收方法及其装置和手持电子设备 WO2014117660A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP14745985.3A EP2940940B1 (en) 2013-01-29 2014-01-20 Methods for sending and receiving video short message, apparatus and handheld electronic device thereof
EP18214996.3A EP3525403A1 (en) 2013-01-29 2014-01-20 Video sms message sending and receiving methods and apparatuses thereof, and handheld electronic device
US14/811,308 US9479728B2 (en) 2013-01-29 2015-07-28 Video SMS message sending and receiving methods and apparatuses thereof, and handheld electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310033292.4 2013-01-29
CN201310033292.4A CN103974209A (zh) 2013-01-29 2013-01-29 视频短信的发送、接收方法及其装置和手持电子设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/811,308 Continuation US9479728B2 (en) 2013-01-29 2015-07-28 Video SMS message sending and receiving methods and apparatuses thereof, and handheld electronic device

Publications (1)

Publication Number Publication Date
WO2014117660A1 true WO2014117660A1 (zh) 2014-08-07

Family

ID=51243155

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/070922 WO2014117660A1 (zh) 2013-01-29 2014-01-20 视频短信的发送、接收方法及其装置和手持电子设备

Country Status (4)

Country Link
US (1) US9479728B2 (zh)
EP (2) EP3525403A1 (zh)
CN (2) CN103974209A (zh)
WO (1) WO2014117660A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9537811B2 (en) 2014-10-02 2017-01-03 Snap Inc. Ephemeral gallery of ephemeral messages
US9396354B1 (en) 2014-05-28 2016-07-19 Snapchat, Inc. Apparatus and method for automated privacy protection in distributed images
US9113301B1 (en) 2014-06-13 2015-08-18 Snapchat, Inc. Geo-location based event gallery
CN105407312B (zh) * 2014-09-01 2019-03-05 鸿富锦精密工业（深圳）有限公司 视频信件服务器、视频信件终端及其发送视频信件的方法
US10824654B2 (en) 2014-09-18 2020-11-03 Snap Inc. Geolocation-based pictographs
US10311916B2 (en) 2014-12-19 2019-06-04 Snap Inc. Gallery of videos set to an audio time line
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
CN105812548A (zh) * 2014-12-30 2016-07-27 北京奇虎科技有限公司 在通信访问界面上展示个性涂鸦的方法及移动通信终端
CN105812409A (zh) * 2014-12-30 2016-07-27 北京奇虎科技有限公司 在锁屏界面上呈现信息的方法及系统
US10133705B1 (en) * 2015-01-19 2018-11-20 Snap Inc. Multichannel system
KR102371138B1 (ko) 2015-03-18 2022-03-10 스냅 인코포레이티드 지오-펜스 인가 프로비저닝
CN105635519B (zh) * 2015-06-15 2018-07-17 广州市动景计算机科技有限公司 视频处理方法、装置及系统
US10354425B2 (en) 2015-12-18 2019-07-16 Snap Inc. Method and system for providing context relevant media augmentation
CN106851385B (zh) 2017-02-20 2019-12-27 北京乐我无限科技有限责任公司 视频录制方法、装置和电子设备
US10582277B2 (en) 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
CN107221018B (zh) * 2017-04-14 2020-07-17 弘成科技发展有限公司 一种智能画板画面合成方法
CN110795177B (zh) 2018-08-03 2021-08-31 浙江宇视科技有限公司 图形绘制方法及装置
US11212331B1 (en) * 2018-10-26 2021-12-28 Snap Inc. Triggering changes to real-time special effects included in a live streaming video
CN111447491B (zh) * 2019-01-17 2022-05-13 天津跳跳蛙科技有限公司 基于短信的视频播放方法及服务端和移动终端
CN110572717A (zh) * 2019-09-30 2019-12-13 北京金山安全软件有限公司 视频编辑方法和装置
CN111523293A (zh) * 2020-04-08 2020-08-11 广东小天才科技有限公司 一种直播教学中辅助用户进行信息录入的方法及装置
CN114327206A (zh) * 2020-09-29 2022-04-12 华为技术有限公司 一种消息显示方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101207759A (zh) * 2007-11-30 2008-06-25 深圳市同洲电子股份有限公司 一种pvr文件定位的方法及pvr机顶盒
US20120036132A1 (en) * 2010-08-08 2012-02-09 Doyle Thomas F Apparatus and methods for managing content
CN102387094A (zh) * 2011-10-24 2012-03-21 Tcl集团股份有限公司 一种网络社交的建立方法和系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7184786B2 (en) * 2003-12-23 2007-02-27 Kirusa, Inc. Techniques for combining voice with wireless text short message services
EP1679876A1 (en) * 2005-01-05 2006-07-12 Grand Advance Corp. Internet fax apparatus with an automatic filing function for sending video files and a method for the same
US20070100629A1 (en) * 2005-11-03 2007-05-03 Bodin William K Porting synthesized email data to audio files
IL173222A0 (en) * 2006-01-18 2006-06-11 Clip In Touch Internat Ltd Apparatus and method for creating and transmitting unique dynamically personalized multimedia messages
US8677241B2 (en) * 2007-09-10 2014-03-18 Vantrix Corporation Method and system for multimedia messaging service (MMS) to video adaptation
US9465451B2 (en) * 2009-12-31 2016-10-11 Flick Intelligence, LLC Method, system and computer program product for obtaining and displaying supplemental data about a displayed movie, show, event or video game
CN101819566A (zh) * 2010-04-22 2010-09-01 中兴通讯股份有限公司 用于多媒体消息中媒体对象的处理方法和多媒体终端
CN102752724A (zh) * 2011-04-19 2012-10-24 北京有度致远科技有限公司 多媒体合成视频彩信处理的方法
US9294896B2 (en) * 2011-07-05 2016-03-22 Zia Shlaimoun Method and system for video messaging
CN102638658A (zh) * 2012-03-01 2012-08-15 盛乐信息技术（上海）有限公司 音视频编辑方法及系统
US20140232813A1 (en) * 2013-02-20 2014-08-21 Sprint Communications Company L.P. Using metadata for video message modifications among wireless communication devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101207759A (zh) * 2007-11-30 2008-06-25 深圳市同洲电子股份有限公司 一种pvr文件定位的方法及pvr机顶盒
US20120036132A1 (en) * 2010-08-08 2012-02-09 Doyle Thomas F Apparatus and methods for managing content
CN102387094A (zh) * 2011-10-24 2012-03-21 Tcl集团股份有限公司 一种网络社交的建立方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2940940A4 *

Also Published As

Publication number Publication date
EP3525403A1 (en) 2019-08-14
EP2940940A4 (en) 2016-01-06
CN103974209A (zh) 2014-08-06
EP2940940B1 (en) 2019-03-06
CN110234081A (zh) 2019-09-13
EP2940940A1 (en) 2015-11-04
US20150334347A1 (en) 2015-11-19
US9479728B2 (en) 2016-10-25

Similar Documents

Publication Publication Date Title
WO2014117660A1 (zh) 视频短信的发送、接收方法及其装置和手持电子设备
KR101927016B1 (ko) 멀티미디어 파일 라이브 방송 방법, 시스템 및 서버
CN102752667B (zh) 一种多流流媒体直播互动系统及直播互动方法
WO2020124725A1 (zh) 基于WebRTC协议的音视频推送方法和推流客户端
US20120117176A1 (en) Method, System And Mobile Terminal For Processing Short Message
KR20160067126A (ko) 콘텐트 전달을 위한 방법 및 장치
CN1696923A (zh) 网络上的多种媒体的同步合成存储发布系统及操作该系统的方法
CN102111674A (zh) 一种移动终端播放在线视频的系统、方法及移动终端
CN102325181B (zh) 一种基于共享业务的音视频即时交互通信方法及系统
US20160044368A1 (en) Method, apparatus and system for acquiring playback data stream of real-time video communication
US9628866B2 (en) Distribution control system and distribution system
US9781193B2 (en) Distribution control system, distribution system, distribution control method, and computer-readable storage medium
CN103369289A (zh) 一种视频模拟形象的通信方法和装置
CN110267064A (zh) 音频播放状态处理方法、装置、设备及存储介质
CN102447956A (zh) 手机视频分享的方法及系统
CN103096128A (zh) 一种实现视频互动的方法、服务器、终端及系统
CN109451329B (zh) 混音处理方法及装置
CN105282621A (zh) 一种语音消息可视化服务的实现方法及装置
US9232256B2 (en) System and method for generating flash-based media stream
CN200990664Y (zh) 一种可实现远程视频对话功能的电视机
CN103297406A (zh) 一种手持设备扩展屏幕的方法
JP2024048339A (ja) サーバ、端末及びコンピュータプログラム
CN115514989A (zh) 一种数据传输方法、系统及存储介质
KR101122421B1 (ko) 화상 대화에 따른 실시간 다자 화상 데이터 저장 시스템 및 방법
WO2017219796A1 (zh) 一种视频业务控制方法、移动终端及业务服务器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14745985

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2014745985

Country of ref document: EP