WO2013182011A1 - 在线视频实时变速播放方法及系统 - Google Patents

在线视频实时变速播放方法及系统 Download PDF

Info

Publication number
WO2013182011A1
WO2013182011A1 PCT/CN2013/076544 CN2013076544W WO2013182011A1 WO 2013182011 A1 WO2013182011 A1 WO 2013182011A1 CN 2013076544 W CN2013076544 W CN 2013076544W WO 2013182011 A1 WO2013182011 A1 WO 2013182011A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
module
audio
stream
clock
Prior art date
Application number
PCT/CN2013/076544
Other languages
English (en)
French (fr)
Inventor
赖晶
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Priority to US14/376,684 priority Critical patent/US20150109529A1/en
Priority to KR20147027556A priority patent/KR20140145584A/ko
Priority to CA2863733A priority patent/CA2863733C/en
Priority to JP2015502086A priority patent/JP2015515198A/ja
Priority to AU2013271232A priority patent/AU2013271232A1/en
Priority to EP13801365.1A priority patent/EP2806652A4/en
Publication of WO2013182011A1 publication Critical patent/WO2013182011A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising

Definitions

  • the invention relates to network multimedia technology, in particular to an online video real-time variable speed playing method and system.
  • network multimedia is gradually becoming an indispensable part of people's life, study and work. More and more users choose to watch videos online, online video exchanges, and online refresher courses online.
  • the existing online video playback system will have a response delay of a few seconds when the user changes the playback speed, which is manifested as a picture or sound stagnation.
  • the audio and video are also difficult to synchronize, and need to wait. A few seconds to a dozen seconds.
  • the object of the present invention is to overcome the shortcomings of the existing online video real-time playing system, and to provide a new online video real-time variable speed playing method and system, which can achieve the purpose of variable speed display and audio and video synchronization.
  • the present invention provides an online video real-time variable speed playing method, the method comprising: Step S1: receiving a multimedia source file selected by a user; Step S2: reading the multimedia source file; Step S3: performing sound on the multimedia source file Video stream separation; Step S4: Decoding the separated audio stream and video stream separately; Step S5: Performing a shifting process on the audio stream; Step S6: shifting the frequency
  • the audio clock of the processed audio stream is assigned to the video clock of the decoded video stream and the assigned video clock is read; and step S7: the audio stream and the video stream are output.
  • the step S1 further comprises: setting a data amount threshold, if the data amount of the received multimedia source file is greater than the data amount threshold, starting to read the multimedia source file.
  • performing the shifting process on the audio stream in the step S5 comprises performing a shifting invariant process on the audio stream.
  • the video stream is decoded by using a graphics processor in the step S4.
  • the present invention provides an online video real-time variable speed playback system, the system comprising: a buffer module, a reading module, a separation module, a decoding module, an audio processing module, a synchronization module, and an output module.
  • the buffer module is used to receive the multimedia source file selected by the user.
  • a read module is operative to read the multimedia source file from the buffer module.
  • the separation module is configured to perform audio and video stream separation on the multimedia source file read by the reading module.
  • the decoding module is configured to separately decode the separated audio stream and video stream.
  • An audio processing module is configured to perform a shifting process on the audio stream.
  • the synchronization module is configured to assign an audio clock of the variable speed audio stream to a video clock of the decoded video stream and read the assigned video clock.
  • the output module is used to output an audio stream and a video stream.
  • the above system further comprises a parameter setting module.
  • the parameter setting module is connected to the buffer module and is used to set the data amount threshold. If the data amount of the multimedia source file received by the buffer module is greater than the data amount threshold, the reading module starts to read the multimedia source file in the buffer module.
  • the audio processing module performs a shifting process on the audio stream into a shift-invariant processing.
  • the decoding module includes an audio decoding module for decoding the audio stream and a video decoding module for decoding the video stream.
  • the video decoding module uses a graphics processor to decode the video stream.
  • the synchronization module comprises a clock evaluation module and a clock reading module.
  • the clock assignment module is used to assign the audio clock of the audio stream to the video clock, and the clock reading module reads the assigned video clock.
  • the line video real-time variable speed playing system and method of the present invention realizes synchronous adjustment of an audio stream and a video stream by assigning an audio clock of the speed-processed audio stream to a video clock of the decoded video stream.
  • the variable speed processing of audio and the synchronization control of audio and video are performed after audio and video decoding, and audio and video can still be realized after variable speed playback or random drag. Synchronous playback.
  • FIG. 1 is a schematic structural diagram of an online video real-time variable speed playback system according to the present invention.
  • FIG. 2 is a schematic flow chart of a method for real-time online video playback according to the present invention.
  • FIG. 1 is a schematic structural diagram of an online video real-time variable speed playing system according to an embodiment of the present invention.
  • the online video real-time variable speed playback system 10 includes a buffer module 11 , a reading module 12 , a separation module 13 , a decoding module 14 , an audio processing module 15 , a synchronization module 16 , and an output module 17 .
  • the buffer module 11 is configured to receive and cache a multimedia source file selected by the user online.
  • the reading module 12 is configured to read the multimedia source file from the buffer module 11.
  • the separation module 13 is configured to perform audio and video stream separation on the multimedia source file read by the reading module 12.
  • the decoding module 14 is configured to decode the separated audio stream or video stream.
  • the audio processing module 15 is for performing a shifting process on the audio stream.
  • the synchronization module 16 is configured to assign an audio clock of the audio stream after the variable speed processing to a video clock of the decoded video stream, and realize synchronous adjustment of the audio stream and the video stream.
  • the output module 17 is configured to output the synchronized adjusted audio stream and video stream.
  • the audio clock refers to the clock corresponding to the audio stream (also called timestamp, timestamp), which is used to indicate the rate of the audio stream and control the playback of the audio stream.
  • the video clock refers to the clock corresponding to the video stream, which is used to indicate Video stream rate And control the playback of the video stream.
  • the online video real time variable speed playback system 10 may further include a parameter setting module 110.
  • the parameter setting module 110 is configured to set a data amount threshold and transmit the data amount threshold to the buffer module 11. If the data amount of the multimedia source file received by the buffer module 11 is greater than the data amount threshold, the reading module 12 starts. Reading the multimedia source file in the buffer module.
  • the data volume threshold can be set to a value of 1 megabit or 512 kilobits.
  • the audio processing module 15 performs a shifting process on the audio stream, preferably a shift-invariant processing, that is, a processing method in which the speed of the original audio is made faster or slower as required without changing the level of the original pitch.
  • a shift-invariant processing that is, a processing method in which the speed of the original audio is made faster or slower as required without changing the level of the original pitch.
  • the algorithm for shifting the invariant tone can be realized, and since the present invention is not limited thereto, it will not be described herein.
  • the decoding module 14 further includes an audio decoding module 140 for decoding the audio stream and a video decoding module 141 for decoding the video stream.
  • the video decoding module 141 preferably decodes the video stream by using a graphics processing unit (GPU).
  • the existing video decoding usually uses a central processing unit (CPU) to perform video decoding processing.
  • CPU central processing unit
  • the performance will be greatly reduced in the actual operation, often the graphics card waits for the CPU data, and its operation speed can not keep up with the user's requirements.
  • using the CPU for decoding becomes more difficult.
  • the HD video stream mentioned here refers to video with a resolution higher than 1280x720.
  • Currently common HD video has 1920x1080 and 1280x720 resolutions.
  • the use of GPU decoding does not require a CPU-dependent decoding of the video through a dedicated device.
  • the GPU is suitable for both non-HD and HD video decoding.
  • the GPU decodes the HD video stream, the CPU usage is very low, so that the user can perform multi-tasking while watching the HD video, and the GPU is used to perform the HD video stream.
  • the power consumption of decoding is much lower than the power consumed by the CPU to decode high-definition video streams. That is to say, for high-definition video streams, if the GPU is used for decoding, the decoding efficiency will be greatly improved and the CPU usage will be reduced.
  • the synchronization module 16 includes a clock evaluation module 160 and a clock reading module 161.
  • the clock assignment module 160 is configured to assign an audio clock of the audio stream to the video clock, and the clock reading module 161 reads the assigned video clock.
  • the output module 17 includes an audio output module 170 for outputting an audio stream. And a video output module 171 for outputting a video stream.
  • the online video real-time variable speed playing method includes:
  • Step S1 Receive a multimedia source file selected by the user.
  • step S1 the multimedia source file (or multimedia data) is first read from the network, and the multimedia source file selected by the user online is received and stored by the buffer module 11. If the network speed is too slow to buffer, that is, the buffer module 11 cannot continuously read the multimedia source file from the network, the step will be stopped until the buffer module 11 reads enough multimedia source files from the network. .
  • the number of multimedia source files can be set.
  • a parameter amount threshold DT is set by the parameter setting module 110. If the data amount of the received multimedia source file is greater than the data amount threshold DT, the reading module 12 starts reading the multimedia source file from the buffer module 11. This avoids the problem that the variable speed playback fails after the online video playback is buffered.
  • the data volume threshold is a value of 1 megabit (Mbytes) or 512 kilobits (Kbytes).
  • Step S2 Read the multimedia source file.
  • step S2 the reading module 12 reads the multimedia source file from the buffer module 11 and transfers the multimedia source file to the separation module 13.
  • the multimedia source files referred to herein include video streams and audio streams.
  • Step S3 Perform audio and video stream separation on the multimedia source file.
  • step S3 the separation module 13 is connected to the reading module 12 for separating the audio and video streams of the multimedia source file read by the reading module 12, that is, separating the multimedia source file into an audio stream and a video stream. In order to process the audio stream and the video stream separately.
  • Step S4 Decode the separated audio stream or video stream.
  • step S4 the audio decoding module 140 and the video decoding module 141 in the decoding module 14 respectively decode the separated audio stream or video stream, that is, step S4 includes step S41: decoding the audio stream and step S42: Decode the video stream.
  • step S4 the decoding module 14 uses the GPU to decode the video stream to improve decoding efficiency and reduce CPU usage.
  • Step S5 Perform a shifting process on the audio stream.
  • the audio stream decoded by the decoding module 14 is subjected to the shift processing by the audio processing module 15.
  • performing the shifting process on the audio stream in step S5 comprises performing a shifting invariant process on the audio stream.
  • Step S6 assigning the audio clock of the audio stream after the shift processing to the video clock of the decoded video stream and reading the assigned video clock.
  • the audio clock has changed. For example, a length of 2 seconds of audio stream becomes 1 second after it becomes double speed. Assuming that the audio stream starts playing at ⁇ , then after the audio stream is played, the corresponding time should be ⁇ +2, but after twice the shift, the corresponding time becomes T+1, then the video clock of the corresponding video stream should also be changed accordingly to realize the variable speed playback of the video stream and the audio and video synchronization after the shift.
  • the video clock should be displayed as ⁇ +2 video frames.
  • the audio stream is double-shifted, when the audio stream starts playing, corresponding to the video frame whose video clock is displayed as ⁇ , after the audio stream is played, the original corresponding video clock is ⁇ +2 video frame, It should be displayed at time T+1. Therefore, the above problem can be solved by assigning the audio clock of the variable-speed audio stream to the video clock of the decoded video stream.
  • step S6 the audio processing module 15 delivers the audio stream after the shift processing to the synchronization module 16, and the synchronization module 16 assigns the audio clock of the audio stream after the shift processing to the video clock of the decoded video stream and reads the assigned value.
  • the video clock enables simultaneous adjustment of the audio stream and the video stream.
  • the clock assignment module 160 of the synchronization module 16 calculates the audio clock of the audio stream after the shift processing, and then assigns the audio clock to the video clock of the decoded video stream, and the clock reading module 161 reads the assigned video.
  • Clock which is used to control the playback of the video stream. For example, the example of the audio stream with the duration of 2 seconds is double-speed playback.
  • the video frame whose video clock is ⁇ +2 is to be performed at ⁇ +2 time.
  • the audio clock of the audio stream after the shift processing is assigned to the video clock of the decoded video stream, the video frame of the original corresponding video clock is ⁇ +2.
  • the +1 time is displayed, thereby realizing the synchronization of the video and the corresponding audio and video after the shift.
  • Step S7 Output an audio stream and a video stream.
  • step S7 the audio output module 170 and the video output module in the output module 17
  • the output of block 171 is the audio stream and the video stream that have been adjusted by synchronization, and the user sees the multimedia file synchronized with audio and video.
  • the line video real-time variable speed playing system and method of the present invention realizes synchronous adjustment of an audio stream and a video stream by assigning an audio clock of the speed-processed audio stream to a video clock of the decoded video stream.
  • the variable speed processing of the audio and the synchronization control of the audio and video are performed after the audio and video are decoded, and the synchronized playback of the audio and the video can still be realized after the variable speed playback or the random drag.
  • the storage medium may be a magnetic disk, an optical disk, a read-only memory (ROM), or a random access memory (RAM).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明提出一种在线视频实时变速播放方法，包括：步骤S1：接收用户选择的多媒体源文件；步骤S2：读取多媒体源文件；步骤S3：对多媒体源文件进行音视频流分离；步骤S4：对视频流和视频流分别进行解码；步骤S5：对音频流进行变速处理；步骤S6：将变速处理后的音频流的音频时钟赋值给解码后的视频流的视频时钟并读取赋值后的视频时钟；以及步骤S7：输出音频流与视频流。本发明还提出一种在线视频实时变速播放系统。本发明提出的在线视频实时变速播放方法及系统可以达到变速显示和音视频同步的目的。

Description

在线视频实时变速播放方法及系统 技术领域
本发明涉及网络多媒体技术， 尤其涉及一种在线视频实时变速播放方法 及系统。
背景技术
随着网络技术以及多媒体技术的发展， 网络多媒体正逐步成为人们生 活、 学习和工作中不可或缺的部分。 越来越多的用户选择通过网络在线观看 影片、 在线视频交流、 以及在线进修课程等。
在视频的播放过程中， 越来越多的用户希望能够按需求调节视频播放的 速度。 例如， 为了查找所需要的视频片段， 用户希望可以根据对视频内容的 需要进行快速播放； 在学习视频模仿口语动作的时候， 用户希望可以逐帧变 速播放， 以清晰了解动作的细节； 在学习视频中演员舞蹈动作的时候， 用户 需要进行变速播放， 纠正不正确的动作。 同时， 为了在视频变速播放的同时 听清楚声音， 用户提出了变速不变调的需求。
但是， 现有的在线视频播放系统当用户改变播放速度的时候都会有几秒 钟的响应延迟，表现为画面或者声音停滞，对于变速播放状态下的随机拖动， 音视频也难以同步， 需要等待几秒到十几秒的时间。
发明内容
本发明的目的在于， 克服现有在线视频实时播放系统所存在的缺陷， 而 提供一种新在线视频实时变速播放方法及系统， 可以达到变速显示和音视频 同步的目的。
本发明的目的及解决其技术问题是采用以下技术方案来实现的。
本发明提供一种在线视频实时变速播放方法， 所述方法包括： 步骤 S1 : 接收用户选择的多媒体源文件； 步骤 S2: 读取所述多媒体源文件； 步骤 S3 : 对所述多媒体源文件进行音视频流分离； 步骤 S4: 对分离后的音频流和视频 流分别进行解码； 步骤 S5: 对所述音频流进行变速处理； 步骤 S6: 将变速 处理后的音频流的音频时钟赋值给解码后的视频流的视频时钟并读取所述 赋值后的视频时钟； 以及步骤 S7: 输出音频流与视频流。
优选地， 所述步骤 S 1 进一步包括： 设置数据量阈值， 如果所接收到的 多媒体源文件的数据量大于所述数据量阈值， 则开始读取所述多媒体源文 件。
优选地， 所述步骤 S5 中对所述音频流进行变速处理包括对所述音频流 进行变速不变调处理。
优选地， 所述步骤 S4中采用图形处理器对所述视频流进行解码。
本发明提供一种在线视频实时变速播放系统，所述系统包括：緩冲模块、 读取模块、 分离模块、 解码模块、 音频处理模块、 同步模块、 输出模块。 緩 冲模块用于接收用户选择的多媒体源文件。 读取模块用于从所述緩冲模块中 读取所述多媒体源文件。 分离模块用于对所述读取模块所读取的多媒体源文 件进行音视频流分离。 解码模块用于对分离后的音频流和视频流分别进行解 码。 音频处理模块用于对所述音频流进行变速处理。 同步模块用于将变速处 理后的音频流的音频时钟赋值给解码后的视频流的视频时钟并读取所述赋 值后的视频时钟。 输出模块用于输出音频流与视频流。
优选地， 上述系统进一步包括参数设置模块。 参数设置模块与緩冲模块 相连， 用于设置数据量阈值。 如果所述緩冲模块所接收到的多媒体源文件的 数据量大于数据量阈值， 则读取模块开始读取緩冲模块中的多媒体源文件。
优选地， 音频处理模块对音频流进行变速处理为变速不变调处理。
优选地， 解码模块包括用于解码音频流的音频解码模块以及用于解码视 频流的视频解码模块。
优选地， 视频解码模块采用图形处理器对视频流进行解码。
优选地， 同步模块包括时钟赋值模块与时钟读取模块。 时钟赋值模块用 于将音频流的音频时钟赋值给视频时钟， 时钟读取模块读取赋值后的视频时 钟。
综上所述， 本发明的线视频实时变速播放系统及方法通过将变速处理后 的音频流的音频时钟赋值给解码后的视频流的视频时钟实现对音频流与视 频流的同步调整， 将对音频的变速处理以及音视频的同步控制设置在音视频 解码后进行， 实现在变速播放、 或者随机拖动后， 仍然可以实现音频与视频 的同步播放。
上述说明仅是本发明技术方案的概述， 为了能够更清楚了解本发明的技 术手段， 而可依照说明书的内容予以实施， 并且为了让本发明的上述和其它 特征和优点能够更明显易懂， 以下特举实施例， 并配合附图， 详细说明如下。
附图概述
图 1为本发明所揭示的在线视频实时变速播放系统的结构示意图。
图 2为本发明所揭示的在线视频实时变速播放方法的流程示意图。
本发明的较佳实施方式
为更进一步阐述本发明所采取的技术手段及功效， 以下结合附图及较佳 实施例， 对依据本发明提出的在线视频实时变速播放方法及系统的具体实施 方式、 结构、 特征及其功效， 详细说明如下：
有关本发明的前述及其它技术内容、 特点及功效， 在以下配合参考图式 的较佳实施例的详细说明中将可清楚呈现。 通过具体实施方式的说明， 当可 对本发明所采取的技术手段及功效得以更加深入且具体的了解， 然而所附图 式仅是提供参考与说明之用， 并非用来对本发明加以限制。
图 1 为本发明实施例所揭示的在线视频实时变速播放系统的结构示意 图。 请参照图 1 , 于本实施例中， 在线视频实时变速播放系统 10包括緩冲模 块 11、 读取模块 12、 分离模块 13、 解码模块 14、 音频处理模块 15、 同步模 块 16以及输出模块 17。 其中， 緩冲模块 11用于接收并緩存用户在线选择的 多媒体源文件。 读取模块 12用于从緩冲模块 11中读取多媒体源文件。 分离 模块 13用于对读取模块 12所读取的多媒体源文件进行音视频流分离。 解码 模块 14用于对分离后的音频流或视频流进行解码。 音频处理模块 15用于对 音频流进行变速处理。 同步模块 16用于将变速处理后的音频流的音频时钟 赋值给解码后的视频流的视频时钟， 实现对音频流与视频流的同步调整。 输 出模块 17用于输出同步调整后的音频流与视频流。 音频时钟指的是音频流 所对应的时钟（亦称为时间戳， timestamp), 用来表示音频流的速率并控制音 频流的播放； 视频时钟指的是视频流所对应的时钟， 用来表示视频流的速率 并控制视频流的播放。
于本实施例中， 在线视频实时变速播放系统 10可进一步包括参数设置 模块 110。 参数设置模块 110用于设置数据量阈值并将数据量阈值传输给緩 冲模块 11 , 如果緩冲模块 11所接收到的多媒体源文件的数据量大于所述数 据量阈值， 则读取模块 12开始读取所述緩冲模块中的多媒体源文件。 数据 量阈值可以设置为 1兆比特或者 512千比特等数值。
于本实施例中， 音频处理模块 15对音频流进行变速处理优选为变速不 变调处理， 即将原来音频的速度按要求变快或者变慢， 而不改变原来音调的 高低的一种处理方法。 目前可以实现变速不变调的算法^ ί艮多， 由于本发明并 不以此为限， 因此这里不再赘述。
于本实施例中， 解码模块 14进一步包括用于对音频流进行解码的音频 解码模块 140以及对视频流进行解码的视频解码模块 141。 于本实施例中， 视频解码模块 141优选采用图形处理器 (Graphic Processing Unit, 简称 GPU) 对所述视频流进行解码。 现有的视频解码通常都是通过软件让中央处理器 (Central Processing Unit, CPU)进行视频解码处理， 但是由于 CPU的任务繁 多， 除了解码之外， 还要做内存管理、 输入响应等其他工作， 因此在实际运 算的时候性能会大打折扣， 常常出现显卡等待 CPU数据的情况， 其运算速 度远跟不上用户的要求。 在加上现在高清视频已经很普遍， 使用 CPU进行 解码变得更加吃力。 这里所说的高清视频流指的是分辨率高于 1280x720 的 视频。目前常见的高清视频有 1920x1080和 1280x720两种分辨率。采用 GPU 解码不需要依赖于 CPU, 通过专用的设备单独完成视频解码。 而且 GPU同 时适用于非高清与高清视频解码， 在 GPU对高清视频流进行解码时， CPU 占用率很低， 使得用户可以在观看高清视频的同时进行多任务操作， 而且利 用 GPU对高清视频流进行解码的功耗远低于利用 CPU对高清视频流进行解 码所耗费的功耗。 也就是说， 对于高清视频流， 如果使用 GPU进行解码， 将大大提高解码效率， 降低 CPU的使用率。
于本实施例中，同步模块 16包括时钟赋值模块 160与时钟读取模块 161。 所述时钟赋值模块 160用于将音频流的音频时钟赋值给视频时钟， 所述时钟 读取模块 161读取赋值后的视频时钟。
于本实施例中， 输出模块 17 包括用于输出音频流的音频输出模块 170 与用于输出视频流的视频输出模块 171。
图 2为本发明所揭示的在线视频实时变速播放方法的流程示意图。 下面 将结合图 1及图 2具体说明本发明的在线视频实时变速播放系统是如何进行 工作的。 请参照图 1及图 2, 于本实施例中， 在线视频实时变速播放方法包 括：
步骤 S1 : 接收用户选择的多媒体源文件。
于步骤 S1中， 首先从网络读取多媒体源文件 (或称为多媒体数据)， 用户 在线选择的多媒体源文件被緩冲模块 11 接收并存放。 如果是网速过慢陷入 緩冲， 也就是緩冲模块 11 无法连续的从网络读取多媒体源文件， 则将一直 停止于此步骤， 直到緩冲模块 11 从网络读取到足够的多媒体源文件。 多媒 体源文件的多少可以设置。 例如通过参数设置模块 110设置一数据量阈值 DT, 如果所接收到的多媒体源文件的数据量大于所述数据量阈值 DT, 则读 取模块 12开始由緩冲模块 11中读取多媒体源文件。 这样就可以避免在线视 频播放陷入緩冲后， 变速播放失效的问题。 优选的， 所述数据量阈值为 1兆 比特 (Mbytes)或者 512千比特 (Kbytes)等数值。
步骤 S2: 读取所述多媒体源文件。
于步骤 S2中， 读取模块 12由緩冲模块 11 中读取多媒体源文件并将多 媒体源文件传送至分离模块 13。这里所说的多媒体源文件包括视频流以及音 频流。
步骤 S3: 对多媒体源文件进行音视频流分离。
于步骤 S3中， 分离模块 13与读取模块 12相连， 用于对读取模块 12所 读取的多媒体源文件进行音视频流分离， 也就是说将多媒体源文件分离为音 频流与视频流， 以便对音频流与视频流分别加以处理。
步骤 S4: 对分离后的音频流或视频流进行解码。
于步骤 S4中，解码模块 14中的音频解码模块 140以及视频解码模块 141 对分离后的音频流或视频流分别进行解码， 也就是说步骤 S4包括步骤 S41： 对音频流进行解码以及步骤 S42: 对视频流进行解码。 优选的， 在步骤 S4 中， 解码模块 14采用 GPU对所述视频流进行解码， 以提高解码效率， 降低 CPU的使用率。
步骤 S5: 对所述音频流进行变速处理。 于步骤 S5中， 经解码模块 14解码后的音频流通过音频处理模块 15进 行变速处理。 优选的， 步骤 S5 中对音频流进行变速处理包括对所述音频流 进行变速不变调处理。
步骤 S6:将变速处理后的音频流的音频时钟赋值给解码后的视频流的视 频时钟并读取赋值后的视频时钟。
音频流经变速处理后， 其对应的时钟发生了改变， 也就是音频时钟发生 了改变。 例如， 一段长度为 2秒的音频流在变成两倍速播放后， 其长度变为 1秒。 假设该音频流开始播放的时钟为 Τ, 那么在没有变速的情况下， 播放 完这段音频流后， 其对应时间应该为 Τ+2, 但在两倍变速后， 其对应时间就 变成了 T+1 , 那么与其对应的视频流的视频时钟也应该相应的改变才能实现 视频流的变速播放以及变速后的音视频同步。 例如， 在没有变速的情况下， 对于一段长度为 2秒的音频， 在音频播放开始时， 对应显示视频时钟为 Τ的 视频帧， 在这段音频流播放完后， 就应该显示视频时钟为 Τ+2的视频帧。 在 音频流两倍变速后，在音频流播放开始时，对应显示视频时钟为 Τ的视频帧， 那么在这段音频流播放完后， 其原本对应的视频时钟为 Τ+2的视频帧， 就应 该在 T+1时间显示了。 因此， 将变速处理后的音频流的音频时钟赋值给解码 后的视频流的视频时钟即可解决上述问题。
于步骤 S6中， 音频处理模块 15将变速处理后的音频流输送至同步模块 16, 同步模块 16将变速处理后的音频流的音频时钟赋值给解码后的视频流 的视频时钟并读取赋值后的视频时钟， 实现对音频流与视频流的同步调整。 具体的， 同步模块 16的时钟赋值模块 160通过计算得到变速处理后的音频 流的音频时钟， 然后把音频时钟赋值给解码后的视频流的视频时钟， 时钟读 取模块 161读取赋值后的视频时钟， 利用此时钟来控制视频流的播放。 以上 述时长为 2秒的音频流两倍变速播放的例子为例， 原本该段变速后的音频流 播放完后， 其对应的视频时钟为 Τ+2的视频帧要在 Τ+2时间才进行显示，但 在本发明实施例中， 由于变速处理后的音频流的音频时钟被赋值给解码后的 视频流的视频时钟， 因此， 原本对应的视频时钟为 Τ+2的视频帧的就在 T+1 时间显示了， 从而实现了视频的相应变速和变速后音视频的同步。
步骤 S7: 输出音频流与视频流。
最后在步骤 S7中， 输出模块 17中的音频输出模块 170以及视频输出模 块 171输出的分别是已经通过同步调整后的音频流和视频流， 此时用户看到 的是音频和视频同步的多媒体文件。
对于每一个音频或者视频帧， 都重复以上操作流程。
综上所述， 本发明的线视频实时变速播放系统及方法通过将变速处理后 的音频流的音频时钟赋值给解码后的视频流的视频时钟实现对音频流与视 频流的同步调整， 将对音频的变速处理以及音视频的同步控制设置在音视频 解码后进行， 实现在变速播放、 或者随机拖动后， 仍然可以实现音频与视频 的同步播放。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流 程， 是可以通过计算机程序来指令相关的硬件来完成， 所述的程序可存储于 一计算机可读取存储介质中， 该程序在执行时， 可包括如上述各方法的实施 例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（ Read-Only Memory, ROM )或随机存^ ^己忆体 ( Random Access Memory, RAM )等。
以上所述， 仅是本发明的实施例而已， 并非对本发明作任何形式上的限 制， 虽然本发明已以实施例揭露如上， 然而并非用以限定本发明， 任何熟悉 本专业的技术人员， 在不脱离本发明技术方案范围内， 当可利用上述揭示的 技术内容作出些许更动或修饰为等同变化的等效实施例， 但凡是未脱离本发 改、 等同变化与修饰， 均仍属于本发明技术方案的范围内。

Claims

权 利 要 求 书
1. 一种在线视频实时变速播放方法， 其特征在于， 所述方法包括： 步骤 S1 : 接收用户选择的多媒体源文件；
步骤 S2: 读取所述多媒体源文件；
步骤 S3 : 对所述多媒体源文件进行音视频流分离；
步骤 S4: 对分离后的音频流和视频流分别进行解码；
步骤 S5: 对所述音频流进行变速处理；
步骤 S6:将变速处理后的音频流的音频时钟赋值给解码后的视频流的视 频时钟并读取所述赋值后的视频时钟； 以及
步骤 S7: 输出音频流与视频流。
2. 如权利要求 1所述的在线视频实时变速播放方法， 其特征在于， 所述 步骤 S1 进一步包括： 设置数据量阈值， 如果所接收到的多媒体源文件的数 据量大于所述数据量阈值， 则开始读取所述多媒体源文件。
3. 如权利要求 1所述的在线视频实时变速播放方法， 其特征在于， 所述 步骤 S5 中对所述音频流进行变速处理包括对所述音频流进行变速不变调处 理。
4. 如权利要求 1所述的在线视频实时变速播放方法， 其特征在于， 所述 步骤 S4中采用图形处理器对所述视频流进行解码。
5. 一种在线视频实时变速播放系统， 其特征在于， 所述系统包括： 緩冲模块， 用于接收用户选择的多媒体源文件；
读取模块， 用于从所述緩冲模块中读取所述多媒体源文件；
分离模块， 用于对所述读取模块所读取的多媒体源文件进行音视频流分 离；
解码模块， 用于对分离后的音频流和视频流分别进行解码；
音频处理模块， 用于对所述音频流进行变速处理；
同步模块， 用于将变速处理后的音频流的音频时钟赋值给解码后的视频 流的视频时钟并读取所述赋值后的视频时钟； 以及
输出模块， 用于输出音频流与视频流。
6. 如权利要求 5所述的在线视频实时变速播放系统，进一步包括参数设 置模块， 所述参数设置模块用于设置数据量阈值并将数据量阈值传输给緩冲 模块， 如果所述緩冲模块所接收到的多媒体源文件的数据量大于所述数据量 阈值， 则所述读取模块开始读取所述緩冲模块中的多媒体源文件。
7. 如权利要求 5所述的在线视频实时变速播放系统， 其特征在于， 所述 音频处理模块对所述音频流进行变速处理为变速不变调处理。
8. 如权利要求 5所述的在线视频实时变速播放系统， 其特征在于， 所述 解码模块包括用于解码所述音频流的音频解码模块以及用于解码所述视频 流的视频解码模块。
9. 如权利要求 8所述的在线视频实时变速播放系统， 其特征在于， 所述 视频解码模块采用图形处理器对所述视频流进行解码。
10. 如权利要求 5所述的在线视频实时变速播放系统， 其特征在于， 所 述同步模块包括时钟赋值模块与时钟读取模块， 所述时钟赋值模块用于将所 述音频流的音频时钟赋值给视频时钟， 所述时钟读取模块读取赋值后的视频 时钟。
1 1 . 一个或多个包含计算机可执行指令的存储介质， 所述计算机可执行 指令用于执行一种在线视频实时变速播放方法， 其特征在于， 所述方法包括 以下步骤：
步骤 S1 : 接收用户选择的多媒体源文件；
步骤 S2: 读取所述多媒体源文件；
步骤 S3 : 对所述多媒体源文件进行音视频流分离；
步骤 S4: 对分离后的音频流和视频流分别进行解码；
步骤 S5: 对所述音频流进行变速处理；
步骤 S6:将变速处理后的音频流的音频时钟赋值给解码后的视频流的视 频时钟并读取所述赋值后的视频时钟； 以及
步骤 S7: 输出音频流与视频流。
PCT/CN2013/076544 2012-06-08 2013-05-31 在线视频实时变速播放方法及系统 WO2013182011A1 (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US14/376,684 US20150109529A1 (en) 2012-06-08 2013-05-31 Method and system of playing real time online video at variable speed
KR20147027556A KR20140145584A (ko) 2012-06-08 2013-05-31 재생속도 변경이 가능한 실시간 온라인 비디오 재생 방법 및 시스템
CA2863733A CA2863733C (en) 2012-06-08 2013-05-31 Method and system of playing online video at a speed variable in real time
JP2015502086A JP2015515198A (ja) 2012-06-08 2013-05-31 オンラインビデオのリアルタイム可変速再生方法及びシステム
AU2013271232A AU2013271232A1 (en) 2012-06-08 2013-05-31 Method and system of playing real time online video at variable speed
EP13801365.1A EP2806652A4 (en) 2012-06-08 2013-05-31 METHOD AND SYSTEM FOR PLAYING REAL TIME ONLINE VIDEO CONTENT WITH VARIABLE SPEED

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210188519.8 2012-06-08
CN201210188519.8A CN103475927B (zh) 2012-06-08 2012-06-08 在线视频实时变速播放方法及系统

Publications (1)

Publication Number Publication Date
WO2013182011A1 true WO2013182011A1 (zh) 2013-12-12

Family

ID=49711360

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/076544 WO2013182011A1 (zh) 2012-06-08 2013-05-31 在线视频实时变速播放方法及系统

Country Status (8)

Country Link
US (1) US20150109529A1 (zh)
EP (1) EP2806652A4 (zh)
JP (1) JP2015515198A (zh)
KR (1) KR20140145584A (zh)
CN (1) CN103475927B (zh)
AU (1) AU2013271232A1 (zh)
CA (1) CA2863733C (zh)
WO (1) WO2013182011A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9503847B2 (en) * 2015-04-23 2016-11-22 Htc Corporation Electronic apparatus, uploading method and non-transitory computer readable storage medium thereof
CN105208426B (zh) * 2015-09-24 2018-07-06 福州瑞芯微电子股份有限公司 一种音视频同步变速的方法及系统
CN105635797A (zh) * 2015-12-25 2016-06-01 深圳市路通网络技术有限公司 一种视频播控方法、中间件及系统
CN105808336A (zh) * 2016-03-08 2016-07-27 广州爱九游信息技术有限公司 运行应用程序的计算设备、装置和方法
CN107710754B (zh) * 2016-05-06 2020-02-21 华为技术有限公司 音视频数据同步方法和装置
CN107484009A (zh) * 2017-09-12 2017-12-15 上海脉淼信息科技有限公司 一种适用于网络直播的流媒体播放方法和装置
CN108282689A (zh) * 2017-12-07 2018-07-13 上海悠络客电子科技股份有限公司 一种互联网监控在网络抖动下做到最小延时并能流畅播放的方法
CN109963184B (zh) * 2017-12-14 2022-04-29 阿里巴巴集团控股有限公司 一种音视频网络播放的方法、装置以及电子设备
CN108366299A (zh) * 2018-03-29 2018-08-03 上海七牛信息技术有限公司 一种媒体播放方法以及装置
CN111031338B (zh) * 2019-12-17 2021-09-28 杭州当虹科技股份有限公司 一种改善在线信源速率异常的方法
CN112911376A (zh) * 2021-02-01 2021-06-04 华录智达科技股份有限公司 一种基于实时视频播放流畅的播放方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1893661A (zh) * 2005-06-30 2007-01-10 马平 一种用于低倍速cpu的音视频信号处理方法
CN101106723A (zh) * 2007-07-10 2008-01-16 中国传媒大学 一种快速播放多媒体信息的系统和方法
CN101453655A (zh) * 2007-11-30 2009-06-10 深圳华为通信技术有限公司 用户可控的音视频同步调节的方法、系统和设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5583652A (en) * 1994-04-28 1996-12-10 International Business Machines Corporation Synchronized, variable-speed playback of digitally recorded audio and video
WO2003034725A1 (fr) * 2001-10-18 2003-04-24 Matsushita Electric Industrial Co., Ltd. Appareil et procede de reproduction video/audio, programme et support correspondants
FR2849328A1 (fr) * 2002-12-20 2004-06-25 St Microelectronics Sa Procede et dispositif de synchronisation de la presentation de trames audio et/ou de trames video
JP2005303783A (ja) * 2004-04-14 2005-10-27 Nippon Telegr & Teleph Corp <Ntt> ストリーム再生方法とそのプログラム
US8032360B2 (en) * 2004-05-13 2011-10-04 Broadcom Corporation System and method for high-quality variable speed playback of audio-visual media
CN100382594C (zh) * 2004-05-27 2008-04-16 扬智科技股份有限公司 影音信号快进播放方法
JP2006134271A (ja) * 2004-11-09 2006-05-25 Toshiba Corp 再生装置
US8446963B2 (en) * 2006-07-12 2013-05-21 Mediatek Inc. Method and system for synchronizing audio and video data signals
JP5325059B2 (ja) * 2009-09-14 2013-10-23 日本放送協会 映像音声同期再生装置、映像音声同期処理装置、映像音声同期再生プログラム
CN102271280A (zh) * 2011-07-20 2011-12-07 宝利微电子系统控股公司 一种数字音视频变速播放的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1893661A (zh) * 2005-06-30 2007-01-10 马平 一种用于低倍速cpu的音视频信号处理方法
CN101106723A (zh) * 2007-07-10 2008-01-16 中国传媒大学 一种快速播放多媒体信息的系统和方法
CN101453655A (zh) * 2007-11-30 2009-06-10 深圳华为通信技术有限公司 用户可控的音视频同步调节的方法、系统和设备

Also Published As

Publication number Publication date
KR20140145584A (ko) 2014-12-23
CA2863733A1 (en) 2013-12-12
EP2806652A4 (en) 2015-07-29
CA2863733C (en) 2020-07-14
US20150109529A1 (en) 2015-04-23
EP2806652A1 (en) 2014-11-26
AU2013271232A1 (en) 2014-09-04
CN103475927B (zh) 2015-04-08
CN103475927A (zh) 2013-12-25
JP2015515198A (ja) 2015-05-21

Similar Documents

Publication Publication Date Title
WO2013182011A1 (zh) 在线视频实时变速播放方法及系统
US10930318B2 (en) Gapless video looping
EP3598761B1 (en) Method and device for synthesizing audio and video data stream
US10992451B2 (en) Audio and video playback system and method for playing audio data applied thereto
CN104780422B (zh) 流媒体播放方法及流媒体播放器
WO2019047956A1 (zh) 一种提高图像流畅度的方法及装置
EP3644614A1 (en) Video data processing method and video data processing device
WO2017101412A1 (zh) 用于安卓平台的播放方法、装置及移动终端设备
KR20130085831A (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
TWI663875B (zh) 視頻處理方法及其裝置
JP6275506B2 (ja) コンテンツ出力装置
CN114710702A (zh) 一种视频的播放方法和装置
CN106331820A (zh) 音视频的同步处理方法和装置
US20080075175A1 (en) Information processing apparatus and method
CN112118473B (zh) 视频弹幕显示方法、装置、计算机设备及可读存储介质
CN112770164A (zh) 一种视频同步播放方法
WO2023115414A1 (zh) 数据处理方法、视频播放系统及终端设备和存储介质
JP2016174273A (ja) 画像処理装置、画像処理システム、及び、プログラム
JP2012084972A (ja) Ｍｘｆ処理装置
WO2016107116A1 (zh) 交互式网络电视的播放控制方法、装置及计算机存储介质
CN117979086A (zh) 一种播放方法、装置和电子设备
CN115604238A (zh) 物联网操作系统的音视频处理方法、装置、设备和介质
JP2020145585A (ja) 同期化装置、同期化方法及びプログラム
JP2005236641A (ja) 再生方法
JP2008053828A (ja) 画像再生装置およびその方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13801365

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2013801365

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013801365

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2863733

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 14376684

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2013271232

Country of ref document: AU

Date of ref document: 20130531

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2015502086

Country of ref document: JP

Kind code of ref document: A

Ref document number: 20147027556

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE