WO2018188168A1 - 基于Html5的音视频播放方法及装置、音视频直播方法及系统 - Google Patents

基于Html5的音视频播放方法及装置、音视频直播方法及系统 Download PDF

Info

Publication number
WO2018188168A1
WO2018188168A1 PCT/CN2017/085428 CN2017085428W WO2018188168A1 WO 2018188168 A1 WO2018188168 A1 WO 2018188168A1 CN 2017085428 W CN2017085428 W CN 2017085428W WO 2018188168 A1 WO2018188168 A1 WO 2018188168A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio
format
video data
html5
video
Prior art date
Application number
PCT/CN2017/085428
Other languages
English (en)
French (fr)
Inventor
姜宇鹏
蔡龙师
刘珠清
吴韶彬
Original Assignee
网宿科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 网宿科技股份有限公司 filed Critical 网宿科技股份有限公司
Priority to US16/060,790 priority Critical patent/US11259096B2/en
Priority to EP17894675.2A priority patent/EP3416400A4/en
Publication of WO2018188168A1 publication Critical patent/WO2018188168A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8193—Monomedia components thereof involving executable data, e.g. software dedicated tools, e.g. video decoder software or IPMP tool
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种基于Html5的音视频播放方法及装置、音视频直播方法及系统，属于互联网流媒体技术领域。其中，基于Html5的音视频播放方法包括如下步骤：根据播放场景，下载所述播放场景下的音视频数据；对所述音视频数据进行格式转换；将格式转换后的所述音视频数据加载至Html5播放器。本发明通过将flv等音视频格式转换为Html5播放器支持的播放格式，实现了Html5播放器播放flv等音视频格式的功能，拓宽了Html5播放器对flv等音视频格式的兼容性；同时，在直播场景中，利用Html5播放器直接播放flv等音视频格式的音视频数据，替代了HLS协议，进而解决了采用HLS协议带来的直播时延大的问题。

Description

基于Html5的音视频播放方法及装置、音视频直播方法及系统 技术领域
本发明涉及互联网流媒体技术领域，尤其涉及一种基于Html5的音视频播放方法及装置、音视频直播方法及系统。
背景技术
Html5(Hyper Text Markup Language，超文本标记语言)是一个基于浏览器的协作标准，可以让各种不同的素材在浏览器中流畅运行。随着Flash的没落，Html5的崛起，很多浏览器逐渐减少了对Flash的支持，很多视频网站也逐步用Html5播放器取代Flash播放器。
目前所有最新版本的主流浏览器都能够支持Html5播放器，但是Html5播放器用于音视频播放的video标签只支持mp4、webm和ogg三种格式，而对音视频行业主流的flv格式并不直接支持，进而带来以下问题：
对于音视频点播业务，如果采用Html5播放器，则需要视频提供商将大量的存量flv文件转换为mp4文件，否则无法正常兼容；
对于音视频直播业务，由于mp4格式特殊的文件结构而不适用于直播，因而目前主流的方案为采用HLS(Http Live Streaming，动态码率自适应技术)协议，实现流媒体文件在Html5播放器上的直播，但是采用HLS协议会带来时延大的问题。
发明内容
为了解决现有技术的问题，本发明实施例提供了一种基于Html5的音视频播放方法及装置、音视频直播方法及系统。所述技术方案如下：
一方面，提供了一种基于Html5的音视频播放方法，包括如下步骤：
根据播放场景，下载所述播放场景下的音视频数据；
对所述音视频数据进行格式转换；
将格式转换后的所述音视频数据加载至Html5播放器。
进一步的，所述根据播放场景，下载所述播放场景下的音视频数据的步骤具体为：
在点播场景下，根据XMLHttpRequest协议下载所述音视频数据。
进一步的，所述根据播放场景，下载所述播放场景下的音视频数据的步骤具体为：
在直播场景下，根据Websocket协议下载所述音视频数据。
进一步的，所述对所述音视频数据进行格式转换的步骤具体包括：
识别所述音视频数据的格式，并判断所述音视频数据的格式是否为Html5播放器的支持格式；
将不是Html5播放器支持格式的所述音视频数据的格式转换为Html5播放器的支持格式。
进一步的，所述音视频数据的格式至少包括flv格式。
另一方面，提供了一种音视频直播方法，包括所述的基于Html5的音视频播放方法。
再一方面，提供了一种基于Html5的音视频播放装置，包括：
下载模块，用于根据播放场景，下载所述播放场景下的音视频数据；
格式转换模块，用于对所述音视频数据进行格式转换；
加载模块，用于将格式转换后的所述音视频数据加载至Html5播放器。
进一步的，所述下载模块包括第一下载子模块，所述第一下载子模块用于在点播场景下，根据XMLHttpRequest协议下载所述音视频数据。
进一步的，所述下载模块还包括第二下载子模块，所述第二下载子模块用于在直播场景下，根据Websocket协议下载所述音视频数据。
进一步的，所述格式转换模块包括判断子模块和转换子模块；
所述判断子模块，用于识别所述音视频数据的格式，并判断所述音视频数据的格式是否为Html5播放器的支持格式；
所述转换子模块，用于将不是Html5播放器支持格式的所述音视频数据的格式转换为Html5播放器的支持格式。
进一步的，所述音视频数据的格式至少包括flv格式。
再一方面，提供了一种音视频直播系统，包括所述的基于Html5的音视频播放装置。
本发明实施例提供的技术方案带来的有益效果是：
通过将flv等音视频格式转换为Html5播放器支持的播放格式，实现了Html5播放器播放flv等音视频格式的功能，拓宽了Html5播放器对flv等音视频格式的兼容性。同时，在直播场景中，利用Html5播放器直接播放flv等音视频格式的音视频数据，替代了HLS协议，进而解决了采用HLS协议带来的直播时延大的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的基于Html5的音视频播放方法流程图；
图2是本发明实施例一提供的步骤S102的详细子步骤流程图；
图3是本发明实施例一提供的另一种基于Html5的音视频播放方法流程图；
图4是本发明实施例二提供的基于Html5的音视频播放装置示意图；
图5是本发明实施例二提供的下载模块示意图；
图6是本发明实施例二提供的格式转换模块示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一
本发明实施例提供了一种基于Html5的音视频播放方法，参见图1，包括如下步骤：
S101：根据播放场景，下载所述播放场景下的音视频数据。
现有的播放场景包括点播场景和直播场景。其中，点播场景是指在各种播放器上播放已经录制好的音视频数据，这些音视频数据存储在各类服务器上，播放器通过从各类服务器上下载这些音视频数据，进行音视频播放。直播场景 是指边录边播，由于直播内在的实时性要求，因而对时延的要求很高。
在本实施例中，对于点播和直播两种不同的播放场景，需要选择不同的数据传输协议来下载音视频数据。
在点播场景下，根据http协议下载所述音视频数据，在本实施例中采用XMLHttpRequest协议下载所述音视频数据。
具体而言，XMLHttpRequest协议是一个能够在javaScript、VbScript和Jscript等脚本语言中使用的一种协议，浏览器利用它异步向服务器发送请求，获得从服务器返回的响应，并且能够在不向服务器提交整个页面的情况下，实现网页的局部更新，当页面全部加载完毕后，浏览器向服务器请求数据，服务器端接受数据请求并处理后，向浏览器反馈数据。
在直播场景下，可以根据Websocket协议下载所述音视频数据。
具体而言，WebSocket协议是HTML5下的一种新的协议，它实现了浏览器与服务器全双工通信，能够更好的节省服务器资源和带宽，并且实现实时通讯，促进直播的发展。
需要说明的是，本发明实施例可以具有单独实现点播场景或者直播场景下的音视频播放的功能，还可以同时具有实现点播场景和直播场景下的音视频播放的功能。并且，根据XMLHttpRequest协议或者WebSocket协议下载音视频数据时，能够下载的音视频数据的格式包括很多，例如flv、avi和mkv等格式，在此对其不做限定。
S102：对所述音视频数据进行格式转换。
由于现有Html5播放器支持的播放格式只有mp4、webm和ogg三种格式，并且不同的浏览器只支持这三种格式中的某几种，例如IE浏览器只支持mp4格式，Firefox浏览器支持webm和ogg格式，Chrome浏览器支持mp4、webm和ogg这三种格式，因而需要对不是这三种格式的音视频数据进行处理，达到Html5播放器能够播放其他格式的音视频的目的。
参见图2，在本实施例中，对所述音视频数据进行格式转换的步骤S102具体包括S1021-S1022两个子步骤。
S1021：识别所述音视频数据的格式，并判断所述音视频数据的格式是否为Html5播放器的支持格式。
在本实施例中，首先对下载的音视频数据进行解析，以获取音视频数据的 格式，例如通过解析音视频数据的数据包的包头，识别该音视频数据的格式。然后判断该音视频数据的格式是否为Html5播放器的支持格式，如果该音视频数据的格式不是mp4、webm和ogg格式，例如该音视频数据的格式为flv格式，则该音视频数据的格式不是Html5播放器的支持格式。
S1022：将不是Html5播放器支持格式的所述音视频数据的格式转换为Html5播放器的支持格式。
在本实施例中，在通过步骤S1021确定所述音视频数据的格式不是Html5播放器的支持格式后，需要确定所要转换成的格式是mp4、webm和ogg中的哪一种，可以根据浏览器的类型进行确定，例如IE浏览器只支持mp4格式，此时，只能够转换为mp4格式。例如Chrome浏览器支持mp4、webm和ogg这三种格式，此时，由于mp4格式应用的广泛性，优先选用mp4格式，当然，也可以根据设定的mp4、webm和ogg三种格式中的某一种进行格式转换。
在本实施例中，所述音视频数据的格式至少包括flv格式。当然，所述音视频数据的格式还可以是avi、mkv等其他格式。下面以flv格式转换为mp4格式为例对转换过程进行具体说明。
首先对flv音视频数据进行解析，获取flv音视频的各项参数，解析过程具体包括以下步骤：
首先，解析flv的script tag，获取关键帧信息；
之后，解析flv的video tag中的AVCDecoderConfigurationRecord，获取视频的宽、高、lengthSizeMinusOne、sps、pps和codec；
之后，解析flv的video tag中的AVC NALU，获取视频帧中的视频数据，同时解析video tag，获取视频帧的时间戳，按照上述视频解析产物将视频数据和时间戳封装成特定视频结构，用于转换成mp4格式数据；
之后，解析flv的audio tag中的AudioSpecificConfig，获取音频的channelCount、samplerate和config；
最后，解析flv的audio tag中的Raw AA frame data，获取音频帧的音频数据及时间戳，并按照上述音频解析产物将音频数据及时间戳封装成特定音频结构，用于转换成mp4格式数据。
待上述各解析步骤完成后，将上述特定视频结构和特定音频结构封装成结构体，根据转换要求，将上述结构体转换为mp4格式的音视频数据。
S103：将格式转换后的所述音视频数据加载至Html5播放器。
在本实施例中，经过步骤S101和S102的音视频下载和格式转换处理，音视频数据已能够被Html5播放器播放。此时，需要将格式转换后的所述音视频数据加载至Html5播放器。
具体而言，将格式转换后的音视频数据加载至Html5播放器进行播放的加载过程具体为：
首先，创建mediaSource，并将mediaSource和video元素进行关联；
其次，为mediaSource创建audioSourceBuffer和videoSourceBuffer，用于添加音视频数据；
最后，创建audioSegments和videoSegments，分别用于存放格式转换后音视频数据中的音频数据和视频数据，并在合适的时候添加到audioSourceBuffer和videoSourceBuffer中，完成加载过程。
需要说明的是，在加载过程中，必要的时候需要进行缓存控制，避免占用太多内存，影响播放效果。同时，为了确保从关键帧开始播放，提升体验效果，还可以添加视频进度条实现拖拉控制的功能，当拖拉视频进度条到未缓存区域时，确保可以正确请求数据并继续播放。
参见图3，图3示出了Html5播放器应用本实施例提供的播放方法的具体过程：
首先，根据播放场景按照相应的协议下载音视频数据；
之后，判断下载的音视频数据的格式是否为Html5播放器的支持格式，如果是，则Html5播放器直接播放该音视频数据；如果不是，则将该音视频数据进行格式转换，转换为Html5播放器的支持格式；
最后，将转换后的音视频数据加载至Html5播放器进行播放。
本发明实施例通过将flv等音视频格式转换为Html5播放器支持的播放格式，实现了Html5播放器播放flv等格式的功能，拓宽了Html5播放器对flv等音视频格式的兼容性。同时，在直播场景中，利用Html5播放器直接播放flv等音视频格式的音视频数据，替代了HLS协议，进而解决了采用HLS协议带来的直播时延大的问题。
实施例二
参见图4，本发明实施例提供了一种基于Html5的音视频播放装置，可以执行实施例一中提供的基于Html5的音视频播放方法，包括：
下载模块210，用于根据播放场景，下载所述播放场景下的音视频数据；
格式转换模块220，用于对所述音视频数据进行格式转换；
加载模块230，用于将格式转换后的所述音视频数据加载至Html5播放器。
在本实施例中，基于Html5的音视频播放装置首先将flv等Html5播放器不支持播放的音视频数据格式转换成Html5播放器的支持格式，然后将转换后的音视频数据加载至Html5播放器，完成音视频播放。
参见图5，在本实施例中，所述下载模块210包括第一下载子模块211和第二下载子模块212。
第一下载子模块211，用于在点播场景下下载所述音视频数据，本实施例中的第一下载子模块211可以为XHR下载器，可根据XMLHttpRequest协议下载所述音视频数据。
第二下载子模块212，用于在直播场景下下载所述音视频数据，本实施例中的第二下载子模块212可以为WS下载器，可根据Websocket协议下载所述音视频数据。
需要说明的是，所述下载模块210可以只包括第一下载子模块211或者第二下载子模块212，此时，基于Html5的音视频播放装置只能够实现直播场景下的音视频播放或者点播场景下的音视频播放。
参见图6，在本实施例中，所述格式转换模块220包括判断子模块221和转换子模块222。
判断子模块221，用于识别所述音视频数据的格式，并判断所述音视频数据的格式是否为Html5播放器的支持格式。本实施例中，若音视频数据的格式为mp4格式，则无需启用转换子模块222进行转换工作，加载模块230直接将音视频数据加载至Html5播放器播放；若音视频数据的格式为flv格式或其它需要转换的格式，则启用转换子模块222进行格式转换。
转换子模块222，用于将不是Html5播放器支持格式的所述音视频数据的格式转换为Html5播放器的支持格式。
在本实施例中，加载模块230将格式转换后的所述音视频数据加载至Html5播放器进行播放的过程具体为：
首先，加载模块230创建mediaSource，并将mediaSource和video元素进行关联；
其次，加载模块230为mediaSource创建audioSourceBuffer和videoSourceBuffer，分别用于添加音频数据和视频数据；
最后，加载模块230创建audioSegments和videoSegments，分别用于存放格式转换后的音视频数据中的音频数据和视频数据，并在合适的时候添加到audioSourceBuffer和videoSourceBuffer中，完成加载过程。
在本实施例中，所述音视频数据的格式至少包括flv格式。
具体而言，基于Html5的音视频播放装置播放flv格式的音视频数据的过程如下：
首先，下载模块210根据播放场景，调用第一下载子模块211或者第二下载子模块212，第一下载子模块211或者第二下载子模块212按照相应的协议下载音视频数据；
之后，格式转换模块220调用判断子模块221，判断子模块221判断下载模块210下载的音视频数据的格式是否为Html5播放器的支持格式；
如果下载模块210下载的音视频数据的格式是Html5播放器的支持格式，则加载模块230直接将音视频数据加载至Html5播放器播放；
如果下载模块210下载的音视频数据的格式不是Html5播放器的支持格式，则格式转换模块220调用转换子模块222，转换子模块222将该音视频数据格式转换为Html5播放器的支持格式，并将转换后的音视频数据加载至Html5播放器进行播放。
本发明实施例通过将flv等音视频格式转换为Html5播放器支持的播放格式，实现了Html5播放器播放flv等音视频格式的功能，拓宽了Html5播放器对flv等音视频格式的兼容性。同时，在直播场景中，利用Html5播放器直接播放flv等音视频格式的音视频数据，替代了HLS协议，进而解决了采用HLS协议带来的直播时延大的问题。
实施例三
本发明实施例提供了一种音视频直播方法，包括实施例一中提供的基于Html5的音视频播放方法。
实施例四
本发明实施例提供了一种音视频直播系统，包括实施例二中提供的基于Html5的音视频播放装置。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

  1. 一种基于Html5的音视频播放方法，其特征在于，包括如下步骤：
    根据播放场景，下载所述播放场景下的音视频数据；
    对所述音视频数据进行格式转换；
    将格式转换后的所述音视频数据加载至Html5播放器。
  2. 根据权利要求1所述的基于Html5的音视频播放方法，其特征在于，所述根据播放场景，下载所述播放场景下的音视频数据的步骤具体为：
    在点播场景下，根据XMLHttpRequest协议下载所述音视频数据。
  3. 根据权利要求1所述的基于Html5的音视频播放方法，其特征在于，所述根据播放场景，下载所述播放场景下的音视频数据的步骤具体为：
    在直播场景下，根据Websocket协议下载所述音视频数据。
  4. 根据权利要求2或3所述的基于Html5的音视频播放方法，其特征在于，所述对所述音视频数据进行格式转换的步骤具体包括：
    识别所述音视频数据的格式，并判断所述音视频数据的格式是否为Html5播放器的支持格式；
    将不是Html5播放器支持格式的所述音视频数据的格式转换为Html5播放器的支持格式。
  5. 根据权利要求4所述的基于Html5的音视频播放方法，其特征在于，所述音视频数据的格式至少包括flv格式。
  6. 一种音视频直播方法，其特征在于，包括权利要求1所述的基于Html5的音视频播放方法。
  7. 一种基于Html5的音视频播放装置，其特征在于，包括：
    下载模块，用于根据播放场景，下载所述播放场景下的音视频数据；
    格式转换模块，用于对所述音视频数据进行格式转换；
    加载模块，用于将格式转换后的所述音视频数据加载至Html5播放器。
  8. 根据权利要求7所述的基于Html5的音视频播放装置，其特征在于，所述下载模块包括第一下载子模块，所述第一下载子模块用于在点播场景下，根据XMLHttpRequest协议下载所述音视频数据。
  9. 根据权利要求7所述的基于Html5的音视频播放装置，其特征在于，所述下载模块还包括第二下载子模块，所述第二下载子模块用于在直播场景下，根据Websocket协议下载所述音视频数据。
  10. 根据权利要求8或9所述的基于Html5的音视频播放装置，其特征在于，所述格式转换模块包括判断子模块和转换子模块；
    所述判断子模块，用于识别所述音视频数据的格式，并判断所述音视频数据的格式是否为Html5播放器的支持格式；
    所述转换子模块，用于将不是Html5播放器支持格式的所述音视频数据的格式转换为Html5播放器的支持格式。
  11. 根据权利要求10所述的基于Html5的音视频播放装置，其特征在于，所述音视频数据的格式至少包括flv格式。
  12. 一种音视频直播系统，其特征在于，包括权利要求7所述的基于Html5的音视频播放装置。
PCT/CN2017/085428 2017-04-14 2017-05-23 基于Html5的音视频播放方法及装置、音视频直播方法及系统 WO2018188168A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/060,790 US11259096B2 (en) 2017-04-14 2017-05-23 HTML5-based audio/video playing method and apparatus, and live audio/video streaming method and system
EP17894675.2A EP3416400A4 (en) 2017-04-14 2017-05-23 HTML5 BASED AUDIO VIDEO PLAY PROCESS AND DEVICE, AUDIO AND VIDEO LIVE BROADCASTING AND SYSTEM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710242778.7A CN106993238A (zh) 2017-04-14 2017-04-14 基于Html5的音视频播放方法及装置、音视频直播方法及系统
CN201710242778.7 2017-04-14

Publications (1)

Publication Number Publication Date
WO2018188168A1 true WO2018188168A1 (zh) 2018-10-18

Family

ID=59416412

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/085428 WO2018188168A1 (zh) 2017-04-14 2017-05-23 基于Html5的音视频播放方法及装置、音视频直播方法及系统

Country Status (4)

Country Link
US (1) US11259096B2 (zh)
EP (1) EP3416400A4 (zh)
CN (1) CN106993238A (zh)
WO (1) WO2018188168A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115460183A (zh) * 2021-06-07 2022-12-09 中移物联网有限公司 基于浏览器的流媒体数据播放方法、装置及相关设备

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108055188A (zh) * 2017-10-19 2018-05-18 福建中金在线信息科技有限公司 基于微信的h5图文直播方法和装置
CN108718416A (zh) * 2018-06-15 2018-10-30 深圳市安佳威视信息技术有限公司 Html5直播嵌入式摄像机音视频系统及其方法
CN109151570B (zh) * 2018-10-10 2022-04-01 深圳市网心科技有限公司 一种基于html5的流媒体处理方法、系统及相关组件
WO2020243533A1 (en) * 2019-05-31 2020-12-03 Apple Inc. Systems and methods for performance data streaming, performance data file reporting, and performance threshold monitoring
CN110933482B (zh) * 2019-12-06 2023-03-31 腾讯科技（深圳）有限公司 视频加载方法、装置、计算机可读存储介质和计算机设备
CN111356023B (zh) * 2019-12-30 2021-12-24 杭州海康威视数字技术股份有限公司 播放方式确定方法及装置
CN114125509B (zh) * 2021-11-30 2024-01-19 深圳Tcl新技术有限公司 一种视频播放方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100198981A1 (en) * 2009-02-02 2010-08-05 Wistron Corp. Method and system for multimedia audio video transfer
CN102469065A (zh) * 2010-11-02 2012-05-23 腾讯科技（深圳）有限公司 一种与html5浏览器互通数据的方法及系统
CN103136235A (zh) * 2011-11-25 2013-06-05 上海博泰悦臻网络技术服务有限公司 数据处理平台、数据处理系统及数据处理方法
CN103220577A (zh) * 2012-01-18 2013-07-24 腾讯科技（深圳）有限公司 一种视频播放方法、装置和系统
CN103338384A (zh) * 2013-05-31 2013-10-02 优视科技有限公司 一种视频播放方法及装置
CN103873938A (zh) * 2012-12-14 2014-06-18 联想(北京)有限公司 基于视频标签的网页视频全屏播放方法和移动终端浏览器
US9565430B1 (en) * 2011-12-15 2017-02-07 KingdomSite Ministries Apparatus and method for video encoding and transcoding system

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7873706B2 (en) * 2003-03-19 2011-01-18 Cgi Communications, Inc. System and method for seamlessly providing video content to client systems over a network
WO2007053957A1 (en) 2005-11-14 2007-05-18 Cyberdiffusion Inc. Transcoder for live streams and on demand media
US10382514B2 (en) * 2007-03-20 2019-08-13 Apple Inc. Presentation of media in an application
US9519772B2 (en) * 2008-11-26 2016-12-13 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9088559B2 (en) * 2012-09-11 2015-07-21 Tencent Technology (Shenzhen) Company Limited System and method for sharing login status between an application platform and an application
US9066153B2 (en) * 2013-03-15 2015-06-23 Time Warner Cable Enterprises Llc Apparatus and methods for multicast delivery of content in a content delivery network
US9549000B2 (en) * 2013-03-15 2017-01-17 Arris Enterprises, Inc. Streaming media from a server delivering individualized content streams to clients
US10110932B2 (en) 2013-11-18 2018-10-23 Cable Television Laboratories, Inc. Session administration
JP5901704B2 (ja) * 2014-06-30 2016-04-13 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US20160119399A1 (en) 2014-10-24 2016-04-28 Kevin J. Glass Extending browser support of real time media to any available codec
CN105100824A (zh) * 2015-09-10 2015-11-25 东方网力科技股份有限公司 一种视频处理设备、系统和方法
US10972519B2 (en) * 2015-09-24 2021-04-06 Flir Commercial Systems, Inc. Real-time video streaming to client video element
US11019349B2 (en) * 2017-01-20 2021-05-25 Snap Inc. Content-based client side video transcoding
US10853439B2 (en) * 2017-08-08 2020-12-01 Nice Ltd. Systems and methods for fast play back of recorded data
CA3088790C (en) * 2018-02-15 2024-04-09 Vitec, Inc. Distribution and playback of media content

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100198981A1 (en) * 2009-02-02 2010-08-05 Wistron Corp. Method and system for multimedia audio video transfer
CN102469065A (zh) * 2010-11-02 2012-05-23 腾讯科技（深圳）有限公司 一种与html5浏览器互通数据的方法及系统
CN103136235A (zh) * 2011-11-25 2013-06-05 上海博泰悦臻网络技术服务有限公司 数据处理平台、数据处理系统及数据处理方法
US9565430B1 (en) * 2011-12-15 2017-02-07 KingdomSite Ministries Apparatus and method for video encoding and transcoding system
CN103220577A (zh) * 2012-01-18 2013-07-24 腾讯科技（深圳）有限公司 一种视频播放方法、装置和系统
CN103873938A (zh) * 2012-12-14 2014-06-18 联想(北京)有限公司 基于视频标签的网页视频全屏播放方法和移动终端浏览器
CN103338384A (zh) * 2013-05-31 2013-10-02 优视科技有限公司 一种视频播放方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3416400A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115460183A (zh) * 2021-06-07 2022-12-09 中移物联网有限公司 基于浏览器的流媒体数据播放方法、装置及相关设备

Also Published As

Publication number Publication date
EP3416400A1 (en) 2018-12-19
US11259096B2 (en) 2022-02-22
EP3416400A4 (en) 2019-07-17
CN106993238A (zh) 2017-07-28
US20210168464A1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
WO2018188168A1 (zh) 基于Html5的音视频播放方法及装置、音视频直播方法及系统
JP7103402B2 (ja) 情報処理装置および情報処理方法
US11303941B2 (en) Media distribution and management platform
US9852762B2 (en) User interface for video preview creation
CN104796796B (zh) 提高Android平台的HLS流播放器容错的方法
US10149020B2 (en) Method for playing a media stream in a browser application
US20120278497A1 (en) Reduced Video Player Start-Up Latency In HTTP Live Streaming And Similar Protocols
CN105828096B (zh) 媒体流文件的处理方法和装置
US20120151080A1 (en) Media Repackaging Systems and Software for Adaptive Streaming Solutions, Methods of Production and Uses Thereof
US9578395B1 (en) Embedded manifests for content streaming
CN113938470B (zh) 一种浏览器播放rtsp数据源的方法、装置以及流媒体服务器
US20160006782A1 (en) Signaling and Handling of Forensic Marking for Adaptive Streaming
US10904305B2 (en) Media streaming using a headless browser
JP6275906B1 (ja) 動画コンテンツを再生するためのプログラム及び方法、並びに、動画コンテンツを配信及び再生するためのシステム
CN114745361B (zh) 一种用于html5浏览器的音视频播放方法及系统
US20230239328A1 (en) Computer implemented method for processing streaming requests and responses
US11336711B2 (en) Method of playing audio and video, computing device, and computer program product
US20240089514A1 (en) System for generating and providing a livestream
CN108449645B (zh) 基于移动终端iOS系统的视频播放方法及装置
CN114745361A (zh) 一种用于html5浏览器的音视频播放方法及系统
CN116389787A (zh) 一种音视频转码播放方法
CN117676202A (zh) 一种音视频转码播放方法、音视频转码播放系统
CN114286193A (zh) 嵌入式web的视频播放方法、装置、设备及可读存储介质
JP2019024188A (ja) 動画コンテンツを再生するためのプログラム及び方法、並びに、動画コンテンツを配信及び再生するためのシステム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2017894675

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017894675

Country of ref document: EP

Effective date: 20180810

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17894675

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE