WO2020155964A1 - 音视频的切换方法、装置、计算机设备及可读存储介质 - Google Patents

音视频的切换方法、装置、计算机设备及可读存储介质 Download PDF

Info

Publication number
WO2020155964A1
WO2020155964A1 PCT/CN2019/128458 CN2019128458W WO2020155964A1 WO 2020155964 A1 WO2020155964 A1 WO 2020155964A1 CN 2019128458 W CN2019128458 W CN 2019128458W WO 2020155964 A1 WO2020155964 A1 WO 2020155964A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio
data file
video
content
streaming media
Prior art date
Application number
PCT/CN2019/128458
Other languages
English (en)
French (fr)
Inventor
吴志强
郑翰超
陈辉
Original Assignee
上海哔哩哔哩科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海哔哩哔哩科技有限公司 filed Critical 上海哔哩哔哩科技有限公司
Priority to EP19912378.7A priority Critical patent/EP3866481A4/en
Publication of WO2020155964A1 publication Critical patent/WO2020155964A1/zh
Priority to US17/330,226 priority patent/US11490173B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Definitions

  • This application relates to the technical field of audio and video playback, and in particular to an audio and video switching method, device, computer equipment and readable storage medium.
  • the purpose of this application is to provide a method, device, computer equipment, and readable storage medium for audio and video switching, which can perform single-tone playback of streaming media content, reduce user traffic usage, and improve user experience.
  • a method for switching audio and video includes the following steps:
  • a request to obtain the audio data file of the streaming media content is sent to the server; wherein, the server stores a basis A video data file formed by the video content of the streaming media content and an audio data file formed according to the audio content of the streaming media content;
  • the method further includes:
  • the sending a request for acquiring the audio data file and the video data file of the streaming media content to the server when receiving the audio and video synchronization playback instruction includes:
  • the streaming media content is divided into multiple segments, each segment has a corresponding segment number, and each segment number has a corresponding audio data file and video data file.
  • the parsing of audio content according to the audio data file includes:
  • Decapsulating the audio data file is performed to obtain audio stream compression coded data, and performing a decoding operation on the audio compression coded data to obtain audio content.
  • the parsing of the video content according to the video data file includes:
  • the method further includes:
  • the audio data file of the corresponding language is obtained from the server according to the audio language switching instruction, and the audio content of the corresponding language is played according to the audio data file .
  • this application also provides an audio and video switching device, which includes the following components:
  • the request module is used to send a request to the server to obtain the audio data file of the streaming media content when receiving a monophonic play instruction during the process of using DASH to perform audio and video synchronization playback of streaming media content; wherein The server stores a video data file formed according to the video content of the streaming media content and an audio data file formed according to the audio content of the streaming media content;
  • a parsing module configured to receive the audio data file of the streaming media content fed back by the server, and parse the audio content according to the audio data file;
  • the playing module is used to play the streaming media content in a single tone according to the audio content.
  • the present application also provides a computer device, the computer device comprising: a memory, a processor, and computer-readable instructions stored on the memory and running on the processor, the processor The following steps are implemented when the computer-readable instructions are executed:
  • a request to obtain the audio data file of the streaming media content is sent to the server; wherein, the server stores a basis A video data file formed by the video content of the streaming media content and an audio data file formed according to the audio content of the streaming media content;
  • this application also provides a computer-readable storage medium on which computer-readable instructions are stored, and the computer-readable instructions implement the following steps when executed by a processor:
  • a request to obtain the audio data file of the streaming media content is sent to the server; wherein, the server stores a basis A video data file formed by the video content of the streaming media content and an audio data file formed according to the audio content of the streaming media content;
  • the audio and video switching method, device, computer equipment, and readable storage medium provided in this application can automatically switch to the mono play mode according to user instructions or play status during streaming media content, so that only audio content is played without Play video content, thereby reducing the user's traffic usage, and still meeting the user's requirements for listening to audio content, improving the user experience.
  • FIG. 1 is a schematic diagram of an optional flow of the audio and video switching method provided in the first embodiment
  • FIG. 2 is a schematic flowchart of a method for switching from monophonic playback to synchronized audio and video playback according to the first embodiment
  • FIG. 3 is a schematic diagram of an optional program module of the audio-video switching device provided in the second embodiment
  • FIG. 4 is a schematic diagram of an optional hardware architecture of the computer device provided in the third embodiment.
  • Fig. 1 is a schematic diagram of an optional flow chart of the audio and video switching method of this application. The method is applied to the client. As shown in Fig. 1, the method includes the following steps:
  • Step S101 In the process of using DASH to synchronously play audio and video of streaming media content, when a monophonic play instruction is received, a request for obtaining an audio data file of the streaming media content is sent to the server.
  • DASH Dynamic Adaptive Streaming over HTTP, HTTP-based dynamic adaptive streaming
  • HTTP-based dynamic adaptive streaming is an adaptive bit rate streaming technology that enables high-quality streaming media to be delivered over the Internet through traditional HTTP web servers.
  • audio content and video content are contained in a streaming media file.
  • the client obtains the streaming media file from the server and parses the streaming media file to play the audio and video; and in DASH In technology, the server compresses and encapsulates the video content of the streaming media content to form a video data file, and compresses and encapsulates the audio content of the streaming media content to form an audio data file; the client needs to obtain the video data from the server separately File and audio data file, and play audio and video by analyzing the video data file and audio data file.
  • a video data file formed according to the video content of the content to be played and an audio data file formed according to the audio content of the content to be played are stored on the server; this embodiment uses the combination of audio content and video content in DASH It is a separate feature. When a single-tone playback is required, it only sends a request for obtaining an audio data file to the server, and does not send a request for obtaining a video data file to the server.
  • the way of triggering a single tone play instruction may include the following three:
  • the first is a single-tone play instruction triggered by the user by clicking a preset button
  • the second type a single-tone play instruction triggered when the play interface is minimized
  • the third type a single-tone play instruction triggered when it is detected that the play software is switched to the background to run.
  • the first case is applicable to both the WEB terminal (for example, PC computer) and the mobile terminal (for example, smart phone), that is, the playing mode is automatically switched when a single-tone playback command triggered by a user operation is received
  • the second case is applicable to the WEB side, that is, when the user minimizes the display interface for playing streaming media content, the playback mode is automatically switched to monophonic Play mode
  • the third case is applicable to the mobile terminal, that is, when the user switches the application software used to play media content to run in the background, the play mode is automatically switched to the mono play mode.
  • this embodiment for playing streaming media content through the application software on the mobile terminal, it is judged whether to switch the playing mode according to whether a user-triggered single-tone play instruction is received or whether the playing software is switched from the foreground to the background motion.
  • To monophonic playback mode for streaming media content played through web pages on the WEB terminal, it is judged whether to switch the playback mode to monophonic playback based on whether a user-triggered monophonic playback instruction is received or whether the playback interface is minimized by the user mode.
  • This embodiment provides multiple judging methods for switching to the mono play mode, which can simplify user operations and improve user experience.
  • streaming media content is divided into multiple segments, each segment corresponds to a certain length of time to play content (for example, 10 seconds), and each segment has a corresponding audio data file and video data File; before playing a segment, the client obtains the audio data file and video data file of the segment from the server, and the client parses the audio data file to obtain the audio content and caches it in the audio buffer area, as well as the video data The file is parsed to obtain the video content and cached in the video buffer area.
  • step S101 includes:
  • Step A1 When a monophonic play instruction is received, stop acquiring video content from the video buffer area, only acquire audio content from the audio buffer area, and perform monophonic playback on the current segment according to the audio content.
  • Step A2 Send a request for obtaining the audio data file of the next fragment to the server.
  • the client Starting from the next segment, the client only sends a request to the server to obtain the audio data file of the streaming media content, and no longer sends a request to obtain the video data file of the streaming media content.
  • Step S102 Receive the audio data file of the streaming media content fed back by the server, and parse the audio content according to the audio data file.
  • the parsing of audio content according to the audio data file includes:
  • Decapsulating the audio data file is performed to obtain audio stream compression coded data, and performing a decoding operation on the audio compression coded data to obtain audio content.
  • decapsulation also known as demultiplexing
  • demultiplexing is to separate the input data of the encapsulation format (for example, AVI format, PM4 format, FLV format) into audio stream compression coded data and video stream compression coded data.
  • the decapsulation format for example, AVI format, PM4 format, FLV format
  • Some basic information in streaming media files can also be obtained in the process.
  • Decoding is the process of recovering compressed data into audio and video signals through a decoder.
  • Step S103 Perform single-tone playback on the streaming media content according to the audio content.
  • step S103 includes:
  • the decoded audio content is delivered to the corresponding sound card in the client for playback.
  • this embodiment also provides a method for switching from monophonic playback to synchronous playback of audio and video, and the method includes the following steps:
  • Step S201 In the process of monophonic playback, when receiving an audio and video synchronization playback instruction, send a request to the server to obtain the audio data file and the video data file of the streaming media content.
  • the first is the audio and video synchronization playback instruction triggered by the user by clicking a preset button
  • the second type when it is detected that the playback interface is canceled and minimized, the audio and video synchronization playback instruction is triggered;
  • the third type when it is detected that the playback software is switched from the background running to the foreground running, the audio and video synchronization playing instruction is triggered.
  • the first case is applicable to both the WEB terminal (for example, PC computer) and the mobile terminal (for example, smart phone), that is, the playback mode is automatically set when receiving an audio and video synchronization playback instruction triggered by a user operation Switch to the audio and video synchronization playback mode, and play audio content and video content at the same time;
  • the second case is applicable to the WEB side, when the user cancels the minimization of the playback interface, the playback mode is automatically switched to audio and video synchronization playback;
  • the third case Applicable to the mobile terminal, when the user switches the playback software from background operation to foreground operation, the playback mode is automatically switched to synchronized audio and video playback.
  • the sending the request for obtaining the audio data file and the video data file of the streaming media content to the server includes:
  • the streaming media content is divided into multiple segments, each segment has a corresponding segment number, and each segment number has a corresponding audio data file and video data file.
  • Step S202 Receive the audio data file and the video data file of the streaming media content fed back by the server, parse the audio content according to the audio data file, and parse the video content according to the video data file.
  • step S202 includes:
  • Step S203 Perform simultaneous audio and video playback on the streaming media content according to the audio content and video content.
  • the method further includes:
  • the audio data file of the corresponding language is obtained from the server according to the audio language switching instruction, and the audio content of the corresponding language is played according to the audio data file .
  • the content to be played is an American movie, and the movie has two languages to choose from: English original sound and Chinese dubbing; in the process of monophonic playback, you can choose to listen to the English original sound or Chinese dubbing according to the user's choice.
  • FIG. 3 shows an optional structural block diagram of the audio and video switching device.
  • the video switching device is divided into one or more program modules, and the one or more program modules are stored in a storage medium and executed by one or more processors to complete this application.
  • the program module referred to in this application refers to a series of computer-readable instruction segments that can complete specific functions. The following description will specifically introduce the functions of each program module in this embodiment.
  • the audio and video switching device applied to the client includes the following components:
  • the request module 301 is configured to send a request to the server to obtain the audio data file of the streaming media content when receiving a single-tone playback instruction during the process of using DASH to perform simultaneous audio and video playback of streaming media content;
  • the server stores a video data file formed according to the video content of the streaming media content and an audio data file formed according to the audio content of the streaming media content;
  • the parsing module 302 is configured to receive the audio data file of the streaming media content fed back by the server, and parse the audio content according to the audio data file;
  • the playing module 303 is configured to perform monophonic playback on the streaming media content according to the audio content.
  • the request module 301 is also used to:
  • the parsing module 302 is also used for:
  • the audio data file and the video data file of the streaming media content fed back by the server are received, the audio content is parsed according to the audio data file, and the video content is parsed according to the video data file.
  • the play module 303 is also used for:
  • the request module 301 is specifically used for:
  • the streaming media content is divided into multiple segments, each segment has a corresponding segment number, and each segment number has a corresponding audio data file and video data file.
  • the parsing module 302 is specifically used for:
  • the device further includes:
  • the switching module is used to obtain the audio data file of the corresponding language from the server according to the audio language switching instruction when an audio language switching instruction is received in the process of monophonic playback, and play according to the audio data file The audio content of the corresponding language.
  • This embodiment also provides a computer device, such as a smart phone, a tablet computer, a notebook computer, a desktop computer, a rack server, a blade server, a tower server, or a cabinet server (including independent servers, or A server cluster composed of multiple servers), etc.
  • the computer device 40 of this embodiment at least includes but is not limited to: a memory 401 and a processor 402 that can be communicatively connected to each other through a system bus.
  • FIG. 4 only shows the computer device 40 with components 401-402, but it should be understood that it is not required to implement all of the illustrated components, and more or fewer components may be implemented instead.
  • the memory 401 (readable storage medium) includes flash memory, hard disk, multimedia card, card-type memory (for example, SD or DX memory, etc.), random access memory (RAM), static random access memory (SRAM), Read only memory (ROM), electrically erasable programmable read only memory (EEPROM), programmable read only memory (PROM), magnetic memory, magnetic disk, optical disk, etc.
  • the memory 401 may be an internal storage unit of the computer device 40, such as a hard disk or memory of the computer device 40.
  • the memory 401 may also be an external storage device of the computer device 40, such as a plug-in hard disk, a smart media card (SMC), and a secure digital (Secure Digital, SD) card, flash card (Flash Card), etc.
  • the memory 401 may also include both the internal storage unit of the computer device 40 and its external storage device.
  • the memory 401 is generally used to store the operating system and various application software installed in the computer device 40, such as the program code of the audio/video switching device of the second embodiment.
  • the memory 401 can also be used to temporarily store various types of data that have been output or will be output.
  • the processor 402 may be a central processing unit (Central Processing Unit, CPU), a controller, a microcontroller, a microprocessor, or other data processing chips in some embodiments.
  • the processor 402 is generally used to control the overall operation of the computer device 40.
  • the processor 402 is configured to execute the program of the audio/video switching method stored in the processor 402, and the program of the audio/video switching method is executed to implement the following steps:
  • a request to obtain the audio data file of the streaming media content is sent to the server; wherein, a basis is stored on the server A video data file formed by the video content of the streaming media content and an audio data file formed according to the audio content of the streaming media content;
  • This embodiment also provides a computer-readable storage medium (volatile/nonvolatile), such as flash memory, hard disk, multimedia card, card-type memory (for example, SD or DX memory, etc.), random access memory (RAM) , Static Random Access Memory (SRAM), Read Only Memory (ROM), Electrically Erasable Programmable Read Only Memory (EEPROM), Programmable Read Only Memory (PROM), Magnetic Memory, Disk, CD, Server, App Store And so on, computer-readable instructions are stored thereon, and the computer-readable instructions implement the following method steps when executed by a processor:
  • a request to obtain the audio data file of the streaming media content is sent to the server; wherein, the server stores a basis A video data file formed by the video content of the streaming media content and an audio data file formed according to the audio content of the streaming media content;

Abstract

本申请公开了一种音视频的切换方法、装置、计算机设备及可读存储介质，该方法包括：在利用DASH对流媒体内容进行音视频同步播放的过程中，当接收到单音播放指令时，向服务器发送获取所述流媒体内容的音频数据文件的请求；其中，在所述服务器上存储有根据所述流媒体内容的视频内容形成的视频数据文件以及根据所述流媒体内容的音频内容形成的音频数据文件；接收由所述服务器反馈回的所述流媒体内容的音频数据文件，并根据所述音频数据文件解析出音频内容；根据所述音频内容对所述流媒体内容进行单音播放。本申请能够对流媒体内容进行单音播放，减少用户的流量使用，提高用户体验度。

Description

音视频的切换方法、装置、计算机设备及可读存储介质
本申请申明2019年01月30日递交的申请号为201910092875.1、名称为“音视频的切换方法、装置、计算机设备及可读存储介质”的中国专利申请的优先权，该中国专利申请的整体内容以参考的方式结合在本申请中。
技术领域
本申请涉及音视频播放技术领域，具体涉及一种音视频的切换方法、装置、计算机设备及可读存储介质。
背景技术
随着互联网和智能终端的不断发展，越来越多的用户选择使用智能终端(例如，手机、电脑)播放音频、视频等流媒体；用户可以通过智能终端从网络服务器上获取视频内容和音频内容，并在智能终端上播放。但是，在现有技术中，不能将音视频的播放模式切换为单音播放模式；例如，当用户播放音乐类或相声类音视频时，不能只播放音频内容而不播放视频内容。发明人意识到，不能进行单音播放的原因是：视频内容和音频内容同存于一个流媒体文件中，用户只能获取该流媒体文件，而不能单独获取音频内容。如何实现单音播放，成为一个亟需解决的技术问题。
发明内容
本申请的目的在于提供一种音视频的切换方法、装置、计算机设备及可读存储介质，能够对流媒体内容进行单音播放，减少用户的流量使用，提高用户体验度。
根据本申请的一个方面，提供了一种音视频的切换方法，该方法包括如下步骤：
在利用DASH对流媒体内容进行音视频同步播放的过程中，当接收到单音播放指令时，向服务器发送获取所述流媒体内容的音频数据文件的请求；其中，在所述服务器上存储有根据所述流媒体内容的视频内容形成的视频数据文件以及根据所述流媒体内容的音频内容形成的音频数据文件；
接收由所述服务器反馈回的所述流媒体内容的音频数据文件，并根据所述音频数据文件解析出音频内容；
根据所述音频内容对所述流媒体内容进行单音播放。
可选的，所述方法还包括：
在进行单音播放的过程中，当接收到音视频同步播放指令时，向所述服务器发送获取所述流媒体内容的音频数据文件和视频数据文件的请求；
接收由所述服务器反馈回的所述流媒体内容的音频数据文件和视频数据文件，根据所述音频数据文件解析出音频内容，并根据所述视频数据文件解析出视频内容；
根据所述音频内容和视频内容对所述流媒体内容进行音视频同步播放。
可选的，所述当接收到音视频同步播放指令时，向所述服务器发送获取所述流媒体内容的音频数据文件和视频数据文件的请求，包括：
获取当前播放的音频内容的时间戳，并根据所述时间戳确定出当前播放的音频内容的分片号；
向所述服务器发送获取与所述分片号对应的音频数据文件和视频数据文件的请求；
其中，所述流媒体内容被划分为多个分片，每个分片均有对应的分片号，且每个分片号均有对应的音频数据文件和视频数据文件。
可选的，所述根据所述音频数据文件解析出音频内容，包括：
对所述音频数据文件进行解封装操作，得到音频流压缩编码数据，并对所述音频压缩编码数据进行解码操作，得到音频内容。
可选的，所述根据所述视频数据文件解析出视频内容，包括：
对所述视频数据文件进行解封装操作，得到视频流压缩编码数据，并对所述视频压缩编码数据进行解码操作，得到视频内容。
可选的，所述方法还包括：
在进行单音播放的过程中，当接收到音频语言切换指令时，根据所述音频语言切换指令从所述服务器获取对应语言的音频数据文件，并根据所述音频数据文件播放对应语言的音频内容。
为了实现上述目的，本申请还提供一种音视频的切换装置，该装置包括以下组成部分：
请求模块，用于在利用DASH对流媒体内容进行音视频同步播放的过程中，当接收到单音播放指令时，向服务器发送获取所述流媒体内容的音频数据文件的请求；其中，在所述服务器上存储有根据所述流媒体内容的视频内容形成的视频数据文件以及根据所述流媒体内容的音频内容形成的音频数据文件；
解析模块，用于接收由所述服务器反馈回的所述流媒体内容的音频数据文件，并根据所述音频数据文件解析出音频内容；
播放模块，用于根据所述音频内容对所述流媒体内容进行单音播放。
为了实现上述目的，本申请还提供一种计算机设备，所述计算机设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现以下步骤：
在利用DASH对流媒体内容进行音视频同步播放的过程中，当接收到单音播放指令时，向服务器发送获取所述流媒体内容的音频数据文件的请求；其中，在所述服务器上存储有根据所述流媒体内容的视频内容形成的视频数据文件以及根据所述流媒体内容的音频内容形成的音频数据文件；
接收由所述服务器反馈回的所述流媒体内容的音频数据文件，并根据所述音频数据文件解析出音频内容；
根据所述音频内容对所述流媒体内容进行单音播放。
为了实现上述目的，本申请还提供一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现以下步骤：
在利用DASH对流媒体内容进行音视频同步播放的过程中，当接收到单音播放指令时，向服务器发送获取所述流媒体内容的音频数据文件的请求；其中，在所述服务器上存储有根据所述流媒体内容的视频内容形成的视频数据文件以及根据所述流媒体内容的音频内容形成的音频数据文件；
接收由所述服务器反馈回的所述流媒体内容的音频数据文件，并根据所述音频数据文件解析出音频内容；
根据所述音频内容对所述流媒体内容进行单音播放。
本申请提供的音视频的切换方法、装置、计算机设备及可读存储介质，可以在播放流媒体内容的过程中根据用户指令或播放状态自动切换至单音播放模式，从而只播放音频内容而不播放视频内容，进而减少用户的流量使用，且仍能满足用户收听音频内容的要求，提高了用户的体验度。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限 制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为实施例一提供的音视频的切换方法的一种可选的流程示意图；
图2为实施例一提供的由单音播放切换回音视频同步播放的方法的流程示意图；
图3为实施例二提供的音视频的切换装置的一种可选的程序模块示意图；
图4为实施例三提供的计算机设备的一种可选的硬件架构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
下面结合附图对本申请提供的音视频的切换方法进行说明。
图1为本申请音视频的切换方法的一种可选的流程示意图，该方法应用于客户端，如图1所示，该方法包括以下步骤：
步骤S101：在利用DASH对流媒体内容进行音视频同步播放的过程中，当接收到单音播放指令时，向服务器发送获取所述流媒体内容的音频数据文件的请求。
其中，DASH(Dynamic Adaptive Streaming over HTTP，基于HTTP的动态自适应流)是一种自适应比特率流技术，使得高质量流媒体可以通过传统的HTTP网络服务器以互联网传递。在传统的音视频播放技术中，音频内容和视频内容被包含在一个流媒体文件中，客户端从服务器获取该流媒体文件，并通过解析该流媒体文件以进行音视频的播放；而在DASH技术中，服务器对流媒体内容的视频内容进行压缩以及封装操作以形成视频数据文件，并对该流媒体内容的音频内容进行压缩以及封装操作以形成音频数据文件；客户端需要从服务器分别获取视频数据文件和音频数据文件，并通过解析该视频数据文件和音频数据文件以进行音视频的播放。
在本实施例中，在服务器上存储有根据待播放内容的视频内容形成的视频数据文件以及根据待播放内容的音频内容形成的音频数据文件；本实施例利用在DASH中将音频内容和视频内容分离开来的特点，当需要进行单音播放时，只向服务器发送获取音频数据文件的请求，而不向服务器发送获取视频数据文件的请求。
具体的，触发单音播放指令的方式可以包括以下三种：
第一种，由用户通过点击预设的按钮而触发的单音播放指令；
第二种：当检测到播放界面最小化时而触发的单音播放指令；
第三种：当检测到播放软件被切换至后台运行时而触发的单音播放指令。
需要说明的是，第一种情况同时适用于WEB端(例如，PC电脑)和移动端(例如，智能手机)，即当接收到由用户操作而触发的单音播放指令时自动将播放模式切换至单音播放模式，只进行音频内容的播放而不播放视频内容；第二种情况适用于WEB端，即当用户将播放流媒体内容的显示界面最小化时，自动将播放模式切换至单音播放模式；第三种情况适用于移动端，即当用户将播放媒体内容所使用的应用软件切换至后台运行时，自动将播放模式切换至单音播放模式。
在本实施例中，针对通过移动端上的应用软件播放流媒体内容，根据是否接收到由用户触发的单音播放指令或者根据播放软件是否由前台运行切换到后台运动来判断是否将播放模式切换至单音播放模式；针对通过WEB端上的网页播放流媒体内容，根据是否接收到由用户触发的单音播放指令或者根据播放界面是否由用户最小化来判断是否将播放模式切换至单音播放模式。本实施例提供了多种切换至单音播放模式的判断方法，可以简化用户操作，提高用户体验度。
此外，在DASH技术中，流媒体内容被划分为多个分片，每个分片对应一定时间长度的播放内容(例如，10秒)，每个分片均有对应的音频数据文件和视频数据文件；在播放一个分片之前，客户端从服务器获取该分片的音频数据文件和视频数据文件，客户端对音频数据文件进行解析以得到音频内容并缓存在音频缓存区中，以及对视频数据文件进行解析以得到视频内容并缓存在视频缓存区中。
基于DASH的分片特性，步骤S101，包括：
步骤A1：当接收到单音播放指令时，停止从视频缓存区获取视频内容，只从音频缓存区获取音频内容，并根据所述音频内容对当前分片进行单音播放。
在本实施例中，当在播放所述流媒体内容的一个分片的过程中确定出需要切换至单音播放时，停止视频流的链接，只保留音频流的链接，只继续对音频内容进行播放。
步骤A2：向所述服务器发送获取下个分片的音频数据文件的请求。
从下个分片开始，客户端只向服务器发送获取所流媒体内容的音频数据文件的请求，不再发送获取所述流媒体内容的视频数据文件的请求。
在本实施例中，当需要切换至单音播放模式时，先利用已缓存的音频内容，对当前分片进行单音播放，并从下个分片开始，只从服务器获取音频数据文件，直至切换至音视频同步播放。
步骤S102：接收由所述服务器反馈回的所述流媒体内容的音频数据文件，并根据所述 音频数据文件解析出音频内容。
具体的，所述根据所述音频数据文件解析出音频内容，包括：
对所述音频数据文件进行解封装操作，得到音频流压缩编码数据，并对所述音频压缩编码数据进行解码操作，得到音频内容。
其中，解封装又称解复用，是将输入的封装格式(例如，AVI格式、PM4格式、FLV格式)的数据分离为音频流压缩编码数据和视频流压缩编码数据，此外，在解封装的过程中还可以获取到流媒体文件中的一些基本信息。
解码是通过解码器将压缩数据恢复成音视频信号的过程。
步骤S103：根据所述音频内容对所述流媒体内容进行单音播放。
具体的，步骤S103，包括：
将解码得到的音频内容输送至客户端中相应的声卡以播放出来。
此外，如图2所示，本实施例还提供了一种由单音播放切换回音视频同步播放的方法，所述方法包括以下步骤：
步骤S201：在进行单音播放的过程中，当接收到音视频同步播放指令时，向所述服务器发送获取所述流媒体内容的音频数据文件和视频数据文件的请求。
具体的，触发音视频同步播放指令的方式可以包括以下三种：
第一种，由用户通过点击预设的按钮而触发的音视频同步播放指令；
第二种：当检测到播放界面取消最小化时而触发的音视频同步播放指令；
第三种：当检测到播放软件由后台运行切换至前台运行时而触发的音视频同步播放指令。
需要说明的是，第一种情况同时适用于WEB端(例如，PC电脑)和移动端(例如，智能手机)，即当接收到由用户操作而触发的音视频同步播放指令时自动将播放模式切换至音视频同步播放模式，同时播放音频内容和视频内容；第二种情况适用于WEB端，当用户取消播放界面的最小化时，自动将播放模式切换至音视频同步播放；第三种情况适用于移动端，当用户将播放软件由后台运行切换至前台运行时，自动将播放模式切换至音视频同步播放。
在本实施例中，针对通过移动端上的应用软件播放流媒体内容，根据是否接收到由用户触发的音视频切换指令或者根据播放软件是否由后台运行切换到前台运动来判断是否将播放模式切换至音视频同步播放；针对通过WEB端上的网页播放流媒体内容，根据是否接收到由用户触发的音视频切换指令或者根据播放界面是否由最小化还原来判断是否将播放模式切换至音视频同步播放。
进一步的，所述向所述服务器发送获取所述流媒体内容的音频数据文件和视频数据文件的请求，包括：
获取当前播放的音频内容的时间戳，并根据所述时间戳确定出当前播放的音频内容的分片号；
向所述服务器发送获取与所述分片号对应的音频数据文件和视频数据文件的请求；
其中，所述流媒体内容被划分为多个分片，每个分片均有对应的分片号，且每个分片号均有对应的音频数据文件和视频数据文件。
在本实施例中，在对流媒体内容进行单音播放的过程中，当需要将单音播放恢复至音视频同步播放时，根据当前播放的音频内容，重新从服务器拉取当前分片的视频内容和音频内容，以重新对当前分片进行音视频同步播放。
步骤S202：接收由所述服务器反馈回的所述流媒体内容的音频数据文件和视频数据文件，根据所述音频数据文件解析出音频内容，并根据所述视频数据文件解析出视频内容。
具体的，步骤S202，包括：
对所述音频数据文件进行解封装操作，得到音频流压缩编码数据，并对所述音频压缩编码数据进行解码操作，得到音频内容；以及，
对所述视频数据文件进行解封装操作，得到视频流压缩编码数据，并对所述视频压缩编码数据进行解码操作，得到视频内容。
步骤S203：根据所述音频内容和视频内容对所述流媒体内容进行音视频同步播放。
更进一步的，所述方法还包括：
在进行单音播放的过程中，当接收到音频语言切换指令时，根据所述音频语言切换指令从所述服务器获取对应语言的音频数据文件，并根据所述音频数据文件播放对应语言的音频内容。
例如，待播放内容为一部美国的电影，且该电影具有英文原音和中文配音两种语言可供选择；在单音播放的过程中，可以根据用户的选择，选择收听英文原音或中文配音。
实施例二
基于上述实施例一中提供的音视频的切换方法，本实施例中提供一种音视频的切换装置，具体地，图3示出了该音视频的切换装置的可选的结构框图，该音视频的切换装置被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本申请。本申请所称的程序模块是指能够完成特定功能的一系列计算机可读指令段，以下描述将具体介绍本实施例各程序模块的功能。
如图3所示，应用于客户端的音视频的切换装置包括以下组成部分：
请求模块301，用于在利用DASH对流媒体内容进行音视频同步播放的过程中，当接收到单音播放指令时，向服务器发送获取所述流媒体内容的音频数据文件的请求；其中，在所述服务器上存储有根据所述流媒体内容的视频内容形成的视频数据文件以及根据所述流媒体内容的音频内容形成的音频数据文件；
解析模块302，用于接收由所述服务器反馈回的所述流媒体内容的音频数据文件，并根据所述音频数据文件解析出音频内容；
播放模块303，用于根据所述音频内容对所述流媒体内容进行单音播放。
此外，在单音播放模式下，请求模块301，还用于：
在进行单音播放的过程中，当接收到音视频同步播放指令时，向所述服务器发送获取所述流媒体内容的音频数据文件和视频数据文件的请求。
在单音播放模式下，解析模块302，还用于：
接收由所述服务器反馈回的所述流媒体内容的音频数据文件和视频数据文件，根据所述音频数据文件解析出音频内容，并根据所述视频数据文件解析出视频内容。
在单音播放模式下，播放模块303，还用于：
根据所述音频内容和视频内容对所述流媒体内容进行音视频同步播放。
具体的，在单音播放模式下，请求模块301，具体用于：
获取当前播放的音频内容的时间戳，并根据所述时间戳确定出当前播放的音频内容的分片号；
向所述服务器发送获取与所述分片号对应的音频数据文件和视频数据文件的请求；
其中，所述流媒体内容被划分为多个分片，每个分片均有对应的分片号，且每个分片号均有对应的音频数据文件和视频数据文件。
解析模块302，具体用于：
对所述音频数据文件进行解封装操作，得到音频流压缩编码数据，并对所述音频压缩编码数据进行解码操作，得到音频内容；以及，
对所述视频数据文件进行解封装操作，得到视频流压缩编码数据，并对所述视频压缩编码数据进行解码操作，得到视频内容。
进一步的，所述装置还包括：
切换模块，用于在进行单音播放的过程中，当接收到音频语言切换指令时，根据所述音频语言切换指令从所述服务器获取对应语言的音频数据文件，并根据所述音频数据文件播放对应语言的音频内容。
实施例三
本实施例还提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图4所示，本实施例的计算机设备40至少包括但不限于：可通过系统总线相互通信连接的存储器401、处理器402。需要指出的是，图4仅示出了具有组件401-402的计算机设备40，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器401(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器401可以是计算机设备40的内部存储单元，例如该计算机设备40的硬盘或内存。在另一些实施例中，存储器401也可以是计算机设备40的外部存储设备，例如该计算机设备40上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器401还可以既包括计算机设备40的内部存储单元也包括其外部存储设备。在本实施例中，存储器401通常用于存储安装于计算机设备40的操作系统和各类应用软件，例如实施例二的音视频的切换装置的程序代码等。此外，存储器401还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器402在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器402通常用于控制计算机设备40的总体操作。
具体的，在本实施例中，处理器402用于执行处理器402中存储的音视频的切换方法的程序，所述音视频的切换方法的程序被执行时实现如下步骤：
在利用DASH对流媒体内容进行音视频同步播放的过程中，当接收到单音播放指令时，向服务器发送获取所述流媒体内容的音频数据文件的请求；其中，在所述服务器上存储有根据所述流媒体内容的视频内容形成的视频数据文件以及根据所述流媒体内容的音频内容形成的音频数据文件；
接收由所述服务器反馈回的所述流媒体内容的音频数据文件，并根据所述音频数据文件解析出音频内容；
根据所述音频内容对所述流媒体内容进行单音播放。
上述方法步骤的具体实施例过程可参见第一实施例，本实施例在此不再重复赘述。
实施例四
本实施例还提供一种计算机可读存储介质(易失性/非易失性)，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如下方法步骤：
在利用DASH对流媒体内容进行音视频同步播放的过程中，当接收到单音播放指令时，向服务器发送获取所述流媒体内容的音频数据文件的请求；其中，在所述服务器上存储有根据所述流媒体内容的视频内容形成的视频数据文件以及根据所述流媒体内容的音频内容形成的音频数据文件；
接收由所述服务器反馈回的所述流媒体内容的音频数据文件，并根据所述音频数据文件解析出音频内容；
根据所述音频内容对所述流媒体内容进行单音播放。
上述方法步骤的具体实施例过程可参见第一实施例，本实施例在此不再重复赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (20)

  1. 一种音视频的切换方法，所述方法包括：
    在利用DASH对流媒体内容进行音视频同步播放的过程中，当接收到单音播放指令时，向服务器发送获取所述流媒体内容的音频数据文件的请求；其中，在所述服务器上存储有根据所述流媒体内容的视频内容形成的视频数据文件以及根据所述流媒体内容的音频内容形成的音频数据文件；
    接收由所述服务器反馈回的所述流媒体内容的音频数据文件，并根据所述音频数据文件解析出音频内容；
    根据所述音频内容对所述流媒体内容进行单音播放。
  2. 根据权利要求1所述的音视频的切换方法，所述方法还包括：
    在进行单音播放的过程中，当接收到音视频同步播放指令时，向所述服务器发送获取所述流媒体内容的音频数据文件和视频数据文件的请求；
    接收由所述服务器反馈回的所述流媒体内容的音频数据文件和视频数据文件，根据所述音频数据文件解析出音频内容，并根据所述视频数据文件解析出视频内容；
    根据所述音频内容和视频内容对所述流媒体内容进行音视频同步播放。
  3. 根据权利要求1所述的音视频的切换方法，所述根据所述音频数据文件解析出音频内容，包括：
    对所述音频数据文件进行解封装操作，得到音频流压缩编码数据，并对所述音频压缩编码数据进行解码操作，得到音频内容。
  4. 根据权利要求2所述的音视频的切换方法，所述当接收到音视频同步播放指令时，向所述服务器发送获取所述流媒体内容的音频数据文件和视频数据文件的请求，包括：
    获取当前播放的音频内容的时间戳，并根据所述时间戳确定出当前播放的音频内容的分片号；
    向所述服务器发送获取与所述分片号对应的音频数据文件和视频数据文件的请求；
    其中，所述流媒体内容被划分为多个分片，每个分片均有对应的分片号，且每个分片号均有对应的音频数据文件和视频数据文件。
  5. 根据权利要求2所述的音视频的切换方法，所述根据所述视频数据文件解析出视频内容，包括：
    对所述视频数据文件进行解封装操作，得到视频流压缩编码数据，并对所述视频压缩 编码数据进行解码操作，得到视频内容。
  6. 根据权利要求1所述的音视频的切换方法，所述方法还包括：
    在进行单音播放的过程中，当接收到音频语言切换指令时，根据所述音频语言切换指令从所述服务器获取对应语言的音频数据文件，并根据所述音频数据文件播放对应语言的音频内容。
  7. 一种音视频的切换装置，所述装置包括：
    请求模块，用于在利用DASH对流媒体内容进行音视频同步播放的过程中，当接收到单音播放指令时，向服务器发送获取所述流媒体内容的音频数据文件的请求；其中，在所述服务器上存储有根据所述流媒体内容的视频内容形成的视频数据文件以及根据所述流媒体内容的音频内容形成的音频数据文件；
    解析模块，用于接收由所述服务器反馈回的所述流媒体内容的音频数据文件，并根据所述音频数据文件解析出音频内容；
    播放模块，用于根据所述音频内容对所述流媒体内容进行单音播放。
  8. 根据权利要求7所述的音视频的切换装置，所述请求模块，还用于：
    在进行单音播放的过程中，当接收到音视频同步播放指令时，向所述服务器发送获取所述流媒体内容的音频数据文件和视频数据文件的请求；
    所述解析模块，还用于：
    接收由所述服务器反馈回的所述流媒体内容的音频数据文件和视频数据文件，根据所述音频数据文件解析出音频内容，并根据所述视频数据文件解析出视频内容；
    所述播放模块，还用于：
    根据所述音频内容和视频内容对所述流媒体内容进行音视频同步播放。
  9. 一种计算机设备，所述计算机设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现以下步骤：
    在利用DASH对流媒体内容进行音视频同步播放的过程中，当接收到单音播放指令时，向服务器发送获取所述流媒体内容的音频数据文件的请求；其中，在所述服务器上存储有根据所述流媒体内容的视频内容形成的视频数据文件以及根据所述流媒体内容的音频内容形成的音频数据文件；
    接收由所述服务器反馈回的所述流媒体内容的音频数据文件，并根据所述音频数据文 件解析出音频内容；
    根据所述音频内容对所述流媒体内容进行单音播放。
  10. 根据权利要求9所述的计算机设备，还包括：
    在进行单音播放的过程中，当接收到音视频同步播放指令时，向所述服务器发送获取所述流媒体内容的音频数据文件和视频数据文件的请求；
    接收由所述服务器反馈回的所述流媒体内容的音频数据文件和视频数据文件，根据所述音频数据文件解析出音频内容，并根据所述视频数据文件解析出视频内容；
    根据所述音频内容和视频内容对所述流媒体内容进行音视频同步播放。
  11. 根据权利要求10所述的计算机设备，所述当接收到音视频同步播放指令时，向所述服务器发送获取所述流媒体内容的音频数据文件和视频数据文件的请求，包括：
    获取当前播放的音频内容的时间戳，并根据所述时间戳确定出当前播放的音频内容的分片号；
    向所述服务器发送获取与所述分片号对应的音频数据文件和视频数据文件的请求；
    其中，所述流媒体内容被划分为多个分片，每个分片均有对应的分片号，且每个分片号均有对应的音频数据文件和视频数据文件。
  12. 根据权利要求10所述的计算机设备，所述根据所述音频数据文件解析出音频内容，包括：
    对所述音频数据文件进行解封装操作，得到音频流压缩编码数据，并对所述音频压缩编码数据进行解码操作，得到音频内容。
  13. 根据权利要求10所述的计算机设备，所述根据所述视频数据文件解析出视频内容，包括：
    对所述视频数据文件进行解封装操作，得到视频流压缩编码数据，并对所述视频压缩编码数据进行解码操作，得到视频内容。
  14. 根据权利要求9所述的计算机设备，还包括：
    在进行单音播放的过程中，当接收到音频语言切换指令时，根据所述音频语言切换指令从所述服务器获取对应语言的音频数据文件，并根据所述音频数据文件播放对应语言的音频内容。
  15. 一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现以下步骤：
    在利用DASH对流媒体内容进行音视频同步播放的过程中，当接收到单音播放指令时， 向服务器发送获取所述流媒体内容的音频数据文件的请求；其中，在所述服务器上存储有根据所述流媒体内容的视频内容形成的视频数据文件以及根据所述流媒体内容的音频内容形成的音频数据文件；
    接收由所述服务器反馈回的所述流媒体内容的音频数据文件，并根据所述音频数据文件解析出音频内容；
    根据所述音频内容对所述流媒体内容进行单音播放。
  16. 根据权利要求15所述的计算机可读存储介质，还包括：
    在进行单音播放的过程中，当接收到音视频同步播放指令时，向所述服务器发送获取所述流媒体内容的音频数据文件和视频数据文件的请求；
    接收由所述服务器反馈回的所述流媒体内容的音频数据文件和视频数据文件，根据所述音频数据文件解析出音频内容，并根据所述视频数据文件解析出视频内容；
    根据所述音频内容和视频内容对所述流媒体内容进行音视频同步播放。
  17. 根据权利要求16所述的计算机可读存储介质，所述当接收到音视频同步播放指令时，向所述服务器发送获取所述流媒体内容的音频数据文件和视频数据文件的请求，包括：
    获取当前播放的音频内容的时间戳，并根据所述时间戳确定出当前播放的音频内容的分片号；
    向所述服务器发送获取与所述分片号对应的音频数据文件和视频数据文件的请求；
    其中，所述流媒体内容被划分为多个分片，每个分片均有对应的分片号，且每个分片号均有对应的音频数据文件和视频数据文件。
  18. 根据权利要求16所述的计算机可读存储介质，所述根据所述音频数据文件解析出音频内容，包括：
    对所述音频数据文件进行解封装操作，得到音频流压缩编码数据，并对所述音频压缩编码数据进行解码操作，得到音频内容。
  19. 根据权利要求16所述的计算机可读存储介质，所述根据所述视频数据文件解析出视频内容，包括：
    对所述视频数据文件进行解封装操作，得到视频流压缩编码数据，并对所述视频压缩编码数据进行解码操作，得到视频内容。
  20. 根据权利要求15所述的计算机可读存储介质，还包括：
    在进行单音播放的过程中，当接收到音频语言切换指令时，根据所述音频语言切换指令从所述服务器获取对应语言的音频数据文件，并根据所述音频数据文件播放对应语言的音频内容。
PCT/CN2019/128458 2019-01-30 2019-12-25 音视频的切换方法、装置、计算机设备及可读存储介质 WO2020155964A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP19912378.7A EP3866481A4 (en) 2019-01-30 2019-12-25 Audio/video switching method and apparatus, and computer device and readable storage medium
US17/330,226 US11490173B2 (en) 2019-01-30 2021-05-25 Switch of audio and video

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910092875.1 2019-01-30
CN201910092875.1A CN111510756A (zh) 2019-01-30 2019-01-30 音视频的切换方法、装置、计算机设备及可读存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/330,226 Continuation US11490173B2 (en) 2019-01-30 2021-05-25 Switch of audio and video

Publications (1)

Publication Number Publication Date
WO2020155964A1 true WO2020155964A1 (zh) 2020-08-06

Family

ID=71840239

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/128458 WO2020155964A1 (zh) 2019-01-30 2019-12-25 音视频的切换方法、装置、计算机设备及可读存储介质

Country Status (4)

Country Link
US (1) US11490173B2 (zh)
EP (1) EP3866481A4 (zh)
CN (1) CN111510756A (zh)
WO (1) WO2020155964A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113038193A (zh) * 2021-03-24 2021-06-25 Vidaa美国公司 一种自动修复音视频不同步的方法及显示设备
CN115484490A (zh) * 2022-09-15 2022-12-16 北京字跳网络技术有限公司 一种视频处理方法、装置、设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220394323A1 (en) * 2021-06-04 2022-12-08 Rovi Guides, Inc. Supplmental audio generation system in an audio-only mode
CN113676777B (zh) * 2021-08-18 2024-03-08 上海哔哩哔哩科技有限公司 数据处理方法及装置
CN114339308A (zh) * 2022-01-04 2022-04-12 腾讯音乐娱乐科技（深圳）有限公司 一种视频流加载方法、电子设备及存储介质
CN114786063B (zh) * 2022-03-11 2023-12-05 北京字跳网络技术有限公司 一种音视频处理方法、装置、设备以及存储介质
CN116634189B (zh) * 2023-07-20 2023-10-03 天津星耀九洲科技有限公司 交互式直播数据显示方法、装置及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101873447A (zh) * 2009-04-21 2010-10-27 深圳富泰宏精密工业有限公司 电子装置及其收看电视的省电方法
CN102625150A (zh) * 2012-03-16 2012-08-01 中国科学院计算技术研究所 一种媒体播放系统和方法
CN103024490A (zh) * 2012-12-26 2013-04-03 北京奇艺世纪科技有限公司 一种支持音频和视频独立播放的方法及设备
CN104581320A (zh) * 2013-10-16 2015-04-29 中兴通讯股份有限公司 一种切换播放模式的方法、装置和终端
CN105612753A (zh) * 2013-10-08 2016-05-25 高通股份有限公司 媒体流传输期间在适配集合间的切换
CN105979060A (zh) * 2015-12-03 2016-09-28 乐视致新电子科技（天津）有限公司 一种播放方法和装置
WO2016149928A1 (zh) * 2015-03-26 2016-09-29 华为技术有限公司 视频播放模式切换方法、装置和终端
CN106792075A (zh) * 2017-01-04 2017-05-31 合网络技术（北京）有限公司 视频播放方法及装置
US20190028746A1 (en) * 2010-09-15 2019-01-24 Bamtech, Llc Synchronous and Multi-Sourced Audio and Video Broadcast

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9769512B2 (en) * 2012-11-08 2017-09-19 Time Warner Cable Enterprises Llc System and method for delivering media based on viewer behavior
US9558787B2 (en) * 2014-01-29 2017-01-31 Google Inc. Media application backgrounding
WO2016105100A1 (ko) * 2014-12-22 2016-06-30 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2016117939A1 (ko) * 2015-01-21 2016-07-28 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
CN111954029B (zh) * 2015-01-29 2022-08-16 Lg 电子株式会社 广播信号发送和接收设备及广播信号发送和接收方法
US10693936B2 (en) * 2015-08-25 2020-06-23 Qualcomm Incorporated Transporting coded audio data
US9854375B2 (en) * 2015-12-01 2017-12-26 Qualcomm Incorporated Selection of coded next generation audio data for transport
US10887645B2 (en) * 2017-07-13 2021-01-05 Qualcomm Incorporated Processing media data using file tracks for web content
US10958948B2 (en) * 2017-08-29 2021-03-23 Charter Communications Operating, Llc Apparatus and methods for latency reduction in digital content switching operations
EP3734594A4 (en) * 2017-12-28 2020-11-11 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101873447A (zh) * 2009-04-21 2010-10-27 深圳富泰宏精密工业有限公司 电子装置及其收看电视的省电方法
US20190028746A1 (en) * 2010-09-15 2019-01-24 Bamtech, Llc Synchronous and Multi-Sourced Audio and Video Broadcast
CN102625150A (zh) * 2012-03-16 2012-08-01 中国科学院计算技术研究所 一种媒体播放系统和方法
CN103024490A (zh) * 2012-12-26 2013-04-03 北京奇艺世纪科技有限公司 一种支持音频和视频独立播放的方法及设备
CN105612753A (zh) * 2013-10-08 2016-05-25 高通股份有限公司 媒体流传输期间在适配集合间的切换
CN104581320A (zh) * 2013-10-16 2015-04-29 中兴通讯股份有限公司 一种切换播放模式的方法、装置和终端
WO2016149928A1 (zh) * 2015-03-26 2016-09-29 华为技术有限公司 视频播放模式切换方法、装置和终端
CN105979060A (zh) * 2015-12-03 2016-09-28 乐视致新电子科技（天津）有限公司 一种播放方法和装置
CN106792075A (zh) * 2017-01-04 2017-05-31 合网络技术（北京）有限公司 视频播放方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3866481A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113038193A (zh) * 2021-03-24 2021-06-25 Vidaa美国公司 一种自动修复音视频不同步的方法及显示设备
CN113038193B (zh) * 2021-03-24 2023-08-11 Vidaa美国公司 一种自动修复音视频不同步的方法及显示设备
CN115484490A (zh) * 2022-09-15 2022-12-16 北京字跳网络技术有限公司 一种视频处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP3866481A1 (en) 2021-08-18
CN111510756A (zh) 2020-08-07
EP3866481A4 (en) 2022-06-29
US20210281929A1 (en) 2021-09-09
US11490173B2 (en) 2022-11-01

Similar Documents

Publication Publication Date Title
WO2020155964A1 (zh) 音视频的切换方法、装置、计算机设备及可读存储介质
CN109168078B (zh) 一种视频清晰度切换方法及装置
US11336953B2 (en) Video processing method, electronic device, and computer-readable medium
US11622134B2 (en) System and method for low-latency content streaming
US20170111414A1 (en) Video playing method and device
CN105049920B (zh) 一种多媒体文件的录制方法和装置
JP6427692B2 (ja) マルチビューストリーミングサービス提供方法及び装置
CN111510755A (zh) 音视频的切换方法、装置、计算机设备及可读存储介质
CN112261416A (zh) 基于云的视频处理方法、装置、存储介质与电子设备
CN111669645B (zh) 视频的播放方法、装置、电子设备及存储介质
CN111050201A (zh) 数据处理方法、装置、电子设备及存储介质
CN110996160B (zh) 视频处理方法、装置、电子设备及计算机可读取存储介质
CN105049904B (zh) 一种多媒体文件的播放方法和装置
JP7246508B2 (ja) Ｈｔｔｐによる動的適応ストリーミングのための方法及び装置
WO2020155956A1 (zh) 首帧均衡限流方法、装置、计算机设备及可读存储介质
KR100909669B1 (ko) 모바일 단말 및 임베디드 단말의 웹 브라우저 내에서 플래시 기반 비디오 콘텐츠의 재생 방법
KR20100029010A (ko) 멀티미디어 데이터를 처리하기 위한 다중 프로세서 시스템들 및 그것의 방법들
CN113542764A (zh) 视频快速启播方法、装置、电子设备及计算机可读介质
CN108600826B (zh) 一种播放ts流的方法及装置
EP2573728A1 (en) Sound-source distribution method for an electronic terminal, and system for same
CN114341866A (zh) 同声传译方法、装置、服务器和存储介质
CN115942021B (zh) 音视频流同步播放方法、装置、电子设备及存储介质
CN116112722B (zh) 音频播放方法、装置、电子设备及存储介质
JP7247184B2 (ja) 情報処理装置、情報処理システム、プログラム及び情報処理方法
US11882170B2 (en) Extended W3C media extensions for processing dash and CMAF inband events

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19912378

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019912378

Country of ref document: EP

Effective date: 20210512

NENP Non-entry into the national phase

Ref country code: DE