WO2017054488A1 - 电视播放控制方法、服务器及电视播放控制系统 - Google Patents

电视播放控制方法、服务器及电视播放控制系统 Download PDF

Info

Publication number
WO2017054488A1
WO2017054488A1 PCT/CN2016/084461 CN2016084461W WO2017054488A1 WO 2017054488 A1 WO2017054488 A1 WO 2017054488A1 CN 2016084461 W CN2016084461 W CN 2016084461W WO 2017054488 A1 WO2017054488 A1 WO 2017054488A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio data
audio
data
television terminal
time segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2016/084461
Other languages
English (en)
French (fr)
Inventor
戚炎兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen TCL New Technology Co Ltd
Original Assignee
Shenzhen TCL New Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen TCL New Technology Co Ltd filed Critical Shenzhen TCL New Technology Co Ltd
Publication of WO2017054488A1 publication Critical patent/WO2017054488A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4856—End-user interface for client configuration for language selection, e.g. for the menu or subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Definitions

  • the present invention relates to the field of television technologies, and in particular, to a television broadcast control method, a server, and a television broadcast control system.
  • Most video files may only provide one voice, but more than two subtitles are provided.
  • the user can only listen to the default voice provided in the video file, but when the user does not understand the default language, You can only understand the character dialogue and plot by watching the subtitles. This will reduce the user's audiovisual experience.
  • the main objective of the present invention is to provide a television broadcast control method, a server and a television broadcast control system, which are designed to provide audio that can be understood by a user according to the language requirements of different users, so as to avoid the use of subtitles to understand the character dialogue and The flaws in the plot, thus improving the user experience of watching TV.
  • the present invention provides a television broadcast control method, and the television broadcast control method includes the following steps:
  • the present invention further provides a server, where the server includes:
  • a first receiving module configured to receive first audio data and subtitle data sent by the television terminal
  • a generating processing module configured to perform recognition processing on the first audio data and the caption data, and generate a role list and sample audio parameters
  • a synthesis processing module configured to send the role list and sample audio parameters to the television terminal, and when receiving the user setting parameter that is reported by the television terminal according to the role list and the sample audio parameter, The first audio data is synthesized into the second audio data;
  • a first sending module configured to send the second audio data to the television terminal to control the second audio data and the subtitle data to be played at the television terminal.
  • the present invention further provides a television broadcast control system, the television broadcast control system comprising a television terminal and a server as described above, the television terminal comprising:
  • a second sending module configured to send first audio data and subtitle data to the server
  • a second receiving module configured to receive a role list and sample audio parameters generated by the server after the first audio data and the caption data are identified and processed;
  • a feedback module configured to generate a user setting parameter according to the role list and the sample audio parameter, and feed back the user setting parameter to the server;
  • An acquiring module configured to acquire second audio data that is synthesized by the server when the user setting parameter is received, where the first audio data is synthesized;
  • a synchronous play module configured to synchronously play the second audio data, the video data, and the caption data
  • the television terminal extracts the video data, the first audio data, and the subtitle data from a video file.
  • the television broadcast control method, the server and the television broadcast control system provided by the present invention first receive the first audio data and the caption data sent by the television terminal through the server, and perform recognition processing to generate a character list and sample audio parameters, and then Transmitting the role list and the sample audio parameters to the television terminal, and synthesizing the first audio data into the second audio data according to the user setting parameter when receiving the user setting parameter fed back by the television terminal, and finally Transmitting the second audio data to the television terminal to control the second audio data and the caption data to be played at the television terminal.
  • the audio that can be understood by the user can be provided correspondingly, and the user's personalized requirement for the character dialogue can be satisfied, thereby avoiding the defect of the character dialogue and the plot only by using the subtitle, thereby improving the user. Watch the experience of TV.
  • FIG. 1 is a schematic flow chart of an embodiment of a television broadcast control method according to the present invention.
  • FIG. 2 is a schematic diagram of a refinement process of the step of FIG. 1 for identifying the first audio data, and generating a role list and sample audio parameters;
  • 3 is a waveform diagram of a subtitle time stamp and first audio data
  • FIG. 4 is a schematic diagram of a refinement process of performing spectrum analysis on the first audio data in the time segment in the step of FIG. 2, and performing a classification to generate a role list;
  • FIG. 5 is a schematic diagram of a refinement process of generating a sample audio parameter corresponding to the role list by using a speech synthesis technology in the step of FIG. 2;
  • FIG. 6 is a step of FIG. 1 for transmitting the role list and sample audio parameters to the television terminal, and when receiving the user setting parameter fed back by the television terminal, the first setting according to the user setting parameter
  • the audio data is synthesized into a refinement flow diagram of the second audio data
  • FIG. 7 is a schematic diagram showing a synthesized waveform of the second audio data
  • FIG. 8 is a schematic diagram of functional modules of an embodiment of a server according to the present invention.
  • FIG. 9 is a schematic diagram of a refinement function module of the generation processing module in FIG. 8;
  • FIG. 10 is a schematic diagram of a refinement function module of the categorizing unit of FIG. 9;
  • FIG. 11 is a schematic diagram of a refinement function module of the generating unit in FIG. 9;
  • FIG. 12 is a schematic diagram of a refinement function module of the synthesis processing module of FIG. 8;
  • FIG. 13 is a schematic diagram of functional modules of an embodiment of a television broadcast control system according to the present invention.
  • FIG. 14 is a schematic diagram of a refinement function module of the television terminal of FIG.
  • a television broadcast control method of the television terminal includes the following steps:
  • Step S10 the server receives the first audio data and the caption data sent by the television terminal;
  • the audio and video playback of the television is completed by the television terminal and the server.
  • the television terminal completes the collation and transmission of audio, subtitle and other data, and provides a user interface for the user to set parameters.
  • the server receives data such as audio and subtitles sent by the television terminal, and completes processing of the audio and subtitle data to synthesize the audio data and transmit it to the television terminal for display.
  • the television terminal when the user turns on the dubbing setting function through the remote controller of the television terminal, the television terminal quickly decodes the video file, extracts the audio or default audio selected by the user, and the subtitle or default subtitle selected by the user, and the audio data. And the subtitle data is packaged and sent to the server.
  • Step S20 performing identification processing on the first audio data and the caption data, and generating a role list and sample audio parameters
  • the server performs identification processing on the first audio data and the caption data to generate a character list and sample audio parameters.
  • the generation of the role list may first select a predetermined number of timestamps, such as selecting three timestamps, and then separately identifying and analyzing the audio data in the three timestamps, and similarly sounding each timestamp.
  • the voices are classified into one type, namely, role 1, role 2, and the like.
  • the specific classification method can distinguish statistics according to the audio spectrum.
  • the sample audio is a preset fixed audio, which can be audio of different genders, and sample audio corresponding to different frequencies of different genders.
  • sample audio such as male treble audio, male vocal audio, male woofer audio, female treble audio, female vocal audio, female woofer audio, etc.
  • the frequency range of the audio can be further fined. The points are not limited to the high, medium and low audio ranges in the embodiment.
  • the sample audio can also be audio of a famous dubbing person or a professional dubbing person.
  • Step S30 sending the role list and the sample audio parameters to the television terminal, and synthesizing the first audio data into the second audio data when receiving the user setting parameter fed back by the television terminal;
  • the server sends the generated role list and sample audio parameters to the television terminal, and the television terminal presents a user interface on the television screen for the user to input and select a role list on the user interface. And the sample audio parameters to generate the user setting parameters, and then the television terminal feeds back the user setting parameters to the server.
  • the server synthesizes the first audio data into the second audio data according to the user setting parameter, wherein the synthesis process of the second audio data requires a text speech engine and a vocal cancellation program, which may be specifically
  • the text speech engine generates new audio data corresponding to the subtitle data (specifically according to user setting parameters), and performs vocal cancellation on the first audio data according to the vocal cancellation program, and then The new audio data and the vocal-removed first audio data are combined into the second audio data.
  • Step S40 Send the second audio data to the television terminal to control the second audio data and the subtitle data to be played in the television terminal.
  • the server sends the synthesized second audio data corresponding to the role list to the television terminal. It can be understood that, in addition to extracting audio data and subtitle data from the video file, the television terminal extracts video data from the video file, and at this time, the television terminal receives the second In the case of audio data, the video data is synchronized with the second audio data and the subtitle data, and finally played.
  • the television broadcast control method provided by the present invention first receives the first audio data and the caption data sent by the television terminal through the server, and performs recognition processing to generate a character list and sample audio parameters, and then the character list and the sample audio.
  • Sending parameters to the television terminal when receiving the user setting parameter fed back by the television terminal, synthesizing the first audio data into second audio data according to the user setting parameter, and finally using the second audio data Sending to the television terminal to control the second audio data and the subtitle data to be played at the television terminal.
  • the audio that can be understood by the user can be provided correspondingly, and the user's personalized requirement for the character dialogue can be satisfied, thereby avoiding the defect of the character dialogue and the plot only by using the subtitle, thereby improving the user. Watch the experience of TV.
  • the step S20 includes:
  • Step S201 the server extracts a subtitle timestamp from the subtitle data
  • Step S202 searching for a time segment in which the first audio data appears according to the subtitle timestamp
  • the server extracts the subtitle timestamp from the subtitle data, and finds a time segment in which the character dubbing appears according to the subtitle timestamp, and calls the speech recognition module to perform recognition processing, and statistics A plurality of audio data having a higher frequency appear in the time segment for the user to select.
  • Step S203 performing spectrum analysis on the first audio data in the time segment, and performing classification to generate a role list
  • the step S203 may specifically include:
  • Step S2031 respectively acquiring first audio data in the first time segment and the second time segment
  • Step S2032 determining whether the spectrum range and the spectrum amplitude of the first audio data in the first time segment and the second time segment are consistent;
  • the server respectively acquires first audio data in the first time segment and the second time segment, and separately processes the first time segment and A spectrum range and a spectral amplitude of the first audio data in the second time segment are analyzed, and determining whether a spectrum range and a spectrum amplitude of the first audio data in the first time segment are different from a spectrum of the first audio data in the second time segment The range and spectrum are consistent.
  • Step S2034 if no, classifying the first audio data in the first time segment and the second time segment into different roles.
  • the server determines that the first audio data in the first time segment and the second time segment is classified into the same role, if not, the first time segment and the second time are The first audio data within the segment is classified into different roles.
  • the spectral range and the spectral amplitude of the first audio data in the two time segments are consistent, if the similarity between the two is greater than or equal to 90%, the determination is consistent.
  • the value of the similarity is not limited to the embodiment, but may be reasonably selected according to actual needs.
  • the audio spectrum of one of the time segments is used as a reference, and is defined as role 1, and then compared with the audio spectrum in subsequent time segments. If the characteristics of the two spectra are determined to be close, the audio in the two time segments is taken. Classified as role 1; if it is judged that the features of the two spectra do not match, the audio in the subsequent time segment is classified as role 2 until the audio spectrum recognition in all time segments is completed. Finally, the number of occurrences of the character is counted, and the characters with more occurrences are the main personas.
  • this embodiment mainly analyzes the audio spectrum of the audio data in the time stamp. Because the pronunciation of each persona is different in spectrum, for example, the pronunciation spectrum of male voice is mainly concentrated in the middle and low frequency regions, while the pronunciation spectrum of female voice is concentrated in the middle and high frequency regions. In addition, in the pronunciation spectrum between characters, the spectral amplitudes of the respective frequency points also differ. Therefore, the pronunciation and audio between the characters can be distinguished by combining the spectral range and the spectral amplitude.
  • Step S204 Generate a sample audio parameter corresponding to the character list by using a speech synthesis technology.
  • the timestamp indicates that the audio data in the time segment has persona audio, and the time segment The audio data is speech-recognized to recognize the audio of one of the personas.
  • the sample audio is a preset fixed audio, which may be audio of different genders, and sample audio corresponding to different frequencies of different genders, for example, selecting a specific audio “whether or not the voice of the segment is selected as a character. Dubbing?", and provide male treble audio, male vocal audio, male woofer audio, female treble audio, female vocal audio, female woofer audio and other sample audio, of course, in other embodiments, you can also audio
  • the frequency range is further subdivided and is not limited to the high, medium and low audio ranges in this embodiment.
  • the user interface mode is popped up for the user to select, wherein the role list is the result of the role classification in the foregoing text; and the sample parameter refers to each The timestamp parameter in the role collation and the sample audio that the user can choose to preview.
  • the timestamp parameter allows the user to preview the original dubbing as well as the sample audio.
  • the step S204 includes:
  • Step S2041 Extract, for each role in the role list, a predetermined number of subtitle timestamps from the subtitle data;
  • Step S2042 Generate, by the text-to-speech engine, a predetermined number of sample audio parameters corresponding to the predetermined number of subtitle timestamps, to send to the television terminal for preview selection.
  • the user can preview the original voice of the character and the selected sample audio.
  • the television terminal transmits the corresponding parameter to the server, and the server uses the text.
  • the speech engine generates a predetermined number of sample audio parameters corresponding to the predetermined number of subtitle timestamps for transmission to the television terminal for preview selection.
  • the server provides three time stamps for each role classification, and simultaneously sends the generated sample audio to the television terminal.
  • the user may select the provided time stamp for each role categorization to play the audio of the corresponding time at the television terminal, so that the user recognizes the person represented by the role classification.
  • the user can preview the sample audio produced by the audition text speech engine to select and determine the appropriate sample audio parameters.
  • the step S30 includes:
  • Step S301 the generated role list and sample audio parameters are sent to the television terminal
  • Step S302 receiving user setting parameters fed back by the television terminal
  • the server sends the generated role list and sample audio parameters to the television terminal, and the television terminal presents a user interface on the television screen for the user to input and select a role list on the user interface.
  • a sample audio parameter to generate the user setting parameter, and then the television terminal feeds back the user setting parameter to the server.
  • Step S303 performing audio filtering on the first audio data, and synthesizing the second audio data corresponding to the role list by using a text speech engine and combining the user setting parameters.
  • new audio data corresponding to the subtitle data may be generated according to the text speech engine (specifically according to setting parameters of the user), and the first An audio data is subjected to vocal cancellation, and then the new audio data and the vocal-removed first audio data are synthesized into second audio data corresponding to the character list.
  • the existing vocal elimination method mainly uses the same vocal pronunciation in the left and right channels, and subtracts the left and right channels to remove the same part of the two channels, but this method is not only
  • the background sound causes a large loss (especially in the low frequency part), and when the vocal pronunciation is different in the two channels, the vocal is not well eliminated.
  • a bandpass filter is used, and in the frequency band of the bandpass filter, only the amplitude of the original pronunciation is reduced, and the discrimination of the synthesized audio is not affected, so that the low frequency and high frequency portions can be better preserved. .
  • the server 1 includes:
  • the first receiving module 10 is configured to receive first audio data and subtitle data sent by the television terminal;
  • the audio and video playback of the television is completed by the television terminal in cooperation with the server 1.
  • the television terminal completes the collation and transmission of audio and subtitle data, and provides a user interface for the user to set parameters.
  • the server 1 receives data such as audio and subtitles transmitted by the television terminal, and completes processing of audio and subtitle data to synthesize the audio data and transmit it to the television terminal for display.
  • the television terminal when the user turns on the dubbing setting function through the remote controller of the television terminal, the television terminal quickly decodes the video file, extracts the audio or default audio selected by the user, and the subtitle or default subtitle selected by the user, and the audio data. And the subtitle data is packaged and sent to the server 1.
  • the generating processing module 20 is configured to perform recognition processing on the first audio data and the caption data to generate a role list and sample audio parameters;
  • the server 1 performs identification processing on the first audio data and the caption data to generate a character list and sample audio parameters.
  • the generation of the role list may first select a predetermined number of timestamps, such as selecting three timestamps, and then separately identifying and analyzing the audio data in the three timestamps, and similarly sounding each timestamp.
  • the voices are classified into one type, namely, role 1, role 2, and the like.
  • the specific classification method can distinguish statistics according to the audio spectrum.
  • the sample audio is a preset fixed audio, which can be audio of different genders, and sample audio corresponding to different frequencies of different genders.
  • sample audio such as male treble audio, male vocal audio, male woofer audio, female treble audio, female vocal audio, female woofer audio, etc.
  • the frequency range of the audio can be further fined. The points are not limited to the high, medium and low audio ranges in the embodiment.
  • the sample audio can also be audio of a famous dubbing person or a professional dubbing person.
  • a synthesis processing module 30 configured to send the role list and sample audio parameters to the television terminal, and when receiving the user setting parameters fed back by the television terminal according to the role list and the sample audio parameters, The first audio data is synthesized into second audio data;
  • the server 1 sends the generated role list and sample audio parameters to the television terminal, and the television terminal presents a user interface on the television screen for the user to input and select a role on the user interface.
  • the list and sample audio parameters are generated to generate the user setting parameters, and then the television terminal feeds back the user setting parameters to the server 1.
  • the server 1 synthesizes the first audio data into the second audio data according to the user setting parameter, wherein the synthesis process of the second audio data requires a text speech engine and a vocal cancellation program, specifically Generating new audio data corresponding to the subtitle data according to the text speech engine (specifically according to user setting parameters), and performing vocal cancellation on the first audio data according to the vocal cancellation program, and then The new audio data and the vocal-removed first audio data are combined into the second audio data.
  • the first sending module 40 is configured to send the second audio data to the television terminal to control the second audio data and the caption data to be played in the television terminal.
  • the server 1 sends the synthesized second audio data corresponding to the role list to the television terminal. It can be understood that, in addition to extracting audio data and subtitle data from the video file, the television terminal extracts video data from the video file, and at this time, the television terminal receives the second In the case of audio data, the video data is synchronized with the second audio data and the subtitle data, and finally played.
  • the server 1 provided by the present invention first receives the first audio data and the caption data sent by the television terminal, and performs recognition processing to generate a character list and sample audio parameters, and then sends the role list and the sample audio parameters to The television terminal, when receiving the user setting parameter fed back by the television terminal, synthesizing the first audio data into second audio data according to the user setting parameter, and finally transmitting the second audio data to the The television terminal controls the second audio data and the subtitle data to be played at the television terminal.
  • the audio that can be understood by the user can be provided correspondingly, and the user's personalized requirement for the character dialogue can be satisfied, thereby avoiding the defect of the character dialogue and the plot only by using the subtitle, thereby improving the user. Watch the experience of TV.
  • the generation processing module 20 includes:
  • An obtaining unit 201 configured to extract a subtitle timestamp from the subtitle data
  • the searching unit 202 is configured to search, according to the subtitle timestamp, a time segment in which the first audio data appears;
  • the server 1 extracts a subtitle timestamp from the subtitle data, and finds a time segment in which the character dubbing appears according to the subtitle timestamp, and calls the speech recognition module to perform recognition processing, and statistics are performed. A plurality of audio data having a higher frequency appear in the time segment for the user to select.
  • the categorizing unit 203 is configured to perform spectrum analysis on the first audio data in the time segment, and perform categorization to generate a role list.
  • the categorizing unit 203 includes:
  • the obtaining subunit 2031 is configured to respectively acquire first audio data in the first time segment and the second time segment;
  • a determining subunit 2032 configured to determine whether a spectrum range and a spectrum amplitude of the first audio data in the first time segment and the second time segment are consistent;
  • the server respectively acquires first audio data in the first time segment and the second time segment, and separately processes the first time segment and A spectrum range and a spectral amplitude of the first audio data in the second time segment are analyzed, and determining whether a spectrum range and a spectrum amplitude of the first audio data in the first time segment are different from a spectrum of the first audio data in the second time segment The range and spectrum are consistent.
  • a first categorization sub-unit 2033 configured to: when determining a spectrum range and a spectrum amplitude of the first audio data in the first time segment and the second time segment, the first time segment and the second time The first audio data within the segment is classified into the same role;
  • a second collation sub-unit 2034 configured to: when determining that a spectrum range and/or a spectrum amplitude of the first audio data in the first time segment and the second time segment are inconsistent, then the first time segment and the first time segment The first audio data within the two time segments is classified into different roles.
  • the generating unit 204 is configured to generate a sample audio parameter corresponding to the character list by using a voice synthesis technology.
  • the generating unit 204 includes:
  • An extracting subunit 2041 configured to extract, from each of the roles in the role list, a predetermined number of subtitle timestamps from the subtitle data;
  • the generating subunit 2042 is configured to generate, by the text speech engine, a predetermined number of sample audio parameters corresponding to the predetermined number of subtitle timestamps, to send to the television terminal for preview selection.
  • the synthesis processing module 30 includes:
  • the sending unit 301 is configured to send the generated role list and sample audio parameters to the television terminal;
  • the receiving unit 302 is configured to receive user setting parameters that are feedback by the television terminal according to the role list and the sample audio parameters.
  • the server 1 sends the generated role list and sample audio parameters to the television terminal, and the television terminal presents a user interface on the television screen for the user to input and select a role list on the user interface. And the sample audio parameters to generate the user setting parameters, and then the television terminal feeds back the user setting parameters to the server 1.
  • the synthesizing unit 303 is configured to perform audio filtering on the first audio data, and synthesize the second audio data corresponding to the role list by using a text speech engine and combining the user setting parameters.
  • the new audio data corresponding to the subtitle data may be generated according to the text speech engine (specifically according to a setting parameter of the user), and according to the vocal elimination program, The first audio data is subjected to vocal cancellation, and then the new audio data and the vocal-removed first audio data are synthesized into second audio data corresponding to the character list.
  • the existing vocal elimination method mainly uses the same vocal pronunciation in the left and right channels, and subtracts the left and right channels to remove the same part of the two channels, but this method is not only
  • the background sound causes a large loss (especially in the low frequency part), and when the vocal pronunciation is different in the two channels, the vocal is not well eliminated.
  • a bandpass filter is used, and in the frequency band of the bandpass filter, only the amplitude of the original pronunciation is reduced, and the discrimination of the synthesized audio is not affected, so that the low frequency and high frequency portions can be better preserved. .
  • the present invention also provides a television broadcast control system 100.
  • the television broadcast control system 100 includes a television terminal 2 and a server 1 as described above.
  • the television terminal 2 include:
  • a second sending module 50 configured to send first audio data and caption data to the server 1;
  • the second receiving module 60 is configured to receive a role list and sample audio parameters generated by the server 1 after the first audio data and the caption data are identified and processed;
  • the feedback module 70 is configured to generate a user setting parameter according to the role list and the sample audio parameter, and feed back the user setting parameter to the server 1;
  • the obtaining module 80 is configured to acquire second audio data that is synthesized by the server 1 when the user setting parameter is received, where the first audio data is synthesized;
  • the synchronous play module 90 is configured to synchronously play the second audio data, the video data, and the caption data.
  • the television terminal 2 when receiving the second audio data corresponding to the role list synthesized by the server 1, the television terminal 2 synchronizes the second audio data with the video data and the caption data. Finally, the playback is performed, so that the audio of the video file is pre-processed by the server 1 to synthesize a language that the user can understand, which can enhance the user's viewing experience; in addition, the user can also provide various character audio selections, thereby further enhancing the user's viewing experience. User experience.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种电视播放控制方法，包括以下步骤：服务器接收电视终端发送的第一音频数据和字幕数据；对第一音频数据和字幕数据进行识别处理，生成角色列表和样例音频参数；将角色列表和样例音频参数发送至电视终端，并在接收到电视终端根据角色列表和样例音频参数反馈的用户设置参数时，将第一音频数据合成为第二音频数据；将第二音频数据发送至电视终端，以控制第二音频数据和字幕数据在电视终端进行播放。本发明还公开了一种服务器及电视播放控制系统。本发明可以根据不同用户的语言需求，对应提供可被用户理解的音频，以避免只能借助字幕来了解人物对白及剧情的缺陷，从而提高用户观看电视的体验感。

Description

电视播放控制方法、服务器及电视播放控制系统
技术领域
本发明涉及电视技术领域，尤其涉及一种电视播放控制方法、服务器及电视播放控制系统。
背景技术
目前的电视终端在进行视频文件播放时，通常根据视频文件中音轨及字幕数据来切换人物配音和字幕，以方便不同的用户可以选择自己理解的语言进行播放。然而，这种视频播放方式至少存在以下缺陷：
大多数视频文件可能只提供了一种语音，但同时提供了两种以上的字幕，这种情况下，用户只能收听视频文件中提供的默认语音，而在用户听不懂该默认语言时，就只能通过观看字幕来了解人物对白和剧情。这样，会降低用户的视听体验效果。
发明内容
本发明的主要目的在于提供一种电视播放控制方法、服务器及电视播放控制系统，旨在根据不同用户的语言需求，对应提供可被用户理解的音频，以避免只能借助字幕来了解人物对白及剧情的缺陷，从而提高用户观看电视的体验感。
为实现上述目的，本发明提供一种电视播放控制方法，所述电视播放控制方法包括以下步骤：
服务器接收电视终端发送的第一音频数据和字幕数据；
对所述第一音频数据和字幕数据进行识别处理，生成角色列表和样例音频参数；
将所述角色列表和样例音频参数发送至所述电视终端，并在接收到所述电视终端根据所述角色列表和样例音频参数反馈的用户设置参数时，将所述第一音频数据合成为第二音频数据；
将所述第二音频数据发送至所述电视终端，以控制所述第二音频数据以及所述字幕数据在所述电视终端进行播放。
此外，为实现上述目的，本发明还提供一种服务器，所述服务器包括：
第一接收模块，用于接收电视终端发送的第一音频数据和字幕数据；
生成处理模块，用于对所述第一音频数据和字幕数据进行识别处理，生成角色列表和样例音频参数；
合成处理模块，用于将所述角色列表和样例音频参数发送至所述电视终端，并在接收到所述电视终端根据所述角色列表和样例音频参数反馈的用户设置参数时，将所述第一音频数据合成为第二音频数据；
第一发送模块，用于将所述第二音频数据发送至所述电视终端，以控制所述第二音频数据以及所述字幕数据在所述电视终端进行播放。
此外，为实现上述目的，本发明还提供一种电视播放控制系统，所述电视播放控制系统包括电视终端以及如上所述的服务器，所述电视终端包括：
第二发送模块，用于向服务器发送第一音频数据和字幕数据；
第二接收模块，用于接收所述服务器对所述第一音频数据和字幕数据进行识别处理后，生成的角色列表和样例音频参数；
反馈模块，用于根据所述角色列表和样例音频参数生成用户设置参数，并将所述用户设置参数反馈给所述服务器；
获取模块，用于获取所述服务器在接收到所述用户设置参数时，将所述第一音频数据合成的第二音频数据；
同步播放模块，用于将所述第二音频数据、视频数据以及字幕数据进行同步播放；
其中，所述电视终端从视频文件中提取出所述视频数据、所述第一音频数据以及所述字幕数据。
本发明提供的电视播放控制方法、服务器以及电视播放控制系统，首先通过服务器接收电视终端发送的第一音频数据和字幕数据，并进行识别处理，以生成角色列表和样例音频参数，然后将所述角色列表和样例音频参数发送至所述电视终端，在接收到所述电视终端反馈的用户设置参数时，根据所述用户设置参数将所述第一音频数据合成为第二音频数据，最终将所述第二音频数据发送至所述电视终端，以控制所述第二音频数据以及所述字幕数据在所述电视终端进行播放。这样，可以根据不同用户的语言需求，对应提供可被用户理解的音频，还可以满足用户对人物对白的个性化要求，从而可以避免只能借助字幕来了解人物对白及剧情的缺陷，进而提高用户观看电视的体验感。
附图说明
图1为本发明电视播放控制方法一实施例的流程示意图；
图2为图1中步骤对所述第一音频数据进行识别处理，生成角色列表和样例音频参数的细化流程示意图；
图3为字幕时间戳与第一音频数据的波形示意图；
图4为图2中步骤对所述时间片段内的所述第一音频数据进行频谱分析，并进行归类生成角色列表的细化流程示意图；
图5为图2中步骤利用语音合成技术，生成与所述角色列表对应的样例音频参数的细化流程示意图；
图6为图1中步骤将所述角色列表和样例音频参数发送至所述电视终端，并在接收到所述电视终端反馈的用户设置参数时，根据所述用户设置参数将所述第一音频数据合成为第二音频数据的细化流程示意图；
图7为为第二音频数据的合成波形示意图；
图8为本发明服务器一实施例的功能模块示意图；
图9为图8中生成处理模块的细化功能模块示意图；
图10为图9中归类单元的细化功能模块示意图；
图11为图9中生成单元的细化功能模块示意图；
图12为图8中合成处理模块的细化功能模块示意图；
图13为本发明电视播放控制系统一实施例的功能模块示意图；
图14为图13中电视终端的细化功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种电视播放控制方法，参照图1，在一实施例中，所述电视终端的电视播放控制方法包括以下步骤：
步骤S10，服务器接收电视终端发送的第一音频数据和字幕数据；
本实施例中，电视的音频和视频播放，由电视终端与服务器协作完成，所述电视终端完成音频、字幕等数据的整理与传输，并提供用户界面以供用户进行参数设置。而服务器接收电视终端发送的音频、字幕等数据，并完成音频、字幕数据的处理，以合成音频数据后传输给电视终端进行显示。
本实施例中，用户通过电视终端的遥控器开启配音设置功能时，电视终端则对视频文件进行快速解码，提取出用户选择的音频或默认音频及用户选择的字幕或默认字幕，并将音频数据及字幕数据打包发送到服务器。
步骤S20，对所述第一音频数据和字幕数据进行识别处理，生成角色列表和样例音频参数；
所述服务器对所述第一音频数据和字幕数据进行识别处理，生成角色列表和样例音频参数。其中，所述角色列表的生成，可以先选取预定数量的时间戳，如选取三段时间戳，然后分别对所述三段时间戳内的音频数据进行识别分析，并将各时间戳内发音类似的语音归为一类即角色1、角色2等不同的角色。具体归类方法，可以根据音频频谱来进行区分统计。而样例音频是预设的固定音频，可为不同性别的音频，以及不同性别不同频率对应的样例音频，例如，选取一段特定的音频“是否选择本段语音为人物角色的配音？”，并分别提供男声高音音频、男声中音音频、男声低音音频、女声高音音频、女声中音音频、女声低音音频等样例音频，当然，在其他实施例中，还可以将音频的频率范围进一步细分，并不局限于本实施例中的高、中、低三种音频范围。此外，所述样例音频还可以是著名配音人员或专业配音人员的音频。
步骤S30，将所述角色列表和样例音频参数发送至所述电视终端，并在接收到所述电视终端反馈的用户设置参数时，将所述第一音频数据合成为第二音频数据；
本实施例中，服务器将生成的所述角色列表和样例音频参数发送至所述电视终端，所述电视终端在电视屏幕上呈现出用户界面，以供用户在用户界面上输入并选择角色列表和样例音频参数，从而生成所述用户设置参数，然后所述电视终端将所述用户设置参数反馈给所述服务器。所述服务器根据所述用户设置参数将所述第一音频数据合成为第二音频数据，其中，所述第二音频数据的合成过程，需要用到文本语音引擎和人声消除程序，具体可以根据所述文本语音引擎产生对应所述字幕数据的新的音频数据（具体根据用户设置参数而不同），并根据所述人声消除程序将所述第一音频数据进行人声消除，然后将所述新的音频数据与经人声消除的第一音频数据合成为第二音频数据。
步骤S40，将所述第二音频数据发送至所述电视终端，以控制所述第二音频数据以及所述字幕数据在所述电视终端进行播放。
本实施例中，所述服务器将合成的与所述角色列表对应的所述第二音频数据，发送至所述电视终端。可以理解的是，所述电视终端除了从所述视频文件中提取出音频数据、字幕数据外，还会从所述视频文件中提取出视频数据，此时，电视终端在接收到所述第二音频数据时，会将所述视频数据与所述第二音频数据以及字幕数据进行同步处理，最后进行播放。
本发明提供的电视播放控制方法，首先通过服务器接收电视终端发送的第一音频数据和字幕数据，并进行识别处理，以生成角色列表和样例音频参数，然后将所述角色列表和样例音频参数发送至所述电视终端，在接收到所述电视终端反馈的用户设置参数时，根据所述用户设置参数将所述第一音频数据合成为第二音频数据，最终将所述第二音频数据发送至所述电视终端，以控制所述第二音频数据以及所述字幕数据在所述电视终端进行播放。这样，可以根据不同用户的语言需求，对应提供可被用户理解的音频，还可以满足用户对人物对白的个性化要求，从而可以避免只能借助字幕来了解人物对白及剧情的缺陷，进而提高用户观看电视的体验感。
在一实施例中，如图2所示，在上述图1所示的基础上，所述步骤S20包括：
步骤S201，所述服务器从所述字幕数据中提取出字幕时间戳；
步骤S202，根据所述字幕时间戳，查找出所述第一音频数据出现的时间片段；
本实施例中，参照图3，服务器从所述字幕数据中提取出字幕时间戳，并根据所述字幕时间戳查找出角色配音出现的时间片段，并调用语音识别模块进行识别处理，统计出所述时间片段内出现频次较高的若干个音频数据供用户进行选择。
可以理解的是，电视配音中存在很多个角色，而主要人物角色的配音通常较多，而那些出现频次较低的配音可能也较多，如果都由用户来选择，则会增加用户的操作负担。
步骤S203，对所述时间片段内的所述第一音频数据进行频谱分析，并进行归类生成角色列表；
本实施例中，通过对所述时间片段内的第一音频数据进行频谱分析，利用频谱范围及频谱幅度，找出频谱接近的音频，并归为同一类而生成角色列表。
在一可选实施例中，如图4所示，所述步骤S203可具体包括：
步骤S2031，分别获取第一时间片段和第二时间片段内的第一音频数据；
步骤S2032，判断所述第一时间片段和第二时间片段内的第一音频数据的频谱范围及频谱幅度是否一致；
本实施例中，以两个时间片段如第一时间片段和第二时间片段为例，服务器分别获取第一时间片段和第二时间片段内的第一音频数据，并分别对第一时间片段和第二时间片段内的第一音频数据的频谱范围及频谱幅度进行分析，判断第一时间片段内的第一音频数据的频谱范围及频谱幅度是否与第二时间片段内的第一音频数据的频谱范围及频谱幅度一致。
步骤S2033，若是，则将所述第一时间片段和第二时间片段内的第一音频数据归类为同一角色；
步骤S2034，若否，则将所述第一时间片段和第二时间片段内的第一音频数据归类为不同角色。
本实施例中，若服务器判断一致，则将所述第一时间片段和第二时间片段内的第一音频数据归类为同一角色，若不一致，则将所述第一时间片段和第二时间片段内的第一音频数据归类为不同角色。
可以理解的是，在两个时间片段内的第一音频数据的频谱范围及频谱幅度是否一致时，可以设定二者的相似度大于或等于90%时，则判定一致。当然，在其他实施例中，相似度的取值并不局限于本实施例，而是可以根据实际需要合理选择。
以其中的一个时间片段的音频频谱作为基准，并定义为角色1，然后与后续各个时间片段内的音频频谱进行比对，若判断两个频谱的特征接近，则把两个时间片段内的音频归类为角色1；若判断两个频谱的特征不匹配，则将后续的时间片段内的音频归类为角色2，直到所有的时间片段内的音频频谱识别完成。最终，对角色出现的次数进行统计，其中出现次数较多的角色，则是主要的人物角色。
本实施例中，并不需要识别音频数据的具体内容，因为音频数据的内容在字幕数据中已经提供，本实施例主要是对时间戳内的音频数据进行音频频谱的分析。由于每个人物角色的发音在频谱上是存在差异的，如男声的发音频谱主要集中在中低频区域，而女声的发音频谱则集中在中高频区域。此外，角色之间的发音频谱中，各个频率点的频谱幅度也存在差异。因此，结合频谱范围及频谱幅度即可对角色间的发音音频进行区分。
步骤S204，利用语音合成技术，生成与所述角色列表对应的样例音频参数。
本实施例中，以读取的时间戳00：01：02：100~00：01：05：100为例，该时间戳表示该时间片段内的音频数据中具有人物角色音频，对该时间片段的音频数据进行语音识别，即可识别出其中一个人物角色的音频。
本实施例中，样例音频是预设的固定音频，可为不同性别的音频，以及不同性别不同频率对应的样例音频，例如，选取一段特定的音频“是否选择本段语音为人物角色的配音？”，并分别提供男声高音音频、男声中音音频、男声低音音频、女声高音音频、女声中音音频、女声低音音频等样例音频，当然，在其他实施例中，还可以将音频的频率范围进一步细分，并不局限于本实施例中的高、中、低三种音频范围。本实施例中，电视终端在服务器发送的角色列表及样例音频参数后，弹出用户界面方式供用户进行选择，其中，角色列表是前文中统计的角色归类结果；而样例参数是指每个角色归类中的时间戳参数及可供用户选择预览的样例音频。通过时间戳参数，用户可以预览原配音以及样例音频。
在一实施例中，如图5所示，在上述图2所示的基础上，所述步骤S204包括：
步骤S2041，针对所述角色列表中的每个角色，从所述字幕数据中提取出预定数量的字幕时间戳；
步骤S2042，通过文本语音引擎，对应所述预定数量的字幕时间戳生成预定数量的样例音频参数，以发至所述电视终端进行预览选择。
本实施例中，用户可以预览角色原配音及可选择的样例音频，电视终端在接收到用户设置参数即用户选择的样例音频时，将对应的参数传送至所述服务器，服务器则利用文本语音引擎，对应所述预定数量的字幕时间戳生成预定数量的样例音频参数，以发至所述电视终端进行预览选择。
例如：在角色音频识别过程中，统计得到3个类似发音的角色归类，服务器为每个角色归类提供3个时间戳，并同时将生成的样例音频发送至所述电视终端。此时，用户可以为每个角色归类选择提供的所述时间戳，以在所述电视终端播放相应时间的音频，以使用户识别出该角色归类所代表的人物。另外，用户还可以预览试听文本语音引擎产生的样例音频，以选择并确定合适的样例音频参数。
在一实施例中，如图6所示，在上述图1所示的基础上，所述步骤S30包括：
步骤S301，将生成的所述角色列表和样例音频参数发送至所述电视终端；
步骤S302，接收所述电视终端反馈的用户设置参数；
本实施例中，服务器将生成的所述角色列表和样例音频参数发送至所述电视终端，电视终端通过在电视屏幕上呈现出用户界面，以供用户在用户界面上输入并选择角色列表和样例音频参数，从而生成所述用户设置参数，然后所述电视终端将所述用户设置参数反馈给所述服务器。
步骤S303，对所述第一音频数据进行音频过滤，通过文本语音引擎并结合所述用户设置参数，合成与所述角色列表对应的所述第二音频数据。
本实施例中，参照图7，可以根据所述文本语音引擎产生对应所述字幕数据的新的音频数据（具体根据用户的设置参数而不同），并根据所述人声消除程序将所述第一音频数据进行人声消除，然后将所述新的音频数据与经人声消除的第一音频数据合成为与所述角色列表对应的第二音频数据。
其中，现有人声消除方法主要是利用左右两个声道中人声发音相同的特点，将左右两个声道进行相减，从而去除两个声道中相同的部分，但这种方法不仅对背景声造成较大的损失（特别在低频部分），而且在人声发音在两个声道中不相同时，无法很好地消除人声。本申请采用带通滤波器的方法，在带通滤波器的频带范围内，只需达到降低原发音的幅度，不影响合成音频的辨别即可，从而可以较好地保留低频及高频部分。此外，对时间戳范围外的音频数据也没有造成任何影响。
本发明还提供一种服务器1，参照图8，在一实施例中，所述服务器1包括：
第一接收模块10，用于接收电视终端发送的第一音频数据和字幕数据；
本实施例中，电视的音频和视频播放，由电视终端与服务器1协作完成，所述电视终端完成音频、字幕等数据的整理与传输，并提供用户界面以供用户进行参数设置。而服务器1接收电视终端发送的音频、字幕等数据，并完成音频、字幕数据的处理，以合成音频数据后传输给电视终端进行显示。
本实施例中，用户通过电视终端的遥控器开启配音设置功能时，电视终端则对视频文件进行快速解码，提取出用户选择的音频或默认音频及用户选择的字幕或默认字幕，并将音频数据及字幕数据打包发送到服务器1。
生成处理模块20，用于对所述第一音频数据和字幕数据进行识别处理，生成角色列表和样例音频参数；
所述服务器1对所述第一音频数据和字幕数据进行识别处理，生成角色列表和样例音频参数。其中，所述角色列表的生成，可以先选取预定数量的时间戳，如选取三段时间戳，然后分别对所述三段时间戳内的音频数据进行识别分析，并将各时间戳内发音类似的语音归为一类即角色1、角色2等不同的角色。具体归类方法，可以根据音频频谱来进行区分统计。而样例音频是预设的固定音频，可为不同性别的音频，以及不同性别不同频率对应的样例音频，例如，选取一段特定的音频“是否选择本段语音为人物角色的配音？”，并分别提供男声高音音频、男声中音音频、男声低音音频、女声高音音频、女声中音音频、女声低音音频等样例音频，当然，在其他实施例中，还可以将音频的频率范围进一步细分，并不局限于本实施例中的高、中、低三种音频范围。此外，所述样例音频还可以是著名配音人员或专业配音人员的音频。
合成处理模块30，用于将所述角色列表和样例音频参数发送至所述电视终端，并在接收到所述电视终端根据所述角色列表和样例音频参数反馈的用户设置参数时，将所述第一音频数据合成为第二音频数据；
本实施例中，服务器1将生成的所述角色列表和样例音频参数发送至所述电视终端，所述电视终端在电视屏幕上呈现出用户界面，以供用户在用户界面上输入并选择角色列表和样例音频参数，从而生成所述用户设置参数，然后所述电视终端将所述用户设置参数反馈给所述服务器1。所述服务器1根据所述用户设置参数将所述第一音频数据合成为第二音频数据，其中，所述第二音频数据的合成过程，需要用到文本语音引擎和人声消除程序，具体可以根据所述文本语音引擎产生对应所述字幕数据的新的音频数据（具体根据用户设置参数而不同），并根据所述人声消除程序将所述第一音频数据进行人声消除，然后将所述新的音频数据与经人声消除的第一音频数据合成为第二音频数据。
第一发送模块40，用于将所述第二音频数据发送至所述电视终端，以控制所述第二音频数据以及所述字幕数据在所述电视终端进行播放。
本实施例中，所述服务器1将合成的与所述角色列表对应的所述第二音频数据，发送至所述电视终端。可以理解的是，所述电视终端除了从所述视频文件中提取出音频数据、字幕数据外，还会从所述视频文件中提取出视频数据，此时，电视终端在接收到所述第二音频数据时，会将所述视频数据与所述第二音频数据以及字幕数据进行同步处理，最后进行播放。
本发明提供的服务器1，首先通过接收电视终端发送的第一音频数据和字幕数据，并进行识别处理，以生成角色列表和样例音频参数，然后将所述角色列表和样例音频参数发送至所述电视终端，在接收到所述电视终端反馈的用户设置参数时，根据所述用户设置参数将所述第一音频数据合成为第二音频数据，最终将所述第二音频数据发送至所述电视终端，以控制所述第二音频数据以及所述字幕数据在所述电视终端进行播放。这样，可以根据不同用户的语言需求，对应提供可被用户理解的音频，还可以满足用户对人物对白的个性化要求，从而可以避免只能借助字幕来了解人物对白及剧情的缺陷，进而提高用户观看电视的体验感。
在一实施例中，如图9所示，在上述图8所示的基础上，所述生成处理模块20包括：
获取单元201，用于从所述字幕数据中提取出字幕时间戳；
查找单元202，用于根据所述字幕时间戳，查找出所述第一音频数据出现的时间片段；
本实施例中，参照图3，服务器1从所述字幕数据中提取出字幕时间戳，并根据所述字幕时间戳查找出角色配音出现的时间片段，并调用语音识别模块进行识别处理，统计出所述时间片段内出现频次较高的若干个音频数据供用户进行选择。
可以理解的是，电视配音中存在很多个角色，而主要人物角色的配音通常较多，而那些出现频次较低的配音可能也较多，如果都由用户来选择，则会增加用户的操作负担。
归类单元203，用于对所述时间片段内的所述第一音频数据进行频谱分析，并进行归类生成角色列表；
本实施例中，通过对所述时间片段内的第一音频数据进行频谱分析，利用频谱范围及频谱幅度，找出频谱接近的音频，并归为同一类而生成角色列表。
在一可选实施例中，参照图10，所述归类单元203包括：
获取子单元2031，用于分别获取第一时间片段和第二时间片段内的第一音频数据；
判断子单元2032，用于判断所述第一时间片段和第二时间片段内的第一音频数据的频谱范围及频谱幅度是否一致；
本实施例中，以两个时间片段如第一时间片段和第二时间片段为例，服务器分别获取第一时间片段和第二时间片段内的第一音频数据，并分别对第一时间片段和第二时间片段内的第一音频数据的频谱范围及频谱幅度进行分析，判断第一时间片段内的第一音频数据的频谱范围及频谱幅度是否与第二时间片段内的第一音频数据的频谱范围及频谱幅度一致。
第一归类子单元2033，用于在判断所述第一时间片段和第二时间片段内的第一音频数据的频谱范围及频谱幅度一致时，则将所述第一时间片段和第二时间片段内的第一音频数据归类为同一角色；
第二归类子单元2034，用于在判断所述第一时间片段和第二时间片段内的第一音频数据的频谱范围和/或频谱幅度不一致时，则将所述第一时间片段和第二时间片段内的第一音频数据归类为不同角色。
生成单元204，用于利用语音合成技术，生成与所述角色列表对应的样例音频参数。
在一实施例中，如图11所示，在上述图9所示的基础上，所述生成单元204包括：
提取子单元2041，用于针对所述角色列表中的每个角色，从所述字幕数据中提取出预定数量的字幕时间戳；
生成子单元2042，用于通过文本语音引擎，对应所述预定数量的字幕时间戳生成预定数量的样例音频参数，以发至所述电视终端进行预览选择。
在一实施例中，如图12所示，在上述图8所示的基础上，所述合成处理模块30包括：
发送单元301，用于将生成的所述角色列表和样例音频参数发送至所述电视终端；
接收单元302，用于接收所述电视终端根据所述角色列表和样例音频参数反馈的用户设置参数；
本实施例中，服务器1将生成的所述角色列表和样例音频参数发送至所述电视终端，电视终端通过在电视屏幕上呈现出用户界面，以供用户在用户界面上输入并选择角色列表和样例音频参数，从而生成所述用户设置参数，然后所述电视终端将所述用户设置参数反馈给所述服务器1。
合成单元303，用于对所述第一音频数据进行音频过滤，通过文本语音引擎并结合所述用户设置参数，合成与所述角色列表对应的所述第二音频数据。
本实施例中，参照图7，具体可以根据所述文本语音引擎产生对应所述字幕数据的新的音频数据（具体根据用户的设置参数而不同），并根据所述人声消除程序将所述第一音频数据进行人声消除，然后将所述新的音频数据与经人声消除的第一音频数据合成为与所述角色列表对应的第二音频数据。
其中，现有人声消除方法主要是利用左右两个声道中人声发音相同的特点，将左右两个声道进行相减，从而去除两个声道中相同的部分，但这种方法不仅对背景声造成较大的损失（特别在低频部分），而且在人声发音在两个声道中不相同时，无法很好地消除人声。本申请采用带通滤波器的方法，在带通滤波器的频带范围内，只需达到降低原发音的幅度，不影响合成音频的辨别即可，从而可以较好地保留低频及高频部分。此外，对时间戳范围外的音频数据也没有造成任何影响。
本发明还提供一种电视播放控制系统100，参照图13，在一实施例中，所述电视播放控制系统100包括电视终端2以及如上所述的服务器1，参照图14，所述电视终端2包括：
第二发送模块50，用于向服务器1发送第一音频数据和字幕数据；
第二接收模块60，用于接收所述服务器1对所述第一音频数据和字幕数据进行识别处理后，生成的角色列表和样例音频参数；
反馈模块70，用于根据所述角色列表和样例音频参数生成用户设置参数，并将所述用户设置参数反馈给所述服务器1；
获取模块80，用于获取所述服务器1在接收到所述用户设置参数时，将所述第一音频数据合成的第二音频数据；
同步播放模块90，用于将所述第二音频数据、视频数据以及字幕数据进行同步播放。
本实施例中，电视终端2在接收到所述服务器1合成的与所述角色列表对应的所述第二音频数据时，将所述第二音频数据与视频数据以及字幕数据进行同步处理后，最终进行播放，这样，通过服务器1对视频文件的音频进行预处理，合成用户可以理解的语言，可以增强用户的观看体验；此外，还可以为用户提供多种角色音频的选择，从而进一步增强了用户体验感。
本实施例原理，请参照上述各实施例，在此不再赘述。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (14)

  1. 一种电视播放控制方法，其特征在于，所述电视播放控制方法包括以下步骤：
    服务器接收电视终端发送的第一音频数据和字幕数据；
    对所述第一音频数据和字幕数据进行识别处理，生成角色列表和样例音频参数；
    将所述角色列表和样例音频参数发送至所述电视终端，并在接收到所述电视终端根据所述角色列表和样例音频参数反馈的用户设置参数时，将所述第一音频数据合成为第二音频数据；
    将所述第二音频数据发送至所述电视终端，以控制所述第二音频数据以及所述字幕数据在所述电视终端进行播放；
    其中，所述对所述第一音频数据和字幕数据进行识别处理，生成角色列表和样例音频参数的步骤包括：
    所述服务器从所述字幕数据中提取出字幕时间戳；
    根据所述字幕时间戳，查找出所述第一音频数据出现的时间片段；
    对所述时间片段内的所述第一音频数据进行频谱分析，并进行归类生成角色列表；
    利用语音合成技术，生成与所述角色列表对应的样例音频参数；
    其中，所述电视终端从视频文件中提取出所述第一音频数据和所述字幕数据，并将所述第一音频数据和字幕数据发送至所述服务器。
  2. 如权利要求1所述的电视播放控制方法，其特征在于，所述利用语音合成技术，生成与所述角色列表对应的样例音频参数的步骤包括：
    针对所述角色列表中的每个角色，从所述字幕数据中提取出预定数量的字幕时间戳；
    通过文本语音引擎，对应所述预定数量的字幕时间戳生成预定数量的样例音频参数，以发至所述电视终端进行预览选择。
  3. 如权利要求1所述的电视播放控制方法，其特征在于，所述将所述角色列表和样例音频参数发送至所述电视终端，并在接收到所述电视终端根据所述角色列表和样例音频参数反馈的用户设置参数时，将所述第一音频数据合成为第二音频数据的步骤包括：
    将生成的所述角色列表和样例音频参数发送至所述电视终端；
    接收所述电视终端根据所述角色列表和样例音频参数反馈的用户设置参数；
    对所述第一音频数据进行音频过滤，通过文本语音引擎并结合所述用户设置参数，合成与所述角色列表对应的所述第二音频数据；
    其中，所述电视终端接收用户通过用户界面选择的角色列表和样例音频参数，以生成所述用户设置参数，并将所述用户设置参数反馈给所述服务器。
  4. 如权利要求1所述的电视播放控制方法，其特征在于，所述对所述时间片段内的所述第一音频数据进行频谱分析，并进行归类生成角色列表的步骤包括：
    分别获取第一时间片段和第二时间片段内的第一音频数据；
    判断所述第一时间片段和第二时间片段内的第一音频数据的频谱范围及频谱幅度是否一致；
    若是，则将所述第一时间片段和第二时间片段内的第一音频数据归类为同一角色；
    若否，则将所述第一时间片段和第二时间片段内的第一音频数据归类为不同角色。
  5. 一种服务器，其特征在于，所述服务器包括：
    第一接收模块，用于接收电视终端发送的第一音频数据和字幕数据；
    生成处理模块，用于对所述第一音频数据和字幕数据进行识别处理，生成角色列表和样例音频参数；
    合成处理模块，用于将所述角色列表和样例音频参数发送至所述电视终端，并在接收到所述电视终端根据所述角色列表和样例音频参数反馈的用户设置参数时，将所述第一音频数据合成为第二音频数据；
    第一发送模块，用于将所述第二音频数据发送至所述电视终端，以控制所述第二音频数据以及所述字幕数据在所述电视终端进行播放。
  6. 如权利要求5所述的服务器，其特征在于，所述生成处理模块包括：
    获取单元，用于从所述字幕数据中提取出字幕时间戳；
    查找单元，用于根据所述字幕时间戳，查找出所述第一音频数据出现的时间片段；
    归类单元，用于对所述时间片段内的所述第一音频数据进行频谱分析，并进行归类生成角色列表；
    生成单元，用于利用语音合成技术，生成与所述角色列表对应的样例音频参数；
    其中，所述电视终端从视频文件中提取出所述第一音频数据和所述字幕数据，并将所述第一音频数据和字幕数据发送至所述服务器。
  7. 如权利要求6所述的服务器，其特征在于，所述生成单元包括：
    提取子单元，用于针对所述角色列表中的每个角色，从所述字幕数据中提取出预定数量的字幕时间戳；
    生成子单元，用于通过文本语音引擎，对应所述预定数量的字幕时间戳生成预定数量的样例音频参数，以发至所述电视终端进行预览选择。
  8. 如权利要求6所述的服务器，其特征在于，所述合成处理模块包括：
    发送单元，用于将生成的所述角色列表和样例音频参数发送至所述电视终端；
    接收单元，用于接收所述电视终端根据所述角色列表和样例音频参数反馈的用户设置参数；
    合成单元，用于对所述第一音频数据进行音频过滤，通过文本语音引擎并结合所述用户设置参数，合成与所述角色列表对应的所述第二音频数据；
    其中，所述电视终端接收用户通过用户界面选择的角色列表和样例音频参数，以生成所述用户设置参数，并将所述用户设置参数反馈给所述服务器。
  9. 如权利要求6所述的服务器，其特征在于，所述归类单元包括：
    获取子单元，用于分别获取第一时间片段和第二时间片段内的第一音频数据；
    判断子单元，用于判断所述第一时间片段和第二时间片段内的第一音频数据的频谱范围及频谱幅度是否一致；
    第一归类子单元，用于在判断所述第一时间片段和第二时间片段内的第一音频数据的频谱范围及频谱幅度一致时，将所述第一时间片段和第二时间片段内的第一音频数据归类为同一角色；
    第二归类子单元，用于在判断所述第一时间片段和第二时间片段内的第一音频数据的频谱范围和/或频谱幅度不一致时，将所述第一时间片段和第二时间片段内的第一音频数据归类为不同角色。
  10. 一种电视播放控制系统，其特征在于，所述电视播放控制系统包括电视终端以及服务器，所述电视终端包括：
    第二发送模块，用于向服务器发送第一音频数据和字幕数据；
    第二接收模块，用于接收所述服务器对所述第一音频数据和字幕数据进行识别处理后，生成的角色列表和样例音频参数；
    反馈模块，用于根据所述角色列表和样例音频参数生成用户设置参数，并将所述用户设置参数反馈给所述服务器；
    获取模块，用于获取所述服务器在接收到所述用户设置参数时，将所述第一音频数据合成的第二字幕数据；
    同步播放模块，用于将所述第二音频数据、视频数据以及字幕数据进行同步播放；
    其中，所述电视终端从视频文件中提取出所述视频数据、所述第一音频数据以及所述字幕数据；
    所述服务器包括：
    第一接收模块，用于接收电视终端发送的第一音频数据和字幕数据；
    生成处理模块，用于对所述第一音频数据和字幕数据进行识别处理，生成角色列表和样例音频参数；
    合成处理模块，用于将所述角色列表和样例音频参数发送至所述电视终端，并在接收到所述电视终端根据所述角色列表和样例音频参数反馈的用户设置参数时，将所述第一音频数据合成为第二音频数据；
    第一发送模块，用于将所述第二音频数据发送至所述电视终端，以控制所述第二音频数据以及所述字幕数据在所述电视终端进行播放。
  11. 根据权利要求10所述的电视播放控制系统，其特征在于，所述生成处理模块包括：
    获取单元，用于从所述字幕数据中提取出字幕时间戳；
    查找单元，用于根据所述字幕时间戳，查找出所述第一音频数据出现的时间片段；
    归类单元，用于对所述时间片段内的所述第一音频数据进行频谱分析，并进行归类生成角色列表；
    生成单元，用于利用语音合成技术，生成与所述角色列表对应的样例音频参数。
  12. 根据权利要求11所述的电视播放控制系统，其特征在于，所述生成单元包括：
    提取子单元，用于针对所述角色列表中的每个角色，从所述字幕数据中提取出预定数量的字幕时间戳；
    生成子单元，用于通过文本语音引擎，对应所述预定数量的字幕时间戳生成预定数量的样例音频参数，以发至所述电视终端进行预览选择。
  13. 根据权利要求11所述的电视播放控制系统，其特征在于，所述合成处理模块包括：
    发送单元，用于将生成的所述角色列表和样例音频参数发送至所述电视终端；
    接收单元，用于接收所述电视终端根据所述角色列表和样例音频参数反馈的用户设置参数；
    合成单元，用于对所述第一音频数据进行音频过滤，通过文本语音引擎并结合所述用户设置参数，合成与所述角色列表对应的所述第二音频数据；
    其中，所述电视终端接收用户通过用户界面选择的角色列表和样例音频参数，以生成所述用户设置参数，并将所述用户设置参数反馈给所述服务器。
  14. 根据权利要求11所述的电视播放控制系统，其特征在于，所述归类单元包括：
    获取子单元，用于分别获取第一时间片段和第二时间片段内的第一音频数据；
    判断子单元，用于判断所述第一时间片段和第二时间片段内的第一音频数据的频谱范围及频谱幅度是否一致；
    第一归类子单元，用于在判断所述第一时间片段和第二时间片段内的第一音频数据的频谱范围及频谱幅度一致时，将所述第一时间片段和第二时间片段内的第一音频数据归类为同一角色；
    第二归类子单元，用于在判断所述第一时间片段和第二时间片段内的第一音频数据的频谱范围和/或频谱幅度不一致时，将所述第一时间片段和第二时间片段内的第一音频数据归类为不同角色。
PCT/CN2016/084461 2015-09-29 2016-06-02 电视播放控制方法、服务器及电视播放控制系统 Ceased WO2017054488A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510633934.3A CN105227966A (zh) 2015-09-29 2015-09-29 电视播放控制方法、服务器及电视播放控制系统
CN201510633934.3 2015-09-29

Publications (1)

Publication Number Publication Date
WO2017054488A1 true WO2017054488A1 (zh) 2017-04-06

Family

ID=54996603

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/084461 Ceased WO2017054488A1 (zh) 2015-09-29 2016-06-02 电视播放控制方法、服务器及电视播放控制系统

Country Status (2)

Country Link
CN (1) CN105227966A (zh)
WO (1) WO2017054488A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112714348A (zh) * 2020-12-28 2021-04-27 深圳市亿联智能有限公司 智能音视频同步方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105227966A (zh) * 2015-09-29 2016-01-06 深圳Tcl新技术有限公司 电视播放控制方法、服务器及电视播放控制系统
CN107659850B (zh) * 2016-11-24 2019-09-17 腾讯科技（北京）有限公司 媒体信息处理方法和装置
CN107172449A (zh) * 2017-06-19 2017-09-15 微鲸科技有限公司 多媒体播放方法、装置及多媒体存储方法
CN107484016A (zh) * 2017-09-05 2017-12-15 深圳Tcl新技术有限公司 视频的配音切换方法、电视机及计算机可读存储介质
CN109242802B (zh) * 2018-09-28 2021-06-15 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN110366032B (zh) * 2019-08-09 2020-12-15 腾讯科技（深圳）有限公司 视频数据处理方法、装置和视频播放方法、装置
CN113766288B (zh) * 2021-08-04 2023-05-23 深圳Tcl新技术有限公司 电量提示方法、装置以及计算机可读存储介质
CN114554285B (zh) * 2022-02-25 2024-08-02 京东方科技集团股份有限公司 视频插帧处理方法、视频插帧处理装置和可读存储介质
CN120783758A (zh) * 2025-06-23 2025-10-14 广州佰锐网络科技有限公司 一种基于录音录像的asr识别增强方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1774715A (zh) * 2003-04-14 2006-05-17 皇家飞利浦电子股份有限公司 用于对音频－视频流执行自动配音的系统和方法
CN101189657A (zh) * 2005-05-31 2008-05-28 皇家飞利浦电子股份有限公司 一种用于对多媒体信号执行自动配音的方法和设备
CN101359473A (zh) * 2007-07-30 2009-02-04 国际商业机器公司 自动进行语音转换的方法和装置
US20120105719A1 (en) * 2010-10-29 2012-05-03 Lsi Corporation Speech substitution of a real-time multimedia presentation
US20120259630A1 (en) * 2011-04-11 2012-10-11 Samsung Electronics Co., Ltd. Display apparatus and voice conversion method thereof
CN105227966A (zh) * 2015-09-29 2016-01-06 深圳Tcl新技术有限公司 电视播放控制方法、服务器及电视播放控制系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1534595A (zh) * 2003-03-28 2004-10-06 中颖电子(上海)有限公司 语音转换合成装置及其方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1774715A (zh) * 2003-04-14 2006-05-17 皇家飞利浦电子股份有限公司 用于对音频－视频流执行自动配音的系统和方法
CN101189657A (zh) * 2005-05-31 2008-05-28 皇家飞利浦电子股份有限公司 一种用于对多媒体信号执行自动配音的方法和设备
CN101359473A (zh) * 2007-07-30 2009-02-04 国际商业机器公司 自动进行语音转换的方法和装置
US20120105719A1 (en) * 2010-10-29 2012-05-03 Lsi Corporation Speech substitution of a real-time multimedia presentation
US20120259630A1 (en) * 2011-04-11 2012-10-11 Samsung Electronics Co., Ltd. Display apparatus and voice conversion method thereof
CN105227966A (zh) * 2015-09-29 2016-01-06 深圳Tcl新技术有限公司 电视播放控制方法、服务器及电视播放控制系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112714348A (zh) * 2020-12-28 2021-04-27 深圳市亿联智能有限公司 智能音视频同步方法

Also Published As

Publication number Publication date
CN105227966A (zh) 2016-01-06

Similar Documents

Publication Publication Date Title
WO2017054488A1 (zh) 电视播放控制方法、服务器及电视播放控制系统
WO2014107101A1 (en) Display apparatus and method for controlling the same
WO2014003283A1 (en) Display apparatus, method for controlling display apparatus, and interactive system
WO2017143692A1 (zh) 智能电视及其语音控制方法
WO2018032680A1 (zh) 音视频播放方法及系统
WO2017177524A1 (zh) 音视频同步播放的方法及装置
WO2017160073A1 (en) Method and device for accelerated playback, transmission and storage of media files
EP3479376A1 (en) Speech recognition method and apparatus based on speaker recognition
WO2019080406A1 (zh) 电视机语音交互方法、语音交互控制装置及存储介质
WO2018006489A1 (zh) 终端的语音交互方法及装置
WO2014107102A1 (en) Display apparatus and method of controlling display apparatus
WO2017045441A1 (zh) 基于智能电视的音频播放方法及装置
WO2019051902A1 (zh) 终端控制方法、空调器及计算机可读存储介质
WO2016091011A1 (zh) 字幕切换方法及装置
WO2016032021A1 (ko) 음성 명령 인식을 위한 장치 및 방법
WO2014187158A1 (zh) 终端数据云分享的控制方法、服务器及终端
WO2017005066A1 (zh) 录制音视频同步时间戳的方法和装置
WO2017143690A1 (zh) 语音通信的回声消除方法及装置
WO2018028124A1 (zh) 电视机及其信号源的切换方法
WO2019114127A1 (zh) 空气调节器的语音播报方法及装置
WO2017020649A1 (zh) 音视频播放控制方法及装置
WO2018233221A1 (zh) 多窗口声音输出方法、电视机以及计算机可读存储介质
WO2017121066A1 (zh) 应用程序显示方法和系统
WO2019085543A1 (zh) 电视机系统及电视机控制方法
WO2016095280A1 (zh) 卡拉ok评分方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16850113

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16850113

Country of ref document: EP

Kind code of ref document: A1