WO2023287360A2 - 多媒体处理方法、装置、电子设备及存储介质 - Google Patents

多媒体处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
WO2023287360A2
WO2023287360A2 PCT/SG2022/050494 SG2022050494W WO2023287360A2 WO 2023287360 A2 WO2023287360 A2 WO 2023287360A2 SG 2022050494 W SG2022050494 W SG 2022050494W WO 2023287360 A2 WO2023287360 A2 WO 2023287360A2
Authority
WO
WIPO (PCT)
Prior art keywords
text content
multimedia resource
invalid
content
voice data
Prior art date
Application number
PCT/SG2022/050494
Other languages
English (en)
French (fr)
Other versions
WO2023287360A3 (zh
Inventor
郑鑫
朱聪慧
夏瑞
尚楚翔
钟德建
蒋泳森
屠明
邓乐来
Original Assignee
脸萌有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 脸萌有限公司 filed Critical 脸萌有限公司
Priority to BR112023026041A priority Critical patent/BR112023026041A2/pt
Priority to JP2023576228A priority patent/JP2024527483A/ja
Priority to EP22842574.0A priority patent/EP4336854A4/en
Publication of WO2023287360A2 publication Critical patent/WO2023287360A2/zh
Publication of WO2023287360A3 publication Critical patent/WO2023287360A3/zh
Priority to US18/535,891 priority patent/US20240105234A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/433—Query formulation using audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G10L15/05—Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals

Definitions

  • Multimedia processing method, device, electronic device, and storage medium Cross-references to this application
  • This disclosure requires the application number 202110802038.0 and the name "Multimedia processing method, device, electronic device, and storage medium” filed on July 15, 2021
  • the priority of the Chinese patent application the entire content of which is incorporated herein by reference.
  • Technical Field Embodiments of the present disclosure relate to the field of computer technology, and in particular, to a multimedia processing method, device, electronic device, and storage medium. BACKGROUND OF THE INVENTION
  • the technical difficulty and threshold for the public to produce multimedia resources has been greatly reduced, making multimedia-based content creation and sharing enter the stage of popularization.
  • an embodiment of the present disclosure provides a multimedia processing method, including: acquiring a first multimedia resource; performing speech recognition on audio data of the first multimedia resource, and determining the first multimedia resource Corresponding initial text content, wherein the audio data of the first multimedia resource includes speech data of the initial text content; determining invalid text content in the initial text content, wherein the invalid text content is semantic Text content that has no information expression function; determine the first playback position of the voice data of the invalid text content in the first multimedia resource; based on the first playback position, for the first multimedia The resource is clipped to obtain a second multimedia resource, wherein the audio data of the second multimedia resource includes the voice data of the target text content and does not include the voice data of the invalid text content, and the target text content other text content in the initial text content
  • an embodiment of the present disclosure provides a multimedia processing device, including: a voice recognition module, configured to acquire a first multimedia resource, perform voice recognition on audio data of the first multimedia resource, and determine the The initial text content corresponding to the first multimedia resource, wherein the audio data of the first multimedia resource includes voice data of the initial text content; a first confirmation module, configured to determine invalid text content in the initial text content, wherein the invalid text content is text content that has no information expression function in semantics; a second confirmation module, to determine the voice of the invalid text content A first playback position of the data in the first multimedia resource; a generating module, configured to clip the first multimedia resource based on the first playback position to obtain a second multimedia resource, wherein, the audio data of the second multimedia resource includes the voice data of the target text content and does not include the voice data of the invalid text content, and the target text content is the initial text content except the invalid text Other text content besides the content.
  • an embodiment of the present disclosure provides an electronic device, including: at least one processor and a memory; the memory stores computer-executable instructions; the at least one processor executes the computer-executable instructions stored in the memory, so that The at least one processor executes the multimedia processing method described in the first aspect and various possible designs of the first aspect.
  • an embodiment of the present disclosure provides a computer-readable storage medium, where computer-executable instructions are stored in the computer-readable storage medium, and when the processor executes the computer-executable instructions, the above first aspect and the first Aspects of various possible designs of the multimedia processing method.
  • an embodiment of the present disclosure provides a computer program product, including a computer program.
  • an embodiment of the present disclosure provides a computer program, and when the computer program is executed by a processor, implements the multimedia processing method described in the above first aspect and various possible designs of the first aspect.
  • the multimedia processing method, device, electronic equipment, and storage medium determine the first multimedia resource by acquiring the first multimedia resource; performing speech recognition on the audio data of the first multimedia resource; initial text content corresponding to the resource, wherein the audio data of the first multimedia resource includes voice data of the initial text content; determining invalid text content in the initial text content, wherein the invalid text content is Text content that has no information expression function in semantics; determine the first playback position of the voice data of the invalid text content in the first multimedia resource; based on the first playback position, for the first multimedia
  • the body resource is clipped to obtain a second multimedia resource, wherein the audio data of the second multimedia resource includes the voice data of the target text content and does not include the voice data of the invalid text content, and the target text The content is other text content in the initial text content except the invalid text content.
  • FIG. 1 is an application scenario diagram of a multimedia processing method provided by an embodiment of the present disclosure
  • FIG. 2 is another application scenario diagram of the multimedia processing method provided by the embodiment of the present disclosure
  • FIG. 3 is a schematic flowchart of the multimedia processing method provided by the embodiment of the present disclosure
  • FIG. 5 is a second schematic flowchart of a multimedia processing method provided by an embodiment of the present disclosure
  • FIG. 6 is a flowchart of an implementation of step S203 in the embodiment shown in FIG. 5
  • FIG. 7 is a flow chart of the implementation of step S204 in the embodiment shown in FIG. 5
  • FIG. 8 is a schematic diagram of an interactive interface provided by an embodiment of the present disclosure
  • Figure 10 is a structural block diagram of a multimedia processing device provided by an embodiment of the present disclosure
  • Figure 11 is a schematic structural diagram of an electronic device provided by an embodiment of the present disclosure
  • Figure 12 is a schematic diagram of this disclosure
  • FIG. 1 is an application scenario diagram of the multimedia processing method provided by the embodiments of the present disclosure.
  • the multimedia processing method provided by this embodiment can be applied to the post-processing of multimedia video resource recording.
  • the method provided in this embodiment can be applied to a terminal device, as shown in FIG.
  • the terminal device 11 processes the initial multimedia video by executing the multimedia processing method provided in this embodiment, and automatically removes video clips and audio clips corresponding to meaningless content such as slips of the tongue, pauses, and spoken words that appear in the initial multimedia video,
  • the multimedia clipped video is generated. Since the meaningless content in the multimedia clipped video has been removed, compared with the original multimedia video, the multimedia clipped video is more coherent and smooth in content, and the content quality of the multimedia video resource is higher.
  • the terminal device 11 sends the multimedia clipping video to the video platform server 12, and the video platform server 12 publishes the multimedia clipping video as a multimedia video resource on the video platform, and other terminal devices 13 can communicate with the video platform server 12.
  • FIG. 2 is another application scenario diagram of the multimedia processing method provided by the embodiment of the present disclosure.
  • the method provided by this embodiment can also be applied to the video platform server, that is, the user records a video through the terminal device.
  • the multimedia initial video is sent to the video platform server, and the video platform server processes the multimedia initial video by executing the multimedia processing method provided in this embodiment to generate the multimedia trimmed video as shown in FIG. 1, and
  • the multimedia trimmed video is published on the video platform as a multimedia video resource, and other terminal devices can watch the multimedia video resource by communicating with the video platform server.
  • FIG. 3 is a first schematic flowchart of a multimedia processing method provided by an embodiment of the present disclosure.
  • the method of this embodiment can be applied to a server or a terminal device.
  • the terminal device is exemplarily described as the execution subject of the method of this embodiment.
  • the multimedia processing method includes:
  • multimedia generally refers to a combination of multiple media, generally including multiple media forms such as text, sound, and image.
  • multimedia refers to a human-computer interactive information exchange and dissemination media that combines two or more media.
  • the first multimedia resource may be an audio video with an audio track, and more specifically, the first multimedia resource may be a multimedia resource or file that protects video data and audio data.
  • the first multimedia resource may be a video with sound recorded by the user through a terminal device, such as a recording function of a smart phone.
  • the video with sound is a video containing human voices, such as an explanation video, a teaching video, Product introduction video, etc.
  • the first multimedia resource can also be obtained by the terminal device by receiving data transmitted by other electronic devices, and no more examples will be given here.
  • S102 Perform voice recognition on the audio data of the first multimedia resource, and determine the initial text content corresponding to the first multimedia resource, where the audio data of the first multimedia resource includes voice data of the initial text content.
  • the first multimedia resource includes at least audio data
  • voice recognition is performed on the audio data of the first multimedia resource according to a preset algorithm, and the first multimedia resource is determined.
  • the audio data may only include voice data, or include voice data and non-voice data at the same time, the voice data is the audio data corresponding to the voice of the person recorded in the video; correspondingly, the non-voice data is the audio data in the video
  • the first multimedia resource is a product introduction video, wherein the audio data corresponding to the voice of the person introducing the product in the video is voice data.
  • the obtained text is the initial text content, that is, the human voice-to-speech text that introduces the product in the video.
  • the invalid text content is text content that has no information expression function in semantics. Further, for example, after the initial text content is obtained, the initial text content is identified based on characters, phrases, sentences, and paragraphs in the initial text content, and invalid text content and target text content can be determined therein. Among them, the invalid text content is the text content that has no information expression function in semantics, more specifically, such as abnormal pauses, repetitions, redundant modal particles in the speaking process, etc., which have no information expression function, but will affect the fluency of language expression Words, phrases, phrases, etc.
  • determining the invalid text content in the initial text content for example, based on a preset invalid text content library, determining the invalid text content in the initial text content, specifically, the invalid text content library Including preset elements such as characters, words, and phrases corresponding to the invalid text content, based on the words, words, and phrases in the invalid text content library, it is detected whether the initial text content contains the words, words, phrases, etc. in the invalid text content library. Short sentences, and then determine the invalid text content in the initial text content.
  • semantic information corresponding to the initial text content may be obtained by performing semantic analysis on the initial text content; and then invalid text content in the initial text content may be determined according to the semantic information.
  • the semantic meaning of each character and word element in the initial text content can be determined, and the invalid text content is also a classification of semantic meaning. Therefore, by performing semantic analysis on the initial text content, invalid text content in the initial text content can be determined.
  • the semantic analysis of the initial text content can be realized through a pre-trained language processing model, and the use and training of the language processing model for semantic analysis is a prior art known to those skilled in the art, and will not be traced here.
  • S104 Determine a first playback position of voice data of invalid text content in the first multimedia resource.
  • each word or phrase in the initial text content corresponds to an audio clip and a piece of audio data
  • the audio data contains a playback time stamp, after determining the invalid text content in the initial text content, according to the invalid text
  • the characters and phrases contained in the content determine the audio data corresponding to each character and word, and obtain the playback time stamp of the audio data, and then, according to the playback time stamp of the audio data, it can be determined that the voice data of the invalid text content is in the first most The first playback position in the media asset.
  • the invalid text content in the first multimedia resource corresponds to a piece of continuous audio data.
  • the first playback position may only include a set of starting points and the playback timestamp of the termination point.
  • the invalid text content in the first multimedia resource corresponds to multiple pieces of discontinuous audio data.
  • the first playback position may include multiple sets including the start point and the end point The playback timestamp of .
  • S105 Based on the first playback position, clip the first multimedia resource to obtain a second multimedia resource, wherein the audio data of the second multimedia resource contains voice data of the target text content and does not contain invalid text Voice data of the content, the target text content is other text content in the initial text content except the invalid text content.
  • the first playback position it means that the voice data corresponding to the invalid text content has been identified and located.
  • the invalid text content is corresponding
  • the voice data of the first multimedia resource is deleted from all the audio data of the first multimedia resource, and the voice data corresponding to the target text content is retained, thereby reducing the number of words and words that have no information expression function due to pauses, repetitions, redundant modal particles, etc. expressive influence.
  • the first multimedia resource based on the first playback position's description of the playback position of the voice data corresponding to the invalid text content in the first multimedia resource, determine the start point and the end point of the voice data corresponding to the invalid text content, and further, set the start point and the data between the end point and the end point are deleted, and the speech data of the target text content before the start point and after the end point are spliced to generate clipped audio data.
  • the first multimedia resource also includes video data. Therefore, similarly, based on the first playback position, corresponding processing is performed on the video data in the first multimedia resource, and the invalid text content is clipped.
  • FIG. 4 is a schematic diagram of a process of obtaining a second multimedia resource through a first multimedia resource provided by an embodiment of the present disclosure.
  • the first multimedia resource includes audio data and video data, and audio
  • the data includes voice data
  • the voice data includes first voice data and second voice data, wherein the first voice data is invalid text voice data corresponding to the content; the second voice data is voice data corresponding to the target text content.
  • the first multimedia resource by acquiring the first multimedia resource; performing speech recognition on the audio data of the first multimedia resource, and determining the initial text content corresponding to the first multimedia resource, wherein, the first multimedia resource
  • the audio data includes voice data of the initial text content; determining invalid text content in the initial text content, wherein the invalid text content is text content that has no information expression function in semantics; determining that the voice data of the invalid text content is in the first multimedia
  • the first playback position in the resource based on the first playback position, the first multimedia resource is clipped to obtain a second multimedia resource, wherein the audio data of the second multimedia resource contains the voice of the target text content voice data that does not contain invalid text content, and the target text content is other text content in the initial text content except the invalid text content.
  • FIG. 5 is a second schematic flowchart of a multimedia processing method provided by an embodiment of the present disclosure. In this embodiment, on the basis of the embodiment shown in FIG. 3, steps S102-S105 are further refined.
  • the multimedia processing method includes:
  • a voice endpoint detection algorithm Using a voice endpoint detection algorithm, identify voice data and non-voice data in the audio data of the first multimedia resource.
  • the voice endpoint detection (Voice Activity Detection, VAD) algorithm also known as voice activity detection, aims to identify silent periods (ie, non-human voice signals) from the sound signal stream.
  • VAD Voice Activity Detection
  • the algorithm processes the audio data of the first multimedia resource, and can identify the voice data corresponding to the human voice and the non-voice data corresponding to the non-human voice, so as to realize the subsequent processing process based on the voice data.
  • the specific implementation method of the speech endpoint detection algorithm is an existing technology known to those skilled in the art, and will not be repeated here.
  • S203 Perform voice recognition on the voice data in the audio data of the first multimedia resource, and determine the initial text content corresponding to the first multimedia resource, where the initial text content includes a plurality of segment content.
  • S203 includes two specific implementation steps of S2031 and S2032,
  • S2031 According to the automatic speech recognition technology, perform speech recognition on the audio data of the first multimedia resource, and obtain a plurality of speech words, and time stamps corresponding to each speech word, and the time stamp indicates that the audio data corresponding to the speech word The playback position within the media asset.
  • S2032 Generate initial text content according to multiple phonetic words.
  • ASR Automatic Speech Recognition technology
  • ASR Automatic Speech Recognition
  • a technology that converts human speech into text and is based on multiple technical disciplines such as acoustics, phonetics, linguistics, and computer science.
  • Preprocessing, feature extraction, postprocessing, and feature recognition are performed on the audio signal to realize the conversion from speech to text.
  • feature extraction, postprocessing, and feature recognition are performed on the audio signal to realize the conversion from speech to text.
  • the specific algorithms involved in each processing link can be configured according to specific needs, and no examples are given here.
  • a word-level recognition result that is, a phonetic word
  • each phonetic word corresponds to a segment of audio data, that is, an audio segment .
  • the phonetic words corresponding to each audio segment are arranged sequentially, and the generated text containing a plurality of phonetic words is the initial text content.
  • the time stamp corresponding to each spoken word is also determined, which is used to represent the audio data corresponding to the spoken word (that is, the above-mentioned speech segment).
  • each one or more phonetic words may constitute a piece of content, which is used to represent specific semantics. For example, a word composed of two phonetic characters, or an idiom composed of four phonetic characters, etc.
  • a word composed of two phonetic characters or an idiom composed of four phonetic characters, etc.
  • the invalid text content in the initial text content it may appear in the form of one phonetic word, such as "um”, or it may appear in the form of two phonetic words, such as "that".
  • the above examples are only for The semantically non-informative content that often appears in Chinese speech is similar to other languages, so we will not give examples here.
  • S204 Determine at least one invalid segment content from the multiple segment contents of the initial text content. Exemplarily, as shown in FIG. 7, S204 includes five specific implementation steps of S2041, S2042, S2043, S2044, and S2045,
  • S2041 Based on the preset invalid text content library, determine invalid segment content in the initial text content.
  • step S2042 If there is no invalid fragment content in the invalid text content database, perform semantic analysis on the initial text content to obtain semantic information corresponding to each fragment content of the initial text content.
  • the invalid text content library presets a plurality of phonetic words and/or combinations of phonetic words that have no information expression function in semantics, and according to the phonetic words and/or phonetic words that have no information expression function preset in the invalid text content library Combination of phonetic words, the consistency detection of the initial text content can determine the same phonetic word and/or combination of phonetic words that have no information expression function in semantics in the initial text content, that is, invalid fragment content.
  • step S204 can be implemented.
  • determining the invalid fragment content through the invalid text content library since the step of semantic analysis is omitted, the efficiency is higher, and the computing resources are less occupied, which can improve the efficiency of locating and clipping the invalid text content. And if there is no invalid segment content in the invalid text content library, that is, according to the combination of a plurality of phonetic words and/or phonetic words that have no information expression function in semantics preset in the invalid text content library, the consistency of the original text content is performed.
  • a plurality of phonetic words and/or combinations of phonetic words preset in the invalid text content library in the invalid text content library are not detected in the initial text content, or invalid text content is detected in the initial text content If the number of phonetic words and/or phonetic word combinations preset in the library is less than the preset value, the initial text content is subjected to semantic analysis, and each segment of the initial text content is determined through semantic analysis Semantic information corresponding to the content, and then in a subsequent step, determine invalid segment content through the semantic information.
  • S2043 According to the semantic information corresponding to each fragment content of the initial text content, determine a credibility coefficient of at least one fragment content in the initial text content, and the credibility coefficient is used to represent the credibility of the fragment content as invalid text content.
  • S2044 Determine at least one invalid segment content from at least one segment content according to the credibility coefficient of the segment content and a preset reliability threshold.
  • the output voice information includes the confidence of the semantic type corresponding to the segment, and the confidence represents the semantic
  • the analysis model evaluates the credibility of the semantic classification results of the fragment content, that is, the confidence is the credibility coefficient. The higher the reliability coefficient, the more credible the semantic type corresponding to the segment content.
  • invalid content also corresponds to a
  • the fragment content corresponding to the credibility coefficient greater than the credibility threshold , which is determined as the semantic classification of the "invalid content", that is, invalid fragment content.
  • the invalid segment content is determined by the reliability coefficient of each segment content, which can improve the identification accuracy of the invalid segment content and reduce misjudgment.
  • S2045 Add the invalid fragment content determined based on the semantic information to the invalid text content library. For example, after the invalid segment content is determined through voice information, since the invalid text library does not include the word or word combination corresponding to the invalid segment content, the invalid segment content is added to the invalid text content library to expand the invalid text content
  • the content of the library can improve the accuracy and validity of invalid text content judgment using the invalid text content library. This improves the efficiency of locating and clipping invalid text content.
  • the invalid text content may include one or more invalid segment contents, and after each invalid segment content in the initial text content is determined, the corresponding invalid text content can be determined.
  • the invalid segment content includes at least one phonetic word
  • determining the invalid text content in the initial text content includes: acquiring the playback duration of each phonetic word according to the time stamp corresponding to the phonetic word; For the standard duration and the playback duration of the phonetic word, the phonetic word whose playback duration is longer than the first threshold of the standard duration, or the phonetic word whose playback duration is shorter than the second threshold of the standard duration is determined as invalid text content in the initial text content.
  • the phonetic word in the content of the invalid segment is generated by converting the voice data, and the voice data corresponds to the human voice, but in the actual application process, for the same phonetic word, the pronunciation duration of the human voice is There may be differences, that is, there are differences in the pronunciation duration of human voices. Different pronunciation durations can express different semantics, which in turn determines whether phonetic words can express semantic information.
  • each phonetic word has a preset standard duration, for example, 0.2 seconds.
  • the playback time of the determined phonetic word is much longer than the standard time length or much shorter than the standard time length, it means that the phonetic word is likely to be a mood pause word that does not express specific semantics, so it can be determined is invalid text content.
  • the standard duration of the phonetic word with the playing time of the phonetic word, it is detected whether the phonetic word in the content of the invalid segment is an invalid word generated due to reasons such as tone pause, thereby reducing the need for Misjudgment of phonetic words with different meanings, and improve the recognition accuracy of invalid text content.
  • S206 Determine the start point and end point of the voice data of each invalid segment content in the invalid text content in the audio data of the first multimedia resource.
  • S207 Determine the first playback position of the voice data of the invalid text content in the first multimedia resource according to the start point and the end point corresponding to each invalid segment content in the invalid text content.
  • the invalid segment content includes at least one phonetic word, and according to the time stamp corresponding to each phonetic word in the invalid text content, determine the first playback position of the voice data of the invalid text content in the first multimedia resource.
  • S208 Display invalid text content in the initial text content.
  • S209 Play an audio clip corresponding to the invalid text content in response to the operation instruction for the invalid text content.
  • the terminal device to which the method provided in this embodiment is applied has a touchable display screen, and an application (Application, APP) for editing the first multimedia resource runs in the terminal device.
  • the touch screen displays the interactive interface of the APP.
  • FIG. 8 is a schematic diagram of an interactive interface provided by an embodiment of the present disclosure. With reference to FIG. 8, initial text content is displayed on the interactive interface of the terminal device (FIG.
  • S210 Determine a second playback position of the non-voice data in the first multimedia resource according to the start point and the end point of the non-voice data.
  • the non-speech data is the audio data corresponding to the non-speech part in the first multimedia resource, such as the blank part before the introduction and the blank part after the introduction in the product introduction video.
  • the non-speech data is obtained through the speech endpoint detection algorithm in step S202, and will not be repeated here.
  • the corresponding playing position of the non-speech data in the first multimedia resource ie, the second playing position, can be obtained.
  • the positioning of the non-voice data can be realized, based on the first playback position and the second playback position, the first multimedia resource is clipped, and the invalid segment in the first multimedia resource is The voice data corresponding to the content and the non-voice data are removed, leaving the audio data corresponding to other text content, that is, the audio data corresponding to the content of the target segment.
  • S212 Add a fade-in effect to the start point of the voice data corresponding to at least one target segment content, and or, add a fade-out effect to the end point of the voice data corresponding to at least one target segment content, to generate transitional voice data corresponding to the target segment content.
  • S213 Splicing the transition voice data according to the first playback position and the second playback position to generate a second multimedia resource. Further, leaving other text content including at least one target segment content, in order to improve the playback fluency of the trimmed audio, a fade-in and fade-out effect is added to the voice data corresponding to the target segment content. Specifically, for example, a fade-in effect is added to the starting point of the voice data corresponding to at least one target segment content, and a fade-out effect is added to the voice data corresponding to the at least one target segment content.
  • the fade-in effect and the fade-out effect refer to performing windowing in the time domain at the start point and end point of the voice data, so that when the voice data corresponding to the content of a target segment starts to play, the volume gradually increases from small to large (fade in) or by Larger gradually becomes smaller (fade out), reducing the abruptness of audio data clipping.
  • the specific method of adding fade-in and fade-out to an audio clip is a prior art in the art, and will not be repeated here.
  • transitional voice data is generated, and then, according to the first playback position and the second playback position, each transitional voice data is spliced to generate the target audio data, Similarly, according to the first playback position and the second playback position, the target video data corresponding to the target audio data is acquired, and then the second multimedia resource is generated.
  • the second multimedia resource only includes the multimedia video corresponding to the target text content composed of the target segment content, but does not include the multimedia video corresponding to the invalid text content, And, the multimedia video corresponding to the non-voice data.
  • FIG. 9 is a schematic diagram of another process for obtaining a second multimedia resource through a first multimedia resource according to an embodiment of the present disclosure. As shown in FIG.
  • the speech data and non-speech data in it are determined, and after processing steps such as speech recognition and semantic analysis are performed on the speech data, a plurality of invalid segment contents are determined, wherein the invalid segment contents correspond to the first speech data, except for the invalid segment
  • the content of the target segment other than the content corresponds to the second voice data, and according to the first playback position corresponding to the first voice data corresponding to the invalid segment content and the second playback position corresponding to the non-voice data, the audio data is trimmed to remove the first voice data and non-speech data to generate target audio data corresponding to the target text content.
  • video data is clipped according to the first playback position and the second playback position to generate target video data.
  • FIG. 10 is a structural block diagram of a multimedia processing device provided in an embodiment of the present disclosure. For ease of description, only parts related to the embodiments of the present disclosure are shown. Referring to FIG.
  • the multimedia processing device 3 includes: a voice recognition module 31, configured to acquire a first multimedia resource, perform voice recognition on the audio data of the first multimedia resource, and determine the initial Text content, wherein the audio data of the first multimedia resource includes voice data of the initial text content; the first confirmation module 32 is configured to determine invalid text content in the initial text content, where the invalid text content is semantically uninformative The text content of the expression function; the second confirmation module 33, determining the first playback position of the voice data of the invalid text content in the first multimedia resource; the generation module 34, used for based on the first playback position, for the first multimedia The body resource is clipped to obtain the second multimedia resource, wherein the audio data of the second multimedia resource contains the speech data of the target text content and does not contain the speech data of the invalid text content, and the target text content is the original text content Text content other than invalid text content.
  • a voice recognition module 31 configured to acquire a first multimedia resource, perform voice recognition on the audio data of the first multimedia resource, and determine the initial Text content, wherein the audio data of the
  • the first confirmation module 32 is specifically configured to: perform semantic analysis on the initial text content to obtain semantic information corresponding to the initial text content; determine invalid text content in the initial text content according to the semantic information.
  • the initial text content includes a plurality of fragment content, and when the first confirmation module 32 determines invalid text content in the initial text content according to the semantic information, it is specifically configured to: according to the semantics corresponding to the initial text content information, to determine the credibility coefficient of at least one fragment content in the initial text content, the credibility coefficient is used to represent the credibility of the fragment content as invalid text content; according to the credibility coefficient of the fragment content and the preset credibility A threshold value, determining at least one invalid segment content from at least one segment content; and determining invalid text content in the initial text content according to the at least one invalid segment content.
  • the second confirmation module 33 is specifically configured to: determine the start point and end point of the voice data of each invalid segment content in the audio data of the first multimedia resource; Corresponding to the start point and the end point, determine the first playback position of the voice data of the invalid text content in the first multimedia resource.
  • the generation module 34 is specifically configured to: obtain other text content in the initial text content except the invalid segment content based on the first playback position, wherein the other text content includes at least one target segment content; Adding a fade-in effect at the starting point of the voice data corresponding to at least one target segment content, and/or, adding a fade-out effect at the end point of the voice data corresponding to at least one target segment content, generating transitional voice data corresponding to the target segment content; The transition voice data is spliced at the first playback position to generate a second multimedia resource.
  • the first confirmation module 32 before performing semantic analysis on the initial text content to obtain semantic information corresponding to the initial text content, is further configured to: determine the initial Invalid text content in the text content; when the first confirmation module 32 performs semantic analysis on the initial text content to obtain the semantic information corresponding to the initial text content, it is specifically used to: If there is no invalid text content in the invalid text content database, then Perform semantic analysis on the initial text content to obtain semantic information corresponding to the initial text content; after the first confirmation module 32 determines the invalid text content in the initial text content according to the semantic information, it is also used to: determine the invalid text content based on the semantic information , added to the invalid text content library.
  • the generation module 34 before clipping the first multimedia resource based on the first playback position to obtain the second multimedia resource, the generation module 34 is further configured to: display invalid text content in the initial text content text content; in response to an operation instruction for the invalid text content, play an audio segment corresponding to the invalid text content.
  • the speech recognition module 31 performs speech recognition on the audio data of the first multimedia resource, and when determining the initial text content corresponding to the first multimedia resource, is specifically used to: detect VAD through a speech endpoint Algorithm, identifying speech data and non-speech data in the audio data of the first multimedia resource; performing speech recognition on the speech data in the audio data of the first multimedia resource, and determining the initial text corresponding to the first multimedia resource content.
  • the second confirmation module 33 is further configured to: determine the second playback position of the non-voice data in the first multimedia resource according to the start point and the end point of the non-voice data; the generation module 34. Specifically used for: clipping the first multimedia resource based on the first playback position and the second playback position to obtain a second multimedia resource, where the second multimedia resource does not include non-voice data.
  • the speech recognition module 31 when the speech recognition module 31 performs speech recognition on the audio data of the first multimedia resource and determines the initial text content corresponding to the first multimedia resource, it is specifically configured to:
  • the ASR technology performs speech recognition on the audio data of the first multimedia resource, and obtains a plurality of speech words, and a time stamp corresponding to each speech word, and the time stamp represents the time stamp of the audio data corresponding to the speech word in the first multimedia resource Play position; Generate initial text content according to multiple phonetic words;
  • the second confirmation module 33 is specifically used to: determine the voice data of invalid text content in the first multimedia The first playback position in the resource.
  • the first confirmation module 32 is specifically configured to: acquire the playback duration of each phonetic word according to the time stamp corresponding to the phonetic word; A phonetic word whose playback time is longer than the first threshold of the standard duration, or a phonetic word whose playback duration is shorter than the second threshold of the standard duration is determined to be invalid text content in the initial text content.
  • the first multimedia resource further includes video data
  • the generating module 34 is specifically configured to: based on the first playback position, clip the audio data and video data of the first multimedia resource, Obtain the second multimedia resource.
  • FIG. 11 is a schematic structural diagram of an electronic device provided by an embodiment of the present disclosure.
  • the electronic device 4 includes at least one processor 41 and a memory 42; the memory 42 stores instructions executed by a computer; at least one processor 41 executes The computer execution instructions stored in the memory 42 enable at least one processor 41 to execute the multimedia processing method in the embodiment shown in FIGS. 2-7 .
  • the processor 41 and the memory 42 are connected through a bus 43 .
  • Relevant descriptions can be understood by referring to the relevant descriptions and effects corresponding to the steps in the embodiments corresponding to FIG. 2 to FIG.
  • FIG. 12 shows a schematic structural diagram of an electronic device 900 suitable for implementing the embodiments of the present disclosure.
  • the electronic device 900 may be a terminal device or a server.
  • the terminal equipment may include but not limited to mobile phones, notebook computers, digital broadcast receivers, personal digital assistants (Personal Digital Assistant, PDA for short), tablet computers (Portable Android Device, PAD for short), portable multimedia players (Portable Media Player, PMP for short), mobile terminals such as vehicle-mounted terminals (eg, vehicle-mounted navigation terminals), and fixed terminals such as digital television (Television, TV), desktop computers, and the like.
  • PDA Personal Digital Assistant
  • PMP portable multimedia players
  • mobile terminals such as vehicle-mounted terminals (eg, vehicle-mounted navigation terminals)
  • fixed terminals such as digital television (Television, TV), desktop computers, and the like.
  • an electronic device 900 may include a processing device (such as a central processing unit, a graphics processing unit, etc.) 901, which may be stored in a read-only memory (Read Only Memory, ROM for short) 902 or from a storage device. 908 to execute various appropriate actions and processes by loading a program into a random access memory (Random Access Memory, RAM for short) 903 . In the RAM 903, various programs and data necessary for the operation of the electronic device 900 are also stored.
  • the processing device 901 , ROM 902 and RAM 903 are connected to each other through a bus 904 .
  • An input/output (Input/Output, I/O for short) interface 905 is also connected to the bus 904 .
  • input devices 906 including, for example, a touch screen, touchpad, keyboard, mouse, camera, microphone, accelerometer, gyroscope, etc.; including, for example, a liquid crystal display (Liquid Crystal Display, LCD for short) ), a speaker, a vibrator, etc. output device 907; including a storage device 908 such as a magnetic tape, a hard disk, etc.; and a communication device 909.
  • the communication means 909 may allow the electronic device 900 to perform wireless or wired communication with other devices to exchange data. While FIG.
  • the processes described above with reference to the flowcharts can be implemented as computer software programs.
  • the embodiments of the present disclosure include a computer program product, which includes a computer program carried on a computer-readable medium, where the computer program includes program code for executing the method shown in the flowchart.
  • the computer program may be downloaded and installed from a network via communication means 909 , or from storage means 908 , or from ROM 902 .
  • the computer-readable medium mentioned above in the present disclosure may be a computer-readable signal medium or a computer-readable storage medium or any combination of the above two.
  • a computer-readable storage medium may be, for example, but not limited to, an electrical, magnetic, optical, electromagnetic, infrared, or semiconductor system, device, or device, or any combination thereof.
  • Computer readable storage media may include, but are not limited to: electrical connections with one or more conductors, portable computer disks, hard disks, random access memory (RAM), read only memory (ROM), erasable Programmable read-only memory (Erasable Programmable ROM, referred to as EPROM or flash memory), optical fiber, convenient A portable compact disk read-only memory (Compact Disc ROM, CD-ROM for short), an optical storage device, a magnetic storage device, or any suitable combination of the above.
  • a computer-readable storage medium may be any tangible medium containing or storing a program, and the program may be used by or in combination with an instruction execution system, device, or device.
  • a computer-readable signal medium may include a data signal propagated in a baseband or as part of a carrier wave, in which computer-readable program codes are carried.
  • the propagated data signal may take various forms, including but not limited to electromagnetic signal, optical signal, or any suitable combination of the above.
  • the computer-readable signal medium may also be any computer-readable medium other than the computer-readable storage medium, and the computer-readable signal medium may send, propagate or transmit a program for use by or in combination with an instruction execution system, apparatus or device .
  • the program code contained on the computer readable medium may be transmitted by any appropriate medium, including but not limited to: electric wire, optical cable, radio frequency (Radio Frequency, RF for short), etc., or any suitable combination of the above.
  • the above-mentioned computer-readable medium may be included in the above-mentioned electronic device; or it may exist independently without being assembled into the electronic device.
  • the above-mentioned computer-readable medium carries one or more programs, and when the above-mentioned one or more programs are executed by the electronic device, the electronic device is made to execute the methods shown in the above-mentioned embodiments.
  • Computer program code for performing the operations of the present disclosure may be written in one or more programming languages, or combinations thereof, including object-oriented programming languages such as Java, Smalltalk, C++, and conventional Procedural programming language-such as "C" or similar programming language.
  • the program code may execute entirely on the user's computer, partly on the user's computer, as a stand-alone software package, partly on the user's computer and partly on a remote computer or entirely on the remote computer or server.
  • the remote computer can be connected to the user computer through any kind of network, including a Local Area Network (LAN) or a Wide Area Network (WAN), or it can be connected to an external Computer (e.g. via Internet connection using an Internet Service Provider).
  • LAN Local Area Network
  • WAN Wide Area Network
  • Internet Service Provider e.g. via Internet connection using an Internet Service Provider.
  • each block in the flowchart or block diagram may represent a module, program segment, or part of code that contains one or more logic functions for implementing the specified executable instructions.
  • the functions noted in the block may occur out of the order noted in the figures. For example, two blocks shown in succession may, in fact, be executed substantially concurrently, or they may sometimes be executed in the reverse order, depending upon the functionality involved.
  • each block in the block diagrams and/or flowcharts, and combinations of blocks in the block diagrams and/or flowcharts can be implemented by a dedicated hardware-based system that performs specified functions or operations. , or may be implemented by a combination of special purpose hardware and computer instructions.
  • the units involved in the embodiments described in the present disclosure may be implemented by means of software or by means of hardware.
  • the name of the unit does not constitute a limitation on the unit itself under certain circumstances, for example, the first obtaining unit may also be described as "a unit that obtains at least two Internet Protocol addresses".
  • the functions described herein above may be performed at least in part by one or more hardware logic components.
  • exemplary types of hardware logic components include: field programmable gate array (Held Programmable Gate Array, FPGA for short), application specific integrated circuit (Application Specific Integrated Circuit, ASIC for short), application-specific standard products ( Application Specific Standard Parts, referred to as ASSP), System on a Chip (SOC for short), Complex Programmable Logic Device (CPLD for short), etc.
  • a machine-readable medium may be a tangible medium, which may contain or store a program for use by or in combination with an instruction execution system, device, or device.
  • a machine-readable medium may be a machine-readable signal medium or a machine-readable storage medium.
  • a machine-readable medium may include, but is not limited to, an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, device, or device, or any suitable combination of the foregoing. More specific examples of machine-readable storage media would include one or more wire-based electrical connections, portable computer disks, hard disks, Random Access Memory (RAM), Read Only Memory (ROM), Erasable Programmable Read Only Memory (EPROM or flash memory), optical fiber, compact disk read-only memory (CD-ROM), optical storage, magnetic storage, or any suitable combination of the foregoing.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • EPROM Erasable Programmable Read Only Memory
  • CD-ROM compact disk read-only memory
  • a multimedia processing method including: acquiring a first multimedia resource; performing speech recognition on audio data of the first multimedia resource, and determining initial text content corresponding to the first multimedia resource, wherein the audio data of the first multimedia resource includes voice data of the initial text content; determining invalid text content in the initial text content, wherein , the invalid text content is semantically meaningless text content; determining a first playback position of voice data of the invalid text content in the first multimedia resource; based on the first playback position, clipping the first multimedia resource to obtain a second multimedia resource, wherein the audio data of the second multimedia resource contains the voice data of the target text content and does not contain the invalid text content Voice data, the target text content is other text content in the initial text content except the invalid text content.
  • determining invalid text content in the initial text content includes: performing semantic analysis on the initial text content to obtain semantic information corresponding to the initial text content; according to the semantic information to determine invalid text content in the initial text content.
  • the initial text content includes a plurality of fragment content, and according to the semantic information, determining invalid text content in the initial text content includes: according to the corresponding Semantic information, determining a credibility coefficient of at least one segment content in the initial text content, where the credibility coefficient is used to characterize the credibility of the segment content as the invalid text content; according to the segment content determining at least one invalid segment content from the at least one segment content; determining invalid text content in the initial text content according to the at least one invalid segment content.
  • determining the first playback position of the voice data of the invalid text content in the first multimedia resource includes: determining where the voice data of each invalid segment content is located the start point and the end point in the audio data of the first multimedia resource; according to the start point and the end point corresponding to each of the invalid segment contents, determine that the voice data of the invalid text content is in the first multimedia resource The first playback position in a multimedia resource.
  • clipping the first multimedia resource to obtain a second multimedia resource includes: based on the first playback position, obtaining Other text content in the initial text content except the invalid segment content, wherein the other text content includes at least one target segment content; adding a fade-in effect at the starting point of the voice data corresponding to at least one target segment content , and/or, adding a fade-out effect at the end point of the voice data corresponding to at least one of the target segment contents, generating a Transition voice data corresponding to the content of the target segment; splicing the transition voice data according to the first playback position to generate the second multimedia resource.
  • the method before performing semantic analysis on the initial text content to obtain semantic information corresponding to the initial text content, the method further includes: based on a preset invalid text content library, determining Invalid text content in the initial text content; performing semantic analysis on the initial text content to obtain semantic information corresponding to the initial text content, including: if the invalid text content does not exist in the invalid text content library, Then perform semantic analysis on the initial text content to obtain semantic information corresponding to the initial text content; after determining invalid text content in the initial text content according to the semantic information, the method further includes: The invalid text content determined by the semantic information is added to the invalid text content database.
  • the method before clipping the first multimedia resource to obtain the second multimedia resource based on the first playback position, the method further includes: displaying the initial text content Invalid text content; in response to an operation instruction for the invalid text content, play an audio segment corresponding to the invalid text content.
  • performing speech recognition on the audio data of the first multimedia resource, and determining the initial text content corresponding to the first multimedia resource includes: using a speech endpoint detection algorithm, Recognizing voice data and non-voice data in the audio data of the first multimedia resource; performing voice recognition on the voice data in the audio data of the first multimedia resource, and determining the first multimedia resource The corresponding initial text content.
  • the method further includes: determining a second playback of the non-voice data in the first multimedia resource according to the start point and the end point of the non-voice data location; based on the first playback location, clipping the first multimedia resource to obtain a second multimedia resource includes: based on the first playback location and the second playback location, clipping the The first multimedia resource is clipped to obtain the second multimedia resource, where the second multimedia resource does not include the non-voice data.
  • performing speech recognition on the audio data of the first multimedia resource, and determining the initial text content corresponding to the first multimedia resource includes: according to the automatic speech recognition technology, perform speech recognition on the audio data of the first multimedia resource, and obtain a plurality of speech words, and a time stamp corresponding to each of the speech words, and the time stamp indicates that the audio data corresponding to the speech word is in the first a playback position in a multimedia resource; generating the initial text content according to the plurality of phonetic words; determining a first playback position of the voice data of the invalid text content in the first multimedia resource, The method includes: determining a first playback position of the voice data of the invalid text content in the first multimedia resource according to the time stamp corresponding to each voice word in the invalid text content.
  • determining the invalid text content in the initial text content includes: acquiring the playback duration of each of the phonetic words according to the time stamp corresponding to the phonetic word; according to a preset standard duration, and the playback duration of the phonetic word, the phonetic word whose playback duration is longer than the first duration threshold of the standard duration, or the phonetic word whose playback duration is shorter than the second duration threshold of the standard duration, is determined as Invalid text content in the initial text content.
  • the first multimedia resource further includes video data, and based on the first playback position, the first multimedia resource is clipped to obtain a second multimedia resource
  • the resources include: based on the first playback position, clipping audio data and video data of the first multimedia resource to obtain the second multimedia resource.
  • a multimedia processing device including: a speech recognition module, configured to acquire a first multimedia resource, and performing voice recognition on the audio data, and determining the initial text content corresponding to the first multimedia resource, wherein the audio data of the first multimedia resource includes the voice data of the initial text content; the first confirmation module uses to determine the invalid text content in the initial text content, wherein the invalid text content is text content that has no information expression function in semantics; the second confirmation module determines that the voice data of the invalid text content is in the first A first playback position in the multimedia resource; a generating module, configured to clip the first multimedia resource based on the first playback position to obtain a second multimedia resource, wherein the second The audio data of the multimedia resource contains the voice data of the target text content and does not include the voice data of the invalid text content, and the target text content is other text content in the initial text content except the invalid text content .
  • the first confirmation module is specifically configured to: perform semantic analysis on the initial text content to obtain semantic information corresponding to the initial text content; determine the Invalid text content in initial text content.
  • the initial text content includes multiple fragments of content, and when the first confirmation module determines invalid text content in the initial text content according to the semantic information, it is specifically configured to: determining a credibility coefficient of at least one piece of content in the initial text content according to the semantic information corresponding to the initial text content, and the credibility coefficient is used to characterize the credibility of the piece of content as the invalid text content degree; according to the credibility coefficient of the segment content and a preset credibility threshold, determine at least one invalid segment content from the at least one segment content; determine the initial text according to the at least one invalid segment content Invalid text content in content.
  • the second confirmation module is specifically configured to: determine the starting point and termination point of the voice data of each invalid segment content in the audio data of the first multimedia resource point; according to the start point and the end point corresponding to each invalid segment content, determine a first playback position of the voice data of the invalid text content in the first multimedia resource.
  • the generating module is specifically configured to: obtain other text content in the initial text content except the invalid segment content based on the first playback position, wherein the The other text content includes at least one target segment content; adding a fade-in effect at the starting point of the voice data corresponding to the at least one target segment content, and/or adding a fade-in effect at the end point of the voice data corresponding to the at least one target segment content Fading out the effect, generating transition voice data corresponding to the content of the target segment; splicing the transition voice data according to the first playback position to generate the second multimedia resource.
  • the first confirmation module before performing semantic analysis on the initial text content to obtain semantic information corresponding to the initial text content, is further configured to: Based on a preset invalid text content library , determining invalid text content in the initial text content; when the first confirmation module performs semantic analysis on the initial text content to obtain semantic information corresponding to the initial text content, it is specifically configured to: if the invalid text content If the invalid text content does not exist in the library, perform semantic analysis on the initial text content to obtain semantic information corresponding to the initial text content; the first confirmation module determines the initial text content according to the semantic information of After the invalid text content, it is further used to: add the invalid text content determined based on the semantic information to the invalid text content library.
  • the generating module before clipping the first multimedia resource based on the first playback position to obtain a second multimedia resource, is further configured to: displaying invalid text content in the initial text content; and playing an audio segment corresponding to the invalid text content in response to an operation instruction for the invalid text content.
  • the voice recognition module performs voice recognition on the audio data of the first multimedia resource, and when determining the initial text content corresponding to the first multimedia resource, specifically use In: identifying voice data and non-voice data in the audio data of the first multimedia resource through a voice endpoint detection algorithm; performing voice recognition on the voice data in the audio data of the first multimedia resource, and determining The initial text content corresponding to the first multimedia resource.
  • the second confirmation module is further configured to: determine that the non-voice data is in the first multimedia resource according to the start point and the end point of the non-voice data The second playback position in the; the generating module is specifically configured to: based on the first playback position and the second playback position, clip the first multimedia resource to obtain the second multimedia resource body resources, wherein the second multimedia resource does not include the non-voice data.
  • the speech recognition module when it performs speech recognition on the audio data of the first multimedia resource and determines the initial text content corresponding to the first multimedia resource, it is specifically used to : According to automatic speech recognition technology, perform speech recognition on the audio data of the first multimedia resource, obtain a plurality of speech words, and a time stamp corresponding to each of the speech words, and the time stamp indicates that the speech word corresponds to the playback position of the audio data in the first multimedia resource; generate the initial text content according to the plurality of phonetic words; the second confirmation module is specifically configured to: according to the invalid text content The time stamp corresponding to each phonetic word determines the first playback position of the voice data of the invalid text content in the first multimedia resource.
  • the first confirmation module is specifically configured to: acquire the playback duration of each of the speech words according to the time stamp corresponding to the speech word; according to a preset standard duration, and For the playback duration of the phonetic word, the phonetic word whose playback duration is longer than the first duration threshold of the standard duration, or the phonetic word whose playback duration is shorter than the second duration threshold of the standard duration is determined as the initial Invalid text content in text content.
  • the first multimedia resource further includes video data
  • the generating module is specifically configured to: based on the first playback position, generate the first multimedia resource clipping the audio data and video data to obtain the second multimedia resource.
  • an electronic device including: at least one processor and a memory; the memory stores computer-executable instructions; the at least one processor executes the memory-stored The computer executes instructions, so that the at least one processor executes the multimedia processing method described in the above first aspect and various possible designs of the first aspect.
  • a computer-readable storage medium is provided, the computer-readable storage medium stores computer-executable instructions, and when a processor executes the computer-executable instructions, Realize the multimedia processing method described in the above first aspect and various possible designs of the first aspect.
  • an embodiment of the present disclosure provides a computer program product, including a computer program.
  • the multimedia processing method described in the above first aspect and various possible designs of the first aspect is implemented.
  • an embodiment of the present disclosure provides a computer program. When the computer program is executed by a processor, the multimedia processing method described in the above first aspect and various possible designs of the first aspect is implemented.
  • the above description is only a preferred embodiment of the present disclosure and an illustration of the applied technical principle. Those skilled in the art should understand that the scope of disclosure involved in the present disclosure is not limited to the technical solution formed by a specific combination of the above technical features, but also covers the technical solutions formed by the above technical features or Other technical solutions formed by any combination of equivalent features.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

摘要本公开实施例提供一种多媒体处理方法、装置、电子设备及存储介质，通过获取第一多媒体资源；对第一多媒体资源的音频数据进行语音识别，确定第一多媒体资源对应的初始文本内容，第一多媒体资源的音频数据包含初始文本内容的语音数据；确定初始文本内容中的无效文本内容，无效文本内容为语义上无信息表达作用的文本内容；确定无效文本内容的语音数据在第一多媒体资源中的第一播放位置；基于第一播放位置，对第一多媒体资源进行裁剪，得到第二多媒体资源，其中，第二多媒体资源的音频数据中包含目标文本内容的语音数据且不包含无效文本内容的语音数据。本公开实施例实现了对多媒体资源中无效内容自动剪裁，提高了剪裁效率和剪裁效果。

Description

多 媒体 处 理方 法、 装置、 电子设备 及存 储介 质 本申请的交叉引用 本公 开要求于 2021年 7月 15 日提交的、 申请号为 202110802038.0、 名称为 “多媒 体处理方法、 装置、 电子设备及存储介质” 的中国专利申请的优先权， 其全部内容通过 引用并入本文。 技术领域 本 公开实施例涉及计算机技术领域， 尤其涉及一种多媒体处理方法、 装置、 电子设 备及存储介质。 背景技术 目前， 随着多媒体制作软件、 多媒体制作平台的快速发展， 大众进行多媒体资源制 作的技术难度和门槛大大 降低， 使基于多媒体的内容创造和分享进入全民化阶段。 在多 媒体资源制作过程中 ， 为了使多媒体资源具有更好的表现力， 往往需要作者在录制多媒 体资源后， 对多媒体资源进行后期的裁剪， 去掉例如口误、 停顿等语音表达不流畅、 不 正确的音频、 视频片段， 从而提高多媒体资源的整体播放流畅性。 然 而， 现有技术中， 对多媒体资源进行裁剪， 以提高多媒体资源的整体播放流畅性 的过程， 只能通过专业的编辑工具进行人工处理， 专业要求高、 操作难度大， 造成了多 媒体资源的剪裁过程效率低、 效果差， 以及剪裁后的多媒体资源播放流畅性低等问题。 发明内容 本 公开实施例提供一种多媒体处理方法、 装置、 电子设备及存储介质， 以克服多媒 体资源的剪裁过程效率低、 效果差， 以及剪裁后的多媒体资源播放流畅性低等问题。 第一 方面， 本公开实施例提供一种多媒体处理方法， 包括： 获 取第一多媒体资源； 对所述第一多媒体资源的音频数据进行语音识别， 确定所述 第一多媒体资源对应 的初始文本内容， 其中， 所述第一多媒体资源的音频数据包含所述 初始文本内容的语音数据 ； 确定所述初始文本内容中的无效文本内容， 其中， 所述无效 文本内容为语义上无信息表达 作用的文本内容； 确定所述无效文本内容的语音数据在所 述第一多媒体资源中 的第一播放位置； 基于所述第一播放位置， 对所述第一多媒体资源 进行裁剪， 得到第二多媒体资源， 其中， 所述第二多媒体资源的音频数据中包含目标文 本内容的语音数据且不包含所 述无效文本内容的语音数据， 所述目标文本内容为所述初 始文本内容中除所述无效文本内容外的其他文本 内容。 第二 方面， 本公开实施例提供一种多媒体处理装置， 包括： 语 音识别模块， 用于获取第一多媒体资源， 并对所述第一多媒体资源的音频数据进 行语音识别， 确定所述第一多媒体资源对应的初始文本内容， 其中， 所述第一多媒体资 源的音频数据包含所述初始文本内容的语音数据； 第一确认 模块， 用于确定所述初始文本内容中的无效文本内容， 其中， 所述无效文 本内容为语义上无信息表达作用的文本内容； 第二确认 模块， 确定所述无效文本内容的语音数据在所述第一多媒体资源中的第一 播放位置； 生成模 块， 用于基于所述第一播放位置， 对所述第一多媒体资源进行裁剪， 得到第 二多媒体资源， 其中， 所述第二多媒体资源的音频数据中包含目标文本内容的语音数据 且不包含所述无效文本 内容的语音数据， 所述目标文本内容为所述初始文本内容中除所 述无效文本内容外的其他文本内容。 第三方面 ， 本公开实施例提供一种电子设备， 包括： 至少一个处理器和存储器； 所述存储器存储计 算机执行指令； 所述 至少一个处理器执行所述存储器存储的所述计算机执行指令 ， 使得所述至少一 个处理器执行如上第一方面以及第一方面各种可能的设计所述 的多媒体处理方法。 第 四方面， 本公开实施例提供一种计算机可读存储介质， 所述计算机可读存储介质 中存储有计算机执行指令 ， 当处理器执行所述计算机执行指令时， 实现如上第一方面以 及第一方面各种可能的设计所述的多媒体处理方法。 第五 方面， 本公开实施例提供一种计算机程序产品， 包括计算机程序， 该计算机程 序被处理器执行时实现如上第 一方面以及第一方面各种可能的设计所述的多媒体处理方 法。 第六 方面， 本公开实施例提供一种计算机程序， 所述计算机程序被处理器执行时实 现如上第一方面以及第一方面各种可能的设计所述的多媒体处理方法 。 本实施 例提供的多媒体处理方法、 装置、 电子设备及存储介质， 通过获取第一多媒 体资源； 对所述第一多媒体资源的音频数据进行语音识别， 确定所述第一多媒体资源对 应的初始文本内容， 其中， 所述第一多媒体资源的音频数据包含所述初始文本内容的语 音数据； 确定所述初始文本内容中的无效文本内容， 其中， 所述无效文本内容为语义上 无信息表达作用的文本 内容； 确定所述无效文本内容的语音数据在所述第一多媒体资源 中的第一播放位置； 基于所述第一播放位置， 对所述第一多媒体资源进行裁剪， 得到第 二多媒体资源， 其中， 所述第二多媒体资源的音频数据中包含目标文本内容的语音数据 且不包含所述无效文本 内容的语音数据， 所述目标文本内容为所述初始文本内容中除所 述无效文本内容外的其他文本 内容。 基于第一多媒体资源的语音识别和文字处理， 实现 了对第一多媒体资源中 的无效文本内容的自动定位和裁剪， 提高了对多媒体资源中的无 效内容的剪裁效率和剪裁效果， 提高剪裁后的多媒体资源的播放流畅度。 附图说明 为了更清楚地说明本公开实施例或现有技术中的技术方案， 下面将对实施例或现有技术 描述中所需要使用的附图作一简单地介绍， 显而易见地， 下面描述中的附图是本公开的一些 实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动性的前提下， 还可以根据这些 附图获得其他的附图。 图 1为本公开实施例提供的多媒体处理方法的一种应用场景图； 图 2为本公开实施例提供的多媒体处理方法的另一种应用场景图； 图 3为本公开实施例提供的多媒体处理方法的流程示意图一； 图 4为本公开实施例提供的一种通过第一多媒体资源得到第二多媒体资源的过程示意图; 图 5为本公开实施例提供的多媒体处理方法流程示意图二； 图 6为图 5所示实施例中步骤 S203的实现方式流程图； 图 7为图 5所示实施例中步骤 S204的实现方式流程图； 图 8为本公开实施例提供的一种交互界面示意图； 图 9为本公开实施例提供的另一种通过第一多媒体资源得到第二多媒体资源的过程示意 图； 图 10为本公开实施例提供的多媒体处理装置的结构框图； 图 11为本公开实施例提供的一种电子设备的结构示意图； 图 12为本公开实施例提供的电子设备的硬件结构示意图。 具体实施方式 为使本 公开实施例的目的、 技术方案和优点更加清楚， 下面将结合本公开实施例中 的附图， 对本公开实施例中的技术方案进行清楚、 完整地描述， 显然， 所描述的实施例 是本公开一部分实施例 ， 而不是全部的实施例。 基于本公开中的实施例， 本领域普通技 术人员在没有作出创造性劳动 前提下所获得的所有其他实施例， 都属于本公开保护的范 围。 下面对本公开 实施例的应用场景进行解释： 图 1 为本公开实施例提供的多媒体处理方法的一种应用场景图， 本实施例提供的多 媒体处理方法可以应用于多媒体 视频资源录制后的后期剪裁处理的应用场景下， 其中， 多媒体视频资源例如为包含音 轨的视频， 具体地， 本实施例提供的方法可以应用于终端 设备， 如图 1 所示， 用户通过终端设备 11 录制一段多媒体初始视频后， 该终端设备 11 通过执行本实施例提供 的多媒体处理方法， 对多媒体初始视频进行处理， 自动去除该多 媒体初始视频中出现的口误、 停顿、 口头语等无意义的内容对应的视频片段和音频片段， 生成多媒体剪裁视频， 由于多媒体剪裁视频中的无意义内容已被去除， 因此相对于多媒 体初始视频， 多媒体剪裁视频在内容上更加连贯和顺畅， 多媒体视频资源的内容品质更 高。 之后， 终端设备 11将该多媒体剪裁视频发送至视频平台服务器 12, 视频平台服务器 12将该多媒体剪裁视频作为多媒体视频资源发布在视频平 台，其他终端设备 13可以通过 与视频平台服务器 12通信实现对该多媒体视频资源的观看。 图 2 为本公开实施例提供的多媒体处理方法的另一种应用场景图， 在一种可能的实 现方式中， 本实施例提供的方法也可以应用于视频平台服务器， 即用户通过终端设备录 制一段多媒体初始视频后 ， 将该多媒体初始视频发送至视频平台服务器， 视频平台服务 器通过执行本实施例提供 的多媒体处理方法， 对多媒体初始视频进行处理， 生成如图 1 中所示的多媒体剪裁视频， 并将该多媒体剪裁视频作为多媒体视频资源发布在视频平台， 其他终端设备可以通过与视频平台服务器通信实现对该多媒体视频资源 的观看。 现有技术 中， 对多媒体资源进行裁剪， 以提高多媒体资源的整体播放流畅性的过程， 只能通过专业的编辑工具进行人 工处理， 专业要求高、 操作难度大， 造成了多媒体资源 的剪裁过程效率低、 效果差， 以及剪裁后的多媒体资源播放流畅性低等问题。 这是由于， 由用户自己录制的多媒体资源 ， 由于不同用户的发音特点、 语言表述风格之间的差异， 以及多媒体资源的 内容差异， 难以实现多媒体资源中无意义内容的准确识别和定位， 因 此， 通常只能依靠人工结合多媒体资源的画面和声音， 综合判断后， 进行人工裁剪， 不 仅效率低下， 而且影响剪裁后的多媒体资源的播放流畅性。 本公开实施例提供 一种多媒体处理方法以解决上述问题。 图 3 为本公开实施例提供的多媒体处理方法的流程示意图一。 本实施例的方法可以 应用在服务器或终端设备 中， 本实施例中， 示例性地以终端设备作为本实施例的方法的 执行主体进行说明， 该多媒体处理方法包括：
S101： 获取第一多媒体资源。 示例性 地， 多媒体通常指是多种媒体的综合， 一般包括文本， 声音和图像等多种媒 体形式。 在计算机系统中， 多媒体指组合两种或两种以上媒体的一种人机交互式信息交 流和传播媒体。 本实施例中， 第一多媒体资源可以是带有音轨的有声视频， 更具体地， 第一多媒体资源可以是一种保护视频数据和音频数据的多媒体资源或文件 。 进一 步地， 第一多媒体资源可以是用户通过终端设备， 例如智能手机的录像功能录 制的有声视频， 在本实施例中， 该有声视频是包含有人声的视频， 例如解说视频、 教学 视频、 产品介绍视频等。 当然， 可以理解的是， 该第一多媒体资源还可以是终端设备通 过接收其他电子设备传输的数据而获得的， 此处不再一一举例。
S102： 对第一多媒体资源的音频数据进行语音识别， 确定第一多媒体资源对应的初 始文本内容， 其中， 第一多媒体资源的音频数据包含初始文本内容的语音数据。 示例性 地， 第一多媒体资源中至少包括音频数据， 在获得第一多媒体资源后， 根据 预设的算法， 对第一多媒体资源的音频数据进行语音识别， 确定第一多媒体资源中音频 数据所表达的内容对应 的文本， 即初始文本内容。 其中， 示例性地， 音频数据中可以仅 包括语音数据， 或者， 同时包括语音数据和非语音数据， 语音数据为视频中录制的人的 语音对应的音频数据； 对应的， 非语音数据为视频中录制的非人的语音对应的音频数据。 更具体地， 例如第一多媒体资源为一段产品介绍视频， 其中， 视频中介绍产品的人的语 音所对应的音频数据， 为语音数据。 通过对第一多媒体资源的音频数据进行语音识别， 所得到的文本即为初始文本内容， 也即为视频中对产品进行介绍的人声语音转化的文字。
S103： 确定初始文本内容中的无效文本内容， 其中， 无效文本内容为语义上无信息 表达作用的文本内容。 进一 步地， 示例性地， 获得初始文本内容后， 基于初始文本内容中的字、 词、 句、 段落， 对初始文本内容进行识别， 可以确定出其中的无效文本内容和目标文本内容。 其 中， 无效文本内容为语义上无信息表达作用的文本内容， 更具体地， 例如说话过程中的 非正常的停顿、 重复、 多余的语气词等无信息表达作用， 但会影响语言表达的流畅性字、 词、 短句等。 示例性 地， 确定初始文本内容中的无效文本内容的实现方式有多种， 例如， 基于预 设的无效文本内容库， 确定初始文本内容中的无效文本内容， 具体地， 无效文本内容库 中包括无效文本内容对应的字、 词、 短句等预设要素， 基于无效文本内容库中的字、 词、 短句， 检测初始文本内容中是否含有上述无效文本内容库中的字、 词、 短句， 进而确定 初始文本内容中的无效文本内容。 在在 另一种可能的实现方式中， 可以通过对初始文本内容进行语义分析， 获得初始 文本内容对应的语义信息 ； 再根据语义信息， 确定初始文本内容中的无效文本内容。 其 中， 具体地， 通过对初始文本内容进行语义分析， 可以确定初始文本内容中每一字、 词 元素的语义含义， 其中， 无效文本内容， 也是语义含义的一个分类。 因此通过对初始文 本内容进行语义分析， 可以确定初始文本内容中的无效文本内容。 其 中， 对初始文本内容进行语义分析， 可以通过预训练的语言处理模型实现， 用于 语义分析的语言处理模型 的使用和训练为本领域技术人员知晓的现有技术， 此处不再进 行追溯。
S104： 确定无效文本内容的语音数据在第一多媒体资源中的第一播放位置。 示例性 地， 初始文本内容中的每一个字或词， 对应有一段音频片段， 以及一段音频 数据， 音频数据中包含有播放时间戳， 在确定初始文本内容中的无效文本内容后， 根据 无效文本内容中所包含 的字、 词， 确定各字、 词对应的音频数据， 并获取音频数据的播 放时间戳， 进而， 根据音频数据的播放时间戳， 可以确定无效文本内容的语音数据在第 一多媒体资源中的第一播放位置 。 示例性地， 在一种可能的实现方式中， 无效文本内容 在第一多媒体资源中对应是一段 连续的音频数据， 此种情况下， 第一播放位置， 可以仅 包括一组包含起始点和终止 点的播放时间戳。 在另一种可能的实现方式中， 无效文本内 容在第一多媒体资源中对应是 多段不连续的音频数据， 此种情况下， 第一播放位置， 可 以包括多组包含起始点和终止点的播放时间戳。
S105： 基于第一播放位置， 对第一多媒体资源进行裁剪， 得到第二多媒体资源， 其 中， 第二多媒体资源的音频数据中包含目标文本内容的语音数据且不包含无效文本内容 的语音数据， 目标文本内容为初始文本内容中除无效文本内容外的其他文本内容。 示例性 地， 在确定第一播放位置后， 相当于已经对无效文本内容对应的语音数据进 行了识别和定位， 为了提高多媒体视频播放的整体流畅度， 基于第一播放位置， 将无效 文本内容对应的语音数据从第 一多媒体资源的全部音频数据中删除， 保留目标文本内容 对应的语音数据， 从而减少由于停顿、 重复、 多余的语气词等无信息表达作用的字、 词 对多媒体视频内容表达 的影响。 具体地， 基于第一播放位置对无效文本内容对应的语音 数据在第一多媒体资源 中的播放位置的描述， 确定无效文本内容对应的语音数据的起始 点和终止点， 进而， 将起始点和终止点中间的数据删除， 将起始点之前和终止点之后的 目标文本内容的语音数据进行拼接， 生成剪裁后的音频数据。 进一 步地， 在本实施例中， 第一多媒体资源还包括视频数据， 因此， 类似地， 基于 第一播放位置， 对第一多媒体资源中的视频数据进行对应处理， 剪裁无效文本内容对应 的视频数据， 生成与剪裁后的音频数据在播放时间轴上对应的剪裁后的视频数据， 进而， 得到第二多媒体资源。 图 4 为本公开实施例提供的一种通过第一多媒体资源得到第二多媒体资源的过程示 意图， 如图 4 所示， 第一多媒体资源中包括音频数据和视频数据， 音频数据中包括语音 数据， 语音数据中包括第一语音数据和第二语音数据， 其中， 第一语音数据为无效文本 内容对应的语音数据； 第二语音数据为目标文本内容对应的语音数据。 在根据第一播放 位置， 确定语音数据中的第一语音数据和第二语音数据的位置后， 对第一语音数据进行 裁剪， 将第二语音数据保留， 并重新进行拼接， 生成目标音频数据； 相应的， 根据第一 播放位置， 将对应的视频数据进行裁剪和拼接， 生成目标视频数据。 进而， 根据目标音 频数据和目标视频数据， 生成第二多媒体资源。 在本 实施例中， 通过获取第一多媒体资源； 对第一多媒体资源的音频数据进行语音 识别， 确定第一多媒体资源对应的初始文本内容， 其中， 第一多媒体资源的音频数据包 含初始文本内容的语音数据 ； 确定初始文本内容中的无效文本内容， 其中， 无效文本内 容为语义上无信息表达作用 的文本内容； 确定无效文本内容的语音数据在第一多媒体资 源中的第一播放位置； 基于第一播放位置， 对第一多媒体资源进行裁剪， 得到第二多媒 体资源， 其中， 第二多媒体资源的音频数据中包含目标文本内容的语音数据且不包含无 效文本内容的语音数据 ， 目标文本内容为初始文本内容中除无效文本内容外的其他文本 内容。 基于第一多媒体资源的语音识别和文字处理， 实现了对第一多媒体资源中的无效 文本内容的自动定位和裁剪， 提高了对多媒体资源中的无效内容的剪裁效率和剪裁效果， 提高剪裁后的多媒体资源的播放流畅度。 图 5为本公开实施例提供的多媒体处理方法流程示意图二。 本实施例在图 3 所示实 施例的基础上， 对步骤 S102-S105进一步细化， 该多媒体处理方法包括：
S201： 获取第一多媒体资源。
S202： 通过语音端点检测算法， 识别第一多媒体资源的音频数据中的语音数据和非 语音数据。 示例性地 ， 语音端点检测 (Voice Activity Detection, VAD) 算法， 又称为语音活动 检测， 目的是从声音信号流里识别静音期 (即非人声信号)， 本实施例中， 通过语音端点 检测算法， 对第一多媒体资源的音频数据进行处理， 可以识别出其中的人的语音所对应 的语音数据和非人的语音对应的非语音数据， 从而实现后续的基于语音数据的处理过程。 其中， 语音端点检测算法的具体实现方法， 为本领域技术人员知晓的现有技术， 此处不 再赘述。
S203： 对第一多媒体资源的音频数据中的语音数据进行语音识别， 确定第一多媒体 资源对应的初始文本内容， 其中， 初始文本内容包括多个片段内容。 示例性地 ， 如图 6所示， S203包括 S2031、 S2032两个具体的实现步骤，
S2031： 根据自动语音识别技术， 对第一多媒体资源的音频数据进行语音识别， 获得 多个语音字， 以及各语音字对应的时间戳， 时间戳表征语音字对应的音频数据在第一多 媒体资源中的播放位置。
S2032： 根据多个语音字， 生成初始文本内容。 示例性地 ， 自动语音识别技术 (ASR， Automatic Speech Recognition) , 是一种将人 的语音转换为文本的技术 ， 是基于声学、 语音学、 语言学及计算机科学等多技术学科实 现的技术， 通过对音频信号进行预处理、 特征提取、 后处理、 特征识别等多个环节， 实 现由语音向文字的转换 ， 其中， 各处理所涉及的方法也有多种， 为本领域技术人员知晓 的现有技术， 可根据具体的需要对各处理环节中涉及的具体算法进行配置， 此处不再一 一举例说明。 进一 步地， 通过自动语音识别技术对第一多媒体资源的音频数据进行语音识别后， 输出字级别的识别结果 ， 即语音字， 其中， 每一个语音字对应一个段音频数据， 即一个 音频片段。 根据第一多媒体资源的音频数据中各音频片段对应的播放时序， 依次对各音 频片段对应的语音字进行排列 ， 所生成的包含多个语音字的文本， 即为初始文本内容。 此外， 示例性地， 在通过自动语音识别技术识别语音字的过程中， 还会确定每一语音字 对应的时间戳， 用以表征语音字对应的音频数据 （即上述语音片段） 在第一多媒体资源 中的播放位置， 该过程是通过预设的自动语音识别算法实现的， 此处不再赘述。 其 中， 示例性地， 每一个或多个语音字， 可以构成一个片段内容， 用于表征特定的 语义。 例如由两个语音字构成的词， 或者由四个语音字构成的成语等。 而对于初始文本 内容中的无效文本内容， 可以是以一个语音字的形式出现的， 例如 “嗯 ”， 也可能是有两 个语音字的形式出现的， 例如 “那个”， 上述示例仅是针对中文的语音中所常出现的语义 上无信息表达作用的内容， 对于其他语言是类似的， 此处不再一一举例。
S204： 从初始文本内容的多个片段内容中， 确定至少一个无效片段内容。 示例性地 ， 如图 7所示， S204包括 S2041、 S2042、 S2043、 S2044、 S2045五个具体 的实现步骤，
S2041： 基于预设的无效文本内容库， 确定初始文本内容中的无效片段内容。
S2042：若无效文本内容库中不存在无效片段内容，则对初始文本内容进行语义分析， 获得初始文本内容的各片段内容对应的语义信息。 示例性 地， 无效文本内容库中预设有多个语义上无信息表达作用的语音字和或语音 字的组合， 根据无效文本内容库中预设的语义上无信息表达作用的语音字和或语音字的 组合， 对初始文本内容中进行一致性的检测， 即可确定初始文本内容中的相同的语义上 无信息表达作用的语音字和或语音字的组合，即无效片段内容。此时，即可实现步骤 S204。 其中， 通过无效文本内容库确定无效片段内容， 由于省略了语义分析的步骤， 因此效率 更高， 计算资源占用更少， 可以提高定位和剪裁无效文本内容的效率。 而若无 效文本内容库中不存在无效片段内容， 即根据无效文本内容库中预设的多个 语义上无信息表达作用 的语音字和或语音字的组合， 对初始文本内容中进行一致性的检 测后， 在初始文本内容中未检测到无效文本内容库中预设的多个语义上无信息表达作用 的语音字和或语音字的组合 ， 或者， 在初始文本内容中检测到的无效文本内容库中预设 的多个语义上无信息表达作用 的语音字和或语音字的组合的数量小于预设值， 则进行对 初始文本内容进行语义分析 ， 通过语义分析， 确定初始文本内容的各片段内容对应的语 义信息， 进而在后续步骤中， 通过语义信息确定无效片段内容。
S2043： 根据初始文本内容的各片段内容对应的语义信息， 确定初始文本内容中至少 一个片段内容的可信度系数， 可信度系数用于表征片段内容为无效文本内容的可信度。
S2044： 根据片段内容的可信度系数以及预设的可信度阈值， 从至少一个片段内容中 确定至少一个无效片段内容。 示例性 地， 在基于预设的语义分析算法或模型对初始文本内容的各片段内容进行语 义分析后， 输出的语音信息中， 包括该片段内容对应的语义类型的置信度， 该置信度表 征语义分析模型对片段内容进行语义分类结果的可信度评估 ， 即置信度即为可信度系数。 可信度系数越高， 说明该片段内容对应的语义类型越可信。 而 “无效内容” 也是对应一 个语义分类， 在确定 “无效内容” 这一语义分类的过程中， 通过片段内容的可信度系数 以及预设的可信度阈值，将大于可信度阈值的可信度系数对应的片段内容，确定为该“无 效内容” 的语义分类， 即无效片段内容。 本实施 例步骤中， 通过各片段内容的可信度系数确定无效片段内容， 可以提高无效 片段内容的识别准确性， 减少误判。
S2045： 将基于语义信息确定的无效片段内容， 添加至无效文本内容库。 示例性 地， 在通过语音信息确定无效片段内容后， 由于无效文本库中不包括上述无 效片段内容对应的字或字 的组合， 因此将该无效片段内容添加至无效文本内容库， 扩充 无效文本内容库的 内容， 提高后续使用无效文本内容库进行无效文本内容判断的精度有 效性。 进而提高定位和剪裁无效文本内容的效率。
S205： 根据至少一个无效片段内容， 确定初始文本内容中的无效文本内容。 示例性 地， 无效文本内容中可以包括一个或多个无效片段内容， 在确定初始文本内 容中的各无效片段内容后， 即可确定对应的无效文本内容。 在一种 可能的实现方式中， 无效片段内容包括至少一个语音字， 确定初始文本内容 中的无效文本内容， 包括： 根据语音字对应的时间戳， 获取各语音字的播放时长； 根据 预设的标准时长， 以及语音字的播放时长， 将播放时长大于标准时长第一时长阈值的语 音字， 或者， 播放时长小于标准时长第二时长阈值的语音字， 确定为初始文本内容中的 无效文本内容。 示例性 地， 无效片段内容中的语音字， 是通过对语音数据转换而生成的， 而语音数 据对应人的语音， 但在实际的应用过程中， 对于同一个语音字， 人的语音的发音时长可 能存在差异性， 即人的语音在发音时长维度上存在差异性。 而不同的发音时长， 可以表 达不同的语义， 进而导致了语音字是否能够表达语义信息。 例如， 用户发出 “嗯” 的语 音两秒， 此语境下该语音字 “嗯”为一个语气停顿词， 并没有具体含义， 应属于无效片 段内容； 而在用户对话的语境下： “你吃早饭了吗”， “嗯， 吃了”， 此时时长 0.2秒的语音 “嗯”表征 了具体的语义， 因此不属于无效片段内容。 进而， 基于以上举例说明， 各语音字具有预设的标准时长， 例如均为 0.2秒。 当根据语音 字对应的时间戳， 确定的语音字的播放时长远大于该标准时长或远小于该标准时长时， 说明该语音字很可能为语气停 顿词， 不表达具体语义， 因此可以将其确定为无效文本内 容。 本实施 例中， 通过语音字的标准时长， 和语音字的播放时长进行对比， 检测无效片 段内容中的语音字是否为 由于语气停顿等原因生成的无效字， 进而减少对此类在不同语 境下具有不同含义的语音词的误判， 提高无效文本内容的识别精确度。
S206： 确定无效文本内容中的各无效片段内容的语音数据在第一多媒体资源的音频 数据中的起始点和终止点。
S207： 根据无效文本内容中的各无效片段内容对应的起始点和终止点， 确定无效文 本内容的语音数据在第一多媒体资源中的第一播放位置 。 示例性 地， 无效片段内容包括至少一个语音字， 根据无效文本内容中各语音字对应 的时间戳， 确定无效文本内容的语音数据在第一多媒体资源中的第一播放位置。
S208： 显示初始文本内容中的无效文本内容。 S209： 响应于针对无效文本内容的操作指令， 播放无效文本内容对应的音频片段。 示例性 地， 本实施例提供的方法所应用的终端设备， 具有可触摸显示屏， 终端设备 内运行有用于对第一多媒体资源进行 编辑的应用 （Application， APP）， 该终端设备通过 可触摸显示屏显示该 APP的交互界面。图 8为本公开实施例提供的一种交互界面示意图， 参考图 8, 在终端设备的交互界面上， 显示有初始文本内容（图 8中示例性的显示了其中 一部分 “下面为您介绍的嗯嗯是一款本月 16日那个最新发布的机械键盘 ”）， 并以高亮的 方式 （图 8中以字体加黑表示）， 在初始文本内容中显示无效文本内容（即 “嗯嗯”和“那 个 ”）。 用户通过终端设备的可触摸显示屏， 触摸无效文本内容对应的显示屏区域时， 终 端设备播放无效文本 内容对应的音频和或视频片段， 以使用户确定该无效文本内容对应 的音频片段是否确实为无信息表达作用的停顿、 重复等无意义内容。
S210： 根据非语音数据的起始点和终止点， 确定非语音数据在第一多媒体资源中的 第二播放位置。
S211： 基于第一播放位置和第二播放位置， 获取初始文本内容中除无效片段内容外 的其他文本内容， 其中， 其他文本内容包括至少一个目标片段内容。 非语 音数据是第一多媒体资源中， 非语音部分所对应的音频数据， 例如产品介绍的 视频中，未开始介绍前的空白部分， 以及介绍完毕后的空白部分。非语音数据在步骤 S202 中通过语音端点检测算法得到 ， 此处不再赘述。 类似地， 在确定非语音数据后， 对应的 可获得非语音数据在第一多媒体资源中的播放位置， 即第二播放位置。 进一 步地， 根据第二播放位置， 可以实现对非语音数据的定位， 基于第一播放位置 和第二播放位置， 对第一多媒体资源进行剪裁， 将第一多媒体资源中的无效片段内容对 应的语音数据， 以及非语音数据去除， 留下其他文本内容对应的音频数据， 即目标片段 内容对应的音频数据。
S212： 在至少一个目标片段内容对应的语音数据的起始点添加淡入效果， 和或， 在 至少一个目标片段 内容对应的语音数据的结束点添加淡出效果， 生成与目标片段内容对 应的过渡语音数据。
S213： 按照第一播放位置和第二播放位置拼接过渡语音数据， 生成第二多媒体资源。 进一 步地， 留下其他文本内容中包括至少一个目标片段内容， 为了提高剪裁后的音 频播放流畅度， 对目标片段内容对应的语音数据添加淡入淡出效果。 具体地， 例如， 在 至少一个目标片段 内容对应的语音数据的起始点添加淡入效果， 在至少一个目标片段内 容对应的语音数据的添加淡 出效果。 其中， 淡入效果和淡出效果， 是指在语音数据的起 始点和结束点， 进行时域加窗， 使一个目标片段内容对应的语音数据开始播放是， 音量 由小逐渐变大 （淡入） 或者由大逐渐变小 （淡出）， 减少音频数据剪裁后的突兀感。 具体 对一个音频片段添加淡入淡出的方法， 为本领域现有技术， 此处不再赘述。 进一 步地， 对目标片段内容对应的语音数据进行淡入淡出处理后， 生成对应的过渡 语音数据， 之后， 根据第一播放位置和第二播放位置， 对各过渡语音数据进行拼接， 生 成目标音频数据， 类似的， 根据第一播放位置和第二播放位置， 获取目标音频数据对应 的目标视频数据， 进而生成第二多媒体资源。 该第二多媒体资源， 仅包括由目标片段内 容构成的目标文本内容对应 的多媒体视频， 而不包含无效文本内容对应的多媒体视频， 以及， 非语音数据对应的多媒体视频。 由于第二多媒体资源去除了口误、 停顿、 口头语 等无信息表达作用的内容， 因此能够提高第二多媒体资源的内容播放流畅度。 图 9 为本公开实施例提供的另一种通过第一多媒体资源得到第二多媒体资源的过程 示意图， 如图 9所示， 通过对第一多媒体资源的音频数据进行语音端点检测后， 确定其 中的语音数据和非语音数据， 之后， 对语音数据进行语音识别、 语义分析等处理步骤后， 确定多个无效片段内容， 其中， 无效片段内容对应第一语音数据， 除无效片段内容之外 的目标片段内容对应第二语音数 据， 根据无效片段内容对应的第一语音数据对应的第一 播放位置和非语音数据对应 的第二播放位置， 进行音频数据剪裁， 去除第一语音数据以 及非语音数据， 生成目标文本内容对应的目标音频数据。 类似地， 根据第一播放位置和 第二播放位置对视频数据进行剪 裁处理， 生成目标视频数据。 再将目标音频数据和目标 视频数据进行合并， 生成第二多媒体资源。 本实施例 中， 步骤 S201 的实现方式与本公开图 3所示实施例中的步骤 S101的实现 方式相同， 在此不再 - 赘述。 对应于上文实施例 的多媒体处理方法， 图 10为本公开实施例提供的多媒体处理装置 的结构框图。 为了便于说明， 仅示出了与本公开实施例相关的部分。 参照图 10, 多媒体 处理装置 3包括： 语音识别模块 31， 用于获取第一多媒体资源， 并对第一多媒体资源的音频数据进行 语音识别， 确定第一多媒体资源对应的初始文本内容， 其中， 第一多媒体资源的音频数 据包含初始文本内容的语音数据； 第一确认模块 32， 用于确定初始文本内容中的无效文本内容， 其中， 无效文本内容 为语义上无信息表达作用的文本内容； 第二确认模块 33 , 确定无效文本内容的语音数据在第一多媒体资源中的第一播放位 置； 生成模块 34, 用于基于第一播放位置， 对第一多媒体资源进行裁剪， 得到第二多媒 体资源， 其中， 第二多媒体资源的音频数据中包含目标文本内容的语音数据且不包含无 效文本内容的语音数据 ， 目标文本内容为初始文本内容中除无效文本内容外的其他文本 内容。 在本公开 的一个实施例中， 第一确认模块 32, 具体用于： 对初始文本内容进行语义 分析， 获得初始文本内容对应的语义信息； 根据语义信息， 确定初始文本内容中的无效 文本内容。 在本公开 的一个实施例中， 初始文本内容包括多个片段内容， 第一确认模块 32在根 据语义信息， 确定初始文本内容中的无效文本内容时， 具体用于： 根据初始文本内容对 应的语义信息， 确定初始文本内容中至少一个片段内容的可信度系数， 可信度系数用于 表征片段内容为无效文本 内容的可信度； 根据片段内容的可信度系数以及预设的可信度 阈值， 从至少一个片段内容中确定至少一个无效片段内容； 根据至少一个无效片段内容， 确定初始文本内容中的无效文本内容。 在本公开 的一个实施例中， 第二确认模块 33 , 具体用于： 确定各无效片段内容的语 音数据在第一多媒体资源 的音频数据中的起始点和终止点； 根据各无效片段内容对应的 起始点和终止点， 确定无效文本内容的语音数据在第一多媒体资源中的第一播放位置。 在本公开 的一个实施例中， 生成模块 34, 具体用于： 基于第一播放位置， 获取初始 文本内容中除无效片段 内容外的其他文本内容， 其中， 其他文本内容包括至少一个目标 片段内容； 在至少一个目标片段内容对应的语音数据的起始点添加淡入效果， 和 /或， 在 至少一个目标片段 内容对应的语音数据的结束点添加淡出效果， 生成与目标片段内容对 应的过渡语音数据； 按照第一播放位置拼接过渡语音数据， 生成第二多媒体资源。 在本 公开的一个实施例中， 在对初始文本内容进行语义分析， 获得初始文本内容对 应的语义信息之前， 第一确认模块 32在， 还用于： 基于预设的无效文本内容库， 确定初 始文本内容中的无效文本内容； 第一确认模块 32在对初始文本内容进行语义分析， 获得 初始文本内容对应的语义信息时， 具体用于： 若无效文本内容库中不存在无效文本内容， 则对初始文本内容进行语义分析， 获得初始文本内容对应的语义信息； 第一确认模块 32 在根据语义信息， 确定初始文本内容中的无效文本内容之后， 还用于： 将基于语义信息 确定的无效文本内容， 添加至无效文本内容库。 在本 公开的一个实施例中， 在基于第一播放位置， 对第一多媒体资源进行裁剪， 得 到第二多媒体资源之前， 生成模块 34, 还用于： 显示初始文本内容中的无效文本内容； 响应于针对无效文本内容的操作指令， 播放无效文本内容对应的音频片段。 在本公开 的一个实施例中， 语音识别模块 31对第一多媒体资源的音频数据进行语音 识别， 确定第一多媒体资源对应的初始文本内容时， 具体用于： 通过语音端点检测 VAD 算法， 识别第一多媒体资源的音频数据中的语音数据和非语音数据； 对第一多媒体资源 的音频数据中的语音数据进行语音识别， 确定第一多媒体资源对应的初始文本内容。 在本公开 的一个实施例中， 第二确认模块 33 , 还用于： 根据非语音数据的起始点和 终止点， 确定非语音数据在第一多媒体资源中的第二播放位置； 生成模块 34, 具体用于： 基于第一播放位置和第二播放位置， 对第一多媒体资源进行裁剪， 得到第二多媒体资源， 其中， 第二多媒体资源不包含非语音数据。 在本公开 的一个实施例中， 语音识别模块 31在对第一多媒体资源的音频数据进行语 音识别，确定第一多媒体资源对应的初始文本内容时，具体用于：根据自动语音识别 ASR 技术， 对第一多媒体资源的音频数据进行语音识别， 获得多个语音字， 以及各语音字对 应的时间戳， 时间戳表征语音字对应的音频数据在第一多媒体资源中的播放位置； 根据 多个语音字， 生成初始文本内容； 第二确认模块 33， 具体用于： 根据无效文本内容中各 语音字对应的时间戳， 确定无效文本内容的语音数据在第一多媒体资源中的第一播放位 置。 在本公开 的一个实施例中， 第一确认模块 32, 具体用于： 根据语音字对应的时间戳， 获取各语音字的播放时长 ； 根据预设的标准时长， 以及语音字的播放时长， 将播放时长 大于标准时长第一时长 阈值的语音字， 或者， 播放时长小于标准时长第二时长阈值的语 音字， 确定为初始文本内容中的无效文本内容。 在本公开 的一个实施例中， 第一多媒体资源还包括视频数据， 生成模块 34, 具体用 于： 基于第一播放位置， 对第一多媒体资源的音频数据和视频数据进行裁剪， 得到第二 多媒体资源。 本实施例提供 的多媒体处理装置 3 , 可用于执行上述方法实施例的技术方案， 其实现 原理和技术效果类似， 本实施例此处不再赘述。 图 11为本公开实施例提供的一种电子设备的结构示意图， 如图 11所示， 该电子设 备 4包括至少一个处理器 41和存储器 42; 存储 器 42存储计算机执行指令； 至少一个处理器 41执行存储器 42存储的计算机执行指令， 使得至少一个处理器 41 执行如图 2 -图 7所示实施例中的多媒体处理方法。 其中， 处理器 41和存储器 42通过总线 43连接。 相 关说明可以对应参见图 2 -图 7所对应的实施例中的步骤所对应的相关描述和效果 进行理解， 此处不做过多赘述。 参考 图 12, 其示出了适于用来实现本公开实施例的电子设备 900的结构示意图， 该 电子设备 900 可以为终端设备或服务器。 其中， 终端设备可以包括但不限于诸如移动电 话、笔记本电脑、数字广播接收器、个人数字助理（Personal Digital Assistant，简称 PDA）、 平板电脑 （Portable Android Device, 简称 PAD）、 便携式多媒体播放器 （Portable Media Player, 简称 PMP）、 车载终端 （例如车载导航终端） 等等的移动终端以及诸如数字电视 （Television, TV）、 台式计算机等等的固定终端。 图 12示出的电子设备仅仅是一个示例， 不应对本公开实施例的功能和使用范围带来任何限制 。 如图 12所示， 电子设备 900可以包括处理装置 （例如中央处理器、 图形处理器等） 901， 其可以根据存储在只读存储器（Read Only Memory， 简称 ROM） 902中的程序或者 从存储装置 908加载到随机访问存储器 （Random Access Memory， 简称 RAM） 903中的 程序而执行各种适当的动作和处理。 在 RAM 903中， 还存储有电子设备 900操作所需的 各种程序和数据。 处理装置 901、 ROM 902以及 RAM 903通过总线 904彼此相连。 输入 /输出 （Input/Output, 简称 I/O） 接口 905也连接至总线 904。 通 常， 以下装置可以连接至 I/O接口 905: 包括例如触摸屏、 触摸板、 键盘、 鼠标、 摄像头、麦克风、加速度计、陀螺仪等的输入装置 906;包括例如液晶显示器（Liquid Crystal Display, 简称 LCD）、 扬声器、 振动器等的输出装置 907; 包括例如磁带、 硬盘等的存储 装置 908; 以及通信装置 909。 通信装置 909可以允许电子设备 900与其他设备进行无线 或有线通信以交换数据。 虽然图 12示出了具有各种装置的电子设备 900, 但是应理解的 是， 并不要求实施或具备所有示出的装置。 可以替代地实施或具备更多或更少的装置。 特 别地， 根据本公开的实施例， 上文参考流程图描述的过程可以被实现为计算机软 件程序。 例如， 本公开的实施例包括一种计算机程序产品， 其包括承载在计算机可读介 质上的计算机程序 ， 该计算机程序包含用于执行流程图所示的方法的程序代码。 在这样 的实施例中， 该计算机程序可以通过通信装置 909 从网络上被下载和安装， 或者从存储 装置 908被安装， 或者从 ROM 902被安装。 在该计算机程序被处理装置 901执行时， 执 行本公开实施例的方法中限定的上述功能 。 需要说明的是， 本公开上述的计算机可读介质可以是计算机可读信号介质或者计算 机可读存储介质或者是上述 两者的任意组合。 计算机可读存储介质例如可以是一一但不 限于一一电、 磁、 光、 电磁、 红外线、 或半导体的系统、 装置或器件， 或者任意以上的 组合。 计算机可读存储介质的更具体的例子可以包括但不限于： 具有一个或多个导线的 电连接、 便携式计算机磁盘、 硬盘、 随机访问存储器 （RAM）、 只读存储器 （ROM）、 可 擦式可编程只读存储器 （ Erasable Programmable ROM， 简称 EPROM或闪存）、 光纤、 便 携式紧凑磁盘只读存储器 （Compact Disc ROM， 简称 CD-ROM）、 光存储器件、 磁存储器 件、 或者上述的任意合适的组合。 在本公开中， 计算机可读存储介质可以是任何包含或 存储程序的有形介质 ， 该程序可以被指令执行系统、 装置或者器件使用或者与其结合使 用。 而在本公开中， 计算机可读信号介质可以包括在基带中或者作为载波一部分传播的 数据信号， 其中承载了计算机可读的程序代码。 这种传播的数据信号可以采用多种形式， 包括但不限于 电磁信号、 光信号或上述的任意合适的组合。 计算机可读信号介质还可以 是计算机可读存储介质 以外的任何计算机可读介质， 该计算机可读信号介质可以发送、 传播或者传输用于 由指令执行系统、 装置或者器件使用或者与其结合使用的程序。 计算 机可读介质上包含的程序代码可以用任何适当的介质传输， 包括但不限于： 电线、 光缆、 射频 （Radio Frequency， 简称 RF） 等等， 或者上述的任意合适的组合。 上述计算机可读介质可以是上述电子设备中所包含的； 也可以是单独存在， 而未装 配入该电子设备中。 上述计算机可读介质承载有一个或者多个程序， 当上述一个或者多个程序被该电子 设备执行时， 使得该电子设备执行上述实施例所示的方法。 可以以一种或多种程序设计语言或其组合来编写用于执行本公开 的操作的计算机程 序代码， 上述程序设计语言包括面向对象的程序设计语言一诸如 Java、 Smalltalk、 C++, 还包括常规的过程式程序设计语言一诸如 “C”语言或类似的程序设计语言。 程序代码可 以完全地在用户计算机上执 行、 部分地在用户计算机上执行、 作为一个独立的软件包执 行、 部分在用户计算机上部分在远程计算机上执行、 或者完全在远程计算机或服务器上 执行。 在涉及远程计算机的情形中， 远程计算机可以通过任意种类的网络一一包括局域 网 （Local Area Network, 简称 LAN） 或广域网 （Wide Area Network, 简称 WAN） —连 接到用户计算机， 或者， 可以连接到外部计算机 （例如利用因特网服务提供商来通过因 特网连接）。 附图中的流程图和框图， 图示了按照本公开各种实施例的系统、 方法和计算机程序 产品的可能实现的体系架 构、 功能和操作。 在这点上， 流程图或框图中的每个方框可以 代表一个模块、 程序段、 或代码的一部分， 该模块、 程序段、 或代码的一部分包含一个 或多个用于实现规定的逻辑功能的可执行指令 。 也应当注意， 在有些作为替换的实现中， 方框中所标注的功能也可 以以不同于附图中所标注的顺序发生。 例如， 两个接连地表示 的方框实际上可以基本并行地执 行， 它们有时也可以按相反的顺序执行， 这依所涉及的 功能而定。 也要注意的是， 框图和 /或流程图中的每个方框、 以及框图和 /或流程图中的方 框的组合， 可以用执行规定的功能或操作的专用的基于硬件的系统来实现， 或者可以用 专用硬件与计算机指令的组合来实现。 描述于本公开实施例中所涉及到的单元可以通过软件的方式实现 ， 也可以通过硬件 的方式来实现。 其中， 单元的名称在某种情况下并不构成对该单元本身的限定， 例如， 第一获取单元还可以被描述为 “获取至少两个网际协议地址的单元”。 本 文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来 执行。 例如， 非限制 性地， 可以使用的示范类型的硬件逻 辑部件包括： 现场可编程门阵列 （Held Programmable Gate Array , 简称 FPGA）、 专用集成电路 （Application Specific Integrated Circuit, 简称 ASIC）、 专用标准产品 （ Application Specific Standard Parts， 简称 ASSP）、 片上系统 （ System on a Chip， 简称 SOC）、 复杂可编程逻辑设备（Complex Programmable Logic Device, 简称 CPLD） 等等。 在 本公开的上下文中， 机器可读介质可以是有形的介质， 其可以包含或存储以供指 令执行系统、 装置或设备使用或与指令执行系统、 装置或设备结合地使用的程序。 机器 可读介质可以是机器可读信 号介质或机器可读储存介质。 机器可读介质可以包括但不限 于电子的、 磁性的、 光学的、 电磁的、 红外的、 或半导体系统、 装置或设备， 或者上述 内容的任何合适组合 。 机器可读存储介质的更具体示例会包括基于一个或多个线的电气 连接、 便携式计算机盘、 硬盘、 随机存取存储器 （RAM）、 只读存储器 （ROM）、 可擦除 可编程只读存储器（EPROM 或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、 光学储存设备、 磁储存设备、 或上述内容的任何合适组合。 第 一方面， 根据本公开的一个或多个实施例， 提供了一种多媒体处理方法， 包括： 获取第一多媒体资源 ； 对所述第一多媒体资源的音频数据进行语音识别， 确定所述第一 多媒体资源对应的初始文本 内容， 其中， 所述第一多媒体资源的音频数据包含所述初始 文本内容的语音数据 ； 确定所述初始文本内容中的无效文本内容， 其中， 所述无效文本 内容为语义上无信息表达 作用的文本内容； 确定所述无效文本内容的语音数据在所述第 一多媒体资源中的第一播放 位置； 基于所述第一播放位置， 对所述第一多媒体资源进行 裁剪， 得到第二多媒体资源， 其中， 所述第二多媒体资源的音频数据中包含目标文本内 容的语音数据且不包含所述 无效文本内容的语音数据， 所述目标文本内容为所述初始文 本内容中除所述无效文本内容外的其他文本 内容。 根据 本公开的一个或多个实施例， 确定所述初始文本内容中的无效文本内容， 包括： 对所述初始文本 内容进行语义分析， 获得所述初始文本内容对应的语义信息； 根据所述 语义信息， 确定所述初始文本内容中的无效文本内容。 根 据本公开的一个或多个实施例， 所述初始文本内容包括多个片段内容， 根据所述 语义信息， 确定所述初始文本内容中的无效文本内容， 包括： 根据所述初始文本内容对 应的语义信息， 确定所述初始文本内容中至少一个片段内容的可信度系数， 所述可信度 系数用于表征所述片段 内容为所述无效文本内容的可信度； 根据所述片段内容的可信度 系数以及预设的可信度 阈值， 从所述至少一个片段内容中确定至少一个无效片段内容； 根据所述至少一个无效片段内容， 确定所述初始文本内容中的无效文本内容。 根 据本公开的一个或多个实施例， 确定所述无效文本内容的语音数据在所述第一多 媒体资源中的第一播放位置 ， 包括： 确定各所述无效片段内容的语音数据在所述第一多 媒体资源的音频数据 中的起始点和终止点； 根据各所述无效片段内容对应的所述起始点 和所述终止点， 确定所述无效文本内容的语音数据在所述第一多媒体资源中的第一播放 位置。 根 据本公开的一个或多个实施例， 基于所述第一播放位置， 对所述第一多媒体资源 进行裁剪， 得到第二多媒体资源， 包括： 基于所述第一播放位置， 获取所述初始文本内 容中除所述无效片段 内容外的其他文本内容， 其中， 所述其他文本内容包括至少一个目 标片段内容； 在至少一个所述目标片段内容对应的语音数据的起始点添加淡入效果， 和 / 或， 在至少一个所述目标片段内容对应的语音数据的结束点添加淡出效果， 生成与所述 目标片段内容对应的过渡语音数 据； 按照所述第一播放位置拼接所述过渡语音数据， 生 成所述第二多媒体资源。 根据本 公开的一个或多个实施例， 在对所述初始文本内容进行语义分析， 获得所述 初始文本内容对应的语义信 息之前， 所述方法还包括： 基于预设的无效文本内容库， 确 定所述初始文本内容中 的无效文本内容； 对所述初始文本内容进行语义分析， 获得所述 初始文本内容对应的语义信 息， 包括： 若所述无效文本内容库中不存在所述无效文本内 容， 则对所述初始文本内容进行语义分析， 获得所述初始文本内容对应的语义信息； 在 根据所述语义信息， 确定所述初始文本内容中的无效文本内容之后， 所述方法还包括： 将基于所述语义信息确定的所述无效文本内容， 添加至所述无效文本内容库。 根据本 公开的一个或多个实施例， 在基于所述第一播放位置， 对所述第一多媒体资 源进行裁剪， 得到第二多媒体资源之前， 还包括： 显示所述初始文本内容中的无效文本 内容； 响应于针对所述无效文本内容的操作指令， 播放所述无效文本内容对应的音频片 段。 根据本公开 的一个或多个实施例， 对所述第一多媒体资源的音频数据进行语音识别， 确定所述第一多媒体资源对应 的初始文本内容， 包括： 通过语音端点检测算法， 识别所 述第一多媒体资源的音频数据 中的语音数据和非语音数据； 对所述第一多媒体资源的音 频数据中的语音数据进行语音识别， 确定所述第一多媒体资源对应的初始文本内容。 根据本 公开的一个或多个实施例， 所述方法还包括： 根据所述非语音数据的起始点 和终止点， 确定所述非语音数据在所述第一多媒体资源中的第二播放位置； 基于所述第 一播放位置， 对所述第一多媒体资源进行裁剪， 得到第二多媒体资源， 包括： 基于所述 第一播放位置和所述第二播放位 置， 对所述第一多媒体资源进行裁剪， 得到所述第二多 媒体资源， 其中， 所述第二多媒体资源不包含所述非语音数据。 根据本公开 的一个或多个实施例， 对所述第一多媒体资源的音频数据进行语音识别， 确定所述第一多媒体资源对应 的初始文本内容， 包括： 根据自动语音识别技术， 对所述 第一多媒体资源的音频数据进 行语音识别， 获得多个语音字， 以及各所述语音字对应的 时间戳， 所述时间戳表征所述语音字对应的音频数据在所述第一多媒体资源中的播放位 置； 根据所述多个语音字， 生成所述初始文本内容； 确定所述无效文本内容的语音数据 在所述第一多媒体资源 中的第一播放位置， 包括： 根据所述无效文本内容中各语音字对 应的时间戳， 确定所述无效文本内容的语音数据在所述第一多媒体资源中的第一播放位 置。 根据本公开 的一个或多个实施例， 确定所述初始文本内容中的无效文本内容， 包括: 根据所述语音字对应的时 间戳， 获取各所述语音字的播放时长； 根据预设的标准时长， 以及所述语音字的播放时长， 将所述播放时长大于所述标准时长第一时长阈值的语音字， 或者， 所述播放时长小于所述标准时长第二时长阈值的语音字， 确定为所述初始文本内 容中的无效文本内容。 根据本 公开的一个或多个实施例， 所述第一多媒体资源还包括视频数据， 基于所述 第一播放位置， 对所述第一多媒体资源进行裁剪， 得到第二多媒体资源， 包括： 基于所 述第一播放位置， 对所述第一多媒体资源的音频数据和视频数据进行裁剪， 得到所述第 二多媒体资源。 第二方面 ， 根据本公开的一个或多个实施例， 提供了一种多媒体处理装置， 包括： 语音 识别模块， 用于获取第一多媒体资源， 并对所述第一多媒体资源的音频数据进 行语音识别， 确定所述第一多媒体资源对应的初始文本内容， 其中， 所述第一多媒体资 源的音频数据包含所述初始文本内容的语音数据； 第一确认 模块， 用于确定所述初始文本内容中的无效文本内容， 其中， 所述无效文 本内容为语义上无信息表达作用的文本内容； 第二确认 模块， 确定所述无效文本内容的语音数据在所述第一多媒体资源中的第一 播放位置； 生成模 块， 用于基于所述第一播放位置， 对所述第一多媒体资源进行裁剪， 得到第 二多媒体资源， 其中， 所述第二多媒体资源的音频数据中包含目标文本内容的语音数据 且不包含所述无效文本 内容的语音数据， 所述目标文本内容为所述初始文本内容中除所 述无效文本内容外的其他文本内容。 根据本 公开的一个或多个实施例， 第一确认模块， 具体用于： 对所述初始文本内容 进行语义分析， 获得所述初始文本内容对应的语义信息； 根据所述语义信息， 确定所述 初始文本内容中的无效文本内容。 根据本 公开的一个或多个实施例， 所述初始文本内容包括多个片段内容， 第一确认 模块在根据所述语义信息 ， 确定所述初始文本内容中的无效文本内容时， 具体用于： 根 据所述初始文本内容对应 的语义信息， 确定所述初始文本内容中至少一个片段内容的可 信度系数， 所述可信度系数用于表征所述片段内容为所述无效文本内容的可信度； 根据 所述片段内容的可信度系数 以及预设的可信度阈值， 从所述至少一个片段内容中确定至 少一个无效片段内容； 根据所述至少一个无效片段内容， 确定所述初始文本内容中的无 效文本内容。 根据本 公开的一个或多个实施例， 所述第二确认模块， 具体用于： 确定各所述无效 片段内容的语音数据在所述第 一多媒体资源的音频数据中的起始点和终止点； 根据各所 述无效片段内容对应的所述起始 点和所述终止点， 确定所述无效文本内容的语音数据在 所述第一多媒体资源中的第一播放位置。 根据本 公开的一个或多个实施例， 所述生成模块， 具体用于： 基于所述第一播放位 置， 获取所述初始文本内容中除所述无效片段内容外的其他文本内容， 其中， 所述其他 文本内容包括至少一个 目标片段内容； 在至少一个所述目标片段内容对应的语音数据的 起始点添加淡入效果， 和 /或， 在至少一个所述目标片段内容对应的语音数据的结束点添 加淡出效果， 生成与所述目标片段内容对应的过渡语音数据； 按照所述第一播放位置拼 接所述过渡语音数据， 生成所述第二多媒体资源。 根据本 公开的一个或多个实施例， 在对所述初始文本内容进行语义分析， 获得所述 初始文本内容对应的语义信息之前， 第一确认模块还用于： 基于预设的无效文本内容库， 确定所述初始文本内容中的无效文本 内容； 第一确认模块在对所述初始文本内容进行语 义分析， 获得所述初始文本内容对应的语义信息时， 具体用于： 若所述无效文本内容库 中不存在所述无效文本 内容， 则对所述初始文本内容进行语义分析， 获得所述初始文本 内容对应的语义信息； 第一确认模块在根据所述语义信息， 确定所述初始文本内容中的 无效文本内容之后， 还用于： 将基于所述语义信息确定的所述无效文本内容， 添加至所 述无效文本内容库。 根据本 公开的一个或多个实施例， 在基于所述第一播放位置， 对所述第一多媒体资 源进行裁剪， 得到第二多媒体资源之前， 所述生成模块， 还用于： 显示所述初始文本内 容中的无效文本内容； 响应于针对所述无效文本内容的操作指令， 播放所述无效文本内 容对应的音频片段。 根据本 公开的一个或多个实施例， 所述语音识别模块对所述第一多媒体资源的音频 数据进行语音识别， 确定所述第一多媒体资源对应的初始文本内容时， 具体用于： 通过 语音端点检测算法， 识别所述第一多媒体资源的音频数据中的语音数据和非语音数据； 对所述第一多媒体资源 的音频数据中的语音数据进行语音识别， 确定所述第一多媒体资 源对应的初始文本内容。 根据本 公开的一个或多个实施例， 所述第二确认模块， 还用于： 根据所述非语音数 据的起始点和终止点， 确定所述非语音数据在所述第一多媒体资源中的第二播放位置； 所述生成模块， 具体用于： 基于所述第一播放位置和所述第二播放位置， 对所述第一多 媒体资源进行裁剪， 得到所述第二多媒体资源， 其中， 所述第二多媒体资源不包含所述 非语音数据。 根据本 公开的一个或多个实施例， 语音识别模块在对所述第一多媒体资源的音频数 据进行语音识别， 确定所述第一多媒体资源对应的初始文本内容时， 具体用于： 根据自 动语音识别技术， 对所述第一多媒体资源的音频数据进行语音识别， 获得多个语音字， 以及各所述语音字对应 的时间戳， 所述时间戳表征所述语音字对应的音频数据在所述第 一多媒体资源中的播放位置 ； 根据所述多个语音字， 生成所述初始文本内容； 所述第二 确认模块， 具体用于： 根据所述无效文本内容中各语音字对应的时间戳， 确定所述无效 文本内容的语音数据在所述第一多媒体资源中的第一播放位置 。 根据本 公开的一个或多个实施例， 所述第一确认模块， 具体用于： 根据所述语音字 对应的时间戳， 获取各所述语音字的播放时长； 根据预设的标准时长， 以及所述语音字 的播放时长， 将所述播放时长大于所述标准时长第一时长阈值的语音字， 或者， 所述播 放时长小于所述标准时长第二 时长阈值的语音字， 确定为所述初始文本内容中的无效文 本内容。 根据本 公开的一个或多个实施例， 所述第一多媒体资源还包括视频数据， 所述生成 模块， 具体用于： 基于所述第一播放位置， 对所述第一多媒体资源的音频数据和视频数 据进行裁剪， 得到所述第二多媒体资源。 第三 方面， 根据本公开的一个或多个实施例， 提供了一种电子设备， 包括： 至少一 个处理器和存储器； 所述存储器存储计算机执行指令； 所述至少一个处理器执行所述存 储器存储的所述计算机执行指令 ， 使得所述至少一个处理器执行如上第一方面以及第一 方面各种可能的设计所述的多媒体处理方法。 第 四方面， 根据本公开的一个或多个实施例， 提供了一种计算机可读存储介质， 所 述计算机可读存储介质中存储有计算机执行指令， 当处理器执行所述计算机执行指令时， 实现如上第一方面以及第一方面各种可能的设计所述的多媒体处理方法 。 第五 方面， 本公开实施例提供一种计算机程序产品， 包括计算机程序， 该计算机程 序被处理器执行时实现如上第 一方面以及第一方面各种可能的设计所述的多媒体处理方 法。 第六 方面， 本公开实施例提供一种计算机程序， 该计算机程序被处理器执行时实现 如上第一方面以及第一方面各种可能的设计所述的多媒体处理方法 。 以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。 本领域技术人员 应当理解， 本公开中所涉及的公开范围， 并不限于上述技术特征的特定组合而成的技术 方案， 同时也应涵盖在不脱离上述公开构思的情况下， 由上述技术特征或其等同特征进 行任意组合而形成的其它技术 方案。 例如上述特征与本公开中公开的 （但不限于） 具有 类似功能的技术特征进行互相替换而形成的技术方案 。 此外 ， 虽然采用特定次序描绘了各操作， 但是这不应当理解为要求这些操作以所示 出的特定次序或以顺序次序执 行来执行。 在一定环境下， 多任务和并行处理可能是有利 的。 同样地， 虽然在上面论述中包含了若干具体实现细节， 但是这些不应当被解释为对 本公开的范围的限制 。 在单独的实施例的上下文中描述的某些特征还可以组合地实现在 单个实施例中。 相反地， 在单个实施例的上下文中描述的各种特征也可以单独地或以任 何合适的子组合的方式实现在多个实施例中。 尽管 已经采用特定于结构特征和 /或方法逻辑动作的语言描述了本主题， 但是应当理 解所附权利要求书中所限定 的主题未必局限于上面描述的特定特征或动作。 相反， 上面 所描述的特定特征和动作仅仅是实现权利要求书的示例形式 。

Claims

权 利 要 求 书
1、 一种多媒体处理方法， 其特征在于， 包括： 获取第一 多媒体资源； 对所述 第一多媒体资源的音频数据进行语音识别， 确定所述第一多媒体资源对应的 初始文本内容， 其中， 所述第一多媒体资源的音频数据包含所述初始文本内容的语音数 据； 确定所述 初始文本内容中的无效文本内容， 其中， 所述无效文本内容为语义上无信 息表达作用的文本内容； 确定所述无效文本 内容的语音数据在所述第一多媒体资源中的第一播放位置； 基于所 述第一播放位置， 对所述第一多媒体资源进行裁剪， 得到第二多媒体资源， 其中， 所述第二多媒体资源的音频数据中包含目标文本内容的语音数据且不包含所述无 效文本内容的语音数据 ， 所述目标文本内容为所述初始文本内容中除所述无效文本内容 外的其他文本内容。
2、 根据权利要求 1所述的方法， 其特征在于， 确定所述初始文本内容中的无效文本 内容， 包括： 对所述初始文本 内容进行语义分析， 获得所述初始文本内容对应的语义信息； 根据所述语义信 息， 确定所述初始文本内容中的无效文本内容。
3、根据权利要求 2所述的方法， 其特征在于， 所述初始文本内容包括多个片段内容， 根据所述语义信息， 确定所述初始文本内容中的无效文本内容， 包括： 根据所 述初始文本内容对应的语义信息， 确定所述初始文本内容中至少一个片段内 容的可信度系数， 所述可信度系数用于表征所述片段内容为所述无效文本内容的可信度； 根据所 述片段内容的可信度系数以及预设的可信度阈值， 从所述至少一个片段内容 中确定至少一个无效片段内容； 根据所述至少 一个无效片段内容， 确定所述初始文本内容中的无效文本内容。
4、 根据权利要求 3所述的方法， 其特征在于， 确定所述无效文本内容的语音数据在 所述第一多媒体资源中的第一播放位置， 包括： 确定各所 述无效片段内容的语音数据在所述第一多媒体资源的音频数据 中的起始点 和终止点； 根据 各所述无效片段内容对应的所述起始点和所述终止点， 确定所述无效文本内容 的语音数据在所述第一多媒体资源中的第一播放位置 。
5、 根据权利要求 3或 4所述的方法， 其特征在于， 基于所述第一播放位置， 对所述 第一多媒体资源进行裁剪， 得到第二多媒体资源， 包括： 基于所 述第一播放位置， 获取所述初始文本内容中除所述无效片段内容外的其他文 本内容， 其中， 所述其他文本内容包括至少一个目标片段内容； 在至少 一个所述目标片段内容对应的语音数据的起始点添加淡入效果， 和 /或， 在至 少一个所述 目标片段内容对应的语音数据的结束点添加淡出效果， 生成与所述目标片段 内容对应的过渡语音数据； 按照所述第一播放 位置拼接所述过渡语音数据， 生成所述第二多媒体资源。
6、 根据权利要求 2-5任一项所述的方法， 其特征在于， 在对所述初始文本内容进行 语义分析， 获得所述初始文本内容对应的语义信息之前， 所述方法还包括： 基于预设 的无效文本内容库， 确定所述初始文本内容中的无效文本内容； 对所述初始文本 内容进行语义分析， 获得所述初始文本内容对应的语义信息， 包括: 若所述 无效文本内容库中不存在所述无效文本内容， 则对所述初始文本内容进行语 义分析， 获得所述初始文本内容对应的语义信息； 在根据 所述语义信息， 确定所述初始文本内容中的无效文本内容之后， 所述方法还 包括： 将基于所述语义信 息确定的所述无效文本内容， 添加至所述无效文本内容库。
7、 根据权利要求 1-6任一项所述的方法， 其特征在于， 在基于所述第一播放位置， 对所述第一多媒体资源进行裁剪， 得到第二多媒体资源之前， 还包括： 显示所述初始文本 内容中的无效文本内容； 响应于针对所述无 效文本内容的操作指令， 播放所述无效文本内容对应的音频片段。
8、 根据权利要求 1-7任一项所述的方法， 其特征在于， 对所述第一多媒体资源的音 频数据进行语音识别， 确定所述第一多媒体资源对应的初始文本内容， 包括： 通过语音端 点检测 VAD算法， 识别所述第一多媒体资源的音频数据中的语音数据和 非语音数据； 对所述 第一多媒体资源的音频数据中的语音数据进行语音识别， 确定所述第一多媒 体资源对应的初始文本内容。
9、 根据权利要求 8所述的方法， 其特征在于， 所述方法还包括： 根据所 述非语音数据的起始点和终止点， 确定所述非语音数据在所述第一多媒体资 源中的第二播放位置； 基于所 述第一播放位置， 对所述第一多媒体资源进行裁剪， 得到第二多媒体资源， 包括： 基于所 述第一播放位置和所述第二播放位置， 对所述第一多媒体资源进行裁剪， 得 到所述第二多媒体资源， 其中， 所述第二多媒体资源不包含所述非语音数据。
10、 根据权利要求 1-7任一项所述的方法， 其特征在于， 对所述第一多媒体资源的音 频数据进行语音识别， 确定所述第一多媒体资源对应的初始文本内容， 包括： 根据 自动语音识别 ASR技术， 对所述第一多媒体资源的音频数据进行语音识别， 获 得多个语音字， 以及各所述语音字对应的时间戳， 所述时间戳表征所述语音字对应的音 频数据在所述第一多媒体资源中的播放位置； 根据所述 多个语音字， 生成所述初始文本内容； 确定所述无效文本 内容的语音数据在所述第一多媒体资源中的第一播放位置， 包括: 根据所 述无效文本内容中各语音字对应的时间戳， 确定所述无效文本内容的语音数 据在所述第一多媒体资源中的第一播放位置。
11、 根据权利要求 10所述的方法， 其特征在于， 确定所述初始文本内容中的无效文 本内容， 包括： 根据所述语音 字对应的时间戳， 获取各所述语音字的播放时长； 根据 预设的标准时长， 以及所述语音字的播放时长， 将所述播放时长大于所述标准 时长第一时长阈值的语音字 ， 或者， 所述播放时长小于所述标准时长第二时长阈值的语 音字， 确定为所述初始文本内容中的无效文本内容。
12、 根据权利要求 1-11任一项所述的方法， 其特征在于， 所述第一多媒体资源还包 括视频数据， 基于所述第一播放位置， 对所述第一多媒体资源进行裁剪， 得到第二多媒 体资源， 包括： 基于所 述第一播放位置， 对所述第一多媒体资源的音频数据和视频数据进行裁剪， 得到所述第二多媒体资源。
13、 一种多媒体处理装置， 其特征在于， 包括： 语音 识别模块， 用于获取第一多媒体资源， 并对所述第一多媒体资源的音频数据进 行语音识别， 确定所述第一多媒体资源对应的初始文本内容， 其中， 所述第一多媒体资 源的音频数据包含所述初始文本内容的语音数据； 第一确认 模块， 用于确定所述初始文本内容中的无效文本内容， 其中， 所述无效文 本内容为语义上无信息表达作用的文本内容； 第二确认 模块， 确定所述无效文本内容的语音数据在所述第一多媒体资源中的第一 播放位置； 生成模 块， 用于基于所述第一播放位置， 对所述第一多媒体资源进行裁剪， 得到第 二多媒体资源， 其中， 所述第二多媒体资源的音频数据中包含目标文本内容的语音数据 且不包含所述无效文本 内容的语音数据， 所述目标文本内容为所述初始文本内容中除所 述无效文本内容外的其他文本内容。
14、 一种电子设备， 其特征在于， 包括： 至少一个处理器和存储器； 所述存储器存储计 算机执行指令； 所述 至少一个处理器执行所述存储器存储的所述计算机执行指令 ， 使得所述至少一 个处理器执行如权利要求 1-12任一项所述的多媒体处理方法。
15、 一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计 算机执行指令， 当处理器执行所述计算机执行指令时， 实现如权利要求 1-12任一项所述 的多媒体处理方法。
16、 一种计算机程序产品， 包括计算机程序， 该计算机程序被处理器执行时实现权 利要求 1-12中任一项所述的方法。
17、 一种计算机程序， 所述计算机程序被处理器执行时实现权利要求 1-12任一项所 述的方法。
PCT/SG2022/050494 2021-07-15 2022-07-14 多媒体处理方法、装置、电子设备及存储介质 WO2023287360A2 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
BR112023026041A BR112023026041A2 (pt) 2021-07-15 2022-07-14 Método de processamento de multimídia, dispositivos, equipamentos eletrônicos e mídias de armazenamento
JP2023576228A JP2024527483A (ja) 2021-07-15 2022-07-14 マルチメディア処理方法、装置、電子機器および記憶媒体
EP22842574.0A EP4336854A4 (en) 2021-07-15 2022-07-14 MULTIMEDIA PROCESSING METHOD AND APPARATUS, ELECTRONIC DEVICE AND STORAGE MEDIUM
US18/535,891 US20240105234A1 (en) 2021-07-15 2023-12-11 Multimedia processing method and apparatus, electronic device, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110802038.0 2021-07-15
CN202110802038.0A CN115623279A (zh) 2021-07-15 2021-07-15 多媒体处理方法、装置、电子设备及存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/535,891 Continuation US20240105234A1 (en) 2021-07-15 2023-12-11 Multimedia processing method and apparatus, electronic device, and storage medium

Publications (2)

Publication Number Publication Date
WO2023287360A2 true WO2023287360A2 (zh) 2023-01-19
WO2023287360A3 WO2023287360A3 (zh) 2023-04-13

Family

ID=84855225

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/SG2022/050494 WO2023287360A2 (zh) 2021-07-15 2022-07-14 多媒体处理方法、装置、电子设备及存储介质

Country Status (6)

Country Link
US (1) US20240105234A1 (zh)
EP (1) EP4336854A4 (zh)
JP (1) JP2024527483A (zh)
CN (1) CN115623279A (zh)
BR (1) BR112023026041A2 (zh)
WO (1) WO2023287360A2 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4429256A1 (en) 2023-01-19 2024-09-11 Beijing Zitiao Network Technology Co., Ltd. Video editing method and apparatus, electronic device, and storage medium
CN118368478A (zh) * 2023-01-19 2024-07-19 北京字跳网络技术有限公司 视频的编辑方法、装置、电子设备和存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070219778A1 (en) * 2006-03-17 2007-09-20 University Of Sheffield Speech processing system
CN202502737U (zh) * 2012-03-12 2012-10-24 中国人民解放军济南军区司令部第二部 一种视音频信息的智能编辑系统
US9020817B2 (en) * 2013-01-18 2015-04-28 Ramp Holdings, Inc. Using speech to text for detecting commercials and aligning edited episodes with transcripts
US11861906B2 (en) * 2014-02-28 2024-01-02 Genius Sports Ss, Llc Data processing systems and methods for enhanced augmentation of interactive video content
US20190215464A1 (en) * 2018-01-11 2019-07-11 Blue Jeans Network, Inc. Systems and methods for decomposing a video stream into face streams
CN108259965B (zh) * 2018-03-31 2020-05-12 湖南广播电视台广播传媒中心 一种视频剪辑方法和剪辑系统
CN109241332B (zh) * 2018-10-19 2021-09-24 广东小天才科技有限公司 一种通过语音确定语义的方法及系统
CN110297907B (zh) * 2019-06-28 2022-03-08 谭浩 生成访谈报告的方法、计算机可读存储介质和终端设备
CN110853621B (zh) * 2019-10-09 2024-02-13 科大讯飞股份有限公司 语音顺滑方法、装置、电子设备及计算机存储介质
US11875781B2 (en) * 2020-08-31 2024-01-16 Adobe Inc. Audio-based media edit point selection
CN112733654B (zh) * 2020-12-31 2022-05-24 蚂蚁胜信(上海)信息技术有限公司 一种视频拆条的方法和装置

Also Published As

Publication number Publication date
CN115623279A (zh) 2023-01-17
EP4336854A2 (en) 2024-03-13
EP4336854A4 (en) 2024-09-25
WO2023287360A3 (zh) 2023-04-13
BR112023026041A2 (pt) 2024-03-05
US20240105234A1 (en) 2024-03-28
JP2024527483A (ja) 2024-07-25

Similar Documents

Publication Publication Date Title
US10614803B2 (en) Wake-on-voice method, terminal and storage medium
WO2020098115A1 (zh) 字幕添加方法、装置、电子设备及计算机可读存储介质
CN108831437B (zh) 一种歌声生成方法、装置、终端和存储介质
CN112786006B (zh) 语音合成方法、合成模型训练方法、装置、介质及设备
US20240021202A1 (en) Method and apparatus for recognizing voice, electronic device and medium
WO2023287360A2 (zh) 多媒体处理方法、装置、电子设备及存储介质
CN112927674B (zh) 语音风格的迁移方法、装置、可读介质和电子设备
CN112908292B (zh) 文本的语音合成方法、装置、电子设备及存储介质
CN111369971A (zh) 语音合成方法、装置、存储介质和电子设备
WO2019007308A1 (zh) 语音播报方法及装置
CN111489735B (zh) 语音识别模型训练方法及装置
CN111782576B (zh) 背景音乐的生成方法、装置、可读介质、电子设备
CN113257218B (zh) 语音合成方法、装置、电子设备和存储介质
JP6974421B2 (ja) 音声認識方法及び装置
CN111986655B (zh) 音频内容识别方法、装置、设备和计算机可读介质
WO2022037388A1 (zh) 语音生成方法、装置、设备和计算机可读介质
WO2023051246A1 (zh) 视频录制方法、装置、设备及存储介质
CN111477210A (zh) 语音合成方法和装置
CN112071287A (zh) 用于生成歌谱的方法、装置、电子设备和计算机可读介质
WO2022169417A1 (zh) 语音相似度确定方法及设备、程序产品
CN116189652A (zh) 语音合成方法、装置、可读介质及电子设备
CN113761865A (zh) 声文重对齐及信息呈现方法、装置、电子设备和存储介质
WO2021170094A1 (zh) 用于信息交互的方法和装置
CN111259181B (zh) 用于展示信息、提供信息的方法和设备
CN111445925A (zh) 用于生成差异信息的方法和装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2022842574

Country of ref document: EP

Ref document number: 22842574.0

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11202309454P

Country of ref document: SG

ENP Entry into the national phase

Ref document number: 2023576228

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2022842574

Country of ref document: EP

Effective date: 20231207

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112023026041

Country of ref document: BR

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22842574

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 112023026041

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20231211