WO2021031942A1 - 一种针对目标频谱矩阵的处理方法及装置 - Google Patents

一种针对目标频谱矩阵的处理方法及装置 Download PDF

Info

Publication number
WO2021031942A1
WO2021031942A1 PCT/CN2020/108599 CN2020108599W WO2021031942A1 WO 2021031942 A1 WO2021031942 A1 WO 2021031942A1 CN 2020108599 W CN2020108599 W CN 2020108599W WO 2021031942 A1 WO2021031942 A1 WO 2021031942A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
data frame
target
information
sub
Prior art date
Application number
PCT/CN2020/108599
Other languages
English (en)
French (fr)
Inventor
文敢
刘守达
孙孟军
顾震宇
王文特
Original Assignee
阿里巴巴集团控股有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 阿里巴巴集团控股有限公司 filed Critical 阿里巴巴集团控股有限公司
Publication of WO2021031942A1 publication Critical patent/WO2021031942A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band

Definitions

  • This application relates to the field of spectrum processing, and specifically to a processing method for a target spectrum matrix.
  • This application also relates to a processing device for a target spectrum matrix, a processing method and device for a target data frame, electronic equipment, a storage medium and a field programmable gate array.
  • the processing method of signal recovery for the speech spectrum matrix of a given target is mainly that users use terminal computing equipment, such as server computing equipment or client computing equipment, using inverse Short Fourier transform (Inverse Short The Time Fourier Transform (iSTFT) operation method performs repeated STFT/iSTFT transformations for a given target spectrum matrix with Short Time Fourier Transform (STFT) characteristics, so as to perform signal recovery and reconstruction.
  • iSTFT inverse Short Fourier transform
  • STFT operation and iSTFT operation are symmetrical to each other.
  • the symmetry between the two is often destroyed; at the same time, frequent normalization operations will also It greatly increases the amount of calculation of the terminal equipment used for speech recovery and synthesis, and takes up a large amount of storage space of the terminal equipment, which in turn brings about the problems of slow result output, low efficiency and poor user experience.
  • This application provides a processing method for a target spectrum matrix, so as to solve the problems of large calculation volume, large storage space occupation, slow speed and low efficiency faced by terminal devices in the prior art when performing short-time inverse Fourier transform operations. problem.
  • This application provides a processing method for a target spectrum matrix, including:
  • target data frame information includes information of multiple data frames corresponding to the target frequency spectrum matrix
  • the first normalized window function sub-sequence corresponding to the first data frame information from the correspondence between the data frame information and the normalized window function sub-sequence;
  • a target signal sequence corresponding to the target spectrum matrix is obtained.
  • the corresponding relationship between the data frame information and the normalized window function sub-sequence is obtained through the following steps:
  • first data frame information Acquiring first data frame information from the data frame information, where the first data frame information includes a first data frame identifier and data subframe information of the first data frame;
  • the first data frame identifier According to the first data frame identifier, the first data subframe information, and the first normalized window function subsequence, a correspondence relationship between the data frame information and the normalized window function subsequence is established.
  • the sub-sequence of windowing functions includes:
  • the correspondence between the data frame information and the normalized window function subsequence is established according to the first data frame identifier, the first data subframe information and the first normalized window function subsequence
  • the relationship also includes:
  • the established correspondence between the data frame information and the normalized window function sub-sequence is compressed, and the correspondence between the compressed data frame information and the normalized window function sub-sequence is obtained.
  • the first normalized window function corresponding to the first data frame information is obtained from the corresponding relationship between the data frame information and the normalized window function subsequence Subsequences, including:
  • the first data frame identifier and the data subframe information of the first data frame from the corresponding relationship between the data frame information and the normalized window function subsequence, obtain at least one piece of data related to the first data frame The normalized window function subsequence corresponding to the subframe.
  • the acquiring data subframe information of the first data frame according to the first data frame information includes:
  • the first data frame is divided into a plurality of data subframes of equal length according to a preset frame length value of the data subframe, and information of the plurality of data subframes is obtained .
  • the corresponding relationship between the data frame information and the normalized window function subsequence is obtained from the corresponding relationship with the first
  • the normalized window function sub-sequence corresponding to at least one data sub-frame of the data frame includes:
  • first data subframe information Acquiring first data subframe information according to the data subframe information of the first data frame, where the first data subframe information includes a first data subframe identifier of the first data subframe;
  • the first data corresponding to the first data subframe information is obtained.
  • a subsequence of window functions is obtained.
  • the corresponding relationship between the data frame information and the normalized window function subsequence is obtained from the first data subframe
  • the first normalized window function subsequence corresponding to the information includes:
  • index information in the corresponding relationship between the data frame information and the normalized window function subsequence, search for the first normalized window function subsequence corresponding to the first data subframe information.
  • the acquiring the first signal sequence corresponding to the first data frame according to the first data frame information and the first normalized window function sub-sequence includes:
  • the obtaining the data of the first data frame according to the data subframe information of the first data frame and the normalized window function subsequence corresponding to at least one data subframe of the first data frame includes:
  • the first data subframe is multiplied by the first normalized window function subsequence to obtain the first normalized signal subsequence corresponding to the first data subframe.
  • the acquiring the first signal sequence corresponding to the first data frame according to the data subframe information of the first data frame and the normalized signal subsequence corresponding to the at least one data subframe includes :
  • the acquiring a target signal sequence corresponding to the target spectrum matrix according to the first signal sequence includes:
  • the overlapped and arranged first signal sequences are added to obtain a target signal sequence corresponding to the target spectrum matrix.
  • the obtaining the data of the first data frame according to the data subframe information of the first data frame and the normalized window function subsequence corresponding to at least one data subframe of the first data frame further includes:
  • first data subframe information Acquiring first data subframe information according to the data subframe information of the first data frame, where the first data subframe information includes a first data subframe identifier;
  • the corresponding data subframe is directly output Frame, otherwise, obtain the first normalized window function sub-sequence corresponding to the first data sub-frame.
  • the acquiring the first signal sequence corresponding to the first data frame according to the data subframe information of the first data frame and the normalized signal subsequence corresponding to the at least one data subframe includes :
  • the acquiring a target signal sequence corresponding to the target spectrum matrix according to the first signal sequence includes:
  • the performing local normalization processing for the directly output data subframes in the incompletely normalized signal sequence includes:
  • normalization processing is performed on the directly output data subframes.
  • the target frequency spectrum matrix is a frequency spectrum matrix corresponding to original voice data
  • the target data frame information is target data frame information corresponding to the original voice data
  • the target signal sequence is corresponding to the original voice data.
  • the method further includes:
  • This application also provides a processing method for target data frames, including:
  • target data frame information includes a target data frame identifier and data subframe information of the target data frame
  • the normalized window function sub-sequence corresponding to at least one data sub-frame of the target data frame obtain the normalized unit corresponding to at least one data sub-frame of the target data frame Signal sequence;
  • This application also provides a processing device for the target spectrum matrix, including:
  • An information acquiring unit configured to acquire target data frame information according to a target spectrum matrix, wherein the target data frame information includes information of multiple data frames corresponding to the target spectrum matrix;
  • a data frame information obtaining unit configured to obtain first data frame information according to the target data frame information
  • the normalized window function sub-sequence obtaining unit is configured to obtain the first data frame information corresponding to the first data frame information from the corresponding relationship between the data frame information and the normalized window function sub-sequence according to the first data frame information A normalized window function subsequence;
  • a signal sequence acquiring unit configured to acquire a first signal sequence corresponding to the first data frame according to the first data frame information and the first normalized window function sub-sequence;
  • the target signal sequence obtaining unit is configured to obtain a target signal sequence corresponding to the target spectrum matrix according to the first signal sequence.
  • the present application also provides a processing device for target data frames, including:
  • An information acquisition unit configured to acquire target data frame information, where the target data frame information includes a target data frame identifier and data subframe information of the target data frame;
  • the normalized window function subsequence obtaining unit is configured to obtain a normalized window corresponding to at least one data subframe of the target data frame according to the target data frame identifier and the data subframe information of the target data frame Function subsequence;
  • the signal sub-sequence obtaining unit is configured to obtain at least the data sub-frame information of the target data frame and the normalized window function sub-sequence corresponding to at least one data sub-frame of the target data frame A normalized signal sub-sequence corresponding to one data sub-frame;
  • the signal sequence acquiring unit is configured to acquire the signal sequence corresponding to the target data frame according to the normalized signal subsequence corresponding to the at least one data subframe.
  • This application also provides an electronic device used for target spectrum matrix processing, including:
  • Memory Memory, and processor
  • the memory is used to store computer executable instructions
  • the processor is used to execute the computer executable instructions:
  • target data frame information includes information of multiple data frames corresponding to the target frequency spectrum matrix
  • the first normalized window function sub-sequence corresponding to the first data frame information from the correspondence between the data frame information and the normalized window function sub-sequence;
  • a target signal sequence corresponding to the target spectrum matrix is obtained.
  • This application also provides an electronic device for processing target data frames, including:
  • Memory Memory, and processor
  • the memory is used to store computer executable instructions
  • the processor is used to execute the computer executable instructions:
  • target data frame information includes a target data frame identifier and data subframe information of the target data frame
  • the normalized window function sub-sequence corresponding to at least one data sub-frame of the target data frame obtain the normalized unit corresponding to at least one data sub-frame of the target data frame Signal sequence;
  • This application also provides a storage device for processing the target spectrum matrix, storing a program for the processing method of the target spectrum matrix, and the program is run by the processor to perform the following steps:
  • target data frame information includes information of multiple data frames corresponding to the target frequency spectrum matrix
  • the first normalized window function sub-sequence corresponding to the first data frame information from the correspondence between the data frame information and the normalized window function sub-sequence;
  • a target signal sequence corresponding to the target spectrum matrix is obtained.
  • the present application also provides a storage device for processing a target data frame, storing a program for a processing method of the target spectrum matrix, and the program is run by a processor to perform the following steps:
  • target data frame information includes a target data frame identifier and data subframe information of the target data frame
  • the normalized window function sub-sequence corresponding to at least one data sub-frame of the target data frame obtain the normalized unit corresponding to at least one data sub-frame of the target data frame Signal sequence;
  • the present application also provides a field programmable gate array for target spectrum matrix processing, including the aforementioned processing device for the target spectrum matrix.
  • the present application also provides a field programmable gate array for target data frame processing, including the above-mentioned processing device for the target spectrum matrix.
  • the present application provides a processing method for a target spectrum matrix, including: acquiring target data frame information according to the target spectrum matrix, wherein the target data frame information includes information of multiple data frames corresponding to the target spectrum matrix; According to the target data frame information, obtain the first data frame information; according to the first data frame information, obtain the first data frame information from the correspondence between the data frame information and the normalized window function subsequence A corresponding first normalized window function sub-sequence; according to the first data frame information and the first normalized window function sub-sequence, obtain the first signal sequence corresponding to the first data frame; according to the The first signal sequence is to obtain the target signal sequence corresponding to the target spectrum matrix.
  • the method obtains the target data frame information corresponding to the target spectrum matrix, for each data frame, obtains the normalized window function subsequence corresponding to the data frame through the corresponding data frame information, and passes all the data frames.
  • the normalized window function sub-sequence can directly obtain the normalized signal sequence corresponding to the data frame without additional normalization operations, which greatly reduces the processing time for the target spectrum matrix.
  • the amount of calculation improves the calculation speed and efficiency of the terminal equipment when performing short-time inverse Fourier transform calculations.
  • the present application provides a processing method for a target data frame, including: acquiring target data frame information, where the target data frame information includes a target data frame identifier and data subframe information of the target data frame; according to the target data frame Identify and the data subframe information of the target data frame, obtain the normalized window function subsequence corresponding to at least one data subframe of the target data frame; according to the data subframe information of the target data frame and the data The normalized window function sub-sequence corresponding to at least one data sub-frame of the target data frame is acquired, and the normalized signal sub-sequence corresponding to at least one data sub-frame of the target data frame is acquired; according to the at least one data sub-frame corresponding To obtain the signal sequence corresponding to the target data frame.
  • the correspondence relationship between the data frame information and the normalized window function sub-sequence is pre-calculated and stored, and the signal of the target data frame is obtained During the sequence, the corresponding normalization processing can be completely or partially omitted, which greatly reduces the amount of calculation when processing the target data frame.
  • it also saves storage space and further improves the terminal The operation speed and efficiency of the device when performing short-time inverse Fourier transform operations.
  • FIG. 1 is a schematic diagram of the short-time Fourier transform operation process provided by the first embodiment of the present application
  • FIG. 2 is a schematic diagram of a conventional short-time inverse Fourier transform operation process provided by the first embodiment of the present application;
  • FIG. 3 is a schematic diagram of an application scenario of a method for processing a target spectrum matrix provided by the first embodiment of the present application
  • FIG. 4 is a flowchart of a method for processing a target spectrum matrix provided by the first embodiment of the present application
  • FIG. 5 is a flowchart of a method for processing a target data frame provided by a second embodiment of the present application
  • FIG. 6 is a schematic diagram of a processing device for a target spectrum matrix provided by a third embodiment of the present application.
  • FIG. 7 is a schematic diagram of a processing device for a target data frame provided by a fourth embodiment of the present application.
  • FIG. 8 is a schematic diagram of an electronic device for processing a target spectrum matrix provided by a fifth embodiment of the present application.
  • Fig. 9 is a schematic diagram of an electronic device for processing target data frames provided by a sixth embodiment of the present application.
  • the short-time Fourier transform method and the short-time inverse Fourier transform method are briefly introduced to facilitate the introduction of the processing method for the target spectrum matrix described in this application.
  • FIG. 1 is a schematic diagram of the short-time Fourier transform operation process provided by the first embodiment of the application.
  • STFT operation is mainly to perform arithmetic processing for the signal sequence to be processed and convert it into the corresponding spectrum matrix.
  • the signal is mainly expressed as a function of transmitting information, and the signal defined in the continuous time range is called continuous Time signal, when the time variable is discrete time, the corresponding signal is called discrete time signal, also called sequence, that is, signal sequence; frequency spectrum is also called vibration spectrum, usually used to describe a complex vibration situation, any complex Vibration can be decomposed into the sum of many simple harmonic vibrations with different amplitudes and different frequencies.
  • step S103 is performed to perform N-point Fast Fourier Transform (FFT) transform on the windowed data frame, and finally obtain N-point Discrete Fourier Transform (DFT) spectrum.
  • FFT Fast Fourier Transform
  • the spectra corresponding to all data frames are grouped together to form an N*M two-dimensional spectrum matrix, where the i-th (i is a positive integer, and i>0) data frame transforms the frequency spectrum corresponding to the i-th column of the matrix.
  • step S201 for each column of the STFT spectrum matrix to be processed Perform inverse Fourier transform (inverse FFT, iFFT) to obtain a series of data frames.
  • step S202 is executed to perform windowing processing for each data frame.
  • step S203 is then executed to align the windowed data frames according to a step S, where each signal of two adjacent data frames is separated by S.
  • the optimization schemes for the iSTFT operation mainly include: 1.
  • the window function w(n) is used to directly calculate the normalization sequence. The advantage of this scheme is that the window function is shared between the calculation input and the windowing process. Therefore, there is no need for additional storage of the normalization sequence.
  • the calculation amount of the normalization sequence is usually large, and the window function length N and the step After the value of S, N square operations are required, that is, its computational complexity is o(NL/S), and at the same time, L division operations are also required.
  • N square operations are required, that is, its computational complexity is o(NL/S)
  • L division operations are also required.
  • a processing method for a target spectrum matrix includes: obtaining target data frame information according to the target spectrum matrix, wherein the target data frame information includes information of multiple data frames corresponding to the target spectrum matrix; Data frame information, obtain first data frame information; according to the first data frame information, obtain the first data frame information corresponding to the first data frame information from the corresponding relationship between the data frame information and the normalized window function subsequence Normalized window function sub-sequence; according to the first data frame information and the first normalized window function sub-sequence, obtain the first signal sequence corresponding to the first data frame; according to the first signal sequence To obtain a target signal sequence corresponding to the target spectrum matrix.
  • FIG. 3 it is a schematic diagram of an application scenario of a method for processing a target spectrum matrix provided by the first embodiment of this application.
  • the processing method for the target spectrum matrix implemented in this application is generally implemented based on traditional computing equipment. For example: based on the user 301's need to use the target voice to play the text to be played, the user 301 issues an instruction to the computing device 302 he uses to play the text to be played using the target voice. After that, the computing device 302 obtains the instruction and then according to the instruction, Query and obtain the target frequency spectrum matrix corresponding to the target voice, and then, the computing device 302 obtains target data frame information for the target frequency spectrum matrix, where the target data frame information includes information about multiple data frames corresponding to the target frequency spectrum matrix.
  • the computing device 302 obtains the first data frame information according to the target data frame information; afterwards, according to the first data frame information, from the correspondence between the data frame information and the normalized window function subsequence, Acquire a first normalized window function subsequence corresponding to the first data frame information; then, obtain the first data according to the first data frame information and the first normalized window function subsequence A first signal sequence corresponding to the frame; afterwards, according to the first signal sequence, a target signal sequence corresponding to the target spectrum matrix is obtained. After acquiring the target signal sequence corresponding to the target voice, the computing device 302 uses the target signal sequence to perform speech synthesis for the text to be played, and then outputs the voice information of the text to be played using the target voice to the user 301 .
  • the computing device 302 may be a mobile terminal device used by the user 301, such as a mobile phone, a tablet computer, etc., or a computer device commonly used by the user.
  • the foregoing processing can be directly performed by the computing device 302 after obtaining the user 301 instruction, and then performing corresponding speech synthesis processing and outputting, or the computing device 302 can obtain the user 301 instruction Then, the instruction is forwarded to a cloud computing device, such as a cloud server, and the cloud computing device performs corresponding speech synthesis, and then outputs the corresponding voice information to the computing device 302, and then the computing device 302 outputs the corresponding voice information to the user 301.
  • a cloud computing device such as a cloud server
  • FIG. 4 it is a flowchart of the processing method for the target spectrum matrix provided by the first embodiment of the application, and this embodiment will be described in detail below with reference to FIG. 4.
  • Step S401 Obtain target data frame information according to the target frequency spectrum matrix, where the target data frame information includes information of multiple data frames corresponding to the target frequency spectrum matrix.
  • the target spectrum matrix is a spectrum matrix corresponding to the target voice designated by the user 301 to be processed.
  • obtaining the target data frame information specifically refers to performing inverse Fourier transform on each column of the target matrix on the target spectrum matrix to obtain multiple corresponding data frames, and obtaining data of the multiple data frames Frame information
  • the data frame information specifically includes a data frame identifier corresponding to each data frame, and the data frame identifier is used to identify its corresponding data frame.
  • the data frame information also includes its corresponding data frame
  • the information of the data subframes will be introduced in detail in the following steps.
  • step S402 is executed to obtain the first data frame information according to the target data frame information.
  • each data frame is processed separately, and then the processed data frame is superimposed.
  • the corresponding data frame can be processed based on only one data frame information at the same time serially, or the corresponding data frame can be processed simultaneously based on multiple data frame information in parallel to improve the calculation result The output speed.
  • step S403 is executed to obtain the first normalized data corresponding to the first data frame information from the corresponding relationship between the data frame information and the normalized window function subsequence according to the first data frame information. Window function subsequence.
  • the corresponding relationship is mainly based on the fusion of the entire data frame and the corresponding normalized sequence.
  • Data subframe 1 X i-1,1 (n) of data frame (i-1) and window function subsequence 1: w 1 (n) are multiplied by element;
  • Data subframe 0 of data frame i: X i, 0 (n) and window function subsequence 0: w 0 (n) are multiplied by elements;
  • Window function subsequence 1 w 1 (n) and the normalized subsequence a i (n) of the i-th segment are divided by elements to obtain the normalized window function subsequence: w 1,i (n);
  • Window function subsequence 0: w 0 (n) and the normalized subsequence a i (n) of the i-th segment are divided by elements to obtain the normalized window function subsequence: w 0,i (n);
  • the corresponding relationship between the data frame information and the normalized window function sub-sequence is essentially to fuse the normalized sub-sequence in the normalized sequence with the windowing process to form a normalized window function sub-sequence . That is, the results w 1,i (n), w 0,i (n) in the above 1 and 3 are calculated and stored in advance. In the specific calculation, the corresponding relationship between the data frame information and the normalized window function sub-sequence In the query, it can eliminate the normalization operation in the iSTFT operation.
  • the corresponding relationship between the data frame information and the normalized window function subsequence when the corresponding relationship between the data frame information and the normalized window function subsequence is specifically obtained, it can be obtained through the following steps: First, obtain the first data frame information from the data frame information, and the first data frame The information includes a first data frame identifier and data subframe information of the first data frame; secondly, the first data subframe information is obtained according to the data subframe information of the first data frame; and secondly, according to the first data frame A data frame identifier and the first data subframe information, obtain the first window function subsequence and the first normalization subsequence corresponding to the first data subframe information; and secondly, according to the first window Function sub-sequence and the first normalized sub-sequence, obtain the first normalized window function sub-sequence corresponding to the first data frame identifier and the first data sub-frame information; finally, according to the first A data frame identifier, the first data subframe information, and
  • the first normalization window corresponding to the first data frame identifier and the first data subframe information is obtained according to the first window function subsequence and the first normalization subsequence
  • the function sub-sequence includes: performing a division operation on the first window function sub-sequence and the first normalization sub-sequence to obtain the first data frame identifier corresponding to the first data sub-frame information A normalized window function subsequence.
  • the above processing can be compressed, that is, according to the periodic characteristics of the normalized sequence, the correspondence between the established data frame information and the normalized window function sub-sequence is compressed , Obtain the correspondence between the compressed data frame information and the normalized window function sub-sequence.
  • the window function sequence ⁇ w 0 (n), w 1 (n) ... w k-1 (n) ⁇ may correspond to the normalized facilitator sequences ⁇ a '0 (n), a' 1 (n )...a' 2k-2 (n) ⁇ for normalized fusion, that is, a compressed normalized window function subsequence with a number of k 2 and a length of S is obtained:
  • i is the data frame identifier of the specific data frame
  • j is the data subframe identifier of the data subframe in the corresponding data frame.
  • K the storage space occupied by the correspondence between the data frame information and the normalized window function sub-sequence
  • K value is small (for example, usually when the iSTFT operation is performed, K is 4 Or 8)
  • a smaller storage cost can be exchanged for saving a larger amount of calculation, so as to increase the result output speed of the computing device 302 and increase the calculation efficiency.
  • step S403 according to the first data frame information, from the corresponding relationship between the data frame information and the normalized window function sub-sequence, obtaining information corresponding to the first data frame
  • the first normalized window function subsequence specifically includes: obtaining a first data frame identifier and data subframe information of the first data frame according to the first data frame information; and according to the first data frame identifier
  • the data subframe information of the first data frame from the correspondence between the data frame information and the normalized window function subsequence, obtain the normalized window corresponding to at least one data subframe of the first data frame Function subsequence.
  • the data frame identifier of the data frame to be processed and the data subframe information of the data frame to be processed are obtained, for example,
  • the data frame to be processed includes several data subframes, and information such as the data subframe identification corresponding to each data subframe.
  • each data frame is obtained from the corresponding relationship between the data frame information and the normalized window function subsequence.
  • the normalized window function sub-sequence corresponding to each data sub-frame.
  • the obtaining the data subframe information of the first data frame according to the first data frame information includes: according to the first data frame information, according to the preset frame length value of the data subframe, The first data frame is divided into multiple data subframes of equal length, and information of the multiple data subframes is acquired. That is, in the corresponding relationship between the data frame information and the normalized window function subsequence, the data frame to be processed is divided into a plurality of data frames corresponding to the frame length value and the number of data subframes of the data frame Long data subframes, and obtain information about each data subframe, such as the identification of the data subframe.
  • the first normalized window function sub-sequence includes: generating index information according to the first data frame identifier and the first data sub-frame identifier; according to the index information, the data frame information and the normalized window In the corresponding relationship of the function subsequences, the first normalized window function subsequence corresponding to the first data subframe information is searched.
  • the generating index information according to the first data frame identifier and the first data subframe identifier is specifically: taking the frame identifier of the to-be-processed data frame as a high-order address index value and passing the following function
  • the low address index value where i is the data frame identifier of the data frame to be processed, j is the data subframe identifier of the data subframe in the data frame to be processed, and k is the data subframe in the data frame to be processed M is the number of data frames to be processed in the target data frame. That is, the final index information is (i, f(i, j)), and the corresponding relationship between the data frame information and the normalized window function sub-sequence can be obtained through the index information in the data frame i to be processed The normalized window function sub-sequence corresponding to the data sub-frame j to be processed.
  • k is small, only simple enumeration is needed to obtain the corresponding normalized window function subsequence.
  • step S404 is executed, according to the first data frame information and the first normalization A window function sub-sequence is converted to obtain the first signal sequence corresponding to the first data frame.
  • the obtaining the first signal sequence corresponding to the first data frame according to the first data frame information and the first normalized window function sub-sequence includes: according to the data of the first data frame Sub-frame information and a normalized window function sub-sequence corresponding to at least one data sub-frame of the first data frame, and obtaining a normalized signal sub-sequence corresponding to at least one data sub-frame of the first data frame;
  • the data subframe information of the first data frame and the normalized signal subsequence corresponding to the at least one data subframe are used to obtain the first signal sequence corresponding to the first data frame.
  • the normalized signal sub-sequence corresponding to the data sub-frame includes: obtaining a first data sub-frame according to the data sub-frame information of the first data frame; and obtaining data from at least one data sub-frame corresponding to the first data frame In the normalized window function subsequence, obtain a first normalized window function subsequence corresponding to the first data subframe; combine the first data subframe with the first normalized window function subsequence Multiply to obtain the first normalized signal sub-sequence corresponding to the first data sub-frame.
  • the acquiring the first signal sequence corresponding to the first data frame according to the data subframe information of the first data frame and the normalized signal subsequence corresponding to the at least one data subframe includes: Adding the first normalized signal sub-sequences to obtain the first signal sequence corresponding to the first data frame.
  • the to-be-processed data frame in the target data frame after obtaining its corresponding normalized window function sub-sequence according to the information of the to-be-processed data frame, obtain the data sub-frame in the to-be-processed data frame Information, and then obtain the data sub-frames with the corresponding normalized window function sub-sequences, and respectively compare the data sub-frames with the corresponding normalized window function sub-sequences with their corresponding normalized window function sub-sequences Multiply to obtain the signal sub-sequence corresponding to the data sub-frame, and after obtaining the signal sub-sequences corresponding to all the data sub-frames in the to-be-processed data frame, accumulate the signal sub-sequences corresponding to the data sub-frame, namely The signal sequence corresponding to the data frame to be processed can be obtained.
  • the data frame when the data frame is divided, the data frame is usually divided into 4 or 8 data subframes, that is, k is 4 or 8. Therefore, the data frame can be pre-calculated and Store its corresponding normalized window function sub-sequence, so that processing does not occupy too much storage space.
  • the value of k is large, that is, the number of divisions of the data frame is too large, if the corresponding normalized window function subsequence is pre-calculated and stored for each data subframe, the storage space occupied by it will be relatively small.
  • the normalized sequence can be used to have periodic characteristics, and only the normalized window function sub-sequence of some data sub-frames can be pre-calculated and stored, that is, for the target
  • the head position of the data frame, that is, the (k-1) data sub-frames at the tail position are still normalized after regular windowing processing, and for the window function sub-sequence of the overlapping and adding area, pre-calculated and stored
  • the corresponding method of normalizing the sub-sequence of the window function can not only reduce the calculation amount of the terminal device but also save the storage space.
  • the first data is acquired according to the data subframe information of the first data frame and the normalized window function subsequence corresponding to at least one data subframe of the first data frame
  • the normalized signal subsequence corresponding to at least one data subframe of the frame further includes: acquiring first data subframe information according to the data subframe information of the first data frame, and the first data subframe information includes the first data subframe information.
  • a data subframe identifier if it is determined by the first data subframe identifier that the first data subframe is the non-overlapping data subframe in the first data frame or the non-overlapping data subframe of the last data frame, Then perform windowing processing on the first data subframe and output; otherwise, obtain the first normalized window function subsequence corresponding to the first data subframe.
  • the acquiring the first signal sequence corresponding to the first data frame according to the data subframe information of the first data frame and the normalized signal subsequence corresponding to the at least one data subframe includes: Windowing is performed on the directly output first data subframe, and an unnormalized signal subsequence corresponding to the directly output first data subframe is obtained; for the subsequence with a corresponding normalized window function Multiply the first data sub-frame and its corresponding first normalized window function sub-sequence to obtain the first data sub-frame corresponding to the corresponding normalized window function sub-sequence
  • the normalized signal sub-sequence of; the unnormalized signal sub-sequence and the normalized signal sub-sequence are added to obtain the first signal sequence corresponding to the first data frame.
  • step S404 for the number of data frames divided into the usual configuration, that is, when it is 4 or 8, and the number of data frames divided into the non-normal configuration, that is, the calculation processing when the number of divisions is too large, details are given respectively. Introduced, after the above processing, for the data frame to be processed in the target data frame, the corresponding signal sequence is obtained. Of course, for the case where the number of data frames is not normally configured, the corresponding signal sequence is still There are signal subsequences that have not been normalized.
  • the windowing processing and the normalization processing can be merged to omit the corresponding normalization processing, thereby It reduces the amount of calculation when the terminal device is performing iSTFT operations, and saves storage space, and further, it can also increase the output speed of the results.
  • step S405 is executed to obtain a target signal sequence corresponding to the target spectrum matrix according to the first signal sequence.
  • step S404 For the case where the number of data frames is divided into a common configuration, that is, 4 or 8, because the normalized signal sequence corresponding to the data subframes of all data frames in the target data frame has been obtained in step S404, therefore
  • the first signal sequence is overlapped and arranged, wherein the frame length of the data frame is an integer of the step value Times; add the overlapped first signal sequences to obtain the target signal sequence corresponding to the target spectrum matrix. That is, according to the step value S, the signal sequences obtained in step S404 are overlapped, arranged and added, and the target signal sequence corresponding to the target spectrum matrix can be obtained.
  • the first signal sequence to obtain the target signal sequence corresponding to the target spectrum matrix includes: selecting a step value and arranging the first signal sequence overlappingly, wherein the frame length of the data frame is the step value.
  • Integer multiples of the value; add the overlapped and arranged first signal sequences to obtain the incompletely normalized signal sequence corresponding to the target spectrum matrix; for the direct in the incompletely normalized signal sequence
  • the output data sub-frame is subjected to local normalization processing, and the partially normalized signal sequence after the local normalization processing is used as the target signal sequence corresponding to the target spectrum matrix.
  • the performing local normalization processing for the directly output data sub-frames in the incompletely normalized signal sequence includes: obtaining a normalizer corresponding to the directly output data sub-frame Sequence; according to the normalization sub-sequence, normalize the directly output data sub-frames.
  • the signal sequences obtained in step S404 are arranged in an overlapping manner, and at the same time, data subframes that have not been normalized in the incompletely normalized signal sequence that have not been normalized , Perform local normalization processing, that is, obtain its corresponding normalization sub-sequence according to its corresponding data frame information, and then perform the processing on the signal sub-sequence that has not been normalized according to the normalization sub-sequence Normalize and output. After that, all the normalized signal sequences are added to obtain the target signal sequence corresponding to the target spectrum matrix.
  • the processing method for the target spectrum matrix includes: obtaining target data frame information according to the target spectrum matrix, wherein The target data frame information includes the information of multiple data frames corresponding to the target spectrum matrix; the first data frame information is obtained according to the target data frame information; and the data frame information is returned from the data frame information according to the first data frame information.
  • a first normalized window function sub-sequence corresponding to the first data frame information is obtained; according to the first data frame information and the first normalized window function A sub-sequence is to obtain a first signal sequence corresponding to the first data frame; according to the first signal sequence, a target signal sequence corresponding to the target spectrum matrix is obtained.
  • the corresponding normalization processing can be completely or partially omitted, which greatly reduces the amount of calculation when processing the target spectrum matrix. At the same time, compared with the prior art, it also saves storage space, and further improves the performance of the terminal equipment. Short-time inverse Fourier transform operation speed and operation efficiency.
  • FIG. 5 This is a flowchart of a method for processing a target data frame provided by the second embodiment of this application. Since its detailed steps have been described in detail in the above-mentioned first embodiment, the description here is relatively simple and relevant. For details, refer to the part of the description in the processing method for the target spectrum matrix provided in the first embodiment of the present application. The processing procedure described below is only illustrative.
  • FIG. 5 it is a flowchart of a method for processing a target data frame provided by the second embodiment of this application, which is described below in conjunction with FIG. 5.
  • Step S501 Obtain target data frame information, where the target data frame information includes a target data frame identifier and data subframe information of the target data frame.
  • the method for acquiring data subframe information of the target data frame includes: dividing the target data frame into a plurality of equal lengths according to the preset data subframe frame length value according to the target data frame information And obtain information about the multiple data subframes.
  • Step S502 Obtain a normalized window function sub-sequence corresponding to at least one data sub-frame of the target data frame according to the target data frame identifier and the data sub-frame information of the target data frame.
  • Step S503 According to the data subframe information of the target data frame and the normalized window function subsequence corresponding to at least one data subframe of the target data frame, obtain at least one data subframe corresponding to the target data frame The normalized signal subsequence of.
  • the at least one data subframe of the target data frame is acquired according to the data subframe information of the target data frame and the normalized window function subsequence corresponding to at least one data subframe of the target data frame
  • the corresponding normalized signal subsequence includes: acquiring first data subframe information according to the data subframe information of the target data frame, and the first data subframe information includes the first data subframe of the first data subframe.
  • the target data frame identifier and the first data subframe identifier from the corresponding relationship between the data frame information and the normalized window function subsequence, obtain the first normalized data corresponding to the first data subframe information Window function subsequence.
  • the first normalized window function subsequence includes:
  • index information in the corresponding relationship between the data frame information and the normalized window function subsequence, search for the first normalized window function subsequence corresponding to the first data subframe information.
  • the at least one data subframe of the target data frame is acquired according to the data subframe information of the target data frame and the normalized window function subsequence corresponding to at least one data subframe of the target data frame
  • the corresponding normalized signal sub-sequence further includes: acquiring first data sub-frame information according to the data sub-frame information of the target data frame, the first data sub-frame information includes the first data sub-frame identifier; If the first data subframe identifier determines that the first data subframe is the non-overlapping data subframe in the target data frame or the non-overlapping data subframe of the last data frame, the first data subframe is directly output Frame, otherwise, obtain the first normalized window function sub-sequence corresponding to the first data sub-frame.
  • Step S504 Obtain a signal sequence corresponding to the target data frame according to the normalized signal subsequence corresponding to the at least one data subframe.
  • the obtaining the signal sequence corresponding to the target data frame according to the normalized signal sub-sequence corresponding to the at least one data sub-frame includes: adding the first normalized signal sub-sequence to obtain The signal sequence corresponding to the target data frame.
  • the obtaining the signal sequence corresponding to the target data frame according to the normalized signal sub-sequence corresponding to the at least one data sub-frame further includes: performing windowing processing on the directly output first data sub-frame, And obtain the unnormalized signal sub-sequence corresponding to the directly output first data sub-frame; for the first data sub-frame with the corresponding normalized window function sub-sequence, the first data sub-frame Multiply the corresponding first normalized window function sub-sequence to obtain the normalized signal sub-sequence corresponding to the first data sub-frame with the corresponding normalized window function sub-sequence; The signal sub-sequence and the normalized signal sub-sequence are added to obtain the signal sequence corresponding to the target data frame.
  • the processing method for target data frames described in this application can be applied to the field of speech synthesis.
  • the target frequency spectrum matrix is the frequency spectrum matrix corresponding to the original speech data
  • the target data frame information is the target data frame information corresponding to the original speech data
  • the target signal sequence is the original speech
  • the signal sequence corresponding to the data; the method for the target data frame described in this application further includes: obtaining text information to be synthesized, wherein the text information to be synthesized is the information of the text to be synthesized by using the original speech data; , Using the acquired target signal sequence corresponding to the original voice data to synthesize the target voice information corresponding to the text information to be synthesized.
  • the method for processing a target data frame includes: acquiring target data frame information, where the target data frame information includes a target data frame identifier and data subframe information of the target data frame; According to the target data frame identifier and the data subframe information of the target data frame, obtain the normalized window function subsequence corresponding to at least one data subframe of the target data frame; according to the data of the target data frame Sub-frame information and a normalized window function sub-sequence corresponding to at least one data sub-frame of the target data frame, obtaining a normalized signal sub-sequence corresponding to at least one data sub-frame of the target data frame; A normalized signal sub-sequence corresponding to at least one data sub-frame is obtained, and a signal sequence corresponding to the target data frame is acquired.
  • the correspondence relationship between the data frame information and the normalized window function sub-sequence is pre-calculated and stored, and the signal of the target data frame is obtained During the sequence, the corresponding normalization processing can be completely or partially omitted, which greatly reduces the amount of calculation when processing the target data frame.
  • it also saves storage space and further improves the terminal The computing speed and efficiency of the device for iSTFT computing.
  • FIG. 6 is a method for processing the target spectrum matrix provided by the third embodiment of this application.
  • FIG. 6 is a method for processing the target spectrum matrix provided by the third embodiment of this application.
  • a processing device for a target spectrum matrix provided by the third embodiment of the present application includes the following parts:
  • the information acquiring unit 601 is configured to acquire target data frame information according to the target spectrum matrix, where the target data frame information includes information of multiple data frames corresponding to the target spectrum matrix.
  • the data frame information obtaining unit 602 is configured to obtain the first data frame information according to the target data frame information.
  • the normalized window function sub-sequence obtaining unit 603 is configured to obtain the information corresponding to the first data frame information from the corresponding relationship between the data frame information and the normalized window function sub-sequence according to the first data frame information The first normalized window function subsequence.
  • the signal sequence obtaining unit 604 is configured to obtain a first signal sequence corresponding to the first data frame according to the first data frame information and the first normalized window function subsequence.
  • the target signal sequence obtaining unit 605 is configured to obtain a target signal sequence corresponding to the target spectrum matrix according to the first signal sequence.
  • FIG. 7 is a method for processing target data frames provided by the fourth embodiment of this application.
  • FIG. 7 is a method for processing target data frames provided by the fourth embodiment of this application.
  • a processing device for a target data frame provided by the fourth embodiment of the present application includes the following parts:
  • the information obtaining unit 701 is configured to obtain target data frame information, where the target data frame information includes a target data frame identifier and data subframe information of the target data frame.
  • the normalized window function sub-sequence obtaining unit 702 is configured to obtain a normalized sub-frame corresponding to at least one data sub-frame of the target data frame according to the target data frame identifier and the data sub-frame information of the target data frame Window function subsequence.
  • the signal sub-sequence obtaining unit 703 is configured to obtain the information of the target data frame according to the data sub-frame information of the target data frame and the normalized window function sub-sequence corresponding to at least one data sub-frame of the target data frame A normalized signal subsequence corresponding to at least one data subframe.
  • the signal sequence obtaining unit 704 is configured to obtain a signal sequence corresponding to the target data frame according to the normalized signal subsequence corresponding to the at least one data subframe.
  • this application also provides an electronic device for processing a target spectrum matrix.
  • FIG. 8 is a method for target spectrum processing provided by the fifth embodiment of this application.
  • the electronic device described below is implemented The examples are only illustrative.
  • An electronic device for processing a target spectrum matrix provided by the fifth embodiment of the present application includes the following parts:
  • the memory 801 and the processor 802. The memory 801 is used to store a program 803 for the processing method of the target spectrum matrix. After the device is powered on and runs the program 803 of the processing method of the target spectrum matrix through the processor 802: According to the target spectrum matrix , Acquiring target data frame information, wherein the target data frame information includes information of multiple data frames corresponding to the target spectrum matrix; acquiring first data frame information according to the target data frame information; A data frame information, from the corresponding relationship between the data frame information and the normalized window function sub-sequence, obtain the first normalized window function sub-sequence corresponding to the first data frame information; according to the first data frame Information and the first normalized window function sub-sequence to obtain a first signal sequence corresponding to the first data frame; according to the first signal sequence, a target signal sequence corresponding to the target spectrum matrix is obtained.
  • the memory 801 and the processor 802 perform data transmission based on the bus 805 established between the two, and the communication interface 804 is a data exchange
  • this application also provides an electronic device for processing target data frames.
  • FIG. 9, is a method for target data frame processing provided by the sixth embodiment of this application.
  • the electronic device described below is implemented The examples are only illustrative.
  • An electronic device for processing target data frames provided by the sixth embodiment of the present application includes the following parts:
  • the memory 901, and the processor 902; the memory 901 is used to store the program 903 for the processing method of the target data frame.
  • the target data frame information includes a target data frame identifier and data subframe information of the target data frame; according to the target data frame identifier and the data subframe information of the target data frame, the target data frame information A normalized window function sub-sequence corresponding to at least one data sub-frame of the data frame; according to the data sub-frame information of the target data frame and the normalized window function sub-sequence corresponding to at least one data sub-frame of the target data frame Sequence, obtaining a normalized signal sub-sequence corresponding to at least one data sub-frame of the target data frame; obtaining a signal corresponding to the target data frame according to the normalized signal sub-sequence corresponding to the at least one data sub-frame sequence.
  • this application also provides a storage device for processing the target spectrum matrix. Since the storage device embodiment is basically similar to the method embodiment, the description is relatively simple and related to Refer to the part of the description of the method embodiment, and the storage device embodiment described below is only illustrative.
  • the storage device for processing the target spectrum matrix stores a program for the processing method of the target spectrum matrix, and the program is run by the processor to perform the following steps: obtain the target according to the target spectrum matrix Data frame information, wherein the target data frame information includes information of multiple data frames corresponding to the target spectrum matrix; first data frame information is obtained according to the target data frame information; and first data frame information is obtained according to the first data frame Information, obtain the first normalized window function sub-sequence corresponding to the first data frame information from the corresponding relationship between the data frame information and the normalized window function sub-sequence; according to the first data frame information and the normalized window function sub-sequence; The first normalized window function sub-sequence is used to obtain the first signal sequence corresponding to the first data frame; and the target signal sequence corresponding to the target spectrum matrix is obtained according to the first signal sequence.
  • the target data frame information includes information of multiple data frames corresponding to the target spectrum matrix
  • first data frame information is obtained according to the target data frame information
  • first data frame information
  • this application also provides a storage device for processing target data frames. Since the storage device embodiment is basically similar to the method embodiment, the description is relatively simple and related. Refer to the part of the description of the method embodiment, and the storage device embodiment described below is only illustrative.
  • a storage device for processing a target data frame stores a program for a processing method of a target spectrum matrix, and the program is run by a processor to perform the following steps: obtaining target data frame information, so
  • the target data frame information includes a target data frame identifier and data sub-frame information of the target data frame; according to the target data frame identifier and the data sub-frame information of the target data frame, at least the data associated with the target data frame is obtained A normalized window function sub-sequence corresponding to one data sub-frame; according to the data sub-frame information of the target data frame and the normalized window function sub-sequence corresponding to at least one data sub-frame of the target data frame, obtain all A normalized signal sub-sequence corresponding to at least one data sub-frame of the target data frame; and a signal sequence corresponding to the target data frame is obtained according to the normalized signal sub-sequence corresponding to the at least one data sub-frame.
  • this application also provides a field programmable gate array for processing the target spectrum matrix. Since the field programmable gate array embodiment is basically similar to the device embodiment, The description is relatively simple, and for relevant points, please refer to the partial description of the device embodiment.
  • the field programmable gate array embodiment described below is only illustrative.
  • the ninth embodiment of the present application provides a field programmable gate array for processing a target spectrum matrix, including the above-mentioned processing device for the target spectrum matrix.
  • this application also provides a field programmable gate array for processing target data frames. Since the field programmable gate array embodiment is basically similar to the device embodiment, The description is relatively simple, and for relevant points, please refer to the partial description of the device embodiment.
  • the field programmable gate array embodiment described below is only illustrative.
  • a field programmable gate array for processing target data frames provided by the tenth embodiment of the present application includes the foregoing processing device for target data frames.
  • the computing device includes one or more processors (CPU), input/output interfaces, network interfaces, and memory.
  • processors CPU
  • input/output interfaces network interfaces
  • memory volatile and non-volatile memory
  • the memory may include non-permanent memory in computer readable media, random access memory (RAM) and/or non-volatile memory, such as read-only memory (ROM) or flash memory (flash RAM). Memory is an example of computer readable media.
  • RAM random access memory
  • ROM read-only memory
  • flash RAM flash memory
  • Computer-readable media include permanent and non-permanent, removable and non-removable media, and information storage can be realized by any method or technology.
  • the information can be computer-readable instructions, data structures, program modules, or other data.
  • Examples of computer storage media include, but are not limited to, phase change memory (PRAM), static random access memory (SRAM), dynamic random access memory (DRAM), other types of random access memory (RAM), read-only memory (ROM), electrically erasable programmable read-only memory (EEPROM), flash memory or other memory technology, CD-ROM, digital versatile disc (DVD) or other optical storage, Magnetic cassettes, magnetic tape magnetic disk storage or other magnetic storage devices or any other non-transmission media can be used to store information that can be accessed by computing devices.
  • computer-readable media does not include non-transitory computer-readable media (transitory media), such as modulated data signals and carrier waves.
  • this application can be provided as methods, systems, or computer program products. Therefore, this application may adopt the form of a complete hardware embodiment, a complete software embodiment, or an embodiment combining software and hardware. Moreover, this application may adopt the form of a computer program product implemented on one or more computer-usable storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) containing computer-usable program codes.
  • computer-usable storage media including but not limited to disk storage, CD-ROM, optical storage, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Complex Calculations (AREA)

Abstract

一种针对目标频谱矩阵的处理方法及装置，该方法包括：根据目标频谱矩阵，获取目标数据帧信息，其中，目标数据帧信息包括与目标频谱矩阵对应的多个数据帧的信息（S401）；根据目标数据帧信息，获取第一数据帧信息（S402）；根据第一数据帧信息，从数据帧信息与归一化窗函数子序列的对应关系中，获取与第一数据帧信息对应的第一归一化窗函数子序列（S403）；根据第一数据帧信息和第一归一化窗函数子序列，获取第一数据帧对应的第一信号序列（S404）；根据第一信号序列，获取与目标频谱矩阵对应的目标信号序列（S405）。该方法不需要额外的进行归一化运算，大大的减少了针对目标频谱矩阵进行处理时的计算量，提高了终端设备进行短时傅立叶逆变换运算时的运算速度及运算效率。

Description

一种针对目标频谱矩阵的处理方法及装置
本申请要求2019年08月16日递交的申请号为201910759361.7、发明名称为“一种针对目标频谱矩阵的处理方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及频谱处理领域，具体涉及一种针对目标频谱矩阵的处理方法。本申请同时涉及一种针对目标频谱矩阵的处理装置，一种针对目标数据帧的处理方法及装置，电子设备，存储介质及现场可编程门阵列。
背景技术
随着计算机技术的发展，在导航领域、语音视听阅读领域等，基于给定目标的语音频谱矩阵，进行语音信号的恢复，并进一步的进行语音合成，从而生成丰富多样的语音信息，可以为人们生活带来极大的方便。
目前，针对给定目标的语音频谱矩阵，即目标频谱矩阵进行信号恢复的处理方法，主要是用户使用终端计算设备，如服务端计算设备或客户端计算设备，利用短时傅立叶逆变换(inverse Short Time Fourier Transform，iSTFT)运算方法针对给定的具有短时傅立叶变换(Short Time Fourier Transform，STFT)特性的目标频谱矩阵进行反复的STFT/iSTFT变换，从而进行信号的恢复及重建。
通常来讲，STFT运算与iSTFT运算互相对称的，但是，由于iSTFT运算的过程中需要进行额外的归一化运算，往往会破坏两者的对称性；同时，频繁的进行归一化运算也会大大提高用于语音恢复及合成的终端设备的计算量，并大量占用终端设备的存储空间，进而带来结果输出缓慢、效率低下，用户体验不佳的问题。
发明内容
本申请提供一种针对目标频谱矩阵的处理方法，以解决现有技术中存在的终端设备在进行短时傅立叶逆变换运算时面对的计算量大、存储空间占用大，速度缓慢且效率低下的问题。
本申请提供一种针对目标频谱矩阵的处理方法，包括：
根据目标频谱矩阵，获取目标数据帧信息，其中，所述目标数据帧信息包括与所述 目标频谱矩阵对应的多个数据帧的信息；
根据所述目标数据帧信息，获取第一数据帧信息；
根据所述第一数据帧信息，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据帧信息对应的第一归一化窗函数子序列；
根据所述第一数据帧信息和所述第一归一化窗函数子序列，获取所述第一数据帧对应的第一信号序列；
根据所述第一信号序列，获取与所述目标频谱矩阵对应的目标信号序列。
可选的，所述数据帧信息与归一化窗函数子序列的对应关系，通过以下步骤获取：
从数据帧信息中，获取第一数据帧信息，所述第一数据帧信息包括第一数据帧标识和所述第一数据帧的数据子帧信息；
根据所述第一数据帧的数据子帧信息，获取第一数据子帧信息；
根据所述第一数据帧标识和所述第一数据子帧信息，获取与所述第一数据子帧信息对应的第一窗函数子序列和第一归一化子序列；
根据所述第一窗函数子序列和所述第一归一化子序列，获取与所述第一数据帧标识和所述第一数据子帧信息对应的第一归一化窗函数子序列；
根据所述第一数据帧标识、所述第一数据子帧信息和所述第一归一化窗函数子序列，建立数据帧信息与归一化窗函数子序列的对应关系。
可选的，所述根据所述第一窗函数子序列和所述第一归一化子序列，获取与所述第一数据帧标识和所述第一数据子帧信息对应的第一归一化窗函数子序列，包括：
对所述第一窗函数子序列和所述第一归一化子序列进行除运算，获取与所述第一数据帧标识和所述第一数据子帧信息对应的第一归一化窗函数子序列。
可选的，所述根据所述第一数据帧标识、所述第一数据子帧信息和所述第一归一化窗函数子序列，建立数据帧信息与归一化窗函数子序列的对应关系，还包括：
根据归一化序列的周期性特点，对建立的数据帧信息与归一化窗函数子序列的对应关系进行压缩，获取压缩后的数据帧信息与归一化窗函数子序列的对应关系。
可选的，所述根据所述第一数据帧信息，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据帧信息对应的第一归一化窗函数子序列，包括：
根据所述第一数据帧信息，获取第一数据帧标识和所述第一数据帧的数据子帧信息；
根据所述第一数据帧标识和所述第一数据帧的数据子帧信息，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据帧的至少一个数据子帧对应的归一 化窗函数子序列。
可选的，所述根据所述第一数据帧信息，获取所述第一数据帧的数据子帧信息，包括：
根据所述第一数据帧信息，按照预设的数据子帧的帧长数值，将所述第一数据帧划分为多个等长的数据子帧，并获取所述多个数据子帧的信息。
可选的，所述根据所述第一数据帧标识和所述第一数据帧的数据子帧信息，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据帧的至少一个数据子帧对应的归一化窗函数子序列，包括：
根据所述第一数据帧的数据子帧信息，获取第一数据子帧信息，所述第一数据子帧信息包括所述第一数据子帧的第一数据子帧标识；
根据所述第一数据帧标识和所述第一数据子帧标识，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据子帧信息对应的第一归一化窗函数子序列。
可选的，所述根据所述第一数据帧标识和所述第一数据子帧标识，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据子帧信息对应的第一归一化窗函数子序列，包括：
根据所述第一数据帧标识和所述第一数据子帧标识，生成索引信息；
根据所述索引信息，在数据帧信息与归一化窗函数子序列的对应关系中，查找与所述第一数据子帧信息对应的第一归一化窗函数子序列。
可选的，所述根据所述第一数据帧信息和所述第一归一化窗函数子序列，获取所述第一数据帧对应的第一信号序列，包括：
根据所述第一数据帧的数据子帧信息和与所述第一数据帧的至少一个数据子帧对应的归一化窗函数子序列，获取所述第一数据帧的至少一个数据子帧对应的归一化信号子序列；
根据所述第一数据帧的数据子帧信息和所述至少一个数据子帧对应的归一化信号子序列，获取所述第一数据帧对应的第一信号序列。
可选的，所述根据所述第一数据帧的数据子帧信息和与所述第一数据帧的至少一个数据子帧对应的归一化窗函数子序列，获取所述第一数据帧的至少一个数据子帧对应的归一化信号子序列，包括：
根据所述第一数据帧的数据子帧信息，获取第一数据子帧；
从与所述第一数据帧的至少一个数据子帧对应的归一化窗函数子序列中，获取与所 述第一数据子帧对应的第一归一化窗函数子序列；
将所述第一数据子帧与所述第一归一化窗函数子序列相乘，获得所述第一数据子帧对应的第一归一化信号子序列。
可选的，所述根据所述第一数据帧的数据子帧信息和所述至少一个数据子帧对应的归一化信号子序列，获取所述第一数据帧对应的第一信号序列，包括：
将所述第一归一化信号子序列相加，获取所述第一数据帧对应的第一信号序列。
可选的，所述根据所述第一信号序列，获取与所述目标频谱矩阵对应的目标信号序列，包括：
将预设的数据子帧的帧长数值作为步进数值，将所述第一信号序列重叠排列；
将重叠排列后的所述第一信号序列相加，获取与所述目标频谱矩阵对应的目标信号序列。
可选的，所述根据所述第一数据帧的数据子帧信息和与所述第一数据帧的至少一个数据子帧对应的归一化窗函数子序列，获取所述第一数据帧的至少一个数据子帧对应的归一化信号子序列，还包括：
根据所述第一数据帧的数据子帧信息，获取第一数据子帧信息，所述第一数据子帧信息包括第一数据子帧标识；
如果通过所述第一数据子帧标识判断所述第一数据子帧是所述第一数据帧中的无重叠数据子帧或最末数据帧的无重叠数据子帧，则直接输出相应数据子帧，否则，获取所述第一数据子帧对应的第一归一化窗函数子序列。
可选的，所述根据所述第一数据帧的数据子帧信息和所述至少一个数据子帧对应的归一化信号子序列，获取所述第一数据帧对应的第一信号序列，包括：
针对所述直接输出的第一数据子帧进行加窗处理，并获取所述直接输出的第一数据子帧对应的未归一化信号子序列；
针对所述具有对应的归一化窗函数子序列的第一数据子帧，将所述第一数据子帧与其对应的第一归一化窗函数子序列相乘，获取所述具有对应的归一化窗函数子序列的第一数据子帧对应的归一化信号子序列；
将所述未归一化信号子序列和所述归一化信号子序列相加，获取所述第一数据帧对应的第一信号序列。
可选的，所述根据所述第一信号序列，获取与所述目标频谱矩阵对应的目标信号序列，包括：
选择一个步进值，将所述第一信号序列重叠排列，其中，所述数据帧的帧长为所述步进值的整数倍；
将重叠排列后的所述第一信号序列相加，获取与所述目标频谱矩阵对应的未完全归一化信号序列；
针对所述未完全归一化信号序列中的直接输出的所述数据子帧，进行局部归一化处理，并将局部归一化处理后的所述未完全归一化的信号序列，作为与所述目标频谱矩阵对应的目标信号序列。
可选的，所述针对所述未完全归一化信号序列中的直接输出的所述数据子帧，进行局部归一化处理，包括：
获取与所述直接输出的数据子帧对应的归一化子序列；
根据所述归一化子序列，对所述直接输出的数据子帧进行归一化处理。
可选的，所述目标频谱矩阵为原始语音数据对应的频谱矩阵，所述目标数据帧信息为所述原始语音数据对应的目标数据帧信息，所述目标信号序列为所述原始语音数据对应的信号序列；
所述方法，还包括：
获取待合成文字信息，其中，所述待合成文字信息为待使用所述原始语音数据进行语音合成的文字的信息；
使用获取到的所述原始语音数据对应的所述目标信号序列，合成所述待合成文字信息对应的目标语音信息
本申请还提供一种针对目标数据帧的处理方法，包括：
获取目标数据帧信息，所述目标数据帧信息包括目标数据帧标识和所述目标数据帧的数据子帧信息；
根据所述目标数据帧标识和所述目标数据帧的数据子帧信息，获取与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列；
根据所述目标数据帧的数据子帧信息和与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列，获取所述目标数据帧的至少一个数据子帧对应的归一化信号子序列；
根据所述至少一个数据子帧对应的归一化信号子序列，获取与所述目标数据帧对应的信号序列。
本申请还提供一种针对目标频谱矩阵的处理装置，包括：
信息获取单元，用于根据目标频谱矩阵，获取目标数据帧信息，其中，所述目标数据帧信息包括与所述目标频谱矩阵对应的多个数据帧的信息；
数据帧信息获取单元，用于根据所述目标数据帧信息，获取第一数据帧信息；
归一化窗函数子序列获取单元，用于根据所述第一数据帧信息，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据帧信息对应的第一归一化窗函数子序列；
信号序列获取单元，用于根据所述第一数据帧信息和所述第一归一化窗函数子序列，获取所述第一数据帧对应的第一信号序列；
目标信号序列获取单元，用于根据所述第一信号序列，获取与所述目标频谱矩阵对应的目标信号序列。
本申请还提供一种针对目标数据帧的处理装置，包括：
信息获取单元，用于获取目标数据帧信息，所述目标数据帧信息包括目标数据帧标识和所述目标数据帧的数据子帧信息；
归一化窗函数子序列获取单元，用于根据所述目标数据帧标识和所述目标数据帧的数据子帧信息，获取与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列；
信号子序列获取单元，用于根据所述目标数据帧的数据子帧信息和与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列，获取所述目标数据帧的至少一个数据子帧对应的归一化信号子序列；
信号序列获取单元，用于根据所述至少一个数据子帧对应的归一化信号子序列，获取与所述目标数据帧对应的信号序列。
本申请还提供一种用于目标频谱矩阵处理的电子设备，包括：
存储器，以及处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
根据目标频谱矩阵，获取目标数据帧信息，其中，所述目标数据帧信息包括与所述目标频谱矩阵对应的多个数据帧的信息；
根据所述目标数据帧信息，获取第一数据帧信息；
根据所述第一数据帧信息，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据帧信息对应的第一归一化窗函数子序列；
根据所述第一数据帧信息和所述第一归一化窗函数子序列，获取所述第一数据帧对 应的第一信号序列；
根据所述第一信号序列，获取与所述目标频谱矩阵对应的目标信号序列。
本申请还提供一种用于目标数据帧处理的电子设备，包括：
存储器，以及处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
获取目标数据帧信息，所述目标数据帧信息包括目标数据帧标识和所述目标数据帧的数据子帧信息；
根据所述目标数据帧标识和所述目标数据帧的数据子帧信息，获取与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列；
根据所述目标数据帧的数据子帧信息和与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列，获取所述目标数据帧的至少一个数据子帧对应的归一化信号子序列；
根据所述至少一个数据子帧对应的归一化信号子序列，获取与所述目标数据帧对应的信号序列。
本申请还提供一种用于目标频谱矩阵处理的存储设备，存储有针对目标频谱矩阵的处理方法的程序，该程序被处理器运行，执行下述步骤：
根据目标频谱矩阵，获取目标数据帧信息，其中，所述目标数据帧信息包括与所述目标频谱矩阵对应的多个数据帧的信息；
根据所述目标数据帧信息，获取第一数据帧信息；
根据所述第一数据帧信息，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据帧信息对应的第一归一化窗函数子序列；
根据所述第一数据帧信息和所述第一归一化窗函数子序列，获取所述第一数据帧对应的第一信号序列；
根据所述第一信号序列，获取与所述目标频谱矩阵对应的目标信号序列。
本申请还提供一种用于目标数据帧处理的存储设备，存储有针对目标频谱矩阵的处理方法的程序，该程序被处理器运行，执行下述步骤：
获取目标数据帧信息，所述目标数据帧信息包括目标数据帧标识和所述目标数据帧的数据子帧信息；
根据所述目标数据帧标识和所述目标数据帧的数据子帧信息，获取与所述目标数据 帧的至少一个数据子帧对应的归一化窗函数子序列；
根据所述目标数据帧的数据子帧信息和与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列，获取所述目标数据帧的至少一个数据子帧对应的归一化信号子序列；
根据所述至少一个数据子帧对应的归一化信号子序列，获取与所述目标数据帧对应的信号序列。
本申请还提供一种用于目标频谱矩阵处理的现场可编程门阵列，包括上述的针对目标频谱矩阵的处理装置。
本申请还提供一种用于目标数据帧处理的现场可编程门阵列，包括上述的针对目标频谱矩阵的处理装置。
与现有技术相比，本申请具有以下优点：
本申请提供一种针对目标频谱矩阵的处理方法，包括：根据目标频谱矩阵，获取目标数据帧信息，其中，所述目标数据帧信息包括与所述目标频谱矩阵对应的多个数据帧的信息；根据所述目标数据帧信息，获取第一数据帧信息；根据所述第一数据帧信息，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据帧信息对应的第一归一化窗函数子序列；根据所述第一数据帧信息和所述第一归一化窗函数子序列，获取所述第一数据帧对应的第一信号序列；根据所述第一信号序列，获取与所述目标频谱矩阵对应的目标信号序列。所述方法通过获取到的与目标频谱矩阵对应的目标数据帧信息，针对每一个数据帧，通过其对应的数据帧信息获取与所述数据帧对应的归一化窗函数子序列，并通过所述归一化窗函数子序列可以直接获取到与所述数据帧对应的归一化后的信号序列，而不需要额外的进行归一化运算，大大的减少了针对目标频谱矩阵进行处理时的计算量，提高了终端设备进行短时傅立叶逆变换运算时的运算速度及运算效率。
本申请提供一种针对目标数据帧的处理方法，包括：获取目标数据帧信息，所述目标数据帧信息包括目标数据帧标识和所述目标数据帧的数据子帧信息；根据所述目标数据帧标识和所述目标数据帧的数据子帧信息，获取与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列；根据所述目标数据帧的数据子帧信息和与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列，获取所述目标数据帧的至少一个数据子帧对应的归一化信号子序列；根据所述至少一个数据子帧对应的归一化信号子序列，获取与所述目标数据帧对应的信号序列。通过将加窗处理与归一化处理相融合，并利用 归一化序列的周期性特点，预先计算并存储数据帧信息与归一化窗函数子序列的对应关系，在获取目标数据帧的信号序列时，可以完全省略或部分省略相应的归一化处理，大大减少了针对目标数据帧进行处理时的计算量，同时，相较于现有技术还节省了存储空间，进一步的，提高了终端设备进行短时傅立叶逆变换运算时的运算速度及运算效率。
附图说明
图1是本申请第一实施例提供的短时傅立叶变换的运算过程示意图；
图2是本申请第一实施例提供的常规的短时傅立叶逆变换的运算过程示意图；
图3是本申请第一实施例提供的针对目标频谱矩阵的处理方法的应用场景示意图；
图4是本申请第一实施例提供的针对目标频谱矩阵的处理方法的流程图；
图5是本申请第二实施例提供的针对目标数据帧的处理方法的流程图；
图6是本申请第三实施例提供的针对目标频谱矩阵的处理装置的示意图；
图7是本申请第四实施例提供的针对目标数据帧的处理装置的示意图；
图8是本申请第五实施例提供的用于目标频谱矩阵处理的电子设备的示意图；
图9是本申请第六实施例提供的用于目标数据帧处理的电子设备的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在介绍本申请的针对目标频谱矩阵的处理方法之前，分别对短时傅立叶变换方法及短时傅立叶逆变换方法进行简单的介绍，以方便介绍本申请所述的针对目标频谱矩阵的处理方法。
请参看图1，其为本申请第一实施例提供的短时傅立叶变换的运算过程示意图。STFT运算主要是针对待处理的信号序列进行运算处理，并将其转换为相应的频谱矩阵，其中，在计算机领域，信号主要表达为传递信息的函数，在连续时间范围内定义的信号称为连续时间信号，当时间变量为离散的时间时，对应的信号称为离散时间信号，也称为序列，即信号序列；频谱又称为振动谱，通常用来描述一个复杂的振动情况，任何复杂的振动都可以分解为许多不同振幅、不同频率的简谐振动之和，为了分析实际振动的性质，将分振动振幅按其频率的大小排列而成的图像称为该复杂振动的频谱，通常使用频谱矩阵 来具体表达对应的频谱图像。请参看图1，针对长度为L的待处理信号序列，步进为S的STFT变换的运算步骤主要为：步骤S101，首先将待处理信号序列按照步进S以及数据帧的帧长N(通常N为S的整数倍)。截取为M＝(L-N)/S+1个数据帧，并且相邻两个数据帧之间的第一个信号相距S。之后，执行步骤S102，针对每一数据帧进行加窗处理，通常选取为汉宁窗，其中，因为计算机设备通常只能处理有限长度的信号，因此，在针对信号序列进行处理时，原始信号序列通常以采样时间进行截断，即有限化，之后分别针对截取的每一个片段进行进一步处理，针对原始信号序列按采样时间进行截断的过程即为加窗处理。之后，执行步骤S103，对进行加窗处理后的数据帧进行N点快速傅立叶变换(Fast Fourier Transform，FFT)变换，最终得到N点的离散傅立叶变换(Discrete Fourier Transform，DFT)频谱。所有数据帧对应的频谱集中起来组成一个N*M的二维频谱矩阵，其中第i(i为正整数，且i>0)个数据帧变换所得的频谱，对应矩阵的第i列。
以上，即为STFT运算的主要运算步骤。与之相对应的，请参看图2，其为本申请第一实施例提供的短时傅立叶逆变换的运算过程示意图，其主要步骤主要为：步骤S201，针对待处理的STFT频谱矩阵的每一列进行傅立叶逆变换(inverse FFT，iFFT)，获得一系列的数据帧。之后，执行步骤S202，针对每一数据帧进行加窗处理。之后执行步骤S203，对加窗后的数据帧按照步进S进行对齐，其中，相邻两个数据帧的每一个信号相距为S。之后，执行步骤S204，将对齐后的数据帧进行重叠相加，即，将同一位置的元素进行相加，获得长度为L＝(M-1)S+N的信号序列，其中，M为STFT频谱矩阵的列数，即数据帧的个数，N为数据帧帧长。之后，执行步骤S205，对信号序列按元素进行归一化处理，即每个元素除以对应的归一化的序列元素，其中，归一化序列的定义为：
Figure PCTCN2020108599-appb-000001
其中序列w(n)，(n＝0，1…N-1)为窗函数，由此可知，归一化序列实际是一系列平方后的窗函数，按照步进S排列后相加的结果。
以上，即为STFT运算以及iSTFT运算的主要运算过程，由此可知，两者之间基本是对称的，但是iSTFT运算中包含额外的归一化运算，破坏了两者的对称性；并且，在具体应用时，频繁的进行归一化运算也会提高用于语音恢复及合成的终端设备的计算量，以及大量占用终端设备的存储空间，进而带来运算结果输出缓慢、效率低下的问题。在现有技术中，针对iSTFT运算的优化方案主要有：1、在进行加窗处理时，利用窗函数w(n)直接计算归一化序列。该方案的优点是计算输入与加窗处理共用窗函数，因此，不需要 额外的存储归一化序列，但是，归一化序列的计算量通常较大，在给定窗函数长度N以及步进值S后，需要N次平方运算，即其计算复杂度为o(NL/S)，同时，还需要L次除运算。2、预先计算并存储归一化序列{a n}，(n＝0，1…L-1)，在加窗处理后进行数据帧的重叠相加处理后，从预先存储的归一化序列中查询获得归一化序列，并进行归一化处理。该方案的优点是不需要进行复杂的、实时的归一化序列计算，但是，需要存储长度为L的归一化序列，同时，还需要L次归一化除运算。
现有技术针对iSTFT运算的优化方案同样存在计算量大以及占用大量存储空间的问题，为了进一步优化iSTFT运算的运算过程，以提高用于语音恢复及合成的终端设备的运行效率，本申请提供一种针对目标频谱矩阵的处理方法，包括：根据目标频谱矩阵，获取目标数据帧信息，其中，所述目标数据帧信息包括与所述目标频谱矩阵对应的多个数据帧的信息；根据所述目标数据帧信息，获取第一数据帧信息；根据所述第一数据帧信息，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据帧信息对应的第一归一化窗函数子序列；根据所述第一数据帧信息和所述第一归一化窗函数子序列，获取所述第一数据帧对应的第一信号序列；根据所述第一信号序列，获取与所述目标频谱矩阵对应的目标信号序列。
为了使本领域的技术人员更好的理解本申请方案，下面基于本申请提供的针对目标频谱矩阵的处理方法，对其实施例的具体应用场景进行详细描述。如图3所示，其为本申请第一实施例提供的一种针对目标频谱矩阵的处理方法的应用场景示意图。
在具体实施过程中，本申请实施所述针对目标频谱矩阵的处理方法，一般情况是基于传统的计算设备来实现。例如：基于用户301使用目标语音播放待播放文字的需求，用户301向其使用的计算设备302下发使用目标语音播放待播放文字的指令，之后，计算设备302获取该指令后，根据该指令，查询获取目标语音对应的目标频谱矩阵，之后，计算设备302针对所述目标频谱矩阵，获取目标数据帧信息，其中，所述目标数据帧信息包括与所述目标频谱矩阵对应的多个数据帧的信息；之后，计算设备302根据所述目标数据帧信息，获取第一数据帧信息；之后，根据所述第一数据帧信息，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据帧信息对应的第一归一化窗函数子序列；之后，根据所述第一数据帧信息和所述第一归一化窗函数子序列，获取所述第一数据帧对应的第一信号序列；之后，根据所述第一信号序列，获取与所述目标频谱矩阵对应的目标信号序列。在获取到目标语音对应的目标信号序列之后，所述计算设备302使用所述目标信号序列，针对待播放文字，进行语音合成，之后，向用户301输 出使用目标语音播放的待播放文字的语音信息。
其中，所述计算设备302可以是用户301使用的移动终端设备，如手机、平板电脑等，也可以是用户常用的计算机设备。另外，在具体实施时，上述处理可以直接由所述计算设备302获取用户301的指令后，在其内部进行相应的语音合成处理并输出，也可以是由所述计算设备302获取用户301的指令后，将所述指令转发给云端计算设备，如云端服务器，并由云端计算设备进行相应的语音合成后，输出相应的语音信息给计算设备302，再由计算设备302输出相应的语音信息给用户301。此处不做限定。
如图4所示，其为本申请第一实施例提供的针对目标频谱矩阵的处理方法的流程图，以下结合图4对该实施例予以详细说明。
步骤S401，根据目标频谱矩阵，获取目标数据帧信息，其中，所述目标数据帧信息包括与所述目标频谱矩阵对应的多个数据帧的信息。
其中，所述目标频谱矩阵是待处理的、与用户301指定的目标语音对应的频谱矩阵。所述根据目标频谱矩阵，获取目标数据帧信息具体是指针对目标频谱矩阵，对目标矩阵的每一列进行傅立叶逆变换，获得多个相对应的数据帧，并获取所述多个数据帧的数据帧信息，所述数据帧信息中具体包括每一数据帧对应的数据帧标识，所述数据帧标识用于标识其对应的数据帧，当然，所述数据帧信息中还包括其对应的数据帧的数据子帧的信息，在以下步骤中，会逐一进行详细介绍。
在步骤S401之后，执行步骤S402，根据所述目标数据帧信息，获取第一数据帧信息。
即，在进行具体的iSTFT运算处理时，针对步骤S401获得的多个数据帧，分别对每一数据帧进行处理，之后，再对处理后的数据帧进行叠加处理。当然，在具体实施时，可以串行的同一时刻仅基于一个数据帧信息对对应的数据帧进行处理，也可以并行的基于多个数据帧信息对对应的数据帧同时进行处理，以提高运算结果的输出速度。
在步骤S402之后，执行步骤S403，根据所述第一数据帧信息，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据帧信息对应的第一归一化窗函数子序列。
所述数据帧信息与归一化窗函数子序列的对应关系，通过以下步骤获取，以下予以详细介绍。
所述对应关系主要是建立在针对整个数据帧与对应的归一化序列进行融合的基础上，假设在iSTFT运算中，iFFT输出的数据帧的长度N＝2S，因此，可以将数据帧i分 为两个长度为S的数据子帧{X i,0(n)，X i,1(n)}，(n＝0，1…S-1)，相对应的，其窗函数也可以分为两个长度为S的子序列{w 0(n)，w 1(n)}，(n＝0，1…S-1)。因此，第i个数据帧进行iFFT变换后其对应的输出y i(n)，(n＝0，1…S-1)可以计算为：
1、数据帧(i-1)的数据子帧1：X i-1,1(n)与窗函数子序列1：w 1(n)按元素相乘；
2、数据帧i的数据子帧0：X i,0(n)与窗函数子序列0：w 0(n)按元素相乘；
3、将上述1、2中的结果按元素相加，之后，与第i段的归一化子序列a i(n)按元素除，获得最终结果y i(n)。
上述计算等价于：
1、窗函数子序列1：w 1(n)与第i段的归一化子序列a i(n)按元素除，获得归一化窗函数子序列：w 1,i(n)；
2、上述1中的结果w 1,i(n)与数据帧(i-1)的数据子帧：X i-1,1(n)按元素相乘；
3、窗函数子序列0：w 0(n)与第i段的归一化子序列a i(n)按元素除，获得归一化窗函数子序列：w 0,i(n)；
4、上述3中的结果w 0,i(n)与数据帧i的数据子帧0：X i,0(n)按元素相乘；
5、将上述2、4中的结果按元素相加，获得最终结果y i(n)。
因此，所述数据帧信息与归一化窗函数子序列的对应关系，其本质是将归一化序列中的归一化子序列与加窗处理进行融合，形成归一化的窗函数子序列。即，将上述1、3中的结果w 1,i(n)、w 0,i(n)预先计算并存储，在具体计算时，从数据帧信息与归一化窗函数子序列的对应关系中查询获得，因此，可以消除iSTFT运算中的归一化运算。
由此可知，在具体获取数据帧信息与归一化窗函数子序列的对应关系时，可以通过如下步骤获得：首先，从数据帧信息中，获取第一数据帧信息，所述第一数据帧信息包括第一数据帧标识和所述第一数据帧的数据子帧信息；其次，根据所述第一数据帧的数据子帧信息，获取第一数据子帧信息；再其次，根据所述第一数据帧标识和所述第一数据子帧信息，获取与所述第一数据子帧信息对应的第一窗函数子序列和第一归一化子序列；再其次，根据所述第一窗函数子序列和所述第一归一化子序列，获取与所述第一数据帧标识和所述第一数据子帧信息对应的第一归一化窗函数子序列；最后，根据所述第一数据帧标识、所述第一数据子帧信息和所述第一归一化窗函数子序列，建立数据帧信息与归一化窗函数子序列的对应关系。其中，所述根据所述第一窗函数子序列和所述第 一归一化子序列，获取与所述第一数据帧标识和所述第一数据子帧信息对应的第一归一化窗函数子序列，包括：对所述第一窗函数子序列和所述第一归一化子序列进行除运算，获取与所述第一数据帧标识和所述第一数据子帧信息对应的第一归一化窗函数子序列。
另外，由上述描述可知，如果仅是简单、直接的针对不同位置的窗函数序列与对应的归一化序列进行除运算，则在具体存储时，需要存储M个归一化窗函数，并且包含MN个元素。然而，针对较长的归一化序列，上述处理同样会占用大量的存储空间。因此，为了解决上述问题，进一步的，还可以对上述处理进行压缩处理，即，根据归一化序列的周期性特点，对建立的数据帧信息与归一化窗函数子序列的对应关系进行压缩，获取压缩后的数据帧信息与归一化窗函数子序列的对应关系。在iSTFT运算中，所使用到的归一化序列可以表示为：
Figure PCTCN2020108599-appb-000002
假设窗函数长度N＝kS，则所述归一化序列可以划分为(M+k-1)个长度为S的，互不重叠的子序列，并且，其最前方以及最后方的(k-1)个子序列互不相同，而中间的(M-k+1)个子序列相同。因此，将归一化子序列中的重叠子序列去除后，去重后的所有归一化子序列按时间顺序记为：{a' 0(n)，a' 1(n)...a' 2k-2(n)}(n＝0，1…S-1)。
相对应的，如果将窗函数也划分为k个子序列，即{w 0(n)，w 1(n)...w k-1(n)}(n＝0，1…S-1)。
则窗函数子序列{w 0(n)，w 1(n)...w k-1(n)}可对应的与归一化子序列{a' 0(n)，a' 1(n)...a' 2k-2(n)}进行归一化融合，即获得压缩后的、个数为k 2个、长度为S的归一化窗函数子序列：
Figure PCTCN2020108599-appb-000003
其中，i为具体的数据帧的数据帧标识，j为对应数据帧中的数据子帧的数据子帧标识。并且，由此可知，数据帧信息与归一化窗函数子序列的对应关系占用的存储空间为k 2S＝KN个，当K值较小时(例如，通常在进行iSTFT运算时，K为4或8)，就可以以较小的存储代价，来换取节省较大的计算量，以提高计算设备302的结果输出速度，提高运算效率。
请继续参看图4，步骤S403中的步骤，所述根据所述第一数据帧信息，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据帧信息对应的第一归一化窗函数子序列，具体包括：根据所述第一数据帧信息，获取第一数据帧标识和所述第一数据帧的数据子帧信息；根据所述第一数据帧标识和所述第一数据帧的数据子帧信息，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据帧的至少一个 数据子帧对应的归一化窗函数子序列。即，根据目标数据帧消息，针对目标数据帧中的各个数据帧进行处理时，对待处理的数据帧，获取其数据帧标识以及所述待处理的数据帧的数据子帧的信息，例如，所述待处理的数据帧包含几个数据子帧，以及每个数据子帧所对应的数据子帧标识等信息，之后，从数据帧信息与归一化窗函数子序列的对应关系中，获取每个数据子帧所对应的归一化窗函数子序列。
其中，所述根据所述第一数据帧信息，获取所述第一数据帧的数据子帧信息，包括：根据所述第一数据帧信息，按照预设的数据子帧的帧长数值，将所述第一数据帧划分为多个等长的数据子帧，并获取所述多个数据子帧的信息。即，与数据帧信息与归一化窗函数子序列的对应关系中，对数据帧的数据子帧的帧长数值及数据子帧个数相对应，将待处理的数据帧划分为多个等长的数据子帧，并获取每个数据子帧的信息，如数据子帧的标识等信息。
其中，所述根据所述第一数据帧标识和所述第一数据子帧标识，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据子帧信息对应的第一归一化窗函数子序列，包括：根据所述第一数据帧标识和所述第一数据子帧标识，生成索引信息；根据所述索引信息，在数据帧信息与归一化窗函数子序列的对应关系中，查找与所述第一数据子帧信息对应的第一归一化窗函数子序列。即根据待处理数据帧的数据帧标识和待处理的数据子帧的标识，索引信息，并根据所述索引信息，在数据帧信息与归一化窗函数子序列的对应关系汇总，查找与所述待处理数据子帧对应的归一化窗函数子序列。其中，所述根据所述第一数据帧标识和所述第一数据子帧标识，生成索引信息，具体为：将所述待处理的数据帧的帧标识作为高位地址索引值，并通过下述函数
Figure PCTCN2020108599-appb-000004
获取低位地址索引值，其中，i为待处理的数据帧的数据帧标识，j为待处理的数据帧中的数据子帧的数据子帧标识，k为待处理的数据帧中的数据子帧的个数，M为目标数据帧中的待处理的数据帧的个数。即最终的索引信息为(i，f(i，j))，通过所述索引信息即可在数据帧信息与归一化窗函数子序列的对应关系中，获取到待处理数据帧i中的待处理数据子帧j所对应的归一化窗函数子序列。另外，需要说明的是，当k较小时，仅需要简单的枚举即可获得对应的归一化窗函数子序列。
请继续参看图4，在步骤S403之后，获取到第一数据帧信息与对应的第一归一化窗 函数子序列之后，执行步骤S404，根据所述第一数据帧信息和所述第一归一化窗函数子序列，获取所述第一数据帧对应的第一信号序列。
其中，所述根据所述第一数据帧信息和所述第一归一化窗函数子序列，获取所述第一数据帧对应的第一信号序列，包括：根据所述第一数据帧的数据子帧信息和与所述第一数据帧的至少一个数据子帧对应的归一化窗函数子序列，获取所述第一数据帧的至少一个数据子帧对应的归一化信号子序列；根据所述第一数据帧的数据子帧信息和所述至少一个数据子帧对应的归一化信号子序列，获取所述第一数据帧对应的第一信号序列。
其中，所述根据所述第一数据帧的数据子帧信息和与所述第一数据帧的至少一个数据子帧对应的归一化窗函数子序列，获取所述第一数据帧的至少一个数据子帧对应的归一化信号子序列，包括：根据所述第一数据帧的数据子帧信息，获取第一数据子帧；从与所述第一数据帧的至少一个数据子帧对应的归一化窗函数子序列中，获取与所述第一数据子帧对应的第一归一化窗函数子序列；将所述第一数据子帧与所述第一归一化窗函数子序列相乘，获得所述第一数据子帧对应的第一归一化信号子序列。
其中，所述根据所述第一数据帧的数据子帧信息和所述至少一个数据子帧对应的归一化信号子序列，获取所述第一数据帧对应的第一信号序列，包括：将所述第一归一化信号子序列相加，获取所述第一数据帧对应的第一信号序列。
即，针对目标数据帧中的待处理数据帧，在根据所述待处理数据帧的信息获取到其对应的归一化窗函数子序列之后，获取所述待处理数据帧中的数据子帧的信息，之后获取其中具有对应的归一化窗函数子序列的数据子帧，并分别将所述具有对应的归一化窗函数子序列的数据子帧与其对应的归一化窗函数子序列相乘，以获取所述数据子帧对应的信号子序列，在获取到所述待处理数据帧中的所有数据子帧对应的信号子序列后，累加所述数据子帧对应的信号子序列，即可获得所述待处理数据帧所对应的信号序列。
另外，需要说明的是，通常在对数据帧进行划分时，将数据帧划分为4个或8个数据子帧，即k为4或8，因此，可以为每一个数据子帧都预先计算并存储其对应的归一化窗函数子序列，这样处理并不会占用过多的存储空间。但是，对于k值较大，即数据帧的划分个数过多的情况，如果对每一个数据子帧都预先计算并存储其对应的归一化窗函数子序列，其占用的存储空间相对会较大，因此，针对数据帧的划分个数过多的情况，可以利用归一化序列具有周期性的特点，仅预先计算并存储部分数据子帧的归一化窗函数子序列，即针对目标数据帧的首部位置即尾部位置的(k-1)个数据子帧，仍然采取常规加窗处理后进行归一化处理，而针对重叠相加区域的窗函数子序列，采取预先计算并 存储其对应的归一化窗函数子序列的方法，以达到既能减少终端设备计算量又能节约存储空间的目的。
以下针对数据帧的划分个数过多的情况所采取的运算方法予以详细介绍。
在此种情况下，所述根据所述第一数据帧的数据子帧信息和与所述第一数据帧的至少一个数据子帧对应的归一化窗函数子序列，获取所述第一数据帧的至少一个数据子帧对应的归一化信号子序列，还包括：根据所述第一数据帧的数据子帧信息，获取第一数据子帧信息，所述第一数据子帧信息包括第一数据子帧标识；如果通过所述第一数据子帧标识判断所述第一数据子帧是所述第一数据帧中的无重叠数据子帧或最末数据帧的无重叠数据子帧，则对所述第一数据子帧进行加窗处理并输出，否则，获取所述第一数据子帧对应的第一归一化窗函数子序列。
其中，所述根据所述第一数据帧的数据子帧信息和所述至少一个数据子帧对应的归一化信号子序列，获取所述第一数据帧对应的第一信号序列，包括：针对所述直接输出的第一数据子帧进行加窗处理，并获取所述直接输出的第一数据子帧对应的未归一化信号子序列；针对所述具有对应的归一化窗函数子序列的第一数据子帧，将所述第一数据子帧与其对应的第一归一化窗函数子序列相乘，获取所述具有对应的归一化窗函数子序列的第一数据子帧对应的归一化信号子序列；将所述未归一化信号子序列和所述归一化信号子序列相加，获取所述第一数据帧对应的第一信号序列。
经过步骤S404，之后，针对数据帧的划分个数为通常配置，即为4或8时，以及数据帧的划分个数为非通常配置，即划分个数过多时的运算处理，分别给予了详细介绍，经过上述处理后，针对目标数据帧中的待处理数据帧，均获取到了其对应的信号序列，当然，针对数据帧的划分个数为非通常配置的情况，其对应的信号序列中还存在未进行归一化处理的信号子序列。但是无论何种情况，针对其中的具有对应的归一化窗函数子序列的数据子帧，均可将其加窗处理与归一化处理进行融合，以省略其对应的归一化处理，从而减少终端设备在进行iSTFT运算时的计算量，并节约了存储空间，进一步的，还可以提高结果的输出速度。
请继续参看图4，在步骤S404之后，执行步骤S405，根据所述第一信号序列，获取与所述目标频谱矩阵对应的目标信号序列。
针对数据帧的划分个数为通常配置，即为4或8的情况，因为在步骤S404中已经获取了目标数据帧中的所有数据帧的数据子帧对应的归一化后的信号序列，因此，在获取所述目标频谱矩阵对应的目标信号序列时，仅需要选择一个步进值，将所述第一信号序 列重叠排列，其中，所述数据帧的帧长为所述步进值的整数倍；将重叠排列后的所述第一信号序列相加，即可获取与所述目标频谱矩阵对应的目标信号序列。即按步进数值S将步骤S404中获取的信号序列进行重叠排列并相加，即可获取与所述目标频谱矩阵对应的目标信号序列。
针对数据帧的划分个数为非通常配置，即划分个数过多时的情况，因为在步骤S404中获取的信号序列中存在一部分未完全进行归一化处理的信号序列，因此，所述根据所述第一信号序列，获取与所述目标频谱矩阵对应的目标信号序列，包括：选择一个步进值，将所述第一信号序列重叠排列，其中，所述数据帧的帧长为所述步进值的整数倍；将重叠排列后的所述第一信号序列相加，获取与所述目标频谱矩阵对应的未完全归一化信号序列；针对所述未完全归一化信号序列中的直接输出的所述数据子帧，进行局部归一化处理，并将局部归一化处理后的所述未完全归一化的信号序列，作为与所述目标频谱矩阵对应的目标信号序列。
其中，所述针对所述未完全归一化信号序列中的直接输出的所述数据子帧，进行局部归一化处理，包括：获取与所述直接输出的数据子帧对应的归一化子序列；根据所述归一化子序列，对所述直接输出的数据子帧进行归一化处理。
即，按照步进数值S，将步骤S404获取到的信号序列重叠排列，同时，针对未进行归一化处理的所述未完全归一化信号序列中的未进行归一化处理的数据子帧，进行局部归一化处理，即通过其对应的数据帧信息获取其对应的归一化子序列，之后根据所述归一化子序列，对所述未进行归一化处理的信号子序列进行归一化处理，并输出。再之后，将所有进行了归一化处理的信号序列相加，即可获取与所述目标频谱矩阵对应的目标信号序列。
至此，即获得了目标频谱矩阵所对应的目标信号序列，通过上述描述可知，本申请所提供的针对目标频谱矩阵的处理方法，包括：根据目标频谱矩阵，获取目标数据帧信息，其中，所述目标数据帧信息包括与所述目标频谱矩阵对应的多个数据帧的信息；根据所述目标数据帧信息，获取第一数据帧信息；根据所述第一数据帧信息，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据帧信息对应的第一归一化窗函数子序列；根据所述第一数据帧信息和所述第一归一化窗函数子序列，获取所述第一数据帧对应的第一信号序列；根据所述第一信号序列，获取与所述目标频谱矩阵对应的目标信号序列。通过将加窗处理与归一化处理相融合，并利用归一化序列的周期性特点，预先计算并存储数据帧信息与归一化窗函数子序列的对应关系，在终端设备进行 iSTFT运算时，可以完全省略或部分省略相应的归一化处理，大大减少了针对目标频谱矩阵进行处理时的计算量，同时，相较于现有技术还节省了存储空间，进一步的，提高了终端设备进行短时傅立叶逆变换运算的运算速度及运算效率。
在以上描述中，提供了一种针对目标频谱矩阵的处理方法，与上述一种针对目标频谱矩阵的处理方法相对应，本申请还提供一种针对目标数据帧的处理方法，请参看图5所示，其为本申请第二实施例提供的一种针对目标数据帧的处理方法的流程图，由于其详细步骤在上述第一实施例中已经详细描述，所以此处描述的比较简单，相关之处参见本申请第一实施例提供的一种针对目标频谱矩阵的处理方法中的部分说明即可，下述描述的处理过程仅是示意性的。
如图5所示，其为本申请第二实施例提供的一种针对目标数据帧的处理方法的流程图，以下结合图5予以说明。
步骤S501，获取目标数据帧信息，所述目标数据帧信息包括目标数据帧标识和所述目标数据帧的数据子帧信息。
其中，所述目标数据帧的数据子帧信息的获取方法，包括：根据所述目标数据帧信息，按照预设的数据子帧的帧长数值，将所述目标数据帧划分为多个等长的数据子帧，并获取所述多个数据子帧的信息。
步骤S502，根据所述目标数据帧标识和所述目标数据帧的数据子帧信息，获取与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列。
步骤S503，根据所述目标数据帧的数据子帧信息和与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列，获取所述目标数据帧的至少一个数据子帧对应的归一化信号子序列。
其中，所述根据所述目标数据帧的数据子帧信息和与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列，获取所述目标数据帧的至少一个数据子帧对应的归一化信号子序列，包括：根据所述目标数据帧的数据子帧信息，获取第一数据子帧信息，所述第一数据子帧信息包括所述第一数据子帧的第一数据子帧标识；
根据所述目标数据帧标识和所述第一数据子帧标识，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据子帧信息对应的第一归一化窗函数子序列。
其中，所述根据所述目标数据帧标识和所述第一数据子帧标识，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据子帧信息对应的第一归一化窗函数子序列，包括：
根据所述目标数据帧标识和所述第一数据子帧标识，生成索引信息；
根据所述索引信息，在数据帧信息与归一化窗函数子序列的对应关系中，查找与所述第一数据子帧信息对应的第一归一化窗函数子序列。
其中，所述根据所述目标数据帧的数据子帧信息和与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列，获取所述目标数据帧的至少一个数据子帧对应的归一化信号子序列，还包括：根据所述目标数据帧的数据子帧信息，获取第一数据子帧信息，所述第一数据子帧信息包括第一数据子帧标识；如果通过所述第一数据子帧标识判断所述第一数据子帧是所述目标数据帧中的无重叠数据子帧或最末数据帧的无重叠数据子帧，则直接输出所述第一数据子帧，否则，获取所述第一数据子帧对应的第一归一化窗函数子序列。
步骤S504，根据所述至少一个数据子帧对应的归一化信号子序列，获取与所述目标数据帧对应的信号序列。
其中，所述根据所述至少一个数据子帧对应的归一化信号子序列，获取与所述目标数据帧对应的信号序列，包括：将所述第一归一化信号子序列相加，获取所述目标数据帧对应的信号序列。
所述根据所述至少一个数据子帧对应的归一化信号子序列，获取与所述目标数据帧对应的信号序列，还包括：针对所述直接输出的第一数据子帧进行加窗处理，并获取所述直接输出的第一数据子帧对应的未归一化信号子序列；针对所述具有对应的归一化窗函数子序列的第一数据子帧，将所述第一数据子帧与其对应的第一归一化窗函数子序列相乘，获取所述具有对应的归一化窗函数子序列的第一数据子帧对应的归一化信号子序列；将所述未归一化信号子序列和所述归一化信号子序列相加，获取所述目标数据帧对应的信号序列。
需要说明的是，本申请所述针对目标数据帧的处理方法可以应用于语音合成领域。在应用于语音合成时，所述目标频谱矩阵为原始语音数据对应的频谱矩阵，所述目标数据帧信息为所述原始语音数据对应的目标数据帧信息，所述目标信号序列为所述原始语音数据对应的信号序列；本申请所述针对目标数据帧方法，还包括：获取待合成文字信息，其中，所述待合成文字信息为待使用所述原始语音数据进行语音合成的文字的信息；之后，使用获取到的所述原始语音数据对应的所述目标信号序列，合成所述待合成文字信息对应的目标语音信息。
综上所述，本申请提供的一种针对目标数据帧的处理方法，包括：获取目标数据帧 信息，所述目标数据帧信息包括目标数据帧标识和所述目标数据帧的数据子帧信息；根据所述目标数据帧标识和所述目标数据帧的数据子帧信息，获取与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列；根据所述目标数据帧的数据子帧信息和与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列，获取所述目标数据帧的至少一个数据子帧对应的归一化信号子序列；根据所述至少一个数据子帧对应的归一化信号子序列，获取与所述目标数据帧对应的信号序列。通过将加窗处理与归一化处理相融合，并利用归一化序列的周期性特点，预先计算并存储数据帧信息与归一化窗函数子序列的对应关系，在获取目标数据帧的信号序列时，可以完全省略或部分省略相应的归一化处理，大大减少了针对目标数据帧进行处理时的计算量，同时，相较于现有技术还节省了存储空间，进一步的，提高了终端设备针对iSTFT运算的运算速度及运算效率。
与上述一种针对目标频谱矩阵的处理方法相对应，本申请还提供一种针对目标频谱矩阵的处理装置，请参看图6，其为本申请第三实施例提供的一种针对目标频谱矩阵的处理装置的实施例的示意图，由于装置实施例基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可，下述描述的装置实施例仅仅是示意性的。本申请第三实施例提供的一种针对目标频谱矩阵的处理装置包括如下部分：
信息获取单元601，用于根据目标频谱矩阵，获取目标数据帧信息，其中，所述目标数据帧信息包括与所述目标频谱矩阵对应的多个数据帧的信息。
数据帧信息获取单元602，用于根据所述目标数据帧信息，获取第一数据帧信息。
归一化窗函数子序列获取单元603，用于根据所述第一数据帧信息，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据帧信息对应的第一归一化窗函数子序列。
信号序列获取单元604，用于根据所述第一数据帧信息和所述第一归一化窗函数子序列，获取所述第一数据帧对应的第一信号序列。
目标信号序列获取单元605，用于根据所述第一信号序列，获取与所述目标频谱矩阵对应的目标信号序列。
与上述一种针对目标数据帧的处理方法相对应，本申请还提供一种针对目标数据帧的处理装置，请参看图7，其为本申请第四实施例提供的一种针对目标数据帧的处理装置的实施例的示意图，由于装置实施例基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可，下述描述的装置实施例仅仅是示意性的。本申请第四实施例提供的一种针对目标数据帧的处理装置包括如下部分：
信息获取单元701，用于获取目标数据帧信息，所述目标数据帧信息包括目标数据帧标识和所述目标数据帧的数据子帧信息。
归一化窗函数子序列获取单元702，用于根据所述目标数据帧标识和所述目标数据帧的数据子帧信息，获取与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列。
信号子序列获取单元703，用于根据所述目标数据帧的数据子帧信息和与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列，获取所述目标数据帧的至少一个数据子帧对应的归一化信号子序列。
信号序列获取单元704，用于根据所述至少一个数据子帧对应的归一化信号子序列，获取与所述目标数据帧对应的信号序列。
与上述一种针对目标频谱矩阵的处理方法相对应，本申请还提供一种用于目标频谱矩阵处理的电子设备，请参看图8，其为本申请第五实施例提供的一种用于目标频谱矩阵处理的电子设备的实施例的示意图，由于电子设备实施例基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可，下述描述的电子设备实施例仅仅是示意性的。本申请第五实施例提供的一种用于目标频谱矩阵处理的电子设备包括如下部分：
存储器801以及处理器802，存储器801用于存储针对目标频谱矩阵的处理方法的程序803，该设备通电并通过所述处理器802运行该目标频谱矩阵的处理方法的程序803后：根据目标频谱矩阵，获取目标数据帧信息，其中，所述目标数据帧信息包括与所述目标频谱矩阵对应的多个数据帧的信息；根据所述目标数据帧信息，获取第一数据帧信息；根据所述第一数据帧信息，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据帧信息对应的第一归一化窗函数子序列；根据所述第一数据帧信息和所述第一归一化窗函数子序列，获取所述第一数据帧对应的第一信号序列；根据所述第一信号序列，获取与所述目标频谱矩阵对应的目标信号序列。存储器801与处理器802之间基于二者之间建立的总线805进行数据传输，通信接口804为电子设备与外部实现连接的数据交换接口。
与上述一种针对目标数据帧的处理方法相对应，本申请还提供一种用于目标数据帧处理的电子设备，请参看图9，其为本申请第六实施例提供的一种用于目标数据帧处理的电子设备的实施例的示意图，由于电子设备实施例基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可，下述描述的电子设备实施例仅 仅是示意性的。本申请第六实施例提供的一种用于目标数据帧处理的电子设备包括如下部分：
存储器901，以及处理器902；存储器901用于存储针对目标数据帧的处理方法的程序903，该设备通电并通过所述处理器902运行该目标数据帧的处理方法的程序903后：获取目标数据帧信息，所述目标数据帧信息包括目标数据帧标识和所述目标数据帧的数据子帧信息；根据所述目标数据帧标识和所述目标数据帧的数据子帧信息，获取与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列；根据所述目标数据帧的数据子帧信息和与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列，获取所述目标数据帧的至少一个数据子帧对应的归一化信号子序列；根据所述至少一个数据子帧对应的归一化信号子序列，获取与所述目标数据帧对应的信号序列。存储器901与处理器902之间基于二者之间建立的总线905进行数据传输，通信接口904为电子设备与外部实现连接的数据交换接口。
与上述一种针对目标频谱矩阵的处理方法相对应，本申请还提供一种用于目标频谱矩阵处理的存储设备，由于存储设备实施例基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可，下述描述的存储设备实施例仅仅是示意性的。
本申请第七实施例提供的一种用于目标频谱矩阵处理的存储设备存储有针对目标频谱矩阵的处理方法的程序，该程序被处理器运行，执行下述步骤：根据目标频谱矩阵，获取目标数据帧信息，其中，所述目标数据帧信息包括与所述目标频谱矩阵对应的多个数据帧的信息；根据所述目标数据帧信息，获取第一数据帧信息；根据所述第一数据帧信息，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据帧信息对应的第一归一化窗函数子序列；根据所述第一数据帧信息和所述第一归一化窗函数子序列，获取所述第一数据帧对应的第一信号序列；根据所述第一信号序列，获取与所述目标频谱矩阵对应的目标信号序列。
与上述一种针对目标数据帧的处理方法相对应，本申请还提供一种用于目标数据帧处理的存储设备，由于存储设备实施例基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可，下述描述的存储设备实施例仅仅是示意性的。
本申请第八实施例提供的一种用于目标数据帧处理的存储设备存储有针对目标频谱矩阵的处理方法的程序，该程序被处理器运行，执行下述步骤：获取目标数据帧信息，所述目标数据帧信息包括目标数据帧标识和所述目标数据帧的数据子帧信息；根据所述 目标数据帧标识和所述目标数据帧的数据子帧信息，获取与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列；根据所述目标数据帧的数据子帧信息和与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列，获取所述目标数据帧的至少一个数据子帧对应的归一化信号子序列；根据所述至少一个数据子帧对应的归一化信号子序列，获取与所述目标数据帧对应的信号序列。
与上述一种针对目标频谱矩阵的装置实施例相对应，本申请还提供一种用于目标频谱矩阵处理的现场可编程门阵列，由于现场可编程门阵列实施例基本相似于装置实施例，所以描述的比较简单，相关之处参见装置实施例的部分说明即可，下述描述的现场可编程门阵列实施例仅仅是示意性的。
本申请第九实施例提供的一种用于目标频谱矩阵处理的现场可编程门阵列包括上述针对目标频谱矩阵的处理装置。
与上述一种针对目标数据帧的装置实施例相对应，本申请还提供一种用于目标数据帧处理的现场可编程门阵列，由于现场可编程门阵列实施例基本相似于装置实施例，所以描述的比较简单，相关之处参见装置实施例的部分说明即可，下述描述的现场可编程门阵列实施例仅仅是示意性的。
本申请第十实施例提供的一种用于目标数据帧处理的现场可编程门阵列包括上述针对目标数据帧的处理装置。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他 内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (26)

  1. 一种针对目标频谱矩阵的处理方法，其特征在于，包括：
    根据目标频谱矩阵，获取目标数据帧信息，其中，所述目标数据帧信息包括与所述目标频谱矩阵对应的多个数据帧的信息；
    根据所述目标数据帧信息，获取第一数据帧信息；
    根据所述第一数据帧信息，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据帧信息对应的第一归一化窗函数子序列；
    根据所述第一数据帧信息和所述第一归一化窗函数子序列，获取所述第一数据帧对应的第一信号序列；
    根据所述第一信号序列，获取与所述目标频谱矩阵对应的目标信号序列。
  2. 根据权利要求1所述的针对目标频谱矩阵的处理方法，其特征在于，所述数据帧信息与归一化窗函数子序列的对应关系，通过以下步骤获取：
    从数据帧信息中，获取第一数据帧信息，所述第一数据帧信息包括第一数据帧标识和所述第一数据帧的数据子帧信息；
    根据所述第一数据帧的数据子帧信息，获取第一数据子帧信息；
    根据所述第一数据帧标识和所述第一数据子帧信息，获取与所述第一数据子帧信息对应的第一窗函数子序列和第一归一化子序列；
    根据所述第一窗函数子序列和所述第一归一化子序列，获取与所述第一数据帧标识和所述第一数据子帧信息对应的第一归一化窗函数子序列；
    根据所述第一数据帧标识、所述第一数据子帧信息和所述第一归一化窗函数子序列，建立数据帧信息与归一化窗函数子序列的对应关系。
  3. 根据权利要求2所述的针对目标频谱矩阵的处理方法，其特征在于，所述根据所述第一窗函数子序列和所述第一归一化子序列，获取与所述第一数据帧标识和所述第一数据子帧信息对应的第一归一化窗函数子序列，包括：
    对所述第一窗函数子序列和所述第一归一化子序列进行除运算，获取与所述第一数据帧标识和所述第一数据子帧信息对应的第一归一化窗函数子序列。
  4. 根据权利要求2所述的针对目标频谱矩阵的处理方法，其特征在于，所述根据所述第一数据帧标识、所述第一数据子帧信息和所述第一归一化窗函数子序列，建立数据帧信息与归一化窗函数子序列的对应关系，还包括：
    根据归一化序列的周期性特点，对建立的数据帧信息与归一化窗函数子序列的对应 关系进行压缩，获取压缩后的数据帧信息与归一化窗函数子序列的对应关系。
  5. 根据权利要求1所述的针对目标频谱矩阵的处理方法，其特征在于，所述根据所述第一数据帧信息，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据帧信息对应的第一归一化窗函数子序列，包括：
    根据所述第一数据帧信息，获取第一数据帧标识和所述第一数据帧的数据子帧信息；
    根据所述第一数据帧标识和所述第一数据帧的数据子帧信息，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据帧的至少一个数据子帧对应的归一化窗函数子序列。
  6. 根据权利要求5所述的针对目标频谱矩阵的处理方法，其特征在于，所述根据所述第一数据帧信息，获取所述第一数据帧的数据子帧信息，包括：
    根据所述第一数据帧信息，按照预设的数据子帧的帧长数值，将所述第一数据帧划分为多个等长的数据子帧，并获取所述多个数据子帧的信息。
  7. 根据权利要求6所述的针对目标频谱矩阵的处理方法，其特征在于，所述根据所述第一数据帧标识和所述第一数据帧的数据子帧信息，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据帧的至少一个数据子帧对应的归一化窗函数子序列，包括：
    根据所述第一数据帧的数据子帧信息，获取第一数据子帧信息，所述第一数据子帧信息包括所述第一数据子帧的第一数据子帧标识；
    根据所述第一数据帧标识和所述第一数据子帧标识，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据子帧信息对应的第一归一化窗函数子序列。
  8. 根据权利要求7所述的针对目标频谱矩阵的处理方法，其特征在于，所述根据所述第一数据帧标识和所述第一数据子帧标识，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据子帧信息对应的第一归一化窗函数子序列，包括：
    根据所述第一数据帧标识和所述第一数据子帧标识，生成索引信息；
    根据所述索引信息，在数据帧信息与归一化窗函数子序列的对应关系中，查找与所述第一数据子帧信息对应的第一归一化窗函数子序列。
  9. 根据权利要求5所述的针对目标频谱矩阵的处理方法，其特征在于，所述根据所述第一数据帧信息和所述第一归一化窗函数子序列，获取所述第一数据帧对应的第一信号序列，包括：
    根据所述第一数据帧的数据子帧信息和与所述第一数据帧的至少一个数据子帧对应的归一化窗函数子序列，获取所述第一数据帧的至少一个数据子帧对应的归一化信号子序列；
    根据所述第一数据帧的数据子帧信息和所述至少一个数据子帧对应的归一化信号子序列，获取所述第一数据帧对应的第一信号序列。
  10. 根据权利要求9所述的针对目标频谱矩阵的处理方法，其特征在于，所述根据所述第一数据帧的数据子帧信息和与所述第一数据帧的至少一个数据子帧对应的归一化窗函数子序列，获取所述第一数据帧的至少一个数据子帧对应的归一化信号子序列，包括：
    根据所述第一数据帧的数据子帧信息，获取第一数据子帧；
    从与所述第一数据帧的至少一个数据子帧对应的归一化窗函数子序列中，获取与所述第一数据子帧对应的第一归一化窗函数子序列；
    将所述第一数据子帧与所述第一归一化窗函数子序列相乘，获得所述第一数据子帧对应的第一归一化信号子序列。
  11. 根据权利要求10所述的针对目标频谱矩阵的处理方法，其特征在于，所述根据所述第一数据帧的数据子帧信息和所述至少一个数据子帧对应的归一化信号子序列，获取所述第一数据帧对应的第一信号序列，包括：
    将所述第一归一化信号子序列相加，获取所述第一数据帧对应的第一信号序列。
  12. 根据权利要求11所述的针对目标频谱矩阵的处理方法，其特征在于，所述根据所述第一信号序列，获取与所述目标频谱矩阵对应的目标信号序列，包括：
    将预设的数据子帧的帧长数值作为步进数值，将所述第一信号序列重叠排列；
    将重叠排列后的所述第一信号序列相加，获取与所述目标频谱矩阵对应的目标信号序列。
  13. 根据权利要求9所述的针对目标频谱矩阵的处理方法，其特征在于，所述根据所述第一数据帧的数据子帧信息和与所述第一数据帧的至少一个数据子帧对应的归一化窗函数子序列，获取所述第一数据帧的至少一个数据子帧对应的归一化信号子序列，还包括：
    根据所述第一数据帧的数据子帧信息，获取第一数据子帧信息，所述第一数据子帧信息包括第一数据子帧标识；
    如果通过所述第一数据子帧标识判断所述第一数据子帧是所述第一数据帧中的无 重叠数据子帧或最末数据帧的无重叠数据子帧，则直接输出相应数据子帧，否则，获取所述第一数据子帧对应的第一归一化窗函数子序列。
  14. 根据权利要求13所述的针对目标频谱矩阵的处理方法，其特征在于，所述根据所述第一数据帧的数据子帧信息和所述至少一个数据子帧对应的归一化信号子序列，获取所述第一数据帧对应的第一信号序列，包括：
    针对所述直接输出的第一数据子帧进行加窗处理，并获取所述直接输出的第一数据子帧对应的未归一化信号子序列；
    针对具有对应的归一化窗函数子序列的第一数据子帧，将所述第一数据子帧与其对应的第一归一化窗函数子序列相乘，获取所述具有对应的归一化窗函数子序列的第一数据子帧对应的归一化信号子序列；
    将所述未归一化信号子序列和所述归一化信号子序列相加，获取所述第一数据帧对应的第一信号序列。
  15. 根据权利要求14所述的针对目标频谱矩阵的处理方法，其特征在于，所述根据所述第一信号序列，获取与所述目标频谱矩阵对应的目标信号序列，包括：
    选择一个步进值，将所述第一信号序列重叠排列，其中，所述数据帧的帧长为所述步进值的整数倍；
    将重叠排列后的所述第一信号序列相加，获取与所述目标频谱矩阵对应的未完全归一化信号序列；
    针对所述未完全归一化信号序列中的直接输出的所述数据子帧，进行局部归一化处理，并将局部归一化处理后的所述未完全归一化的信号序列，作为与所述目标频谱矩阵对应的目标信号序列。
  16. 根据权利要求15所述的针对目标频谱矩阵的处理方法，其特征在于，所述针对所述未完全归一化信号序列中的直接输出的所述数据子帧，进行局部归一化处理，包括：
    获取与所述直接输出的数据子帧对应的归一化子序列；
    根据所述归一化子序列，对所述直接输出的数据子帧进行归一化处理。
  17. 根据权利要求1所述的针对目标频谱矩阵的处理方法，其特征在于，所述目标频谱矩阵为原始语音数据对应的频谱矩阵，所述目标数据帧信息为所述原始语音数据对应的目标数据帧信息，所述目标信号序列为所述原始语音数据对应的信号序列；
    所述方法，还包括：
    获取待合成文字信息，其中，所述待合成文字信息为待使用所述原始语音数据进行 语音合成的文字的信息；
    使用获取到的所述原始语音数据对应的所述目标信号序列，合成所述待合成文字信息对应的目标语音信息。
  18. 一种针对目标数据帧的处理方法，其特征在于，包括：
    获取目标数据帧信息，所述目标数据帧信息包括目标数据帧标识和所述目标数据帧的数据子帧信息；
    根据所述目标数据帧标识和所述目标数据帧的数据子帧信息，获取与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列；
    根据所述目标数据帧的数据子帧信息和与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列，获取所述目标数据帧的至少一个数据子帧对应的归一化信号子序列；
    根据所述至少一个数据子帧对应的归一化信号子序列，获取与所述目标数据帧对应的信号序列。
  19. 一种针对目标频谱矩阵的处理装置，其特征在于，包括：
    信息获取单元，用于根据目标频谱矩阵，获取目标数据帧信息，其中，所述目标数据帧信息包括与所述目标频谱矩阵对应的多个数据帧的信息；
    数据帧信息获取单元，用于根据所述目标数据帧信息，获取第一数据帧信息；
    归一化窗函数子序列获取单元，用于根据所述第一数据帧信息，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据帧信息对应的第一归一化窗函数子序列；
    信号序列获取单元，用于根据所述第一数据帧信息和所述第一归一化窗函数子序列，获取所述第一数据帧对应的第一信号序列；
    目标信号序列获取单元，用于根据所述第一信号序列，获取与所述目标频谱矩阵对应的目标信号序列。
  20. 一种针对目标数据帧的处理装置，其特征在于，包括：
    信息获取单元，用于获取目标数据帧信息，所述目标数据帧信息包括目标数据帧标识和所述目标数据帧的数据子帧信息；
    归一化窗函数子序列获取单元，用于根据所述目标数据帧标识和所述目标数据帧的数据子帧信息，获取与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列；
    信号子序列获取单元，用于根据所述目标数据帧的数据子帧信息和与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列，获取所述目标数据帧的至少一个数据子帧对应的归一化信号子序列；
    信号序列获取单元，用于根据所述至少一个数据子帧对应的归一化信号子序列，获取与所述目标数据帧对应的信号序列。
  21. 一种用于目标频谱矩阵处理的电子设备，其特征在于，包括：
    存储器，以及处理器；
    所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
    根据目标频谱矩阵，获取目标数据帧信息，其中，所述目标数据帧信息包括与所述目标频谱矩阵对应的多个数据帧的信息；
    根据所述目标数据帧信息，获取第一数据帧信息；
    根据所述第一数据帧信息，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据帧信息对应的第一归一化窗函数子序列；
    根据所述第一数据帧信息和所述第一归一化窗函数子序列，获取所述第一数据帧对应的第一信号序列；
    根据所述第一信号序列，获取与所述目标频谱矩阵对应的目标信号序列。
  22. 一种用于目标数据帧处理的电子设备，其特征在于，包括：
    存储器，以及处理器；
    所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
    获取目标数据帧信息，所述目标数据帧信息包括目标数据帧标识和所述目标数据帧的数据子帧信息；
    根据所述目标数据帧标识和所述目标数据帧的数据子帧信息，获取与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列；
    根据所述目标数据帧的数据子帧信息和与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列，获取所述目标数据帧的至少一个数据子帧对应的归一化信号子序列；
    根据所述至少一个数据子帧对应的归一化信号子序列，获取与所述目标数据帧对应的信号序列。
  23. 一种用于目标频谱矩阵处理的存储设备，其特征在于，存储有针对目标频谱矩阵的处理方法的程序，该程序被处理器运行，执行下述步骤：
    根据目标频谱矩阵，获取目标数据帧信息，其中，所述目标数据帧信息包括与所述目标频谱矩阵对应的多个数据帧的信息；
    根据所述目标数据帧信息，获取第一数据帧信息；
    根据所述第一数据帧信息，从数据帧信息与归一化窗函数子序列的对应关系中，获取与所述第一数据帧信息对应的第一归一化窗函数子序列；
    根据所述第一数据帧信息和所述第一归一化窗函数子序列，获取所述第一数据帧对应的第一信号序列；
    根据所述第一信号序列，获取与所述目标频谱矩阵对应的目标信号序列。
  24. 一种用于目标数据帧处理的存储设备，其特征在于，存储有针对目标频谱矩阵的处理方法的程序，该程序被处理器运行，执行下述步骤：
    获取目标数据帧信息，所述目标数据帧信息包括目标数据帧标识和所述目标数据帧的数据子帧信息；
    根据所述目标数据帧标识和所述目标数据帧的数据子帧信息，获取与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列；
    根据所述目标数据帧的数据子帧信息和与所述目标数据帧的至少一个数据子帧对应的归一化窗函数子序列，获取所述目标数据帧的至少一个数据子帧对应的归一化信号子序列；
    根据所述至少一个数据子帧对应的归一化信号子序列，获取与所述目标数据帧对应的信号序列。
  25. 一种用于目标频谱矩阵处理的现场可编程门阵列，其特征在于，包括权利要求19所述的针对目标频谱矩阵的处理装置。
  26. 一种用于目标数据帧处理的现场可编程门阵列，其特征在于，包括权利要求20所述的针对目标数据帧的处理装置。
PCT/CN2020/108599 2019-08-16 2020-08-12 一种针对目标频谱矩阵的处理方法及装置 WO2021031942A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910759361.7 2019-08-16
CN201910759361.7A CN112447166A (zh) 2019-08-16 2019-08-16 一种针对目标频谱矩阵的处理方法及装置

Publications (1)

Publication Number Publication Date
WO2021031942A1 true WO2021031942A1 (zh) 2021-02-25

Family

ID=74659857

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/108599 WO2021031942A1 (zh) 2019-08-16 2020-08-12 一种针对目标频谱矩阵的处理方法及装置

Country Status (2)

Country Link
CN (1) CN112447166A (zh)
WO (1) WO2021031942A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005202335A (ja) * 2004-01-19 2005-07-28 Takayuki Arai 音声処理方法と装置及びプログラム
US20050288921A1 (en) * 2004-06-24 2005-12-29 Yamaha Corporation Sound effect applying apparatus and sound effect applying program
CN101405791A (zh) * 2006-10-25 2009-04-08 弗劳恩霍夫应用研究促进协会 用于产生音频子带值的装置和方法以及用于产生时域音频采样的装置和方法
CN102216984A (zh) * 2008-11-21 2011-10-12 雅马哈株式会社 噪声门、声音采集装置及噪声消除方法
CN103021416A (zh) * 2011-09-26 2013-04-03 索尼公司 音频编码装置和方法、音频解码装置和方法以及程序
JP2014146941A (ja) * 2013-01-29 2014-08-14 Pioneer Electronic Corp ノイズ低減装置、放送受信装置及びノイズ低減方法
CN104185870A (zh) * 2012-03-12 2014-12-03 歌乐株式会社 声学信号处理装置和声学信号处理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG119199A1 (en) * 2003-09-30 2006-02-28 Stmicroelectronics Asia Pacfic Voice activity detector
JP5011849B2 (ja) * 2006-06-29 2012-08-29 大日本印刷株式会社 音響信号に対する情報の埋め込み装置および音響信号からの情報の抽出装置
CN101030369B (zh) * 2007-03-30 2011-06-29 清华大学 基于子词隐含马尔可夫模型的嵌入式语音识别方法
CN103137133B (zh) * 2011-11-29 2017-06-06 南京中兴软件有限责任公司 非激活音信号参数估计方法及舒适噪声产生方法及系统
US9076446B2 (en) * 2012-03-22 2015-07-07 Qiguang Lin Method and apparatus for robust speaker and speech recognition
EP3582218A1 (en) * 2013-02-21 2019-12-18 Dolby International AB Methods for parametric multi-channel encoding
CN104361894A (zh) * 2014-11-27 2015-02-18 湖南省计量检测研究院 一种基于输出的客观语音质量评估的方法
CN105825871B (zh) * 2016-03-16 2019-07-30 大连理工大学 一种无前导静音段语音的端点检测方法
KR20190019713A (ko) * 2017-08-18 2019-02-27 인하대학교 산학협력단 무인 항공기 음향 식별을 위한 서포트 벡터 머신에 기반한 음향 특징 추출 및 분류 방법 그리고 시스템
CN108288465A (zh) * 2018-01-29 2018-07-17 中译语通科技股份有限公司 智能语音切轴的方法、信息数据处理终端、计算机程序
CN108831500B (zh) * 2018-05-29 2023-04-28 平安科技（深圳）有限公司 语音增强方法、装置、计算机设备及存储介质
CN109584898B (zh) * 2018-12-29 2022-05-31 上海瑾盛通信科技有限公司 一种语音信号的处理方法、装置、存储介质及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005202335A (ja) * 2004-01-19 2005-07-28 Takayuki Arai 音声処理方法と装置及びプログラム
US20050288921A1 (en) * 2004-06-24 2005-12-29 Yamaha Corporation Sound effect applying apparatus and sound effect applying program
CN101405791A (zh) * 2006-10-25 2009-04-08 弗劳恩霍夫应用研究促进协会 用于产生音频子带值的装置和方法以及用于产生时域音频采样的装置和方法
CN102216984A (zh) * 2008-11-21 2011-10-12 雅马哈株式会社 噪声门、声音采集装置及噪声消除方法
CN103021416A (zh) * 2011-09-26 2013-04-03 索尼公司 音频编码装置和方法、音频解码装置和方法以及程序
CN104185870A (zh) * 2012-03-12 2014-12-03 歌乐株式会社 声学信号处理装置和声学信号处理方法
JP2014146941A (ja) * 2013-01-29 2014-08-14 Pioneer Electronic Corp ノイズ低減装置、放送受信装置及びノイズ低減方法

Also Published As

Publication number Publication date
CN112447166A (zh) 2021-03-05

Similar Documents

Publication Publication Date Title
US11886998B2 (en) Attention-based decoder-only sequence transduction neural networks
US9529848B2 (en) Predictive query result computation
WO2021184571A1 (zh) 动态表单生成方法、装置、计算机设备和存储介质
WO2020062680A1 (zh) 基于双音节混搭的波形拼接方法、装置、设备及存储介质
EP3113043A1 (en) Method, device and host for updating metadata stored in columns in distributed file system
US8145695B2 (en) Signal processing method and data processing method and apparatus
US20200073665A1 (en) Method for Accessing Memory of Multi-Core System, Related Apparatus, System, and Storage Medium
US11620260B2 (en) Record property synchronization in a network computing system
JP2019212289A (ja) 情報を生成するための方法及び装置
CN113900966B (zh) 一种基于Cache的访存方法及装置
US20230298611A1 (en) Speech enhancement
WO2022001625A1 (zh) 数据查询方法、装置、计算机设备和存储介质
CN110909527B (zh) 文本处理模型的运行方法、装置、电子设备、及存储介质
Zhang et al. An encrypted speech retrieval algorithm based on Chirp-Z transform and perceptual hashing second feature extraction
JP4160564B2 (ja) 処理速度の向上した高速フーリエ変換装置およびその処理方法
CN113409827B (zh) 基于局部卷积块注意力网络的语音端点检测方法及系统
WO2019147441A1 (en) Wide key hash table for a graphics processing unit
WO2021031942A1 (zh) 一种针对目标频谱矩阵的处理方法及装置
US20130304754A1 (en) Self-Parsing XML Documents to Improve XML Processing
CN112397086A (zh) 语音关键词检测方法、装置、终端设备和存储介质
CN109241196A (zh) 数据查询方法及装置、设备
US11074230B2 (en) Data matching accuracy based on context features
WO2022222922A1 (zh) 语音信号的处理方法和装置
WO2019114044A1 (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US9792358B2 (en) Generating and using socially-curated brains

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20855214

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20855214

Country of ref document: EP

Kind code of ref document: A1