WO2011048815A1 - オーディオ符号化装置、復号装置、方法、回路およびプログラム - Google Patents

オーディオ符号化装置、復号装置、方法、回路およびプログラム Download PDF

Info

Publication number
WO2011048815A1
WO2011048815A1 PCT/JP2010/006234 JP2010006234W WO2011048815A1 WO 2011048815 A1 WO2011048815 A1 WO 2011048815A1 JP 2010006234 W JP2010006234 W JP 2010006234W WO 2011048815 A1 WO2011048815 A1 WO 2011048815A1
Authority
WO
WIPO (PCT)
Prior art keywords
pitch
parameter
range
audio signal
encoded
Prior art date
Application number
PCT/JP2010/006234
Other languages
English (en)
French (fr)
Inventor
石川　智一
則松　武志
コック セン チョン
フアン ゾウ
ハイシャン ジョン
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2011537144A priority Critical patent/JP5530454B2/ja
Priority to EP10824667.9A priority patent/EP2492911B1/en
Priority to CN2010800036592A priority patent/CN102257564B/zh
Priority to US13/141,169 priority patent/US8886548B2/en
Publication of WO2011048815A1 publication Critical patent/WO2011048815A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G10L19/265—Pre-filtering, e.g. high frequency emphasis prior to encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/09—Long term prediction, i.e. removing periodical redundancies, e.g. by using adaptive codebook or pitch predictor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals

Definitions

  • the present invention relates generally to a converted audio encoding system, and more particularly to a converted audio encoding system that improves encoding efficiency and sound quality by shifting the pitch frequency of an input audio signal using a time expansion / contraction technique.
  • the audio encoding system can be applied not only to audio but also to a speech signal, and can be used for a mobile phone, a telephone / video conference.
  • the transform coding technique is designed to efficiently encode an audio signal.
  • human speech the fundamental frequency of the signal changes from time to time.
  • the energy of the speech signal is spread over a wide frequency band.
  • the time expansion / contraction technique is used in the prior arts [3] and [4] to compensate for the influence of pitch change.
  • FIG. 10 is a diagram showing an example of the concept of shifting the basic frequency.
  • Time expansion / contraction technology is used to realize pitch shift.
  • the spectrum in the column (a) in FIG. 10 is the original spectrum, and the spectrum in the column (b) in FIG. 10 is the spectrum after the pitch shift.
  • the basic frequency is shifted from 200 Hz to 100 Hz. In this way, the pitch is stabilized by shifting the pitch of the next frame to match the pitch of the preceding frame.
  • FIG. 11 is a diagram showing the spectrum after the pitch shift.
  • the signal in column (a) of FIG. 11 is a sweep signal. And the signal of the (b) column of FIG. 11 is a signal after a pitch shift, and the pitch in the (b) column becomes constant.
  • the two spectra in column (c) of FIG. 11 are the spectra of signal (a) and signal (b).
  • the energy of the signal (b) is limited to a narrow band.
  • the pitch shift as described above is achieved using a resampling method.
  • the resampling rate changes according to the pitch change rate.
  • the pitch contour of the input frame is obtained by applying the pitch tracking algorithm.
  • FIG. 8 is a diagram for explaining segmentation of one audio frame.
  • the frame is segmented into small sections for pitch tracking.
  • adjacent sections may overlap. That is, for example, in at least one combination, one section (a part) of two sections adjacent to each other in the combination may overlap the other section (a part).
  • Each section has a pitch value corresponding to that section.
  • FIG. 15 is a diagram showing processing for calculating the pitch contour.
  • the signal in the column (a) in FIG. 15 is a signal having a time-varying pitch.
  • One pitch value is calculated from one section of the signal.
  • a pitch contour is a chain of pitch values.
  • the resampling rate is proportional to the pitch change rate.
  • the pitch change information is extracted from the pitch contour.
  • cents and semitones are frequently used to measure the pitch change rate.
  • FIG. 12 is a diagram showing the lengths of cents and semitones. The cent is calculated from the pitch ratio of adjacent pitches.
  • Resampling is applied to the time domain signal according to the pitch change rate.
  • the pitch of the other sections is shifted to the reference pitch to obtain a stable pitch. For example, if the pitch of the next section is higher than the previous pitch, the resampling rate is set lower in proportion to the cent difference between those two pitches. Otherwise, the sampling rate must be higher.
  • the sound range is shifted to a lower frequency by lowering the playback speed of the high-pitched sound. This is similar to the concept of resampling the signal in proportion to the pitch change rate.
  • FIG. 13 and FIG. 14 show an encoding system incorporating a time expansion / contraction method.
  • FIG. 13 is a block diagram of time expansion and contraction in the encoder (encoder 13A).
  • FIG. 14 is a block diagram of time expansion and contraction in the decoder (decoder 14A).
  • the time domain signal is time stretched before transform coding.
  • Pitch information is required for inverse time expansion and contraction in the decoder.
  • the pitch ratio must be encoded with an encoder.
  • time expansion / contraction The motivation for using time expansion / contraction is to stabilize the pitch within one frame and achieve improved coding efficiency.
  • the time expansion / contraction depends to some extent on the accuracy of pitch tracking.
  • pitch contour detection is that difficulties may arise due to changes in signal amplitude and trajectory.
  • post processing methods such as smoothing and fine adjustment threshold parameters have been introduced to improve pitch detection accuracy, but these methods are based on a specific database.
  • time expansion / contraction is applied based on an inaccurate pitch contour, the sound quality deteriorates and the bits used for transmitting the time expansion / contraction information are wasted. Therefore, it is necessary to design time expansion / contraction that does not use the detected pitch contour as a guideline.
  • the saved bits can be used for transform encoding, so that the sound quality can be improved and the signal has a large pitch change. Can respond.
  • a simple method of incorporating the time expansion / contraction method into the transform encoding system is to directly connect the time expansion / contraction method to the transform encoding.
  • the time scaling scheme is independent of transform coding. Since the purpose of the time expansion / contraction is to improve the efficiency of transform coding, it is useful for the time stretching to use some coding information from the transform coding system.
  • the current transform coding structure using time expansion / contraction needs to be improved.
  • Another object includes providing an encoding device, a decoding device, and the like in which the range of the pitch change ratio (see the ratio 88 in FIG. 18) can be an appropriate range (see the range 86). Another object is to provide an encoding device or the like that can perform high-quality sound when appropriate processing is performed at a pitch change ratio in a wider range (see the ratio 88 in FIG. 18). including. Another object is to generate data (see data 90L in FIG. 22) of the code (see reference numeral 90 in FIG. 18) in which the pitch (see pitch 822 in FIG. 16, ratio 83, ratio 88 in FIG. 18, etc.) is encoded. For example, an encoding device that can reduce the amount of data (for example, an average amount). Then, another object includes providing an encoding device or the like that performs processing in a standard such as ISO that will be defined in the future and that performs processing relatively appropriately.
  • a standard such as ISO that will be defined in the future and that performs processing relatively appropriately.
  • the encoding device includes a pitch detector that detects pitch contour information of an input audio signal, and a range (range) of the bit change ratio (see Tw_ratio in FIG. 18) based on the detected pitch contour information.
  • 86) is the cent number of the pitch change ratio (Tw_ratio: 1.0416, 1.0293, 0.9772, 0.9715, 0.9604) of the range (see the range 86a) (cent: 60, 50,
  • the absolute value of ⁇ 40, ⁇ 50, ⁇ 60) is a pitch change ratio (Tw_ratio, Tw_ratio_index: FIG. 18) that is a range (range 86) of a range (range 86) including a range (range 86a) that is 42 or more.
  • a pitch parameter generator that generates a pitch parameter, a first encoder that encodes the generated pitch parameter, and the input audio according to the pitch contour information.
  • a pitch shifter that shifts the pitch frequency of the audio signal, a second encoder that encodes the shifted audio signal that is output from the pitch shifter, the encoded pitch parameter that is output from the first encoder, and
  • a multiplexer that generates a bit stream including the encoded pitch parameter and the data by combining the data encoded from the audio signal output from the pitch shifter and output from the second encoder;
  • the first encoder sets the pitch parameter (see the ratio 88 in FIG. 18) to the cent number having a relatively small absolute value (see cent in FIG. 18).
  • the pitch parameter of the pitch change ratio see the ratio 88a
  • it is encoded into a coding pitch parameter (see the code 90a) of a code having a relatively short code length, and a cent number having a relatively large absolute value is obtained.
  • the pitch parameter is the pitch parameter of the pitch change ratio (see the ratio 88b)
  • an encoding device that encodes the encoded pitch parameter (see the code 90b) of the code having a relatively long code length is constructed.
  • a decoding device is a decoding device that decodes a bitstream including encoded data of a pitch-shifted audio signal and encoded pitch parameter information, from the bitstream to be decoded to the bitstream.
  • a demultiplexer that separates the encoded data and the encoded pitch parameter information included therein, and a domain of the bit change ratio (see Tw_ratio in FIG. 18) from the separated encoded pitch parameter information ( Range 86) is the cent number (cent: 60, 50, cent) of the pitch change ratio (Tw_ratio: 1.0416, 1.0293, 0.9772, 0.9715, 0.9604) of the range (range 86a).
  • the absolute value of ⁇ 40, ⁇ 50, ⁇ 60) is the range (range 86) of the range (range 86) including the range (range 86a) that is 42 or more. 6) a first decoder that generates a decoding pitch parameter including a pitch change ratio (Tw_ratio, Tw_ratio_index: FIG. 18), a pitch contour reconstructor that restores pitch contour information according to the generated decoding pitch parameter, A second decoder that decodes the separated encoded data to generate the pitch-shifted audio signal; and the pitch-shifted audio according to the reconstructed pitch contour information that is the restored pitch contour information An audio signal reconstructor that converts a signal into an original audio signal.
  • a first decoder that generates a decoding pitch parameter including a pitch change ratio (Tw_ratio, Tw_ratio_index: FIG. 18), a pitch contour reconstructor that restores pitch contour information according to the generated decoding pitch parameter,
  • a second decoder that decodes the separated encoded data to generate the
  • the first decoder uses the separated encoded pitch parameter information when the encoded pitch parameter information is encoded pitch parameter information of a code having a relatively short code length. Is decoded into a pitch parameter of a relatively small absolute value cent number pitch change ratio, and when the code pitch parameter information of a code having a relatively long code length, A decoding device for decoding the pitch change ratio into a pitch parameter is constructed.
  • the following signal processing system including an encoding device and a decoding device may be constructed (see also the description at the beginning of the embodiment, etc.).
  • the encoding device in the signal processing system, the encoding device generates the second signal in which the pitch shifter shifts the pitch of the first signal from the first signal to a predetermined pitch.
  • the second encoder encodes the generated second signal into a third signal, and the pitch parameter generator identifies the pitch of the first signal before being shifted.
  • a pitch change ratio is calculated, and the first encoder is an encoding device that encodes the calculated pitch change ratio into a code.
  • the second decoder In the decoding apparatus, the second decoder generates the second signal generated from the first signal, the pitch of the first signal being shifted to the predetermined pitch.
  • the encoded third signal is decoded into the second signal, and the audio signal reconstructor generates the first signal from the decoded second signal, and the first signal
  • a decoder decodes the code into the pitch change ratio, and the pitch contour reconstructor specifies the pitch at which the first signal of the pitch is generated, which is specified by the decoded pitch change ratio. It is a decoding device to calculate.
  • the code that is encoded into the pitch change ratio and decoded into the pitch change ratio is a pitch between two pitches having a pitch difference of 0 cents corresponding to the pitch change ratio corresponding to the code.
  • the first pitch change ratio has a relatively small difference with respect to the change ratio
  • the first code has a relatively short code length
  • the second pitch change ratio has a relatively large difference.
  • the second code has a relatively long code length.
  • the third signal in which the shifted second signal is encoded is generated by the encoding device, and the operation in which the decoding device decodes the first signal before the shift is performed.
  • the pitch change ratio of the pitch of the signal of the signal is only performed when the difference that the pitch change ratio of 0 cents has with respect to the pitch change ratio is equal to or smaller than a threshold value, and is not performed when the difference is larger than the threshold value. It is not a value at a pitch of less than 42 cents, but a value at a pitch greater than 42 cents.
  • the harmonics are corrected along with the pitch shift, so it is necessary to consider the harmonic structure of the signal during time expansion and contraction.
  • the proposed harmonic time expansion / contraction method improves the sound quality by correcting the pitch contour and taking into account the harmonic structure during time expansion / contraction based on the analysis of the harmonic structure.
  • the proposed dynamic time expansion and contraction also evaluates the efficiency of time expansion and contraction by comparing the harmonic structures before and after the time expansion and contraction, and decides whether to use the time expansion and contraction for the target frame. It removes the inaccuracy caused by inaccurate pitch contours.
  • the pitch contour information is sent directly to the decoder without being compressed.
  • dynamic time expansion / contraction a method for encoding time expansion / contraction parameters more efficiently is proposed. After the statistical analysis of the pitch contour for time expansion / contraction, it can be seen that the time expansion / contraction is enabled only at a few positions where the pitch changes in the signal frame.
  • the proposed dynamic time expansion / contraction also supports a wide range of time expansion / contraction values. Note that “corresponding” means that an appropriate operation can be performed.
  • the saved bits are used for transform coding and the sound quality is improved by a wide range of time scaling values.
  • MS stereo mode (Mid Stereo Mode) is used to encode stereo audio signals.
  • MS stereo mode Mid Stereo Mode
  • the left and right channels have similar characteristics to each other, it is more efficient to use the same time scaling parameter for the left and right signals.
  • sharing the time expansion / contraction may lower the coding efficiency. Therefore, the MS mode is introduced for time expansion and contraction in the proposed transform coding structure.
  • the bit stream (see the bit streams 106x, 205i, etc.) received by the decoding device has a plurality of positions (see sections 841 to 84M) in one frame (see the frame 84F in FIG. 16).
  • the signal at the pitch change position (see position 704p in FIG. 9) is TimeWarp (pitch shifted) by the audio signal reconstructor, and the signals at other positions are not subjected to TimeWarp (see position 704p).
  • the pitch contour is corrected based on information obtained by analyzing the harmonic structure of the audio signal, and the efficiency of time expansion / contraction is evaluated by comparing the harmonic structures before and after the time expansion / contraction process. .
  • the time expansion / contraction technique of the present invention can improve sound quality and encoding efficiency of an audio encoding system by using MS stereo mode information from transform encoding.
  • the range of the pitch change ratio can be an appropriate range (see the range 86).
  • the data amount (for example, the average of the data amount) of the code (see the reference numeral 90 in FIG. 18) in which the pitch (see the pitch 822 in FIG. 16, the ratio 83, the ratio 88 in FIG. 18, etc.) is encoded can be reduced. .
  • FIG. 1 is a block diagram of an encoder that uses dynamic time stretching.
  • FIG. 2 is a block diagram of a decoder that uses dynamic time stretching.
  • FIG. 3 is a block diagram of a decoder that uses a modified dynamic time warp decoder.
  • FIG. 4 is a block diagram of an encoder that uses dynamic time stretching using the MS mode.
  • FIG. 5 is a block diagram of a decoder using dynamic time warping utilizing the MS mode.
  • FIG. 6 is a block diagram of an encoder that uses a modified dynamic time warping utilizing the MS mode.
  • FIG. 7 is a block diagram of an encoder using closed loop dynamic time stretching.
  • FIG. 8 is a diagram for explaining segmentation of one audio frame.
  • FIG. 9 is a diagram illustrating the calculation of the vector C.
  • FIG. 1 is a block diagram of an encoder that uses dynamic time stretching.
  • FIG. 3 is a block diagram of a decoder that uses a modified dynamic time warp decoder
  • FIG. 10 is a diagram for explaining the pitch shift.
  • FIG. 11 shows the spectrum after the pitch shift.
  • FIG. 12 is a diagram illustrating cents and semitones.
  • FIG. 13 is a block diagram of time expansion and contraction in the encoder.
  • FIG. 14 is a block diagram of time expansion / contraction in the decoder.
  • FIG. 15 is a diagram for explaining the calculation of the pitch contour.
  • FIG. 16 shows a spectrum based on a logarithmic scale.
  • FIG. 17 is a diagram illustrating pitch shift using harmonics.
  • FIG. 18 is a diagram showing a table.
  • FIG. 19 is a diagram showing a table in the preceding example.
  • FIG. 20 is a diagram illustrating an encoding device and a decoding device.
  • FIG. 21 is a flowchart showing the flow of processing.
  • FIG. 22 is a diagram illustrating data in each of the preceding example and the present apparatus.
  • the encoding apparatus (encoding apparatus 1) of the embodiment provided in the system of the embodiment (system 2S in FIG. 20) is an input audio signal (signal 101i (FIG. 1): see signal 811 in FIG. 11).
  • Pitch detector pitch contour analysis block (pitch contour analysis unit) for detecting pitch contour information (information (pitch) 101x, pitch 822 (FIG. 15))) 101) and the detected pitch contour information (information 101x), the range (range 86) of the bit change ratio (Tw_ratio (FIG. 18), ratio 83 (FIG. 15), ratio 88 (FIG. 18)).
  • FIG. 18 shows the cent number (cent: 60) of the pitch change ratio (Tw_ratio: 1.0416, 1.0293, 0.9772, 0.9715, 0.9604) of the range (range 86a).
  • 50, ⁇ 40, ⁇ 50, ⁇ 60) is a pitch change ratio (Tw_ratio: FIG. 18) that is a range (range 86) of a range (range 86) including a range (range 86a) that is 42 or more.
  • a pitch parameter generator dynamic time expansion / contraction block 102 for generating pitch parameters (parameter (pitch change ratio) 102x, ratio 88 (FIG. 18)), and the generated pitch parameter (parameter 102x) (reference numeral 90).
  • the first encoder for encoding (to FIG. 18) and the pitch contour information (information (pitch) 101x, pitch 822), the input audio signal (signal (first signal) ) 101i) Pitch shifter for shifting the pitch frequency (pitch 822: FIG. 15) (to the reference pitch 82r (FIG.
  • a coding apparatus comprises a multiplexer circuit) 106) and (encoder 1).
  • 1 cent is, for example, a pitch that is only 1 / 100th of a pitch 90j (FIG. 12) of 100 cents that constitutes a semitone (see two pitches (see two pitches 821 and 822 in FIG. 15)). Difference), in other words, a pitch of only 1 / 1200th of a pitch of one octave.
  • the entire pitch parameter to be generated may be the pitch change ratio, or a part may be the pitch change ratio. Then, such a pitch parameter whose part or the like is the pitch change ratio may be one of a plurality of generated pitch parameters.
  • the first encoder uses the pitch parameter (parameter 102x (FIG. 1), ratio 88 (FIG. 18)) and the pitch parameter (ratio 88) is relatively small.
  • Pitch change ratio for example, 1.0 at two pitches of pitch width (see pitches 821 and 822 (see FIG. 15)) of cent number ( ⁇ 0: see cent in FIG. 18) of value (0) )
  • Pitch parameter (ratio 88a) a coding pitch parameter (symbol 90a) of a code (symbol 90a: "0") of a relatively short code length (length 1: see bits in FIG. 18).
  • the encoding apparatus (encoding apparatus 1) is encoded to encode the encoding pitch parameter (reference numeral 90b) of the length 6) code (reference numeral 90b: “111100”).
  • the decoding apparatus includes encoded data (third signal) 204i of the pitch-shifted audio signal (second signal 203ib: FIG. 2), and encoding pitch.
  • a decoding device decoding device 2 that decodes a bit stream (stream 205i (stream 106x)) including parameter information (parameter 201i, code 90), from the bit stream (stream 205i) to be decoded
  • a demultiplexer that separates the encoded data (third signal 204i in FIG. 2 (third signal 105x in FIG. 1)) and the encoded pitch parameter information (parameter 201i, reference numeral 90) included in the stream, respectively. (Multiplexer block 205) and the separated encoded pitch parameter information (parameter).
  • the range (range 86) of the bit change ratio (ratio 88, Tw_ratio_index, Tw_ratio: FIG. 18) is the pitch change ratio (Tw_ratio: 1.0416) of the range (86a).
  • 0293, 0.9772, 0.9715, 0.9604 including the range (range 86a) in which the absolute value of the cent number (cent: 60, 50, ⁇ 40, ⁇ 50, ⁇ 60) is 42 or more First decoder (lossless decoding block) that generates a decoding pitch parameter (parameter 202i, code 90) including a pitch change ratio (ratio 88, Tw_ratio_index, Tw_ratio: FIG.
  • a constructor dynamic time expansion / contraction reconstruction block 202 and the separated encoded data (signal 204i, third signal 204i) are decoded and the pitch-shifted audio signal (signal (second signal)) is decoded. 203ib), and the pitch-shifted audio signal (signal (signal (2)) according to reconstructed pitch contour information (information 203ia, pitch 822) that is the restored pitch contour information.
  • An audio signal reconstructor (time expansion / contraction block 203) that converts (second signal) 203ib) into the original audio signal (second signal 203x) (having the pitch specified by the reconstructed pitch contour information); Is a decoding device (decoding device 2).
  • the first decoder uses the separated encoded pitch parameter information (parameter 201i (FIG. 2), code 90 (FIG. 18)) as the encoded pitch.
  • the parameter information (code 90 (FIG. 18)) is coded pitch parameter information (code 90a) of a code (code 90a: “0”) of a relatively short code length (length 1: see bits in FIG. 18).
  • decoding into a pitch parameter (ratio 88a) of a pitch change ratio (1.0, ratio 88a) of a relatively small absolute value (0) cent number (0: see cent in FIG.
  • an encoding device see, for example, encoding device 1 (FIG. 1, FIG. 20), step S1 (FIG. 21), etc.
  • a decoding device see decoding device 2, step S2, etc.
  • the following signal processing system may be constructed.
  • the pitch shifter (time expansion / contraction unit 104) is configured so that the pitch shifter (time expansion / contraction unit 104) receives the first signal (first signal 101i, input audio signal (previously described): FIG. 1) Second signal (second signal 104x, shifted audio signal (previously described)) in which the pitch of the first signal (pitch 822: FIG. 15) is shifted to a predetermined pitch (reference pitch 82r). ), And the second encoder (conversion encoder 105) outputs the generated second signal (second signal 104x) from the third signal (third signal 105x, pitch shifter).
  • the audio signal is encoded into encoded data (described above), and the pitch parameter generator (pitch parameter generator (dynamic time expansion / contraction block) 10) is encoded.
  • the pitch parameter generator pitch parameter generator (dynamic time expansion / contraction block) 10) is encoded.
  • the second signal (conversion decoder 204) is generated from the first signal (first signal 203x (first signal 101i)).
  • the second signal (second signal 203ib (second signal) in which the pitch (pitch 822: FIG. 15) of (first signal 203x) is shifted to the predetermined pitch (reference pitch 82r).
  • 104x) is encoded into the third signal (third signal 204i (third signal 105x)) to the second signal (second signal 203ib (second signal 104x)).
  • the audio signal reconstructor (time expansion / contraction unit 203) generates the first signal (first signal 203x) from the decoded second signal (second signal 203ib), and the first signal 203x is decoded.
  • Lissless decoding unit 201 converts the code (parameter 201i (parameter 103x), code 90 (FIG. 18)) into the pitch change ratio (parameter 202i (parameter 102x), ratio 88 (number of the ratio 88), Tw_ratio, Tw_ratio_index), and the pitch contour reconstructor (202) is identified by the decoded pitch change ratio (ratio 88), and the first signal (first signal) of the pitch (pitch 822) is specified.
  • 203x) is a decoding device (decoding device 2: decoding device 2c, 2g (FIG. 2, FIG. 5, etc.)) that calculates the pitch (pitch 822).
  • Non-Patent Documents 1 to 4, etc. The technical development of this type of signal processing system is currently in progress (see Non-Patent Documents 1 to 4, etc.), and such a signal processing system is often not well understood. .
  • this signal processing system is a signal processing system in a standard to be determined in the future.
  • the shifted second signal (second signal 104x, 203ib) is encoded into the third signal (third signal 105x, 204i).
  • the converted third signal is decoded into the second signal.
  • the sound data (third signal) subjected to processing such as communication from the encoding device to the decoding device can be made into more appropriate data such as data having a small data amount.
  • the pitch change ratio is calculated and the second signal decoded from the third signal is shifted, the shift to the pitch specified by the calculated pitch change ratio is reliably performed.
  • the pitch of the shift destination can be set to an appropriate pitch.
  • the calculated pitch change ratio is encoded into a code, and the encoded code is decoded into the pitch change ratio so that a code having a data amount smaller than the data amount of the pitch change ratio is communicated.
  • the amount of data of the pitch data (the code in which the pitch change ratio is encoded (code 90)) to be processed can be reduced.
  • the code (the ratio 88) is encoded and the code (the ratio 88) is decoded into the pitch change ratio (the ratio 88).
  • Reference numeral 90 indicates that the pitch change ratio (ratio 88) corresponding to the reference numeral (reference numeral 90) is a pitch change ratio between two pitches having a pitch difference of 0 cents (a ratio 88x of 1.0: FIG. 18).
  • the first pitch change ratio (ratio 88a) having a relatively small difference (0 cent)
  • the first code (code 90a) having a relatively short code length (length 1).
  • the second code (symbol 90b) having a relatively long code length is used.
  • variable length coding according to the difference (whether it is close to the 0 cent ratio 8x (how far away)) may be used.
  • the data amount of the third signal (signals 105x and 204i) is reduced, and the data amount of the pitch data (signals 103x and 201i) to be processed such as communication can be further sufficiently reduced.
  • the third signal in which the shifted second signal (signal 104x, 203ib) is encoded.
  • 105x) is generated by the encoding device and decoded by the decoding device (S1, S2 in FIG. 21) is the first signal (first signal 101i, 203x) before being shifted.
  • the range (range) of the pitch change ratio (ratio 88) in which the above-described operation is performed may be set to a range 86 (FIG. 18) wider than (range 87 in the previous example).
  • the pitch change ratio in a wider range is encoded, and the data amount of the encoded code 90 data (data 90L in FIG. 22) is further increased.
  • the data amount of the encoded data 90L is, for example, a data amount (substantially) smaller than the data amount of the data 91L (FIG. 19) encoded with the fixed-length code 91 in the preceding example. It is avoided that the data amount becomes too small, the data amount is relatively close (for example, the same data amount may be sufficient), and the data amount after encoding can be made an appropriate data amount. .
  • the range of the pitch change ratio range is such that the amount of data of the encoded code 90 (data 90L) is, for example, a fixed length.
  • a range (threshold value) that is an appropriate data amount such as a data amount that is relatively close to the data amount of data (for example, data 91L) at the time of encoding (preceding example).
  • the pitch change ratio (ratio 88) is as large as the pitch change ratio in the range 86a in which the cent number is greater (42 cents) than the previous pitch (pitch 821: FIG. 15). It was noticed that the pitch change ratio of the changed pitch (pitch 822: FIG. 15) is often (to some extent).
  • the pitch change ratio belongs to the above-mentioned wider range (range 86), and the third signal 105x is generated.
  • the sound quality can be improved, for example, by avoiding the process of generating another signal having a sound quality lower than that of the third signal 105x.
  • the code 90a having the short code length (length 1) described above is the code 90 having the pitch change ratio 88a in the range 87 in less than 42 cents.
  • a code 90b having a long code length (length 6) is a code 90 having a pitch change ratio 88b in a range 86a of 42 cents or more.
  • This threshold value (“0.0416” in the above description) is, for example, the value of each value belonging to the range of the pitch change ratio range (range 86 in FIG. 18, 1.0416 to 0.9604). Among them, the value in the cent number of the largest absolute value (1.0416). That is, in this way, by setting the threshold value to a high value (for example, “0.0416” described above), only the range 87 in which the range 86 is less than 42 (see 1.02285 to 0.982857 in FIG. 19). In addition, a range 86a of 42 cents or more (a range between 1.0416 to 1.0293 and 0.9772 to 0.9604 in FIG. 18) is also included, and a wider range may be included. Good.
  • FIG. 1 is a diagram showing an example of a proposed encoder (encoding device).
  • one frame of the left and right signals is transmitted to a block 101 which is a pitch contour analysis block.
  • 101 pitch contour analysis block (pitch contour analysis unit) 101
  • the pitch contours of the left and right channels are calculated separately. That is, the pitch contour of each channel is calculated.
  • the pitch contour detection algorithm described in the prior art can be used here (pitch contour analysis unit 101).
  • one frame is segmented into M overlapping segments.
  • M pitches are calculated from M sections.
  • the pitch contours of the left and right channels extracted in block 101 are sent to block 102 which is a dynamic time expansion / contraction block. Then, the block 102 is based on the extracted pitch contour information composed of the pitch change section information (time expansion / contraction position) and the pitch change ratio (time expansion / contraction value) of the adjacent section corresponding thereto in each audio frame. Generate pitch parameters.
  • the pitch parameter is also referred to as a dynamic time expansion / contraction parameter.
  • This dynamic time expansion / contraction parameter is sent to the block 103 which is a lossless encoding block.
  • the lossless encoding block further compresses the time expansion / contraction value to generate an encoding time expansion / contraction parameter.
  • a general lossless encoding technique is used.
  • the generated encoding time expansion / contraction parameter is sent to a block 106 which is a multiplexer (multiplexer block, multiplexer circuit), and a bit stream is generated.
  • the dynamic time expansion / contraction parameter is sent to the block 104 which is a time expansion / contraction block.
  • Block 104 resamples the input signal according to the time stretch parameter.
  • the left and right signal pitches are shifted (time stretched) separately according to the corresponding dynamic time stretch parameters.
  • the signal after the time expansion / contraction is sent to the block 105 which is a conversion encoder.
  • the encoded signal and related information are also sent to block 106, which is a multiplexer.
  • the input signal of the block 101 in the first embodiment is not necessarily a stereo signal, and may be a monaural signal or a multi-signal.
  • the dynamic time stretching method can be applied to any number of channels.
  • the pitch contour is processed by a dynamic time expansion / contraction method to generate a dynamic time expansion / contraction parameter.
  • the generated dynamic time expansion / contraction parameter represents a position to which time expansion / contraction is applied and a time expansion / contraction value at the position. Sound quality is improved by the proposed dynamic time expansion and contraction method.
  • lossless encoding is also introduced.
  • pitch detection is a difficult problem because the amplitude and period of the signal change. That is, when the pitch contour information is directly used for time expansion / contraction, the inaccuracy of the pitch contour affects the time expansion / contraction performance. Since the harmonics of the signal are corrected in proportion to the pitch shift during the time expansion / contraction, it is necessary to consider the influence of the time expansion / contraction on the harmonics.
  • the pitch contour is corrected and a more efficient dynamic time expansion / contraction parameter is generated. This consists of three parts.
  • the performance of time expansion and contraction is evaluated by comparing the harmonic structures before and after time expansion and contraction.
  • the pitch contour is modified. Similar to the first embodiment, an audio frame is segmented into M sections for pitch calculation.
  • the pitch contour has M pitch values (pitch 1 , pitch 2 ,..., Pitch M ).
  • the pitch is shifted close to the reference pitch value.
  • a stable reference pitch is obtained after time expansion and contraction.
  • the signal harmonics can be shifted to the vicinity of the reference pitch harmonics.
  • FIG. 17 is a diagram illustrating pitch shift using harmonics.
  • FIG. 17 An example is shown in FIG. As shown in FIG. 17, the reference pitch and the respective reference harmonics are shown by broken lines (three places).
  • the detected pitch is close to the harmonics of the reference pitch.
  • ⁇ f 1 > ⁇ f 2 means the following. That is, ⁇ f 1 > ⁇ f 2 is such that a larger expansion / contraction value (see ⁇ f 1 in FIG. 17) is used to shift the detected pitch to the reference pitch, and the detected pitch is used as the reference pitch harmonics. Means that a smaller scaling value (see ⁇ f 2 in FIG. 17) is used to shift to.
  • the dynamic time expansion / contraction process corrects the pitch contour and enables the shift of harmonic components. Details of this correction processing will be described below.
  • the proposed dynamic time expansion and contraction compares the difference between the detected pitch and the reference pitch.
  • pitch ref in Equation 2 below (Expression 2) represents a reference pitch value.
  • pitch i is the section i, representing the detected pitch value.
  • pitch ref is an integer and k> 1.
  • Equation 2 If there is a value of k that satisfies Equation 2 below, The value pitch i must be shifted to “k ⁇ pitch ref ” at the value of k, which is the harmonic of the reference pitch value. The detected pitch i is corrected to pitch i / 2.
  • pitch i is corrected to k ⁇ pitch i .
  • time expansion / contraction is applied, and the performance is evaluated by comparing the harmonic structures before and after the time expansion / contraction.
  • the sum of the harmonic components before and after the time expansion and contraction is used as a performance evaluation criterion in the second embodiment.
  • the harmonics of the pitch value of section i are calculated as follows.
  • q is the number of harmonic components.
  • S (•) represents the spectrum of the signal.
  • Pitch i is a pitch value detected in pitch contours pitch 1 , pitch 2 ,..., Pitch M.
  • S ′ (•) represents the spectrum of the signal after time expansion and contraction.
  • the signal Prior to time scaling, the signal consists of pitch 1 , pitch 2 ,..., Pitch M harmonics.
  • the harmonic ratio HR is defined to represent the energy distribution between these harmonic components as follows.
  • the harmonics ratio HR ′ is calculated as follows.
  • H ′ (pitch ref ) is the sum of the harmonics of the reference pitch after time expansion and contraction.
  • dynamic time stretching parameters are generated using an efficient method.
  • Pitch change position in the frame since not many in the frame can be designed with a pitch change position, so as to encode separately a value Delta] p i, efficient manner.
  • the corrected pitch contour is normalized.
  • the difference between adjacent corrected pitches is calculated as follows.
  • FIG. 9 is a diagram illustrating the calculation process of the vector C.
  • FIG. N An example of the setting contents of the vector C is shown in FIG. N is defined as the number of sections where the pitch varies and ⁇ p i ⁇ 1.
  • a dynamic scheme is used to encode the vector C and the time scaling value ⁇ p i for which ⁇ p i ⁇ 1.
  • a flag A is then generated to indicate which method has been selected.
  • the time stretch value ⁇ p i with ⁇ p i ⁇ 1 and the vector C must be sent to the decoder.
  • N 0 and If so, it means that the number of pitch change points is small. In this case, it is more efficient to directly encode the position of the pitch change point.
  • the flag A is set to 2 and log 2 M bits are used to encode the positions marked 0 in vector C.
  • the position of the pitch change point is 2, and 3 bits are used for encoding position 2.
  • Flag A the number of pitch change point N, the pitch change position, and, Delta] p i is a Delta] p i ⁇ 1 is sent to block 103.
  • the saving of bit-rate, lossless encoding may be used.
  • ⁇ p i 1.
  • Only the first two schemes may be used for block 102 for the purpose of reducing complexity.
  • Dynamic time stretching allows the harmonic structure to be rebuilt through time stretching. Since the energy is limited to the reference pitch and its harmonic components, the coding efficiency is improved.
  • the evaluation scheme reduces the dependency on the accuracy of pitch detection and improves the performance of the coding system.
  • An efficient method for encoding the time expansion / contraction parameter can improve the sound quality by reducing the bit rate and can cope with the encoding of a signal having a larger pitch change rate.
  • FIG. 2 is a block diagram of the third embodiment.
  • a block 205 which is a demultiplexer, divides the input bitstream into an encoded time stretch parameter, an encoded audio signal, and associated transform encoder information.
  • the encoding time expansion / contraction parameter is sent to the block 201 which is a lossless decoding block.
  • the block 201 which is a lossless decoding block.
  • dynamic time expansion / contraction parameters are generated.
  • Dynamic time warping is composed of flags and the information of the position where time warping is applied, the time warping value Delta] p i corresponding thereto.
  • Dynamic time expansion / contraction information is sent to block 202 which is a dynamic time expansion / contraction reconstruction block.
  • Block 202 decodes the time stretch parameter from the dynamic time stretch parameter.
  • the block 204 which is a conversion decoder decodes the encoded signal based on the conversion encoder information from the demultiplexer block 205. It decodes the time stretched signal.
  • the time expansion / contraction block 203 receives the time expanded / contracted signal and applies the time expansion / contraction to the input signal. This time expansion / contraction process is the same as the process in the block 104 in the first embodiment. The signal is not stretched according to the time stretch parameter and the audio signal.
  • Stretch dynamic time received by the expansion and contraction reconstruction dynamic time consists flag and the information of the position where time warping is applied, the time warping value Delta] p i corresponding thereto.
  • the flag is confirmed. If the flag is 0, it means that time expansion / contraction is not applied to the target frame. In this case, all the reconstructed pitch contour vectors are set to 1.
  • the flag is 1, it means that M bits are used for encoding the vector C indicating the position to which time expansion / contraction is applied. One bit is aligned to one position. 1 is marked as no pitch change, while 0 is marked as time expansion / contraction. By counting the number of zeros in vector C, the total number of time expansion points N can be determined. In the process, stretch value Delta] p i of N times is obtained from the buffer. ⁇ p i corresponds to the time expansion and contraction value.
  • c (i) 0.
  • the pseudo code is as follows.
  • the normalized pitch contour is reconstructed as follows.
  • the pitch contour is later used for time expansion and contraction.
  • FIG. 3 is a diagram showing the proposed encoder.
  • the difference between the encoding system shown in FIG. 1 and the encoder shown in FIG. 3 is in blocks 306 and 307.
  • the function of the lossless decoding 306 in FIG. 3 is the same as 201 in FIG.
  • the dynamic time expansion / contraction reconstruction block 307 is the same as 202 in FIG.
  • the encoder uses exactly the same time expansion / contraction parameters as the decoder.
  • the fifth embodiment increases the accuracy of time expansion and contraction in the encoder.
  • FIG. 4 is a diagram illustrating a configuration of the encoding device according to the sixth embodiment.
  • the MS mode is frequently used for encoding a stereo audio signal such as an AAC codec.
  • MS mode detects the similarity between the left and right channel subbands in the frequency domain. MS stereo mode is enabled when the left and right channel subbands are similar. Otherwise, the MS mode is not enabled.
  • the MS mode information can be used for many transform encodings, the MS mode information can be used for improving the performance of harmonic time expansion / contraction in dynamic time expansion / contraction.
  • the left and right channel signals are sent to block 401, which is an MS calculation block.
  • the MS calculation block calculates the similarity between the left and right signals in the frequency domain. This is the same as MS detection in general transform coding.
  • Block 401 generates a flag. If the MS mode is enabled for all subbands of the stereo audio signal, the flag is set to 1, otherwise the flag is set to 0.
  • block 402 which is a downmix block
  • the left and right channel signals are downmixed into a middle signal and a side signal.
  • the middle signal is sent to block 403, which is a pitch contour analysis block.
  • a block 403 which is a pitch contour analysis block, calculates pitch contour information in the same manner as the block 102 in FIG.
  • a set of pitch contours is generated for the downmixed signal. Otherwise, the pitch contours of the left and right signals are generated separately.
  • blocks 404, 405, and 406, 408 is the same as the description of the operations of blocks 103, 104, 105, and 196.
  • dynamic time compression is modified to be more suitable for stereo coding.
  • the left and right channels may have different characteristics.
  • different time compression parameters are calculated for different channels.
  • the left and right channels may have similar characteristics. It is reasonable to use the same time compression parameter for both channels. If the left and right channels are similar, more efficient audio coding can be achieved by using the same set of time compression parameters.
  • FIG. 5 is a block diagram of a decoding device according to the seventh embodiment.
  • the input bit stream is sent to the demultiplexer block 506.
  • the output of the block 506 is an encoding time compression parameter, transform encoder information, and an encoded signal.
  • the block 505 which is a conversion decoder decodes the encoded signal into a time compression signal according to the conversion encoder information, and extracts the MS mode information.
  • MS mode information is sent to the MS mode detection block 504.
  • the MS mode is enabled for all subbands of this frame, the MS mode is also enabled for time compression and the flag is set to 1. Otherwise, the MS mode is not used to reconstruct the harmonic time stretch and the flag is set to zero. The MS mode flag is sent to the harmonics time stretch reconstruction block 502.
  • the dynamic time expansion / contraction parameter is inversely quantized from the block 501 which is a lossless decoding block.
  • the dynamic time expansion / contraction reconstruction block 502 reconstructs the time expansion / contraction parameters according to the MS flag.
  • FIG. 6 is a block diagram of an encoder that uses a modified dynamic time warping utilizing the MS mode.
  • the fourth embodiment is changed so as to improve the accuracy of time expansion and contraction in the encoder.
  • a lossless encoding block 608 and a dynamic time expansion / contraction reconstruction block 609 are added to the encoding structure.
  • the purpose is to ensure that the encoder uses the same time scaling parameters as the decoder.
  • the description of blocks 608 and 609 is the same as the description of blocks 501 and 502 in FIG.
  • FIG. 7 is a diagram illustrating an encoding apparatus according to the ninth embodiment.
  • the configuration of the ninth embodiment is based on the configuration of the eighth embodiment, but a comparison scheme (comparison scheme 710) is added. Prior to sending the encoded signal and the time stretch parameter to the multiplexer 711 of FIG. 7, the encoded signal is verified in a comparison scheme 710. After decoding the time expansion / contraction, it is determined whether the overall sound quality is improved.
  • One example is to compare the SNR of the decoded signal with the original signal.
  • the time-scaled encoded signal is decoded by the transform decoder.
  • the time expansion / contraction is applied to the decoded time expansion / contraction signal using the same time expansion / contraction parameter as 708 in FIG. 7, and a non-expansion / contraction signal is generated.
  • SNR 1 is calculated.
  • This encoded signal is decoded by the same transform decoder, and the SNR 2 is calculated by comparing the decoded signal with the original signal.
  • the determination is made by comparing SNR 1 and SNR 2 . If SNR 1 > SNR 2 , the time stretch is selected and the first encoded signal, transform encoder information, and encoded time stretch parameters are sent to the decoder. Otherwise, time scaling is not selected and the second encoded signal and transform encoder information are transmitted to the decoder.
  • bit consumption can be compared instead of SNR.
  • the time expansion / contraction technique is used to compensate for the influence of pitch change in the audio encoding system.
  • a dynamic time expansion / contraction method is proposed.
  • the time expansion / contraction method of the present invention improves the sound quality by correcting the pitch contour and taking into account the harmonic structure during time expansion / contraction based on the analysis of the harmonic structure.
  • the dynamic time expansion / contraction method also evaluates the effectiveness of time expansion / contraction by comparing the harmonic structures before and after the time expansion / contraction, and determines whether or not the time expansion / contraction should be used for the target audio frame. This removes inaccuracies caused by inaccurate pitch contour information.
  • Dynamic time stretching also provides a more efficient way to encode time stretching parameters and uses MS mode information obtained from transform coding to improve sound quality and coding efficiency.
  • the encoding device 1 and the decoding device 2 may be constructed.
  • the following operation may be performed.
  • Some (or all) of the above-described processes may be the same (similar) to the operations described below.
  • the following processing may be performed in the encoding device 1.
  • the pitch of the signal 101i is the reference pitch (previously described: for example, the reference pitch in FIG. 15).
  • 82r may be generated (refer to signal 812 in FIGS. 1 and 11) (time expansion / contraction unit 104, step S104 in FIG. 21).
  • a shift to a shift destination pitch may be performed in this way.
  • the shift destination pitch may not be the reference pitch but may be a harmonic of the reference pitch (harmonic) or the like (see Formula 2 etc.).
  • the signal 101i (signal 104x) is, for example, of a plurality of channels such as a plurality of channels such as a stereo 2-channel, a 5.1-channel, or a 7.1-channel multichannel. It may be a signal in one channel.
  • the signal 101i refers to, for example, a plurality of sections (for example, M sections 84 (section 841 to section 84M) included in the frame 84F (FIG. 16) shown in FIG.
  • the signal in one or a part of the sections 84 may be used.
  • M in FIG. 16 may specifically be 16, for example.
  • the reference pitch (reference pitch 82r) described above is more appropriate when the signal 104x after being shifted to the reference pitch is encoded than when the signal 101i is encoded.
  • the pitch to be encoded is more appropriate when the signal 104x after being shifted to the reference pitch is encoded than when the signal 101i is encoded.
  • the term “appropriate” here means, for example, the amount of data after encoding (while maintaining the sound quality) when it is assumed that the signal 101 i before being shifted is encoded.
  • This also means that the data amount of the signal 105x (FIG. 1) obtained by encoding the signal 104x after the shift is smaller. That is, for example, the smaller data amount refers to a data amount that is the same as the sound quality of the data of that data amount and is smaller than the data amount of the other data in which the sound quality is maintained.
  • the reference pitch is a shift in another section (for example, the section 821 s adjacent to the section 822 s) other than the section of the signal 101 i (for example, the section 822 s in FIG. 15). ) Is the same pitch (reference pitch 82r) as the previous pitch (for example, reference pitch 82r).
  • the signal 104x (FIG. 1) after the shift may be encoded into the signal 105x (conversion encoder 105, step S105).
  • the signal 104x after the shift is easily spectrally encoded, and the signal that has been easily encoded is encoded, whereby the signal that is not shifted (the first signal 101i) is encoded.
  • the sound quality is the same, the amount of data required for encoding can be reduced.
  • the third signal 105x having a data amount smaller than the data amount of the directly encoded signal is encoded, and the third signal 105x having a smaller data amount is obtained as the encoded signal of the sound of the first signal 101i.
  • Signal 105x is used.
  • the parameter 102x (dynamic time expansion / contraction parameter, pitch parameter described above) for specifying the pitch of the signal 101i before the shift (see pitch 822 (FIG. 15)) may be calculated (pitch parameter).
  • pitch parameter dynamic time expansion / contraction parameter, pitch parameter described above
  • the calculated parameter 102x may be a predetermined ratio (ratio 88 (Tw_ratio) in FIG. 18: pitch change ratio described above).
  • the calculated ratio (ratio 88, parameter 102x) is changed from the predetermined pitch (see, for example, pitch 821 in FIG. 15) by the ratio (see ratio 83 shown in FIG. 15).
  • the specified pitch (pitch 822) can be specified (see the ratio 83 shown in FIG. 15).
  • the data of the ratio 88 is number data for specifying the number of the ratio 88 (FIG. Tw_ratio_index), and the ratio is indirectly determined by specifying the ratio of the specified number. May be specified.
  • Such number data may be calculated as the parameter 102x.
  • the ratio indicated by reference numeral 83 is schematically illustrated as the ratio between the pitch 821 and the pitch 822 depending on the position of the tip of the arrow line indicated by reference numeral 83.
  • the calculated parameter 102x is a signal obtained by decoding the signal 105x (the signal 204i in FIG. 2) when the encoded sound signal 105x is decoded (for example, by the decoding device 2) (FIG. 2).
  • Signal 203ib (signal 104x in FIG. 1)
  • a signal (signal 203x in FIG. 2 (signal 101i in FIG. 1)) having a pitch (see pitch 822) specified by the parameter 102x is generated (reverse shift). Parameter).
  • the parameter 102x is communicated from the encoding device 1 to the decoding device (decoding device 2), and the communicated parameter 102x (see the signal 201i in FIG. 2)
  • the above processing may be performed.
  • the pitch of the decoded signal (signal 203x in FIG. 2) can be surely set to an appropriate pitch (see pitch 822).
  • the sound data (pitch identification parameter 102x) is used together with the sound data (signal 104x, signal 105x in FIG. 1, signal 203ib, signal 204i in FIG. 2), and the sound data and pitch Two types of data may be used.
  • the calculated parameter 102x is encoded into the encoded parameter 103x (parameter 201i in FIGS. 1 and 2) having a data amount smaller than the data amount of the parameter 102x.
  • Lossless encoding Hassless encoding (Huffman code, Arithmetic encoding, etc.)
  • Lossless encoding 103, step S103 Lossless encoding 103, step S103.
  • the parameter 102x (pitch data) can also be encoded (lossless encoding) to reduce the data amount of the parameter 102x (pitch data).
  • the section of the time adjacent to the time of the section (section 822s) of the pitch (see, for example, pitch 822 of FIG. 15) that can be specified by the calculated parameter 102x (parameter 204i of FIGS. 1 and 2) 821s) (pitch 821).
  • the calculated parameter 102x is a ratio (ratio 83, Tw_ratio in FIG. 18) between the pitch (pitch 821) of the adjacent (section (section 821s)) and the pitch (pitch 822) of the parameter 102x.
  • the specified parameter may be used.
  • the ratio is calculated (specified), lossless encoding is performed on the calculated ratio, and the data after the ratio is irreversibly encoded may be used as the encoding time expansion / contraction parameter. (See description above).
  • the calculated parameter 102x specifies a pitch (pitch 822) having a change by a ratio specified by the parameter 102x (ratio 83 in FIG. 15) from the adjacent pitch (pitch 821), and determines the pitch ( The pitch 822) may be indirectly specified by the ratio.
  • the ratio 88a (eg, the ratio 88x itself) is relatively close to the ratio 88x (1.0 ratio: FIG. 18) of the 0 cent pitch change. Etc.) occur at a high frequency (appearance frequency), while a ratio 88b relatively distant from the ratio 88x (eg, the ratio of “1.0293” shown in FIG. 18) occurs at a low frequency. Noticed.
  • the frequency at which the ratio 88 occurs is a frequency according to whether the ratio 88 is close to the 0 cent ratio 88x (higher the closer to the 0 cent ratio 88x, and the lower the distance is). I realized that.
  • ratio 88 (parameter 102x) is a ratio that is relatively close to the ratio 88x of 0 cents (ratio 88a: FIG. 18) and is a ratio 88a that appears at a relatively high appearance frequency
  • a code having a relatively short code length (bit length, length) (a code (bit string) 90a (FIG. 18), for example, a code “0” having a length of 1 (see FIG. 18)) is encoded. May be.
  • the calculated ratio 88 (parameter 102x) is a ratio that is relatively far from the ratio 88x of 0 cents (ratio 88b), and is a ratio 88b that appears at a relatively low appearance frequency.
  • the code may be encoded into a relatively long code (code 90b, for example, code "111110" shown in FIG. 18 and having a code length of 6).
  • each ratio 88 (parameter 102x: ratio 88a, ratio 88b, etc.) thus calculated is whether the ratio 88 is close to the 0 cent ratio 88x (how much is the difference from the ratio 88x).
  • Variable length code 90 (codes 90a, 90b, etc.) having a code length corresponding to the appearance frequency corresponding to the frequency of appearance.
  • a table 103t (table data, table data) that associates an appropriate variable length code 90 (code 90a, 90b, etc.) corresponding to the ratio 88 with respect to the ratio 88 (ratio 88a, 88b, etc.).
  • Table 85 see FIG. 18, FIG. 20, FIG. 1, etc. may be stored.
  • this table 103t may be specifically memorize
  • the calculated ratio 88 (ratio 88a, 88b: parameter 102x (FIG. 1)) is associated with the variable length code 90 (reference 90a, 90b: parameter 103x (FIG. 1)). Then, the variable length coding may be performed by encoding the ratio 88.
  • the data amount of the parameter 103x (code 90) after encoding becomes smaller, and the amount of encoded data that can be used by the transform encoder can be indirectly increased, thereby improving the encoded sound quality. Can be made.
  • the following processing may be performed in the decoding device 2 (FIG. 2 and the like).
  • the signal 204i obtained by encoding the sound signal 203ib may be decoded into the signal 203ib (signal 104x) (conversion decoder 204, step S204).
  • the transform decoder may be an orthogonal transform coding method such as MPEG (Moving Picture Experts Group) -AAC (Advanced Audio Coding), or ACELP (Algebraic Code Exited Linear Prediction).
  • MPEG Motion Picture Experts Group
  • AAC Advanced Audio Coding
  • ACELP Algebraic Code Exited Linear Prediction
  • the signal 204i to be decoded has a pitch (pitch 822) in the signal 203x (signal 101i) generated from the sound signal 203x (signal 101i) before being shifted.
  • the signal 203ib (signal 104x) after being shifted to the reference pitch (reference pitch 82r) is an encoded signal 204i (signal 105x).
  • the signal 204i to be decoded may be, for example, the signal 105x after being encoded by the encoding device 1 described above.
  • the signal 204i to be decoded is included in the data (stream 106x in FIG. 1, stream 205i in FIG. 2) communicated from the encoding apparatus 1 that has performed the encoding to the decoding apparatus 2.
  • a signal communicated from the encoding device 1 to the decoding device 2 may be used.
  • a signal 203x obtained by shifting (reversely shifting) the reference pitch (reference pitch 82r) in the decoded signal 203ib from the signal 203ib decoded from the signal 204i to the pitch (pitch 822) before the shift. Is generated (time expansion and contraction unit 203, step S203).
  • the encoding time expansion / contraction parameter 201i is losslessly decoded to obtain the dynamic time expansion / contraction parameter 202i.
  • the acquired dynamic time expansion / contraction parameter 202i is represented by the TW_Ratio_Index.
  • the time expansion / contraction parameter TW_Ratio is acquired from the acquired dynamic time expansion / contraction parameter 202i and the table 103t representing the relationship between TW_Ratio_Index and TW_Ratio.
  • the signal 203ib is converted by the time expansion / contraction circuit (time expansion / contraction unit) 203 into a non-expansion / contraction signal 203x corresponding to the pitch before being shifted (reverse shift).
  • the parameter 201i (parameter 103x in FIG. 1) obtained by encoding the ratio 88 (parameter 202i, parameter 102x) is decoded into the ratio 88 (parameter 202i, parameter 102x) and decoded.
  • a shift to a pitch (pitch 822) specified by the ratio 88 (parameter 202i) may be performed (reversible decoding unit 201, S201).
  • the data amount of the pitch data is also made small in the encoded data (parameter 201i, parameter 103x), and the data amount of the pitch data can be reduced.
  • the inventor when the ratio 88 is a ratio 88a close to the 0 cent ratio 88x, appears frequently, and when the ratio 88b is a ratio 88b away from the 0 cent ratio 88x. Noticed that it appears less frequently.
  • a relatively short code 90a may be decoded to a ratio 88a close to the 0 cent ratio 88x
  • a relatively long code 90b may be decoded to a ratio 88b far from the 0 cent ratio 88x.
  • decoding in accordance with the appearance frequency according to whether or not the ratio is close to the 0 cent ratio 88x may be performed.
  • the code 90 (FIG. 18) of the parameter 201i to be decoded is the code 90 (code 90a) with the ratio 88a close to the 0 cent ratio 88x
  • the code 90i is a short code 90a and is 0 cent.
  • the code 90 (the code 90b) having the ratio 88b that is away from the ratio 88x the long code 90b may be used.
  • the short code 90a may be decoded into the ratio 88a close to the 0 cent ratio 88x
  • the long code 90b may be decoded into the ratio 88b away from the 0 cent ratio 88x.
  • a decoding table 201t (FIG. 18, FIG. 2, FIG. 20, etc .: table 85) corresponding to the above-described table 103t (table 85: FIG. 18) is stored.
  • the table 201t may be stored by the lossless decoding unit 201 (second pitch processing unit 201A: see FIG. 2, FIG. 20, etc.).
  • the stored table 201t is decoded into the ratio 88 (parameter 202i) associated with the variable length code 90 (encoded parameter 201i), so that an appropriate decoding process is performed. Also good.
  • a fixed-length code having a fixed length see the fixed-length code 91 (reference numerals 91a and 91b) having a length of 3 bits in FIG. 19) and pitch data (ratio 88 (FIG. 18)
  • a technique is known in which the parameters in FIG. 1 (see parameter 202 (FIG. 2 etc.)) are fixed-length encoded.
  • the data 9L (first row and second column in FIG. 22) communicated for each frame 84F is, for example, 16 fixed lengths corresponding to 16 sections 84 of the frame 84F.
  • data 90L (second row and third row in FIG. 22) communicated for each frame 84F is shown in FIG. It includes fifteen length 1 codes 90c, indicated by fifteen "1" characters.
  • the data 90L in the present embodiment is, for example, a single length 6 (long in the data 90Ls) indicated by one “6” (“4” in the data 90Ls) shown in FIG. 4) of code 90d (code 90ds of data 90Ls, code 90dt of data 90Lt).
  • the data 90L in the present embodiment appears at a high frequency (for example, the frequency of 15/16 in the example of FIG. 22) and has a short length (for example, the length 1 at 9c in FIG. 22,
  • a large number for example, 15 in the example of the data 90L in FIG. 22
  • the code 90c reference numeral 90a in FIG. 18
  • the code 90a “0” in the table of FIG. 18 is included. .
  • the data 90L includes a code 90d (see, for example, the length 6 in FIG. 22 (length 4 in the data 90Ls and the length 6 in the code 90b “111110” in FIG. 18)).
  • 18 includes a small number (for example, one illustrated in FIG. 22).
  • the data amount of the data 90L in the processing such as communication of each frame 84F is reduced from the data amount in the data 91L (first row in FIG. 22) in the previous example.
  • these reduction ranges are merely examples that are theoretically assumed by calculation.
  • the principle for reduction described above may be used to obtain a reduction width that is the same as or close to these reduction widths (27 bits, 29 bits), or a relatively small reduction width, etc. It may be used to obtain other reduction widths.
  • the reduction amount of the data amount to be reduced can be a relatively large reduction amount (for example, 27 bits, 29 bits, etc. described above).
  • FIG. 12 shows a pitch 90j of only 100 cents (one cent is 1/1200 of one octave) constituting a semitone.
  • a pitch that is only 1 / 100th of the semitone pitch 90j is 1 cent.
  • the pitch between two pitches separated from each other by the ratio 88 of the row is It indicates how many times the pitch is 1 cent, i.e. the number of cents of the pitch in the ratio of 88 in that row.
  • cent number of 1.0288 times the ratio 88 is 50 cents. Is shown.
  • the range 861 (FIG. 18: a part of the range 86a) is a range of ratio 88 (1.0293, 1.0416) larger than 42 cents from the ratio 88x (the eighth row in FIG. 18) of 0 cents ( The ratio is larger than the ratio 88x and the absolute value of the difference from the ratio 88x is 42 cents or more).
  • the range 862 (part of the range 86a) is a ratio 88 (less than -42 cents) (a ratio 88 (0.9772, 0. 9715, 0.9604) (the range is smaller than the ratio 88x and the absolute value of the difference from the ratio 88x is 42 cents or more).
  • the absolute value of the difference from the 0 cent ratio 88x (line 8) is 42 cents or more, and is 42 cents or more away from the ratio 88x.
  • the ratio 88 range is shown.
  • range 87 is a range of ratio 88 that is less than 42 cents away.
  • the ratio 88a (ratio 83a in FIG. 15) is, for example, the ratio 88 belonging to the range 87 in less than 42 cents as described above, and the ratio 88b (ratio 83b in FIG. 15) is, as shown in FIG. , A ratio 88 belonging to range 86a that is 42 cents or more.
  • ratio 83 is the ratio in the range 87 where the ratio 83 is less than 42 cents.
  • 83a is a relatively small difference
  • a ratio 83b is a relatively large difference.
  • the ratio 88a is, for example, a ratio 88a (in FIG. 18, the ratio 88x itself) that is relatively close to the 0 cent ratio 88x (Tw_ratio “1”).
  • the other ratio 88b is a ratio 88b that is relatively far from the ratio 88x.
  • the length (length 1) of the code 90a (code “0”) corresponding to the ratio 88a is shorter than the length of the code 90b (“111100”) corresponding to the ratio 88b.
  • the code 90a (parameter 103x in FIG. 1) corresponding to the calculated ratio 88a is generated (reference code 103). 1), the generated code 90a may be decoded into the ratio 88a (parameter 202i in FIG. 2) (decoding device 2), and the processing described above may be performed.
  • the code 90b corresponding to the ratio 88b is generated, and the generated code 90b is decoded into the ratio 88b.
  • the above-described processing may be performed to reduce the data amount of the sound data (see the signal 105x (FIG. 1) and the signal 204i (FIG. 2)).
  • the ratio 88b of the range 86a is calculated, that is, when the ratio 83 between the two pitches (pitch 822, 821) is 42 cents or more, the above-described processing is performed, Since the data amount of data is reduced, the data amount of sound data can be reduced more reliably.
  • the ratio 83 (FIG. 15) is a ratio 83a of less than 42 cents, and the change between two pitches (see pitches 822 and 821 in FIG. 15) is a small change, not only 42 cents. Even when the ratio 83b is a large change, the data amount of the sound data is reduced. That is, regardless of whether the change in pitch (see pitches 822 and 821 in FIG. 15) is large or small, the data amount of sound data is reduced, and the data amount of sound data can be reliably reduced.
  • the ratio 89 (FIG. 19) between two pitches (see pitches 822 and 821) is a ratio belonging to a range 87 that is less than 42 cents. Only in such a case, the data amount is reduced, and the data amount of the sound data cannot be surely reduced.
  • the range in which appropriate processing is performed is from a relatively narrow range (range consisting of only the range 87) in the preceding example to a range wider than that range (range 87).
  • the range including the range 86a is further increased to the range 86), and the range in which appropriate processing is performed can be set to a wider range (range 87).
  • the above-mentioned range 87 is an example of such an expanded range.
  • the range (range 87) in which appropriate processing is performed in the preceding example includes at least a ratio (see ratio 88 etc.) less than 42 cents. It is.
  • the ratio 83p (FIG. 9) between two pitches (see pitches 822 and 821 in FIG. 15) at the position 704p (FIG. 9) is a ratio of 0 cents 90x (FIG. 18) (near).
  • the position 704p (the position at which the pitch changes) as described above and the ratio 83q (FIG. 9) at the position 704q (FIG. 9) are the position 704q (previously described) that is the ratio 90x (near) of 0 cent.
  • the constructed encoding apparatus stores, for example, the locations where the pitch variation is present (704p in FIG. 9) and the locations where the pitch variation is not present (704q in FIG. 9) in this encoded frame (see FIG. 9).
  • 9 vector C, 102m), and the location information (vector C, 102m) and the TW_Ratio or TW_Ratio_Index information at the pitch fluctuation point (704p) are transmitted to the decoding device. good. By doing so, it is only necessary to transmit TW_Ratio (or TW_Ratio_Index) of only the pitch fluctuation portion, and therefore the encoding / decoding device can be configured with the minimum necessary communication data amount (encoding amount).
  • the position 704x is a position 704q where the pitch does not change in many cases, and a position 704p where the pitch changes. I notice that there is little (a little) (previous).
  • the parameter 102x (parameter 202i in FIGS. 1 and 2) is, for example, a ratio 83p (the data 102m (FIG. 9 and the like) specifying the changing position 704p and the changing position 704p specified by the data 102m). May be included.
  • the parameter 102x may specify the ratio (ratio 83p) of the position 704p specified by the included data 102m as the ratio 83p (specified by the data (described above)) included in the parameter 102x.
  • the parameter 102x is a ratio (ratio 83q) at a position other than the position 704p specified by the included data 102m (position 704q where the pitch does not change), for example, a ratio 90x of 0 cents (see FIG. It may be specified as a ratio 83q at a position 704q where the pitch does not change, such as 18).
  • the parameter 102x includes only data of the ratio 83p of the changing position 704p and does not change.
  • the data of the position 704q is not included, the data of many positions (the position 704q that does not change) is not included, and the data amount of the pitch data (parameters 102x and 103x in FIG. 1, 204i and 203 b in FIG. 2) is further increased. Can be sufficiently small.
  • codes variable length code 90, data 90L (FIGS. 20 and 22) for encoding the pitch (ratio 88 of pitch 822 and pitch 822) of signal 204i (stream 205i) input to decoding apparatus 2 in this way. )) Format (table 85 in FIG. 18) is disclosed.
  • a ratio 88a code (variable length code 90, code 90a) that is relatively close to a 0 cent ratio 88x is a shorter length (length 1) code 90a ("0").
  • the code (variable length code 90, code 90b) having a ratio 88b far from the 0 cent ratio 88x is a code 90b ("111100") having a longer length (length 6).
  • the data amount of the pitch data (parameters 103x, 203x) is, for example, in the first row and third column in FIG.
  • the data amount of the pitch data can be further reduced by reducing the width from 48 bits to 21 bits in the second row and the third column (19 bits in the third row and the third column).
  • a plurality of configurations (such as the lossless encoding unit 103) are combined to produce a synergistic effect from the combination.
  • some or all of the plurality of configurations are lacking, and a synergistic effect in the present technology occurs. Absent.
  • the present technology is considered to have an advanced level over the conventional example.
  • a part (or all) of the encoding device 1 may be an integrated circuit in which one or more functions of the encoding device 1 are mounted (for example, refer to the integrated circuit 1C in FIG. 20).
  • a computer program for causing a computer that is a part (or all) of the encoding device 1 to execute one or more functions of the encoding device 1 may be constructed.
  • an integrated circuit see integrated circuit 2C
  • a computer program see program 2P
  • the like on which the function of the decoding device 2 is mounted may be constructed.
  • a storage medium storing this computer program may be constructed, or a data structure of data of this computer program may be constructed.
  • step S101 and S104, etc. may be any order within a range in which an appropriate operation is possible.
  • the order of step S101 may be earlier than or later than that of step S104, or may be the same order by being executed in parallel.
  • ranges can be considered as the range handled by the processing.
  • the range (range 86, 87) of the above-described range of the pitch change ratio (the ratio 88 in FIG. 18 and the ratio 89 in FIG. 19) is more than the above-described various ranges.
  • the bit stream (bit streams 106x and 205i) received by the decoding device (decoding device 2) is a plurality of positions (sections 841 to 84M) in one frame (frame 84F: FIG. 16). Only the signal at the pitch change position (position 704p) is time warped (time expansion / contraction processing) by the audio signal reconstructor (time expansion / contraction block (time expansion / contraction unit) 203), and signals of other positions are not time warped (time).
  • a decoding device including position information (for example, data 102m in FIG. 9) for specifying a pitch change position (position 704p) that is not subjected to expansion / contraction processing may be constructed.
  • the pitch parameter generator determines the pitch change position (see position 704p (FIG. 9), data 102m) and the pitch based on the detected pitch contour information (information 101x).
  • Two pitch parameters (parameter 102x: for example, a first pitch parameter 102x for specifying a pitch change position and a second pitch parameter 102x for specifying a pitch change ratio) including a change ratio (see ratio 83p)
  • An encoding device that generates a pitch parameter 102x or the like may be constructed.
  • the number of pitch change positions is small (small), and the number of other positions is large.
  • an encoding device (encoding device 1e: FIG. 3) or the like further provided with a pitch contour reconstructor (dynamic time expansion / contraction reconstruction block 307: FIG. 3) or the like may be constructed.
  • decoding is performed from the encoding pitch parameter (parameter 303x: FIG. 3 (parameter 103x)) output from the first encoder (lossless encoding unit 303: FIG. 3 (lossless encoding unit 103: FIG. 1)).
  • a first decoder (lossless decoding block 306) that generates a decoding pitch parameter (parameter 306x) including a pitch change position (see position 704p (see FIG.
  • a pitch contour reconstructor (dynamic time expansion / contraction reconstruction block 307) for restoring pitch contour information (information 307x (see information 301x)) according to the decoded pitch parameter (parameter 306x), and the pitch shifter (time The expansion / contraction block 304) is the restored pitch contour information (information 307x).
  • Encoding device encoding device 1e, pitch contour analysis unit 301 to multiplexer circuit 308, that shifts the pitch frequency (pitch 822: FIG. 15) of the input audio signal (signal 301i) according to the constructed pitch contour information (information 307x) May be constructed.
  • the restored information 307x as the information used in the shift, the same information as the information restored in the decoding device 2 used in the decoding device 2 is used. More appropriate (accurate) information may be available.
  • the middle side stereo mode (MS stereo mode) is applied to each audio frame of the input stereo audio signal (signal 401i: FIG. 4), and a flag (flag 401x) indicating application of the MS stereo mode is confirmed.
  • a downmixer (downmix block 402) for downmixing the input stereo audio signal (signal 401i) according to the generated flag (flag 401x) and an MS mode selector (MS operation block (MS operation unit) 401)
  • the pitch detector is a downmix signal (signal 402a) obtained by downmixing the input stereo audio signal (signal 401i) according to the generated flag (flag 401x).
  • Ma Detects pitch contour information (information 403x) of the input stereo audio signal (signal 402b), and the pitch shifter (time expansion / contraction block 406) according to the pitch contour information (information 403x) and the flag (flag 401x).
  • An encoding device (encoding device 1f, MS operation unit 401) that shifts the pitch frequency (see pitch 822 (FIG. 15)) of the input stereo audio signal or the downmix signal (signal 402x (signal 402a or 402b)).
  • ⁇ Multiplexer circuit 408) may be constructed.
  • a flag may be generated and processing according to the generated flag may be performed.
  • an MS mode selector that selects an MS stereo mode according to an input stereo audio signal (signal 601i: FIG. 6) and generates a flag (flag 601x) indicating application of the MS stereo mode
  • generation A downmixer (downmix block 602) for downmixing the input stereo audio signal (signal 601i) according to the flag (flag 601x), a first decoder (lossless decoding block 608), and a pitch contour reconstructor (motion And a pitch detector (pitch contour analysis block 603) according to the generated flag (flag 601x), and the input stereo audio signal (signal 601i) is downmixed according to the generated flag (flag 601x).
  • the pitch decoder (signal 602a) or pitch contour information (information 603x) of the input stereo audio signal (signal 602b) is detected, and the first decoder (lossless decoding block 608) detects the first encoder (lossless encoding). From the encoded pitch parameter (parameter 605x) output from the block 605), a decoding pitch parameter (including a decoding pitch change position (see position 704p (see FIG. 8)) and a decoding pitch change ratio (see ratio 83p) (see FIG. 8). Parameter 608x), and the pitch contour reconstructor (dynamic time expansion and reconstruction reconstruction block 609) reconstructs pitch contour information according to the generated decoded pitch parameter (parameter 608x) and the flag (flag 601x).
  • the pitch shifter (time expansion / contraction block 606) shifts the pitch frequency of the input stereo audio signal or the downmix signal (signal 602x (signal 602a or 602b)) according to the reconstructed pitch contour information (information 609x).
  • An encoding device (encoding device 1h, MS operation unit 601 to multiplexer circuit 408) may be constructed.
  • the same information as the information used in the decryption device 2 is used, so that more appropriate information can be used and the operation can be easily performed.
  • comparison means for determining whether to use the pitch shifter (time expansion / contraction block 708 in FIG. 7), the multiplexer (multiplexer block 711), encoded data (signal 709x).
  • an encoding device encoding device 1i, MS operation unit 701 to multiplexer circuit 711 that generates a bit stream (stream 711x) by combining the encoding pitch parameter (parameter 710x) output from the comparison unit. May be constructed.
  • the comparison scheme 710 generates a more appropriate signal (for example, SNR (Signal Signal) among the third signal 709x (third signal 105x (FIG. 1)) generated and the other signals.
  • SNR Signal Signal
  • to Noise Ratio signal noise ratio, signal-to-noise ratio having a higher noise and less noise, or a signal having a smaller amount of data
  • the decoding device decoding device 2 or the like. It may be selected as a signal to be used.
  • the other signal may be, for example, another signal other than the third signal 709x in which the same sound as that recorded by the third signal 709x is recorded.
  • the SNR (Signal to Noise Ratio) in the third signal 709x and the SNR in other signals are calculated, respectively, and based on the two calculated SNRs.
  • the above selection may be made.
  • the calculated SNR is, for example, the difference that the signal of the SNR (the third signal 709x, other signals) has with respect to the signal before the shift (see the signal 101i in FIG. 1 and the like).
  • the value when the noise of the signal of the SNR is taken may be used.
  • the third signal 709x may not be appropriate, the other signal is used and the appropriate signal is maintained to be used. Is available.
  • the pitch parameter generator (for example, the dynamic time expansion / contraction block 102 in FIG. 1) provided in the encoding device (encoding device 1) is a first harmonic structure before the pitch shift.
  • a pitch parameter generator (dynamic time expansion / contraction block 102) is constructed that modifies the pitch contour (information 101x) and determines whether the pitch shift should be used or not by comparing with the second harmonic structure after May be.
  • the first pitch contour when the first pitch contour is not corrected, it is determined to use the pitch shift in the first pitch contour, and the first pitch contour is changed to the second pitch contour. By being modified, it may be determined to use a pitch shift at the second pitch contour.
  • the harmonic structure (data) includes, for example, data including a plurality of values each of which is a value indicating the amplitude of the harmonics corresponding to the value among one or more harmonics of the signal. But you can.
  • an evaluation value indicating the quality of the signal after being processed may be calculated from the harmonic structure of the signal before being pitch-shifted and the harmonic structure of the signal after being processed.
  • the quality indicated by the evaluation value calculated for the pitch shift of the first pitch contour is higher than the quality indicated by the evaluation value calculated for the pitch shift of the second pitch contour, It may be determined that the first pitch profile is not modified and, if it is of lower quality (if less), it will be modified.
  • the quality at the first pitch contour may not be high quality
  • the signal quality after the pitch shift is performed after the processing at the second pitch contour is performed at that time It is possible to maintain high quality and ensure high signal quality.
  • the first decoder determines the pitch change position (position 704p (FIG. 9)) from the encoded pitch parameter information (parameter 201i) separated. And the pitch change ratio (see the ratio 83p) (see, for example, the first parameter 202i for specifying the pitch change position and the second parameter for specifying the pitch change ratio).
  • a decoding device (decoding device 2c) that generates two parameters 202i) with 202i may be constructed.
  • the decoding apparatus includes the bit stream (stream 506i) including the encoded data (signal 505i: FIG. 5) of the pitch-shifted stereo audio signal (signal 503ibL, etc .: FIG. 5). ) And an MS mode detector (MS mode detection block 504), and the second decoder (transform decoder block 505) decodes the separated encoded data (signal 505i) and is pitch-shifted.
  • the audio signal (signal 503ibL, etc.) and MS mode encoding information (information 504i) are generated, and the MS mode detector (MS mode detection block 504) generates whether the MS mode is enabled.
  • MS mode is detected according to the encoded MS mode information (information 504i)
  • An MS mode flag (flag 504F: FIG. 5) indicating whether or not to be enabled is generated, and the pitch contour reconstructor (dynamic time expansion / contraction reconstruction unit 502) generates the first decoder (lossless decoding block 501).
  • the pitch contour reconstructor dynamic time expansion / contraction reconstruction unit 502
  • the pitch contour reconstructor dynamic time expansion / contraction reconstruction unit 502
  • a block refers to a so-called functional block.
  • the above-described effects occur, and the operation of the encoding device 1 and the like can be performed more appropriately.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

　情報を検出するピッチ輪郭分析部(１０１）と、検出された前記情報に基づいて、当該範囲（８６ａ）のピッチ変化比のセント数（cent）の絶対値は、４２以上である範囲（８６ａ）を含む範囲（８６）の変域であるピッチ変化比(Tw_ratio：図１８）を生成する動的時間伸縮部(１０２）と、生成されたピッチパラメータ（１０２ｘ）を符号化する第１の可逆符号化部(１０３）と、前記情報に従って、信号のピッチをシフトする時間伸縮部(１０４）と、シフトがされた信号（１０４ｘ）を符号化する第２のエンコーダとを備える符号化装置(１)が構築される。

Description

オーディオ符号化装置、復号装置、方法、回路およびプログラム
　本発明は、概して、変換オーディオ符号化システムに関し、特に、時間伸縮技術を用いて、入力オーディオ信号のピッチ周波数をシフトすることで、符号化効率および音質を向上させる変換オーディオ符号化システムに関する。なお、当該オーディオ符号化システムは、オーディオだけでなく、スピーチ信号にも適用でき、携帯電話や電話・テレビ会議にも、使用できる。
　変換符号化技術は、オーディオ信号を、効率的に符号化するように設計されている。人間の発話では、信号の基本的周波数が、時々変化する。これにより、スピーチ信号のエネルギーは、広範な周波数帯域に拡散する。そして、特に、低ビットレートにおいては、ピッチが変化するスピーチ信号を、変換コーデックによって、符号化することは、効率的ではない。なお、例えば、時間伸縮技術は、先行技術［３］、［４］において、ピッチ変化の影響を補うために用いられている。
　図１０は、基本的周波数をシフトするという概念の例を示す図である。
　時間伸縮技術は、ピッチシフトを実現するために用いられる。図１０の（ａ）欄のスペクトラムは、元のスペクトラムであり、図１０の（ｂ）欄のスペクトラムは、ピッチシフト後のスペクトラムである。
　図１０の（ｂ）欄では、基本的周波数が、２００Ｈｚから１００Ｈｚにシフトされている。こうして、次フレームのピッチを、先行フレームのピッチに合わせるようにシフトすることで、ピッチが安定する。
　図１１は、ピッチシフト後のスペクトラムを示す図である。
　したがって、信号エネルギーが、図１１に示すように集中する。
　図１１の（ａ）欄の信号は、スイープ信号である。そして、図１１の（ｂ）欄の信号は、ピッチシフト後の信号であり、（ｂ）欄でのピッチは、一定になる。
　一方、図１１の（ｃ）欄の２つのスペクトラムは、信号（ａ）および信号（ｂ）のスペクトラムである。図１１の（ｃ）欄において、信号（ｂ）のエネルギーは、狭帯域に制限されるのが示される。
　ここで、上述のようなピッチシフトは、再サンプリング方法を用いて達成される。安定したピッチを維持するために、再サンプリングレートが、ピッチ変化レートに従って変化する。そして、ピッチトラッキングアルゴリズムを適用することで、入力フレームのピッチ輪郭が得られる。
　図８は、１オーディオフレームのセグメント化を説明する図である。
　図８に示されるように、フレームは、ピッチトラッキングのため、小さなセクションにセグメント化される。なお、ここで、隣接セクションは、重なっていてもよい。つまり、例えば、少なくとも１つの組み合わせにおいては、その組み合わせの、互いに隣接する２つのセクションのうちの一方のセクション（の一部）が、他方のセクション（の一部）に重なってもよい。
　そして、従来例としては、現在のところ、自己相関に基づくピッチトラッキングアルゴリズム［１］、および、周波数領域に基づくピッチ検出方法［２］がある。
　各セクションは、そのセクションに対応するピッチ値を有する。
　図１５は、ピッチ輪郭の算出の処理を示す図である。
　図１５の（ａ）欄の信号は、時変ピッチを有する信号である。信号の１セクションから、１つのピッチ値が算出される。ピッチ輪郭は、ピッチ値の連鎖である。
　時間伸縮の間、再サンプリングレートは、ピッチ変化レートに比例している。
　ピッチ変化情報は、ピッチ輪郭から抽出される。
　なお、このピッチ変化レートの測定には、セントおよび半音が頻繁に用いられる。
　図１２は、セントおよび半音の長さを示す図である。セントは、隣接ピッチのピッチ比から算出される。
Figure JPOXMLDOC01-appb-M000001
 　
　ピッチ変化レートに従って、再サンプリングが、時間領域信号に適用される。他のセクションのピッチが、参照ピッチにシフトされ、安定したピッチを得る。例えば、次のセクションのピッチが、先行ピッチよりも高ければ、再サンプリングレートは、それらの２ピッチの間の、セントの差分に比例して、より低く設定される。そうでなければ、サンプリングレートは、より高くなければならない。
　なお、ここで、音声再生速度を調整可能な記録再生装置があるとして、高音の音の再生速度を下げることで、音域が、低周波数にシフトされる。これは、ピッチ変化レートに比例して、信号を再サンプリングする概念に似ている。
　図１３および図１４は、時間伸縮方式を組み入れた符号化システムを示す。
　図１３は、エンコーダ（エンコーダ１３Ａ）における時間伸縮のブロック図である。
　図１４は、デコーダ（デコーダ１４Ａ）における時間伸縮のブロック図である。
　変換符号化の前に、時間領域信号が時間伸縮される。デコーダにおける逆時間伸縮において、ピッチ情報が必要である。よって、ピッチ比は、エンコーダで符号化されなければならない。
　そして、先行技術において、これらのピッチ比情報の符号化に、小さな固定テーブルが用いられている。ピッチ比の符号化には、小さなビットが用いられる。しかしながら、信号のピッチ変化レートが大きいときに、小さなテーブルでは、限界があり、時間伸縮の性能は落ちる。
　しかしながら、大きなテーブルが用いられる際には、より多くのビットを使用し、変換符号化のために、十分なビットが残らないために、音質も落ちる。現在のところ、固定テーブルを用いた時間伸縮の効果は限られている。
　なお、上述された処理（符号化など）は、後で詳しく説明されるように、例えば、将来定められることが想定される、ＩＳＯ（International Organization for Standardization）等の規格における処理と同じ処理である。
［１］　Ｍｉｌａｎ　Ｊｅｌｉｎｅｋ，　"Ｗｉｄｅｂａｎｄ　Ｓｐｅｅｃｈ　Ｃｏｄｉｎｇ　Ａｄｖａｎｃｅｓ　ｉｎ　ＶＭＲ－ＷＢ　Ｓｔａｎｄａｒｄ"，　ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ａｕｄｉｏ，　Ｓｐｅｅｃｈ　ａｎｄ　Ｌａｎｇｕａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ，　Ｖｏｌ．　１５，　Ｎｏ．　４　２００７年５月 ［２］　Ｘｕｅｊｉｎｇ　Ｓｕｎ，　"Ｐｉｔｃｈ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｖｏｉｃｅ　Ｑｕａｌｉｔｙ　Ａｎａｌｙｓｉｓ　Ｕｓｉｎｇ　Ｓｕｂｈａｒｍｏｎｉｃ－ｔｏ－Ｈａｒｍｏｎｉｃ　Ｒａｔｉｏ　"，　ＩＥＥＥ　ＩＣＡＳＳＰ，　３３３－３３６，　Ｏｒｌａｎｄｏ　２００２年 ［３］　Ｂｅｒｎｄ　Ｅｄｌｅｒ，　"Ａ　Ｔｉｍｅ－ｗａｒｐｐｅｄ　ＭＤＣＴ　Ａｐｐｒｏａｃｈ　Ｔｏ　Ｓｐｅｅｃｈ　Ｔｒａｎｓｆｏｒｍ　Ｃｏｄｉｎｇ"，　ＡＥＳ　１２６ｔｈ　Ｃｏｎｖｅｎｔｉｏｎ，　Ｍｕｎｉｃｈ，　Ｇｅｒｍａｎｙ　２０００年５月
［４］　米国特許出願公開第２００８／０００４８６９（Ａ１）号明細書（Ｊｕｅｒｇｅｎ　Ｈｅｒｒｅ，　“Ａｕｄｉｏ　Ｅｎｃｏｄｅｒ，　Ａｕｄｉｏ　Ｄｅｃｏｄｅｒ　ａｎｄ　Ａｕｄｉｏ　Ｐｒｏｃｅｓｓｏｒ　Ｈａｖｉｎｇ　ａ　Ｄｙｎａｍｉｃａｌｌｙ　Ｖａｒｉａｂｌｅ　Ｗａｒｐｉｎｇ　Ｃｈａｒａｃｔｅｒｉｓｔｉｃ”）
　時間伸縮を用いる動機は、１フレーム内のピッチを安定させ、符号化効率の改善を達成することである。時間伸縮は、ある程度、ピッチトラッキングの精度に依存する。
　しかしながら、ピッチ輪郭検出の課題は、信号の振幅および軌道の変化により、困難が生じることがあることである。つまり、平滑化や、微調整閾値パラメータのような、ポスト処理方式が、ピッチ検出精度の改善のために、いくつか導入されているが、それらの方式は、特定のデータベースに基づいている。
　時間伸縮が、不正確なピッチ輪郭に基づいて適用されれば、音質が落ち、時間伸縮情報の送信に用いられたビットが無駄になる。したがって、検出されたピッチ輪郭を、無分別に指針としないような時間伸縮を設計する必要がある。
　現在のところ、先行技術の時間伸縮における、従来より利用可能な技術としては、ピッチ輪郭情報を符号化する効率的な方法を欠いている。
　ここで、先行技術において、ピッチ輪郭を表現するためには、固定テーブルが用いられている。
　そして、小さなテーブルは、ピッチが大きく変化する状況には、不十分であるが、より大きなテーブルは、より大きなビットの使用を必要とする。これにより、特に、低ビットレートの符号化において、コスト高となる可能性がある。これは、時間伸縮パラメータの送信に、ビットを使用することで、符号化効率を改善することの代償である。
　したがって、時間伸縮パラメータを、より効率的に符号化する方法があれば、節約したビットを、変換符号化に用いることができることから、音質を向上させることができ、かつ、ピッチ変化の大きい信号に対応することができる。
　時間伸縮方式を、変換符号化システムに取り入れる簡易な方法は、時間伸縮方式を、直接的に、変換符号化に連結させることである。先行技術において、時間伸縮方式は、変換符号化から独立している。時間伸縮の目的は、変換符号化の効率の向上であることから、変換符号化システムから、何らかの符号化情報を用いることは、時間伸縮の役に立つ。現在の時間伸縮を用いた変換符号化構造は、改善の必要がある。
　また、他の目的は、ピッチ変化比（図１８の比８８を参照）の変域が、適切な変域（範囲８６を参照）にできる符号化装置、復号装置等を提供することを含む。また、他の目的は、適切な処理が、より広い範囲の変域のピッチ変化比（図１８の比８８を参照）のときに行われて、音質が高くできる符号化装置等を提供することを含む。また、他の目的は、ピッチ（図１６のピッチ８２２、比８３、図１８の比８８等を参照）が符号化された符号（図１８の符号９０を参照）のデータ（図２２のデータ９０Ｌを参照）のデータ量（例えば平均量など）が小さくできる符号化装置等を提供することを含む。そして、ひいては、他の目的は、将来定められる、ＩＳＯ等の規格における処理を行い、かつ、比較的適切に処理をする符号化装置等を提供することを含む。
　本発明の符号化装置は、入力オーディオ信号のピッチ輪郭情報を検出するピッチディテクタと、検出された前記ピッチ輪郭情報に基づいて、当該ビット変化比（図１８のTw_ratioを参照）の変域（範囲８６を参照）は、当該範囲（範囲８６ａ参照）のピッチ変化比（Tw_ratio：１．０４１６、１．０２９３、０．９７７２、０．９７１５、０．９６０４）のセント数（cent：６０、５０、－４０、－５０、－６０）の絶対値は、４２以上である範囲（範囲８６ａ）を含む範囲（範囲８６）の変域（範囲８６）であるピッチ変化比（Tw_ratio、Tw_ratio_index：図１８）を含むピッチパラメータを生成するピッチパラメータジェネレータと、生成された前記ピッチパラメータを符号化する第１のエンコーダと、前記ピッチ輪郭情報に従って、前記入力オーディオ信号のピッチ周波数をシフトするピッチシフタと、前記ピッチシフタから出力された、シフトがされたオーディオ信号を符号化する第２のエンコーダと、前記第１のエンコーダから出力された符号化ピッチパラメータと、前記第２のエンコーダから出力された、前記ピッチシフタから出力された前記オーディオ信号が符号化されたデータとを組み合わせることで、前記符号化ピッチパラメータと当該データとが含まれるビットストリームを生成するマルチプレクサとを備える符号化装置である。
　つまり、具体的には、前記第１のエンコーダは、前記ピッチパラメータ（図１８の比８８を参照）を、当該ピッチパラメータが、比較的小さな絶対値のセント数（図１８のcentを参照）のピッチ変化比のピッチパラメータ（比８８ａを参照）である場合には、比較的短い符号長の符号の符号化ピッチパラメータ（符号９０ａを参照）へと符号化し、比較的大きな絶対値のセント数のピッチ変化比のピッチパラメータ（比８８ｂを参照）である場合には、比較的長い符号長の符号の符号化ピッチパラメータ（符号９０ｂを参照）へと符号化する符号化装置が構築される。
　本発明の復号装置は、ピッチシフトされたオーディオ信号の符号化データと、符号化ピッチパラメータ情報とを含むビットストリームを復号する復号装置であって、復号を行う前記ビットストリームから、当該ビットストリームに含まれる前記符号化データと、前記符号化ピッチパラメータ情報とをそれぞれ分離するデマルチプレクサと、分離された前記符号化ピッチパラメータ情報から、当該ビット変化比（図１８のTw_ratioを参照）の変域（範囲８６を参照）は、当該範囲（範囲８６ａ）のピッチ変化比（Tw_ratio：１．０４１６、１．０２９３、０．９７７２、０．９７１５、０．９６０４）のセント数（cent：６０、５０、－４０、－５０、－６０）の絶対値は、４２以上である範囲（範囲８６ａ）を含む範囲（範囲８６）の変域（範囲８６）であるピッチ変化比（Tw_ratio、Tw_ratio_index：図１８）を含む復号ピッチパラメータを生成する第１のデコーダと、生成された前記復号ピッチパラメータに従って、ピッチ輪郭情報を復元するピッチ輪郭リコンストラクタと、分離された前記符号化データを復号して、ピッチシフトされた前記オーディオ信号を生成する第２のデコーダと、復元された前記ピッチ輪郭情報である再構築ピッチ輪郭情報に従って、ピッチシフトされた前記オーディオ信号を、元のオーディオ信号に変換するオーディオ信号リコンストラクタとを備える復号装置である。
　つまり、具体的には、前記第１のデコーダは、分離された前記符号化ピッチパラメータ情報を、当該符号化ピッチパラメータ情報が、比較的短い符号長の符号の符号化ピッチパラメータ情報である場合には、比較的小さな絶対値のセント数のピッチ変化比のピッチパラメータへと復号し、比較的長い符号長の符号の符号化ピッチパラメータ情報である場合には、比較的大きな絶対値のセント数のピッチ変化比のピッチパラメータへと復号する復号装置が構築される。
　こうして、例えば、符号化装置と、復号装置とを含んでなる、次のような信号処理システムが構築されてもよい（実施形態の冒頭の説明等を併せて参照されたい）。
　つまり、当該信号処理システムにおいて、前記符号化装置は、前記ピッチシフタが、第１の信号から、当該第１の信号のピッチが、予め定められたピッチへとシフトされた第２の信号を生成し、前記第２のエンコーダが、生成された前記第２の信号を、第３の信号へと符号化し、前記ピッチパラメータジェネレータが、シフトがされる前の前記第１の信号の前記ピッチを特定するピッチ変化比を算出し、前記第１のエンコーダが、算出された当該ピッチ変化比を符号へと符号化する符号化装置である。
　そして、前記復号装置は、前記第２のデコーダが、前記第１の信号から生成された、当該第１の信号の前記ピッチが前記予め定められたピッチへとシフトされた前記第２の信号が符号化された前記第３の信号を、前記第２の信号へと復号し、前記オーディオ信号リコンストラクタが、復号された前記第２の信号から前記第１の信号を生成し、前記第１のデコーダが、前記符号を、前記ピッチ変化比へと復号し、前記ピッチ輪郭リコンストラクタが、復号された前記ピッチ変化比により特定される、当該ピッチの前記第１の信号が生成される前記ピッチを算出する復号装置である。
　そして、前記ピッチ変化比が符号化された、当該ピッチ変化比へと復号される前記符号は、当該符号に対応する前記ピッチ変化比が、０セントの音程の差の２つのピッチの間のピッチ変化比に対して、比較的小さな差を有する第１のピッチ変化比である場合には、比較的短い符号長の第１の符号であり、比較的大きな差を有する第２のピッチ変化比である場合には、比較的長い符号長の第２の符号である。
　そして、シフトがされた前記第２の信号が符号化された前記第３の信号が、前記符号化装置で生成され、前記復号装置で復号される動作は、シフトがされる前の前記第１の信号の前記ピッチの前記ピッチ変化比が、０セントの前記ピッチ変化比に対して有する差が、閾値以下の場合にのみ行われ、前記閾値よりも大きい場合には行われず、当該閾値は、４２セント未満の音程での値ではなく、４２セント以上に大きな音程での値である。
　すなわち、上述の説明の課題で述べた通り、ピッチ輪郭が不正確であると、時間伸縮後の音質の低下につながる可能性がある。
　そこで、この課題を克服するために、動的時間伸縮方式を提案する。それは、ハーモニクス構造も考慮した時間伸縮方式である。
　時間伸縮の間、ピッチシフトと共に、ハーモニクスが修正されるので、時間伸縮の間の信号のハーモニクス構造を考慮する必要がある。
　そこで、提案のハーモニクス時間伸縮方式は、ハーモニクス構造の分析に基づいて、ピッチ輪郭を修正し、時間伸縮の間のハーモニクス構造を考慮することにより、音質を改善する。
　提案の動的時間伸縮は、また、時間伸縮の前後のハーモニクス構造を比較することによって、時間伸縮の効率を評価し、対象フレームに、時間伸縮を利用するかどうかを決定する。それは、不正確なピッチ輪郭によってもたらされる不正確性を取り除く。
　先行技術において、ピッチ輪郭情報は、圧縮されずに、直接、デコーダに送られる。動的時間伸縮において、時間伸縮パラメータを、より効率的に符号化する方法を提案する。時間伸縮のために、ピッチ輪郭を統計的に分析した後に、信号フレーム内で、ピッチが変化する僅かな位置においてのみ、時間伸縮が有効にされていることが分かる。
　したがって、時間伸縮が適用されている部分でのみ情報を符号化すると、より効率的である。
　また、ピッチ変化値の発生する確率が一様でないことから、時間伸縮パラメータの符号化に、可逆符号化を用いることで、ビットを節約できる。
　提案の動的時間伸縮では、時間伸縮が適用される位置の情報と、その位置の時間伸縮値とを用いる。先行技術に記載のように、固定テーブルを用いて、ピッチ輪郭全体を符号化することで、ビットが節約される。
　提案の動的時間伸縮は、また、広範囲の時間伸縮値に対応する。なお、対応するとは、適切な動作ができることなどを意味する。節約されたビットが、変換符号化に用いられ、かつ、広範囲の時間伸縮値により、音質が改善される。
　一方、多くの変換符号化システムにおいて、ステレオオーディオ信号の符号化に、ＭＳステレオモード（Mid Side Stereo Mode）を使用している。変換符号化システムからのＭＳモード情報を使用することで、時間伸縮の性能を改善する、新たな構造を提案する。左右のチャネルが、互いに類似した特性を有するとき、左右の信号に、同じ時間伸縮パラメータを使用すると、より効率的である。左右のチャネルが大きく異なるときには、時間伸縮を共用すると、符号化効率が下がる場合がある。よって、提案の変換符号化構造における時間伸縮に、ＭＳモードを導入する。
　なお、例えば、当該復号装置により受信される前記ビットストリーム（ビットストリーム１０６ｘ、２０５ｉ等を参照）は、１つのフレーム（図１６のフレーム８４Ｆを参照）における複数の位置（セクション８４１～８４Ｍを参照）のうちで、当該ピッチ変化位置（図９の位置７０４ｐを参照）における信号のみが前記オーディオ信号リコンストラクタによりTimeWarp（ピッチシフト）され、他の位置の信号はTimeWarpされないピッチ変化位置（位置７０４ｐを参照）を特定する位置情報（データ１０２ｍ：図９）を含む復号装置が構築されてもよい。
　本発明において説明する時間伸縮方式では、オーディオ信号のハーモニクス構造を分析した情報に基づいて、ピッチ輪郭を修正し、時間伸縮処理の前後のハーモニクス構造を比較することにより、時間伸縮の効率を評価する。このことで、対象オーディオフレームに、時間伸縮を利用するべきかどうかを決定するものである。その処理により、検出されたピッチ輪郭情報の不正確性によりもたらされる音質劣化を防ぐことができ、音質が高くできる。さらに、本発明の時間伸縮技術では、変換符号化からのＭＳステレオモード情報を利用することで、音質およびオーディオ符号化システムの符号化効率を改善できる。
　ピッチ変化比（図１８の比８８を参照）の変域が、適切な変域（範囲８６を参照）にできる。
　適切な処理が、より広い範囲の変域のピッチ変化比（図１８の比８８を参照）のときに行われて、音質が高くできる。
　ピッチ（図１６のピッチ８２２、比８３、図１８の比８８等を参照）が符号化された符号（図１８の符号９０を参照）のデータ量（例えば、データ量の平均等）が小さくできる。
図１は、動的時間伸縮を用いるエンコーダのブロック図である。 図２は、動的時間伸縮を用いるデコーダのブロック図である。 図３は、変更された動的時間伸縮デコーダを用いるデコーダのブロック図である。 図４は、ＭＳモードを利用する動的時間伸縮を用いるエンコーダのブロック図である。 図５は、ＭＳモードを利用する動的時間伸縮を用いるデコーダのブロック図である。 図６は、ＭＳモードを利用する変更された動的時間伸縮を用いるエンコーダのブロック図である。 図７は、閉ループ動的時間伸縮を用いるエンコーダのブロック図である。 図８は、１オーディオフレームのセグメント化を説明する図である。 図９は、ベクトルＣの算出を説明する図である。 図１０は、ピッチシフトを説明する図である。 図１１は、ピッチシフト後のスペクトラムである。 図１２は、セントおよび半音を説明する図である。 図１３は、エンコーダにおける時間伸縮のブロック図である。 図１４は、デコーダにおける時間伸縮のブロック図である。 図１５は、ピッチ輪郭の算出を説明する図である。 図１６は、対数目盛に基づくスペクトラムである。 図１７は、ハーモニクスを利用するピッチシフトを説明する図である。 図１８は、表を示す図である。 図１９は、先行例での表を示す図である。 図２０は、符号化装置および復号装置を示す図である。 図２１は、処理の流れを示す流れ図である。 図２２は、先行例と本装置とのそれぞれでのデータを示す図である。
　以下、説明を参照して、本発明を実施するための形態が説明される。
　実施の形態のシステム（図２０のシステム２Ｓ）に設けられる、実施の形態の符号化装置（符号化装置１）は、入力オーディオ信号（信号１０１ｉ（図１）：図１１の信号８１１を参照）の（のピッチ（例えばピッチ８２２（図１５））を特定する）ピッチ輪郭情報（情報（ピッチ）１０１ｘ、ピッチ８２２（図１５））を検出するピッチディテクタ（ピッチ輪郭分析ブロック（ピッチ輪郭分析部）１０１）と、検出された前記ピッチ輪郭情報（情報１０１ｘ）に基づいて、当該ビット変化比（Tw_ratio（図１８）、比８３（図１５）、比８８（図１８））の変域（範囲８６：図１８）は、当該範囲（範囲８６ａ）のピッチ変化比（Tw_ratio：１．０４１６、１．０２９３、０．９７７２、０．９７１５、０．９６０４）のセント数（cent：６０、５０、－４０、－５０、－６０）の絶対値は、４２以上である範囲（範囲８６ａ）を含む範囲（範囲８６）の変域（範囲８６）であるピッチ変化比（Tw_ratio：図１８）を含むピッチパラメータ（パラメータ（ピッチ変化比）１０２ｘ、比８８（図１８））を生成するピッチパラメータジェネレータ（動的時間伸縮ブロック１０２）と、生成された前記ピッチパラメータ（パラメータ１０２ｘ）を（符号９０（図１８）へと）符号化する第１のエンコーダ（可逆符号化部１０３）と、前記ピッチ輪郭情報（情報（ピッチ）１０１ｘ、ピッチ８２２）に従って、前記入力オーディオ信号（信号（第１の信号）１０１ｉ）のピッチ周波数（ピッチ８２２：図１５）を（参照ピッチ８２ｒ（図１５）へと）シフトするピッチシフタ（時間伸縮ブロック１０４）と、前記ピッチシフタから出力された、シフトがされたオーディオ信号（第２の信号１０４ｘ）を（、符号化された第３の信号１５０ｘへと）符号化する第２のエンコーダ（変換エンコーダブロック１０５）と、前記第１のエンコーダ（可逆符号化ブロック１０３）から出力された符号化ピッチパラメータ（パラメータ１０３ｘ、符号９０）と、前記第２のエンコーダ（変換エンコーダブロック１０５）から出力された、前記ピッチシフタから出力された前記オーディオ信号（信号（第２の信号）１０４ｘ）が符号化されたデータ（第３の信号１０５ｘ）とを組み合わせることで、前記符号化ピッチパラメータと当該データとが含まれるビットストリーム（ストリーム１０６ｘ）を生成するマルチプレクサ（マルチプレクサブロック（マルチプレクサ回路）１０６）とを備える符号化装置（符号化装置１）である。
　なお、１セントは、例えば、半音を構成する１００セントの音程９０ｊ（図１２）の、１００分の１だけの音程（２つのピッチ（図１５の２つのピッチ８２１、８２２を参照）の間の差）をいい、換言すれば、１オクターブの音程の、１２００分の１だけの音程をいう。
　なお、例えば、生成されるピッチパラメータの全体が、ピッチ変化比でもよいし、一部が、ピッチ変化比でもよい。そして、一部等がピッチ変化比である、このようなピッチパラメータは、生成される複数のピッチパラメータのうちの、１つでもよい。
　つまり、例えば、前記第１のエンコーダ（可逆符号化１０３）は、前記ピッチパラメータ（パラメータ１０２ｘ（図１）、比８８（図１８））を、当該ピッチパラメータ（比８８）が、比較的小さな絶対値（０）のセント数（±０：図１８のcentを参照）の（音程の幅の２つのピッチ（ピッチ８２１、８２２（図１５）を参照）での）ピッチ変化比（例えば１．０）のピッチパラメータ（比８８ａ）である場合には、比較的短い符号長（長さ１：図１８のbitsを参照）の符号（符号９０ａ：「０」）の符号化ピッチパラメータ（符号９０ａ）へと符号化し、比較的大きな絶対値（５０）のセント数（＋５０）のピッチ変化比（１．０２９３：符号８８ｂ）のピッチパラメータ（符号８８ｂ）である場合には、比較的長い符号長（「１１１１００」での長さ６）の符号（符号９０ｂ：「１１１１００」）の符号化ピッチパラメータ（符号９０ｂ）へと符号化する符号化装置（符号化装置１）が構築される。
　そして、実施の形態の復号装置（図２の復号装置２）は、ピッチシフトされたオーディオ信号（第２の信号２０３ｉｂ：図２）の符号化データ（第３の信号）２０４ｉと、符号化ピッチパラメータ情報（パラメータ２０１ｉ、符号９０）とを含むビットストリーム（ストリーム２０５ｉ（ストリーム１０６ｘ））を復号する復号装置（復号装置２）であって、復号を行う前記ビットストリーム（ストリーム２０５ｉ）から、当該ビットストリームに含まれる前記符号化データ（図２の第３の信号２０４ｉ（図１の第３の信号１０５ｘ））と、前記符号化ピッチパラメータ情報（パラメータ２０１ｉ、符号９０）とをそれぞれ分離するデマルチプレクサ（マルチプレクサブロック２０５）と、分離された前記符号化ピッチパラメータ情報（パラメータ２０１ｉ、符号９０）から、当該ビット変化比（比８８、Tw_ratio_index、Tw_ratio：図１８）の変域（範囲８６）は、当該範囲（８６ａ）のピッチ変化比（Tw_ratio：１．０４１６、１．０２９３、０．９７７２、０．９７１５、０．９６０４）のセント数（cent：６０、５０、－４０、－５０、－６０）の絶対値は、４２以上である範囲（範囲８６ａ）を含む範囲（範囲８６）の変域（範囲８６）であるピッチ変化比（比８８、Tw_ratio_index、Tw_ratio：図１８）を含む復号ピッチパラメータ（パラメータ２０２ｉ、符号９０）を生成する第１のデコーダ（可逆復号ブロック２０１）と、生成された前記復号ピッチパラメータ（パラメータ２０２ｉ、符号９０）に従って、ピッチ輪郭情報（情報２０３ｉａ、ピッチ８２２）を復元するピッチ輪郭リコンストラクタ（動的時間伸縮再構築ブロック２０２）と、分離された前記符号化データ（信号２０４ｉ、第３の信号２０４ｉ）を復号して、ピッチシフトされた前記オーディオ信号（信号（第２の信号）２０３ｉｂ）を生成する第２のデコーダ（変換デコーダブロック２０４）と、復元された前記ピッチ輪郭情報である再構築ピッチ輪郭情報（情報２０３ｉａ、ピッチ８２２）に従って、ピッチシフトされた前記オーディオ信号（信号（第２の信号）２０３ｉｂ）を、（前記再構築ピッチ輪郭情報により特定されるピッチを有する、）元のオーディオ信号（第２の信号２０３ｘ）に変換するオーディオ信号リコンストラクタ（時間伸縮ブロック２０３）とを備える復号装置（復号装置２）である。
　つまり、例えば、前記第１のデコーダ（可逆復号ブロック２０１：図２）は、分離された前記符号化ピッチパラメータ情報（パラメータ２０１ｉ（図２）、符号９０（図１８））を、当該符号化ピッチパラメータ情報（符号９０（図１８））が、比較的短い符号長（長さ１：図１８のbitsを参照）の符号（符号９０ａ：「０」）の符号化ピッチパラメータ情報（符号９０ａ）である場合には、比較的小さな絶対値（０）のセント数（０：図１８のcentを参照）のピッチ変化比（１．０、比８８ａ）のピッチパラメータ（比８８ａ）へと復号し、比較的長い符号長（符号９０ｂ「１１１１００」での長さ６）の符号（符号９０ｂ：「１１１１００」）の符号化ピッチパラメータ情報（符号９０ｂ）である場合には、比較的大きな絶対値（５０）のセント数（５０）のピッチ変化比（１．０２９３：比８８ｂ）のピッチパラメータ（比８８ｂ）へと復号する復号装置（復号装置２）が構築される。
　つまり、例えば、符号化装置（符号化装置１（図１、図２０など）、ステップＳ１（図２１）等を参照）と、復号装置（復号装置２、ステップＳ２等を参照）とを含んでなる、次のような信号処理システム（信号処理システム２Ｓ）が構築されてもよい。
　つまり、当該信号処理システムにおいて、前記符号化装置は、例えば、前記ピッチシフタ（時間伸縮部１０４）が、第１の信号（第１の信号１０１ｉ、入力オーディオ信号（先述）：図１）から、当該第１の信号のピッチ（ピッチ８２２：図１５）が、予め定められたピッチ（参照ピッチ８２ｒ）へとシフトされた第２の信号（第２の信号１０４ｘ、シフトがされたオーディオ信号（先述））を生成し、前記第２のエンコーダ（変換エンコーダ１０５）が、生成された前記第２の信号（第２の信号１０４ｘ）を、第３の信号（第３の信号１０５ｘ、ピッチシフタから出力された前記オーディオ信号が符号化されたデータ（先述））へと符号化し、前記ピッチパラメータジェネレータ（ピッチパラメータ生成部（動的時間伸縮ブロック）１０２）が、シフトがされる前の前記第１の信号（第１の信号１０１ｉ）の前記ピッチ（ピッチ８２２）を特定するピッチ変化比（パラメータ１０２ｘ（図１）、比８８（図１８）、Tw_ratio、Tw_ratio_index）を算出し、前記第１のエンコーダ（可逆符号化部１０３）が、算出された当該ピッチ変化比を符号（符号９０（図１８）、パラメータ（符号化パラメータ、符号化ピッチパラメータ）１０３ｘ（図１））へと符号化する符号化装置（符号化装置１：符号化装置１ａ、１ｅ、１ｆ、１ｈ、１ｉ（図１、図３、図４、図６、図７など））などである。
　そして、前記復号装置は、例えば、前記第２のデコーダ（変換デコーダ２０４）が、前記第１の信号（第１の信号２０３ｘ（第１の信号１０１ｉ））から生成された、当該第１の信号（第１の信号２０３ｘ）の前記ピッチ（ピッチ８２２：図１５）が前記予め定められたピッチ（参照ピッチ８２ｒ）へとシフトされた前記第２の信号（第２の信号２０３ｉｂ（第２の信号１０４ｘ））が符号化された前記第３の信号（第３の信号２０４ｉ（第３の信号１０５ｘ））を、前記第２の信号（第２の信号２０３ｉｂ（第２の信号１０４ｘ））へと復号し、前記オーディオ信号リコンストラクタ（時間伸縮部２０３）が、復号された前記第２の信号（第２の信号２０３ｉｂ）から前記第１の信号（第１の信号２０３ｘ）を生成し、前記第１のデコーダ（可逆復号部２０１）が、前記符号（パラメータ２０１ｉ（パラメータ１０３ｘ）、符号９０（図１８））を、前記ピッチ変化比（パラメータ２０２ｉ（パラメータ１０２ｘ）、比８８（比８８の番号）、Tw_ratio、Tw_ratio_index）へと復号し、前記ピッチ輪郭リコンストラクタ（２０２）が、復号された前記ピッチ変化比（比８８）により特定される、当該ピッチ（ピッチ８２２）の前記第１の信号（第１の信号２０３ｘ）が生成される前記ピッチ（ピッチ８２２）を算出する復号装置（復号装置２：復号装置２ｃ、２ｇ（図２、図５など））などである。
　なお、この種の信号処理システムの技術開発は、現在、進められつつある途中であり（非特許文献１～４などを参照）、このような信号処理システムについては、よく分かっていないことが多い。
　つまり、例えば、そもそも、多くの技術者は、このような信号処理システムを知らず、その技術開発に着手する段階にさえ到っていないと考えられる。
　つまり、将来、このような信号処理システムの規格（ＩＳＯ（International Organization for Standardization）における規格など）が定められることが考えられる。そして、定められた後において、比較的広く利用されることが期待される。
　例えば、本信号処理システムは、将来定められる規格における信号処理システムである。
　このような信号処理システムによれば、例えば、シフトがされた第２の信号（第２の信号１０４ｘ、２０３ｉｂ）が第３の信号（第３の信号１０５ｘ、２０４ｉ）へと符号化され、符号化された第３の信号が、当該第２の信号へと復号される。これにより、符号化装置から復号装置への通信などの処理がされる、音のデータ（第３の信号）が、データ量が小さいデータなどの、より適切なデータにできる。
　なお、これにより、ひいては、音のデータが、このように小さいにも関わらず、音質が下げられる必要がなく、高い音質で足りて、音質が高くできる。
　しかも、ピッチ変化比が算出されて、第３の信号から復号された第２の信号のシフトがされるのに際して、算出されたピッチ変化比により特定されるピッチへのシフトがされて、確実に、シフトがされる、シフト先のピッチが、適切なピッチにできる。
　しかも、算出されたピッチ変化比が符号へと符号化され、符号化された符号が、ピッチ変化比へと復号されて、ピッチ変化比のデータ量よりも小さいデータ量である符号について、通信などの処理がされて、処理がされる、ピッチのデータ（ピッチ変化比が符号化された符号（符号９０））のデータ量も小さくできる。
　そして、このような信号処理システム（符号化装置１、復号装置２）において、前記ピッチ変化比（比８８）が符号化された、当該ピッチ変化比（比８８）へと復号される前記符号（符号９０）は、当該符号（符号９０）に対応する前記ピッチ変化比（比８８）が、０セントの音程の差の２つのピッチの間のピッチ変化比（１．０の比８８ｘ：図１８）に対して、比較的小さな差（０セント）を有する第１のピッチ変化比（比８８ａ）である場合には、比較的短い符号長（長さ１）の第１の符号（符号９０ａ）であり、比較的大きな差（５０セント）を有する第２のピッチ変化比（比８８ｂ）である場合には、比較的長い符号長の第２の符号（符号９０ｂ）等である。
　つまり、上記された差が、小さな差である場合には、その差のピッチ変化比（比８８ａ）が出現する出現頻度が高く、大きな差である場合には、その差のピッチ変化比（比８８ｂ）の出現頻度が低いことが多いことがあるのに、発明者は、実験を通じて気付いた。
　そこで、こうして、差（０セントの比８ｘに近いか否か（どの程度離れているか））に応じた可変長符号化が利用されてもよい。これにより、第３の信号（信号１０５ｘ、２０４ｉ）のデータ量が小さくされて、通信などの処理がされる、ピッチのデータ（信号１０３ｘ、２０１ｉ）のデータ量が、より十分に小さくできる。
　そして、具体的には、例えば、このような信号処理システムにおいて、シフトがされた前記第２の信号（信号１０４ｘ、２０３ｉｂ）が符号化された前記第３の信号（第３の信号２０４ｉ、信号１０５ｘ）が、前記符号化装置で生成され、前記復号装置で復号される動作（図２１のＳ１、Ｓ２）は、シフトがされる前の前記第１の信号（第１の信号１０１ｉ、２０３ｘ）の前記ピッチ（ピッチ８２２）の前記ピッチ変化比（比８８）が、０セントの前記ピッチ変化比（比８８ｘ）に対して有する差が、閾値（図１８における、ｍａｘ｛１．０４１６－１＝０．０４１６、１－０．９６０４＝０．０３９６｝＝０．０４１６）以下の場合（「差」≦０．０４１６）にのみ行われ、前記閾値よりも大きい場合（０．０４１６＜「差」）には行われない。
　そして、例えば、当該閾値は、４２セント未満の音程での値（例えば、図１９の先行例における、１．０２２８５－１＝０．０２２８５など）ではなく、４２セント以上に大きい音程での値（上述された、０．０４１６など）である。
　すなわち、こうして、先述された動作がされるか否かが切り替えられる、上述された閾値が、（先行例での閾値（図１９での、上述された「０．０２２８５」を参照）と比べて、）より高い値（例えば、図１８における、ｍａｘ｛１．０４１６－１＝０．０４１６、１－０．９６０４＝０．０３９６｝＝０．０４１６）にされてもよい。
　つまり、先述の動作がされるピッチ変化比（比８８）の範囲（変域）が、（先行例での範囲８７）より広い範囲８６（図１８）にされてもよい。
　これにより、より広い範囲の変域のピッチ変化比が符号化されて、符号化された符号９０のデータ（図２２のデータ９０Ｌ）のデータ量が、より大きくされる。これにより、符号化されたデータ９０Ｌのデータ量が、例えば、先行例における、固定長の符号９１で符号化されたデータ９１Ｌ（図１９）のデータ量よりも（かなり）少ないデータ量などの、少な過ぎるデータ量になってしまうことが回避され、比較的近いデータ量（例えば同じデータ量でもよい）などの、適切なデータ量にされ、符号化後のデータ量が、適切なデータ量にできる。
　なお、このように、例えば、ピッチ変化比の変域の範囲（上述の閾値）は、符号化された符号９０によるデータ（データ９０Ｌ）のデータ量が、このような、例えば、固定長での符号化がされた際（先行例）におけるデータ（例えばデータ９１Ｌ）のデータ量に比較的近いデータ量などの、適切なデータ量である範囲（閾値）等である。
　しかも、発明者は、実験を通じて、ピッチ変化比（比８８）は、直前のピッチ（ピッチ８２１：図１５）に対して、セント数が（４２セントより）大きい範囲８６ａのピッチ変化比だけの大きな変化をしたピッチ（ピッチ８２２：図１５）のピッチ変化比であることが（ある程度）多いことに気づいた。
　このため、このような大きな変化のピッチ変化比（比８８）が生じても、そのピッチ変化比が、上述の、より広い範囲の変域（範囲８６）に属し、第３の信号１０５ｘが生成され、第３の信号１０５ｘの音質よりも低い音質の他の信号が生成される処理がされるのが回避されるなどにより、音質が高くできる。
　これにより、ピッチ変化比の変域が、適切な変域にでき、かつ、音質が高くできる。
　なお、こうして、例えば、図１８に示されるように、上述された、短い符号長（長さ１）の符号９０ａは、４２セント未満における範囲８７のピッチ変化比８８ａの符号９０などである。そして、例えば、長い符号長（長さ６）の符号９０ｂは、４２セント以上の範囲８６ａにおけるピッチ変化比８８ｂの符号９０などである。
　なお、これに対して、先行例（図１９、図１３、図１４など）においては、４２セントより大きい範囲８６ａのセント数でのピッチ変化比（比８８ｂを参照）が生じること多いことに気づいておらず、つまり、範囲８６ａのピッチ変化比が生じることが、音質が低い原因であるのに気づいていない。このため、先行例（図１９、図１３、図１４等）から、本技術の構成を導くことは困難と考えられる。
　なお、この閾値（上述の説明での「０．０４１６」）は、例えば、ピッチ変化比の変域の範囲（図１８の範囲８６、１．０４１６～０．９６０４の範囲）に属する各値のうちで、最も大きい絶対値のセント数での値（１．０４１６）である。つまり、こうして、閾値が、高い値（例えば、上述の「０．０４１６」）にされることにより、範囲８６が、４２未満における範囲８７（図１９の１．０２２８５～０．９８２８５７を参照）だけでなく、更に、４２セント以上の範囲８６ａ（図１８の１．０４１６～１．０２９３と、０．９７７２～０．９６０４とでの範囲）も含むようにされて、より広い範囲にされてもよい。
　なお、こうして、複数の処理（複数の構成、複数の技術的特徴）が組み合わせられ、組み合わせからの相乗効果が生じる。
　なお、組み合わせられる複数の処理は、何れも、この相乗効果のためのパーツ（部品）として利用されるものである点で共通し、単一の技術範囲に属する。
　一方で、知られた従来例（例えば、図１９、図１３、図１４などを参照）では、これら複数の処理のうちの一部または全部を欠き、相乗効果は生じない。この点で、本技術は、従来例に対して相違すると考えられる。
　なお、この実施形態は、単に、様々な発明ステップの原理を説明するものである。ここに説明する具体例の、様々な変形は、当業者には明らかであろう。
　（第１の実施形態）
　第１の実施形態において、動的時間伸縮方式を用いる符号化装置を提案する。
　図１は、提案のエンコーダ（符号化装置）の例を示す図である。
　図１において、左右の信号の１フレームが、ピッチ輪郭分析ブロックであるブロック１０１に送信される。そして、１０１（ピッチ輪郭分析ブロック（ピッチ輪郭分析部）１０１）において、左右のチャネル（２つのチャネル）のピッチ輪郭が、別々に算出される。つまり、それぞれのチャネルのピッチ輪郭が算出される。なお、例えば、先行技術に記載の、ピッチ輪郭検出アルゴリズムを、ここ（ピッチ輪郭分析部１０１）で用いることができる。
　そして、先述された図８に示されるように、１フレームが、Ｍ個の重なり合うセグメントに、セグメント化される。１フレーム内で、Ｍ個のセクションから、Ｍ個のピッチが算出される。
　ブロック１０１で抽出された、左右のチャネルのピッチ輪郭は、動的時間伸縮ブロックであるブロック１０２に送られる。そして、ブロック１０２は、各オーディオフレームにおける、ピッチ変化セクション情報（時間伸縮位置）と、それに対応する隣接セクションのピッチ変化比（時間伸縮値）とからなる、抽出されたピッチ輪郭情報に基づいて、ピッチパラメータを生成する。以下、ピッチパラメータを、動的時間伸縮パラメータとも呼ぶ。
　この動的時間伸縮パラメータは、可逆符号化ブロックであるブロック１０３に送られる。可逆符号化ブロックは、さらに、時間伸縮値を圧縮し、符号化時間伸縮パラメータを生成する。なお、ブロック１０３では、例えば、一般的な可逆符号化技術が用いられる。
　その後、生成された符号化時間伸縮パラメータが、マルチプレクサ（マルチプレクサブロック、マルチプレクサ回路）であるブロック１０６に送られ、ビットストリームが生成される。
　動的時間伸縮パラメータは、時間伸縮ブロックであるブロック１０４に送られる。なお、ブロック１０４の処理では、例えば、先行技術に記載されている技術が用いられてもよい。ブロック１０４は、時間伸縮パラメータに従って、入力信号を、再サンプリングする。ステレオ符号化に関し、左右の信号のピッチが、対応する動的時間伸縮パラメータに従って、別々にシフト（時間伸縮）される。
　時間伸縮後の信号は、変換エンコーダであるブロック１０５に送られる。
　符号化信号および関連情報もまた、マルチプレクサであるブロック１０６に送られる。
　なお、第１の実施形態における、ブロック１０１の入力信号は、ステレオ信号である必要はなく、モノラル信号またはマルチ信号であってもよい。動的時間伸縮方式は、あらゆる数のチャネルに適用できる。
　（効果）
　第１の実施形態において、ピッチ輪郭が、動的時間伸縮方式により処理され、動的時間伸縮パラメータが生成される。そして、生成された動的時間伸縮パラメータは、時間伸縮が適用される位置と、その位置の時間伸縮値とを表す。提案の動的時間伸縮方式により、音質が改善される。時間伸縮値の符号化に用いられるビットを、さらに削減するため、可逆符号化も導入する。
　（第２の実施形態）
　第２の実施形態において、時間伸縮パラメータを、より効率よく符号化する方式を用いる動的時間伸縮方法を説明する。
　課題の欄の記述で説明したとおり、信号の振幅および周期が変化するため、ピッチ検出は、困難な課題である。つまり、ピッチ輪郭情報が、時間伸縮に直接用いられると、ピッチ輪郭の不正確性が、時間伸縮の性能に影響する。信号のハーモニクスは、時間伸縮中のピッチシフトに比例して、修正されるため、ハーモニクスに対する、時間伸縮の影響を考慮する必要がある。
　第２の実施形態において説明する時間伸縮方法では、オーディオ信号のハーモニクス構造を分析することで、ピッチ輪郭を修正し、より効率的な、動的時間伸縮パラメータを生成する。これは、３つの部分からなる。
　第１に、ハーモニクス構造に従ってピッチ輪郭を修正する。
　第２に、時間伸縮の前後のハーモニクス構造を比較することにより、時間伸縮の性能を評価する。
　第３に、動的時間伸縮パラメータを効率よく表現する方式を用いる。
　先行技術［３］および［４］に記載のようにピッチ輪郭全体を符号化するのではなく、時間伸縮が有効にされている箇所の位置情報のみを符号化し、その位置の時間伸縮値を可逆符号化によって符号化する。
　第１に、ピッチ輪郭が修正される。第１の実施形態と同様に、ピッチ算出のため、オーディオフレームが、Ｍ個のセクションにセグメント化される。ピッチ輪郭は、Ｍ個のピッチ値（ｐｉｔｃｈ1，ｐｉｔｃｈ2，……ｐｉｔｃｈM）を有する。先行技術［３］および［４］において、ピッチは、参照ピッチ値の近くにシフトされる。時間伸縮の後に、安定した参照ピッチが得られる。
　ここで、提案の動的時間伸縮により、信号のハーモニクスを、参照ピッチ値のハーモニクス付近にシフトすることができる。
　図１７は、ハーモニクスを利用するピッチシフトを説明する図である。
　図１７に一例を示す。なお、図示されるように、図１７においては、破線（３箇所）により、参照ピッチと、それぞれの参照ハーモニクスとの図示がされる。図１７において、検出されたピッチは、参照ピッチのハーモニクスに近い。そして、Δｆ1＞Δｆ2は、次のことを意味する。つまり、Δｆ1＞Δｆ2は、検出されたピッチを、参照ピッチにシフトするために、より大きな伸縮値（図１７のΔｆ1を参照）が用いられ、検出されたピッチを、参照ピッチのハーモニクスにシフトするために、より小さな伸縮値（図１７のΔｆ2を参照）が用いられることを意味する。
　動的時間伸縮の処理は、ピッチ輪郭を修正し、ハーモニクス成分のシフトを可能にする。この修正処理の詳細を、以下に説明する。
　提案の動的時間伸縮は、検出されたピッチと、参照ピッチの差分を比較する。
　ここで、下記の数２（数式２）におけるｐｉｔｃｈrefは、参照ピッチ値を表す。また、ｐｉｔｃｈiは、セクションｉの、検出されたピッチ値を表す。
　そして、ｐｉｔｃｈi＞ｐｉｔｃｈrefであれば、ｐｉｔｃｈiに、より近いのは、ｐｉｔｃｈrefか、参照ピッチ値のハーモニクスｋ×ｐｉｔｃｈrefの何れであるかを確認する。ここで、ｋは整数であり、ｋ＞１である。
　以下の数式２を満たす、ｋの値が存在する場合には、
Figure JPOXMLDOC01-appb-M000002
 　値ｐｉｔｃｈiは、参照ピッチ値のハーモニクスである、そのｋの値における「ｋ×ｐｉｔｃｈref」にシフトされなければならない。検出されたｐｉｔｃｈiは、ｐｉｔｃｈi／２に修正される。
　他方、ｐｉｔｃｈi＜ｐｉｔｃｈrefであれば、ｐｉｔｃｈrefに、より近いのは、ｐｉｔｃｈiか、ｐｉｔｃｈrefのハーモニクスの何れであるかを確認する。以下を満たすｋが存在するならば、
Figure JPOXMLDOC01-appb-M000003
 ｐｉｔｃｈiのハーモニクスは、参照ピッチにシフトされなければならない。よって、ｐｉｔｃｈiは、ｋ×ｐｉｔｃｈiに修正される。
　第２に、この、修正されたピッチ輪郭に基づき、時間伸縮が適用され、時間伸縮の前後のハーモニクス構造を比較することで、性能が評価される。時間伸縮の前後のハーモニクス成分の和が、第２の実施形態における、性能評価基準として用いられる。
　セクションｉのピッチ値のハーモニクスは、以下の通り算出される。
Figure JPOXMLDOC01-appb-M000004
 　
　ここで、ｑは、ハーモニクス成分の数である。なお、この実施形態においては、ｑ＝３が提案される。そして、Ｓ（・）は、信号のスペクトラムを表す。そして、ｐｉｔｃｈiは、ピッチ輪郭ｐｉｔｃｈ1，ｐｉｔｃｈ2，……ｐｉｔｃｈMにおいて検出されたピッチ値である。
　時間伸縮後に、ハーモニクスの和が算出される。
Figure JPOXMLDOC01-appb-M000005
　Ｓ’（・）は、時間伸縮後の信号のスペクトラムを表す。
　時間伸縮の前には、信号は、ｐｉｔｃｈ1，ｐｉｔｃｈ2，……ｐｉｔｃｈMのハーモニクスからなる。ハーモニクス比ＨＲは、以下のように、これらのハーモニクス成分の間のエネルギー分布を表すように定義される。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
 は、ピッチｐｉｔｃｈ1，ｐｉｔｃｈ2，……ｐｉｔｃｈMのハーモニクスの和からなる。
　時間伸縮後に、ハーモニクス比ＨＲ’が、以下の通り算出される。
Figure JPOXMLDOC01-appb-M000008
　Ｈ’（ｐｉｔｃｈref）は、時間伸縮後の参照ピッチのハーモニクスの和である。
Figure JPOXMLDOC01-appb-M000009
 は、時間伸縮後のピッチｐｉｔｃｈ1，ｐｉｔｃｈ2，……ｐｉｔｃｈMのハーモニクスの和からなる。
　時間伸縮後に、エネルギーが、参照ピッチに制限されることが期待される。他のピッチのエネルギーは低下する。したがって、ＨＲ’＞ＨＲが期待される。時間伸縮は、ＨＲ’＞ＨＲの時に効果的であると考えられ、このフレームに、時間伸縮が利用される。
　動的時間伸縮の第３の部分では、効率的な方式を用いて、動的時間伸縮パラメータを生成する。フレームにおけるピッチ変化位置は、フレーム内にそれほど多くないことから、ピッチ変化位置と、値Δｐiとを別々に符号化するように、効率的な方式を設計することができる。
　まず、修正されたピッチ輪郭が、正規化される。次に、隣接する、修正されたピッチの差分が、以下の通り算出される。
Figure JPOXMLDOC01-appb-M000010
　先行技術［３］および［４］と異なり、動的時間伸縮は
Figure JPOXMLDOC01-appb-M000011
 のベクトル全体を符号化せず、Δｐi≠１である位置を示すために、ベクトルＣを用いる。それは、時間伸縮が有効にされている位置を示す。Δｐi≠１である、それらの時間伸縮値Δｐiのみが、可逆符号化技術によって、符号化される。
　Δｐi＝１であれば、Ｃ（ｉ）は、１に設定され、そうでなければ、Ｃ（ｉ）は、０に設定される。ベクトルＣの各要素は、修正されたピッチ輪郭の１セクションに対応する。
　図９は、ベクトルＣの算出の処理を説明する図である。
　ベクトルＣの設定内容の一例を、図９に示す。Ｎは、ピッチが変化し、Δｐi≠１であるセクションの数として定義される。
　ベクトルＣと、Δｐi≠１である時間伸縮値Δｐiとを符号化するために、動的方式が用いられる。そして、どの方式が選択されたかを示すために、フラグＡが生成される。
　まず、このフレームに、ピッチ変化点があるかどうかを確認する。Ｎ＝０であれば、ピッチ変化点がないことを意味する。フラグＡが、０に設定され、この場合、フラグＡのみが、可逆符号化ブロックであるブロック１０３に送られる。
　１つ以上のピッチ変化点があれば、Δｐi≠１である時間伸縮値Δｐiと、ベクトルＣとがデコーダに送られなければならない。
Figure JPOXMLDOC01-appb-M000012
 であれば、ピッチ変化点が多数あることを意味し、この状況では、ベクトルと、Δｐi≠１である時間伸縮値Δｐiとを直接符号化する方が、効率がよい。フラグＡが、１に設定され、ベクトルＣの符号化に、Ｍビットを使用する。例えば、ベクトルＣ＝００００１１１１に関し、このベクトルＣを表すのに、８ビットが使用される。フラグＡ、ベクトルＣ、および、Δｐi≠１であるΔｐiとが、可逆符号化ブロック１０３に送られる。
　一方、Ｎ＞０かつ
Figure JPOXMLDOC01-appb-M000013
 であれば、ピッチ変化点の数が少ないことを意味する。この場合、ピッチ変化点の位置を、直接符号化する方が、効率がよい。フラグＡが、２に設定され、ベクトルＣにおいて、０に印付けられている位置の符号化に、ｌｏｇ2Ｍビットを使用する。
　ピッチ変化点の数Ｎの符号化に
Figure JPOXMLDOC01-appb-M000014
 ビットを使用する。
　例えば、ベクトルＣ＝１０１１１１１１に関し、ピッチ変化点の位置は、２であり、位置２の符号化に、３ビットが使用される。フラグＡ、ピッチ変化点の数Ｎ、ピッチ変化位置、および、Δｐi≠１であるΔｐiが、ブロック１０３に送られる。
　先述された通り、Δｐiを統計的に分析した後には、値Δｐiの発生確率は、一様ではなく、ビットレートの節約に、可逆符号化が用いられてもよい。なお、可逆符号化１０３（可逆符号化ブロック１０３）の処理は、算術符号化、または、ハフマン符号化であってもよく、選択されたピッチ比Δｐiを符号化する。ここで、Δｐi≠１である。
　複雑性を低下させる目的で、最初の二つの方式のみを、ブロック１０２に利用してもよい。
　（効果）
　動的時間伸縮により、時間伸縮を通して、ハーモニクス構造を再構築することが可能になる。エネルギーが、参照ピッチと、そのハーモニクス成分に制限されることから、符号化効率が、改善される。評価方式により、ピッチ検出の精度への依存が減少し、符号化システムの性能が、改善される。時間伸縮パラメータを符号化する効率的な方式は、ビットレートを減らすことで、音質を改善し、より大きなピッチ変化レートを有する信号の符号化に対応することができる。
　（第３の実施形態）
　第３の実施形態において、動的時間伸縮方式を用いる復号装置を提案する。
　図２は、第３の実施形態のブロック図を示す図である。
　デマルチプレクサであるブロック２０５は、入力ビットストリームを、符号化時間伸縮パラメータ、符号化オーディオ信号、および、関連する変換エンコーダ情報に分割する。
　符号化時間伸縮パラメータは、可逆復号ブロックであるブロック２０１に送られる。このブロックにおいて、動的時間伸縮パラメータが生成される。
　動的時間伸縮は、フラグと、時間伸縮が適用される位置の情報と、それに対応する時間伸縮値Δｐiとからなる。
　動的時間伸縮情報は、動的時間伸縮再構築ブロックであるブロック２０２に送られる。ブロック２０２は、動的時間伸縮パラメータから、時間伸縮パラメータを復号する。
　変換デコーダであるブロック２０４は、デマルチプレクサブロック２０５からの変換エンコーダ情報に基づいて、符号化信号を復号する。それは、時間伸縮された信号を復号する。
　時間伸縮ブロック２０３は、時間伸縮された信号を受け取り、入力信号に対して、時間伸縮を適用する。この時間伸縮処理は、第１の実施形態におけるブロック１０４での処理と同じである。時間伸縮パラメータ、および、オーディオ信号に従って、信号は伸縮されない。
　（第４の実施形態）
　動的時間伸縮再構築の具体例を、第４の実施形態で説明する。
　動的時間伸縮再構築によって受け取られた動的時間伸縮は、フラグと、時間伸縮が適用される位置の情報と、それに対応する時間伸縮値Δｐiとからなる。
　まず、フラグが確認される。フラグが０であれば、対象フレームに、時間伸縮が適用されないことを意味する。この場合、再構築されたピッチ輪郭ベクトルは、全て１に設定される。
　フラグが１であれば、時間伸縮が適用される位置を示すベクトルＣの符号化に、Ｍビットが使用されることを意味する。１ビットが、１つの位置に合わせられる。１は、ピッチ変化なしの印として、一方、０は、時間伸縮の印として、印付けられる。ベクトルＣにおける０の数を数えることによって、時間伸縮点Ｎの総数が分かる。その過程で、Ｎ回の伸縮値Δｐiが、バッファから得られる。Δｐiは、時間伸縮値に対応している。ここで、ｃ（ｉ）＝０である。
　擬似コードは、以下の通りである。
Figure JPOXMLDOC01-appb-M000015
　フラグが２であれば、時間伸縮点の数Ｎが、バッファから読み出される。その後、Ｎ個の時間伸縮点が、バッファから読み出される。最後に、時間伸縮点に対応するピッチ比が、バッファから得られる。擬似コードは、以下の通りである。
Figure JPOXMLDOC01-appb-M000016
　正規化されたピッチ輪郭は、以下の通りに、再構築される。
Figure JPOXMLDOC01-appb-M000017
　ピッチ輪郭は、後に、時間伸縮に用いられる。
　（第５の実施形態）
　第５の実施形態において、動的時間伸縮方式を用いる、他の符号化装置を提案する。
　図３は、提案のエンコーダを示す図である。
　図１に示される符号化システムと、図３に示されるエンコーダとの間の違いは、ブロック３０６および３０７にある。図３の、可逆復号３０６の機能は、図２の２０１と同じである。動的時間伸縮再構築ブロック３０７は、図２の２０２と同じである。
　図３の、この構成を用いることで、エンコーダは、デコーダと全く同じ時間伸縮パラメータを用いることになる。
　第５の実施形態は、エンコーダにおける時間伸縮の精度を高める。
　（第６の実施形態）
　第６の実施形態において、ミドルサイドステレオモード（ＭＳモード）を組み入れた符号化装置を説明する。
　図４は、第６の実施形態の符号化装置の構成を示す図である。
　多くの変換コーデックにおいて、例えば、ＡＡＣコーデック等のステレオオーディオ信号の符号化に、ＭＳモードが、頻繁に用いられる。
　ＭＳモードは、周波数領域について、左右のチャネルのサブバンド同士の類似性を検出する。ＭＳステレオモードは、左右のチャネルのサブバンドが類似している時に、有効にされる。そうでなければ、ＭＳモードは有効にされない。
　ＭＳモード情報は、多くの変換符号化に利用できることから、動的時間伸縮において、ＭＳモード情報を、ハーモニクス時間伸縮の性能改善のために利用することができる。
　先述の図４により、変換コーデックからのＭＳモード情報を用いる構成が示される。
　左右のチャネル信号が、ＭＳ演算ブロックである、ブロック４０１に送られる。ＭＳ演算ブロックは、周波数領域について、左右の信号の間の類似性を算出する。これは、一般的な変換符号化における、ＭＳ検出と同じである。ブロック４０１によって、１フラグが生成される。ＭＳモードが、ステレオオーディオ信号の全てのサブバンドに対して有効にされていれば、フラグは、１に設定され、そうでなければ、フラグは、０に設定される。
　ｆｌａｇ＝１であれば、ダウンミックスブロックである、ブロック４０２において、左右のチャネル信号が、ミドル信号とサイド信号とにダウンミックスされる。ミドル信号は、ピッチ輪郭分析ブロックである、ブロック４０３に送られる。
　そうでなければ、元のステレオ信号がブロック４０３に送られる。
　ピッチ輪郭分析ブロックである、ブロック４０３は、図１のブロック１０２と同様に、ピッチ輪郭情報を算出する。ダウンミックスされた信号に対し、１組のピッチ輪郭が生成される。そうでなければ、左右の信号のピッチ輪郭が、別々に生成される。
　ブロック４０４、４０５、および４０６、４０８の説明は、ブロック１０３、１０４、および１０５、１９６の動作での説明と同じである。
　（効果）
　第６の実施形態において、動的時間圧縮は、ステレオ符号化に、さらに適するように変更される。ステレオ符号化に関し、左右のチャネルは、異なる特性を持つことがある。この場合、異なるチャネルに対し、異なる時間圧縮パラメータが算出される。左右のチャネルが、類似の特性を有することもある。両チャネルに、同じ時間圧縮パラメータを用いると、合理的である。左右のチャネルが類似している場合、同じ時間圧縮パラメータの組を用いることで、より効率的なオーディオ符号化が、達成できる。
　（第７の実施形態）
　第７の実施形態において、ＭＳモードに対応する復号装置を説明する。
　図５は、第７の実施形態における復号装置のブロック図である。
　入力ビットストリームが、デマルチプレクサブロック５０６に送られる。
　ブロック５０６の出力は、符号化時間圧縮パラメータ、変換エンコーダ情報、および符号化信号である。
　変換デコーダであるブロック５０５は、変換エンコーダ情報に従って、符号化信号を、時間圧縮信号に復号し、ＭＳモード情報を抽出する。
　ＭＳモード情報は、ＭＳモード検出ブロック５０４に送られる。
　このフレームの全てのサブバンドに対して、ＭＳモードが有効にされていれば、ＭＳモードは、時間圧縮に対しても、有効にされ、フラグが、１に設定される。そうでなければ、ＭＳモードは、ハーモニクス時間伸縮の再構築に用いられず、フラグは、０に設定される。当該ＭＳモードフラグは、ハーモニクス時間伸縮再構築ブロック５０２に送られる。
　動的時間伸縮パラメータは、可逆復号ブロックであるブロック５０１から、逆量子化される。
　動的時間伸縮再構築ブロック５０２は、ＭＳフラグに従って、時間伸縮パラメータを再構築する。
　Ｍ／Ｓ　ｆｌａｇ＝１であれば、１組の時間伸縮パラメータが生成され、そうでなければ、動的時間伸縮パラメータから、２組の時間伸縮パラメータが生成される。時間伸縮パラメータの生成プロセスは、第２の実施形態と同じである。
　時間伸縮ブロック５０３において、Ｍ／Ｓ　ｆｌａｇ＝１であれば、時間伸縮された左信号と、時間伸縮された右信号とに、異なる時間伸縮パラメータが適用される。そうでなければ、時間伸縮されたステレオオーディオ信号に、同じ時間伸縮パラメータが適用される。
　（第８の実施形態）
　図６は、ＭＳモードを利用する、変更された動的時間伸縮を用いるエンコーダのブロック図である。
　図６に示されるように、エンコーダにおける時間伸縮の精度を高めるように、第４の実施形態を変更する。
　この変更は、第３の実施形態の変更と同じである。
　可逆符号化ブロック６０８、および、動的時間伸縮再構築ブロック６０９が、符号化構造に追加される。この目的は、エンコーダが、デコーダと同じ時間伸縮パラメータを用いるようにすることである。ブロック６０８、および、６０９の説明は、図５の、ブロック５０１および５０２の説明と同じである。
　（第９の実施形態）
　第９の実施形態において、閉ループ動的時間伸縮手段を備える符号化装置を、導入する。
　図７は、第９の実施形態の符号化装置を示す図である。
　第９の実施形態の構成は、第８の実施形態の構成に基づくが、比較スキーム（比較スキーム７１０）が、追加されている。符号化信号、および、時間伸縮パラメータを、図７のマルチプレクサ７１１に送る前に、比較スキーム７１０において、符号化信号が確認される。時間伸縮の復号後に、全体の音質が改善されているかどうかが、判断される。
　比較スキームには、様々な種類がある。一例は、復号信号のＳＮＲを、元の信号と比較することである。
　第１に、時間伸縮された符号化信号が、変換デコーダによって、復号される。図７の７０８と同じ時間伸縮パラメータを用いて、復号された時間伸縮信号に時間伸縮が適用され、非伸縮信号が生成される。非伸縮信号と元の信号とを比較することによって、ＳＮＲ1が算出される。
　第２に、他の符号化信号が、時間伸縮を適用することなく、生成される。この符号化信号は、同じ変換デコーダによって復号され、復号信号を、元の信号と比較することによって、ＳＮＲ2が算出される。
　第３に、ＳＮＲ1と、ＳＮＲ2とを比較することによって、決定がなされる。ＳＮＲ1＞ＳＮＲ2であれば、時間伸縮が選択され、第１の符号化信号、変換エンコーダ情報、および、符号化時間伸縮パラメータが、デコーダに送られる。そうでなければ、時間伸縮は選択されず、第２の符号化信号、および、変換エンコーダ情報が、デコーダに送信される。
　比較スキームの、他の方法として、ＳＮＲの代わりに、ビット消費を比較することができる。
　要約すれば、次のことが言える。すなわち、時間伸縮技術は、オーディオ符号化システムにおけるピッチ変化の影響を補うために用いられる。そして、時間伸縮の効率を改善するために、動的時間伸縮方式が提案される。本発明の時間伸縮方式は、ハーモニクス構造の分析に基づいて、ピッチ輪郭を修正し、時間伸縮の間のハーモニクス構造を考慮することによって、音質を改善する。動的時間伸縮方式は、また、時間伸縮の前後のハーモニクス構造を比較することによって、時間伸縮の有効性を評価し、対象オーディオフレームに、時間伸縮を利用すべきかどうかを決定する。それにより、不正確なピッチ輪郭情報によってもたらされる不正確性を取り除く。動的時間伸縮は、また、時間伸縮パラメータを、より効率的に符号化する方法を提供し、変換符号化から得られるＭＳモード情報を用いて、音質および符号化効率を改善する。
　なお、こうして、符号化装置１および復号装置２（信号処理システム２Ｓ、図１、図２、図２０、図２１など）が構築されてもよい。そして、例えば、ある局面などにおいて、次の動作がされてもよい。上述された処理のうちの一部（または全部）は、以下で説明される動作と同じ（類似する）動作などでもよい。
　つまり、符号化装置１において、次の処理がされてもよい。
　つまり、音の信号１０１ｉ（図１、図１１の信号８１１を参照）から、当該信号１０１ｉのピッチ（例えば、図１５のピッチ８２２を参照）が、参照ピッチ（先述：例えば、図１５の参照ピッチ８２ｒ）へとシフトされた信号１０４ｘ（図１、図１１の信号８１２を参照）が生成されてもよい（時間伸縮部１０４、図２１のステップＳ１０４）。
　なお、このようにして、シフト先のピッチ（参照ピッチなど）へのシフトがされてもよい。そして、シフト先のピッチは、先述のように、参照ピッチでなく、参照ピッチの倍音（ハーモニクス）などでもよい（数式２などを参照）。
　なお、信号１０１ｉ（信号１０４ｘ）は、具体的には、例えば、ステレオの２チャンネル、５．１チャンネル、または、７．１チャンネルなどのマルチチャンネルの複数のチャネルなどの、複数のチャンネルのうちの１つのチャンネルにおける信号などでもよい。
　そして、さらに具体的には、信号１０１ｉは、例えば、複数のセクション（例えば、図１６に示される、フレーム８４Ｆ（図１６）に含まれる、Ｍ個のセクション８４（セクション８４１～セクション８４Ｍ）を参照）の信号のうちの、１つあるいは一部のセクション８４における信号などでもよい。
　なお、図１６のＭの値は、具体的には、例えば１６などでもよい。
　そして、例えば、上述された参照ピッチ（参照ピッチ８２ｒ）は、信号１０１ｉが符号化されるよりも、当該参照ピッチへとシフトがされた後の信号１０４ｘが符号化される方が、より適切な符号化がされるピッチである。
　つまり、ここで、適切であるとは、例えば、仮に、シフトがされる前の信号１０１ｉが符号化されたと仮定した際における、（音質を維持したままでの、）符号化後のデータ量よりも、シフトがされた後の信号１０４ｘが符号化された信号１０５ｘ（図１）のデータ量の方が小さいことなどをいう。つまり、例えば、小さい方のデータ量は、そのデータ量のデータの音質と同じ音質で、音質が維持された他方のデータのデータ量よりも小さいデータ量などをいう。
　つまり、例えば、参照ピッチは、信号１０１ｉのセクション（例えば図１５のセクション８２２ｓ）以外の他のセクション（例えば、セクション８２２ｓに隣接するセクション８２１ｓ）でのシフトで、当該他のセクションのピッチ（ピッチ８２１）がシフトされる先のピッチ（例えば、参照ピッチ８２ｒ）と同じピッチ（参照ピッチ８２ｒ）などである。
　そして、シフトがされた後の信号１０４ｘ（図１）が、信号１０５ｘへと符号化されてもよい（変換エンコーダ１０５、ステップＳ１０５）。
　これにより、シフトがされた後の信号１０４ｘが、スペクトル的に符号化し易くなり、符号化し易くなった信号を符号化することで、シフトしない信号（第１の信号１０１ｉ）を符号化することに比べて、同じ音質であれば、符号化に必要なデータ量が少なくできる。
　つまり、こうして、シフトがされて、シフトがされる前における第１の信号１０１ｉが直接符号化されるのが回避され、シフトがされた後の第２の信号１０４ｘが、第１の信号１０１ｉが直接符号化された信号のデータ量よりも小さいデータ量の第３の信号１０５ｘへと符号化され、第１の信号１０１ｉの音の、符号化された信号として、より小さいデータ量の第３の信号１０５ｘが用いられる。
　一方で、シフトがされる前の信号１０１ｉのピッチ（ピッチ８２２（図１５）を参照）を特定するパラメータ１０２ｘ（先述された動的時間伸縮パラメータ、ピッチパラメータ）が算出されてもよい（ピッチパラメータ生成部１０２、ステップＳ１０２）。
　なお、先述のように、例えば、算出されるパラメータ１０２ｘは、予め定められた比（図１８の比８８（Tw_ratio）：先述されたピッチ変化比）でもよい。そして、算出された比（比８８、パラメータ１０２ｘ）は、予め定められたピッチ（例えば、図１５のピッチ８２１を参照）から、当該比（図１５に示される比８３を参照）だけの変化をしたピッチ（ピッチ８２２）を特定することができる（図１５に示される比８３を参照）。
　なお、さらに具体的には、例えば、比８８のデータは、その比８８の番号（図Tw_ratio_index）を特定する、番号のデータであり、特定される番号の比を特定することにより、比を間接的に特定してもよい。このような、番号のデータが、パラメータ１０２ｘとして算出されてもよい。
　なお、図１５においては、符号８３の矢印線の先端の位置により、符号８３で示される比が、ピッチ８２１と、ピッチ８２２との間の比であることが模式的に図示される。
　そして、算出されるパラメータ１０２ｘは、符号化された、音の信号１０５ｘが（例えば復号装置２などにより）復号される際に、信号１０５ｘ（図２の信号２０４ｉ）が復号された信号（図２の信号２０３ｉｂ（図１の信号１０４ｘ））から、当該パラメータ１０２ｘにより特定されるピッチ（ピッチ８２２を参照）の信号（図２の信号２０３ｘ（図１の信号１０１ｉ））が生成される（逆シフトがされる）パラメータでもよい。
　なお、さらに具体的には、当該パラメータ１０２ｘが、符号化装置１から、復号をする装置（復号装置２）へと通信されて、通信されたパラメータ１０２ｘ（図２の信号２０１ｉを参照）により、上述の処理がされてもよい。
　これにより、復号された後の信号（図２の信号２０３ｘ）のピッチが、確実に、適切なピッチ（ピッチ８２２を参照）にできる。
　なお、こうして、音のデータ（図１の信号１０４ｘ、信号１０５ｘ、図２の信号２０３ｉｂ、信号２０４ｉ）と共に、ピッチのデータ（ピッチを特定するパラメータ１０２ｘ）が利用されて、音のデータと、ピッチのデータとの２つのデータが利用されてもよい。
　しかしながら、音のデータについて、信号１０１ｉから符号化された、信号２０３ｉｂへと復号される、小さなデータ量の信号（図１の信号１０５ｘ、図２の信号２０４ｉ）が利用されて、音のデータのデータ量が小さくされることではなくて、むしろ、他方の、ピッチのデータ（図１のパラメータ１０２ｘ、図２のパラメータ２０１ｉ）のデータ量が小さくすることの方が、より強く望まれることも考えられる。
　そこで、より具体的には、例えば、算出されたパラメータ１０２ｘが、パラメータ１０２ｘのデータ量よりも小さいデータ量を有する、符号化後のパラメータ１０３ｘ（図１、図２のパラメータ２０１ｉ）へと符号化（可逆符号化（Ｈｕｆｆｍａｎ符号やＡｒｉｔｈｍｅｔｉｃ符号化など））されてもよい（可逆符号化１０３、ステップＳ１０３）。
　これにより、パラメータ１０２ｘ（ピッチのデータ）についても、符号化（可逆符号化）を施すことで、パラメータ１０２ｘ（ピッチのデータ）のデータ量も小さくできる。
　しかしながら、算出されるパラメータ１０２ｘ（図１、図２のパラメータ２０４ｉ）によって特定できるピッチ（例えば、図１５のピッチ８２２を参照）のセクション（セクション８２２ｓ）の時刻に隣接する時刻のセクション（直前のセクション８２１ｓ）のピッチ（ピッチ８２１）もある。
　そこで、算出されるパラメータ１０２ｘは、隣接する（セクション（セクション８２１ｓ）の）ピッチ（ピッチ８２１）と、そのパラメータ１０２ｘのピッチ（ピッチ８２２）との間の比（比８３、図１８のTw_ratio）を特定するパラメータでもよく、この比を算出（特定）して、算出された比に対して可逆符号化を行い、この比が不可逆符号化された後のデータを、符号化時間伸縮パラメータとしてもよい（先述の説明を参照）。
　つまり、算出されるパラメータ１０２ｘは、そのパラメータ１０２ｘによって特定される比（図１５の比８３）だけの変化を、隣接するピッチ（ピッチ８２１）から有するピッチ（ピッチ８２２）を特定して、ピッチ（ピッチ８２２）を、当該比によって間接的に特定してもよい。
　しかしながら、発明者は実験を行い、比較的多くの場合においては、０セントの音程の変化の比８８ｘ（１．０の比：図１８）に対して比較的近い比８８ａ（例えば、比８８ｘそのものなど）は、高い頻度（出現頻度）で生じる一方で、比８８ｘから比較的離れた比８８ｂ（例えば、図１８に示される、「１．０２９３」の比など）は、低い頻度で生じることに気付いた。
　つまり、比８８が生じる（出現する）頻度は、その比８８が、０セントの比８８ｘに近いか否かに応じた頻度（０セントの比８８ｘに近いほど高く、離れるほど低い頻度）であることに気付いた。
　そこで、算出された比８８（パラメータ１０２ｘ）は、０セントの比８８ｘに対して比較的近い比（比８８ａ：図１８）で、比較的高い出現頻度で出現する比８８ａである場合には、比較的短い符号長（ビット長、長さ）の符号（符号（ビット列）９０ａ（図１８）、例えば、長さが１である符号「０」（図１８を参照）など）へと符号化されてもよい。
　そして、他方で、算出された比８８（パラメータ１０２ｘ）は、０セントの比８８ｘから比較的離れた比（比８８ｂ）であり、比較的低い出現頻度で出現する比８８ｂである場合には、比較的長い長さの符号（符号９０ｂ、例えば、図１８に示される、符号長が６の符号「１１１１１０」）へと符号化されてもよい。
　つまり、こうして、算出された、それぞれの比８８（パラメータ１０２ｘ：比８８ａ、比８８ｂなど）が、その比８８が、０セントの比８８ｘに近いか否か（比８８ｘとの差がどの程度であるか）に応じた出現頻度に対応する符号長の可変長符号９０（符号９０ａ、９０ｂなど）へと、可変長符号化されてもよい。
　なお、具体的には、例えば、比８８（比８８ａ、８８ｂなど）に対して、その比８８に対応した適切な可変長符号９０（符号９０ａ、９０ｂなど）を対応付けるテーブル１０３ｔ（テーブルのデータ、テーブル８５：図１８、図２０、図１などを参照）が記憶されてもよい。
　なお、このテーブル１０３ｔは、具体的には、例えば、可逆符号化部１０３（第１のピッチ処理部１０３Ａ：図１、図２０等を参照）により記憶されてもよい。
　そして、記憶されたテーブル１０３ｔにより、算出された比８８（比８８ａ、８８ｂ：パラメータ１０２ｘ（図１））が対応付けられた可変長符号９０（符号９０ａ、９０ｂ：パラメータ１０３ｘ（図１））へと、その比８８が符号化されることにより、可変長符号化が行われてもよい。
　これにより、ピッチの、符号化後のパラメータ１０３ｘ（符号９０）のデータ量が、より小さくなり、変換エンコーダで使うことの出来る符号化データ量を間接的に増やすことができ、符号化音質を向上させることができる。
　そして、復号装置２（図２等）において、次の処理がされてもよい。
　つまり、音の信号２０３ｉｂ（信号１０４ｘ：図１）が符号化された信号２０４ｉが、信号２０３ｉｂ（信号１０４ｘ）へと復号されてもよい（変換デコーダ２０４、ステップＳ２０４）。なお、変換デコーダの方式は、例えば、ＭＰＥＧ（Moving Picture Experts Group）－ＡＡＣ（Advanced Audio Coding）などのような直交変換符号化方式であってもいいし、ＡＣＥＬＰ（Algebraic Code Exited Linear Prediction）などの音声符号化方式であっても良いし、その他の方式などでもよい。
　そして、復号される信号２０４ｉは、より具体的には、シフトがされる前の、音の信号２０３ｘ（信号１０１ｉ）から生成された、当該信号２０３ｘ（信号１０１ｉ）におけるピッチ（ピッチ８２２）が、参照ピッチ（参照ピッチ８２ｒ）へとシフトされた後の信号２０３ｉｂ（信号１０４ｘ）が符号化された信号２０４ｉ（信号１０５ｘ）である。
　つまり、復号される信号２０４ｉは、例えば、上述された符号化装置１により、符号化がされた後における信号１０５ｘでもよい。
　つまり、さらに具体的には、例えば、復号される信号２０４ｉは、符号化をした符号化装置１から復号装置２へと通信されるデータ（図１のストリーム１０６ｘ、図２のストリーム２０５ｉ）に含まれ、符号化装置１から復号装置２へと通信される信号でもよい。
　そして、信号２０４ｉから復号された信号２０３ｉｂから、復号された当該信号２０３ｉｂにおける参照ピッチ（参照ピッチ８２ｒ）が、シフトがされる前のピッチ（ピッチ８２２）へとシフト（逆シフト）された信号２０３ｘを生成する（時間伸縮部２０３、ステップＳ２０３）。
　そして、より具体的には、符号化時間伸縮パラメータ２０１ｉを可逆復号化して、動的時間伸縮パラメータ２０２ｉを取得する。取得された動的時間伸縮パラメータ２０２ｉは、前記ＴＷ＿Ｒａｔｉｏ＿Ｉｎｄｅｘで表される。そして、取得された動的時間伸縮パラメータ２０２ｉ、および、ＴＷ＿Ｒａｔｉｏ＿Ｉｎｄｅｘと、ＴＷ＿Ｒａｔｉｏとの間の関係を表したテーブル１０３ｔにより、時間伸縮パラメータＴＷ＿Ｒａｔｉｏを取得する。取得したＴＷ＿Ｒａｔｉｏに応じて、信号２０３ｉｂを、時間伸縮回路（時間伸縮部）２０３にて、シフトされる前のピッチに相当する非伸縮信号２０３ｘへと変換する（逆シフト）。
　そして、具体的には、比８８（パラメータ２０２ｉ、パラメータ１０２ｘ）が符号化されたパラメータ２０１ｉ（図１のパラメータ１０３ｘ）が、比８８（パラメータ２０２ｉ、パラメータ１０２ｘ）へと復号されて、復号された比８８（パラメータ２０２ｉ）により特定されるピッチ（ピッチ８２２）へのシフトがされてもよい（可逆復号部２０１、Ｓ２０１）。
　これにより、ピッチのデータのデータ量についても、符号化されたデータ（パラメータ２０１ｉ、パラメータ１０３ｘ）における、小さなデータ量にされて、ピッチのデータのデータ量も小さくできる。
　そして、発明者は、先述のように、比８８は、０セントの比８８ｘに近い比８８ａである場合には、高い頻度で出現し、０セントの比８８ｘから離れた比８８ｂである場合には、低い頻度で出現することに気付いた。
　そこで、０セントの比８８ｘに近い比８８ａへと、比較的短い符号９０ａが、復号され、０セントの比８８ｘから離れた比８８ｂへと、比較的長い符号９０ｂが復号されてもよい。
　つまり、こうして、０セントの比８８ｘに近いか否かに応じた出現頻度に合わせた復号（当該出現頻度に基づいた可変長符号化における復号）がされてもよい。
　なお、換言すれば、復号されるパラメータ２０１ｉの符号９０（図１８）は、０セントの比８８ｘに近い比８８ａの符号９０（符号９０ａ）である場合には、短い符号９０ａであり、０セントの比８８ｘから離れた比８８ｂの符号９０（符号９０ｂ）である場合には、長い符号９０ｂであってもよい。
　つまり、これにより、短い符号９０ａが、０セントの比８８ｘに近い比８８ａへと復号され、長い符号９０ｂが、０セントの比８８ｘから離れた比８８ｂへと復号されてもよい。
　これにより、より十分に、ピッチのデータのデータ量が小さくできる。
　なお、より具体的には、例えば、先述されたテーブル１０３ｔ（テーブル８５：図１８）に対応する復号化テーブル２０１ｔ（図１８、図２、図２０など：テーブル８５）を記憶しておく。
　そして、さらに具体的には、例えば、テーブル２０１ｔは、可逆復号部２０１（第２のピッチ処理部２０１Ａ：図２、図２０などを参照）により記憶されてもよい。
　そして、記憶されたテーブル２０１ｔにより、可変長符号９０（符号化されたパラメータ２０１ｉ）が対応付けられた比８８（パラメータ２０２ｉ）へと復号がされることにより、適切な、復号の処理がされてもよい。
　なお、先行例としては、固定長の長さの固定長符号（図１９における、３ビットの長さの固定長符号９１（符号９１ａ、９１ｂ）を参照）により、ピッチのデータ（比８８（図１８）、図１のパラメータ（パラメータ２０２（図２等）を参照）が、固定長符号化される技術が知られる。
　そして、先述された、図１６の説明で述べられたように、例えば、１つのフレーム８４Ｆは、１６個のセクション８４（セクション８４１～８４Ｍ、Ｍ＝１６）へと分割される。
　このため、先行例では、それぞれのフレーム８４Ｆについて通信されるデータ９Ｌ（図２２の第１行第２列）は、例えば、そのフレーム８４Ｆの１６個のセクション８４に対応する、１６個の固定長符号９１（図２２の固定長符号９１ｃ、９１ｄなど）を含み、３ビット×１６個＝４８ビット（図２２の表の第１行第３列を参照）だけの、比較的大きいデータ量を有する。
　これに対して、本実施形態の符号化装置１、復号装置２によれば、それぞれのフレーム８４Ｆについて通信されるデータ９０Ｌ（図２２における第２行、第３行）は、図２２に示される１５個の「１」の文字により示される、１５個の、長さ１の符号９０ｃを含む。
　そして、本実施形態におけるデータ９０Ｌは、例えば、図２２に示される１個の、「６」（データ９０Ｌｓでは「４」）の文字により示される、１個の、長さ６（データ９０Ｌｓでは長さ４）の符号９０ｄ（データ９０Ｌｓの符号９０ｄｓ、データ９０Ｌｔの符号９０ｄｔ）を含む。
　このように、本実施形態におけるデータ９０Ｌは、高い頻度（例えば、図２２の例では、１５／１６の頻度）で出現する、短い長さ（例えば、図２２における、符号９ｃにおける長さ１、および、図１８の表の符号９０ａ「０」における長さ１などを参照）の符号９０ｃ（図１８における符号９０ａ）を、多い個数（例えば、図２２のデータ９０Ｌの例では１５個）だけ含む。
　そして、データ９０Ｌは、長い長さ（例えば、図２２における長さ６個（データ９０Ｌｓでは長さ４）、および、図１８の符号９０ｂ「１１１１１０」における長さ６などを参照）の符号９０ｄ（図１８の符号９０ｂ）を、少ない個数（例えば、図２２で例示される１個）だけ含む。
　つまり、図示されるように、本システムでのデータ９０Ｌは、例えば、１×１５＋６×１＝２１ビット（第３行のデータ９０Ｌｓ）、または、１×１５＋４×１＝１９ビット（第２行）などの、比較的小さいデータ量を有する。
　このため、例えば、本システムによれば、それぞれのフレーム８４Ｆの通信等の処理でのデータ９０Ｌのデータ量における、先行例でのデータ９１Ｌ（図２２の第１行）でのデータ量からの減少幅として、４８－２１＝２７ビット（第３行のデータ９０Ｌｔ）、または、４８－１９＝２９ビット（第２行のデータ９０Ｌｓ）などの減少幅が生じることが期待できる。
　なお、これらの減少幅（２７ビット、２９ビットなど）は、単なる、計算によって、理論的に想定される一例である。つまり、上述された、減少のための原理は、これらの減少幅（２７ビット、２９ビット）と同一または近似する減少幅を得るために利用されてもよいし、比較的小さい減少幅などの、その他の減少幅を得るために利用されるなどしてもよい。
　このように、本実施形態によれば、減少がされる、データ量の減少幅が、比較的大きな減少幅（例えば、上述された２７ビット、２９ビットなど）にできる。
　そして、さらに、本システムにおいて、次の動作がされてもよい。
　図１２により、半音を構成する１００セント（１セントは、１オクターブの１２００分の１）だけの音程９０ｊが示される。このような半音の音程９０ｊの１００分の１だけの音程が、１セントである。なお、この点については、例えば、図１２に示される「１００ｃ」の文字も、参照されたい。
　そして、図１８の表における第１列（cent）における、それぞれの行においては、その行の比８８だけ互いに離れた２つのピッチ（図１５のピッチ８２１、８２２を参照）の間の音程が、１セント（cent）の何倍の音程であるかが示され、つまり、その行の比８８の音程のセント数が示される。
　なお、例えば、図１８の表の第３行（符号「１１１１００」の行）においては、１．０２９３倍の比８８（比８３（図１５）を参照）のセント数が、５０セントであることが示される。
　そして、範囲８６１（図１８：範囲８６ａの一部）は、０セントの比８８ｘ（図１８の第８行）から、４２セント以上に大きい比８８（１．０２９３、１．０４１６）の範囲（比８８ｘより大きく、かつ、比８８ｘからの差の絶対値が、４２セント以上である範囲）を示す。
　一方で、範囲８６２（範囲８６ａの一部）は、－４２セント以上に小さい比８８（０セントの比８８ｘから、より小さい方へと、４２セント以上離れた比８８（０．９７７２、０．９７１５、０．９６０４）の範囲（比８８ｘよりも小さく、かつ、比８８ｘからの差の絶対値が、４２セント以上であるは範囲）である。
　つまり、範囲８６１と、範囲８６２とを合わせてなる範囲８６ａは、０セントの比８８ｘ（第８行）からの差の絶対値が、４２セント以上であり、比８８ｘから、４２セント以上、離れた比８８の範囲を示す。
　そして、範囲８７は、４２セント未満だけしか離れてない、比８８の範囲である。
　なお、この範囲８７については、後で、さらに詳しく説明される。
　そして、比８８ａ（図１５の比８３ａ）は、図１８に示されるように、例えば、上述された、４２セント未満における範囲８７に属する比８８であり、比８８ｂ（図１５の比８３ｂ）は、４２セント以上である範囲８６ａに属する比８８である。
　なお、比８３（図１５、図１８の比８８）を作る２つのピッチ（図１５のピッチ８２１、８２２を参照）の間の差は、その比８３が、４２セント未満の範囲８７での比８３ａ（比８８ａ）であれば、比較的小さい差であり、４２セント以上の範囲８６ａでの比８３ｂ（比８８ｂ）であれば、比較的大きな差である。
　そして、発明者の実験によれば、４２セント未満の範囲８７の比８８ａが生じるだけに止まることなく、このような、大きな差の２つのピッチ（ピッチ８２１、８２２を参照）が生じて、４２セント以上の範囲８７での比８８ａが現れることがあるのがみられた。
　なお、ここで、比８８ａは、例えば、０セントの比８８ｘ（Tw_ratio「１」）に対して比較的近い比８８ａ（図１８では、比８８ｘそのもの）である。
　そして、他方の比８８ｂは、比８８ｘから比較的遠い比８８ｂである。
　つまり、先述のように、例えば、比８８ａに対応する符号９０ａ（符号「０」）の長さ（長さ１）は、比８８ｂに対応する符号９０ｂ（「１１１１００」）の長さよりも短い。
　そこで、例えば、信号１０１ｉ（図１）の比８８として、範囲８７に属する比８８ａが算出された場合において、算出された比８８ａに対応する符号９０ａ（図１のパラメータ１０３ｘ）が生成され（符号化装置１）、生成された符号９０ａが、比８８ａ（図２のパラメータ２０２ｉ）へと復号されて（復号装置２）、先述された処理がされてもよい。
　つまり、これにより、比８８が、範囲８７に属する比８８ａである場合において、先述された処理がされて、シフトが利用され、音のデータ（信号１０５ｘ（図１）、信号２０４ｉ（図２）を参照）のデータ量が小さくされてもよい。
　そして、さらに、信号１０１ｉの比８８として、範囲８６ａに属する比８８ｂが算出された場合においても、比８８ｂに対応する符号９０ｂが生成され、生成された符号９０ｂが、比８８ｂへと復号されて、先述された処理がされ、音のデータ（信号１０５ｘ（図１）、信号２０４ｉ（図２）を参照）のデータ量が小さくされてもよい。
　これにより、範囲８６ａの比８８ｂが算出される場合、つまり、２つのピッチ（ピッチ８２２、８２１）の間の比８３が、４２セント以上である場合にも、先述の処理がされて、音のデータのデータ量が小さくされて、より確実に、音のデータのデータ量が小さくできる。
　つまり、比８３（図１５）が、４２セント未満の比８３ａであり、２つのピッチ（図１５のピッチ８２２、８２１を参照）の間の変化が、小さい変化である場合だけでなく、４２セント以上の比８３ｂで、大きい変化である場合にも、音のデータのデータ量が小さくされる。つまり、ピッチの変化（図１５のピッチ８２２、８２１を参照）が大きいか小さいかに関わらず、音のデータのデータ量が小さくされ、確実に、音のデータのデータ量が小さくできる。
　なお、これに対して、先行例（図１９）においては、２つのピッチ（ピッチ８２２、８２１を参照）の間の比８９（図１９）が、４２セント未満である範囲８７に属する比である場合にのみ、データ量が小さくされる処理がされて、確実に、音のデータのデータ量が小さくできない。
　このように、本システムでは、確実にデータ量が小さくできて、先行例（図１９等）に対して、際立った先進性を有する。
　なお、このようにして、本実施形態によれば、適切な処理がされる範囲が、先行例における比較的狭い範囲（範囲８７のみからなる範囲）から、その範囲よりもさらに広い範囲（範囲８７を含むのに加えて、更に、範囲８６ａまで含んだ範囲８６）にされて、適切な処理がされる範囲が、より広い範囲（範囲８７）にできる。
　先述された、範囲８７は、このような、広げられた範囲の一例である。
　つまり、発明者の現時点での知識によれば、先行例で適切な処理がされる範囲（範囲８７）は、少なくとも、４２セント未満の比（比８８等を参照）のみが含まれてなる範囲である。
　また、たとえば、次のような局面では、次の動作・構成をしてもよい。つまり、その位置７０４ｐ（図９）での、２つのピッチ（図１５のピッチ８２２、８２１を参照）の間の比８３ｐ（図９）が、０セントの比９０ｘ（図１８）（の近傍）ではない位置７０４ｐ（先述された、ピッチが変化する位置）と、その位置７０４ｑ（図９）での比８３ｑ（図９）は、０セントの比９０ｘ（の近傍）である位置７０４ｑ（先述された、ピッチが変化しない位置）がある局面（符号化フレーム）がある。そして、構築される符号化装置は、例えば、この符号化フレームにおいて、ピッチ変動のある箇所（図９の７０４ｐ）と、ピッチ変動の無い箇所（図９の７０４ｑ）のそれぞれの場所を記憶（図９のベクトルＣ、１０２ｍ）して、その場所情報（ベクトルＣ、１０２ｍ）、および、ピッチ変動点（７０４ｐ）におけるＴＷ＿ＲａｔｉｏまたはＴＷ＿Ｒａｔｉｏ＿Ｉｎｄｅｘの情報を、復号化装置へと送信する符号化装置であっても良い。そうすることで、ピッチ変動箇所のみのＴＷ＿Ｒａｔｉｏ（またはＴＷ＿Ｒａｔｉｏ＿Ｉｎｄｅｘ）を送信するだけですむため、必要最小限の通信データ量（符号化量）によって、符号化・復号化装置を構成することもできる。
　こうして、ピッチが変化する位置７０４ｐと、変化しない位置７０４ｑとを含む複数の位置７０４ｘがある場合、位置７０４ｘは、多くの場合においては、ピッチが変化しない位置７０４ｑであり、変化する位置７０４ｐであることは少ない（僅かである）ことに気付く（先述）。
　そこで、パラメータ１０２ｘ（図１、図２のパラメータ２０２ｉ）は、例えば、変化する位置７０４ｐを特定するデータ１０２ｍ（図９等）と、データ１０２ｍにより特定される、変化する位置７０４ｐでの比８３ｐ（を特定するデータ）とを含んでもよい。
　そして、パラメータ１０２ｘは、含まれるデータ１０２ｍにより特定する位置７０４ｐの比（比８３ｐ）を、当該パラメータ１０２ｘに含まれる（データ（上述）により特定される）比８３ｐと特定してもよい。
　そして、他方で、パラメータ１０２ｘは、含まれるデータ１０２ｍにより特定される位置７０４ｐ以外の他の位置（ピッチが変化しない位置７０４ｑ）での比（比８３ｑ）を、例えば、０セントの比９０ｘ（図１８）などの、ピッチが変化しない位置７０４ｑにおける比８３ｑと特定してもよい。
　これにより、それぞれの位置（位置７０４ｐ、７０４ｑ）における比（比８３ｐ、８３ｑ）が何れも特定されるにも関わらず、パラメータ１０２ｘは、変化する位置７０４ｐの比８３ｐのデータのみを含み、変化しない位置７０４ｑのデータを含まず、多くの位置（変化しない位置７０４ｑ）のデータは含まず、ピッチのデータ（図１のパラメータ１０２ｘ、１０３ｘ、図２の２０４ｉ、２０３いｂ）のデータ量が、さらに十分に少なくできる。
　なお、こうして、復号装置２へと入力される、信号２０４ｉ（ストリーム２０５ｉ）のピッチ（ピッチ８２２、ピッチ８２２の比８８）を符号化する符号（可変長符号９０、データ９０Ｌ（図２０、図２２））のフォーマット（図１８のテーブル８５）が開示される。
　開示されるフォーマットにおいて、０セントの比８８ｘに比較的近い比８８ａの符号（可変長符号９０、符号９０ａ）は、より短い長さ（長さ１）の符号９０ａ（「０」）である一方で、０セントの比８８ｘから遠い比８８ｂの符号（可変長符号９０、符号９０ｂ）は、より長い長さ（長さ６）の符号９０ｂ（「１１１１００」）である。
　そして、入力された、このフォーマットの符号（可変長符号９０、データ９０Ｌ）に対して、復号装置２により行われる処理（手続）Ｓ２（図２１）が開示される。
　このような、フォーマット（図１８）および手続（処理Ｓ２）により、先述のようにして、ピッチのデータ（パラメータ１０３ｘ、２０３ｘ）のデータ量が、例えば、図２２における、第１行第３列の４８ビットから、第２行第３列の２１ビット（第３行第３列の１９ビット）への減少幅などだけ小さくされて、ピッチのデータのデータ量が、より小さくできる。
　そして、例えば、このような、フォーマットおよび手続が記載された規格書による規格が定められて、本技術がより広く利用されてもよい。
　これにより、より広い場面において、ピッチのデータ量が、より小さくされるようにされて、より大きく、産業の発達に寄与できる。
　こうして、本技術によれば、複数の構成（可逆符号化部１０３など）が組み合わせられて、組み合わせからの相乗効果が生じる。これに対して、知られる従来例（図１３、図１４、図１９、および、その他の技術など）においては、これら複数の構成のうちの一部または全部を欠き、本技術における相乗効果が生じない。
　この点で、本技術は、従来例に対して先進性を有すると考えられる。
　なお、符号化装置１の一部（または全部）は、当該符号化装置１の１以上の機能が実装された集積回路（例えば、図２０の集積回路１Ｃを参照）でもよい。また、当該符号化装置１の１以上の機能を、当該符号化装置１の一部（または全部）であるコンピュータに実行させるためのコンピュータプログラム（プログラム１Ｐを参照）が構築されてもよい。
　同様に、復号装置２の機能が実装された集積回路（集積回路２Ｃを参照）、コンピュータプログラム（プログラム２Ｐを参照）などが構築されてもよい。
　また、このコンピュータプログラムが記憶された記憶媒体が構築されてもよいし、このコンピュータプログラムのデータのデータ構造などが構築されてもよい。
　また、互いに異なる複数の実施形態での記載などの、互いに離れた箇所の複数の記載で示される複数の技術事項が、適宜組み合わせられてもよい。それらの複数の記載により、組み合わせられた形態も開示される。
　また、単なる細部については、如何なる形態が採られてもよく、例えば、更なる改良発明が加えられた形態が採られてもよいし、単なる、実際の実施に際して、当業者が容易に思い付く形態などが採られてもよい。
　なお、図２１における、複数のステップ（ステップＳ１０１およびＳ１０４など）が実行される順序は、適切な動作が可能である範囲内の、如何なる順序でもよい。例えば、ステップＳ１０１の順序は、ステップＳ１０４の順序よりも先でもよいし、後でもよいし、並列に実行されるなどして、同じ順序でもよい。
　なお、処理により扱われる範囲としては、様々な範囲が考えられる。そして、本技術では、このような様々な範囲のうちから、上述された、ピッチ変化比（図１８の比８８、図１９の比８９）の変域の範囲（範囲８６、８７）が、より狭い範囲（先行例での範囲８７）から、より広い範囲（範囲８６）へと広げられる範囲として選択される。このような、本技術によってされた、範囲の選択に想い到ることは容易でないと考えられる。
　なお、こうして、例えば、以下の各装置等が実施されてもよい。
　つまり、当該復号装置（復号装置２）により受信される前記ビットストリーム（ビットストリーム１０６ｘ、２０５ｉ）は、１つのフレーム（フレーム８４Ｆ：図１６）における複数の位置（セクション８４１～８４Ｍ）のうちで、当該ピッチ変化位置（位置７０４ｐ）における信号のみが前記オーディオ信号リコンストラクタ（時間伸縮ブロック（時間伸縮部）２０３）によりTimeWarpされ（時間伸縮の処理がされ）、他の位置の信号はTimeWarpされない（時間伸縮の処理がされない）ピッチ変化位置（位置７０４ｐ）を特定する位置情報（例えば、図９のデータ１０２ｍ）を含む復号装置が構築されてもよい。
　そして、前記ピッチパラメータジェネレータ（動的時間伸縮ブロック１０２）は、検出された前記ピッチ輪郭情報（情報１０１ｘ）に基づいて、ピッチ変化位置（位置７０４ｐ（図９）、データ１０２ｍを参照）と前記ピッチ変化比（比８３ｐを参照）とを含む前記ピッチパラメータ（パラメータ１０２ｘ：例えば、ピッチ変化位置を特定する第１のピッチパラメータ１０２ｘと、ピッチ変化比を特定する第２のピッチパラメータ１０２ｘとの２つのピッチパラメータ１０２ｘなど）を生成する符号化装置が構築されてもよい。
　つまり、例えば、複数の位置のうちで、ピッチ変化位置におけるピッチ変化比のデータのみが処理され、他の位置のピッチ変化比のデータが処理されなくてもよい。
　そして、先述されたように、例えば、ピッチ変化位置の個数は僅かであり（少なく）、他の位置の個数は多い。
　このため、少ない個数の位置（ビット変化位置）のデータの処理のみで済み、処理がされるデータのデータ量が少なくできる。
　なお、ピッチ輪郭リコンストラクタ（動的時間伸縮再構築ブロック３０７：図３）等が更に設けられた符号化装置（符号化装置１ｅ：図３）などが構築されてもよい。
　つまり、前記第１のエンコーダ（可逆符号化部３０３：図３（可逆符号化部１０３：図１））から出力された前記符号化ピッチパラメータ（パラメータ３０３ｘ：図３（パラメータ１０３ｘ））から、復号ピッチ変化位置（位置７０４ｐ（図９）を参照）と復号ピッチ変化比（比８３ｐを参照）とを含む復号ピッチパラメータ（パラメータ３０６ｘ）を生成する第１のデコーダ（可逆復号ブロック３０６）と、生成された前記復号ピッチパラメータ（パラメータ３０６ｘ）に従って、ピッチ輪郭情報（情報３０７ｘ（情報３０１ｘを参照））を復元するピッチ輪郭リコンストラクタ（動的時間伸縮再構築ブロック３０７）とを備え、前記ピッチシフタ（時間伸縮ブロック３０４）は、復元された前記ピッチ輪郭情報（情報３０７ｘ）である再構築ピッチ輪郭情報（情報３０７ｘ）に従って、前記入力オーディオ信号（信号３０１ｉ）のピッチ周波数（ピッチ８２２：図１５）をシフトする符号化装置（符号化装置１ｅ、ピッチ輪郭分析部３０１～マルチプレクサ回路３０８）が構築されてもよい。
　つまり、こうして、例えば、シフトで利用される情報として、復元された情報３０７ｘが利用されることにより、復号装置２で利用される、当該復号装置２で復元される情報と同じ情報が利用されて、より適切な（精度のよい）情報が利用できてもよい。
　また、入力ステレオオーディオ信号（信号４０１ｉ：図４）の各オーディオフレームにミドルサイドステレオモード（ＭＳステレオモード）を適用するかどうかを確認して、前記ＭＳステレオモードの適用を示すフラグ（フラグ４０１ｘ）を生成するＭＳモードセレクタ（ＭＳ演算ブロック（ＭＳ演算部）４０１）と、生成された前記フラグ（フラグ４０１ｘ）に従って、前記入力ステレオオーディオ信号（信号４０１ｉ）をダウンミックスするダウンミキサ（ダウンミックスブロック４０２）とを備え、前記ピッチディテクタ（ピッチ輪郭分析ブロック４０３）は、生成された前記フラグ（フラグ４０１ｘ）に従って、前記入力ステレオオーディオ信号（信号４０１ｉ）がダウンミックスされたダウンミックス信号（信号４０２ａ）、または、前記入力ステレオオーディオ信号（信号４０２ｂ）のピッチ輪郭情報（情報４０３ｘ）を検出し、前記ピッチシフタ（時間伸縮ブロック４０６）は、前記ピッチ輪郭情報（情報４０３ｘ）と前記フラグ（フラグ４０１ｘ）とに従って、前記入力ステレオオーディオ信号または前記ダウンミックス信号（信号４０２ｘ（信号４０２ａまたは４０２ｂ））のピッチ周波数（ピッチ８２２（図１５）を参照）をシフトする符号化装置（符号化装置１ｆ、ＭＳ演算部４０１～マルチプレクサ回路４０８）が構築されてもよい。
　つまり、こうして、例えば、フラグが生成されて、生成されたフラグに従った処理がされてもよい。
　これにより、ＭＳステレオモードが利用される場合と、利用されない場合とがあるにも関わらず、利用されるか否かを示す、ユーザによる操作などがされなくても、生成されたフラグに応じた処理がされるだけで、適切な処理がされる。これにより、余計な操作が不要にされて、操作が簡単にできる。
　また、入力ステレオオーディオ信号（信号６０１ｉ：図６）に従って、ＭＳステレオモードを選択し、前記ＭＳステレオモードの適用を示すフラグ（フラグ６０１ｘ）を生成するＭＳモードセレクタ（ＭＳ演算ブロック６０１）と、生成された前記フラグ（フラグ６０１ｘ）に従って前記入力ステレオオーディオ信号（信号６０１ｉ）をダウンミックスするダウンミキサ（ダウンミックスブロック６０２）と、第１のデコーダ（可逆復号ブロック６０８）と、ピッチ輪郭リコンストラクタ（動的時間伸縮再構築ブロック６０９）とを備え、前記ピッチディテクタ（ピッチ輪郭分析ブロック６０３）は、生成された前記フラグ（フラグ６０１ｘ）に従って、前記入力ステレオオーディオ信号（信号６０１ｉ）がダウンミックスされたダウンミックス信号（信号６０２ａ）または前記入力ステレオオーディオ信号（信号６０２ｂ）のピッチ輪郭情報（情報６０３ｘ）を検出し、前記第１のデコーダ（可逆復号ブロック６０８）は、前記第１のエンコーダ（可逆符号化ブロック６０５）から出力された前記符号化ピッチパラメータ（パラメータ６０５ｘ）から、復号ピッチ変化位置（位置７０４ｐ（図８）を参照）と復号ピッチ変化比（比８３ｐを参照）とを含む復号ピッチパラメータ（パラメータ６０８ｘ）を生成し、前記ピッチ輪郭リコンストラクタ（動的時間伸縮再構築ブロック６０９）は、生成された前記復号ピッチパラメータ（パラメータ６０８ｘ）と、前記フラグ（フラグ６０１ｘ）に従って、再構築ピッチ輪郭情報（情報６０９ｘ（情報６０３ｘを参照））を復元し、前記ピッチシフタ（時間伸縮ブロック６０６）は、復元された前記再構築ピッチ輪郭情報（情報６０９ｘ）に従って、前記入力ステレオオーディオ信号または前記ダウンミックス信号（信号６０２ｘ（信号６０２ａまたは６０２ｂ））のピッチ周波数をシフトする符号化装置（符号化装置１ｈ、ＭＳ演算部６０１～マルチプレクサ回路４０８）が構築されてもよい。
　これにより、復号装置２で利用される情報と同じ情報が利用されて、より適切な情報が利用できることと、操作が簡単にできることとが両立できる。
　また、前記ピッチシフタ（図７の時間伸縮ブロック７０８）を使用するかどうかを決定する比較手段（比較部、比較スキーム７１０）を備え、前記マルチプレクサは（マルチプレクサブロック７１１）、符号化データ（信号７０９ｘ）と、前記比較手段から出力された符号化ピッチパラメータ（パラメータ７１０ｘ）とを組み合わせることでビットストリーム（ストリーム７１１ｘ）を生成する符号化装置（符号化装置１ｉ、ＭＳ演算部７０１～マルチプレクサ回路７１１）が構築されてもよい。
　つまり、例えば、比較スキーム７１０により、生成される第３の信号７０９ｘ（第３の信号１０５ｘ（図１））と、他の信号とのうちで、より適切な方の信号（例えば、ＳＮＲ（Signal to Noise Ratio：シグナルノイズレシオ、Ｓ／Ｎ比）が、より高く、ノイズがより少ない方の信号、または、データ量が、より少ない方の信号など）が、復号装置（復号装置２など）により利用される信号として選択されてもよい。
　なお、他の信号は、例えば、第３の信号７０９ｘにより記録される音と同じ音が記録された、当該第３の信号７０９ｘ以外の他の信号などでもよい。
　つまり、より具体的には、第３の信号７０９ｘでのＳＮＲ（Signal to Noise Ratio：シグナルノイズレシオ）と、他の信号でのＳＮＲとがそれぞれ算出されて、算出された２つのＳＮＲに基づいて、上記の選択がされてもよい。
　なお、算出されるＳＮＲは、例えば、シフトがされる前の信号（図１の信号１０１ｉなどを参照）に対して、そのＳＮＲの信号（第３の信号７０９ｘ、他の信号）が有する差が、そのＳＮＲの信号が有するノイズとされた際の値などでもよい。
　これにより、第３の信号７０９ｘの方が適切でないときがあるにも関わらず、そのときには、他の信号が利用され、適切な信号が用いられることが維持されて、より確実に、適切な信号が利用できる。
　また、符号化装置（符号化装置１）に設けられる前記ピッチパラメータジェネレータ（例えば、図１の動的時間伸縮ブロック１０２）であって、ピッチシフトがされる前の第１のハーモニクス構造と、された後の第２のハーモニクス構造とを比較することで、前記ピッチ輪郭（情報１０１ｘ）を修正し、当該ピッチシフトを利用すべきかどうかを決定するピッチパラメータジェネレータ（動的時間伸縮ブロック１０２）が構築されてもよい。
　なお、例えば、第１のピッチ輪郭が修正されないことにより、当該第１のピッチ輪郭でのピッチシフトを利用することが決定されると共に、当該第１のピッチ輪郭が、第２のピッチ輪郭へと修正されることにより、当該第２のピッチ輪郭でのピッチシフトを利用することが決定されてもよい。
　そして、ハーモニクス構造（のデータ）は、例えば、それぞれの値が、信号の１以上のハーモニクスのうちの、その値に対応するハーモニクスの振幅を示す値である複数の値が含まれてなるデータなどでもよい。
　そして、ピッチシフトがされる前の信号のハーモニクス構造と、された後の信号のハーモニクス構造とから、された後の信号の質を示す評価値が算出されてもよい。
　そして、第１のピッチ輪郭のピッチシフトについて算出される評価値により示される質が、第２のピッチ輪郭のピッチシフトについて算出される評価値により示される質よりも、高い質である場合に、第１のピッチ輪郭が修正されないことが決定されると共に、より低い質である場合（以下である場合）には、修正されることが決定されてもよい。
　これにより、第１のピッチ輪郭での質が、高い質でないときがあるにも関わらず、そのときには、第２のピッチ輪郭での処理がされて、ピッチシフトがされた後の信号の質が、高い質に維持され、確実に、信号の質が高くできる。
　他方、実施形態の復号装置に関して、前記第１のデコーダ（可逆復号ブロック２０１：図２）は、分離された前記符号化ピッチパラメータ情報（パラメータ２０１ｉ）から、ピッチ変化位置（位置７０４ｐ（図９）を参照）と前記ピッチ変化比（比８３ｐを参照）とを含む前記復号ピッチパラメータ（パラメータ２０２ｉ：例えば、ピッチ変化位置を特定する第１のパラメータ２０２ｉと、ピッチ変化比を特定する第２のパラメータ２０２ｉとの２つのパラメータ２０２ｉ）を生成する復号装置（復号装置２ｃ）が構築されてもよい。
　そして、当該復号装置（図５の復号装置２ｇ）は、ピッチシフトされたステレオオーディオ信号（信号５０３ｉｂＬ等：図５）の前記符号化データ（信号５０５ｉ：図５）を含む前記ビットストリーム（ストリーム５０６ｉ）を復号し、ＭＳモードディテクタ（ＭＳモード検出ブロック５０４）を備え、前記第２のデコーダ（変換デコーダブロック５０５）は、分離された前記符号化データ（信号５０５ｉ）を復号して、ピッチシフトされた前記オーディオ信号（信号５０３ｉｂＬ等）と、ＭＳモード符号化情報（情報５０４ｉ）とを生成し、前記ＭＳモードディテクタ（ＭＳモード検出ブロック５０４）は、ＭＳモードが有効にされているかどうかを、生成された前記ＭＳモード符号化情報（情報５０４ｉ）に従って検出し、ＭＳモードが有効にされるべきかどうかを示すＭＳモードフラグ（フラグ５０４Ｆ：図５）を生成し、前記ピッチ輪郭リコンストラクタ（動的時間伸縮再構築部５０２）は、前記第１のデコーダ（可逆復号ブロック５０１）から出力された、生成された前記復号ピッチパラメータ（パラメータ５０２ｉ）と、生成された前記ＭＳモードフラグ（フラグ５０４Ｆ）とに従って、ピッチ輪郭情報（情報５０３ｉａ）を復元する復号装置（復号装置１ｇ、可逆復号部５０１～マルチプレクサ回路５０６）が構築されてもよい。
　これにより、ＭＳモードが有効にされているどうかが検出され、有効にされているかどうかを示す、ユーザによる余計な操作がされなくても済んで、操作が、より簡単にできる。
　なお、例えば、ブロックとは、いわゆる機能ブロックなどをいう。
　符号化装置１および復号装置２において、上述の各効果が生じ、これら符号化装置１等における動作が、より適切な動作にできる。
　これにより、ひいては、これら符号化装置１等の生産、使用などをする産業分野において、産業の発達に貢献できる。
　１　符号化装置
　２　復号装置
　２Ｓ　システム
　１０１　ピッチ輪郭分析部
　１０２　動的時間伸縮部
　１０３　可逆符号化部
　１０４　時間伸縮部
　１０５　変換エンコーダ
　１０６　マルチプレクサ
　２０１　可逆復号部
　２０２　動的時間伸縮再構築部
　２０３　時間伸縮部
　２０４　変換デコーダ
　２０５　デマルチプレクサ

Claims (19)

  1. 　入力オーディオ信号のピッチ輪郭情報を検出するピッチディテクタと、
    　検出された前記ピッチ輪郭情報に基づいて、当該ビット変化比の変域は、当該範囲のピッチ変化比のセント数の絶対値は、４２以上である範囲を含む範囲の変域であるピッチ変化比を含むピッチパラメータを生成するピッチパラメータジェネレータと、
    　生成された前記ピッチパラメータを符号化する第１のエンコーダと、
    　前記ピッチ輪郭情報に従って、前記入力オーディオ信号のピッチ周波数をシフトするピッチシフタと、
    　前記ピッチシフタから出力された、シフトがされたオーディオ信号を符号化する第２のエンコーダと、
    　前記第１のエンコーダから出力された符号化ピッチパラメータと、前記第２のエンコーダから出力された、前記ピッチシフタから出力された前記オーディオ信号が符号化されたデータとを組み合わせることで、前記符号化ピッチパラメータと当該データとが含まれるビットストリームを生成するマルチプレクサとを備える符号化装置。
  2. 　前記ピッチパラメータジェネレータは、検出された前記ピッチ輪郭情報に基づいて、ピッチ変化位置と前記ピッチ変化比とを含む前記ピッチパラメータを生成する請求項１記載の符号化装置。
  3. 　前記第１のエンコーダから出力された前記符号化ピッチパラメータから、復号ピッチ変化位置と復号ピッチ変化比とを含む復号ピッチパラメータを生成する第１のデコーダと、
    　生成された前記復号ピッチパラメータに従って、ピッチ輪郭情報を復元するピッチ輪郭リコンストラクタとを備え、
    　前記ピッチシフタは、復元された前記ピッチ輪郭情報である再構築ピッチ輪郭情報に従って、前記入力オーディオ信号のピッチ周波数をシフトする請求項２記載の符号化装置。
  4. 　入力ステレオオーディオ信号の各オーディオフレームにミドルサイドステレオモード（ＭＳステレオモード）を適用するかどうかを確認して、前記ＭＳステレオモードの適用を示すフラグを生成するＭＳモードセレクタと、
    　生成された前記フラグに従って、前記入力ステレオオーディオ信号をダウンミックスするダウンミキサとを備え、
    　前記ピッチディテクタは、生成された前記フラグに従って、前記入力ステレオオーディオ信号がダウンミックスされたダウンミックス信号または前記入力ステレオオーディオ信号のピッチ輪郭情報を検出し、
    　前記ピッチシフタは、前記ピッチ輪郭情報と前記フラグとに従って、前記入力ステレオオーディオ信号または前記ダウンミックス信号のピッチ周波数をシフトする請求項２または３記載の符号化装置。
  5. 　入力ステレオオーディオ信号に従って、ＭＳステレオモードを選択し、前記ＭＳステレオモードの適用を示すフラグを生成するＭＳモードセレクタと、
    　生成された前記フラグに従って前記入力ステレオオーディオ信号をダウンミックスするダウンミキサと、
    　第１のデコーダと、
    　ピッチ輪郭リコンストラクタとを備え、
    　前記ピッチディテクタは、生成された前記フラグに従って、前記入力ステレオオーディオ信号がダウンミックスされたダウンミックス信号または前記入力ステレオオーディオ信号のピッチ輪郭情報を検出し、
    　前記第１のデコーダは、前記第１のエンコーダから出力された前記符号化ピッチパラメータから、復号ピッチ変化位置と復号ピッチ変化比とを含む復号ピッチパラメータを生成し、
    　前記ピッチ輪郭リコンストラクタは、生成された前記復号ピッチパラメータと、前記フラグに従って、再構築ピッチ輪郭情報を復元し、
    　前記ピッチシフタは、復元された前記再構築ピッチ輪郭情報に従って、前記入力ステレオオーディオ信号または前記ダウンミックス信号のピッチ周波数をシフトする請求項２記載の符号化装置。
  6. 　前記ピッチシフタを使用するかどうかを決定する比較手段を備え、
    　前記マルチプレクサは、符号化データと、前記比較手段から出力された符号化ピッチパラメータとを組み合わせることで、前記ビットストリームを生成する請求項５記載の符号化装置。
  7. 　請求項１～６の何れかに記載の符号化装置に設けられた前記ピッチパラメータジェネレータであって、
    　ピッチシフトがされる前の第１のハーモニクス構造と、された後の第２のハーモニクス構造とを比較することで、前記ピッチ輪郭を修正し、当該ピッチシフトを利用すべきかどうかを決定するピッチパラメータジェネレータ。
  8. 　前記第１のエンコーダは、
    　前記ピッチパラメータを、
    　当該ピッチパラメータが、比較的小さな絶対値のセント数のピッチ変化比のピッチパラメータである場合には、比較的短い符号長の符号の符号化ピッチパラメータへと符号化し、
    　比較的大きな絶対値のセント数のピッチ変化比のピッチパラメータである場合には、比較的長い符号長の符号の符号化ピッチパラメータへと符号化する請求項１～６の何れかに記載の符号化装置。
  9. 　ピッチシフトされたオーディオ信号の符号化データと、符号化ピッチパラメータ情報とを含むビットストリームを復号する復号装置であって、
    　復号を行う前記ビットストリームから、当該ビットストリームに含まれる前記符号化データと、前記符号化ピッチパラメータ情報とをそれぞれ分離するデマルチプレクサと、
    　分離された前記符号化ピッチパラメータ情報から、当該ビット変化比の変域は、当該範囲のピッチ変化比のセント数の絶対値は、４２以上である範囲を含む範囲の変域であるピッチ変化比を含む復号ピッチパラメータを生成する第１のデコーダと、
    　生成された前記復号ピッチパラメータに従って、ピッチ輪郭情報を復元するピッチ輪郭リコンストラクタと、
    　分離された前記符号化データを復号して、ピッチシフトされた前記オーディオ信号を生成する第２のデコーダと、
    　復元された前記ピッチ輪郭情報である再構築ピッチ輪郭情報に従って、ピッチシフトされた前記オーディオ信号を、元のオーディオ信号に変換するオーディオ信号リコンストラクタとを備える復号装置。
  10. 　前記第１のデコーダは、分離された前記符号化ピッチパラメータ情報から、ピッチ変化位置と前記ピッチ変化比とを含む前記復号ピッチパラメータを生成する請求項９記載の復号装置。
  11. 　当該復号装置は、ピッチシフトされたステレオオーディオ信号の前記符号化データを含む前記ビットストリームを復号し、
    　ＭＳモードディテクタを備え、
    　前記第２のデコーダは、分離された前記符号化データを復号して、ピッチシフトされた前記ステレオオーディオ信号と、ＭＳモード符号化情報とを生成し、
    　前記ＭＳモードディテクタは、ＭＳモードが有効にされているかどうかを、生成された前記ＭＳモード符号化情報に従って検出し、ＭＳモードが有効にされるべきかどうかを示すＭＳモードフラグを生成し、
    　前記ピッチ輪郭リコンストラクタは、前記第１のデコーダから出力された、生成された前記復号ピッチパラメータと、生成された前記ＭＳモードフラグとに従って、前記ピッチ輪郭情報を復元する請求項１０記載の復号装置。
  12. 　前記第１のデコーダは、
    　分離された前記符号化ピッチパラメータ情報を、
    　当該符号化ピッチパラメータ情報が、比較的短い符号長の符号の符号化ピッチパラメータ情報である場合には、比較的小さな絶対値のセント数のピッチ変化比のピッチパラメータへと復号し、
    　比較的長い符号長の符号の符号化ピッチパラメータ情報である場合には、比較的大きな絶対値のセント数のピッチ変化比のピッチパラメータへと復号する請求項９～１１の何れかに記載の復号装置。
  13. 　請求項８記載の符号化装置と、請求項１２記載の復号装置とを含んでなる信号処理システム。
  14. 　入力オーディオ信号のピッチ輪郭情報を検出するピッチディテクタ工程と、
    　検出された前記ピッチ輪郭情報に基づいて、当該ビット変化比の変域は、当該範囲のピッチ変化比のセント数の絶対値は、４２以上である範囲を含む範囲の変域であるピッチ変化比を含むピッチパラメータを生成するピッチパラメータジェネレータ工程と、
    　生成された前記ピッチパラメータを符号化する第１のエンコーダ工程と、
    　前記ピッチ輪郭情報に従って、前記入力オーディオ信号のピッチ周波数をシフトするピッチシフタ工程と、
    　前記ピッチシフタ工程で出力された、シフトがされたオーディオ信号を符号化する第２のエンコーダ工程と、
    　前記第１のエンコーダ工程で出力された符号化ピッチパラメータと、前記第２のエンコーダ工程で出力された、前記ピッチシフタから出力された前記オーディオ信号が符号化されたデータとを組み合わせることで、前記符号化ピッチパラメータと当該データとが含まれるビットストリームを生成するマルチプレクサ工程とを含む符号化方法。
  15. 　ピッチシフトされたオーディオ信号の符号化データと、符号化ピッチパラメータ情報とを含むビットストリームを復号する復号方法であって、
    　復号を行う前記ビットストリームから、当該ビットストリームに含まれる前記符号化データと、前記符号化ピッチパラメータ情報とをそれぞれ分離するデマルチプレクサ工程と、
    　分離された前記符号化ピッチパラメータ情報から、当該ビット変化比の変域は、当該範囲のピッチ変化比のセント数の絶対値は、４２以上である範囲を含む範囲の変域であるピッチ変化比を含む復号ピッチパラメータを生成する第１のデコーダ工程と、
    　生成された前記復号ピッチパラメータに従って、ピッチ輪郭情報を復元するピッチ輪郭リコンストラクタ工程と、
    　分離された前記符号化データを復号して、ピッチシフトされた前記オーディオ信号を生成する第２のデコーダ工程と、
    　復元された前記ピッチ輪郭情報である再構築ピッチ輪郭情報に従って、ピッチシフトされた前記オーディオ信号を、元のオーディオ信号に変換するオーディオ信号リコンストラクタ工程とを含む復号方法。
  16. 　入力オーディオ信号のピッチ輪郭情報を検出するピッチディテクタと、
    　検出された前記ピッチ輪郭情報に基づいて、当該ビット変化比の変域は、当該範囲のピッチ変化比のセント数の絶対値は、４２以上である範囲を含む範囲の変域であるピッチ変化比を含むピッチパラメータを生成するピッチパラメータジェネレータと、
    　生成された前記ピッチパラメータを符号化する第１のエンコーダと、
    　前記ピッチ輪郭情報に従って、前記入力オーディオ信号のピッチ周波数をシフトするピッチシフタと、
    　前記ピッチシフタから出力された、シフトがされたオーディオ信号を符号化する第２のエンコーダと、
    　前記第１のエンコーダから出力された符号化ピッチパラメータと、前記第２のエンコーダから出力された、前記ピッチシフタから出力された前記オーディオ信号が符号化されたデータとを組み合わせることで、前記符号化ピッチパラメータと当該データとが含まれるビットストリームを生成するマルチプレクサとを備える集積回路。
  17. 　ピッチシフトされたオーディオ信号の符号化データと、符号化ピッチパラメータ情報とを含むビットストリームを復号する集積回路であって、
    　復号を行う前記ビットストリームから、当該ビットストリームに含まれる前記符号化データと、前記符号化ピッチパラメータ情報とをそれぞれ分離するデマルチプレクサと、
    　分離された前記符号化ピッチパラメータ情報から、当該ビット変化比の変域は、当該範囲のピッチ変化比のセント数の絶対値は、４２以上である範囲を含む範囲の変域であるピッチ変化比を含む復号ピッチパラメータを生成する第１のデコーダと、
    　生成された前記復号ピッチパラメータに従って、ピッチ輪郭情報を復元するピッチ輪郭リコンストラクタと、
    　分離された前記符号化データを復号して、ピッチシフトされた前記オーディオ信号を生成する第２のデコーダと、
    　復元された前記ピッチ輪郭情報である再構築ピッチ輪郭情報に従って、ピッチシフトされた前記オーディオ信号を、元のオーディオ信号に変換するオーディオ信号リコンストラクタとを備える集積回路。
  18. 　入力オーディオ信号のピッチ輪郭情報を検出するピッチディテクタ工程と、
    　検出された前記ピッチ輪郭情報に基づいて、当該ビット変化比の変域は、当該範囲のピッチ変化比のセント数の絶対値は、４２以上である範囲を含む範囲の変域であるピッチ変化比を含むピッチパラメータを生成するピッチパラメータジェネレータ工程と、
    　生成された前記ピッチパラメータを符号化する第１のエンコーダ工程と、
    　前記ピッチ輪郭情報に従って、前記入力オーディオ信号のピッチ周波数をシフトするピッチシフタ工程と、
    　前記ピッチシフタ工程で出力された、シフトがされたオーディオ信号を符号化する第２のエンコーダ工程と、
    　前記第１のエンコーダ工程で出力された符号化ピッチパラメータと、前記第２のエンコーダ工程で出力された、前記ピッチシフタから出力された前記オーディオ信号が符号化されたデータとを組み合わせることで、前記符号化ピッチパラメータと当該データとが含まれるビットストリームを生成するマルチプレクサ工程とをコンピュータに実行させるためのコンピュータプログラム。
  19. 　ピッチシフトされたオーディオ信号の符号化データと、符号化ピッチパラメータ情報とを含むビットストリームをコンピュータに復号させるためのコンピュータプログラムであって、
    　復号を行う前記ビットストリームから、当該ビットストリームに含まれる前記符号化データと、前記符号化ピッチパラメータ情報とをそれぞれ分離するデマルチプレクサ工程と、
    　分離された前記符号化ピッチパラメータ情報から、当該ビット変化比の変域は、当該範囲のピッチ変化比のセント数の絶対値は、４２以上である範囲を含む範囲の変域であるピッチ変化比を含む復号ピッチパラメータを生成する第１のデコーダ工程と、
    　生成された前記復号ピッチパラメータに従って、ピッチ輪郭情報を復元するピッチ輪郭リコンストラクタ工程と、
    　分離された前記符号化データを復号して、ピッチシフトされた前記オーディオ信号を生成する第２のデコーダ工程と、
    　復元された前記ピッチ輪郭情報である再構築ピッチ輪郭情報に従って、ピッチシフトされた前記オーディオ信号を、元のオーディオ信号に変換するオーディオ信号リコンストラクタ工程とを前記コンピュータに実行させるためのコンピュータプログラム。
PCT/JP2010/006234 2009-10-21 2010-10-21 オーディオ符号化装置、復号装置、方法、回路およびプログラム WO2011048815A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011537144A JP5530454B2 (ja) 2009-10-21 2010-10-21 オーディオ符号化装置、復号装置、方法、回路およびプログラム
EP10824667.9A EP2492911B1 (en) 2009-10-21 2010-10-21 Audio encoding apparatus, decoding apparatus, method, circuit and program
CN2010800036592A CN102257564B (zh) 2009-10-21 2010-10-21 音频编码装置、解码装置、方法、电路及程序
US13/141,169 US8886548B2 (en) 2009-10-21 2010-10-21 Audio encoding device, decoding device, method, circuit, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-242302 2009-10-21
JP2009242302 2009-10-21

Publications (1)

Publication Number Publication Date
WO2011048815A1 true WO2011048815A1 (ja) 2011-04-28

Family

ID=43900059

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/006234 WO2011048815A1 (ja) 2009-10-21 2010-10-21 オーディオ符号化装置、復号装置、方法、回路およびプログラム

Country Status (5)

Country Link
US (1) US8886548B2 (ja)
EP (1) EP2492911B1 (ja)
JP (1) JP5530454B2 (ja)
CN (1) CN102257564B (ja)
WO (1) WO2011048815A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10173036B2 (en) 2012-02-07 2019-01-08 Marie-Andrea I. Wilborn Apparatus operable to protect and maintain positioning of an IV catheter

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7720677B2 (en) * 2005-11-03 2010-05-18 Coding Technologies Ab Time warped modified transform coding of audio signals
MY154452A (en) * 2008-07-11 2015-06-15 Fraunhofer Ges Forschung An apparatus and a method for decoding an encoded audio signal
ES2379761T3 (es) * 2008-07-11 2012-05-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Proporcinar una señal de activación de distorsión de tiempo y codificar una señal de audio con la misma
US8855303B1 (en) * 2012-12-05 2014-10-07 The Boeing Company Cryptography using a symmetric frequency-based encryption algorithm
US9798974B2 (en) 2013-09-19 2017-10-24 Microsoft Technology Licensing, Llc Recommending audio sample combinations
US9257954B2 (en) * 2013-09-19 2016-02-09 Microsoft Technology Licensing, Llc Automatic audio harmonization based on pitch distributions
US9280313B2 (en) 2013-09-19 2016-03-08 Microsoft Technology Licensing, Llc Automatically expanding sets of audio samples
US9372925B2 (en) 2013-09-19 2016-06-21 Microsoft Technology Licensing, Llc Combining audio samples by automatically adjusting sample characteristics
CN106571145A (zh) * 2015-10-08 2017-04-19 重庆邮电大学 一种语音模仿方法和装置
GB201621434D0 (en) 2016-12-16 2017-02-01 Palantir Technologies Inc Processing sensor logs
CN107181928A (zh) * 2017-07-21 2017-09-19 苏睿 会议系统及数据传输方法
CN113112993B (zh) * 2020-01-10 2024-04-02 阿里巴巴集团控股有限公司 一种音频信息处理方法、装置、电子设备以及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60263377A (ja) * 1984-06-08 1985-12-26 Ricoh Elemex Corp 音響信号の時間軸変換装置
JPS60263375A (ja) * 1984-06-08 1985-12-26 Ricoh Elemex Corp 音響信号の時間軸変換装置
JPH10111694A (ja) * 1996-10-08 1998-04-28 Sony Corp 音声信号多重化装置および方法
JP2001188600A (ja) * 1999-12-28 2001-07-10 Matsushita Electric Ind Co Ltd 音程変換装置
JP2002162996A (ja) * 2000-11-24 2002-06-07 Matsushita Electric Ind Co Ltd オーディオ信号符号化方法、オーディオ信号符号化装置、音楽配信方法、および、音楽配信システム
JP2002268694A (ja) * 2001-03-13 2002-09-20 Nippon Hoso Kyokai <Nhk> ステレオ信号の符号化方法及び符号化装置
JP2003521721A (ja) * 1998-11-24 2003-07-15 マイクロソフト コーポレイション ピッチ追跡方法および装置
WO2006046761A1 (ja) * 2004-10-27 2006-05-04 Yamaha Corporation ピッチ変換装置
US20080004869A1 (en) 2006-06-30 2008-01-03 Juergen Herre Audio Encoder, Audio Decoder and Audio Processor Having a Dynamically Variable Warping Characteristic

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001069474A1 (fr) 2000-03-14 2001-09-20 Kabushiki Kaisha Toshiba Centre de systemes d'irm et systeme d'irm
FR2850781B1 (fr) * 2003-01-30 2005-05-06 Jean Luc Crebouw Procede pour le traitement numerique differencie de la voix et de la musique, le filtrage du bruit, la creation d'effets speciaux et dispositif pour la mise en oeuvre dudit procede
SE0301272D0 (sv) * 2003-04-30 2003-04-30 Coding Technologies Sweden Ab Adaptive voice enhancement for low bit rate audio coding
US7840014B2 (en) * 2005-04-05 2010-11-23 Roland Corporation Sound apparatus with howling prevention function
US7974837B2 (en) 2005-06-23 2011-07-05 Panasonic Corporation Audio encoding apparatus, audio decoding apparatus, and audio encoded information transmitting apparatus
US9058812B2 (en) 2005-07-27 2015-06-16 Google Technology Holdings LLC Method and system for coding an information signal using pitch delay contour adjustment
US7720677B2 (en) * 2005-11-03 2010-05-18 Coding Technologies Ab Time warped modified transform coding of audio signals
US7734053B2 (en) * 2005-12-06 2010-06-08 Fujitsu Limited Encoding apparatus, encoding method, and computer product
WO2009038512A1 (en) * 2007-09-19 2009-03-26 Telefonaktiebolaget Lm Ericsson (Publ) Joint enhancement of multi-channel audio
CN101552005A (zh) 2008-04-03 2009-10-07 华为技术有限公司 编码方法、解码方法、系统及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60263377A (ja) * 1984-06-08 1985-12-26 Ricoh Elemex Corp 音響信号の時間軸変換装置
JPS60263375A (ja) * 1984-06-08 1985-12-26 Ricoh Elemex Corp 音響信号の時間軸変換装置
JPH10111694A (ja) * 1996-10-08 1998-04-28 Sony Corp 音声信号多重化装置および方法
JP2003521721A (ja) * 1998-11-24 2003-07-15 マイクロソフト コーポレイション ピッチ追跡方法および装置
JP2001188600A (ja) * 1999-12-28 2001-07-10 Matsushita Electric Ind Co Ltd 音程変換装置
JP2002162996A (ja) * 2000-11-24 2002-06-07 Matsushita Electric Ind Co Ltd オーディオ信号符号化方法、オーディオ信号符号化装置、音楽配信方法、および、音楽配信システム
JP2002268694A (ja) * 2001-03-13 2002-09-20 Nippon Hoso Kyokai <Nhk> ステレオ信号の符号化方法及び符号化装置
WO2006046761A1 (ja) * 2004-10-27 2006-05-04 Yamaha Corporation ピッチ変換装置
US20080004869A1 (en) 2006-06-30 2008-01-03 Juergen Herre Audio Encoder, Audio Decoder and Audio Processor Having a Dynamically Variable Warping Characteristic

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BERND EDLER: "A Time-warped MDCT Approach To Speech Transform Coding", AES 126TH CONVENTION, May 2000 (2000-05-01)
MILAN JELINEK: "Wideband Speech Coding Advances in VMR-WB Standard", IEEE TRANSACTIONS ON AUDIO, SPEECH AND LANGUAGE PROCESSING, vol. 15, no. 4, May 2007 (2007-05-01), XP011177208, DOI: doi:10.1109/TASL.2007.894514
See also references of EP2492911A4
XUEJING SUN: "Pitch Detection and Voice Quality Analysis Using Subharmonic-to-Harmonic Ratio", IEEE ICASSP, 2002, pages 333 - 336

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10173036B2 (en) 2012-02-07 2019-01-08 Marie-Andrea I. Wilborn Apparatus operable to protect and maintain positioning of an IV catheter

Also Published As

Publication number Publication date
JP5530454B2 (ja) 2014-06-25
EP2492911A1 (en) 2012-08-29
US20110268279A1 (en) 2011-11-03
EP2492911B1 (en) 2017-08-16
CN102257564B (zh) 2013-07-10
JPWO2011048815A1 (ja) 2013-03-07
CN102257564A (zh) 2011-11-23
US8886548B2 (en) 2014-11-11
EP2492911A4 (en) 2015-04-15

Similar Documents

Publication Publication Date Title
JP5530454B2 (ja) オーディオ符号化装置、復号装置、方法、回路およびプログラム
JP5208901B2 (ja) 音声信号および音楽信号を符号化する方法
KR101274827B1 (ko) 다수 채널 오디오 신호를 디코딩하기 위한 장치 및 방법, 및 다수 채널 오디오 신호를 코딩하기 위한 방법
TWI405187B (zh) 可縮放語音及音訊編碼解碼器、包括可縮放語音及音訊編碼解碼器之處理器、及用於可縮放語音及音訊編碼解碼器之方法及機器可讀媒體
JP6704037B2 (ja) 音声符号化装置および方法
US8340976B2 (en) Method and apparatus for generating an enhancement layer within a multiple-channel audio coding system
KR101275892B1 (ko) 오디오 신호를 인코딩하고 디코딩하기 위한 방법 및 장치
KR101274802B1 (ko) 오디오 신호를 인코딩하기 위한 장치 및 방법
TW200841743A (en) Encoder, decoder and methods for encoding and decoding data segments representing a time-domain data stream
KR20140005277A (ko) 저-지연 통합 스피치 및 오디오 코딩에서 에러 은닉을 위한 장치 및 방법
WO2016016724A2 (ko) 패킷 손실 은닉방법 및 장치와 이를 적용한 복호화방법 및 장치
KR101809298B1 (ko) 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080003659.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10824667

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2010824667

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2010824667

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13141169

Country of ref document: US

Ref document number: 2011537144

Country of ref document: JP