WO2010137300A1 - 復号装置及び復号方法 - Google Patents

復号装置及び復号方法 Download PDF

Info

Publication number
WO2010137300A1
WO2010137300A1 PCT/JP2010/003496 JP2010003496W WO2010137300A1 WO 2010137300 A1 WO2010137300 A1 WO 2010137300A1 JP 2010003496 W JP2010003496 W JP 2010003496W WO 2010137300 A1 WO2010137300 A1 WO 2010137300A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
decoded
decoding
channel
differential signal
Prior art date
Application number
PCT/JP2010/003496
Other languages
English (en)
French (fr)
Inventor
山梨智史
押切正浩
江原宏幸
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2011515887A priority Critical patent/JP5764488B2/ja
Priority to US13/322,202 priority patent/US8660851B2/en
Publication of WO2010137300A1 publication Critical patent/WO2010137300A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005Correction of errors induced by the transmission channel, if related to the coding algorithm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Definitions

  • the present invention particularly relates to a decoding apparatus and a decoding method used in a communication system that encodes and transmits a signal and receives and decodes the encoded signal.
  • an encoding technique for a two-channel signal (stereo signal) of a left channel signal (hereinafter referred to as “L signal”) and a right channel signal (hereinafter referred to as “R signal”) is M / S (Middle). / Side)
  • L signal left channel signal
  • R signal right channel signal
  • M / S Right channel signal
  • a stereo encoding system or an intensity stereo encoding system can be cited as an existing technique.
  • the M / S encoding method will be briefly described.
  • a two-channel signal of an L signal and an R signal is converted into a sum signal (hereinafter referred to as “M signal”) of the L signal and the R signal, and a difference signal between the L signal and the R signal ( (Hereinafter referred to as “S signal”) to generate a signal from which the correlation between channels is removed.
  • M signal a sum signal
  • S signal a difference signal between the L signal and the R signal
  • a signal from which the correlation between channels is removed is encoded.
  • a technique called a parametric stereo coding method that uses the correlation between two channel signals of L signal and R signal.
  • L channel and R channel 2 channel signals are represented by 1 channel signal and parameters representing the relationship between channels, and 1 channel signal and channel expansion parameters are encoded. To do.
  • Patent Document 1 discloses a technique for suppressing abnormal noise due to a sudden change in the number of channels in a decoded signal when a frame loss occurs due to a transmission error or the like in a parametric encoding method for a multi-channel signal. Yes. Specifically, in Patent Document 1, when a frame loss occurs, a process of generating a replacement signal for an erroneous part is performed based on a stored parameter related to a past error-free signal. Further, Patent Document 1 discloses a process for applying stepwise muting of model parameters when a missing frame continues for a long time.
  • Patent Document 1 does not disclose a sound quality deterioration suppression process at the time of frame loss for an M / S encoding method that is a non-parametric encoding / decoding method, and still has no frame in the M / S encoding method. There is a problem that the sound quality deteriorates when it disappears. Further, in Patent Document 1, since compensation processing is performed at a parameter level for an erroneous frame, spatial characteristics other than those parameters cannot be compensated with high accuracy, and performance for suppressing sound quality deterioration is insufficient. There is a problem that there is. Further, in Patent Document 1, there is a problem that fine muting cannot be performed in units of samples because stepwise muting at the parameter level results in muting processing for each frame.
  • An object of the present invention is to reduce the number of channels in a decoded signal when a transmission error occurs due to frame loss in a method for encoding / decoding a multi-channel signal such as an M / S encoding / decoding method. It is an object to provide a decoding device and a decoding method that can reduce fluctuations, can be smoothed in units of samples, and can suppress deterioration in sound quality.
  • the decoding apparatus includes an encoded monaural signal obtained by encoding a monaural signal calculated from a first channel signal and a second channel signal constituting a stereo signal, and the first channel signal and the second channel signal.
  • a receiving means for receiving an encoded differential signal obtained by encoding a differential signal, a detecting means for detecting a temporal change in the received encoded differential signal, and a decoded monaural signal obtained by decoding the received encoded monaural signal And decoding the received encoded differential signal to obtain a decoded differential signal, and smoothing the decoded differential signal by calculating the decoded differential signal and a coefficient corresponding to the detected temporal change. Smoothing means for performing a decoding process; and a calculating means for calculating a decoded stereo signal from the decoded monaural signal and the decoded differential signal that has been smoothed.
  • the decoding method of the present invention includes an encoded monaural signal obtained by encoding a monaural signal calculated from a first channel signal and a second channel signal constituting a stereo signal, and the first channel signal and the second channel signal.
  • decoding the received encoded differential signal to obtain a decoded differential signal, and performing a smoothing process on the decoded differential signal by calculating the decoded differential signal and a coefficient corresponding to the detected temporal change.
  • a step of calculating a decoded stereo signal from the decoded monaural signal and the smoothed decoded differential signal It was so.
  • the present invention when a transmission error due to frame loss occurs in a method for encoding / decoding a multi-channel signal such as an M / S encoding / decoding method, the number of abrupt channels in the decoded signal is increased. While fluctuation can be reduced, smoothing can be performed in units of samples, and deterioration of sound quality can be suppressed.
  • FIG. 1 is a block diagram showing a configuration of an encoding apparatus according to Embodiment 1 of the present invention.
  • the block diagram which shows the structure of the decoding apparatus which concerns on Embodiment 1 of this invention.
  • the flowchart which shows operation
  • the block diagram which shows the structure of the decoding apparatus which concerns on Embodiment 2 of this invention.
  • the flowchart which shows operation
  • FIG. 1 is a block diagram showing a configuration of a communication system 100 according to Embodiment 1 of the present invention.
  • the communication system 100 mainly includes an encoding device 101, a transmission path 102, and a decoding device 103.
  • an encoding device 101 and a decoding device 103 can communicate with each other via a transmission path 102.
  • both the encoding apparatus 101 and the decoding apparatus 103 are normally mounted and used in a base station apparatus or a communication terminal apparatus. Each configuration will be described in detail below.
  • the encoding apparatus 101 will be described by taking as an example a configuration in which an L signal and an R signal, which are input signals, are each encoded by a CELP (Code Exit Exit Linear Prediction) method.
  • the encoding apparatus 101 acquires the encoded information by encoding the L signal and the R signal, and transmits the acquired encoded information to the decoding apparatus 103 via the transmission path 102. Details of the configuration of the encoding apparatus 101 will be described later.
  • the decoding apparatus 103 receives the encoded information transmitted from the encoding apparatus 101 via the transmission path 102, decodes the received encoded information, and acquires the decoded L signal and decoded R signal that are output signals. Note that the decoding apparatus 103 will be described by taking as an example a configuration in which decoding is performed by a CELP decoding method, similar to the encoding apparatus 101. Details of the configuration of the decoding apparatus 103 will be described later.
  • FIG. 2 is a block diagram showing the configuration of the encoding apparatus 101.
  • the encoding apparatus 101 mainly includes an M / S signal calculation unit 201, an M signal encoding unit 202, an S signal encoding unit 203, and an encoded information integration unit 204.
  • the encoding device 101 receives an L signal and an R signal of two channels, converts the input L signal and R signal into an M signal and an S signal, and then encodes the M signal and the S signal respectively. Get encoding information. Then, the encoding apparatus 101 integrates the acquired encoded information by the encoded information integration unit 204 and transmits the integrated encoded information to the decoding apparatus 103. Each configuration will be described in detail below.
  • the M / S signal calculation unit 201 inputs the L signal and the R signal, and calculates a sum signal (M signal) and a difference signal (S signal) according to the equations (1) and (2).
  • M signal a sum signal
  • S signal a difference signal
  • i in the expressions (1) and (2) indicates a sample index in the frame
  • N indicates a frame size.
  • the M / S signal calculation unit 201 outputs the M signal calculated by the equation (1) to the M signal encoding unit 202, and outputs the S signal calculated by the equation (2) to the S signal encoding unit 203. .
  • the M signal encoding unit 202 receives the M signal from the M / S signal calculation unit 201, encodes the M signal using a CELP speech encoding method, and calculates M encoded information. Then, the M signal encoding unit 202 outputs the calculated M encoded information to the encoded information integration unit 204.
  • the S signal encoding unit 203 receives the S signal from the M / S signal calculation unit 201, encodes the S signal using a CELP speech encoding method, and calculates S encoded information. Then, the S signal encoding unit 203 outputs the calculated S encoded information to the encoded information integration unit 204. Since the CELP speech encoding method is an existing technology, a detailed description thereof will be omitted.
  • the encoded information integration unit 204 receives the M encoded information from the M signal encoding unit 202 and the S encoded information from the S signal encoding unit 203, and inputs the input S encoded information and the M encoded information. Are integrated into encoded information. Then, the encoded information integration unit 204 outputs the obtained encoded information to the transmission path 102. This is the end of the description of the configuration of the encoding apparatus 101.
  • FIG. 3 is a block diagram illustrating a configuration of the decoding device 103.
  • the decoding apparatus 103 mainly includes a separation unit 301, an M signal decoding unit 302, an S signal decoding unit 303, a smoothing processing unit 304, and an L / R signal calculation unit 305.
  • the decoding apparatus 103 receives the encoded information transmitted from the encoding apparatus 101 via the transmission path 102, decodes this using the M / S decoding method, and calculates a decoded L signal and a decoded R signal. Then, decoding apparatus 103 outputs the calculated decoded L signal and decoded R signal as 2-channel output signals. Each configuration will be described in detail below.
  • Separation section 301 separates encoded information input from encoding apparatus 101 via transmission path 102 into M encoded information and S encoded information, and outputs the separated M encoded information to M signal decoding section 302 Then, the separated S encoded information is output to the S signal decoding unit 303. Separation section 301 detects the presence or absence of transmission errors in the input encoded information. Further, when the transmission unit 301 detects a transmission error, the separation unit 301 detects a temporal change in information included in the input encoded information. Then, the separation unit 301 outputs the detected temporal change to the smoothing processing unit 304 as the smoothing processing control information CI.
  • the separating unit 301 detects whether or not S encoded information is included in the encoded information input from the encoding apparatus 101 via the transmission path 102. In addition, the separation unit 301 indicates when the frame that includes the S encoded information is switched to a frame that is not included, and when the frame that does not include the S encoded information is switched to a frame that is included. To detect. In addition, when the separation unit 301 detects a time point when the frame including the S encoded information is switched to the frame not including the S encoded information, the separating unit 301 sets the value of the smoothing process control information CI to 1.
  • the separation unit 301 detects the time point when the frame is switched from the frame not including the S encoded information to the included frame, the separating unit 301 sets the value of the smoothing process control information CI to 2.
  • the separation unit 301 includes a time point when the frame that includes the S encoding information is switched to a frame that is not included, and a point when the frame that does not include the S encoded information is switched to a frame that is included. If neither is detected, the value of the smoothing process control information CI is set to zero.
  • the M signal decoding unit 302 receives the M encoded information from the separating unit 301, decodes the input M encoded information by a CELP speech decoding method, and calculates a decoded M signal.
  • the speech decoding method in the M signal decoding unit 302 is a method corresponding to the encoding method in the M signal encoding unit 202 in the encoding apparatus 101.
  • the M signal decoding unit 302 outputs the calculated decoded M signal to the L / R signal calculation unit 305.
  • the S signal decoding unit 303 receives the S encoded information from the separation unit 301, decodes the input S encoded information by a CELP speech decoding method, and calculates a decoded S signal.
  • the speech decoding method in S signal decoding section 303 is a method corresponding to the encoding method in S signal encoding section 203 in encoding apparatus 101. Further, the S signal decoding unit 303 outputs the obtained decoded S signal to the smoothing processing unit 304.
  • the S signal decoding unit 303 includes the S encoding included in the frame immediately before the current frame (for example, the frame one frame before the current frame).
  • a decoded S signal is calculated by decoding the information.
  • the S signal decoding unit 303 stores the S encoded information or the decoded S signal in the current frame in an internal buffer, and updates the internal buffer for each frame process.
  • the method for compensating the S signal by the above-described method is described as the compensation processing at the time of frame loss such as a transmission error.
  • the present embodiment is not limited to this, and other than this method The same applies to the frame erasure compensation processing.
  • the CELP speech decoding method is an existing technology, its detailed description is omitted.
  • the smoothing processing unit 304 receives the decoded S signal from the S signal decoding unit 303 and the smoothing processing control information CI from the separation unit 301.
  • the smoothing processing unit 304 performs time-dependent attenuation or amplification processing on the decoded S signal in accordance with the value of the smoothing processing control information CI, and smoothes the decoded S signal (hereinafter, “smoothed decoding S”). Signal)).
  • the smoothing processing unit 304 is a coefficient that gradually attenuates with respect to the decoded S signal according to equation (3). To calculate a smoothed decoded S signal.
  • the smoothing processing unit 304 multiplies the decoded S signal by a coefficient that gradually amplifies in accordance with the equation (4), A smoothed decoded S signal is calculated. Further, when the value of the smoothing processing control coefficient CI is 0, the smoothing processing unit 304 uses the decoded S signal as it is as a smoothed decoded S signal without multiplying anything.
  • ⁇ 1 i in the equation (3) is an attenuation coefficient that decreases as i increases
  • ⁇ 1 i is an amplification coefficient that increases as i increases.
  • the smoothing processing unit 304 outputs the calculated smoothed decoded S signal to the L / R signal calculating unit 305.
  • the L / R signal calculation unit 305 receives the decoded M signal from the M signal decoding unit 302 and the smoothed decoded S signal from the smoothing processing unit 304. Further, the L / R signal calculation unit 305 performs decoding using the input decoded M signal and smoothed decoded S signal according to the following equations (5) and (6) corresponding to the M / S signal calculation unit 201. Two channel signals of L signal and decoded R signal are calculated.
  • the L / R signal calculation unit 305 outputs the decoded L signal and the decoded R signal calculated by the equations (5) and (6) as 2-channel output signals. Above, description of the structure of the decoding apparatus 103 is completed.
  • FIG. 4 is a flowchart showing the operation of the decoding apparatus 103.
  • the separation unit 301 detects whether or not S encoded information is included in the encoded information, and sets the value (0, 1, 2) of the smoothing process control information CI according to the detection result. (Step ST401).
  • M signal decoding section 302 calculates a decoded M signal from the M encoded information
  • S signal decoding section 303 calculates a decoded S signal from the S encoded information (step ST402).
  • the smoothing processing unit 304 determines whether or not the value of the smoothing processing control information CI is 1 (step ST403).
  • step ST403 When the value of the smoothing processing control information CI is 1 (step ST403: YES), the smoothing processing unit 304 multiplies the decoded S signal by a coefficient ⁇ 1 i that gradually decreases over time, A smoothed decoded S signal is calculated (step ST404).
  • step ST403 determines whether or not the value of the smoothing process control information CI is 2 ( Step ST405).
  • step ST405 When the value of the smoothing process control information CI is 2 (step ST405: YES), the decoded S signal is multiplied by a coefficient ⁇ 1 i that gradually amplifies the decoded S signal and the smoothed decoded S signal is obtained. Calculate (step ST406).
  • step ST405: NO When the value of the smoothing process control information CI is not 2 (step ST405: NO), that is, when the value of the smoothing process control coefficient CI is 0, the decoded S signal is not multiplied by anything. The decoded S signal is smoothed as it is.
  • L / R signal calculation section 305 calculates a decoded L signal and a decoded R signal from the calculated decoded M signal and decoded S signal, and outputs the calculated decoded L signal and decoded R signal (step ST407). ).
  • a parameter is set. Smoothing processing (smoothing processing) of the number of channels between frames is performed at the signal level instead of the level. As a result, a sudden change in the number of channels in the decoded signal can be reduced, and deterioration in sound quality can be suppressed. Further, according to the present embodiment, smoothing of the number of channels at the signal level enables smoothing in units of samples and further suppresses sound quality degradation.
  • the operation of the decoding apparatus 103 has been described using the flow of FIG. 4, but is not necessarily limited to this flow.
  • the order of ST403 to ST404 and ST405 to ST406 may be reversed.
  • the M / S encoding / decoding method has been described as an example of the multi-channel encoding / decoding method.
  • the present invention is not limited to this, and other multi-channel encoding / decoding methods are used. The same applies to the method.
  • the attenuation coefficient and the amplification coefficient have been described by taking as an example a configuration in which the attenuation coefficient and the amplification coefficient change from 1 to 0 or from 0 to 1 during one frame processing.
  • the present invention is not limited to this.
  • the present invention can be similarly applied to the case where the variation of the attenuation coefficient and the amplification coefficient is made slower.
  • the attenuation coefficient and the amplification coefficient may be gradually changed from 1 to 0 or from 0 to 1 while the decoding apparatus processes encoded information for several frames.
  • the decoding apparatus side stores a frame in which the attenuation process or amplification process for the S signal is started, and slowly changes the attenuation coefficient and the amplification coefficient during a predetermined number of frame processes from that frame.
  • the present invention is similarly applied to a decoded S signal that has been compensated by a method other than the above-described compensation processing at the time of transmission error for the decoded S signal that is the target of the smoothing process described in the present embodiment.
  • the attenuation described in the present embodiment is applied to a decoded S signal of a frame immediately before a transmission error occurs or a decoded S signal that is attenuated or amplified in time using a parameter for decoding the S signal.
  • FIG. 5 is a block diagram showing a configuration of decoding apparatus 500 according to Embodiment 2 of the present invention.
  • a decoding apparatus 500 illustrated in FIG. 5 adds an L / R correlation calculation unit 501 to the decoding apparatus 103 according to Embodiment 1 illustrated in FIG. 3, and a smoothing processing unit 502 instead of the smoothing processing unit 304.
  • the communication system of the present embodiment has the same configuration as that of FIG. 1 except that it includes a decoding device 500 instead of the decoding device 103, and thus description thereof is omitted.
  • the separation unit 301 instead of calculating the smoothing process control information CI in the first embodiment, the first smoothing process control information CI1 is calculated in the present embodiment.
  • the decoding apparatus 500 includes a separation unit 301, an M signal decoding unit 302, an S signal decoding unit 303, an L / R correlation calculation unit 501, a smoothing processing unit 502, and an L / R signal calculation unit 305. Configured. Each configuration will be described in detail below.
  • the M signal decoding unit 302 receives the M encoded information from the separating unit 301, decodes the input M encoded information by a CELP speech decoding method, and calculates a decoded M signal.
  • the speech decoding method in the M signal decoding unit 302 is a method corresponding to the encoding method in the M signal encoding unit 202 in the encoding apparatus 101.
  • the M signal decoding unit 302 outputs the calculated decoded M signal to the L / R signal calculation unit 305 and the L / R correlation calculation unit 501.
  • the S signal decoding unit 303 receives the S encoded information from the separation unit 301, decodes the input S encoded information by a CELP speech decoding method, and calculates a decoded S signal.
  • the speech decoding method in S signal decoding section 303 is a method corresponding to the encoding method in S signal encoding section 203 in encoding apparatus 101.
  • the S signal decoding unit 303 outputs the obtained decoded S signal to the L / R correlation calculation unit 501 and the smoothing processing unit 502.
  • the S signal decoding unit 303 calculates a decoded S signal by decoding the S encoded information included in the frame immediately before the current frame. To do.
  • the S signal decoding unit 303 stores the S encoded information or the decoded S signal in the current frame in an internal buffer, and updates the internal buffer for each frame process.
  • the L / R correlation calculation unit 501 receives the decoded M signal from the M signal decoding unit 302 and the decoded S signal from the S signal decoding unit 303. Further, the L / R correlation calculation unit 501 calculates the energy ratio between the L channel and the R channel from the decoded M signal and the decoded S signal as the correlation between the L channel and the R channel, and according to the calculated energy ratio. To determine the second smoothing processing control information CI2. The second smoothing process control information CI2 is calculated by the equation (7). Specifically, the L / R correlation calculation unit 501 has an energy ratio between the L channel and the R channel equal to or higher than the first threshold (TH1) or equal to or lower than the second threshold (TH2: TH2 ⁇ TH1).
  • the value of the second smoothing process control information CI2 is set to 1.
  • the L / R correlation calculation unit 501 includes the second smoothing process control information CI2 when the energy ratio between the L channel and the R channel is between the first threshold value and the second threshold value. Set the value to 0.
  • TH1 and TH2 in the formula (7) are respectively predetermined threshold values. That is, when the energy ratio between the L channel and the R channel is greatly different, the value of the second smoothing process control information CI2 is set to 1. When the energy ratio is not so different, the value of the second smoothing process control information CI2 is set to 0.
  • TH1 and TH2 in the formula (7) are respectively predetermined threshold values. That is, when the energy ratio between the L channel and the R channel is greatly different, the value of the second smoothing process control information CI2 is set to 1. When the energy ratio is not so different, the value of the second smoothing process control information CI2 is set to 0. And
  • the L / R correlation calculation unit 501 outputs the obtained second smoothing processing control information CI2 to the smoothing processing unit 502.
  • the smoothing processing unit 502 receives the decoded S signal from the S signal decoding unit 303, the first smoothing processing control information CI1 from the separation unit 301, and the second smoothing processing from the L / R correlation calculation unit 501.
  • the control information CI2 is input. Further, the smoothing processing unit 502 performs attenuation or amplification processing on the time axis on the decoded S signal according to the values of the first smoothing processing control information CI1 and the second smoothing processing control information CI2, and performs smoothing. An encoding / decoding S signal is calculated.
  • the smoothing processing unit 502 performs the smoothing processing of the decoded S signal according to the equations (8) and (9).
  • ⁇ 2 i in equation (8) is an attenuation coefficient whose value decreases as i increases
  • ⁇ 2 i in equation (9) is an amplification coefficient whose value increases as i increases.
  • ⁇ 2 i and ⁇ 2 i have smaller amounts of change (amount of change) as i increases than ⁇ 1 i and ⁇ 1 i .
  • the smoothing processing unit 502 performs the smoothing processing of the decoded S signal according to the equations (3) and (4). Further, the smoothing processing unit 502 outputs the calculated smoothed decoded S signal to the L / R signal calculating unit 305.
  • the L / R signal calculation unit 305 receives the decoded M signal from the M signal decoding unit 302 and the smoothed decoded S signal from the smoothing processing unit 502. In addition, the L / R signal calculation unit 305 calculates two-channel signals of the decoded L signal and the decoded R signal according to the equations (5) and (6) corresponding to the M / S signal calculation unit 201. The L / R signal calculation unit 305 outputs the calculated decoded L signal and decoded R signal as a 2-channel output signal. Above, description of the structure of the decoding apparatus 500 is finished.
  • FIG. 6 is a flowchart showing the operation of the decoding device 500.
  • the separation unit 301 detects whether or not S encoded information is included in the encoded information, and sets the value (0, 1, 2) of the first smoothing process control information CI1 according to the detection result. Set (step ST601).
  • M signal decoding section 302 calculates a decoded M signal from the M encoded information
  • S signal decoding section 303 calculates a decoded S signal from the S encoded information (step ST602).
  • the L / R correlation calculation unit 501 sets the value (0, 1) of the second smoothing process control information CI2 according to the energy ratio between the L channel and the R channel (step ST603).
  • the smoothing processing unit 502 determines whether or not the value of the first smoothing processing control information CI1 is 1 (step ST604).
  • step ST604 determines whether or not the value of the second smoothing processing control information CI2 is 0. (Step ST605).
  • step ST605 When the value of the second smoothing processing control information CI2 is 0 (step ST605: YES), the smoothing processing unit 502 uses a coefficient ⁇ 1 i that gradually attenuates with respect to the decoded S signal. Multiply and calculate a smoothed decoded S signal (step ST606).
  • step ST605 when the value of the second smoothing process control information CI2 is not 0 (step ST605: NO), that is, when the value of the second smoothing process control information CI2 is 1, the smoothing processing unit 502 Then, a smoothed decoded S signal is calculated by multiplying the decoded S signal by a coefficient ⁇ 2 i that gradually attenuates in time more gradually than in step ST606 (step ST607).
  • step ST604 when the value of the first smoothing processing control information CI1 is not 1 in step ST604 (step ST604: NO), the smoothing processing unit 502 has the value of the first smoothing processing control information CI1 as 2. It is determined whether or not there is (step ST608).
  • step ST608 determines whether or not the value of the second smoothing processing control information CI2 is 0. (Step ST609).
  • step ST609 When the value of the second smoothing processing control information CI2 is 0 (step ST609: YES), the smoothing processing unit 502 uses a coefficient ⁇ 1 i that gradually amplifies the decoded S signal over time. To obtain a smoothed decoded S signal (step ST610).
  • step ST609: NO When the value of the second smoothing process control information CI2 is not 0 (step ST609: NO), that is, when the value of the second smoothing process control information CI2 is 1, the smoothing process unit 502 Then, a smoothed decoded S signal is calculated by multiplying the decoded S signal by a coefficient ⁇ 2 i that gradually amplifies in time more slowly than in step ST610 (step ST611).
  • step ST608 if the value of the first smoothing process control coefficient CI1 is not 2 (step ST608: NO), that is, if the value of the first smoothing process control coefficient CI1 is 0, smoothing is performed.
  • the processing unit 502 uses the decoded S signal as a decoded S signal that is smoothed without any multiplication.
  • the L / R signal calculation unit 305 calculates a decoded L signal and a decoded R signal from the calculated decoded M signal and the smoothed decoded S signal, and outputs the calculated decoded L signal and decoded R signal. (Step ST612).
  • the present embodiment in addition to the effects of the first embodiment described above, in a scheme for encoding / decoding a multi-channel signal such as an M / S encoding / decoding scheme, It is possible to suppress deterioration in sound quality when a transmission error occurs due to loss. That is, according to the present embodiment, when performing smoothing processing (smoothing processing) of the number of channels between frames at the signal level instead of the parameter level, the energy between the L channel and the R channel is expressed as the correlation. The speed of the smoothing process is adjusted using the ratio. Thereby, sound quality degradation can be suppressed.
  • smoothing processing smoothing processing
  • the speed of the smoothing process which is an attenuation process or an amplification process, is reduced (the amount of time change is reduced).
  • the speed of the smoothing process which is an attenuation process or an amplification process.
  • decoding apparatus 500 has been described using the flow of FIG. 6, but is not necessarily limited to this flow.
  • the order of ST604 to ST607 and ST608 to ST611 may be reversed.
  • the case where the L / R correlation calculation unit 501 calculates the correlation of the L / R channel from the decoded M signal and the decoded S signal has been described as an example.
  • the present invention is not limited to this.
  • the present invention can be similarly applied to the case where the correlation between M / S channels is used.
  • the present embodiment whether or not the energy ratio between the L channel and the R channel is greater than or equal to a predetermined first threshold value or less than or equal to a second threshold value when determining the value of the second smoothing process control information.
  • the configuration in which the second smoothing process control information is determined as a binary value of 0 or 1 according to the determination result using the determination criterion has been described.
  • the present embodiment is not limited to this, and can be similarly applied to a configuration in which the second smoothing processing control information is weighted instead of binary. That is, the larger the energy difference between the L channel and the R channel, the closer the value of the second smoothing process control information is to 1, and the smaller the energy difference between the L channel and the R channel, the second smoothing process.
  • a configuration in which the value of the control information is close to 0 is given as an example. Further, in the smoothing processing unit, the closer the value of the second smoothing processing control information is to 1, the more smoothly the smoothing processing can be performed by slowly attenuating or amplifying the decoded S signal. Therefore, it is possible to further suppress deterioration in sound quality.
  • FIG. 7 is a block diagram showing a configuration of decoding apparatus 700 according to Embodiment 3 of the present invention.
  • Decoding apparatus 700 shown in FIG. 7 adds L / R correlation calculation section 703 to decoding apparatus 103 according to Embodiment 1 shown in FIG. 3, and S signal decoding section 701 instead of S signal decoding section 303. And an L / R signal calculation unit 702 instead of the L / R signal calculation unit 305.
  • the communication system of the present embodiment has the same configuration as that of FIG. 1 except that it has a decoding device 700 instead of the decoding device 103, and therefore the description thereof is omitted.
  • the decoding apparatus 700 includes a separation unit 301, an M signal decoding unit 302, an S signal decoding unit 701, a smoothing processing unit 304, an L / R signal calculation unit 702, and an L / R correlation calculation unit 703. Configured. Hereinafter, each configuration will be described in detail.
  • Separating section 301 separates encoded information input from encoding apparatus 101 via transmission path 102 into M encoded information and S encoded information, and supplies the separated M encoded information to M signal decoding section 302.
  • the separated S encoded information is output to the S signal decoding unit 701.
  • Separation section 301 detects the presence or absence of transmission errors in the input encoded information.
  • the separation unit 301 detects a temporal change in information included in the input encoded information, and the smoothing processing unit 304 uses the detected temporal change as the smoothing process control information CI. Output to.
  • the M signal decoding unit 302 receives the M encoded information from the separating unit 301, decodes the input M encoded information by a CELP speech decoding method, and calculates a decoded M signal.
  • the speech decoding method in the M signal decoding unit 302 is a method corresponding to the encoding method in the M signal encoding unit 202 in the encoding apparatus 101.
  • the M signal decoding unit 302 outputs the calculated decoded M signal to the S signal decoding unit 701 and the L / R signal calculation unit 702.
  • the S signal decoding unit 701 receives the S encoded information from the separation unit 301, decodes the input S encoded information by a CELP speech decoding method, and calculates a decoded S signal.
  • the speech decoding method in the S signal decoding unit 701 is a method corresponding to the encoding method in the S signal encoding unit 203 in the encoding device 101. Further, the S signal decoding unit 701 outputs the calculated decoded S signal to the smoothing processing unit 304.
  • the S signal decoding unit 701 calculates a decoded S signal by the following method. That is, the S signal decoding unit 701 receives the auxiliary information AI of the decoded S signal of the frame one frame before the current frame (hereinafter referred to as “previous frame”) input from the L / R correlation calculation unit 703 and the M signal. Using the decoded M signal input from the decoding unit 302 and the decoded L signal and decoded R signal of the previous frame input from the L / R signal calculation unit 702, a decoded S signal is calculated using equation (10). In the equation (10), L ′ ⁇ 1 and R ′ ⁇ 1 are signals calculated from the decoded L signal of the previous frame or the decoded R signal of the previous frame. The auxiliary information AI of the decoded S signal will be described later.
  • L ′ ⁇ 1 and R ′ ⁇ 1 are calculated when the M signal decoding unit 302 calculates a decoded M signal for the decoded L signal (L ⁇ 1 ) and the decoded R signal (R ⁇ 1 ) of the previous frame. Calculation is performed using the pitch period obtained from the M encoded information and the decoded L signal and decoded R signal of the previous frame.
  • the S signal decoding unit 701 cuts out a waveform of one period of the pitch period of the decoded L signal or the decoded R signal of the previous frame, and makes a number on the time axis so that the waveform of the decoded M signal matches the peak and valley.
  • L ′ ⁇ 1 and R ′ ⁇ 1 are calculated by sliding the sample. That is, the S signal decoding unit 701 slides the decoded L signal or the decoded R signal of the previous frame on the time axis so that the phases of the decoded L signal or the decoded R signal of the previous frame and the M signal of the current frame are matched.
  • FIG. 8 is a diagram showing processing for matching the peaks and valleys of the waveform in the S signal decoding unit 701.
  • FIG. 8A shows the waveform of the decoded M signal of the current frame
  • FIG. 8B shows the decoded L signal (L ′ ⁇ 1 ) of the previous frame
  • FIG. ) Shows the decoded L signal (L ′ ⁇ 1 ) of the previous frame in which the pitch period is combined with the decoded M signal.
  • the energy of the decoded L signal of the previous frame is larger than the energy of the decoded R signal of the previous frame will be described as an example.
  • the smoothing processing unit 304 receives the decoded S signal from the S signal decoding unit 701 and the smoothing processing control information CI from the separation unit 301.
  • the smoothing processing unit 304 performs a time-dependent attenuation or amplification process on the decoded S signal according to the value of the smoothing process control information CI, and calculates a smoothed decoded S signal.
  • the smoothing processing unit 304 is a coefficient that gradually attenuates with respect to the decoded S signal according to the equation (3). To calculate a smoothed decoded S signal.
  • the smoothing processing unit 304 multiplies the decoded S signal by a coefficient that gradually amplifies in accordance with the equation (4), A smoothed decoded S signal is calculated. Further, when the value of the smoothing process control coefficient CI is 0, the smoothing processing unit 304 uses the decoded S signal as it is as a smoothed decoded S signal without multiplying anything. Further, the smoothing processing unit 304 outputs the calculated smoothed decoded S signal to the L / R signal calculating unit 702.
  • the L / R signal calculation unit 702 receives the decoded M signal from the M signal decoding unit 302 and the decoded S signal smoothed from the smoothing processing unit 304. In addition, the L / R signal calculation unit 702 calculates two-channel signals of the decoded L signal and the decoded R signal according to the equations (5) and (6) corresponding to the M / S signal calculation unit 201. Then, the L / R signal calculation unit 702 outputs the calculated decoded L signal and decoded R signal as 2-channel output signals. Also, the L / R signal calculation unit 702 outputs the calculated decoded L signal and decoded R signal to the S signal decoding unit 701 and the L / R correlation calculation unit 703.
  • the L / R correlation calculation unit 703 receives the decoded L signal and the decoded R signal from the L / R signal calculation unit 702. Further, the L / R correlation calculation unit 703 calculates an energy ratio as a correlation between the L channel and the R channel from the input decoded L signal and decoded R signal, and auxiliary information of the decoded S signal according to the energy ratio. Determine the AI.
  • the auxiliary information AI of the decoded S signal is calculated by the equation (11). Specifically, the L / R correlation calculation unit 703 compares the L signal and the R signal, and sets the value of the auxiliary information AI of the decoded S signal to 0 when the energy of the L signal is greater than the energy of the R signal. When the energy of the R signal is equal to or higher than the energy of the L signal, the value of the auxiliary information AI of the decoded S signal is set to 1.
  • the L / R correlation calculation unit 703 outputs the obtained auxiliary information of the decoded S signal to the S signal decoding unit 701. Above, description of the structure of the decoding apparatus 700 is completed.
  • FIG. 9 is a flowchart showing the operation of the decoding device 700.
  • parts that are the same as those in FIG. 4 are given the same reference numerals, and descriptions thereof are omitted.
  • Separating section 301 detects whether or not S encoded information is included in the encoded information, and sets the value (0, 1, 2) of smoothing process control information CI according to the detection result (step S1). ST401).
  • the M signal decoding unit 302 calculates a decoded M signal
  • the S signal decoding unit 701 calculates a decoded S signal.
  • the S signal decoding unit 701 inputs the auxiliary information AI of the decoded S signal of the previous frame input from the L / R correlation calculation unit 703.
  • the decoded S signal is calculated using the decoded M signal input from M signal decoding section 302 and the decoded L signal and decoded R signal of the previous frame input from L / R signal calculation section 702 (step ST901).
  • the smoothing processing unit 304 determines whether or not the value of the smoothing processing control information CI is 1 (step ST403).
  • the present embodiment in addition to the effects of the first embodiment described above, in a scheme for encoding / decoding a multi-channel signal such as an M / S encoding / decoding scheme, It is possible to suppress deterioration in sound quality when a transmission error occurs due to loss. That is, according to the present embodiment, when performing smoothing processing (smoothing processing) of the number of channels between frames at the signal level instead of the parameter level, the decoded L signal and decoded R signal decoded in the previous frame. The decoded S signal of the lost frame is calculated using the energy ratio. Thereby, sound quality degradation can be suppressed.
  • smoothing processing smoothing processing
  • the M signal that has been normally received and decoded and the channel on which the signal is concentrated A highly accurate decoded S signal can be calculated from the decoded signal (decoded signal of the previous frame).
  • the above-described method is particularly effective for a situation where a channel in which signals are concentrated between frames does not switch so frequently.
  • the two channel signals are described as the L signal and the R signal.
  • the present invention is not limited to this, and the L signal and the R signal are reversed in the above description. Even in this case, the same effect can be obtained.
  • the decoding method in the decoding apparatuses 103, 500, and 700 has been described as a method corresponding to the encoding method in the encoding apparatus 101.
  • the decoding apparatus may be configured to decode the encoded information generated by the encoding apparatus that can generate the decodable encoded information.
  • the energy ratio is used as the correlation between the L channel and the R channel.
  • the present invention is not limited to this, and other indicators may be used.
  • the signal processing program is recorded or written on a machine-readable recording medium such as a memory, a disk, a tape, a CD, or a DVD, and the operation is performed.
  • a machine-readable recording medium such as a memory, a disk, a tape, a CD, or a DVD.
  • each functional block is typically realized as an LSI that is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • the LSI may be referred to as an IC, a system LSI, a super LSI, or an ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable / processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • the decoding apparatus and decoding method according to the present invention can suppress deterioration in sound quality even when a transmission error occurs due to frame loss, and can be applied to, for example, a packet communication system or a mobile communication system.

Abstract

 マルチチャネルの信号を符号化/復号する方式において、フレーム消失による伝送誤りが発生した場合に、復号信号における急激なチャネル数の変動を少なくすることができるとともに、サンプル単位での平滑化が可能であり、音質劣化を抑制することができる復号装置。この装置では、分離部(301)は、符号化モノラル信号と符号化差分信号とを受信し、受信した符号化差分信号における時間的変化を検出する。M信号復号部(302)は、符号化モノラル信号を復号して復号モノラル信号を取得する。S信号復号部(303)は、符号化差分信号を復号して復号差分信号を取得する。平滑化処理部(304)は、復号差分信号と分離部(301)により検出した時間的変化に対応する係数との演算により、復号差分信号の平滑化処理を行う。L/R信号算出部(305)は、復号モノラル信号と平滑化処理した復号差分信号とから復号ステレオ信号を算出する。

Description

復号装置及び復号方法
 本発明は、特に信号を符号化して伝送し、符号化された信号を受信して復号する通信システムに用いられる復号装置及び復号方法に関する。
 インターネット通信に代表されるパケット通信システム、または、移動通信システム等で音声・楽音信号を伝送する場合、音声・楽音信号の伝送効率を高めるために、圧縮・符号化技術が使われる。また、近年では、単に低ビットレートで音声・楽音信号を符号化する一方で、モノラル信号のみならず、ステレオ信号などのマルチチャネルの音声・楽音信号を符号化する技術に対するニーズが高まっている。
 例えば、左チャネル信号(以下「L信号」と記載する)と右チャネル信号(以下「R信号」と記載する)の2チャネルの信号(ステレオ信号)に対する符号化技術としては、M/S(Middle/Side)ステレオ符号化方式、またはインテンシティステレオ符号化方式などが既存技術として挙げられる。ここで、M/S符号化方式について簡単に説明する。M/S符号化方式では、L信号とR信号の2チャネルの信号を、L信号とR信号との和信号(以下「M信号」と記載する)及びL信号とR信号との差信号(以下「S信号」と記載する)に変換することによりチャネル間の相関を除去した信号を生成する。そして、M/S符号化方式では、チャネル間の相関を除去した信号を符号化する。これにより、変換前の2チャネルの信号に含まれていた冗長な情報を削減して効率的に符号化することができる。また、L信号とR信号の2チャネルの信号間の相関を利用するパラメトリックステレオ符号化方式という技術が存在する。パラメトリックステレオ符号化方式では、L信号とR信号の2チャネルの信号を、1チャネルの信号とチャネル間の関係を表すパラメータとによって表現し、1チャネルの信号とチャネルを拡張するパラメータとを符号化する。
 また、マルチチャネル符号化/復号方式に対して伝送誤りが発生した場合の音質劣化を抑制する処理については、今日まで様々な技術が開発されている。
 特許文献1には、マルチチャネル信号に対するパラメトリック符号化方式において、伝送誤りなどによりフレーム消失が発生した場合に対して、復号信号における急激なチャネル数の変動による異音を抑制する技術が開示されている。具体的には、特許文献1では、フレーム消失が発生した場合に、過去の誤りのない信号に関連する保存されたパラメータに基づいて、誤っている部分に対する置換信号を生成する処理を行う。また、特許文献1には、欠損フレームが長く連続する場合、モデルパラメータの段階的なミューティングを適用する処理について開示されている。
特表2007-529020号公報
 しかしながら、特許文献1においては、非パラメトリック符号化/復号方式であるM/S符号化方式に対するフレーム消失時の音質劣化抑制処理は開示されておらず、依然としてM/S符号化方式においてはフレームが消失した場合に音質が劣化するという問題がある。また、特許文献1においては、誤ったフレームに対して、パラメータレベルで補償処理を行うので、そのパラメータが有する以外の空間特性については精度良く補償できず、音質劣化を抑制する性能は不十分であるという問題がある。また、特許文献1においては、パラメータレベルでの段階的なミューティングでは、フレーム毎のミューティング処理になるため、サンプル単位での細かいミューティングができないという問題がある。
 本発明の目的は、例えばM/S符号化/復号方式のようにマルチチャネルの信号を符号化/復号する方式において、フレーム消失による伝送誤りが発生した場合に、復号信号における急激なチャネル数の変動を少なくすることができるとともに、サンプル単位での平滑化が可能であり、音質劣化を抑制することができる復号装置及び復号方法を提供することである。
 本発明の復号装置は、ステレオ信号を構成する第1チャネル信号と第2チャネル信号とから算出したモノラル信号を符号化した符号化モノラル信号と、前記第1チャネル信号と前記第2チャネル信号との差分信号を符号化した符号化差分信号とを受信する受信手段と、受信した前記符号化差分信号における時間的変化を検出する検出手段と、受信した前記符号化モノラル信号を復号して復号モノラル信号を取得し、受信した前記符号化差分信号を復号して復号差分信号を取得する復号手段と、前記復号差分信号と検出した前記時間的変化に対応する係数との演算により前記復号差分信号の平滑化処理を行う平滑化手段と、前記復号モノラル信号と前記平滑化処理した前記復号差分信号とから復号ステレオ信号を算出する算出手段と、を具備する構成を採る。
 本発明の復号方法は、ステレオ信号を構成する第1チャネル信号と第2チャネル信号とから算出したモノラル信号を符号化した符号化モノラル信号と、前記第1チャネル信号と前記第2チャネル信号との差分信号を符号化した符号化差分信号とを受信するステップと、受信した前記符号化差分信号における時間的変化を検出するステップと、受信した前記符号化モノラル信号を復号して復号モノラル信号を取得し、受信した前記符号化差分信号を復号して復号差分信号を取得するステップと、前記復号差分信号と検出した前記時間的変化に対応する係数との演算により前記復号差分信号の平滑化処理を行うステップと、前記復号モノラル信号と前記平滑化処理した前記復号差分信号とから復号ステレオ信号を算出するステップと、を具備するようにした。
 本発明によれば、例えばM/S符号化/復号方式のようにマルチチャネルの信号を符号化/復号する方式において、フレーム消失による伝送誤りが発生した場合に、復号信号における急激なチャネル数の変動を少なくすることができるとともに、サンプル単位での平滑化が可能であり、音質劣化を抑制することができる。
本発明の実施の形態1に係る通信システムの構成を示すブロック図 本発明の実施の形態1に係る符号化装置の構成を示すブロック図 本発明の実施の形態1に係る復号装置の構成を示すブロック図 本発明の実施の形態1に係る復号装置の動作を示すフロー図 本発明の実施の形態2に係る復号装置の構成を示すブロック図 本発明の実施の形態2に係る復号装置の動作を示すフロー図 本発明の実施の形態3に係る復号装置の構成を示すブロック図 本発明の実施の形態3に係るS信号復号部における波形の山谷を一致させる処理を示す図 本発明の実施の形態3に係る復号装置の動作を示すフロー図
 (実施の形態1)
 図1は、本発明の実施の形態1に係る通信システム100の構成を示すブロック図である。通信システム100は、符号化装置101と、伝送路102と、復号装置103とから主に構成される。通信システム100において、符号化装置101と復号装置103とは、伝送路102を介して互いに通信可能である。なお、符号化装置101及び復号装置103は、いずれも、通常、基地局装置あるいは通信端末装置等に搭載されて用いられる。以下に、各構成について、詳細に説明する。
 符号化装置101では、入力信号であるL信号及びR信号をそれぞれCELP(Code Exited Linear Prediction)方式で符号化する構成を例に挙げて説明する。符号化装置101は、L信号およびR信号を符号化して符号化情報を取得し、取得した符号化情報を伝送路102を介して復号装置103に送信する。なお、符号化装置101の構成の詳細については後述する。
 復号装置103は、伝送路102を介して符号化装置101から送信された符号化情報を受信し、受信した符号化情報を復号して出力信号である復号L信号および復号R信号を取得する。なお、復号装置103は、符号化装置101と同様にCELP方式の復号方法にて復号する構成を例に挙げて説明する。また、復号装置103の構成の詳細については後述する。
 以上で、通信システム100の構成についての説明を終える。
 次に、符号化装置101の構成について、図2を用いて説明する。図2は、符号化装置101の構成を示すブロック図である。
 符号化装置101は、M/S信号算出部201と、M信号符号化部202と、S信号符号化部203と、符号化情報統合部204とから主に構成される。
 符号化装置101は、L信号とR信号の2チャネルの信号が入力し、入力したL信号とR信号とを、M信号及びS信号に変換した後、M信号及びS信号をそれぞれ符号化して符号化情報を取得する。そして、符号化装置101は、取得したそれぞれの符号化情報を符号化情報統合部204にて統合し、統合した符号化情報を復号装置103に伝送する。以下に、各構成について、詳細に説明する。
 M/S信号算出部201は、L信号とR信号とを入力し、(1)式及び(2)式に従い、和信号(M信号)と差信号(S信号)とを算出する。ここで、(1)式及び(2)式のiはフレーム中のサンプルインデックスを示し、またNはフレームサイズを示す。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
 また、M/S信号算出部201は、(1)式により算出したM信号をM信号符号化部202に出力し、(2)式により算出したS信号をS信号符号化部203に出力する。
 M信号符号化部202は、M/S信号算出部201からM信号が入力し、CELP方式の音声符号化方法にてM信号を符号化し、M符号化情報を算出する。そして、M信号符号化部202は、算出したM符号化情報を符号化情報統合部204に出力する。
 S信号符号化部203は、M/S信号算出部201からS信号が入力し、CELP方式の音声符号化方法にてS信号を符号化し、S符号化情報を算出する。そして、S信号符号化部203は、算出したS符号化情報を符号化情報統合部204に出力する。なお、CELP方式の音声符号化方法については、既存の技術であるため、その詳細な説明を省略する。
 符号化情報統合部204は、M信号符号化部202からM符号化情報が入力するとともに、S信号符号化部203からS符号化情報が入力し、入力したS符号化情報とM符号化情報とを統合して符号化情報とする。そして、符号化情報統合部204は、得られた符号化情報を伝送路102に出力する。以上で、符号化装置101の構成の説明を終える。
 次に、復号装置103の構成について、図3を用いて説明する。図3は、復号装置103の構成を示すブロック図である。
 復号装置103は、分離部301と、M信号復号部302と、S信号復号部303と、平滑化処理部304と、L/R信号算出部305とから主に構成される。
 復号装置103は、伝送路102を介して符号化装置101から伝送される符号化情報が入力し、これをM/S復号方式にて復号し、復号L信号及び復号R信号を算出する。そして、復号装置103は、算出した復号L信号及び復号R信号を2チャネルの出力信号として出力する。以下に、各構成について、詳細に説明する。
 分離部301は、符号化装置101から伝送路102を介して入力した符号化情報を、M符号化情報およびS符号化情報に分離し、分離したM符号化情報をM信号復号部302に出力し、分離したS符号化情報をS信号復号部303に出力する。また、分離部301は、入力した符号化情報において伝送誤りの有無を検出する。また、分離部301は、伝送誤りを検出した場合に、入力した符号化情報を構成する情報の時間的変化を検出する。そして、分離部301は、検出した時間的変化を平滑化処理制御情報CIとして平滑化処理部304に出力する。
 ここで、分離部301における平滑化処理制御情報CIの決定方法について説明する。
 分離部301は、符号化装置101から伝送路102を介して入力した符号化情報にS符号化情報が含まれているか否かを検出する。また、分離部301は、S符号化情報が含まれているフレームから含まれていないフレームに切り替わった時点、及びS符号化情報が含まれていないフレームから含まれているフレームに切り替わった時点を検出する。また、分離部301は、S符号化情報が含まれているフレームから含まれていないフレームに切り替わった時点を検出した場合には、平滑化処理制御情報CIの値を1に設定する。また、分離部301は、S符号化情報が含まれていないフレームから含まれているフレームに切り替わった時点を検知した場合には、平滑化処理制御情報CIの値を2に設定する。また、分離部301は、S符号化情報が含まれているフレームから含まれていないフレームに切り替わった時点、及びS符号化情報が含まれていないフレームから含まれているフレームに切り替わった時点の何れも検出しない場合には、平滑化処理制御情報CIの値を0に設定する。
 M信号復号部302は、分離部301からM符号化情報が入力し、入力したM符号化情報をCELP方式の音声復号方法にて復号し、復号M信号を算出する。ここで、M信号復号部302における音声復号方法は、符号化装置101におけるM信号符号化部202における符号化方法に対応する方式である。また、M信号復号部302は、算出した復号M信号をL/R信号算出部305に出力する。
 S信号復号部303は、分離部301からS符号化情報が入力し、入力したS符号化情報をCELP方式の音声復号方法にて復号し、復号S信号を算出する。ここで、S信号復号部303における音声復号方法は、符号化装置101におけるS信号符号化部203における符号化方法に対応する方式である。また、S信号復号部303は、得られた復号S信号を平滑化処理部304に出力する。また、S信号復号部303は、分離部301からS符号化情報が入力しない場合には、現フレームの直前のフレーム(例えば、現フレームの1フレーム前のフレーム)に含まれていたS符号化情報を復号することにより、復号S信号を算出する。また、S信号復号部303は、現フレームにおけるS符号化情報あるいは復号S信号を内部のバッファに記憶し、フレーム処理毎に内部バッファを更新する。なお、本実施の形態では、伝送誤り時などのフレーム消失時の補償処理として、上記のような手法によりS信号を補償する方法について説明したが、本実施の形態はこれに限らず、これ以外のフレーム消失補償処理についても同様に適用できる。また、CELP方式の音声復号方法については、既存の技術であるため、その詳細な説明を省略する。
 平滑化処理部304は、S信号復号部303から復号S信号が入力するとともに、分離部301から平滑化処理制御情報CIが入力する。平滑化処理部304は、平滑化処理制御情報CIの値に応じて、復号S信号に対して時間軸での減衰あるいは増幅処理を行い、平滑化した復号S信号(以下、「平滑化復号S信号」と記す)を算出する。具体的には、平滑化処理部304は、平滑化処理制御情報CIの値が1である場合には、(3)式に従って、復号S信号に対して時間的に徐々に減衰するような係数を乗じ、平滑化復号S信号を算出する。また、平滑化処理部304は、平滑化処理制御情報CIの値が2である場合には、(4)式に従って、復号S信号に対して時間的に徐々に増幅するような係数を乗じ、平滑化復号S信号を算出する。また、平滑化処理部304は、平滑化処理制御係数CIの値が0である場合には、復号S信号には何も乗じずにそのまま平滑化復号S信号とする。ここで、(3)式のα1は、iが増えるにつれて値が小さくなるような減衰係数であり、β1は、iが増えるにつれて値が大きくなるような増幅係数である。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
 また、平滑化処理部304は、算出した平滑化復号S信号をL/R信号算出部305に出力する。
 L/R信号算出部305は、M信号復号部302から復号M信号が入力するとともに、平滑化処理部304から平滑化復号S信号が入力する。また、L/R信号算出部305は、M/S信号算出部201に対応する以下の(5)式及び(6)式に従い、入力した復号M信号及び平滑化復号S信号を用いて、復号L信号及び復号R信号の2チャネルの信号を算出する。
Figure JPOXMLDOC01-appb-M000005
 L/R信号算出部305は、(5)式及び(6)式により算出した復号L信号及び復号R信号を2チャネルの出力信号として出力する。以上で、復号装置103の構成の説明を終える。
 次に、復号装置103の動作について、図4を用いて説明する。図4は、復号装置103の動作を示すフロー図である。
 まず、分離部301は、符号化情報中にS符号化情報が含まれているか否かを検出し、検出結果に応じて平滑化処理制御情報CIの値(0、1、2)を設定する(ステップST401)。
 次に、M信号復号部302は、M符号化情報から復号M信号を算出するとともに、S信号復号部303は、S符号化情報から復号S信号を算出する(ステップST402)。
 次に、平滑化処理部304は、平滑化処理制御情報CIの値が1であるか否かを判定する(ステップST403)。
 平滑化処理制御情報CIの値が1である場合には(ステップST403:YES)、平滑化処理部304は、復号S信号に対して時間的に徐々に減衰するような係数α1を乗じ、平滑化復号S信号を算出する(ステップST404)。
 一方、平滑化処理制御情報CIの値が1ではない場合には(ステップST403:NO)、平滑化処理部304は、平滑化処理制御情報CIの値が2であるか否かを判定する(ステップST405)。
 平滑化処理制御情報CIの値が2である場合には(ステップST405:YES)、復号S信号に対して時間的に徐々に増幅するような係数β1を乗じ、平滑化した復号S信号を算出する(ステップST406)。
 また、平滑化処理制御情報CIの値が2ではない場合(ステップST405:NO)、即ち、平滑化処理制御係数CIの値が0である場合には、復号S信号には何も乗じずにそのまま平滑化した復号S信号とする。
 そして、L/R信号算出部305は、算出された復号M信号と復号S信号とから、復号L信号及び復号R信号を算出し、算出した復号L信号及び復号R信号を出力する(ステップST407)。
 このように、本実施の形態によれば、例えばM/S符号化/復号方式のようなマルチチャネルの信号を符号化/復号する方式において、フレーム消失により伝送誤りが発生した場合等に、パラメータレベルではなく信号レベルで、フレーム間でのチャネル数の平滑化処理(スムージング処理)を行う。これにより、復号信号における急激なチャネル数の変動を少なくし、音質劣化を抑制することができる。また、本実施の形態によれば、信号レベルでのチャネル数の平滑化処理をすることにより、サンプル単位での平滑化が可能であり、音質劣化をさらに抑制することができる。
 なお、本実施の形態では、復号装置103の動作について図4のフローを用いて説明したが、必ずしもこのフローに限定されない。例えば、ST403~ST404と、ST405~ST406との順序が逆であっても良い。また、本実施の形態では、マルチチャネル符号化/復号方法として、M/S符号化/復号方式を例に挙げて説明したが、本発明はこれに限らず、その他のマルチチャネル符号化/復号方法に対しても同様に適用できる。
 また、本実施の形態では、減衰係数および増幅係数は、1フレーム処理する間に、1から0あるいは0から1に変動するような構成を例に挙げて説明したが、本発明はこれに限らず、減衰係数及び増幅係数の変動をより遅くする場合についても同様に適用できる。具体的には、復号装置が数フレーム分の符号化情報を処理する間に、減衰係数および増幅係数を徐々に1から0あるいは0から1に変動させてもよい。この場合、復号装置側では、S信号に対する減衰処理あるいは増幅処理を開始したフレームを記憶しておき、そのフレームから予め定められた数のフレーム処理時に、減衰係数および増幅係数をゆっくりと変動させる。この構成により、フレーム消失により伝送誤りが発生した場合などに、本実施の形態の構成に比べて、復号信号における急激なチャネル数の変動をさらに少なくし、音質劣化をさらに抑制することができる。
 また、本実施の形態で説明した平滑化処理の対象である復号S信号については、上述した伝送誤り時の補償処理以外の方法で補償された復号S信号に対しても本発明は同様に適用できる。例えば、伝送誤りが発生する直前のフレームの復号S信号あるいはS信号を復号するためのパラメータを使って、時間的に減衰あるいは増幅された復号S信号に対して、本実施の形態で説明した減衰処理あるいは増幅処理を施す構成についても同様に適用できる。
 (実施の形態2)
 図5は、本発明の実施の形態2に係る復号装置500の構成を示すブロック図である。
 図5に示す復号装置500は、図3に示す実施の形態1に係る復号装置103に対して、L/R相関算出部501を追加し、平滑化処理部304の代わりに平滑化処理部502を有する。なお、図5において、図3と同一構成である部分には同一の符号を付してその説明を省略する。また、本実施の形態の通信システムは、復号装置103の代わりに復号装置500を有する以外は、図1と同一構成であるので、その説明を省略する。ただし、分離部301については、実施の形態1では平滑化処理制御情報CIを算出した代わりに、本実施の形態では第1平滑化処理制御情報CI1を算出するものとする。
 復号装置500は、分離部301と、M信号復号部302と、S信号復号部303と、L/R相関算出部501と、平滑化処理部502と、L/R信号算出部305とから主に構成される。以下に、各構成について、詳細に説明する。
 M信号復号部302は、分離部301からM符号化情報が入力し、入力したM符号化情報をCELP方式の音声復号方法にて復号し、復号M信号を算出する。ここで、M信号復号部302における音声復号方法は、符号化装置101におけるM信号符号化部202における符号化方法に対応する方式である。また、M信号復号部302は、算出した復号M信号をL/R信号算出部305及びL/R相関算出部501に出力する。
 S信号復号部303は、分離部301からS符号化情報が入力し、入力したS符号化情報をCELP方式の音声復号方法にて復号し、復号S信号を算出する。ここで、S信号復号部303における音声復号方法は、符号化装置101におけるS信号符号化部203における符号化方法に対応する方式である。また、S信号復号部303は、得られた復号S信号をL/R相関算出部501及び平滑化処理部502に出力する。また、S信号復号部303は、分離部301からS符号化情報が入力しない場合には、現フレームの直前のフレームに含まれていたS符号化情報を復号することにより、復号S信号を算出する。また、S信号復号部303は、現フレームにおけるS符号化情報あるいは復号S信号を内部のバッファに記憶し、フレーム処理毎に内部バッファを更新する。
 L/R相関算出部501は、M信号復号部302から復号M信号が入力するとともに、S信号復号部303から復号S信号が入力する。また、L/R相関算出部501は、LチャネルとRチャネルとの相関として、復号M信号及び復号S信号からLチャネルとRチャネルとの間のエネルギー比を算出し、算出したエネルギー比に応じて第2平滑化処理制御情報CI2を決定する。第2平滑化処理制御情報CI2は、(7)式により算出する。具体的には、L/R相関算出部501は、LチャネルとRチャネルとの間のエネルギー比が第1の閾値(TH1)以上または第2の閾値(TH2:ただし、TH2<TH1)以下である場合には、第2平滑化処理制御情報CI2の値を1に設定する。また、L/R相関算出部501は、LチャネルとRチャネルとの間のエネルギー比が第1の閾値と第2の閾値との間である場合には、第2平滑化処理制御情報CI2の値を0に設定する。ここで、(7)式のTH1、及びTH2はそれぞれ予め定められた閾値である。即ち、LチャネルとRチャネルとのエネルギー比が大きく異なる場合には第2平滑化処理制御情報CI2の値を1とし、それほど大きく異ならない場合には第2平滑化処理制御情報CI2の値を0とする。
Figure JPOXMLDOC01-appb-M000007
 また、L/R相関算出部501は、得られた第2平滑化処理制御情報CI2を平滑化処理部502に出力する。
 平滑化処理部502は、S信号復号部303から復号S信号が入力し、分離部301から第1平滑化処理制御情報CI1が入力するとともに、L/R相関算出部501から第2平滑化処理制御情報CI2が入力する。また、平滑化処理部502は、第1平滑化処理制御情報CI1及び第2平滑化処理制御情報CI2の値に応じて、復号S信号に対して時間軸での減衰あるいは増幅処理を行い、平滑化復号S信号を算出する。具体的には、平滑化処理部502は、第2平滑化処理制御情報CI2の値が1である場合には、(8)式及び(9)式に従って、復号S信号の平滑化処理を行う。ここで、(8)式中のα2はiが増えるにつれて値が小さくなるような減衰係数であり、(9)式中のβ2はiが増えるにつれて値が大きくなるような増幅係数である。また、α2およびβ2は、α1およびβ1と比較して、iが増えるにつれて変化する量(変化量)がより小さいものとする。
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
 また、平滑化処理部502は、第2平滑化処理制御情報CI2の値が0である場合には、(3)式及び(4)式に従って、復号S信号の平滑化処理を行う。また、平滑化処理部502は、算出した平滑化復号S信号をL/R信号算出部305に出力する。
 L/R信号算出部305は、M信号復号部302から復号M信号が入力するとともに、平滑化処理部502から平滑化復号S信号が入力する。また、L/R信号算出部305は、M/S信号算出部201に対応する(5)式及び(6)式に従い、復号L信号と復号R信号の2チャネルの信号を算出する。また、L/R信号算出部305は、算出した復号L信号及び復号R信号を2チャネルの出力信号として出力する。以上で、復号装置500の構成の説明を終える。
 次に、復号装置500の動作について、図6を用いて説明する。図6は、復号装置500の動作を示すフロー図である。
 まず、分離部301は、符号化情報中にS符号化情報が含まれているか否かを検出し、検出結果に応じて第1平滑化処理制御情報CI1の値(0、1、2)を設定する(ステップST601)。
 次に、M信号復号部302は、M符号化情報から復号M信号を算出するとともに、S信号復号部303は、S符号化情報から復号S信号を算出する(ステップST602)。
 次に、L/R相関算出部501は、LチャネルとRチャネルとの間のエネルギー比に応じて、第2平滑化処理制御情報CI2の値(0、1)を設定する(ステップST603)。
 次に、平滑化処理部502は、第1平滑化処理制御情報CI1の値が1であるか否かを判定する(ステップST604)。
 第1平滑化処理制御情報CI1の値が1である場合には(ステップST604:YES)、平滑化処理部502は、第2平滑化処理制御情報CI2の値が0であるか否かを判定する(ステップST605)。
 第2平滑化処理制御情報CI2の値が0である場合には(ステップST605:YES)、平滑化処理部502は、復号S信号に対して時間的に徐々に減衰するような係数α1を乗じ、平滑化復号S信号を算出する(ステップST606)。
 また、第2平滑化処理制御情報CI2の値が0ではない場合(ステップST605:NO)、即ち、第2平滑化処理制御情報CI2の値が1である場合には、平滑化処理部502は、復号S信号に対して、ステップST606の時よりも緩やかに時間的に徐々に減衰するような係数α2を乗じ、平滑化した復号S信号を算出する(ステップST607)。
 一方、ステップST604において、第1平滑化処理制御情報CI1の値が1ではない場合には(ステップST604:NO)、平滑化処理部502は、第1平滑化処理制御情報CI1の値が2であるか否かを判定する(ステップST608)。
 第1平滑化処理制御情報CI1の値が2である場合には(ステップST608:YES)、平滑化処理部502は、第2平滑化処理制御情報CI2の値が0であるか否かを判定する(ステップST609)。
 第2平滑化処理制御情報CI2の値が0である場合には(ステップST609:YES)、平滑化処理部502は、復号S信号に対して、時間的に徐々に増幅するような係数β1を乗じ、平滑化した復号S信号を算出する(ステップST610)。
 また、第2平滑化処理制御情報CI2の値が0ではない場合(ステップST609:NO)、即ち、第2平滑化処理制御情報CI2の値が1である場合には、平滑化処理部502は、復号S信号に対して、ステップST610の時よりも緩やかに時間的に徐々に増幅するような係数β2を乗じ、平滑化した復号S信号を算出する(ステップST611)。
 また、ステップST608において、第1平滑化処理制御係数CI1の値が2ではない場合(ステップST608:NO)、即ち、第1平滑化処理制御係数CI1の値が0である場合には、平滑化処理部502は、復号S信号には何も乗じずにそのまま平滑化した復号S信号とする。
 そして、L/R信号算出部305は、算出された復号M信号と平滑化復号S信号とから、復号L信号と復号R信号とを算出し、算出した復号L信号と復号R信号とを出力する(ステップST612)。
 このように、本実施の形態によれば、上記の実施の形態1の効果に加えて、例えばM/S符号化/復号方式のようなマルチチャネルの信号を符号化/復号する方式において、フレーム消失により伝送誤りが発生した場合などに、音質劣化を抑制することができる。即ち、本実施の形態によれば、パラメータレベルではなく信号レベルで、フレーム間でのチャネル数の平滑化処理(スムージング処理)を行う際に、LチャネルとRチャネルとの間の相関として、エネルギー比を利用して平滑化処理の速度を調整する。これにより、音質劣化を抑制することができる。具体的には、2チャネルの信号のうち、片側のチャネルに信号が集中しているような状況に対しては、減衰処理または増幅処理である平滑化処理の速度を遅く(時間変化量を小さく)することにより、チャネル数の変動速度をさらに遅くする。これは、2チャネルの信号のうちの片側のチャネルに信号が集中しているような場合には、ステレオイメージ(ステレオ感)の急激な変動が聴感に悪影響を及ぼす傾向があるためである。上記のような処理によって、実施の形態1で示した構成に対して、さらに音質劣化を抑制することができる。
 なお、本実施の形態では、復号装置500の動作について図6のフローを用いて説明したが、必ずしもこのフローに限定されない。例えば、ST604~ST607と、ST608~ST611との順序が逆であっても良い。また、本実施の形態では、L/R相関算出部501において、復号M信号及び復号S信号からL/Rチャネルの相関を算出する場合を例に挙げて説明したが、本発明はこれに限らず、M/Sチャネル間の相関を利用する場合についても同様に適用できる。
 また、本実施の形態では、第2平滑化処理制御情報の値の決定について、LチャネルとRチャネルとのエネルギー比が、予め定めた第1の閾値以上あるいは第2の閾値以下か否かを判定基準に用い、判定結果に応じて、第2平滑化処理制御情報を0か1かの2値に決定する構成について説明した。しかしながら、本実施の形態はこれに限らず、第2平滑化処理制御情報を2値ではなく重みとする構成についても同様に適用できる。つまり、LチャネルとRチャネルとのエネルギーの差が大きいほど、第2平滑化処理制御情報の値を1に近くし、LチャネルとRチャネルとのエネルギーの差が小さいほど、第2平滑化処理制御情報の値を0に近くする構成が例として挙げられる。さらに、平滑化処理部では、第2平滑化処理制御情報の値が1に近ければ近いほど、復号S信号をゆっくりと減衰あるいは増幅することによって、より細かく平滑化処理を行うことができ、これによりさらに音質劣化を抑制することができる。
 (実施の形態3)
 図7は、本発明の実施の形態3に係る復号装置700の構成を示すブロック図である。
 図7に示す復号装置700は、図3に示す実施の形態1に係る復号装置103に対して、L/R相関算出部703を追加し、S信号復号部303の代わりにS信号復号部701を有し、L/R信号算出部305の代わりにL/R信号算出部702を有する。なお、図7において、図3と同一構成である部分には同一の符号を付してその説明を省略する。また、本実施の形態の通信システムは、復号装置103の代わりに復号装置700を有する以外は、図1と同一構成であるので、その説明を省略する。
 復号装置700は、分離部301と、M信号復号部302と、S信号復号部701と、平滑化処理部304と、L/R信号算出部702と、L/R相関算出部703とから主に構成される。以下に、各構成について詳細に説明する。
 分離部301は、符号化装置101から伝送路102を介して入力される符号化情報を、M符号化情報およびS符号化情報に分離し、分離したM符号化情報をM信号復号部302に出力し、分離したS符号化情報をS信号復号部701に出力する。また、分離部301は、入力した符号化情報において伝送誤りの有無を検出する。また、分離部301は、伝送誤りを検出した場合に、入力した符号化情報を構成する情報の時間的変化を検出し、検出した時間的変化を平滑化処理制御情報CIとして平滑化処理部304に出力する。
 M信号復号部302は、分離部301からM符号化情報が入力し、入力したM符号化情報をCELP方式の音声復号方法にて復号し、復号M信号を算出する。ここで、M信号復号部302における音声復号方法は、符号化装置101におけるM信号符号化部202における符号化方法に対応する方式である。また、M信号復号部302は、算出した復号M信号をS信号復号部701及びL/R信号算出部702に出力する。
 S信号復号部701は、分離部301からS符号化情報が入力し、入力したS符号化情報をCELP方式の音声復号方法にて復号し、復号S信号を算出する。ここで、S信号復号部701における音声復号方法は、符号化装置101におけるS信号符号化部203における符号化方法に対応する方式である。また、S信号復号部701は、算出した復号S信号を平滑化処理部304に出力する。
 また、S信号復号部701は、分離部301から符号化情報が入力しない場合には、以下の方法により復号S信号を算出する。即ち、S信号復号部701は、L/R相関算出部703から入力した、現フレームの1フレーム前のフレーム(以下「前フレーム」と記載する)の復号S信号の補助情報AIと、M信号復号部302から入力した復号M信号と、L/R信号算出部702から入力した前フレームの復号L信号及び復号R信号とを用いて、(10)式により復号S信号を算出する。(10)式中のL´-1、及びR´-1は、前フレームの復号L信号または前フレームの復号R信号から算出される信号である。なお、復号S信号の補助情報AIについては後述する。
Figure JPOXMLDOC01-appb-M000010
 ここで、L´-1、及びR´-1のS信号復号部701における算出方法について説明する。L´-1、及びR´-1は、前フレームの復号L信号(L-1)および復号R信号(R-1)に対して、M信号復号部302において復号M信号を算出する際にM符号化情報から得られるピッチ周期と、前フレームの復号L信号及び復号R信号とを利用して算出する。具体的には、S信号復号部701は、前フレームの復号L信号または復号R信号のピッチ周期の一周期の波形を切り出し、復号M信号の波形と山谷を一致させるように時間軸上で数サンプルスライドすることにより、L´-1、及びR´-1を算出する。即ち、S信号復号部701は、前フレームの復号L信号または復号R信号と、現フレームのM信号との位相を一致させるように前フレームの復号L信号または復号R信号を時間軸上でスライドさせる。また、前フレームの復号L信号または復号R信号のピッチ周期一周期分の波形を繰り返した信号と、現フレームの復号M信号との山谷を一致させてもよく、この場合、数サンプルスライドさせてもフレーム長分の波形を問題なく生成できる。
 ここで、上述した波形の山谷を一致させる処理について、図8を用いて説明する。図8は、S信号復号部701における波形の山谷を一致させる処理を示す図である。図8(a)は、現フレームの復号M信号の波形を示すものであり、図8(b)は、前フレームの復号L信号(L´-1)を示すものであり、図8(c)は、ピッチ周期を復号M信号と合わせた前フレームの復号L信号(L´-1)を示すものである。また、ここでは、前フレームの復号L信号のエネルギーが前フレームの復号R信号のエネルギーよりも大きい場合を例に挙げて説明する。
 ここで、前フレームの復号L信号と現フレームの復号M信号では、フレームが異なるため、信号の波形レベルでピッチ周期が一致しない場合が有り得る。この場合、(10)式のように単純に減算しただけでは効率的な復号S信号が得られない。従って、図8(b)の前フレームの復号L信号の波形を、数サンプル(図8(c)のT)ずらして、図8(a)の復号M信号の波形とピッチ周期を合わせる処理をする。これにより、図8(c)に示すような前フレームの復号L信号の波形を生成することができる。図8(c)の波形と図8(a)の波形とを利用することにより、(10)式によって、精度の高い復号S信号を算出することができる。
 平滑化処理部304は、S信号復号部701から復号S信号が入力するとともに、分離部301から平滑化処理制御情報CIが入力する。平滑化処理部304は、平滑化処理制御情報CIの値に応じて、復号S信号に対して時間軸での減衰あるいは増幅処理を行い、平滑化復号S信号を算出する。具体的には、平滑化処理部304は、平滑化処理制御情報CIの値が1である場合には、(3)式に従って、復号S信号に対して時間的に徐々に減衰するような係数を乗じ、平滑化復号S信号を算出する。また、平滑化処理部304は、平滑化処理制御情報CIの値が2である場合には、(4)式に従って、復号S信号に対して時間的に徐々に増幅するような係数を乗じ、平滑化復号S信号を算出する。また、平滑化処理部304は、平滑化処理制御係数CIの値が0である場合には、復号S信号には何も乗じずにそのまま平滑化復号S信号とする。また、平滑化処理部304は、算出した平滑化復号S信号をL/R信号算出部702に出力する。
 L/R信号算出部702は、M信号復号部302から復号M信号が入力するとともに、平滑化処理部304から平滑化された復号S信号が入力する。また、L/R信号算出部702は、M/S信号算出部201に対応する(5)式及び(6)式に従い、復号L信号と復号R信号の2チャネルの信号を算出する。そして、L/R信号算出部702は、算出した復号L信号及び復号R信号を2チャネルの出力信号として出力する。また、L/R信号算出部702は、算出した復号L信号および復号R信号をS信号復号部701及びL/R相関算出部703に出力する。
 L/R相関算出部703は、L/R信号算出部702から復号L信号及び復号R信号が入力する。また、L/R相関算出部703は、入力した復号L信号及び復号R信号から、LチャネルとRチャネルとの間の相関としてエネルギー比を算出し、エネルギー比に応じて復号S信号の補助情報AIを決定する。ここで、復号S信号の補助情報AIは、(11)式により算出する。具体的には、L/R相関算出部703は、L信号とR信号とを比較し、L信号のエネルギーがR信号のエネルギーより大きい場合には復号S信号の補助情報AIの値を0に設定し、R信号のエネルギーがL信号のエネルギー以上である場合には復号S信号の補助情報AIの値を1に設定する。
Figure JPOXMLDOC01-appb-M000011
 また、L/R相関算出部703は、得られた復号S信号の補助情報をS信号復号部701に出力する。以上で、復号装置700の構成の説明を終える。
 次に、復号装置700の動作について、図9を用いて説明する。図9は、復号装置700の動作を示すフロー図である。なお、図9において、図4と同一処理の部分には同一の符号を付して、その説明を省略する。
 分離部301は、符号化情報中にS符号化情報が含まれているか否かを検出し、検出結果に応じて平滑化処理制御情報CIの値(0、1、2)を設定する(ステップST401)。
 次に、M信号復号部302は、復号M信号を算出するとともに、S信号復号部701は、復号S信号を算出する。ここで、符号化情報中にS符号化情報が含まれていない場合には、S信号復号部701は、L/R相関算出部703から入力した、前フレームの復号S信号の補助情報AIと、M信号復号部302から入力した復号M信号と、L/R信号算出部702から入力した前フレームの復号L信号と復号R信号とを用いて、復号S信号を算出する(ステップST901)。
 次に、平滑化処理部304は、平滑化処理制御情報CIの値が1であるか否かを判定する(ステップST403)。
 このように、本実施の形態によれば、上記の実施の形態1の効果に加えて、例えばM/S符号化/復号方式のようなマルチチャネルの信号を符号化/復号する方式において、フレーム消失により伝送誤りが発生した場合などに、音質劣化を抑制することができる。即ち、本実施の形態によれば、パラメータレベルではなく信号レベルで、フレーム間でのチャネル数の平滑化処理(スムージング処理)を行う際に、前フレームで復号された復号L信号及び復号R信号のエネルギー比を利用して、消失したフレームの復号S信号を算出する。これにより、音質劣化を抑制することができる。具体的には、前フレームにおいて、2チャネルのうちのどちらか一方に信号が集中しているような場合に対して、正常に受信し、復号したM信号と、信号が集中しているチャネルの復号信号(前フレームの復号信号)とから精度の高い復号S信号を算出することができる。フレーム間に渡って信号が集中しているチャネルがそれほど頻繁に切り替わらない状況に対しては、上述した手法は特に有効である。
 なお、上記の実施の形態1~実施の形態3において、2つのチャネル信号をL信号及びR信号として記載したが、本発明はこれに限らず、上記の説明においてL信号とR信号とを逆に設定してもよく、この場合でも同様の作用効果を有する。
 また、上記の実施の形態1~実施の形態3において、復号装置103、500、700における復号方法は、符号化装置101における符号化方法と対応する方式であるとして説明した。しかしながら、本発明はこれに限らず、復号装置において、復号可能な符号化情報を生成可能な符号化装置により生成された符号化情報を復号するように構成しても良い。また、上記の実施の形態1~実施の形態3において、LチャネルとRチャネルとの相関としてエネルギー比を用いたが、本発明はこれに限らず、他の指標を用いても良い。
 また、上記の実施の形態1~実施の形態3において、信号処理プログラムを、メモリ、ディスク、テープ、CDまたはDVD等の機械読み取り可能な記録媒体に記録または書き込みをし、動作を行う場合についても、本発明は適用することができ、各実施の形態と同様の作用および効果を得ることができる。
 また、上記の実施の形態1~実施の形態3において、ハードウェアにより構成する場合を例に説明したが、本発明はソフトウェアで実現することも可能である。
 また、上記の実施の形態1~実施の形態3において、各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。また、この場合、LSIは、集積度の違いにより、IC、システムLSI、スーパーLSIまたはウルトラLSIと呼称されることもある。
 また、上記の実施の形態1~実施の形態3において、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、またはLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル/プロセッサを利用してもよい。
 また、上記の実施の形態1~実施の形態3において、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
 2009年5月26日出願の特願2009-126615の日本出願に含まれる明細書、図面及び要約書の開示内容は、すべて本願に援用される。
 本発明にかかる復号装置及び復号方法は、フレーム消失により伝送誤りが発生した場合でも、音質劣化を抑制することができ、例えば、パケット通信システムまたは移動通信システムなどに適用できる。

Claims (11)

  1.  ステレオ信号を構成する第1チャネル信号と第2チャネル信号とから算出したモノラル信号を符号化した符号化モノラル信号と、前記第1チャネル信号と前記第2チャネル信号との差分信号を符号化した符号化差分信号とを受信する受信手段と、
     受信した前記符号化差分信号における時間的変化を検出する検出手段と、
     受信した前記符号化モノラル信号を復号して復号モノラル信号を取得し、受信した前記符号化差分信号を復号して復号差分信号を取得する復号手段と、
     前記復号差分信号と検出した前記時間的変化に対応する係数との演算により前記復号差分信号の平滑化処理を行う平滑化手段と、
     前記復号モノラル信号と前記平滑化処理した前記復号差分信号とから復号ステレオ信号を算出する算出手段と、
     を具備する復号装置。
  2.  前記復号モノラル信号及び前記復号差分信号から前記第1チャネル信号と前記第2チャネル信号との相関を算出する相関算出手段をさらに具備し、
     前記平滑化手段は、前記相関に応じて異なる前記係数を前記復号差分信号に乗算する請求項1記載の復号装置。
  3.  前記相関算出手段は、前記相関として前記第1チャネル信号と前記第2チャネル信号とのエネルギー比を算出し、
     前記平滑化手段は、前記エネルギー比に応じて異なる前記係数を前記復号差分信号に乗算する請求項2記載の復号装置。
  4.  前記平滑化手段は、前記エネルギー比が第1の閾値以上または前記第1の閾値より小さい第2の閾値以下の場合に、前記エネルギー比が前記第1の閾値より小さくかつ前記第2の閾値よりも大きい場合に比べて、前記復号差分信号の増幅量または減衰量が小さくなる前記係数を前記復号差分信号に乗算する請求項3記載の復号装置。
  5.  前記検出手段は、前記符号化差分信号が含まれているフレームから含まれていないフレームに変化したこと、または前記符号化差分信号が含まれていないフレームから含まれているフレームに変化したことを前記時間的変化として検出する請求項1記載の復号装置。
  6.  前記復号ステレオ信号を構成する、前記第1チャネル信号の復号結果である復号第1チャネル信号と前記第2チャネル信号の復号結果である復号第2チャネル信号との相関を算出する相関算出手段をさらに具備し、
     前記復号手段は、前記符号化差分信号が現フレームに含まれていない場合に、算出した前記相関に基づいて、前記現フレームの前記復号モノラル信号と、前記現フレームの前のフレームの前記復号第1チャネル信号または前記復号第2チャネル信号とから、前記現フレームの前記復号差分信号を取得する請求項5記載の復号装置。
  7.  前記相関算出手段は、前記相関として前記復号第1チャネル信号と前記復号第2チャネル信号とのエネルギー比を算出し、
     前記復号手段は、前記エネルギー比に基づいて、前記現フレームの前記復号差分信号を取得する請求項6記載の復号装置。
  8.  前記復号手段は、前記相関算出手段により算出したエネルギーの大きい前記前のフレームの前記復号第1チャネル信号と前記復号第2チャネル信号とのいずれか一方と、前記現フレームの前記復号モノラル信号とから前記現フレームの前記復号差分信号を取得する請求項7記載の復号装置。
  9.  請求項1記載の復号装置を具備する通信端末装置。
  10.  請求項1記載の復号装置を具備する基地局装置。
  11.  ステレオ信号を構成する第1チャネル信号と第2チャネル信号とから算出したモノラル信号を符号化した符号化モノラル信号と、前記第1チャネル信号と前記第2チャネル信号との差分信号を符号化した符号化差分信号とを受信するステップと、
     受信した前記符号化差分信号における時間的変化を検出するステップと、
     受信した前記符号化モノラル信号を復号して復号モノラル信号を取得し、受信した前記符号化差分信号を復号して復号差分信号を取得するステップと、
     前記復号差分信号と検出した前記時間的変化に対応する係数との演算により前記復号差分信号の平滑化処理を行うステップと、
     前記復号モノラル信号と前記平滑化処理した前記復号差分信号とから復号ステレオ信号を算出するステップと、
     を具備する復号方法。
PCT/JP2010/003496 2009-05-26 2010-05-25 復号装置及び復号方法 WO2010137300A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011515887A JP5764488B2 (ja) 2009-05-26 2010-05-25 復号装置及び復号方法
US13/322,202 US8660851B2 (en) 2009-05-26 2010-05-25 Stereo signal decoding device and stereo signal decoding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009126615 2009-05-26
JP2009-126615 2009-05-26

Publications (1)

Publication Number Publication Date
WO2010137300A1 true WO2010137300A1 (ja) 2010-12-02

Family

ID=43222427

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/003496 WO2010137300A1 (ja) 2009-05-26 2010-05-25 復号装置及び復号方法

Country Status (3)

Country Link
US (1) US8660851B2 (ja)
JP (1) JP5764488B2 (ja)
WO (1) WO2010137300A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5706445B2 (ja) 2010-12-14 2015-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 符号化装置、復号装置およびそれらの方法
CN104282309A (zh) * 2013-07-05 2015-01-14 杜比实验室特许公司 丢包掩蔽装置和方法以及音频处理系统
CN104301064B (zh) 2013-07-16 2018-05-04 华为技术有限公司 处理丢失帧的方法和解码器
CN105225666B (zh) 2014-06-25 2016-12-28 华为技术有限公司 处理丢失帧的方法和装置
US10304468B2 (en) * 2017-03-20 2019-05-28 Qualcomm Incorporated Target sample generation
US10224045B2 (en) * 2017-05-11 2019-03-05 Qualcomm Incorporated Stereo parameters for stereo decoding
CN112352277A (zh) * 2018-07-03 2021-02-09 松下电器(美国)知识产权公司 编码装置及编码方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02309832A (ja) * 1989-05-25 1990-12-25 Sanyo Electric Co Ltd Fmステレオ受信機
JP2005130074A (ja) * 2003-10-22 2005-05-19 Matsushita Electric Ind Co Ltd ステレオデコーダ
WO2009084226A1 (ja) * 2007-12-28 2009-07-09 Panasonic Corporation ステレオ音声復号装置、ステレオ音声符号化装置、および消失フレーム補償方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7835916B2 (en) 2003-12-19 2010-11-16 Telefonaktiebolaget Lm Ericsson (Publ) Channel signal concealment in multi-channel audio systems
SE527866C2 (sv) * 2003-12-19 2006-06-27 Ericsson Telefon Ab L M Kanalsignalmaskering i multikanalsaudiosystem
US8160868B2 (en) * 2005-03-14 2012-04-17 Panasonic Corporation Scalable decoder and scalable decoding method
GB2427338B (en) * 2005-06-17 2010-01-20 Univ Cambridge Tech Restoring corrupted audio signals
US8135588B2 (en) 2005-10-14 2012-03-13 Panasonic Corporation Transform coder and transform coding method
EP1988544B1 (en) 2006-03-10 2014-12-24 Panasonic Intellectual Property Corporation of America Coding device and coding method
EP2101318B1 (en) 2006-12-13 2014-06-04 Panasonic Corporation Encoding device, decoding device and corresponding methods
JP5339919B2 (ja) 2006-12-15 2013-11-13 パナソニック株式会社 符号化装置、復号装置およびこれらの方法
WO2008072733A1 (ja) 2006-12-15 2008-06-19 Panasonic Corporation 符号化装置および符号化方法
US20100017199A1 (en) 2006-12-27 2010-01-21 Panasonic Corporation Encoding device, decoding device, and method thereof
JP4708446B2 (ja) 2007-03-02 2011-06-22 パナソニック株式会社 符号化装置、復号装置およびそれらの方法
BRPI0808202A8 (pt) 2007-03-02 2016-11-22 Panasonic Corp Dispositivo de codificação e método de codificação.
ES2404408T3 (es) 2007-03-02 2013-05-27 Panasonic Corporation Dispositivo de codificación y método de codificación
JP4871894B2 (ja) 2007-03-02 2012-02-08 パナソニック株式会社 符号化装置、復号装置、符号化方法および復号方法
JP5618826B2 (ja) * 2007-06-14 2014-11-05 ヴォイスエイジ・コーポレーション Itu.t勧告g.711と相互運用可能なpcmコーデックにおいてフレーム消失を補償する装置および方法
EP2224432B1 (en) 2007-12-21 2017-03-15 Panasonic Intellectual Property Corporation of America Encoder, decoder, and encoding method
WO2009084221A1 (ja) 2007-12-27 2009-07-09 Panasonic Corporation 符号化装置、復号装置およびこれらの方法
JP5448850B2 (ja) 2008-01-25 2014-03-19 パナソニック株式会社 符号化装置、復号装置およびこれらの方法
EP2251861B1 (en) 2008-03-14 2017-11-22 Panasonic Intellectual Property Corporation of America Encoding device and method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02309832A (ja) * 1989-05-25 1990-12-25 Sanyo Electric Co Ltd Fmステレオ受信機
JP2005130074A (ja) * 2003-10-22 2005-05-19 Matsushita Electric Ind Co Ltd ステレオデコーダ
WO2009084226A1 (ja) * 2007-12-28 2009-07-09 Panasonic Corporation ステレオ音声復号装置、ステレオ音声符号化装置、および消失フレーム補償方法

Also Published As

Publication number Publication date
JPWO2010137300A1 (ja) 2012-11-12
US8660851B2 (en) 2014-02-25
JP5764488B2 (ja) 2015-08-19
US20120065984A1 (en) 2012-03-15

Similar Documents

Publication Publication Date Title
JP5025485B2 (ja) ステレオ符号化装置およびステレオ信号予測方法
JP5764488B2 (ja) 復号装置及び復号方法
JP6472863B2 (ja) パラメトリック・マルチチャネル・エンコードのための方法
JP6558745B2 (ja) 符号化/復号化方法および符号化/復号化デバイス
RU2439720C1 (ru) Способ и устройство для обработки звукового сигнала
US9224399B2 (en) Apparatus and method for concealing frame erasure and voice decoding apparatus and method using the same
EP2169667B1 (en) Parametric stereo audio decoding method and apparatus
JP2017187790A (ja) オーディオ信号符号化方法および装置
JP2009539132A (ja) オーディオ信号の線形予測符号化
JP5390690B2 (ja) 音声コーデックの品質向上装置およびその方法
JP2007333785A (ja) オーディオ信号符号化装置およびオーディオ信号符号化方法
JP4512016B2 (ja) ステレオ信号符号化装置、ステレオ信号符号化方法、プログラム及び記録媒体
JP5468020B2 (ja) 音響信号復号装置及びバランス調整方法
JP5309944B2 (ja) オーディオ復号装置、方法、及びプログラム
JP2004184975A (ja) 少ない計算量で高周波数成分を復元するオーディオデコーディング方法及び装置
US8600532B2 (en) Method and an apparatus for processing a signal
JP7420829B2 (ja) 予測コーディングにおける低コスト誤り回復のための方法および装置
WO2023032065A1 (ja) 音信号ダウンミックス方法、音信号符号化方法、音信号ダウンミックス装置、音信号符号化装置、プログラム
JP2005345993A (ja) 音響復号装置及び音響復号方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10780260

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2011515887

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13322202

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10780260

Country of ref document: EP

Kind code of ref document: A1