WO2013121793A1 - 多チャネル音響システム、伝送装置、受信装置、伝送用プログラム、および受信用プログラム - Google Patents

多チャネル音響システム、伝送装置、受信装置、伝送用プログラム、および受信用プログラム Download PDF

Info

Publication number
WO2013121793A1
WO2013121793A1 PCT/JP2013/000837 JP2013000837W WO2013121793A1 WO 2013121793 A1 WO2013121793 A1 WO 2013121793A1 JP 2013000837 W JP2013000837 W JP 2013000837W WO 2013121793 A1 WO2013121793 A1 WO 2013121793A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
transmission
unit
restored
model parameter
Prior art date
Application number
PCT/JP2013/000837
Other languages
English (en)
French (fr)
Inventor
安藤 彰男
Original Assignee
日本放送協会
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2012031368A external-priority patent/JP2013167783A/ja
Priority claimed from JP2012195041A external-priority patent/JP2014052415A/ja
Application filed by 日本放送協会 filed Critical 日本放送協会
Publication of WO2013121793A1 publication Critical patent/WO2013121793A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032Quantisation or dequantisation of spectral components

Definitions

  • the present invention relates to a multi-channel acoustic system, a transmission device, a reception device, a transmission program, and a reception program, and more particularly to an encoding method based on human auditory characteristics for a transmission signal obtained by matrix conversion of a multi-channel acoustic signal.
  • the present invention relates to the reduction of quantization noise that occurs during application.
  • the Japan Radio Industry Association has standardized a method that uses existing AAC (Advanced Audio Coding) coding to transmit and code 22.2 channel sound.
  • the AAC method is a method capable of encoding at a bit rate of about 1/10 while maintaining the quality of a CD (compact disc) based on human auditory characteristics (see Non-Patent Document 1, for example).
  • FIG. 8 is a diagram showing an outline of processing for converting an input signal, which is a 22.2 channel acoustic signal, into two types of transmission signals by matrix conversion and performing AAC transmission.
  • the 22.2 channel original signal is subjected to matrix conversion, for example, converted into two transmission signals of a basic signal and an auxiliary signal.
  • the basic signal is a signal of 8 to 10 channels representing the main spatial information of the 22.2 channel acoustic signal
  • the auxiliary signal is the original 22.2 channel acoustic signal complemented with the basic signal. This is a signal for restoration.
  • AAC encoding of the basic signal and the auxiliary signal is performed in the transmission block.
  • AAC coding after frequency analysis of each transmission signal, significant frequency components are detected, and a masking curve representing the upper limit of frequency components that cannot be heard (masked) by this component is calculated. Bit allocation for the following frequency components is reduced, and bit allocation that allows quantization noise that falls below the masking curve is performed.
  • the reception block When an AAC-encoded transmission signal is transmitted from the transmission block to the reception block, the reception block performs AAC decoding on the basic signal and the auxiliary signal, and a 22.2 channel acoustic signal is restored by inverse matrix transformation. .
  • processing for signal encoding accompanied by matrix conversion is examined, as in the case of converting a 22.2 channel acoustic input signal into a transmission signal having a smaller number of channels and transmitting the signal. Not.
  • an object of the present invention made in view of such a point is to provide a multi-channel acoustic system and a transmission apparatus capable of reducing quantization noise generated when a transmission signal obtained by performing matrix transformation on a multi-channel acoustic system original signal is encoded.
  • a receiving apparatus, a transmission program, and a receiving program are provided.
  • a multi-channel acoustic system is a multi-channel acoustic system including a transmission device and a reception device corresponding to a multi-channel acoustic system, and the transmission device includes the multi-channel acoustic system.
  • a matrix conversion unit that converts the original signal of the system into a transmission signal having a channel smaller than the original signal by matrix conversion, an encoding unit that generates an encoded signal obtained by encoding the transmission signal, and decoding and inverse of the encoded signal
  • a restoration unit that performs matrix transformation to generate a restored signal of the original signal, and a model generation unit that obtains a model parameter by modeling a quantization noise signal that is a difference between the original signal and the restored signal as a function of the restored signal
  • a transmission unit that transmits the encoded signal and the model parameter to the receiving device, wherein the receiving device includes the encoded signal and the model.
  • a reception unit that receives a parameter, a decoding unit that decodes the encoded signal to generate a decoded signal, an inverse matrix conversion unit that generates a restored signal by performing inverse matrix transformation on the decoded signal, and a model parameter
  • a quantization noise signal generation unit that models and estimates the quantization noise signal as a function of the restored signal, and a synthesis unit that removes the quantization noise signal estimated from the restoration signal.
  • the transmission apparatus corrects the model parameter based on an energy ratio between the original signal and a signal obtained by removing the quantization noise signal estimated from the model parameter and the restored signal from the restored signal.
  • the transmission unit transmits the encoded signal and the corrected model parameter to the reception device, and the quantization noise signal generation unit of the reception device uses the corrected model parameter.
  • the quantization noise signal is modeled and estimated as a function of the restored signal.
  • the multi-channel acoustic system according to the present invention is a multi-channel acoustic system including a transmission device and a reception device corresponding to the multi-channel acoustic method, and the transmission device performs matrix conversion on the original signal of the multi-channel acoustic method.
  • a matrix conversion unit that converts the transmission signal into a transmission signal of a channel smaller than the original signal, an encoding unit that generates an encoded signal obtained by encoding the transmission signal, and decoding and inverse matrix conversion of the encoded signal to perform the original signal
  • a reconstructing unit for generating a reconstructed signal, a model generating unit for modeling the original signal as a function of the reconstructed signal to obtain model parameters, a transmission for transmitting the encoded signal and the model parameters to the receiving device
  • a receiving unit that receives the encoded signal and the model parameter; and a decoding signal that decodes the encoded signal.
  • a decoding unit that generates a restored signal by performing an inverse matrix transformation on the decoded signal, and an original signal that models and estimates the original signal as a function of the restored signal based on the model parameter A generating unit.
  • the transmission apparatus further includes a parameter correction unit that corrects the model parameter based on an energy ratio between the original signal and the signal estimated from the model parameter and the restored signal, and the transmission unit includes the encoding A signal and the corrected model parameter are transmitted to the receiver, and the original signal generator of the receiver models the original signal as a function of the restored signal based on the corrected model parameter. It is preferable to estimate.
  • model generation unit obtains the model parameter by modeling for each frequency band.
  • model generation unit obtains the model parameter by modeling for each frequency band, and the parameter correction unit corrects the model parameter for each frequency band.
  • the model generation unit determines whether the modeling is necessary for each frequency band.
  • the model generation unit performs the modeling with a polynomial and determines the order of the polynomial for each frequency band.
  • the model generation unit determines the order of the polynomial so that the order becomes lower as the frequency band becomes higher.
  • the transmission apparatus generates a matrix conversion unit that converts an original signal of a multi-channel acoustic system into a transmission signal having a channel smaller than the original signal by matrix conversion, and an encoded signal obtained by encoding the transmission signal.
  • An encoding unit; a decoding unit that performs decoding and inverse matrix transformation of the encoded signal to generate a restored signal of the original signal; and a quantized noise signal that is a difference between the original signal and the restored signal A model generation unit that obtains a model parameter by modeling as a function of the above, a transmission unit that transmits the encoded signal, and the model parameter.
  • a parameter correction unit that corrects the model parameter based on an energy ratio between the original signal and a signal obtained by removing the quantization noise signal estimated from the model parameter and the restored signal from the restored signal;
  • the transmission unit preferably transmits the encoded signal and the corrected model parameter to the receiving device.
  • the receiving apparatus is a model parameter that models a coded signal obtained by coding a transmission signal that has been subjected to matrix conversion to a channel smaller than the original signal of the multi-channel acoustic method, and a quantization noise signal generated by the coding.
  • a decoding unit that decodes the encoded signal to generate a decoded signal
  • an inverse matrix conversion unit that generates a restored signal by performing inverse matrix transformation on the decoded signal
  • a quantization noise signal generation unit that models and estimates the quantization noise signal as a function of the restoration signal, and a synthesis unit that removes the quantization noise signal estimated from the restoration signal.
  • the transmission program according to the present invention includes a step of converting the multi-channel acoustic system original signal into a transmission signal of a channel smaller than the original signal by matrix transformation in a transmission apparatus compatible with the multi-channel acoustic system; A difference between the original signal and the restored signal; a step of generating an encoded signal obtained by encoding the signal; a step of decoding and inverse matrix transformation of the encoded signal to generate a restored signal of the original signal; A step of modeling a quantized noise signal as a function of the restored signal to obtain a model parameter, and a transmission step of transmitting the encoded signal and the model parameter are executed.
  • the transmitting step transmits the encoded signal and the corrected model parameter to the receiving device.
  • the reception program includes an encoded signal obtained by encoding a transmission signal subjected to matrix conversion to a channel having fewer channels than the original signal of the multi-channel acoustic system, and Receiving a model parameter for modeling a quantization noise signal generated by the conversion, decoding the encoded signal to generate a decoded signal, and inverse matrix transforming the decoded signal to generate a restored signal Performing a step of modeling and estimating the quantized noise signal as a function of the restored signal based on the model parameter, and removing the estimated quantized noise signal from the restored signal.
  • the transmission apparatus generates a matrix conversion unit that converts an original signal of a multi-channel acoustic system into a transmission signal having a channel smaller than the original signal by matrix conversion, and an encoded signal obtained by encoding the transmission signal.
  • a transmission unit that transmits the encoded signal and the model parameter.
  • the transmission apparatus further includes a parameter correction unit that corrects the model parameter based on an energy ratio between the original signal and the signal estimated from the model parameter and the restored signal, and the transmission unit includes the encoding
  • a signal and the corrected model parameter are transmitted to the receiving device.
  • the receiving apparatus is a model parameter that models a coded signal obtained by coding a transmission signal that has been subjected to matrix conversion to a channel smaller than the original signal of the multi-channel acoustic method, and a quantization noise signal generated by the coding.
  • a decoding unit that decodes the encoded signal to generate a decoded signal
  • an inverse matrix conversion unit that generates a restored signal by performing inverse matrix transformation on the decoded signal
  • An original signal generation unit that models and estimates the original signal as a function of the restored signal.
  • the transmission program according to the present invention includes a step of converting the multi-channel acoustic system original signal into a transmission signal of a channel smaller than the original signal by matrix transformation in a transmission apparatus compatible with the multi-channel acoustic system; Generating an encoded signal obtained by encoding the signal; generating a restored signal of the original signal by performing decoding and inverse matrix transformation of the encoded signal; and modeling the original signal as a function of the restored signal Then, a step of obtaining a model parameter and a transmission step of transmitting the encoded signal and the model parameter are executed.
  • the transmission apparatus is caused to execute a step of correcting the model parameter based on an energy ratio between the original signal and a signal estimated from the model parameter and the restored signal, and in the transmission step, the encoded signal And the corrected model parameter are preferably transmitted to the receiving device.
  • the reception program includes an encoded signal obtained by encoding a transmission signal subjected to matrix conversion to a channel having fewer channels than the original signal of the multi-channel acoustic system, and Receiving a model parameter for modeling a quantization noise signal generated by the conversion, decoding the encoded signal to generate a decoded signal, and inverse matrix transforming the decoded signal to generate a restored signal And estimating and modeling the original signal as a function of the restored signal based on the model parameter.
  • quantization noise generated when encoding a transmission signal obtained by performing matrix transformation on the multi-channel acoustic system original signal Can be reduced.
  • the multi-channel acoustic system includes a transmission apparatus 1 that transmits a 22.2 channel acoustic signal by performing matrix transformation and encoding, and 22.2.2.2 by decoding and inverse matrix transformation of a signal from the transmission apparatus 1. It is comprised from the receiver 2 which restore
  • the transmission device 1 is a broadcasting facility of a broadcasting station that transmits, for example, a 22.2 channel acoustic signal.
  • the reception device 2 receives and views a 22.2 channel acoustic signal such as a television, a mobile phone, or a tablet terminal. Equipment.
  • the transmission device 1 and the reception device 2 use the quantization noise signal for the quantization noise signal generated when encoding the transmission signal obtained by performing matrix transformation on the original 22.2 channel audio signal.
  • the basic information of the model to represent is shared beforehand.
  • the transmission apparatus 1 and the reception apparatus 2 share in advance information such as using an Mth order polynomial as a model representing a quantization noise signal.
  • the transmission device 1 transmits a model parameter (for example, a coefficient of a polynomial) of a quantization noise signal in addition to the encoded transmission signal, so that the reception device 2 receives a quantization noise signal from a model reflecting the model parameter.
  • the influence of the quantization noise signal can be removed from the estimated and decoded 22.2 channel acoustic signal.
  • FIG. 1 is a functional block diagram of a transmission apparatus 1 according to the first embodiment of the present invention.
  • the transmission apparatus 1 includes an acoustic signal input unit 11, a matrix conversion unit 12, a coding unit 13, a restoration unit 14 including a restoration decoding unit 15 and a restoration inverse matrix transformation unit 16, and a quantization noise model generation unit. 17 and a transmission unit 18.
  • the acoustic signal input unit 11 performs A / D conversion on the input 22.2 channel acoustic signal, and outputs the digital acoustic signal to the matrix conversion unit 12 and the quantization noise model generation unit 17 as an original signal.
  • the matrix converter 12 converts the original signal, which is a 22.2 channel acoustic signal, into a transmission signal having a smaller number of channels than the original signal by matrix conversion.
  • the matrix conversion unit 12 performs matrix conversion of 22.2 channel acoustic signals into a total of two channels of transmission signals including a channel including an 8.1 channel basic signal and a channel including a 14.1 channel basic signal. To do.
  • the matrix conversion unit 12 outputs the transmission signal after the matrix conversion to the encoding unit 13.
  • the matrix conversion referred to here includes all signal conversion for converting an original signal, which is a 22.2 channel acoustic signal, into a transmission signal having a smaller number of channels than the original signal.
  • the encoding unit 13 generates an encoded signal obtained by encoding the transmission signal for each channel, and outputs the encoded signal to the transmission unit 18 and the restoration unit 14.
  • the encoding unit 13 performs encoding (bit allocation) of a transmission signal by AAC encoding, which is an encoding method according to human auditory characteristics, for example.
  • the restoration unit 14 includes a restoration decoding unit 15 and a restoration inverse matrix conversion unit 16, and performs decoding of the encoded signal and inverse matrix transformation to generate a restoration signal of the original signal.
  • the restoration decoding unit 15 decodes the encoded signal to generate a decoded signal, and outputs the decoded signal to the restoration inverse matrix conversion unit 16.
  • the inverse matrix transformation unit 16 for restoration performs inverse matrix transformation on the decoded signal to generate a restored signal of the original signal, and outputs the restored signal to the quantization noise model generation unit 17.
  • the quantization noise model generation unit 17 is a quantization that is a difference between the original signal and the restored signal, based on the original signal from the acoustic signal input unit 11 and the restored signal from the restoration unit 14 (inverse matrix transformation unit 16 for restoration). Model the noise signal as a function of the recovered signal to determine model parameters.
  • the quantized noise signal y (t) is modeled by a polynomial shown in Expression (2).
  • equations (4) and (5) are obtained as estimation equations for model parameter A i .
  • the quantization noise model generation unit 17 outputs the model parameter of the quantization noise signal expressed by the equations (4) and (5) to the transmission unit 18.
  • the transmission unit 18 transmits the encoded signal from the encoding unit 13 and the model parameter from the quantization noise model generation unit 17 to the reception device 2.
  • FIG. 2 is a functional block diagram of the receiving device 2 according to the first embodiment of the present invention.
  • the receiving device 2 includes a receiving unit 21, a decoding unit 22, an inverse matrix conversion unit 23, a quantization noise signal generation unit 24, a synthesis unit 25, and an acoustic signal output unit 26.
  • the reception unit 21 receives the encoded signal and the model parameter from the transmission apparatus 1, outputs the encoded signal to the decoding unit 22, and outputs the model parameter to the quantization noise signal generation unit 24.
  • the decoding unit 22 decodes the encoded signal to generate a decoded signal, and outputs the decoded signal to the inverse matrix conversion unit 23.
  • the inverse matrix conversion unit 23 performs inverse matrix conversion on the decoded signal to generate a restoration signal of the 22.2 channel acoustic signal, and outputs the restoration signal to the quantization noise signal generation unit 24 and the synthesis unit 25.
  • the quantization noise signal generation unit 24 models and estimates the quantization noise signal generated by encoding as a function of the restoration signal based on the model parameter. Specifically, the quantization noise signal generation unit 24 estimates the quantization noise signal according to the equation (6) based on the model parameters expressed by the equations (4) and (5) received from the transmission device 1, The estimated quantization noise signal is output to the synthesis unit 25. Note that M is a preset polynomial degree.
  • the synthesizing unit 25 reproduces the 22.2 channel acoustic system by removing the quantized noise signal from the restored signal based on the restored signal from the inverse matrix converting unit 23 and the quantized noise signal estimated by the quantized noise signal generating unit 24. Signal is generated. Specifically, the synthesizer 25 synthesizes the reproduction signal according to Expression (7).
  • the acoustic signal output unit 26 outputs the playback signal as sound to the viewer through a notification device such as a speaker.
  • the transmission apparatus 1 models the quantization noise signal, which is the difference between the original signal and the restored signal, as a function of the restored signal, and transmits the model parameter to the receiving apparatus 2.
  • the receiving device 2 estimates the quantization noise signal based on the model parameter, and removes the estimated quantization noise signal from the restored signal. For this reason, it is possible to reduce quantization noise that occurs when encoding a transmission signal obtained by performing matrix conversion on an original multi-channel acoustic signal.
  • a 2-channel stereo signal is transmitted as the first 2-channel signal of the transmission signal, and a 5.1-channel signal is restored from the first 6-channel signal.
  • a 22.2 channel acoustic signal for Super Hi-Vision is separated into an 8-10 channel basic signal representing main spatial information and an auxiliary signal for restoring the original signal and transmitted. Even when a high bit rate is assigned to the spatial information and the bit rate is suppressed for the auxiliary signal, encoding / transmission with less quantization noise is possible.
  • FIG. 3 is a functional block diagram of the transmission apparatus 1 according to the second embodiment of the present invention.
  • the transmission apparatus 1 according to the second embodiment is configured by adding a parameter correction unit 10 to the transmission apparatus 1 according to the first embodiment.
  • movement similar to 1st Embodiment is abbreviate
  • the quantization noise signal y (t) is modeled by a polynomial shown in Equation (9).
  • Expression (10) is partially differentiated with respect to each model parameter A i and is set to 0, whereby Expression (11) and Expression (12) are obtained as estimation expressions for the model parameter A i .
  • Equation (13) the quantization noise signal of Equation (9) is represented by Equation (13).
  • the quantization noise model generation unit 17 outputs the model parameters of the quantization noise signal expressed by the equations (11) and (12) to the parameter correction unit 10.
  • the parameter correction unit 10 corrects the model parameter based on the energy ratio between the original signal and the signal obtained by removing the quantization noise signal estimated from the model parameter and the restored signal from the restored signal. Specifically, the parameter correction unit 10 uses a quantization noise model generation unit in order to make the energy of the signal after removing the quantization noise signal shown in Expression (14) from the restored signal equal to the energy of the original signal.
  • the model parameters represented by the equations (11) and (12) generated by the step 17 are corrected.
  • the compensation gain G of the model parameter by the parameter correction unit 10 is expressed by Expression (15) indicating the energy ratio between the original signal and the signal after the quantization noise signal is removed from the restored signal.
  • the signal (reproduction signal) after the model parameter is corrected by the compensation gain G is expressed by Expression (16).
  • the reproduction signal after the model parameter correction has the same energy as the original signal by suppressing the quantization noise.
  • the reproduction signal after the model parameter correction can be developed in the form of Expression (17) by Expression (16) and Expression (14).
  • the parameter correction unit 10 can obtain a corrected model parameter, which is a corrected model parameter, by Expression (18).
  • the parameter correction unit 10 transmits the corrected model parameter expressed by the equation (18) to the transmission unit 18.
  • the transmission unit 18 transmits the encoded signal from the encoding unit 13 and the corrected model parameter from the parameter correction unit 10 to the receiving device 2.
  • the configuration of the receiving device 2 according to the second embodiment includes the same functional blocks as the receiving device 2 according to the first embodiment. A duplicate description of the same operation as in the first embodiment will be omitted.
  • the quantization noise signal generation unit 24 Based on the corrected model parameter, the quantization noise signal generation unit 24 according to the present embodiment models and estimates the quantization noise signal generated by encoding as a function of the restored signal. Specifically, the quantization noise signal generation unit 24 estimates the quantization noise signal by the equation (19) based on the corrected model parameter expressed by the equation (18) received from the transmission apparatus 1 and estimates the quantization noise signal. The quantization noise signal is output to the synthesis unit 25. Note that M is a preset polynomial degree.
  • the synthesizing unit 25 reproduces the 22.2 channel acoustic system by removing the quantized noise signal from the restored signal based on the restored signal from the inverse matrix converting unit 23 and the quantized noise signal estimated by the quantized noise signal generating unit 24. Signal is generated. Specifically, the synthesizing unit 25 synthesizes the reproduction signal according to Expression (20).
  • the acoustic signal output unit 26 outputs the playback signal as sound to the viewer through a notification device such as a speaker.
  • the transmission apparatus 1 models the quantization noise signal, which is the difference between the original signal and the restored signal, as a function of the restored signal, and estimates from the original signal, the model parameters, and the restored signal.
  • the model parameter is corrected based on the energy ratio with the signal obtained by removing the quantized noise signal from the restored signal, and the corrected model parameter is transmitted to the receiving device 2.
  • the receiving device 2 estimates the quantization noise signal based on the corrected model parameter, and removes the estimated quantization noise signal from the restored signal. For this reason, it is possible to reduce quantization noise that occurs when encoding a transmission signal obtained by performing matrix conversion on an original multi-channel acoustic signal.
  • a 22.2 channel acoustic signal for Super Hi-Vision is separated into an 8-10 channel basic signal representing main spatial information and an auxiliary signal for restoring the original signal and transmitted. Even when a high bit rate is assigned to the spatial information and the bit rate is suppressed for the auxiliary signal, encoding / transmission with less quantization noise is possible.
  • the transmission device 1 and the reception device 2 share in advance basic information of a model representing the original signal for the 22.2 channel acoustic system original signal.
  • the transmission device 1 and the reception device 2 share in advance information such as using an M-th order polynomial as a model representing the original signal.
  • the transmission apparatus 1 transmits the original signal model parameters (for example, coefficients of a polynomial), so that the reception apparatus 2 receives the original signal from the model reflecting the model parameters. It is possible to estimate.
  • FIG. 4 is a functional block diagram of the transmission apparatus 1 according to the third embodiment of the present invention.
  • the transmission apparatus 1 according to the third embodiment is configured by replacing the quantization noise model generation unit 17 of the transmission apparatus 1 according to the first embodiment with an original signal model generation unit 19.
  • movement similar to 1st Embodiment is abbreviate
  • the original signal model generation unit 19 models the original signal as a function of the restored signal based on the original signal from the acoustic signal input unit 11 and the restored signal from the restoration unit 14 (inverse matrix transformation unit 16 for restoration). Ask for.
  • the original signal is s (t) and the restored signal is x (t).
  • the original signal s (t) is modeled by a polynomial shown in Expression (21).
  • equations (22) and (24) are obtained as estimation equations for the model parameter A i .
  • the original signal model generation unit 19 outputs the original signal model parameters expressed by the equations (23) and (24) to the transmission unit 18.
  • the transmission unit 18 transmits the encoded signal from the encoding unit 13 and the model parameter from the original signal model generation unit 19 to the reception device 2.
  • FIG. 5 is a functional block diagram of the receiving device 2 according to the third embodiment of the present invention.
  • the reception device 2 according to the third embodiment is configured by replacing the quantization noise signal generation unit 24 and the synthesis unit 25 of the reception device 2 according to the first embodiment with an original signal generation unit 27.
  • movement similar to 1st Embodiment is abbreviate
  • the original signal generator 27 models and estimates the original signal as a function of the restored signal. Specifically, the original signal generation unit 27 estimates the original signal according to the equation (25) based on the model parameters represented by the equations (23) and (24) received from the transmission apparatus 1, and the estimated original signal Is output to the acoustic signal output unit 26 as a reproduction signal. Note that M is a preset polynomial degree.
  • the transmission device 1 transmits the model parameter obtained by modeling the original signal as a function of the restoration signal to the reception device 2, and the reception device 2 estimates the original signal based on the model parameter. To do. For this reason, since the original signal without quantization noise can be estimated directly, it is possible to reduce the quantization noise that occurs when encoding a transmission signal obtained by performing matrix transformation on the original signal of the multi-channel acoustic system.
  • FIG. 6 is a functional block diagram of a transmission apparatus 1 according to the fourth embodiment of the present invention.
  • the transmission apparatus 1 according to the fourth embodiment is configured by adding a parameter correction unit 10 to the transmission apparatus 1 according to the third embodiment.
  • movement similar to 3rd Embodiment is abbreviate
  • the original signal model generation unit 19 uses the original signal as a function of the restoration signal based on the original signal from the acoustic signal input unit 11 and the restoration signal from the restoration unit 14 (inverse matrix transformation unit 16 for restoration). Model and obtain model parameters.
  • the original signal is s (t) and the restored signal is x (t).
  • the original signal s (t) is modeled by a polynomial shown in Expression (26).
  • equations (27) and (29) are obtained as estimation equations for model parameter A i .
  • the original signal model generation unit 19 outputs the original signal model parameters expressed by the equations (28) and (29) to the parameter correction unit 10.
  • the parameter correction unit 10 corrects the model parameter based on the energy ratio between the original signal and the signal estimated from the model parameter and the restored signal. Specifically, the parameter correction unit 10 uses Equation (28) and Equation generated by the quantization noise model generation unit 17 to equalize the energy of the signal estimated by Equation (30) and the energy of the original signal. The model parameter expressed by (29) is corrected. The compensation gain G of the model parameter by the parameter correction unit 10 is expressed by Expression (31) indicating the energy ratio between the original signal and the signal estimated by Expression (30).
  • the signal (reproduction signal) after the model parameter is corrected by the compensation gain G is expressed by Expression (32).
  • the reproduction signal after the model parameter correction has the same energy as the original signal by suppressing the quantization noise.
  • the reproduction signal after the model parameter correction can be developed in the form of Expression (33) by Expression (32) and Expression (30).
  • the parameter correction unit 10 can obtain a corrected model parameter, which is a corrected model parameter, by Expression (34).
  • the parameter correction unit 10 transmits the corrected model parameter expressed by the equation (34) to the transmission unit 18.
  • the transmission unit 18 transmits the encoded signal from the encoding unit 13 and the corrected model parameter from the parameter correction unit 10 to the receiving device 2.
  • the configuration of the receiving device 2 according to the fourth embodiment includes the same functional blocks as the receiving device 2 according to the third embodiment. A duplicate description of the same operation as in the third embodiment will be omitted.
  • the original signal generation unit 27 models and estimates the original signal as a function of the restored signal based on the corrected model parameter. Specifically, the original signal generation unit 27 estimates the original signal by the equation (35) based on the corrected model parameter expressed by the equation (34) received from the transmission apparatus 1, and reproduces the estimated original signal. It outputs to the acoustic signal output unit 26 as a signal for use.
  • M is a preset polynomial degree.
  • the transmission apparatus 1 sets the model parameter obtained by modeling the original signal as a function of the restored signal to the energy ratio between the original signal and the signal estimated from the model parameter and the restored signal. Based on the corrected model parameter, the receiving device 2 estimates the original signal. For this reason, since the original signal without quantization noise can be estimated directly, it is possible to reduce the quantization noise that occurs when encoding a transmission signal obtained by performing matrix transformation on the original signal of the multi-channel acoustic system. In particular, by correcting the model parameter based on the energy ratio between the original signal and the signal estimated from the model parameter and the restored signal, the energy of the signal for reproduction becomes equal to the energy of the original signal, resulting in less quantization noise. Encoding / transmission is possible.
  • FIG. 7 is a diagram illustrating an example of an experimental result of the multi-channel acoustic system according to the first embodiment.
  • the original 22.2 channel sound signal is converted into a 2-channel transmission signal by matrix transformation, the transmission signal is AAC-encoded and transmitted, and a signal in the 0 Hz to 24 kHz band is equal to 1 kHz.
  • the band number m shown in FIG. 7 indicates a signal in a band from (m ⁇ 1) KHz to mKHz.
  • the original signal of the band number 3 indicates a signal in a band from 2 KHz to 3 KHz. is there.
  • FIG. 7 (a) shows the average of normalized noise energy of all channels
  • FIG. 7 (b) shows the normalized noise energy of channels where quantization noise is significant.
  • the normalized noise energy is a value close to 1 for an original signal in a band having a relatively low frequency, such as band numbers 1 and 3, for example. This is because, in AAC encoding, encoding is performed with high accuracy in a frequency band that easily affects human hearing, so that there is little quantization noise generated, and as a result, regardless of the order of the polynomial, This is because a decrease in normalized noise energy can be suppressed.
  • the quantization noise model generation unit 17 determines whether or not the quantization noise signal needs to be modeled for each frequency band of the original signal. Can be said to be effective. That is, the quantization noise model generation unit 17 does not model the quantization noise signal for the original signal in the frequency band in which the encoding is performed with high accuracy among the original signals, and has a low encoding accuracy. Only the original band signal can be controlled so as to model the quantization noise signal. With this control, the quantization noise signal can be modeled only for the necessary frequency band, so that the quantization noise can be effectively removed while reducing the calculation load. Needless to say, the original signal model generation unit 19 according to the second embodiment can also perform the same control as the quantization noise model generation unit 17.
  • the normalized noise energy of the band number 16 is greatly reduced at the time when the order is 1, and there is not much change in the subsequent orders, but in the band numbers 6 and 9, As the estimated order becomes as high as 1 and 3, the normalized noise energy decreases.
  • the quantization noise model generation unit 17 can perform control such that a frequency band that is preferably modeled with a high order is a high order, and a frequency band that is preferably modeled with a low order is modeled with a low order. Become. Such control enables modeling in accordance with the characteristics of the frequency band, so that it is possible to effectively remove quantization noise while reducing the calculation load.
  • the quantization noise model generation unit 17 calculates by modeling with a low order (for example, first order) in a high frequency band and with a high order (for example, third order) in a low frequency band. It is possible to effectively remove quantization noise while reducing the load. Needless to say, the original signal model generation unit 19 according to the second embodiment can also perform the same control as the quantization noise model generation unit 17.
  • each functional unit, each step, etc. can be rearranged so that there is no logical contradiction, and a plurality of functional units, steps, etc. can be combined into one or divided. It is.
  • the reduction of the quantization noise based on the above-described quantization noise model and the original signal model can be performed for each frequency band. That is, the transmission apparatus 1 divides the original signal and the restored signal into a plurality of bands by a band pass filter, and for each band, in the case of a quantization noise model, the expression (4) and (5)
  • the model parameter can be obtained from the equations (23) and (24).
  • the parameter correction unit 10 applies the equation (18) in the case of the quantization noise model and the equation (34) in the case of the original signal model to the model parameter for each frequency, and corrects the model parameter for each band. it can.
  • the receiving apparatus 2 also divides the restored signal into a plurality of bands, and for each band, the estimated original signal is estimated in the case of the original signal model by Expression (7) and Expression (20) in the case of the quantization noise model What is necessary is just to obtain
  • the model parameters so that the energy of the reproduction signal and the energy of the original signal are equal for each frequency band, encoding and transmission with less quantization noise can be performed more efficiently in each subband. Is possible.
  • time interval [0, T] relating to the calculation of the model parameter of the quantization noise model and the original signal model is divided into a plurality of time intervals by a time window function, and the quantization noise is removed for each time interval.
  • frequency band division and time interval division can be used in combination.
  • the quantization noise model and the original signal model include other arbitrary nonlinearities such as a Volterra series. It is possible to use functions.
  • the transmission apparatus 1 and the reception apparatus 2 have been described as sharing basic information of the quantization noise model and the original signal model in advance.
  • the transmission apparatus 1 and the reception apparatus 2 each hold a plurality of model patterns, and it is possible to appropriately exchange information on model patterns to be used by a control message or the like.
  • the transmission apparatus 1 can also notify information on the new model pattern to be used by a control message or the like.
  • the multi-channel sound system original signal has been described as 22.2 channel sound
  • the transmission signal after matrix conversion has been described as 2 channel stereo signal.
  • the present invention is not limited to other 5.1 channel sound. It is needless to say that any multi-channel sound system such as 7.1-channel sound can be applied to all processes involving signal matrix transformation with respect to coded transmission. Moreover, it is applicable also to acoustic signals, such as an ambisonics, as a signal accompanied by linear processes, such as matrix transformation.
  • AAC is described as an example of the encoding method.
  • AAC encoding in the present invention includes all versions of AAC such as MPEG2-AAC, MPEG4-AAC, HE-AAC. It is.
  • the encoding that can be supported by the present invention is not limited to AAC, and any encoding scheme can be used as long as it encodes with high quality based on human auditory characteristics.
  • the present invention can be realized as a program for causing a processor included in the transmission apparatus 1 and the reception apparatus 2 to execute equivalent processing (steps), and it is understood that these are also included in the scope of the present invention. I want to be.
  • the transmission device 1 and the reception device 2 store a program describing processing contents for realizing each function in a storage unit (not shown), and read and execute the program by a central processing unit (CPU). can do.
  • CPU central processing unit
  • the present invention there is a usefulness that it is possible to reduce quantization noise that occurs when a transmission signal obtained by performing matrix conversion on an original signal of a multi-channel acoustic system is encoded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

 多チャネル音響方式の原信号を行列変換した伝送信号を符号化する際に生じる量子化雑音を低減する。本発明に係る多チャネル音響システムは、多チャネル音響方式に対応した伝送装置1及び受信装置2を備える多チャネル音響システムであって、伝送装置1は、原信号と復元信号との差分である量子化雑音信号を復元信号の関数としてモデル化してモデルパラメータを求め、符号化信号とモデルパラメータとを受信装置2に伝送し、受信装置2は、モデルパラメータに基づき量子化雑音信号を復元信号の関数としてモデル化して推定し、復元信号から推定した量子化雑音信号を除去する。

Description

多チャネル音響システム、伝送装置、受信装置、伝送用プログラム、および受信用プログラム
 この発明は、多チャネル音響システム、伝送装置、受信装置、伝送用プログラム、および受信用プログラムに関し、特に、多チャネル音響信号を行列変換した伝送信号に対して人間の聴覚特性に基づく符号化方式を適用する際に生じる量子化雑音の低減に関するものである。
 社団法人電波産業会(ARIB)では、22.2チャネル音響を伝送・符号化するために、既存のAAC(Advanced Audio Coding)符号化を用いる方式が標準化されている。AAC方式は、人間の聴覚特性に基づき、CD(コンパクトディスク)の品質を保ったまま1/10程度のビットレートで符号化可能な方式である(例えば、非特許文献1参照)。
 22.2チャネル音響の伝送・符号化を行う際に、伝送チャネル数を増やさずに従来の2チャネルステレオなどとの互換性を確保するためには、行列変換などの信号変換を行う必要がある。行列変換を用いた従来のAAC符号化について図8を用いて説明する。図8は、行列変換により22.2チャネル音響信号である入力信号を2種類の伝送信号に変換してAAC伝送する処理の概要を示す図である。まず、送信ブロックでは、22.2チャネルの原信号が行列変換され、例えば、基本信号および補助信号の2つの伝送信号に変換される。ここで、基本信号とは、22.2チャネル音響信号の主要な空間情報を表す8~10チャネルの信号であり、補助信号とは、基本信号を補完して元の22.2チャネル音響信号を復元するための信号である。
 次に、送信ブロックにおいては、基本信号および補助信号のAAC符号化が行われる。ここで、AAC符号化では、各伝送信号を周波数分析した後、顕著な周波数成分の検出を行い、この成分によって聞き取れなくなる(マスクされる)周波数成分の上限を表すマスキング曲線を算出し、マスキング曲線以下の周波数成分に対するビット割当てを削減するとともに、マスキング曲線以下に収まる量子化雑音を許容したビット割当てが行われる。
 送信ブロックから受信ブロックにAAC符号化された伝送信号が伝送されると、受信ブロックでは、基本信号および補助信号に対しAAC復号が行われ、逆行列変換により22.2チャネル音響信号が復元される。
Marina Bosi, Richard E. Goldberg, "Introduction to Digital Audio Coding and Standards" Springer, 2002-12-31
 ここで、従来のAAC符号化では、22.2チャネル音響の入力信号をよりチャネル数の少ない伝送信号に変換して伝送する場合のように、行列変換を伴う信号の符号化に対する処理が検討されていない。
 例えば、図8に示す従来のAAC符号化では、複数の多チャネル音響信号が行列変換により混在している伝送信号に対して、行列変換後のチャネル毎に、個別にマスキング曲線に基づくビット割当て処理が行われることになる。このため、行列変換後のチャネルによっては、特定の成分が残されたり消去されなかったりする現象が起こり、本来はマスキングされて聴こえなかった量子化雑音が逆行列処理によって可聴化するという問題があった。
 したがって、かかる点に鑑みてなされた本発明の目的は、多チャネル音響方式の原信号を行列変換した伝送信号を符号化する際に生じる量子化雑音を低減可能な、多チャネル音響システム、伝送装置、受信装置、伝送用プログラム、および受信用プログラムを提供することである。
 上述した諸課題を解決すべく、本発明に係る多チャネル音響システムは、多チャネル音響方式に対応した伝送装置及び受信装置を備える多チャネル音響システムであって、前記伝送装置は、前記多チャネル音響方式の原信号を行列変換により原信号より少ないチャネルの伝送信号に変換する行列変換部と、前記伝送信号を符号化した符号化信号を生成する符号化部と、前記符号化信号の復号及び逆行列変換を行い前記原信号の復元信号を生成する復元部と、前記原信号と前記復元信号との差分である量子化雑音信号を前記復元信号の関数としてモデル化してモデルパラメータを求めるモデル生成部と、前記符号化信号と、前記モデルパラメータとを前記受信装置に伝送する伝送部と、を備え、前記受信装置は、前記符号化信号と、前記モデルパラメータとを受信する受信部と、前記符号化信号を復号して復号信号を生成する復号部と、前記復号信号を逆行列変換して復元信号を生成する逆行列変換部と、前記モデルパラメータに基づき、前記量子化雑音信号を前記復元信号の関数としてモデル化して推定する量子化雑音信号生成部と、前記復元信号から推定した前記量子化雑音信号を除去する合成部と、を備える。
 また、前記伝送装置は、前記原信号と、前記モデルパラメータ及び前記復元信号から推定される前記量子化雑音信号を前記復元信号から除去した信号とのエネルギー比に基づき前記モデルパラメータを補正するパラメータ補正部を備え、前記伝送部は、前記符号化信号と、前記補正されたモデルパラメータとを前記受信装置に伝送し、前記受信装置の前記量子化雑音信号生成部は、前記補正されたモデルパラメータに基づき、前記量子化雑音信号を前記復元信号の関数としてモデル化して推定する、ことが好ましい。
 また、本発明に係る多チャネル音響システムは、多チャネル音響方式に対応した伝送装置及び受信装置を備える多チャネル音響システムであって、前記伝送装置は、前記多チャネル音響方式の原信号を行列変換により原信号より少ないチャネルの伝送信号に変換する行列変換部と、前記伝送信号を符号化した符号化信号を生成する符号化部と、前記符号化信号の復号及び逆行列変換を行い前記原信号の復元信号を生成する復元部と、前記原信号を前記復元信号の関数としてモデル化してモデルパラメータを求めるモデル生成部と、前記符号化信号と、前記モデルパラメータとを前記受信装置に伝送する伝送部と、を備え、前記受信装置は、前記符号化信号と、前記モデルパラメータとを受信する受信部と、前記符号化信号を復号して復号信号を生成する復号部と、前記復号信号を逆行列変換して復元信号を生成する逆行列変換部と、前記モデルパラメータに基づき、前記原信号を前記復元信号の関数としてモデル化して推定する原信号生成部と、を備える。
 また、前記伝送装置は、前記原信号と、前記モデルパラメータ及び前記復元信号から推定される信号とのエネルギー比に基づき前記モデルパラメータを補正するパラメータ補正部を備え、前記伝送部は、前記符号化信号と、前記補正されたモデルパラメータとを前記受信装置に伝送し、前記受信装置の前記原信号生成部は、前記補正されたモデルパラメータに基づき、前記原信号を前記復元信号の関数としてモデル化して推定する、ことが好ましい。
 また、前記モデル生成部は、周波数帯域毎に前記モデル化して前記モデルパラメータを求める、ことが好ましい。
 また、前記モデル生成部は、周波数帯域毎に前記モデル化して前記モデルパラメータを求め、前記パラメータ補正部は、前記周波数帯域毎に前記モデルパラメータを補正する、ことが好ましい。
 また、前記モデル生成部は、前記周波数帯域毎に、前記モデル化の要否を判定する、ことが好ましい。
 また、前記モデル生成部は、前記モデル化を多項式で行い、前記周波数帯域毎に前記多項式の次数を決定する、ことが好ましい。
 また、前記モデル生成部は、高い周波数帯域ほど次数が低くなるように、前記多項式の次数を決定する、ことが好ましい。
 また、本発明に係る伝送装置は、多チャネル音響方式の原信号を行列変換により原信号より少ないチャネルの伝送信号に変換する行列変換部と、前記伝送信号を符号化した符号化信号を生成する符号化部と、前記符号化信号の復号及び逆行列変換を行い前記原信号の復元信号を生成する復元部と、前記原信号と前記復元信号との差分である量子化雑音信号を前記復元信号の関数としてモデル化してモデルパラメータを求めるモデル生成部と、前記符号化信号と、前記モデルパラメータとを伝送する伝送部と、を備える。
 また、前記原信号と、前記モデルパラメータ及び前記復元信号から推定される前記量子化雑音信号を前記復元信号から除去した信号とのエネルギー比に基づき前記モデルパラメータを補正するパラメータ補正部を備え、前記伝送部は、前記符号化信号と、前記補正されたモデルパラメータとを前記受信装置に伝送する、ことが好ましい。
 また、本発明に係る受信装置は、多チャネル音響方式の原信号より少ないチャネルに行列変換された伝送信号を符号化した符号化信号と、符号化により生じる量子化雑音信号をモデル化するモデルパラメータとを受信する受信部と、前記符号化信号を復号して復号信号を生成する復号部と、前記復号信号を逆行列変換して復元信号を生成する逆行列変換部と、前記モデルパラメータに基づき、前記量子化雑音信号を前記復元信号の関数としてモデル化して推定する量子化雑音信号生成部と、前記復元信号から推定した前記量子化雑音信号を除去する合成部と、を備える。
 また、本発明に係る伝送用プログラムは、多チャネル音響方式に対応した伝送装置に、前記多チャネル音響方式の原信号を行列変換により原信号より少ないチャネルの伝送信号に変換するステップと、前記伝送信号を符号化した符号化信号を生成するステップと、前記符号化信号の復号及び逆行列変換を行い前記原信号の復元信号を生成するステップと、前記原信号と前記復元信号との差分である量子化雑音信号を前記復元信号の関数としてモデル化してモデルパラメータを求めるステップと、前記符号化信号と、前記モデルパラメータとを伝送する伝送ステップと、を実行させる。
 また、前記伝送装置に、前記原信号と、前記モデルパラメータ及び前記復元信号から推定される前記量子化雑音信号を前記復元信号から除去した信号とのエネルギー比に基づき前記モデルパラメータを補正するステップを実行させ、前記伝送ステップにおいて、前記符号化信号と、前記補正されたモデルパラメータとを前記受信装置に伝送させる、ことが好ましい。
 また、本発明に係る受信用プログラムは、多チャネル音響方式に対応した受信装置に、前記多チャネル音響方式の原信号より少ないチャネルに行列変換された伝送信号を符号化した符号化信号と、符号化により生じる量子化雑音信号をモデル化するモデルパラメータとを受信するステップと、前記符号化信号を復号して復号信号を生成するステップと、前記復号信号を逆行列変換して復元信号を生成するステップと、前記モデルパラメータに基づき、前記量子化雑音信号を前記復元信号の関数としてモデル化して推定するステップと、前記復元信号から推定した前記量子化雑音信号を除去するステップと、を実行させる。
 また、本発明に係る伝送装置は、多チャネル音響方式の原信号を行列変換により原信号より少ないチャネルの伝送信号に変換する行列変換部と、前記伝送信号を符号化した符号化信号を生成する符号化部と、前記符号化信号の復号及び逆行列変換を行い前記原信号の復元信号を生成する復元部と、前記原信号を前記復元信号の関数としてモデル化してモデルパラメータを求めるモデル生成部と、前記符号化信号と、前記モデルパラメータとを伝送する伝送部と、を備える。
 また、前記伝送装置は、前記原信号と、前記モデルパラメータ及び前記復元信号から推定される信号とのエネルギー比に基づき前記モデルパラメータを補正するパラメータ補正部を備え、前記伝送部は、前記符号化信号と、前記補正されたモデルパラメータとを前記受信装置に伝送する、ことが好ましい。
 また、本発明に係る受信装置は、多チャネル音響方式の原信号より少ないチャネルに行列変換された伝送信号を符号化した符号化信号と、符号化により生じる量子化雑音信号をモデル化するモデルパラメータとを受信する受信部と、前記符号化信号を復号して復号信号を生成する復号部と、前記復号信号を逆行列変換して復元信号を生成する逆行列変換部と、前記モデルパラメータに基づき、前記原信号を前記復元信号の関数としてモデル化して推定する原信号生成部と、を備える。
 また、本発明に係る伝送用プログラムは、多チャネル音響方式に対応した伝送装置に、前記多チャネル音響方式の原信号を行列変換により原信号より少ないチャネルの伝送信号に変換するステップと、前記伝送信号を符号化した符号化信号を生成するステップと、前記符号化信号の復号及び逆行列変換を行い前記原信号の復元信号を生成するステップと、前記原信号を前記復元信号の関数としてモデル化してモデルパラメータを求めるステップと、前記符号化信号と、前記モデルパラメータとを伝送する伝送ステップと、を実行させる。
 また、前記伝送装置に、前記原信号と、前記モデルパラメータ及び前記復元信号から推定される信号とのエネルギー比に基づき前記モデルパラメータを補正するステップを実行させ、前記伝送ステップにおいて、前記符号化信号と、前記補正されたモデルパラメータとを前記受信装置に伝送させる、ことが好ましい。
 また、本発明に係る受信用プログラムは、多チャネル音響方式に対応した受信装置に、前記多チャネル音響方式の原信号より少ないチャネルに行列変換された伝送信号を符号化した符号化信号と、符号化により生じる量子化雑音信号をモデル化するモデルパラメータとを受信するステップと、前記符号化信号を復号して復号信号を生成するステップと、前記復号信号を逆行列変換して復元信号を生成するステップと、前記モデルパラメータに基づき、前記原信号を前記復元信号の関数としてモデル化して推定するステップと、を実行させる。
 本発明に係る多チャネル音響システム、伝送装置、受信装置、伝送用プログラム、および受信用プログラムによれば、多チャネル音響方式の原信号を行列変換した伝送信号を符号化する際に生じる量子化雑音を低減することが可能となる。
第1の実施形態に係る伝送装置の機能ブロック図である。 第1の実施形態に係る受信装置の機能ブロック図である。 第2の実施形態に係る伝送装置の機能ブロック図である。 第3の実施形態に係る伝送装置の機能ブロック図である。 第3の実施形態に係る受信装置の機能ブロック図である。 第4の実施形態に係る伝送装置の機能ブロック図である。 第1の実施形態に係る多チャネル音響システムの実験結果の一例を示す図である。 行列変換を用いた従来のAAC符号化の概要を示す図である。
 以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。ここで、以下の説明においては、多チャネル音響方式として、スーパーハイビジョン用の音響方式である22.2チャネル音響を例に説明を行うが、本発明は22.2チャネル音響のみに限定されるものではない点に留意されたい。
 本発明の実施形態に係る多チャネル音響システムは、22.2チャネル音響信号を行列変換及び符号化して伝送する伝送装置1と、伝送装置1からの信号を復号及び逆行列変換して22.2チャネル音響信号を復元する受信装置2とから構成される。伝送装置1は、例えば22.2チャネル音響信号を伝送する放送局の放送用設備であり、受信装置2は、例えばテレビ、携帯電話、タブレット端末など22.2チャネル音響信号を受信して視聴するための機器である。
 (第1の実施形態)
 第1の実施形態において、伝送装置1及び受信装置2は、22.2チャネル音響方式の原信号を行列変換した伝送信号を符号化する際に生じる量子化雑音信号について、当該量子化雑音信号を表すモデルの基礎的な情報を予め共有している。例えば、伝送装置1及び受信装置2は、量子化雑音信号を表すモデルとして、M次の多項式を用いるといった情報を予め共有している。伝送装置1は、符号化した伝送信号に加え、量子化雑音信号のモデルパラメータ(例えば多項式の係数)を送信することにより、受信装置2は、モデルパラメータを反映させたモデルより量子化雑音信号を推定し、復号した22.2チャネル音響信号から量子化雑音信号の影響を除去することが可能となる。
 図1は、本発明の第1の実施形態に係る伝送装置1の機能ブロック図である。伝送装置1は、音響信号入力部11と、行列変換部12と、符号化部13と、復元用復号部15及び復元用逆行列変換部16を含む復元部14と、量子化雑音モデル生成部17と、伝送部18とを備える。
 音響信号入力部11は、入力される22.2チャネル音響信号をA/D変換し、デジタル形式の音響信号を、原信号として行列変換部12及び量子化雑音モデル生成部17に出力する。
 行列変換部12は、22.2チャネル音響信号である原信号を行列変換により原信号よりチャネル数の少ない伝送信号に変換する。例えば、行列変換部12は、22.2チャネル音響信号を、8.1チャネルの基本信号を含むチャネルと、14.1チャネルの基本信号とを含むチャネルとの計2チャネルの伝送信号に行列変換する。行列変換部12は、行列変換後の伝送信号を符号化部13に出力する。なお、ここでいう行列変換とは、22.2チャネル音響信号である原信号を原信号よりチャネル数の少ない伝送信号に変換する信号変換全般を含むものである。
 符号化部13は、チャネル毎に伝送信号を符号化した符号化信号を生成し、符号化信号を伝送部18及び復元部14に出力する。符号化部13は、例えば人間の聴覚特性に応じた符号化方式であるAAC符号化により伝送信号の符号化(ビット割当)を行う。
 復元部14は、復元用復号部15及び復元用逆行列変換部16を備え、符号化信号の復号及び逆行列変換を行い原信号の復元信号を生成する。具体的には、復元用復号部15は、符号化信号を復号して復号信号を生成し、復号信号を復元用逆行列変換部16に出力する。復元用逆行列変換部16は、復号信号に対して逆行列変換を行い原信号の復元信号を生成し、復元信号を量子化雑音モデル生成部17に出力する。
 量子化雑音モデル生成部17は、音響信号入力部11からの原信号及び復元部14(復元用逆行列変換部16)からの復元信号に基づき、原信号と復元信号との差分である量子化雑音信号を復元信号の関数としてモデル化してモデルパラメータを求める。
 量子化雑音モデル生成部17によるモデルパラメータの算出法として、以下に非線形推定による実施例を述べる。原信号をs(t)、復元信号をx(t)とすると、量子化雑音信号y(t)は式(1)により表される。
Figure JPOXMLDOC01-appb-M000001
 ここで、本実施形態では、量子化雑音信号y(t)を式(2)に示す多項式でモデル化する。
Figure JPOXMLDOC01-appb-M000002
 ここで、時間区間[0,T]上で、量子化雑音信号y(t)と式(2)によりモデル化した量子化雑音信号との差分を示す式(3)を最小化するモデルパラメータA、A、A、A・・・を求める。
Figure JPOXMLDOC01-appb-M000003
 式(3)を各モデルパラメータAで偏微分して0と置くことにより、モデルパラメータAの推定式として式(4)、式(5)が得られる。
Figure JPOXMLDOC01-appb-M000004
 量子化雑音モデル生成部17は、式(4)および式(5)で表される量子化雑音信号のモデルパラメータを伝送部18に出力する。
 伝送部18は、符号化部13からの符号化信号と、量子化雑音モデル生成部17からのモデルパラメータとを受信装置2に送信する。
 図2は、本発明の第1の実施形態に係る受信装置2の機能ブロック図である。受信装置2は、受信部21と、復号部22と、逆行列変換部23と、量子化雑音信号生成部24と、合成部25と、音響信号出力部26とを備える。
 受信部21は、伝送装置1から符号化信号とモデルパラメータとを受信し、符号化信号を復号部22に出力し、モデルパラメータを量子化雑音信号生成部24に出力する。
 復号部22は、符号化信号を復号して復号信号を生成し、復号信号を逆行列変換部23に出力する。
 逆行列変換部23は、復号信号を逆行列変換して22.2チャネル音響信号の復元信号を生成し、復元信号を量子化雑音信号生成部24及び合成部25に出力する。
 量子化雑音信号生成部24は、モデルパラメータに基づき、符号化により生じる量子化雑音信号を復元信号の関数としてモデル化して推定する。具体的には、量子化雑音信号生成部24は、伝送装置1から受信した式(4)及び式(5)で表されるモデルパラメータにより、量子化雑音信号を式(6)により推定し、推定した量子化雑音信号を合成部25に出力する。なお、Mは予め設定された多項式の次数である。
Figure JPOXMLDOC01-appb-M000005
 合成部25は、逆行列変換部23からの復元信号及び量子化雑音信号生成部24が推定した量子化雑音信号に基づき、復元信号から量子化雑音信号を除去した22.2チャネル音響方式の再生用信号を生成する。具体的には、合成部25は、式(7)により、再生用信号を合成する。
Figure JPOXMLDOC01-appb-M000006
 音響信号出力部26は、スピーカなどの報知装置を通じて、再生用信号を視聴者に音として出力する。
 このように、本実施形態によれば、伝送装置1は、原信号と復元信号との差分である量子化雑音信号を復元信号の関数としてモデル化し、モデルパラメータを受信装置2に伝送する。受信装置2は、モデルパラメータに基づき量子化雑音信号を推定し、復元信号から推定した量子化雑音信号を除去する。このため、多チャネル音響方式の原信号を行列変換した伝送信号を符号化する際に生じる量子化雑音を低減することが可能となる。特に、例えば、スーパーハイビジョン用の22.2チャネル音響信号を伝送する場合において、伝送信号の最初の2チャネル信号として2チャネルステレオ信号を伝送し、最初の6チャネル信号から5.1チャネル信号を復元可能とすることにより、2チャネルあるいは5.1チャネル用受像機の回路規模を縮小可能とする場合においても、高品質かつ1/10程度のビットレートで符号化・伝送することが可能となる。また、例えば、スーパーハイビジョン用の22.2チャネル音響信号を、主要な空間情報を表す8~10チャネルの基本信号と、元の信号を復元するための補助信号に分離して伝送し、主要な空間情報に対しては高いビットレートを割当て、補助信号に対してはビットレートを抑制するような場合に対しても、量子化雑音の少ない符号化・伝送が可能となる。
 (第2の実施形態)
 図3は、本発明の第2の実施形態に係る伝送装置1の機能ブロック図である。第2の実施形態に係る伝送装置1は、第1の実施形態に係る伝送装置1に、パラメータ補正部10を追加して構成されたものである。第1の実施形態と同じ参照符号で示す機能ブロックについては、第1の実施形態と同様の動作についての重複する説明は省略する。
 本実施形態に係る量子化雑音モデル生成部17によるモデルパラメータの算出法として、以下に非線形推定による実施例を述べる。原信号をs(t)、復元信号をx(t)とすると、量子化雑音信号y(t)は式(8)により表される。
Figure JPOXMLDOC01-appb-M000007
 ここで、本実施形態では、量子化雑音信号y(t)を式(9)に示す多項式でモデル化する。
Figure JPOXMLDOC01-appb-M000008
 ここで、時間区間[0,T]上で、量子化雑音信号y(t)と式(9)によりモデル化した量子化雑音信号との差分を示す式(10)を最小化するモデルパラメータA、A、A、A・・・を求める。
Figure JPOXMLDOC01-appb-M000009
 式(10)を各モデルパラメータAで偏微分して0と置くことにより、モデルパラメータAの推定式として式(11)、式(12)が得られる。
Figure JPOXMLDOC01-appb-M000010
 式(11)及び式(12)で表されるモデルパラメータを用いることにより、式(9)の量子化雑音信号は式(13)により表される。
Figure JPOXMLDOC01-appb-M000011
 また、復元信号x(t)から式(13)により推定される量子化雑音信号を除去した信号は、式(14)により表される。
Figure JPOXMLDOC01-appb-M000012
 量子化雑音モデル生成部17は、式(11)および式(12)で表される量子化雑音信号のモデルパラメータをパラメータ補正部10に出力する。
 パラメータ補正部10は、原信号と、モデルパラメータ及び復元信号から推定される量子化雑音信号を復元信号から除去した信号とのエネルギー比に基づきモデルパラメータを補正する。具体的には、パラメータ補正部10は、式(14)に示す量子化雑音信号を復元信号から除去した後の信号のエネルギーと、原信号のエネルギーとを等しくするため、量子化雑音モデル生成部17が生成した式(11)および式(12)で表されるモデルパラメータの補正を行う。パラメータ補正部10によるモデルパラメータの補償利得Gは、原信号と、量子化雑音信号を復元信号から除去した後の信号とのエネルギー比を示す式(15)により表される。
Figure JPOXMLDOC01-appb-M000013
 このとき、補償利得Gによりモデルパラメータを補正した後の信号(再生用信号)は、式(16)により表される。モデルパラメータ補正後の再生用信号は、量子化雑音を抑圧して原信号と同じエネルギーを持つものである。
Figure JPOXMLDOC01-appb-M000014
 ここで、式(16)および式(14)により、モデルパラメータ補正後の再生用信号は、式(17)の形に展開することができる。
Figure JPOXMLDOC01-appb-M000015
 式(17)で示される多項式の各次数から、パラメータ補正部10は、補正後のモデルパラメータである補正されたモデルパラメータを式(18)により得ることができる。
Figure JPOXMLDOC01-appb-M000016
 パラメータ補正部10は、式(18)で表される補正されたモデルパラメータを伝送部18に送信する。
 伝送部18は、符号化部13からの符号化信号と、パラメータ補正部10からの補正されたモデルパラメータとを受信装置2に送信する。
 第2の実施形態に係る受信装置2の構成は、第1の実施形態に係る受信装置2と同じ機能ブロックを備えるものであり。第1の実施形態と同様の動作についての重複する説明は省略する。
 本実施形態に係る量子化雑音信号生成部24は、補正されたモデルパラメータに基づき、符号化により生じる量子化雑音信号を復元信号の関数としてモデル化して推定する。具体的には、量子化雑音信号生成部24は、伝送装置1から受信した式(18)で表される補正されたモデルパラメータにより、量子化雑音信号を式(19)により推定し、推定した量子化雑音信号を合成部25に出力する。なお、Mは予め設定された多項式の次数である。
Figure JPOXMLDOC01-appb-M000017
 合成部25は、逆行列変換部23からの復元信号及び量子化雑音信号生成部24が推定した量子化雑音信号に基づき、復元信号から量子化雑音信号を除去した22.2チャネル音響方式の再生用信号を生成する。具体的には、合成部25は、式(20)により、再生用信号を合成する。
Figure JPOXMLDOC01-appb-M000018
 音響信号出力部26は、スピーカなどの報知装置を通じて、再生用信号を視聴者に音として出力する。
 このように、本実施形態によれば、伝送装置1は、原信号と復元信号との差分である量子化雑音信号を復元信号の関数としてモデル化し、原信号と、モデルパラメータ及び復元信号から推定される量子化雑音信号を復元信号から除去した信号とのエネルギー比に基づきモデルパラメータを補正し、補正されたモデルパラメータを受信装置2に伝送する。受信装置2は、補正されたモデルパラメータに基づき量子化雑音信号を推定し、復元信号から推定した量子化雑音信号を除去する。このため、多チャネル音響方式の原信号を行列変換した伝送信号を符号化する際に生じる量子化雑音を低減することが可能となる。特に、モデルパラメータを原信号とモデルパラメータ及び復元信号から推定される量子化雑音信号を復元信号から除去した信号とのエネルギー比に基づき補正することによって、再生用信号のエネルギーと原信号のエネルギーとが等しくなり、より量子化雑音の少ない符号化・伝送が可能となる。さらに、例えば、スーパーハイビジョン用の22.2チャネル音響信号を伝送する場合において、伝送信号の最初の2チャネル信号として2チャネルステレオ信号を伝送し、最初の6チャネル信号から5.1チャネル信号を復元可能とすることにより、2チャネルあるいは5.1チャネル用受像機の回路規模を縮小可能とする場合においても、高品質かつ1/10程度のビットレートで符号化・伝送することが可能となる。また、例えば、スーパーハイビジョン用の22.2チャネル音響信号を、主要な空間情報を表す8~10チャネルの基本信号と、元の信号を復元するための補助信号に分離して伝送し、主要な空間情報に対しては高いビットレートを割当て、補助信号に対してはビットレートを抑制するような場合に対しても、量子化雑音の少ない符号化・伝送が可能となる。
 (第3の実施形態)
 第3の実施形態において、伝送装置1及び受信装置2は、22.2チャネル音響方式の原信号について、当該原信号を表すモデルの基礎的な情報を予め共有している。例えば、伝送装置1及び受信装置2は、原信号を表すモデルとして、M次の多項式を用いるといった情報を予め共有している。伝送装置1は、符号化した22.2チャネル音響信号に加え、原信号のモデルパラメータ(例えば多項式の係数)を送信することにより、受信装置2は、モデルパラメータを反映させたモデルより原信号を推定することが可能となる。
 図4は、本発明の第3の実施形態に係る伝送装置1の機能ブロック図である。第3の実施形態に係る伝送装置1は、第1の実施形態に係る伝送装置1の量子化雑音モデル生成部17を、原信号モデル生成部19に置き換えて構成されたものである。第1の実施形態と同じ参照符号で示す機能ブロックについては、第1の実施形態と同様の動作についての重複する説明は省略する。
 原信号モデル生成部19は、音響信号入力部11からの原信号及び復元部14(復元用逆行列変換部16)からの復元信号に基づき、原信号を復元信号の関数としてモデル化してモデルパラメータを求める。
 原信号モデル生成部19によるモデルパラメータの算出法として、以下に非線形推定による実施例を述べる。原信号をs(t)、復元信号をx(t)とし、本実施形態では、原信号s(t)を式(21)に示す多項式でモデル化する。
Figure JPOXMLDOC01-appb-M000019
 ここで、時間区間[0,T]上で、原信号s(t)と式(21)によりモデル化した原信号との差分を示す式(22)を最小化するモデルパラメータA、A、A、A・・・を求める。
Figure JPOXMLDOC01-appb-M000020
 式(22)を各モデルパラメータAで偏微分して0と置くことにより、モデルパラメータAの推定式として式(23)、式(24)が得られる。
Figure JPOXMLDOC01-appb-M000021
 原信号モデル生成部19は、式(23)および式(24)で表される原信号のモデルパラメータを伝送部18に出力する。
 伝送部18は、符号化部13からの符号化信号と、原信号モデル生成部19からのモデルパラメータとを受信装置2に送信する。
 図5は、本発明の第3の実施形態に係る受信装置2の機能ブロック図である。第3の実施形態に係る受信装置2は、第1の実施形態に係る受信装置2の量子化雑音信号生成部24及び合成部25を原信号生成部27に置き換えて構成されたものである。第1の実施形態と同じ参照符号で示す機能ブロックについては、第1の実施形態と同様の動作についての重複する説明は省略する。
 原信号生成部27は、モデルパラメータに基づき、原信号を復元信号の関数としてモデル化して推定する。具体的には、原信号生成部27は、伝送装置1から受信した式(23)及び式(24)で表されるモデルパラメータにより、原信号を式(25)により推定し、推定した原信号を再生用信号として音響信号出力部26に出力する。なお、Mは予め設定された多項式の次数である。
Figure JPOXMLDOC01-appb-M000022
 このように、本実施形態によれば、伝送装置1は、原信号を復元信号の関数としてモデル化したモデルパラメータを受信装置2に伝送し、受信装置2は、モデルパラメータに基づき原信号を推定する。このため、量子化雑音のない原信号を直接推定できるため、多チャネル音響方式の原信号を行列変換した伝送信号を符号化する際に生じる量子化雑音を低減することが可能となる。
 (第4の実施形態)
 図6は、本発明の第4の実施形態に係る伝送装置1の機能ブロック図である。第4の実施形態に係る伝送装置1は、第3の実施形態に係る伝送装置1に、パラメータ補正部10を追加して構成されたものである。第3の実施形態と同じ参照符号で示す機能ブロックについては、第3の実施形態と同様の動作についての重複する説明は省略する。
 本実施形態に係る原信号モデル生成部19は、音響信号入力部11からの原信号及び復元部14(復元用逆行列変換部16)からの復元信号に基づき、原信号を復元信号の関数としてモデル化してモデルパラメータを求める。
 原信号モデル生成部19によるモデルパラメータの算出法として、以下に非線形推定による実施例を述べる。原信号をs(t)、復元信号をx(t)とし、本実施形態では、原信号s(t)を式(26)に示す多項式でモデル化する。
Figure JPOXMLDOC01-appb-M000023
 ここで、時間区間[0,T]上で、原信号s(t)と式(26)によりモデル化した原信号との差分を示す式(27)を最小化するモデルパラメータA、A、A、A・・・を求める。
Figure JPOXMLDOC01-appb-M000024
 式(27)を各モデルパラメータAで偏微分して0と置くことにより、モデルパラメータAの推定式として式(28)、式(29)が得られる。
Figure JPOXMLDOC01-appb-M000025
 式(28)及び式(29)で表されるモデルパラメータを用いることにより、式(26)により推定される原信号は式(30)により表される。
Figure JPOXMLDOC01-appb-M000026
 原信号モデル生成部19は、式(28)および式(29)で表される原信号のモデルパラメータをパラメータ補正部10に出力する。
 第4の実施形態において、パラメータ補正部10は、原信号と、モデルパラメータ及び復元信号から推定される信号とのエネルギー比に基づきモデルパラメータを補正する。具体的には、パラメータ補正部10は、式(30)により推定される信号のエネルギーと、原信号のエネルギーとを等しくするため、量子化雑音モデル生成部17が生成した式(28)および式(29)で表されるモデルパラメータの補正を行う。パラメータ補正部10によるモデルパラメータの補償利得Gは、原信号と、式(30)により推定される信号とのエネルギー比を示す式(31)により表される。
Figure JPOXMLDOC01-appb-M000027
 このとき、補償利得Gによりモデルパラメータを補正した後の信号(再生用信号)は、式(32)により表される。モデルパラメータ補正後の再生用信号は、量子化雑音を抑圧して原信号と同じエネルギーを持つものである。
Figure JPOXMLDOC01-appb-M000028
 ここで、式(32)および式(30)により、モデルパラメータ補正後の再生用信号は、式(33)の形に展開することができる。
Figure JPOXMLDOC01-appb-M000029
 式(33)で示される多項式の各次数から、パラメータ補正部10は、補正後のモデルパラメータである補正されたモデルパラメータを式(34)により得ることができる。
Figure JPOXMLDOC01-appb-M000030
 パラメータ補正部10は、式(34)で表される補正されたモデルパラメータを伝送部18に送信する。
 伝送部18は、符号化部13からの符号化信号と、パラメータ補正部10からの補正されたモデルパラメータとを受信装置2に送信する。
 第4の実施形態に係る受信装置2の構成は、第3の実施形態に係る受信装置2と同じ機能ブロックを備えるものであり。第3の実施形態と同様の動作についての重複する説明は省略する。
 原信号生成部27は、補正されたモデルパラメータに基づき、原信号を復元信号の関数としてモデル化して推定する。具体的には、原信号生成部27は、伝送装置1から受信した式(34)で表される補正されたモデルパラメータにより、原信号を式(35)により推定し、推定した原信号を再生用信号として音響信号出力部26に出力する。なお、Mは予め設定された多項式の次数である。
Figure JPOXMLDOC01-appb-M000031
 このように、本実施形態によれば、伝送装置1は、原信号を復元信号の関数としてモデル化したモデルパラメータを、原信号と、モデルパラメータ及び復元信号から推定される信号とのエネルギー比に基づき補正して受信装置2に伝送し、受信装置2は、補正されたモデルパラメータに基づき原信号を推定する。このため、量子化雑音のない原信号を直接推定できるため、多チャネル音響方式の原信号を行列変換した伝送信号を符号化する際に生じる量子化雑音を低減することが可能となる。特に、モデルパラメータを原信号とモデルパラメータ及び復元信号から推定される信号とのエネルギー比に基づき補正することによって、再生用信号のエネルギーと原信号のエネルギーとが等しくなり、より量子化雑音の少ない符号化・伝送が可能となる。
(実験例)
 図7は、第1の実施形態に係る多チャネル音響システムの実験結果の一例を示す図である。本実験は、22.2チャネル音響の原信号を行列変換により2チャネルの伝送信号に変換し、伝送信号をAAC符号化して伝送するものであり、0Hz~24kHzの帯域の信号を1kHzの等帯域幅で分割した24種類の信号を原信号として実験を行っている。図7に示す帯域番号mは、(m-1)KHzからmKHzまでの帯域の信号を示すものであって、例えば帯域番号3の原信号は、2KHzから3KHzまでの帯域の信号を示すものである。
 本実験において、量子化雑音信号のモデル化には多項式近似を用い、多項式の次数(推定次数)を変化させ各原信号における量子化雑音の変化の評価を行った。量子化雑音の変化の評価には、量子化雑音の除去を行わない場合(即ち、多項式の次数が0である場合)を1、量子化雑音がない場合を0として正規化した正規化雑音エネルギーを用いた。即ち、正規化雑音エネルギーが1に近いほど量子化雑音の除去が進んでおらず、0に近いほど量子化雑音の除去が進んでいることを表す。
 図7(a)は全チャネルの正規化雑音エネルギーの平均を示すものであり、図7(b)は量子化雑音が顕著なチャネルの正規化雑音エネルギーを示すものである。図7(a)(b)いずれも、例えば帯域番号1、3など、比較的周波数が低い帯域の原信号は、正規化雑音エネルギーが1に近い値となっている。これは、AAC符号化においては、人間の聴覚に影響を与えやすい周波数帯では符号化が高精度に行われるため、発生する量子化雑音自体が少なく、結果的に、多項式の次数によらず、正規化雑音エネルギーの減少が抑えられるためである。一方、帯域番号6、9、16など、比較的周波数が高い帯域の原信号では、多項式の次数に応じて正規化雑音エネルギーが減少している。これは、AAC符号化においては、人間の聴覚に影響を与えにくい周波数帯では符号化の精度が低下するため、発生する量子化雑音が大きくなるが、多項式を用いたモデル化を行うことにより、正規化雑音エネルギーが減少していることを示すものである。
 上記結果より、AAC符号化など人間の聴覚特性に基づく符号化方式においては、量子化雑音モデル生成部17は、量子化雑音信号のモデル化の要否を、原信号の周波数帯域毎に判定することが有効といえる。即ち、量子化雑音モデル生成部17は、原信号のうち、符号化が高精度に行われる周波数帯域の原信号については、量子化雑音信号のモデル化を行わず、符号化の精度が低い周波数帯域の原信号についてのみ、量子化雑音信号のモデル化を行うように制御することが可能となる。かかる制御により、必要な周波数帯域についてのみ量子化雑音信号のモデル化が行うことができるため、計算負荷を低減させながら量子化雑音を効果的に除去することが可能となる。なお、第2の実施形態に係る原信号モデル生成部19も、量子化雑音モデル生成部17と同様の制御を行うことができることは言うまでもない。
 また、例えば、図7(a)では帯域番号16の正規化雑音エネルギーは、次数が1の時点で大きく低減し、それ以降の次数においてあまり変化が見られないが、帯域番号6、9では、推定次数が1、3と高次になるにつれ、正規化雑音エネルギーが減少している。
 上記結果より、量子化雑音信号を多項式によりモデル化する場合、量子化雑音モデル生成部17は、周波数帯域毎に次数を決定することが有効といえる。即ち、量子化雑音モデル生成部17は、高い次数でモデル化することが好ましい周波数帯域は高い次数で、低い次数でモデル化することが好ましい周波数帯域は低い次数でモデル化するという制御が可能となる。かかる制御により、周波数帯域の特性に合わせたモデル化が行うことができるため、計算負荷を低減させながら量子化雑音を効果的に除去することが可能となる。具体的には、上記結果より、量子化雑音モデル生成部17は、高い周波数帯域では低い次数(例えば1次)で、低い周波数帯域では高い次数(例えば3次)でモデル化することにより、計算負荷を低減させながら量子化雑音を効果的に除去することが可能となる。なお、第2の実施形態に係る原信号モデル生成部19も、量子化雑音モデル生成部17と同様の制御を行うことができることは言うまでもない。
 本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各機能部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の機能部やステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。
 例えば、図7において一例を示すとおり、上述した量子化雑音モデル及び原信号モデルに基づく量子化雑音の低減は、周波数帯域ごとに行うことも可能である。すなわち、伝送装置1は、原信号及び復元信号を帯域通過フィルタで複数の帯域に分割し、帯域毎に、量子化雑音モデルの場合は式(4)、式(5)により、原信号モデルの場合は式(23)、式(24)により、モデルパラメータを求めることができる。さらに、パラメータ補正部10は、量子化雑音モデルの場合は式(18)、原信号モデルの場合は式(34)を周波数毎のモデルパラメータに適用し、帯域毎にモデルパラメータを補正することができる。この場合、受信装置2でも、復元信号を複数の帯域に分割し、帯域ごとに、量子化雑音モデルの場合は式(7)、式(20)により、原信号モデルの場合は推定した原信号モデルとして、雑音を除去した信号を求めれば良い。また、周波数帯域毎に再生用信号のエネルギーと原信号のエネルギーとが等しくするようにモデルパラメータを補正することによって、各サブバンドにおいてより効率的に量子化雑音の少ない符号化・伝送を行うことが可能となる。
 また、量子化雑音モデル及び原信号モデルのモデルパラメータの計算に関する時間区間[0、T]を、時間窓関数により複数の時間区間に分割して、当該時間区間毎に量子化雑音を除去することも可能である。さらに、周波数帯域の分割と、時間区間の分割とを併用することが可能であることも言うまでもない。
 また、上記実施形態では、量子化雑音モデル及び原信号モデルの一例として、多項式を用いたモデル化を記載したが、量子化雑音モデル及び原信号モデルには、ヴォルテラ級数など、他の任意の非線形関数を用いることが可能である。また、上記実施形態では、伝送装置1及び受信装置2は、量子化雑音モデル及び原信号モデルの基礎的な情報を予め共有しているとして説明を行ったが、例えば、伝送装置1及び受信装置2がそれぞれ複数のモデルパターンを保持しており、制御メッセージなどにより使用するモデルパターンに関する情報を適宜交換することも可能である。さらに、使用するモデルパターンを受信装置2が保持していない場合、伝送装置1は、使用する新たなモデルパターンに関する情報を制御メッセージなどにより通知することも可能である。
 また、上記実施形態では、多チャネル音響方式の原信号を22.2チャネル音響、行列変換後の伝送信号を2チャネルステレオ信号として説明を行ったが、本発明は、他の5.1チャネル音響、7.1チャネル音響など任意の多チャネル音響方式であって、符号化伝送に関し信号の行列変換を伴う処理全般に適応可能なことは言うまでもない。また、行列変換などの線形処理を伴う信号として、アンビソニックス等の音響信号に対しても適用可能である。
 また、上記実施形態では、符号化方式としてAACを例に説明をしたが、本発明におけるAAC符号化とは、MPEG2-AAC、MPEG4-AAC、HE-AACなど、AACに関するあらゆるバージョンを包括するものである。また、本発明が対応可能な符号化はAACに限定されず、人間の聴覚特性に基づいて高品質に符号化する方式であれば、任意の符号化方式に対応可能である。
 なお、本発明は、伝送装置1および受信装置2が有するプロセッサに同等の処理(ステップ)を実行させるプログラムとしても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。例えば、伝送装置1および受信装置2は、各機能を実現する処理内容を記述したプログラムを記憶部(図示せず)に格納しておき、中央演算処理装置(CPU)によって当該プログラムを読み出して実行することができる。
 本発明によれば、多チャネル音響方式の原信号を行列変換した伝送信号を符号化する際に生じる量子化雑音を低減することが可能になるという有用性がある。
 1 音響信号入力部
 10 パラメータ補正部
 12 行列変換部
 13 符号化部
 14 復元部
 15 復元用復号部
 16 復元用逆行列変換部
 17 量子化雑音モデル生成部(モデル生成部)
 18 伝送部
 19 原信号モデル生成部(モデル生成部)
 2 受信装置
 21 受信部
 22 復号部
 23 逆行列変換部
 24 量子化雑音信号生成部
 25 合成部
 26 音響信号出力部
 27 原信号生成部

Claims (21)

  1.  多チャネル音響方式に対応した伝送装置及び受信装置を備える多チャネル音響システムであって、
     前記伝送装置は、
      前記多チャネル音響方式の原信号を行列変換により原信号より少ないチャネルの伝送信号に変換する行列変換部と、
      前記伝送信号を符号化した符号化信号を生成する符号化部と、
      前記符号化信号の復号及び逆行列変換を行い前記原信号の復元信号を生成する復元部と、
      前記原信号と前記復元信号との差分である量子化雑音信号を前記復元信号の関数としてモデル化してモデルパラメータを求めるモデル生成部と、
      前記符号化信号と、前記モデルパラメータとを前記受信装置に伝送する伝送部と、を備え、
     前記受信装置は、
      前記符号化信号と、前記モデルパラメータとを受信する受信部と、
      前記符号化信号を復号して復号信号を生成する復号部と、
      前記復号信号を逆行列変換して復元信号を生成する逆行列変換部と、
      前記モデルパラメータに基づき、前記量子化雑音信号を前記復元信号の関数としてモデル化して推定する量子化雑音信号生成部と、
      前記復元信号から推定した前記量子化雑音信号を除去する合成部と、を備える多チャネル音響システム。
  2.  前記伝送装置は、
      前記原信号と、前記モデルパラメータ及び前記復元信号から推定される前記量子化雑音信号を前記復元信号から除去した信号とのエネルギー比に基づき前記モデルパラメータを補正するパラメータ補正部を備え、
      前記伝送部は、前記符号化信号と、前記補正されたモデルパラメータとを前記受信装置に伝送し、
     前記受信装置の前記量子化雑音信号生成部は、前記補正されたモデルパラメータに基づき、前記量子化雑音信号を前記復元信号の関数としてモデル化して推定する、請求項1に記載の多チャネル音響システム。
  3.  多チャネル音響方式に対応した伝送装置及び受信装置を備える多チャネル音響システムであって、
     前記伝送装置は、
      前記多チャネル音響方式の原信号を行列変換により原信号より少ないチャネルの伝送信号に変換する行列変換部と、
      前記伝送信号を符号化した符号化信号を生成する符号化部と、
      前記符号化信号の復号及び逆行列変換を行い前記原信号の復元信号を生成する復元部と、
      前記原信号を前記復元信号の関数としてモデル化してモデルパラメータを求めるモデル生成部と、
      前記符号化信号と、前記モデルパラメータとを前記受信装置に伝送する伝送部と、を備え、
     前記受信装置は、
      前記符号化信号と、前記モデルパラメータとを受信する受信部と、
      前記符号化信号を復号して復号信号を生成する復号部と、
      前記復号信号を逆行列変換して復元信号を生成する逆行列変換部と、
      前記モデルパラメータに基づき、前記原信号を前記復元信号の関数としてモデル化して推定する原信号生成部と、を備える多チャネル音響システム。
  4.  前記伝送装置は、
      前記原信号と、前記モデルパラメータ及び前記復元信号から推定される信号とのエネルギー比に基づき前記モデルパラメータを補正するパラメータ補正部を備え、
      前記伝送部は、前記符号化信号と、前記補正されたモデルパラメータとを前記受信装置に伝送し、
     前記受信装置の前記原信号生成部は、前記補正されたモデルパラメータに基づき、前記原信号を前記復元信号の関数としてモデル化して推定する、請求項3に記載の多チャネル音響システム。
  5.  前記モデル生成部は、周波数帯域毎に前記モデル化して前記モデルパラメータを求める、請求項1に記載の多チャネル音響システム。
  6.  前記モデル生成部は、周波数帯域毎に前記モデル化して前記モデルパラメータを求め、前記パラメータ補正部は、前記周波数帯域毎に前記モデルパラメータを補正する、請求項2に記載の多チャネル音響システム。
  7.  前記モデル生成部は、前記周波数帯域毎に、前記モデル化の要否を判定する、請求項5に記載の多チャネル音響システム。
  8.  前記モデル生成部は、前記モデル化を多項式で行い、前記周波数帯域毎に前記多項式の次数を決定する、請求項5に記載の多チャネル音響システム。
  9.  前記モデル生成部は、高い周波数帯域ほど次数が低くなるように、前記多項式の次数を決定する、請求項8に記載の多チャネル音響システム。
  10.  多チャネル音響方式の原信号を行列変換により原信号より少ないチャネルの伝送信号に変換する行列変換部と、
     前記伝送信号を符号化した符号化信号を生成する符号化部と、
     前記符号化信号の復号及び逆行列変換を行い前記原信号の復元信号を生成する復元部と、
     前記原信号と前記復元信号との差分である量子化雑音信号を前記復元信号の関数としてモデル化してモデルパラメータを求めるモデル生成部と、
     前記符号化信号と、前記モデルパラメータとを伝送する伝送部と、を備える伝送装置。
  11.  前記原信号と、前記モデルパラメータ及び前記復元信号から推定される前記量子化雑音信号を前記復元信号から除去した信号とのエネルギー比に基づき前記モデルパラメータを補正するパラメータ補正部を備え、
     前記伝送部は、前記符号化信号と、前記補正されたモデルパラメータとを前記受信装置に伝送する、請求項10に記載の伝送装置。
  12.  多チャネル音響方式の原信号より少ないチャネルに行列変換された伝送信号を符号化した符号化信号と、符号化により生じる量子化雑音信号をモデル化するモデルパラメータとを受信する受信部と、
     前記符号化信号を復号して復号信号を生成する復号部と、
     前記復号信号を逆行列変換して復元信号を生成する逆行列変換部と、
     前記モデルパラメータに基づき、前記量子化雑音信号を前記復元信号の関数としてモデル化して推定する量子化雑音信号生成部と、
     前記復元信号から推定した前記量子化雑音信号を除去する合成部と、を備える受信装置。
  13.  多チャネル音響方式に対応した伝送装置に、
     前記多チャネル音響方式の原信号を行列変換により原信号より少ないチャネルの伝送信号に変換するステップと、
     前記伝送信号を符号化した符号化信号を生成するステップと、
     前記符号化信号の復号及び逆行列変換を行い前記原信号の復元信号を生成するステップと、
     前記原信号と前記復元信号との差分である量子化雑音信号を前記復元信号の関数としてモデル化してモデルパラメータを求めるステップと、
     前記符号化信号と、前記モデルパラメータとを伝送する伝送ステップと、を実行させるための伝送用プログラム。
  14.  前記伝送装置に、
     前記原信号と、前記モデルパラメータ及び前記復元信号から推定される前記量子化雑音信号を前記復元信号から除去した信号とのエネルギー比に基づき前記モデルパラメータを補正するステップを実行させ、
     前記伝送ステップにおいて、前記符号化信号と、前記補正されたモデルパラメータとを前記受信装置に伝送させるための、請求項13に記載の伝送用プログラム。
  15.  多チャネル音響方式に対応した受信装置に、
     前記多チャネル音響方式の原信号より少ないチャネルに行列変換された伝送信号を符号化した符号化信号と、符号化により生じる量子化雑音信号をモデル化するモデルパラメータとを受信するステップと、
     前記符号化信号を復号して復号信号を生成するステップと、
     前記復号信号を逆行列変換して復元信号を生成するステップと、
     前記モデルパラメータに基づき、前記量子化雑音信号を前記復元信号の関数としてモデル化して推定するステップと、
     前記復元信号から推定した前記量子化雑音信号を除去するステップと、を実行させるための受信用プログラム。
  16.  多チャネル音響方式の原信号を行列変換により原信号より少ないチャネルの伝送信号に変換する行列変換部と、
     前記伝送信号を符号化した符号化信号を生成する符号化部と、
     前記符号化信号の復号及び逆行列変換を行い前記原信号の復元信号を生成する復元部と、
     前記原信号を前記復元信号の関数としてモデル化してモデルパラメータを求めるモデル生成部と、
     前記符号化信号と、前記モデルパラメータとを伝送する伝送部と、を備える伝送装置。
  17.  前記伝送装置は、
      前記原信号と、前記モデルパラメータ及び前記復元信号から推定される信号とのエネルギー比に基づき前記モデルパラメータを補正するパラメータ補正部を備え、
      前記伝送部は、前記符号化信号と、前記補正されたモデルパラメータとを前記受信装置に伝送する、請求項16に記載の伝送装置。
  18.  多チャネル音響方式の原信号より少ないチャネルに行列変換された伝送信号を符号化した符号化信号と、符号化により生じる量子化雑音信号をモデル化するモデルパラメータとを受信する受信部と、
     前記符号化信号を復号して復号信号を生成する復号部と、
     前記復号信号を逆行列変換して復元信号を生成する逆行列変換部と、
     前記モデルパラメータに基づき、前記原信号を前記復元信号の関数としてモデル化して推定する原信号生成部と、を備える受信装置。
  19.  多チャネル音響方式に対応した伝送装置に、
     前記多チャネル音響方式の原信号を行列変換により原信号より少ないチャネルの伝送信号に変換するステップと、
     前記伝送信号を符号化した符号化信号を生成するステップと、
     前記符号化信号の復号及び逆行列変換を行い前記原信号の復元信号を生成するステップと、
     前記原信号を前記復元信号の関数としてモデル化してモデルパラメータを求めるステップと、
     前記符号化信号と、前記モデルパラメータとを伝送する伝送ステップと、を実行させるための伝送用プログラム。
  20.  前記伝送装置に、
     前記原信号と、前記モデルパラメータ及び前記復元信号から推定される信号とのエネルギー比に基づき前記モデルパラメータを補正するステップを実行させ、
     前記伝送ステップにおいて、前記符号化信号と、前記補正されたモデルパラメータとを前記受信装置に伝送させるための伝送用プログラム。
  21.  多チャネル音響方式に対応した受信装置に、
     前記多チャネル音響方式の原信号より少ないチャネルに行列変換された伝送信号を符号化した符号化信号と、符号化により生じる量子化雑音信号をモデル化するモデルパラメータを受信するステップと、
     前記符号化信号を復号して復号信号を生成するステップと、
     前記復号信号を逆行列変換して復元信号を生成するステップと、
     前記モデルパラメータに基づき、前記原信号を前記復元信号の関数としてモデル化して推定するステップと、を実行させるための受信用プログラム。
PCT/JP2013/000837 2012-02-16 2013-02-15 多チャネル音響システム、伝送装置、受信装置、伝送用プログラム、および受信用プログラム WO2013121793A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012031368A JP2013167783A (ja) 2012-02-16 2012-02-16 多チャネル音響システム、伝送装置、受信装置、伝送用プログラム、および受信用プログラム
JP2012-031368 2012-02-16
JP2012195041A JP2014052415A (ja) 2012-09-05 2012-09-05 多チャネル音響システム、伝送装置、受信装置、伝送用プログラム、および受信用プログラム
JP2012-195041 2012-09-05

Publications (1)

Publication Number Publication Date
WO2013121793A1 true WO2013121793A1 (ja) 2013-08-22

Family

ID=48983923

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/000837 WO2013121793A1 (ja) 2012-02-16 2013-02-15 多チャネル音響システム、伝送装置、受信装置、伝送用プログラム、および受信用プログラム

Country Status (1)

Country Link
WO (1) WO2013121793A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022116207A1 (zh) * 2020-12-04 2022-06-09 深圳市大疆创新科技有限公司 编码方法、解码方法和编码装置、解码装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004173250A (ja) * 2002-11-21 2004-06-17 Microsoft Corp 複数因子分解可逆変換(multiplefactorizationreversibletransform)を用いたプログレッシブ・ツー・ロスレス埋込みオーディオ・コーダ(ProgressivetoLosslessEmbeddedAudioCoder:PLEAC)
JP2004260252A (ja) * 2003-02-24 2004-09-16 Dainippon Printing Co Ltd 時系列信号の符号化装置および復号装置
JP2010145593A (ja) * 2008-12-17 2010-07-01 Sony Corp 情報符号化装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004173250A (ja) * 2002-11-21 2004-06-17 Microsoft Corp 複数因子分解可逆変換(multiplefactorizationreversibletransform)を用いたプログレッシブ・ツー・ロスレス埋込みオーディオ・コーダ(ProgressivetoLosslessEmbeddedAudioCoder:PLEAC)
JP2004260252A (ja) * 2003-02-24 2004-09-16 Dainippon Printing Co Ltd 時系列信号の符号化装置および復号装置
JP2010145593A (ja) * 2008-12-17 2010-07-01 Sony Corp 情報符号化装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022116207A1 (zh) * 2020-12-04 2022-06-09 深圳市大疆创新科技有限公司 编码方法、解码方法和编码装置、解码装置

Similar Documents

Publication Publication Date Title
EP2973551B1 (en) Reconstruction of audio scenes from a downmix
JP5292498B2 (ja) 周波数領域のウィナーフィルターを用いた空間オーディオコーディングのための時間エンベロープの整形
KR102202973B1 (ko) 사운드 필드를 위해 고차 앰비소닉스 표현을 압축 및 압축 해제하기 위한 방법 및 장치
KR102381202B1 (ko) Hoa 데이터 프레임 표현의 압축을 위해 비차분 이득 값들을 표현하는 데 필요하게 되는 비트들의 최저 정수 개수를 결정하는 장치
US20130230176A1 (en) Method and an Apparatus for Encoding/Decoding a Multichannel Audio Signal
US8073703B2 (en) Acoustic signal processing apparatus and acoustic signal processing method
US9646615B2 (en) Audio signal encoding employing interchannel and temporal redundancy reduction
KR102568636B1 (ko) Hoa 데이터 프레임 표현의 압축을 위해 비차분 이득 값들을 표현하는 데 필요하게 되는 비트들의 최저 정수 개수를 결정하는 방법 및 장치
US8654984B2 (en) Processing stereophonic audio signals
MX2012002182A (es) Determinacion de factor de escala de banda de frecuencia en la codificacion de audio con base en la energia de señal de banda de frecuencia.
JP2008033269A (ja) デジタル信号処理装置、デジタル信号処理方法およびデジタル信号の再生装置
RU2491656C2 (ru) Устройство декодирования звукового сигнала и способ регулирования баланса устройства декодирования звукового сигнала
KR101842257B1 (ko) 신호 처리 방법, 그에 따른 엔코딩 장치, 및 그에 따른 디코딩 장치
EP2264698A1 (en) Stereo signal converter, stereo signal reverse converter, and methods for both
WO2013121793A1 (ja) 多チャネル音響システム、伝送装置、受信装置、伝送用プログラム、および受信用プログラム
JP2014052415A (ja) 多チャネル音響システム、伝送装置、受信装置、伝送用プログラム、および受信用プログラム
CN113793617A (zh) 针对hoa数据帧表示的压缩确定表示非差分增益值所需的最小整数比特数的方法
JPWO2008155835A1 (ja) 復号装置、復号方法、及びプログラム
JP2013167783A (ja) 多チャネル音響システム、伝送装置、受信装置、伝送用プログラム、および受信用プログラム
JP5483813B2 (ja) マルチチャネル音声音響信号符号化装置および方法、並びにマルチチャネル音声音響信号復号装置および方法
CN105336334B (zh) 多声道声音信号编码方法、解码方法及装置
JP5680391B2 (ja) 音響符号化装置及びプログラム
JP2006270649A (ja) 音声・音響信号処理装置およびその方法
JP2013050663A (ja) 多チャネル音響符号化装置およびそのプログラム
JP2013050658A (ja) 多チャネル音響符号化装置およびそのプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13749014

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13749014

Country of ref document: EP

Kind code of ref document: A1