WO2005081229A1 - オーディオエンコーダ及びオーディオデコーダ - Google Patents

オーディオエンコーダ及びオーディオデコーダ Download PDF

Info

Publication number
WO2005081229A1
WO2005081229A1 PCT/JP2005/001968 JP2005001968W WO2005081229A1 WO 2005081229 A1 WO2005081229 A1 WO 2005081229A1 JP 2005001968 W JP2005001968 W JP 2005001968W WO 2005081229 A1 WO2005081229 A1 WO 2005081229A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
encoded
code amount
unit
channel
Prior art date
Application number
PCT/JP2005/001968
Other languages
English (en)
French (fr)
Inventor
Shuji Miyasaka
Yoshiaki Takagi
Kazutaka Abe
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to JP2006519336A priority Critical patent/JPWO2005081229A1/ja
Priority to US10/586,905 priority patent/US7613306B2/en
Publication of WO2005081229A1 publication Critical patent/WO2005081229A1/ja

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Definitions

  • the present invention relates to an audio encoder for encoding a multi-channel signal.
  • an audio encoder for encoding a multi-channel signal.
  • the present invention relates to an audio encoder that generates an encoded signal so that an encoded multi-channel signal can be reproduced by an inexpensive decoder.
  • the present invention also relates to an audio decoder that decodes an encoded signal encoded by such an audio encoder.
  • it relates to an audio decoder that reproduces a multi-channel signal on two channels.
  • an audio encoder that generates an encoded signal that enables a multi-channel signal to be reproduced by an inexpensive reproducing apparatus, particularly a 2-channel reproducing apparatus.
  • an inexpensive reproducing apparatus particularly a 2-channel reproducing apparatus.
  • a signal obtained by down-mixing a multi-channel signal into two channels and a signal for returning the down-mixed signal to a multi-channel signal are separated into first coding signals.
  • a technique has been disclosed in which a signal is encoded as a second encoded signal, and an inexpensive decoder can decode only the first encoded signal (see Non-Patent Document 1).
  • Non-patent document 1 MPEG2 audio standard (ISO 13818-3)
  • the MPEG2 audio standard has a problem that it is not easy to separate the first encoded signal and the second encoded signal.
  • Fig. 1 shows a structure of a code signal (bit stream) in the MPEG2 audio standard.
  • frame header information 900 indicates a start position of encoding information of one frame encoded every 1152 samples.
  • the first encoded signal 901 is an encoded signal obtained by encoding a stereo signal obtained by downmixing a multi-channel signal into two channels.
  • the second encoded signal 902 is a multi-channel downmix signal. This is a code-sharing signal obtained by coding information for returning to a code.
  • a decoder that wants to decode only the first encoded signal 901, for example, a cellular phone or the like designed on the premise of only 2-channel reproduction, obtains the first encoded signal 901.
  • the user wants to skip the second encoded signal 902, but cannot easily obtain the amount of the second encoded signal 902 for the following reason, and Cannot skip the second code signal 902.
  • the frame size of each frame can be easily obtained by analyzing the frame header information 900 of each frame, but the code amount of the first encoding signal 901 is different for each frame as illustrated in the figure. Since it is variable, the code amount of the second encoding signal 902 is necessarily variable.
  • the code amount of the second encoded signal 902 can be known only by subtracting the code amount of the first encoded signal 901 of the frame from the frame size of the frame. Therefore, when decoding the first encoded signal 901, it is necessary to calculate the code amount of the first encoded signal 901 one by one, which requires a great deal of computational resources. There are problems.
  • the decoded downmix signal is downmixed by a predetermined matrix operation at each sample time, so the spatial information of the original multi-channel signal is lost. Therefore, if the user wants to reproduce the two-channel downmixed signal after reproducing the original spatial information, that is, if he wants to reproduce the two-channel signal subjected to the virtual surround processing, the first After decoding the multi-channel signal using the coded signal 901 and the second coded signal 902, it is necessary to filter spatial information based on the head-related transfer function, which requires a great deal of computational resources. There is an issue that must be spent.
  • the present invention has been made in view of such a conventional problem, and has been made to simplify the code amount of a code signal obtained by coding information for returning a downmix signal to a multi-channel signal. It is an object of the present invention to provide an audio encoder that generates a coding signal that can be known to a user.
  • the present invention provides an original multi-channel space only by reproducing a downmix signal.
  • a second object of the present invention is to provide an audio encoder that generates encoded information such that information can be reproduced.
  • an audio encoder comprises: a downmix unit for downmixing a multi-channel signal exceeding two channels into a two-channel stereo signal; First encoding means for generating a first encoded signal, and encoding information for returning the downmixed stereo signal to a multi-channel signal to generate a second encoded signal.
  • multiplexing means for multiplexing.
  • the multiplexing unit includes a first multiplexing unit that multiplexes the code amount calculated by the code amount calculation unit and the second coded signal; A second multiplexing unit that multiplexes the code amount with the second encoded signal multiplexed may be provided.
  • the first multiplexing unit may arrange the code amount calculated by the code amount calculation means at the beginning of the second code signal to perform multiplexing.
  • the first multiplexing unit multiplexes the code amount calculated by the code amount calculation means so as to be arranged immediately after the symbol identifying the start of the second coded signal. As a little.
  • the first multiplexing unit may describe a signal representing the code amount calculated by the code amount calculation unit in a variable length, and multiplex the signal into the second coded signal.
  • the downmix means may perform an operation using a head-related transfer function on the multi-channel signal to perform a downmix process.
  • the downmix unit may perform an operation using a head-related transfer function on the multi-channel signal on a frequency axis.
  • the second encoded signal may include invalid data, and the code amount calculating unit may calculate the code amount of the second encoded signal including the invalid data.
  • the audio decoder of the present invention comprises: a first coded signal obtained by coding a two-channel stereo signal in which a multi-channel signal power exceeding two channels is also downmixed; A second encoding signal obtained by encoding information for generating a multi-channel signal from the stereo signal coupler; and a signal representing a code amount of the second encoding signal.
  • An acquiring unit for acquiring an encoded signal, and a decoding unit for decoding the acquired encoded signal and outputting a stereo signal are provided.
  • the decoding means includes: a first coded signal reading unit for reading the first coded signal from the obtained coded signal; and a signal representing a code amount of the second coded signal. From the encoded signal, and a first decoding unit that decodes the first encoded signal read by the first encoded signal reading unit and outputs the stereo signal. And a first encoded signal readout unit, wherein the first encoded signal readout unit skips the second encoded signal based on the signal representing the code amount read by the code amount readout unit.
  • the first encoded signal is obtained by encoding a stereo signal to which a virtual surround effect has been added in advance by an operation using a head-related transfer function, and the first decoding unit includes Alternatively, a stereo signal to which a virtual surround effect is added may be output.
  • the audio decoder further includes a second coded signal reading unit that reads the second coded signal from the coded signal, and the read first coded signal and the second code A second decoding unit that decodes the multi-channel signal based on the multi-channel signal, and performs a filtering process based on the head-related transfer function on the decoded multi-channel signal to obtain a virtual surround effect. And a stereo signal output from the first decoding unit, and a stereo signal output from the filter unit to which the virtual surround effect is added. And a selecting unit for selecting any one of the following.
  • the first decoding section generates a frequency axis signal of the stereo signal
  • the filter section generates a frequency axis signal of the stereo signal.
  • the frequency axis signal may be subjected to a filtering process based on a head-related transfer function to generate a two-channel frequency axis signal, and then the frequency axis signal may be converted to a time axis signal.
  • the audio decoder further includes a power supply unit that supplies at least power for driving the second decoding unit, and the selection unit controls an amount of power supply from the power supply unit. If the value falls below a predetermined value, the stereo signal from the first decoding unit may be selected.
  • the signal indicating the code amount of the second encoded signal read by the code amount reading unit may be a signal indicating the code amount of the second encoded signal including invalid data.
  • the code amount of the second coded signal obtained by coding the information necessary for returning the downmix signal to the multi-channel signal can be easily obtained by the audio decoder. This makes it possible to generate a dangling signal. Therefore, even in a reproducing apparatus that reproduces only the downmix signal, it is possible to easily decode and reproduce only the downmix signal.
  • a signal representing the code amount of the second encoded signal can be obtained immediately after the start position of the second encoded signal.
  • a signal representing the code amount of the second encoded signal can be multiplexed with a variable code length according to the magnitude of the value.
  • the number of bits can be saved.
  • the downmix processing can be performed on the frequency axis. Therefore, when the second encoding unit performs the encoding processing on the signal on the frequency axis, the downmix processing is performed. And the process of the second encoding process can be efficiently performed.
  • the first encoding means handles signals in a band of 1Z2 or less, so that the compression ratio can be improved. Also, when only the encoded signal encoded by the first encoding means is reproduced, a signal in a band of 1Z2 or less is handled, so that the amount of calculation for decoding is reduced.
  • bandwidth expansion technology I Since SOZIEC14496-3 is a technology for expanding signals in the band below the 1Z2 band, it will be easier to interface with that technology.
  • the downmix signal becomes a filtered signal of the head related transfer function, and the original multi-channel spatial information is reflected even when only the first encoded signal is reproduced. Will be done.
  • the downmix signal becomes a filtered signal of the head related transfer function, and the original multi-channel spatial information is reflected even when only the first encoded signal is reproduced.
  • the Rukoto Since the head transfer function is also processed on the frequency axis, when combined with the mainstream audio compression methods such as the AAC method (ISOZIEC13818-7) and the AAC-SBR method (ISOZIEC14496-3), Processing can be executed with the amount of calculation. This is because those methods are compression encoding of the signal on the frequency axis.
  • the frequency axis signal is converted into a time axis signal.
  • processing can be performed with a small amount of computation. Become. This is because those methods are compression encoding of the signal on the frequency axis!
  • the mode for decoding the downmix signal is automatically entered. Therefore, the battery life is extended. Also, the listener can detect that the battery life is approaching due to the change in sound quality.
  • FIG. 1 shows a structure of a code signal (bit stream) in the MPEG2 audio standard. It is shown.
  • FIG. 2 is a block diagram showing a configuration of an audio encoder according to the first embodiment.
  • FIG. 3 (a) is a diagram showing a downmix conversion matrix.
  • FIG. 3 (b) is a diagram showing a matrix for generating a signal for returning the downmix signal to the original multi-channel signal.
  • FIG. 3 (c) is a diagram showing a matrix for returning the downmix signal to the original multi-channel signal.
  • FIG. 4 (a) is a diagram showing an example of a matrix when the matrix shown in FIG. 3 (b) is calculated based on a head-related transfer function.
  • FIG. 4 (b) is an inverse matrix of FIG. 4 (a), and shows an example of a matrix for returning the downmix signal to the original multi-channel signal.
  • FIG. 5 is a diagram showing an example of a description method for describing a code amount calculated by a code amount calculation section 103 in FIG. 2 in an encoded signal.
  • FIG. 6 is a flowchart for describing a code amount in a code signal using the description method shown in FIG.
  • FIG. 7 is a diagram showing a data configuration of an encoded signal generated in the first and second embodiments.
  • FIG. 8 is a diagram showing a configuration of an audio encoder according to the second embodiment.
  • FIG. 9 is a diagram showing a configuration of an audio decoder according to Embodiment 3.
  • FIG. 10 is a flowchart showing a procedure when an audio decoder reads a signal representing a code amount described by the code amount description method shown in FIG.
  • FIG. 11 is a diagram showing a configuration of an audio decoder according to Embodiment 4.
  • FIG. 12 is a diagram showing another configuration of the audio decoder according to the fourth embodiment.
  • FIG. 13 (a) is a diagram showing an example of the external appearance of a mono television equipped with an audio decoder of the present invention.
  • FIG. 13 (b) is a diagram showing an example of the external appearance of a mobile phone incorporating the audio decoder of the present invention. Explanation of reference numerals
  • FIG. 2 is a diagram showing a configuration of the audio encoder according to the first embodiment.
  • the audio encoder according to the first embodiment shown in FIG. 2 is configured such that, for each frame in which one frame is composed of a variable-length first encoded signal and a second encoded signal, a leading part of the second encoded signal is provided.
  • An audio encoder that describes a signal representing the code amount of the second encoded signal in the down-mix unit 100, the first encoding unit 101, the second encoding unit 102, the code amount calculation unit 103, A first multiplexing unit 104 and a second multiplexing unit 105 are provided.
  • the first encoded signal is a 2-channel stereo signal obtained by downmixing a multi-channel signal. It is obtained by encoding a signal.
  • the second encoded signal is obtained by encoding information for restoring the original multi-channel signal from the first encoded signal.
  • the downmix unit 100 downmixes an M-channel (M is a natural number satisfying M> 2) multi-channel signal into a stereo signal.
  • M is a natural number satisfying M> 2
  • a stereo signal obtained by downmixing a multi-channel signal is referred to as a “downmix signal”.
  • First encoding unit 101 encodes the downmix signal to generate a first encoded signal.
  • Second encoding unit 102 encodes information for converting the downmix signal into a multi-channel signal.
  • the code amount calculation unit 103 calculates the code amount of the signal encoded by the second encoding unit 102.
  • First multiplexing section 104 multiplexes the code amount calculated by code amount calculating section 103 and the signal generated by second coding section 102 to generate a second coded signal.
  • Second multiplexing section 105 multiplexes the first encoded signal and the second encoded signal.
  • the downmix section 100 receives a multi-channel signal of four channels (front left ch, front right ch, rear left ch, rear right ch) in the present embodiment and downmixes it to a stereo signal. For example, by executing the matrix operation shown in Fig. 3 (a), (front left ch + rear left ch) is newly set to the left ch, and (front right ch + rear right ch) is newly set to the right ch. In general, a method using a transformation matrix is used.
  • the signal of each input channel is converted into a frequency axis signal using a filter bank as defined in the MPEG2 audio standard, and down-mixed according to a conversion matrix defined for each frequency band.
  • a signal of each input channel may be converted into a frequency coefficient using an orthogonal transform method such as FFT (Fast Fourier Transform), and downmixed according to a conversion matrix defined for each frequency coefficient.
  • FFT Fast Fourier Transform
  • each frequency coefficient may be a complex number like a Fourier coefficient.
  • the first encoding unit 101 encodes the downmix signal downmixed on the frequency axis or the time axis to generate a first encoded signal.
  • the encoding by the first encoding unit 101 is an encoding system defined by, for example, the MPEG standard.
  • second encoding unit 102 encodes information for converting the downmix signal into a multi-channel signal.
  • the inverse of the transformation matrix operation used for downmixing The signal generated by the auxiliary matrix operation for establishing the transformation matrix operation is encoded.
  • the simplest example is shown in Fig. 3 (b). That is, the left ch and right ch signals calculated by the matrix operation of the shaded portion in FIG. 3B are encoded. If such a signal is coded and transmitted or stored together with the coded downmix signal, the original four channels (front left channel) are calculated by the inverse matrix operation shown in Fig. 3 (c). , Front right ch, rear left ch, rear right ch).
  • FIG. 4 (a) is a diagram showing an example of a matrix including a coefficient force calculated from the matrix shown in FIG. 3 (b) based on the head-related transfer function HRTF.
  • FIG. 4 (b) is an inverse matrix of FIG. 4 (a), and is a diagram showing an example of a matrix for returning a demodulated signal to an original multi-channel signal.
  • A, b, c, d, e, f, g, h, i, j, k, 1, m, n, o, and p in Figs. 4 (a) and (b) are equivalent to the head-related transfer function HRTF. It is a coefficient calculated based on the above.
  • the original multi-channel spatial information is reflected on the two-channel stereo signal represented by the left and right channels.
  • Such processing may be performed on the input time axis signal.However, the input time axis signal is converted into a frequency axis signal using a filter bank or the like, and the conversion determined for each frequency band is performed. It may be performed according to a permutation matrix. Alternatively, the input time axis signal may be converted into a frequency coefficient using an orthogonal transform method such as FFT, and the conversion may be performed according to a conversion matrix determined for each frequency coefficient. In this case, each frequency coefficient may be a complex number like a Fourier coefficient.
  • code amount calculation section 103 calculates the code amount of the signal encoded by second encoding section 102.
  • the code amount calculation unit 103 determines that the area in which the signal encoded by the second encoding unit 102 is to be described is invalid data other than the signal encoded by the second encoding unit 102, for example, , Null, etc., the code amount including the invalid data is calculated.
  • the claims and the code amount referred to here include the invalid data when the area in which the signal coded by the second coding unit 102 is to be described contains invalid data. The amount of code.
  • first multiplexing section 104 multiplexes the code amount calculated by code amount calculating section 103 and the signal generated by second coding section 102 to generate a second coded signal.
  • FIG. 6 is a diagram showing an example of a description method for describing a code amount calculated by a code amount calculation unit 103 in an encoded signal.
  • FIG. 6 is a flowchart when the code amount is described in the coded signal by the description method shown in FIG.
  • the code amount calculated by the code amount calculation unit 103 is represented by, for example, a variable-length bit field of A bits or (A + B) bits as shown in FIG.
  • the calculated code amount is represented by A bits, it is described only by size_of_ext, and if the calculated code amount exceeds A bits, it is represented by two fields, size_of_ext and size_of_esc .
  • a binary number 1110 is written (S402). In ibo that expresses this condition, the value 14 of size_of_ext is smaller than (1 ⁇ 4)-1, that is, 15 obtained by subtracting 1 from the value 16 obtained by shifting 1 to the left by 4 bits. There is no 8-bit field! That is, in this case, a signal representing the code amount is multiplexed in a 4-bit bit field.
  • second multiplexing section 105 multiplexes first encoded signal 901 and second encoded signal 902.
  • first encoded signal 901 and the second encoded signal 902 are alternately multiplexed as shown in FIG.
  • a code signal is generated such that a signal representing the code amount is multiplexed at the head of 902.
  • a downmix section that downmixes an M-channel (M> 2) multi-channel signal into a stereo signal, and encodes the downmix signal into a first code
  • M> 2 multi-channel signal
  • the first multiplexing unit 104 includes: By multiplexing the signal representing the code amount so that the signal representing the code amount is placed at the head of the second encoded signal, only the first encoded signal is decoded and only the downmix signal is decoded. For a decoder that wants to reproduce the second encoded signal, the information indicating the code amount of the second encoded signal is included in the second encoded signal. It can be removed.
  • the signal representing the code amount is disposed immediately after the symbol identifying the start of the second encoded signal.
  • the information indicating the code amount of the second encoded signal is equal to the head of the second encoded signal.
  • the second encoded signal can be easily removed from the entire encoded signal.
  • the code amount of the second encoded signal may be described in a Fill Element of the MPEG2 encoded signal.
  • the symbol identifying the start of the second encoded signal is a symbol indicating the start of the Fill Element.
  • the number of channels of a multi-channel signal need not be 4, which is 4 for simplicity of explanation, and is generally widely used. Needless to say, it may be.
  • the signal indicating the calculated code amount is preferably described at the head of the second encoded signal, but the present invention is not limited to this. For example, it may be described in the frame header information. Further, a signal indicating the code amount of the first encoded signal may be described in the frame header information. Because the code amount of the entire frame is described in the frame header information, the code amount of the second encoded signal can be easily calculated. (Embodiment 2)
  • FIG. 8 is a diagram showing a configuration of an audio encoder according to the second embodiment.
  • the audio encoder of FIG. 8 is an audio encoder that converts an input four-channel signal on the time axis into a signal on the frequency axis and then downmixes the signal.
  • the downmix unit 500, the first encoding unit 501, A second encoding unit 502, a code amount calculating unit 503, a first multiplexing unit 504, and a second multiplexing unit 505 are provided.
  • second encoding section 502, code amount calculating section 503, first multiplexing section 504 and second multiplexing section 505 are the same as those shown in the first embodiment.
  • the difference from the first embodiment is that the downmix unit 500 receives the frequency axis signal of each input channel generated in the process of the second encoding unit 502 as an input, and The configuration is such that a part of the frequency axis signal or the frequency axis signal of the band is downmixed, and the first encoding unit 501 receives the signal downmixed by the downmixing unit 500 as an input.
  • the signal is configured to be encoded.
  • the second encoding unit 502 converts the input four-channel signal into a frequency axis signal having the same number of samples as the number of samples of the signal on the time axis. This may be performed by using a filter bank or by using an orthogonal transform method such as FFT to transform the frequency coefficients. In this case, each frequency coefficient may be a complex number like a Fourier coefficient.
  • the frequency axis signal of each channel is transmitted to the downmix section 500, and the downmix section 500 performs a downmix process by a predetermined method.
  • the downmix processing performed on the corresponding frequency axis signals of each channel may be performed by the matrix operation described in the first embodiment.
  • second encoding section 502 encodes information for converting the downmix signal into a multi-channel signal. This method is the same as the method described in the first embodiment!
  • downmix section 500 may perform downmix processing on only a part of the band of the received frequency axis signal of each channel. For example, a signal from which a part of the high frequency side of the entire frequency band has been removed is downmixed. This thing Therefore, for a decoder who wants to decode only the first encoded signal and reproduce only the downmix signal, the amount of calculation for decoding is small because the frequency band of the encoded signal is narrow. Become. Further, by downmixing signals in a frequency band equal to or less than 1Z2 of the entire frequency band, further convenience can be enjoyed for the following reasons.
  • the first encoding unit 501 may be an encoding system defined by, for example, the MPEG standard.
  • the frequency band is a frequency band equal to or less than 1Z2 of the entire frequency band, the This is because it matches the frequency band assumed by the band expansion technology (ISOZIEC14496-3) studied in the standard, so that it becomes easier to interface with that technology.
  • the signal decomposed into frequency components may be downmixed while performing filter processing based on the head-related transfer function.
  • the filtering process based on the head-related transfer function for the signal decomposed into frequency components may be performed by a method as described in Japanese Patent Application Laid-Open No. H11-3242000. By doing so, even when only the encoded signal encoded by the first encoding unit 501 is reproduced, the original multi-channel spatial information is reflected. Needless to say, this may be performed in the processing process of the first embodiment, which is not limited to the processing process of the second embodiment.
  • downmix section 500 that downmixes an M-channel (M> 2) multi-channel signal into a stereo signal, encodes the downmix signal and performs first encoding
  • a first encoding unit 501 that generates a signal
  • a second encoding unit 502 that encodes information for converting the downmix signal back to a multi-channel signal
  • a second encoding unit 502 that encodes the information.
  • the downmixing unit 500 converts the multi-channel signal into Each is converted to a frequency axis signal and a part or all of the frequency axis signal is converted. Wavenumber Since the downmix processing can be performed on the frequency axis by downmixing the band signal to the stereo signal, the second encoding unit 502 performs the encoding processing on the signal on the frequency axis. Thus, the downmix process and the second encoding process can be performed efficiently.
  • the downmix processing can be performed with a small amount of calculation, and at the same time, the first encoding unit 501 can handle a signal in a narrow band. Therefore, the compression ratio can be improved. Further, when only the encoded signal encoded by the first encoding unit 501 is reproduced, a signal of a narrow band is handled, so that the amount of calculation for decoding is reduced. Also, if the downmix processing is processed in the original frequency band of 1Z2, the signal in the band of 1Z2 or less in the first encoding unit 501 will be handled, so that the compression rate can be further improved.
  • band expansion technology (ISOZIEC14496-3), which has been widely researched and developed in recent years, is a technology that expands the signal in the band below the power band, so that it becomes easier to interface with that technology.
  • the head-related transfer function is also filtered during the downmixing process, even if only the coded signal coded by the first coding unit 501 is reproduced, the original multi-channel Will be reflected.
  • the number of channels of the multi-channel signal does not have to be 4, which is 4 for the sake of simplicity of explanation, and is generally widely used. Needless to say, it may be.
  • This audio decoder is an audio decoder that decodes the encoded signal encoded in the first or second embodiment. That is, the first symbol obtained by encoding a stereo signal obtained by downmixing an M-channel (M> 2) multi-channel signal
  • An audio decoder that decodes a code signal in which a signal for converting a downmix signal into a multi-channel signal and a second code signal in which information for converting the downmix signal into a multi-channel signal are multiplexed.
  • a value indicating the code amount of the second encoded signal is multiplexed in the second encoded signal.
  • FIG. 9 is a diagram showing a configuration of an audio decoder according to the third embodiment.
  • the audio decoder includes a first encoded signal extracting section 600, a second encoded signal extracting section 601, a first decoding section 602, a code amount extracting section 603, and a substantial signal extracting section 604. Is provided.
  • First encoded signal extracting section 600 extracts the first encoded signal.
  • the second encoded signal extracting section 601 extracts the second encoded signal.
  • First decoding unit 602 decodes the downmix signal based on the first encoded signal.
  • the code amount extracting unit 603 extracts a signal that is included in the second encoded signal and indicates the code amount of the second encoded signal.
  • the entity signal extracting unit 604 extracts a second encoded signal from the encoded signal based on the signal representing the code amount extracted by the code amount extracting unit 603.
  • the first encoded signal extraction unit 600 is configured to return a first encoded signal obtained by encoding a stereo signal obtained by downmixing a four-channel multi-channel signal and a downmix signal to a multi-channel signal.
  • the first encoded signal is extracted from the encoded signal in which the information is encoded and multiplexed with the second encoded signal.
  • the first encoded signal since the first encoded signal is the encoded signal generated by the first encoding unit of the first or second embodiment, the first encoded signal extraction unit 600 Then, the first encoded signal may be extracted in accordance with the encoded format of the first encoded signal. For example, if the first encoding unit is a coding unit conforming to the MPEG standard AAC system, the first coding unit extracting unit 600 converts the first coding signal according to the AAC encoding format. I just need to take it out.
  • the first decoding unit 602 decodes the downmix signal based on the first encoded signal.
  • the decoding method here may be performed in accordance with the encoding standard of the first encoded signal.
  • FIG. 10 is a flowchart showing a procedure when a signal representing the code amount described by the code amount description method shown in FIG. 5 is read by an audio decoder.
  • the second code The code amount extracting unit 603 incorporated in the encoded signal extracting unit 601 extracts a signal included in the second encoded signal and representing the code amount of the second encoded signal (S501).
  • the code amount sum is represented by A bits or (A + B) bits shown in FIG. For example, assume that size_of_ext shown in FIG. 5 is 4 bits, size_of_esc is 8 bits, and the value of size_of_ext is 1010 in binary.
  • size_of_ext bit size_of_esc is 8 bits, and the value of 6_0 1: is 1111 in binary
  • the code amount extracting unit 603 further extracts 8-bit size_of_esc (S503).
  • the substantive signal extracting unit 604 extracts a second encoded signal from the encoded signal based on the signal indicating the code amount extracted by the code amount extracting unit 603. For example, if the code amount is 20 bytes, the code amount of the second code signal that encodes information for converting the subsequent 20-byte signal power downmix signal back to a multi-channel signal is determined. Since the two encoded signals are unnecessary for a decoder that reproduces only the downmix signal, it is sufficient to skip the encoded signals by the size thereof.
  • the value according to the code amount multiplexed on the second encoded signal is always a signal obtained by encoding information for returning a downmix signal to a multi-channel signal.
  • the code amount need not be exactly the same, but may be the same or a larger value. For example, if the net code amount of a signal obtained by encoding information for converting a downmix signal back to a multi-channel signal is 18 bytes, for example, if 2 bytes of additional information are added, although this may be substantially meaningless information), the value corresponding to the code amount multiplexed in the second encoded signal should be 20. That is, this is the same as the case where the second encoding signal includes two bytes that are additional information or meaningless information. By doing so, the substantive signal extraction unit allows the content of the encoded signal This is because there is no need to be aware of it at all.
  • the audio decoder includes a first encoded signal obtained by encoding a stereo signal obtained by downmixing an M-channel (M> 2) multi-channel signal, A first encoded signal extracting unit 600 for extracting the first encoded signal for the encoded signal in which the second encoded signal obtained by encoding the information for returning the A second decoding unit for extracting a second encoding signal; a first decoding unit for decoding a downmix signal based on the first encoding signal; (2) A code amount extracting unit 601 extracts a signal representing a code amount included in the second encoded signal, and a code amount extracting unit 603 based on the signal representing the code amount extracted by the code amount extracting unit 603. !
  • the second encoding from the encoded signal Further comprising a real signal extraction unit 604 to retrieve the items.
  • a real signal extraction unit 604 to retrieve the items.
  • the signal indicating the code amount is arranged at the head of the second encoded signal. This is because, for a decoder that wants to decode only the first encoded signal and reproduce only the downmix signal, the information indicating the code amount of the second encoded signal is added to the head of the second encoded signal. This is because, if arranged, the second encoded signal can be easily removed from the entire encoded signal.
  • the original multi-channel signal is preliminarily down-mixed into a two-channel signal by the filtering process based on the head-related transfer function.
  • the decoder simply decodes the first encoded signal and returns the original multi-channel signal.
  • the audio reflecting the spatial information can be reproduced.
  • the number of channels of the multi-channel signal need not be 4, which is 4 for the sake of simplicity of explanation, and is generally widely used. Needless to say, it may be.
  • the present audio decoder is an audio decoder that decodes the encoded signal encoded in Embodiment 1 or 2. That is, a first encoded signal obtained by encoding a stereo signal obtained by downmixing an M-channel (M> 2) multi-channel signal, and information for returning the downmix signal to a multi-channel signal are encoded.
  • the audio decoder decodes the encoded signal multiplexed with the second encoded signal.
  • the value indicating the code amount of the second encoded signal is multiplexed in the second encoded signal.
  • FIG. 11 is a diagram showing a configuration of an audio decoder according to the fourth embodiment.
  • the audio decoder according to the fourth embodiment includes a first encoded signal extracting section 700, a second encoded signal extracting section 701, a first decoding section 702, a code amount extracting section 703, It includes a body signal extracting unit 704, a second decoding unit 705, a filter unit 706, and a selecting unit 707.
  • the third embodiment is different from the third embodiment in that a second decoding unit 705 that decodes a multi-channel signal based on a first encoding signal and a second encoding signal, A filter unit 706 that performs a filtering process based on the head-related transfer function on the multi-channel signal, and a selection unit 707 that selects a signal generated by the first decoding unit 702 or a signal generated by the filter unit 706 Is provided.
  • the first encoded signal extracting unit 700, the second encoded signal extracting unit 701, the first decoding unit 702, the code amount extracting unit 703, and the actual signal extracting unit 704 are the same as those described in the third embodiment. Is the same as
  • the first encoded signal extracting section 700 is used to return a first encoded signal obtained by encoding a stereo signal obtained by down-mixing a four-channel multi-channel signal and a down-mixed signal to a multi-channel signal.
  • the first encoded signal is extracted from the encoded signal in which the information is encoded and multiplexed with the second encoded signal. This operation is the same as in the third embodiment.
  • first decoding section 702 decodes the downmix signal based on the first encoded signal. This operation is the same as in the third embodiment.
  • a code amount extracting section 703 built in the second encoded signal extracting section 701 outputs a signal representing the code amount of the second encoded signal included in the second encoded signal. Take out . This operation is the same as in the third embodiment.
  • entity signal extracting section 704 extracts the second encoded signal from the encoded signal. This operation is the same as in the third embodiment.
  • second decoding section 705 decodes the multi-channel signal based on the first encoded signal and the second encoded signal.
  • the first encoded signal and the second encoded signal are encoded signals generated by the audio encoder according to the first or second embodiment, so that the second decoded signal Unit 705 should decode the first encoded signal and the second encoded signal according to the encoding format to generate a multi-channel signal.
  • filter section 706 performs a filtering process based on the head-related transfer function on the decoded multi-channel signal.
  • selecting section 707 selects whether the signal is generated by the first decoding section or the signal generated by the filter section.
  • the first encoded signal obtained by encoding a stereo signal obtained by downmixing an M-channel (M> 2) multi-channel signal, and the down-mixed signal are multi-sampled.
  • a coded signal multiplexed with a second coded signal obtained by multiplexing information for returning to a channel signal a first coded signal extracting unit 700 for extracting a first coded signal
  • a second encoding signal included in the second encoding signal included in the second encoding signal.
  • a code amount extracting unit 703 for extracting a signal representing the code amount to be extracted, and a signal based on the signal representing the code amount extracted by the code amount extracting unit 703! Then, a substantive signal extracting section 704 for extracting the second encoded signal from the encoded signal, and a second signal for decoding the multi-channel signal based on the first encoded signal and the second encoded signal.
  • the selection section 707 for selecting whether the signal is a selected signal or not, so that the user can select a reproduced sound of the downmix signal and a reproduced sound obtained by performing a filtering process based on the head-related transfer function on the multi-channel signal. It becomes.
  • the second decoding unit 705 generates a frequency axis signal of each multi-channel signal, and generates a head-related transfer function on the frequency axis for the frequency axis signal of each multi-channel signal.
  • the frequency axis signal may be converted to a time axis signal.
  • a method as described in JP-A-11 032400 may be used. By doing so, for example, when combined with the AAC method (ISOZIEC 13818-7) or the AAC-SBR method (ISOZIEC 14496-3), the amount of computation can be significantly reduced.
  • the number of channels of the multi-channel signal need not be 4, which is 4 for the sake of simplicity of description, and is generally widespread. Needless to say, it may be.
  • the second decoding unit receives the first coded signal and the second coded signal as inputs and decodes the multi-channel signal using them, but The multi-channel signal may be decoded using the signal decoded by the decoding unit.
  • FIG. 12 is a diagram showing another configuration of the audio decoder according to the fourth embodiment. In that case, the configuration is as shown in FIG.
  • the selection unit is automatically set in the first decoding unit. If the control is performed so as to output the generated signal, the battery life is extended because the apparatus automatically enters the downmix signal decoding mode when the battery is near. Also, the listener can detect that the battery life is approaching due to the change in sound quality.
  • FIG. 13 is a diagram illustrating an example of the appearance of a mobile audio device including the audio decoder of the present invention.
  • A is a mobile telecommunication system incorporating the audio decoder of the present invention. It is a figure showing an example of a bi.
  • B is a diagram showing an example of a mobile phone incorporating the audio decoder of the present invention.
  • a portable device such as that shown in the figure, if the amount of computation per unit time is large, the circuit scale will increase due to parallelization of computation processing, etc.
  • the audio encoder according to the present invention which is an audio encoder for encoding a multi-channel signal, generates an encoded signal that can reproduce an encoded multi-channel signal with an inexpensive decoder. In particular, it can be applied to portable devices that require miniaturization of devices.
  • the audio decoder according to the present invention is suitable for reproducing the encoded signal obtained by encoding the multi-channel signal with a 2-channel reproducing unit, for example, headphones. It can be applied to mobile devices that need to be modified, such as mobile phones, MDs, SDs and mobile phones.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)

Abstract

　マルチチャネル信号をもとに、ステレオ信号を生成するオーディオエンコーダであって、ダウンミックス部１００は、２チャネルを超えるマルチチャネル信号を、２チャネルのステレオ信号にダウンミックスする。第１符号化部１０１は、ダウンミックスされたステレオ信号を符号化し、第１符号化信号を生成する。第２符号化部１０２は、ダウンミックスされたステレオ信号をマルチチャネル信号に戻すための情報を符号化し、第２符号化信号を生成する。符号量算出部１０３は、第２符号化信号の符号量を算出する。第１多重化部１０４は、第１符号化信号または第２符号化信号とのいずれかと、算出された符号量とを多重化する。これにより、デコーダは、上記符号量に基づいてマルチチャネル信号の符号化信号を簡単に抜き取れるので、ダウンミックス信号のみを再生するデコーダを安価に構成することができる。

Description

オーディオエンコーダ及びオーディオデコーダ
技術分野
[0001] 本発明は、マルチチャネル信号を符号ィ匕するオーディオエンコーダに関する。特に
、エンコードされたマルチチャネル信号を安価なデコーダで再生できるような符号ィ匕 信号を生成するオーディオエンコーダに関する。
[0002] また、本発明は、そのようなオーディオエンコーダでエンコードされた符号ィ匕信号を デコードするオーディオデコーダに関する。特にマルチチャネル信号を 2チャネルで 再生するようなオーディオデコーダに関する。
背景技術
[0003] 従来から、マルチチャネル信号を安価な再生装置、とりわけ 2チャネルの再生装置 で再生することができるような符号ィ匕信号を生成するオーディオエンコーダの研究開 発が行われている。例えば、 MPEG2オーディオ規格（IS013818— 3)では、マルチ チャネル信号を 2チャネルにダウンミックスした信号と、当該ダウンミックスされた信号 をマルチチャネル信号に戻すための信号とを分けて、それぞれ第 1符号化信号、第 2 符号化信号として符号化し、安価なデコーダでは上記第 1符号化信号のみを復号化 することができる技術が開示されて 、る (非特許文献 1参照)。
非特許文献 1： MPEG2オーディオ規格（ISO 13818-3)
発明の開示
発明が解決しょうとする課題
[0004] しかしながら、 MPEG2オーディオ規格では、上記第 1符号化信号と、上記第 2符 号化信号とを分離することが容易ではな 、と 、う課題があった。
[0005] 図 1は、 MPEG2オーディオ規格における符号ィ匕信号 (ビットストリーム）の構造を示 したものである。図 1において、フレームヘッダ情報 900は、 1152サンプルごとに符 号化された 1フレームの符号ィ匕情報の開始位置を示している。第 1符号ィ匕信号 901 は、マルチチャネル信号を 2チャネルにダウンミックスしたステレオ信号を符号ィ匕した 符号化信号である。第 2符号ィ匕信号 902は、ダウンミックス信号をマルチチャネル信 号に戻すための情報を符号ィ匕して得られる符号ィ匕信号である。
[0006] さてここで、第 1符号ィ匕信号 901のみをデコードしたいと欲する、例えば、 2チャネル 再生のみを前提として設計された携帯電話機などのデコーダは、第 1符号ィ匕信号 90 1を取得し復号ィ匕した後、第 2符号ィ匕信号 902を読み飛ばしたいと欲するが、以下の 理由によって容易には第 2符号ィ匕信号 902の量を取得することができず、従って、容 易には第 2符号ィ匕信号 902を読み飛ばすことができない。なぜならば、各フレームの フレームサイズは各フレームのフレームヘッダ情報 900を解析することで容易に取得 することができるが、第 1符号ィ匕信号 901の符号量は図に例示したようにフレームごと に可変であるので、必然的に第 2符号ィ匕信号 902の符号量も可変となる。従って、第 2符号化信号 902の符号量は、当該フレームのフレームサイズから当該フレームの第 1符号ィ匕信号 901の符号量を引くことによってしか知ることができない。従って第 1符 号ィ匕信号 901をデコードする際、第 1符号ィ匕信号 901の符号量をいちいち算出しな ければならな 、こととなり、このことに多大の演算資源を費やさなければならな 、と ヽ う課題がある。
[0007] また、従来の技術では、以下のような課題もある。
MPEG2オーディオ規格では、復号化されたダウンミックス信号は、サンプル時刻 ごとに所定のマトリックス演算によってダウンミックスされているので、もともとのマルチ チャネル信号の空間情報が失われているという。従って、元の空間情報を再現した 上で、 2チャネルダウンミックスした信号を再生せんと欲した場合、つまり、仮想サラウ ンド処理を施した 2チャネル信号を再生せんと欲した場合、一旦、第 1符号化信号 90 1と第 2符号ィ匕信号 902とを用いてマルチチャネル信号を復号した後、頭部伝達関数 に基づいて空間情報をフィルタ処理する必要があり、そのことに多大の演算資源を費 やさなければならな 、と 、う課題がある。
[0008] 本発明は、このような従来の問題点に鑑みてなされたものであって、ダウンミックス 信号をマルチチャネル信号に戻すための情報を符号ィヒした符号ィヒ信号の符号量を 簡単に知りえるような符号ィ匕信号を生成するオーディオエンコーダを提供することを 目的とする。
[0009] さらに、本発明は、ダウンミックス信号を再生するだけで元のマルチチャネルの空間 情報が再生できるような符号ィ匕情報を生成するオーディオエンコーダを提供すること を第 2の目的とする。
[0010] また、そのようなオーディオエンコーダで符号化された符号ィ匕信号を少な 、演算量 で復号ィ匕するオーディオデコーダを提供することを目的とする。
課題を解決するための手段
[0011] 上記の課題を解決するため、本発明のオーディオエンコーダは、 2チャネルを超え るマルチチャネル信号を、 2チャネルのステレオ信号にダウンミックスするダウンミック ス手段と、前記ダウンミックスされたステレオ信号を符号ィ匕し、第 1符号化信号を生成 する第 1符号化手段と、前記ダウンミックスされたステレオ信号をマルチチャネル信号 に戻すための情報を符号ィヒし、第 2符号化信号を生成する第 2符号化手段と、前記 第 2符号化信号の符号量を算出する符号量算出手段と、前記第 1符号化信号、前記 第 2符号化信号および算出された前記符号量を表す信号を多重化する多重化手段 とを備えることを特徴とする。
[0012] また、前記多重化手段は、前記符号量算出手段で算出された符号量と、前記第 2 符号化信号とを多重化する第 1多重化部と、前記第 1符号化信号と、前記符号量が 多重化された前記第 2符号化信号とを多重化する第 2多重化部とを備えるとしてもよ い。
[0013] さらに、前記第 1多重化部は、前記符号量算出手段で算出された前記符号量を、 前記第 2符号ィ匕信号の先頭に配置して多重化するとしてもよい。
[0014] また、前記第 1多重化部は、前記符号量算出手段で算出された前記符号量を、前 記第 2符号化信号の開始を識別する記号の直後に配置するように多重化するとして ちょい。
[0015] さらに、前記第 1多重化部は、前記符号量算出手段で算出された前記符号量を表 す信号を可変長で記述し、前記第 2符号化信号に多重化するとしてもよい。
[0016] また、前記ダウンミックス手段は、前記マルチチャネル信号に頭部伝達関数を用い た演算を行 、、ダウンミックス処理を行うとしてもよ 、。
[0017] また、前記ダウンミックス手段は、周波数軸上で、前記マルチチャネル信号に頭部 伝達関数を用いた演算を行うとしてもよい。 [0018] さらに、前記第 2符号化信号は無効なデータを含み、前記符号量算出手段は、前 記無効なデータを含む前記第 2符号化信号の符号量を算出するとしてもよい。
[0019] 上記の課題を解決するため、本発明のオーディオデコーダは、 2チャネルを超える マルチチャネル信号力もダウンミックスされた 2チャネルのステレオ信号が符号ィ匕され て得られる第 1符号化信号と、前記ステレオ信号カゝらマルチチャネル信号を生成する ための情報が符号化されて得られたものである第 2符号ィ匕信号と、前記第 2符号ィ匕 信号の符号量を表す信号とを含む符号化信号を取得する取得手段と、取得された 前記符号ィ匕信号を復号化してステレオ信号を出力する復号ィ匕手段とを備える。
[0020] また、前記復号化手段は、取得された前記符号化信号から、前記第 1符号化信号 を読み出す第 1符号化信号読み出し部と、前記第 2符号化信号の符号量を表す信 号を、前記符号化信号から読み出す符号量読み出し部と、前記第 1符号化信号読 み出し部によって読み出された前記第 1符号化信号を復号化して、前記ステレオ信 号を出力する第 1復号化部とを備え、前記第 1符号化信号読み出し部は、前記符号 量読み出し部によって読み出された前記符号量を表す信号に基づいて、第 2符号化 信号を読み飛ばすとしてもよ ヽ。
[0021] また、前記第 1符号化信号は、頭部伝達関数を用いた演算によりあらかじめ仮想サ ラウンド効果が付与されたステレオ信号が符号化されたものであり、前記第 1復号ィ匕 部は、仮想サラウンド効果の付与されたステレオ信号を出力するとしてもよい。
[0022] また、前記オーディオデコーダは、さらに、前記第 2符号化信号を前記符号化信号 から読み出す第 2符号化信号読み出し部と、読み出された前記第 1符号化信号と前 記第 2符号ィ匕信号とに基づいて、マルチチャネル信号を復号ィ匕する第 2復号ィ匕部と、 前記復号ィ匕されたマルチチャネル信号に対し、頭部伝達関数に基づくフィルタ処理 を施し、仮想サラウンド効果が付与されたステレオ信号を出力するフィルタ部と、前記 第 1復号ィ匕部から出力される前記ステレオ信号と、前記フィルタ部カゝら出力される前 記仮想サラウンド効果が付与されたステレオ信号とのいずれかを選択する選択部とを 備えるとしてもよ 、。
[0023] さらに、前記第 1復号化部は、前記ステレオ信号の周波数軸信号を生成し、前記フ ィルタ部は、前記ステレオ信号の周波数軸信号力 復元されたマルチチャネル信号 の周波数軸信号に対し、頭部伝達関数に基づくフィルタ処理を行 、2チャネルの周 波数軸信号を生成した後、前記周波数軸信号を時間軸信号に変換するとしてもよい
[0024] また、前記オーディオデコーダは、さらに、少なくとも前記第 2復号化部を駆動する 為の電力を供給する電力供給部を備え、前記選択部は、前記電力供給部からの電 力供給量が所定の値を下回った場合、前記第 1復号化部からのステレオ信号を選択 するとしてちょい。
[0025] さらに、前記符号量読み出し部によって読み出される前記第 2符号化信号の符号 量を表す信号は、無効なデータを含む前記第 2符号化信号の符号量を表す信号で あるとしてもよ 、。
発明の効果
[0026] 本発明によれば、ダウンミックス信号をマルチチャネル信号に戻すために必要な情 報を符号化して得られる第 2符号化信号の符号量を、オーディオデコーダで簡単に 知りえるような符号ィ匕信号を生成することができることとなる。従って、ダウンミックス信 号のみを再生する再生装置にお 、ても、容易にダウンミックス信号のみを復号ィ匕して 再生することができる。
[0027] 本発明によれば、前記第 2符号化信号の符号量を表す信号を、前記第 2符号化信 号の開始位置の直後から入手することができることとなる。
[0028] 本発明によれば、前記第 2符号化信号の符号量を表す信号を、その値の大きさに 応じて可変符号長で多重化できるので、符号量を表す信号多重化のためのビット数 を節約することができることとなる。
[0029] さらに、本発明によれば、ダウンミックス処理を周波数軸上で行うことができるので、 前記第 2符号化手段が周波数軸上の信号に対し符号化処理を行う場合、前記ダウン ミックス処理と前記第 2符号ィ匕の処理とが効率的に実施できることとなる。
[0030] 本発明によれば、第 1符号化手段が、 1Z2以下の帯域の信号を扱うことになるので 、圧縮率が向上できることとなる。また、第 1符号化手段で符号化された符号化信号 のみを再生する場合、 1Z2以下の帯域の信号を扱うことになるので復号ィ匕の演算量 が少なくて済むこととなる。また、近年広く研究開発が行われている帯域拡大技術 (I SOZIEC14496— 3)が 1Z2帯域の以下の帯域の信号を拡大する技術であるので 、その技術とのインターフェースがとり易くなることとなる。
[0031] また、本発明によれば、ダウンミックス信号力 頭部伝達関数のフィルタ処理された 信号となり、第 1符号ィ匕信号のみを再生した場合でも、もともとのマルチチャネルの空 間情報が反映されることとなる。
[0032] さらに、本発明によれば、ダウンミックス信号力 頭部伝達関数のフィルタ処理され た信号となり、第 1符号ィ匕信号のみを再生した場合でも、もともとのマルチチャネルの 空間情報が反映されることとなる。し力も頭部伝達関数の処理を周波数軸上で実施 するので、近年主流のオーディオ圧縮方式、例えば、 AAC方式 (ISOZIEC13818 -7)や AAC—SBR方式（ISOZIEC14496— 3)と組み合わせたとき、少な 、演算量 で処理が実行できることとなる。なぜならば、それらの方式が、周波数軸上の信号を 圧縮符号化して ヽる方式であるからである。
[0033] また、本発明によれば、ダウンミックス信号のみを復号ィ匕した 、と欲する場合、簡単 な処理でマルチチャネルィ匕のために情報を取り去ることができることとなる。
[0034] さらに、本発明によれば、ダウンミックス信号の再生音と、マルチチャネル信号に対 し、頭部伝達関数に基づくフィルタ処理を施した再生音とを選択できることとなる。
[0035] また、本発明によれば、周波数軸上で頭部伝達関数に基づくフィルタ処理を行!、2 チャネルの周波数軸信号を生成した後、当該周波数軸信号を時間軸信号に変換す ることができるので、近年主流のオーディオ圧縮方式、例えば、 AAC方式 (ISOZIE C 13818—7)や AAC— S BR方式（ISOZIEC 14496—3)と組み合わせたとき、少な い演算量で処理が実行できることとなる。なぜならば、それらの方式が、周波数軸上 の信号を圧縮符号化して!/ヽる方式であるからである。
[0036] さらに、本発明によれば、オーディオデコーダを駆動する為の電力が低下した場合 、例えば電池寿命がつきかけている場合、自動的にダウンミックス信号の復号ィ匕のモ ードに入るので、電池寿命が延長することとなる。また、聴取者は音質の変化によつ て電池寿命がつきかけていることを検知することができることとなる。
図面の簡単な説明
[0037] [図 1]図 1は、 MPEG2オーディオ規格における符号ィ匕信号 (ビットストリーム）の構造 を示したものである。
[図 2]図 2は、本実施の形態 1におけるオーディオエンコーダの構成を示すブロック図 である。
[図 3]図 3 (a)は、ダウンミックスの変換マトリックスを示す図である。図 3 (b)は、ダウンミ ックス信号を元のマルチチャネル信号に戻すための信号を生成するマトリックスを示 す図である。図 3 (c)は、ダウンミックス信号を元のマルチチャネル信号に戻すための マトリックスを示す図である。
[図 4]図 4 (a)は、図 3 (b)に示したマトリックスを頭部伝達関数に基づいて算出した場 合のマトリックスの一例を示す図である。図 4 (b)は、図 4 (a)の逆行列であり、ダウンミ ックス信号を元のマルチチャネル信号に戻すためのマトリックスの一例を示す図であ る。
[図 5]図 5は、図 2の符号量算出部 103で算出された符号量を符号化信号に記述す るための記述方法の一例を示す図である。
[図 6]図 6は、図 5に示した記述方法で符号量を符号ィ匕信号に記述する際のフローチ ヤートである。
[図 7]図 7は、本実施の形態 1、 2で生成される符号化信号のデータ構成を示す図で ある。
[図 8]図 8は、本実施の形態 2におけるオーディオエンコーダの構成を示す図である。
[図 9]図 9は、本実施の形態 3におけるオーディオデコーダの構成を示す図である。
[図 10]図 10は、図 5に示した符号量記述方法で記述されている符号量を表す信号を オーディオデコーダで読み取る場合の手順を示すフローチャートである。
[図 11]図 11は、本実施の形態 4におけるオーディオデコーダの構成を示す図である
[図 12]図 12は、本実施の形態 4におけるオーディオデコーダのもう 1つの構成を示す 図である。
[図 13]図 13 (a)は、本発明のオーディオデコーダを内蔵するモノィルテレビの外観 の一例を示す図である。図 13 (b)は、本発明のオーディオデコーダを内蔵する携帯 電話機の外観の一例を示す図である。 符号の説明
[0038] 100, 500 ダウンミックス部
101, 501 第 1符号化部
102, 502 第 2符号化部
103, 503 符号量算出部
104, 504 第 1多重化部
105, 505 第 2多重化部
600, 700, 800 第 1符号化信号取り出し部
601, 701, 801 第 2符号化信号取り出し部
602, 702, 802 第 1復号化部
603, 703, 803 符号量取り出し部
604, 704, 804 実体信号取り出し部
705, 805 第 2復号化部
706, 806 フィルタ部
707, 807 選択部
900 フレームヘッダ情報
901 第 1符号化信号
902 第 2符号化信号
発明を実施するための最良の形態
[0039] (実施の形態 1)
以下、本発明の実施の形態 1におけるオーディオエンコーダについて図面を参照 しながら説明する。図 2は本実施の形態 1におけるオーディオエンコーダの構成を示 す図である。図 2に示す実施の形態 1のオーディオエンコーダは、 1フレームがそれ ぞれ可変長の第 1符号ィ匕信号と第 2符号ィ匕信号とからなるフレームごとに、第 2符号 化信号の先頭部に当該第 2符号化信号の符号量を表す信号を記述しておくオーデ ィォエンコーダであって、ダウンミックス部 100、第 1符号化部 101、第 2符号化部 10 2、符号量算出部 103、第 1多重化部 104および第 2多重化部 105を備える。第 1符 号ィ匕信号は、マルチチャネル信号をダウンミックスして得られる 2チャネルのステレオ 信号を符号化して得られる。第 2符号化信号は、第 1符号ィヒ信号カゝら元のマルチチヤ ネル信号を復元するための情報を符号ィ匕して得られる。ダウンミックス部 100は、 M チャネル (Mは M > 2を満たす自然数）のマルチチャネル信号をステレオ信号にダウ ンミックスする。なお、以下では、マルチチャネル信号をダウンミックスして得られたス テレオ信号のことを「ダウンミックス信号」という。第 1符号ィ匕部 101は、ダウンミックス信 号を符号化し、第 1符号化信号を生成する。第 2符号ィ匕部 102は、ダウンミックス信号 をマルチチャネル信号に戻すための情報を符号ィ匕する。符号量算出部 103は、第 2 符号化部 102で符号化された信号の符号量を算出する。第 1多重化部 104は、符号 量算出部 103で算出された符号量と第 2符号化部 102で生成された信号とを多重化 し、第 2符号化信号を生成する。第 2多重化部 105は、第 1符号化信号と第 2符号ィ匕 信号とを多重化する。
[0040] 以上のように構成されたオーディオエンコーダの動作について以下説明する。まず 、ダウンミックス部 100は、本実施の形態では 4チャネル（前左 ch、前右 ch、後左 ch、 後右 ch)のマルチチャネル信号を入力とし、ステレオ信号にダウンミックスする。その 方法は例えば、図 3 (a)に示したマトリックス演算を実行し、（前左 ch+後左 ch)を新 たに左 chとし、（前右 ch +後右 ch)を新たに右 chとする、というような変換マトリックス を用いる方法が一般的である。または、 MPEG2オーディオ規格で定められているよ うに、入力の各チャネルの信号をフィルタバンクを用いて周波数軸信号に変換し、そ れぞれの周波数帯域ごとに定められた変換マトリックスに従ってダウンミックスしてもよ い。または、入力の各チャネルの信号を FFT (Fast Fourier Transform)など直交変換 方式を用いて周波数係数に変換し周波数係数ごとに定められた変換マトリックスに従 つてダウンミックスしてもよい。この場合、各周波数係数は、フーリエ係数のように、複 素数であってもよい。
[0041] 次に第 1符号ィ匕部 101は、周波数軸上または時間軸上でダウンミックスされたダウ ンミックス信号を符号ィ匕し、第 1符号化信号を生成する。ここで第 1符号ィ匕部 101によ る符号化は、例えば MPEG規格などで規定された符号ィ匕方式でょ ヽ。
[0042] 次に第 2符号ィ匕部 102は、ダウンミックス信号をマルチチャネル信号に戻すための 情報を符号化する。例えば、ダウンミックスに用いた変換マトリックス演算に対する逆 変換マトリックス演算を成立させる為の補助マトリックス演算によって生成された信号 を符号化する。最も単純な例を図 3 (b)に示した。すなわち、図 3 (b)の網掛け部分の マトリックス演算によって算出された左 ' ch、右 ' chの信号を符号化する。このような信 号が符号化され、ダウンミックス信号を符号化した信号とともに伝送、または蓄積され ていれば、図 3 (c)に示した逆マトリックス演算によって、もとの 4チャネル (前左 ch、前 右 ch、後左 ch、後右 ch)のマルチチャネル信号にもどすことができる力 である。図 4 (a)は、図 3 (b)に示したマトリックスを頭部伝達関数 HRTFに基づいて算出された係 数力もなるマトリックスの一例を示す図である。図 4 (b)は、図 4 (a)の逆行列であり、ダ ゥンミックス信号を元のマルチチャネル信号に戻すためのマトリックスの一例を示す図 である。図 4 (a)および (b)の a, b, c, d, e, f, g, h, i, j, k, 1, m, n, o, pは、頭部伝達関 数 HRTFに基づ 、て算出された係数である。このような頭部伝達関数に基づくマトリ ックスを用いることによって、左 chおよび右 chによって表される 2チャネルのステレオ 信号に、もともとのマルチチャネルの空間情報が反映されることとなる。このような処理 は入力の時間軸信号に対して行われても良いが、入力の時間軸信号をフィルタバン クなどを用いて周波数軸信号に変換し、それぞれの周波数帯域ごとに定められた変 換マトリックスに従って行われてもよい。または、入力の時間軸信号を FFTなど直交 変換方式を用いて周波数係数に変換し周波数係数ごとに定められた変換マトリック スに従って行われてもよい。この場合、各周波数係数は、フーリエ係数のように、複素 数であってもよい。
[0043] 次に符号量算出部 103は、第 2符号化部 102で符号化された信号の符号量を算 出する。ただし、符号量算出部 103は、第 2符号ィ匕部 102で符号化された信号を記 述すべき領域が、第 2符号化部 102で符号化された信号以外の無効なデータ、例え ば、 nullなどを含む場合には、その無効なデータを含んだ符号量を算出する。すなわ ち、請求項およびここでいう符号量とは、第 2符号化部 102で符号化された信号を記 述すべき領域が、無効なデータを含む場合には、その無効なデータを含んだ符号量 をいう。
[0044] 次に第 1多重化部 104は、符号量算出部 103で算出された符号量と、第 2符号ィ匕 部 102で生成された信号とを多重化し、第 2符号化信号を生成する。図 5は、図 2の 符号量算出部 103で算出された符号量を符号化信号に記述するための記述方法の 一例を示す図である。図 6は、図 5に示した記述方法で符号量を符号化信号に記述 する際のフローチャートである。ここで、符号量算出部 103で算出された符号量は、 例えば図 5に示すように Aビット、または（A+B)ビットの可変長のビットフィールドで 表現される。具体的には、算出された符号量が Aビットで表されるのであれば、 size_of_extだけで記述され、符号量が Aビットを超える場合には、 size_of_extと size_of_escとの 2つのフィールドで表される。例えば、 Aが 4、 Bが 8、符号量 sumが 14 バイトの場合、 14は 2進数 1110の 4ビットで表すことができるので（S401)、 size_of_extという 4ビットのフィールドに、 sum=14を表す2進数1110が書かれる（S40 2)。この条件を表す i戊では、 size_of_extの値 14が、（1 < < 4)— 1すなわち、 1を 4ビ ット左へシフトした値 16から 1を減算して得られる 15より小さいので、 size_of_escという 8ビットのフィールドは存在しな!、。すなわちこの場合 4ビットのビットフィールドで符号 量を表す信号を多重化する。
[0045] また、例えば、 Aが 4、 Bが 8、符号量 sumが 100バイトの場合には（S401)、
size_of_extという 4ビットのフィールドに、 2進数1111カ書カれる 403)。この条件を 表す if¾では、 size_of_extの値が、（1 < < 4)— 1すなわち 15と等しいので、 size_of_esc という 8ビットのフィールドに、 sum - size_of_ext + 1 = 100— (15— 1)の値が書かれる (S404)。すなわちこの場合 12ビットのビットフィールドで符号量を表す信号が多重 化される。
[0046] 最後に第 2多重化部 105で、第 1符号ィ匕信号 901と第 2符号ィ匕信号 902とを多重化 する。この処理を、逐次オーディオフレームごとに行うことによって、図 7に示すような 、第 1符号ィ匕信号 901と第 2符号ィ匕信号 902とが交互に多重化され、且つ、第 2符号 化信号 902の先頭部に符号量を表す信号が多重化されたような符号ィ匕信号が生成 される。
[0047] 上記のように、本実施の形態によれば、 Mチャネル（M > 2)のマルチチャネル信号 をステレオ信号にダウンミックスするダウンミックス部と、ダウンミックス信号を符号ィ匕し 第 1符号ィ匕信号を生成する第 1符号ィ匕部 101と、ダウンミックス信号をマルチチヤネ ル信号に戻すための情報を符号ィ匕する第 2符号ィ匕部 102と、第 2符号ィ匕部 102で符 号化された信号の符号量を算出する符号量算出部 103と、符号量算出部 103で算 出された符号量と第 2符号ィ匕部 102で生成された信号とを多重化し第 2符号ィ匕信号 を生成する第 1多重化部 104と、第 1符号ィヒ信号と第 2符号ィヒ信号とを多重化する第 2多重化部 105とを備え、第 1多重化部 104は、符号量を表す信号が第 2符号化信 号の先頭に配置されるように、符号量を表す信号を多重化することによって、第 1符 号ィ匕信号のみを復号ィ匕しダウンミックス信号のみを再生せんと欲するデコーダにとつ ては、第 2符号ィ匕信号の符号量を示す情報が第 2符号ィ匕信号に含まれているので、 容易に第 2符号ィ匕信号を全体の符号ィ匕信号力 取り除くことができることとなる。
[0048] 勿論ここで、符号量を表す信号は、第 2符号化信号の開始を識別する記号の直後 に配置するように、符号量を表す信号を多重化することが望ましい。なぜならば、第 1 符号ィ匕信号のみを復号ィ匕しダウンミックス信号のみを再生せんと欲するデコーダにと つては、第 2符号化信号の符号量を示す情報が、第 2符号化信号の先頭に配置され ていれば、容易に第 2符号ィ匕信号を全体の符号ィ匕信号力 取り除くことができるから である。なお、この第 2符号ィ匕信号の符号量は、 MPEG2の符号ィ匕信号の Fill Elementに記述されてもよい。この場合、第 2符号化信号の開始を識別する記号とは 、 Fill Elementの開始を示す記号である。
[0049] また、算出された符号量を、当該符号量を表すためのビット量に応じた可変長のビ ットフィールドに多重化することによって、当該符号量を表す信号を多重化するため のビット数を削減できることとなる。
[0050] また、本実施の形態では、マルチチャネル信号のチャネル数は説明の簡単ィ匕のた めに 4とした力 4でなくてもよく、一般的に広く普及している 5. 1チャネルであっても 良いことはいうまでもない。
[0051] なお、算出された符号量を表す信号は、第 2符号化信号の先頭に記述されることが 好ましいが、本発明はこれに限定されない。例えば、フレームヘッダ情報の中に記述 されてもよい。また、フレームヘッダ情報の中に第 1符号化信号の符号量を表す信号 が記述されるとしてもよい。なぜなら、フレームヘッダ情報の中にはフレーム全体の符 号量が記述されているので、第 2符号化信号の符号量は簡単に算出することができ るカゝらである。 [0052] (実施の形態 2)
以下本発明の実施の形態 2におけるオーディオエンコーダについて図面を参照し ながら説明する。図 8は本実施の形態 2におけるオーディオエンコーダの構成を示す 図である。図 8のオーディオエンコーダは、入力された時間軸上の 4チャネル信号を 周波数軸上の信号に変換した後、ダウンミックスするオーディオエンコーダであって、 ダウンミックス部 500、第 1符号ィ匕部 501、第 2符号ィ匕部 502、符号量算出部 503、第 1多重化部 504および第 2多重化部 505を備える。これにおいて、第 2符号化部 502 、符号量算出部 503、第 1多重化部 504および第 2多重化部 505は、実施の形態 1 で示したものと同様のものである。実施の形態 1で示したものと異なるものは、ダウンミ ックス部 500が、第 2符号ィ匕部 502の処理過程で生成される各入力チャネルの周波 数軸信号を入力とし、該各入力チャネルの周波数軸信号の一部、または帯域の周波 数軸信号をダウンミックスするように構成されている点と、第 1符号ィ匕部 501が、ダウン ミックス部 500でダウンミックスされた信号を入力として当該信号を符号ィ匕するように 構成されている点である。
[0053] 以上のように構成されたオーディオエンコーダの動作について以下に説明する。ま ず、第 2符号ィ匕部 502は、入力された 4チャネル信号を時間軸上の信号のサンプル 数と同数のサンプル数力もなる周波数軸信号に変換する。これはフィルタバンクを用 いても良いし、 FFTのような直交変換方式を用いて周波数係数に変換してもよい。こ の場合、各周波数係数は、フーリエ係数のように、複素数であってもよい。この各チヤ ネルの周波数軸信号をダウンミックス部 500に対し送出し、ダウンミックス部 500で所 定の方法でダウンミックス処理が行われる。ここで、各チャネルの対応する周波数軸 信号同士に対して実施されるダウンミックス処理は、実施の形態 1で述べたようなマト リックス演算によって実施すればよい。一方第 2符号化部 502では、ダウンミックス信 号をマルチチャネル信号に戻すための情報を符号ィ匕する。この方法も、実施の形態 1で示した方法と同様でよ!、。
[0054] ここで本実施の形態では、ダウンミックス部 500は、受け取った各チャネルの周波数 軸信号の一部の帯域のみに対しダウンミックス処理を実施するようにしてもよい。例え ば、全周波数帯域の高域側の一部を取り除いた信号をダウンミックスする。このこと〖こ よって、第 1符号ィ匕信号のみを復号ィ匕しダウンミックス信号のみを再生せんと欲する デコーダにとっては、符号ィ匕信号の周波数帯域が狭いので復号ィ匕に際しての演算 量が少なくてすむことになる。また、全周波数帯域の 1Z2以下の周波数帯域の信号 をダウンミックスすることとすれば、以下に示す理由によって、更に利便性を享受でき る。すなわち、第 1符号ィ匕部 501は、例えば MPEG規格などで規定された符号ィ匕方 式でよいが、特に、ここで、周波数帯域が全周波数帯域の 1Z2以下の周波数帯域 であれば近年 MPEG4規格で検討されて ヽる帯域拡大技術 (ISOZIEC14496— 3 )が前提としている周波数帯域と合致するので、当該技術とのインターフェースがとり 易くなるからである。
[0055] 以降、符号量算出部 503の処理、第 1多重化部 504の処理、第 2多重化部 505の 処理は、実施の形態 1で述べたのと同様でよい。
[0056] また、ダウンミックス部 500では、周波数成分に分解された信号に対し頭部伝達関 数に基づいたフィルタ処理を実施しながらダウンミックスしてもよい。周波数成分に分 解された信号に対する頭部伝達関数に基づ!/、たフィルタ処理は、特開平 11 0324 00号公報で述べられているような方法でよい。そうすることによって、第 1符号化部 5 01で符号化された符号化信号のみを再生した場合でも、もともとのマルチチャネル の空間情報が反映されることとなるからである。勿論このことは、本実施の形態 2での 処理過程のみに適応されるわけではなぐ先の実施の形態 1での処理過程で実施し ても良 、ことは言うまでもな 、。
[0057] 上記のように、本実施の形態によれば、 Mチャネル（M> 2)のマルチチャネル信号 をステレオ信号にダウンミックスするダウンミックス部 500と、ダウンミックス信号を符号 化し第 1符号化信号を生成する第 1符号化部 501と、ダウンミックス信号をマルチチヤ ネル信号に戻すための情報を符号ィ匕する第 2符号ィ匕部 502と、第 2符号ィ匕部 502で 符号化された信号の符号量を算出する符号量算出部 503と、符号量算出部 503で 算出された符号量を表す信号と第 2符号ィ匕部 502で生成された信号とを多重化し第 2符号化信号を生成する第 1多重化部 504と、第 1符号化信号と第 2符号化信号とを 多重化する第 2多重化部 505と、を有し、ダウンミックス部 500は、マルチチャネル信 号をそれぞれ周波数軸信号に変換し該周波数軸信号の一部または全部の周波数 帯域の信号をステレオ信号にダウンミックスすることによって、ダウンミックス処理を周 波数軸上で行うことができるので、第 2符号ィ匕部 502が周波数軸上の信号に対し符 号化処理を行う場合、ダウンミックス処理と第 2符号化の処理とが効率的に実施でき ることとなる。また、一部または全部の周波数帯域の信号をステレオ信号にダウンミツ タスすれば、ダウンミックス処理を少ない演算量で行えることとなると同時に、第 1符号 化部 501が、狭い帯域の信号を扱うことになるので、圧縮率が向上できることとなる。 また、第 1符号化部 501で符号化された符号化信号のみを再生する場合、狭い帯域 の信号を扱うことになるので復号ィ匕の演算量が少なくて済むこととなる。また、ダウンミ ックス処理を、もともとの周波数帯域の 1Z2の帯域で処理すれば、第 1符号化部 501 力 1Z2以下の帯域の信号を扱うことになるので、圧縮率がさらに向上できることとな ると同時に、第 1符号化部 501で符号化された符号化信号のみを再生する場合、 1 Z2以下の帯域の信号を扱うことになるので復号ィ匕の演算量が少なくて済むこととな る。また、近年広く研究開発が行われている帯域拡大技術 (ISOZIEC14496— 3) 力 帯域の以下の帯域の信号を拡大する技術であるので、その技術とのインター フェースがとり易くなることとなる。
[0058] また、上記ダウンミックス処理時に、頭部伝達関数のフィルタ処理も実施しておけば 、第 1符号化部 501で符号化された符号化信号のみを再生した場合でも、もともとの マルチチャネルの空間情報が反映されることとなる。
[0059] 勿論、上記頭部伝達関数のフィルタ処理は周波数軸上で行わず、時間軸上で行つ てもよ 、ことは言うまでもな 、。
[0060] また、本実施の形態では、マルチチャネル信号のチャネル数は説明の簡単ィ匕のた めに 4とした力 4でなくてもよく、一般的に広く普及している 5. 1チャネルであっても 良いことはいうまでもない。
[0061] (実施の形態 3)
以下本発明の実施の形態 3におけるオーディオデコーダについて図面を参照しな 力 Sら説明する。本オーディオデコーダは、実施の形態 1または実施の形態 2で符号化 された符号ィ匕信号を復号ィ匕するオーディオデコーダである。すなわち、 Mチャネル（ M > 2)のマルチチャネル信号をダウンミックスしたステレオ信号を符号ィ匕した第 1符 号ィ匕信号と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号ィ匕し た第 2符号ィヒ信号とが多重化された符号ィヒ信号を復号ィヒするオーディオデコーダで ある。ここで、第 2符号化信号には、当該第 2符号化信号の符号量を示す値が多重 化されているものとする。
[0062] 図 9は本実施の形態 3におけるオーディオデコーダの構成を示す図である。図 9に おいて、オーディオデコーダは、第 1符号化信号取り出し部 600、第 2符号化信号取 り出し部 601、第 1復号ィ匕部 602、符号量取り出し部 603、および実体信号取り出し 部 604を備える。第 1符号ィ匕信号取り出し部 600は、第 1符号化信号を取り出す。第 2符号ィ匕信号取り出し部 601は、第 2符号化信号を取り出す。第 1復号ィ匕部 602は、 第 1符号化信号に基づいて、ダウンミックス信号を復号ィ匕する。符号量取り出し部 60 3は、第 2符号ィ匕信号に含まれている当該第 2符号ィ匕信号の符号量を表す信号を取 り出す。実体信号取り出し部 604は、符号量取り出し部 603によって取り出された符 号量を表す信号に基づ!ヽて、符号化信号から第 2符号化信号を取り出す。
[0063] 以上のように構成されたオーディオデコーダの動作について、以下に説明する。ま ず、第 1符号ィ匕信号取り出し部 600は、 4チャネルのマルチチャネル信号をダウンミツ タスしたステレオ信号を符号ィ匕した第 1符号ィ匕信号と、ダウンミックス信号をマルチチ ャネル信号に戻すための情報を符号化した第 2符号化信号とが多重化された符号ィ匕 信号から、第 1符号化信号を取り出す。ここで、第 1符号化信号は、実施の形態 1、ま たは実施の形態 2の第 1符号化部で生成された符号化信号であるので、当該第 1符 号ィ匕信号取り出し部 600では、第 1符号ィ匕信号の符号ィ匕フォーマットに則って第 1符 号ィ匕信号を取り出せばよい。例えば、第 1符号化部が、 MPEG規格 AAC方式に則 つた符号ィ匕部なのであれば、当該第 1符号ィ匕信号取り出し部 600では、 AAC符号化 フォーマットに則って第 1符号ィ匕信号を取り出せばよい。
[0064] 次に、第 1復号ィ匕部 602で第 1符号ィ匕信号に基づいて、ダウンミックス信号を復号 化する。ここでの復号化の方法も、第 1符号化信号の符号化規格に則って復号化す ればよい。
[0065] 図 10は、図 5に示した符号量記述方法で記述されている符号量を表す信号をォー ディォデコーダで読み取る場合の手順を示すフローチャートである。次に、第 2符号 化信号取り出し部 601に内蔵されて 、る符号量取り出し部 603で、第 2符号化信号 に含まれて 、る当該第 2符号ィ匕信号の符号量を表す信号を取り出す (S501)。ここ で当該符号量 sumは、図 5に示した Aビットまたは（A+B)ビットで表現されて!、るもの とする。例えば、図 5に示した size_of_extが 4ビット、 size_of_escが 8ビット、 size_of_extの 値が 2進数で 1010であるとする。この場合、 size_of_extの値が 10であり、（1 < < 4)— 1 = 15に等しくないので（S502)、 size_of_escの 8ビットは存在せず、符号量 sumは 10 ノイトということになる（S505)。また例えば、 size_of_ext力 ビット、 size_of_escが 8ビット 、 6_0 1:の値が2進数で1111の場合、 size_of_extの値が（1 < < 4)— 1 = 15なの で（S502)、 size_of_escの 8ビットが存在することになる。符号量取り出し部 603は、さ らに 8ビットの size_of_escを取り出す（S503)。ここで、 size_of_escの値が 2進数で 0000 1000の場合、符号量 sumは、 sum = size— of— ext + size— of— esc— 1 = 15 + 8— 1となり 、 22ノ ィ卜となる（S504)。
[0066] 最後に、実体信号取り出し部 604で、符号量取り出し部 603によって取り出された 符号量を表す信号に基づいて、符号化信号から第 2符号化信号を取り出す。例えば 、符号量が、 20バイトなのであれば、以降の 20バイトの信号力 ダウンミックス信号を マルチチャネル信号に戻すための情報を符号化した第 2符号ィ匕信号の符号量と分 かり、当該第 2符号ィ匕信号は、ダウンミックス信号のみを再生するデコーダにとっては 不要なものであるので、そのサイズ分だけ、符号ィ匕信号を読み飛ばせばよいことにな る。
[0067] ここで、当該第 2符号ィ匕信号に多重化されている当該符号量に応じた値は、必ずし も、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号ィ匕した信号の 符号量と丁度一致している必要はなぐそれと同じかそれより大きな値であればよい。 例えば、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号ィ匕した信 号の正味の符号量が 18バイトの場合でも、例えば 2バイトの付カ卩的な情報を追加し た場合は (これは実質的に無意味な情報でもよいが)、当該第 2符号ィ匕信号に多重 化されている当該符号量に相当する値は 20となっているべきである。すなわち、第 2 符号ィ匕信号が付加的な情報または無意味な情報である 2バイトを含んでいるとした場 合と同じである。そうすることによって、実体信号取り出し部は、符号化信号の内容に ついては一切関知する必要がなくなるからである。
[0068] 以上の様に、本実施の形態のオーディオデコーダは、 Mチャネル（M> 2)のマル チチャネル信号をダウンミックスしたステレオ信号を符号ィ匕した第 1符号ィ匕信号と、ダ ゥンミックス信号をマルチチャネル信号に戻すための情報を符号ィ匕した第 2符号ィ匕信 号とが多重化された符号化信号に対し、第 1符号化信号を取り出す第 1符号化信号 取り出し部 600と、第 2符号ィ匕信号を取り出す第 2符号ィ匕信号取り出し部 601と、第 1 符号ィ匕信号に基づいて、ダウンミックス信号を復号ィ匕する第 1復号ィ匕部 602とを有し 、第 2符号ィ匕信号取り出し部 601は、第 2符号化信号に含まれる符号量を表す信号 を取り出す符号量取り出し部 603と、符号量取り出し部 603によって取り出された符 号量を表す信号に基づ!ヽて、符号化信号から第 2符号化信号を取り出す実体信号 取り出し部 604をさらに備える。これによつて、ダウンミックス信号のみを復号ィ匕したい と欲するオーディオデコーダの場合、簡単な処理でマルチチャネルィヒのための情報 を取り去るまたは読み飛ばすことができることとなる。
[0069] 勿論ここで、符号量を表す信号は、第 2符号化信号の先頭に配置されることが望ま しい。なぜならば、第 1符号ィ匕信号のみを復号ィ匕しダウンミックス信号のみを再生せ んと欲するデコーダにとっては、第 2符号化信号の符号量を示す情報が、第 2符号化 信号の先頭に配置されて 、れば、容易に第 2符号化信号を全体の符号化信号から 取り除くことができるからである。
[0070] またここで、第 1符号化信号が、先に述べた実施の形態 2のように、予め頭部伝達 関数に基づくフィルタ処理によって本来のマルチチャネル信号が 2チャネル信号にダ ゥンミックスされていれば、第 1符号ィ匕信号のみを復号ィ匕しダウンミックス信号のみを 再生せんと欲するデコーダにとっては、単に第 1符号ィ匕信号を復号ィ匕するだけで、も ともとのマルチチャネルの空間情報が反映されたオーディオを再生できることとなる。
[0071] また、本実施の形態では、マルチチャネル信号のチャネル数は説明の簡単ィ匕のた めに 4とした力 4でなくてもよく、一般的に広く普及している 5. 1チャネルであっても 良いことはいうまでもない。
[0072] (実施の形態 4)
以下、本発明の実施の形態 4におけるオーディオデコーダについて図面を参照し ながら説明する。
[0073] 本オーディオデコーダは、実施の形態 1または実施の形態 2で符号ィ匕された符号 化信号を復号ィ匕するオーディオデコーダである。すなわち、 Mチャネル (M> 2)のマ ルチチャネル信号をダウンミックスしたステレオ信号を符号ィ匕した第 1符号ィ匕信号と、 ダウンミックス信号をマルチチャネル信号に戻すための情報を符号ィ匕した第 2符号ィ匕 信号とが多重化された符号ィ匕信号を復号ィ匕するオーディオデコーダである。ここで、 第 2符号化信号には、当該第 2符号化信号の符号量を示す値が多重化されているも のである。
[0074] 図 11は、本実施の形態 4におけるオーディオデコーダの構成を示す図である。図 1 1に示すように、実施の形態 4のオーディオデコーダは、第 1符号化信号取り出し部 7 00、第 2符号化信号取り出し部 701、第 1復号化部 702、符号量取り出し部 703、実 体信号取り出し部 704、第 2復号ィ匕部 705、フィルタ部 706および選択部 707を備え る。このうち、実施の形態 3と異なるのは、第 1符号ィ匕信号と第 2符号ィ匕信号とに基づ いて、マルチチャネル信号を復号化する第 2復号化部 705と、復号化されたマルチ チャネル信号に対し、頭部伝達関数に基づくフィルタ処理を施すフィルタ部 706と、 第 1復号ィ匕部 702で生成された信号か、フィルタ部 706で生成された信号かを選択 する選択部 707とを備えたところである。それ以外の第 1符号ィ匕信号取り出し部 700 、第 2符号化信号取り出し部 701、第 1復号化部 702、符号量取り出し部 703および 実体信号取り出し部 704は、実施の形態 3で述べたものと同様である。
[0075] 以上のように構成されたオーディオデコーダの動作について、以下に説明する。ま ず、第 1符号ィ匕信号取り出し部 700は、 4チャネルのマルチチャネル信号をダウンミツ タスしたステレオ信号を符号ィ匕した第 1符号ィ匕信号と、ダウンミックス信号をマルチチ ャネル信号に戻すための情報を符号化した第 2符号化信号とが多重化された符号ィ匕 信号から、第 1符号化信号を取り出す。この動作は、実施の形態 3と同様である。
[0076] 次に、第 1復号化部 702で第 1符号化信号に基づいて、ダウンミックス信号を復号 化する。この動作も、実施の形態 3と同様である。
[0077] 次に、第 2符号ィ匕信号取り出し部 701に内蔵されている符号量取り出し部 703で、 第 2符号化信号に含まれて ヽる当該第 2符号化信号の符号量を表す信号を取り出す 。この動作は、実施の形態 3と同様である。
[0078] 次に符号量取り出し部 703によって取り出された符号量を表す信号に基づ 、て、 実体信号取り出し部 704が、符号化信号から第 2符号化信号を取り出す。この動作 は、実施の形態 3と同様である。
[0079] 次に、第 2復号化部 705で、第 1符号化信号と第 2符号化信号とに基づいて、マル チチャネル信号を復号ィ匕する。
[0080] ここで、第 1符号化信号と第 2符号化信号は、実施の形態 1、または実施の形態 2の オーディオエンコーダで生成された符号ィ匕信号であるので、当該第 2復号ィ匕部 705 では、その符号ィ匕フォーマットに則って第 1符号ィ匕信号と第 2符号ィ匕信号とを復号し マルチチャネル信号を生成すればょ ヽ。
[0081] 次にフィルタ部 706で、復号化されたマルチチャネル信号に対し、頭部伝達関数に 基づくフィルタ処理を施す。
[0082] 最後に、選択部 707で、第 1復号化部で生成された信号か、フィルタ部で生成され た信号かを選択する。
[0083] 以上の様に、本実施の形態では、 Mチャネル（M > 2)のマルチチャネル信号をダ ゥンミックスしたステレオ信号を符号ィ匕した第 1符号ィ匕信号と、ダウンミックス信号をマ ルチチャネル信号に戻すための情報を符号ィ匕した第 2符号ィ匕信号とが多重化された 符号化信号に対し、第 1符号ィ匕信号を取り出す第 1符号ィ匕信号取り出し部 700と、第 2符号ィ匕信号を取り出す第 2符号ィ匕信号取り出し部 701と、第 1符号ィ匕信号に基づい て、ダウンミックス信号を復号化する第 1復号化部 702と、第 2符号化信号に含まれる 符号量を表す信号を取り出す符号量取り出し部 703と、符号量取り出し部 703によつ て取り出された符号量を表す信号に基づ！ヽて、符号化信号から第 2符号化信号を取 り出す実体信号取り出し部 704と、第 1符号ィ匕信号と第 2符号ィ匕信号とに基づいて、 マルチチャネル信号を復号化する第 2復号化部 705と、復号ィ匕されたマルチチヤネ ル信号に対し、頭部伝達関数に基づくフィルタ処理を施すフィルタ部 706と、第 1復 号化部で生成された信号か、フィルタ部 706で生成された信号かを選択する選択部 707とを備えることによって、ダウンミックス信号の再生音と、マルチチャネル信号に 対し頭部伝達関数に基づくフィルタ処理を施した再生音とを利用者が選択できること となる。
[0084] 上記の処理において、第 2復号ィ匕部 705では各マルチチャネル信号の周波数軸信 号を生成するようにし、当該各マルチチャネル信号の周波数軸信号に対し周波数軸 上で頭部伝達関数に基づくフィルタ処理を行い 2チャネルの周波数軸信号を生成し た後、当該周波数軸信号を時間軸信号に変換するようにしてもよい。例えば、特開平 11 032400号公報で述べられているような方法でもよい。そうすることによって、例 えば、 AAC方式（ISOZIEC 13818—7)や AAC—SBR方式（ISOZIEC 14496—3 )と組み合わせたとき、演算量が大幅に削減できることになる。なぜならば、それらの 方式が、周波数軸上の信号を圧縮符号化している方式であるので、周波数軸信号を 時間軸信号に変換する処理が内蔵されている力 周波数軸上でダウンミックスするこ とによって、周波数軸信号を時間軸信号に変換する処理が 2チャネル分のみで済む こと〖こなる力らである。
[0085] また、本実施の形態では、マルチチャネル信号のチャネル数は説明の簡単ィ匕のた めに 4とした力 4でなくてもよく、一般的に広く普及している 5. 1チャネルであっても 良いことはいうまでもない。
[0086] また、本実施の形態では、第 2復号化部は、第 1符号化信号と第 2符号化信号とを 入力とし、それらを用いてマルチチャネル信号を復号ィ匕したが、第 1復号化部で復号 化した信号を用いて、マルチチャネル信号を復号ィ匕するようにしてもよい。図 12は、 本実施の形態 4におけるオーディオデコーダの他の構成を示す図である。その場合 、図 12に示すような構成になる。
[0087] また、当該オーディオデコーダを駆動する為の電力が低下した場合、例えば電池 寿命がつきかけている場合、そのことを検出し、自動的に上記選択部を、第 1復号ィ匕 部で生成された信号で出力するように制御すれば、バッテリーがっきかけているとき に、自動的にダウンミックス信号の復号ィ匕のモードに入るので、電池寿命が延長する こととなる。また、聴取者は音質の変化によって電池寿命がつきかけていることを検知 することができることとなる。
[0088] 図 13は、本発明のオーディオデコーダを備えるモバイルオーディォ機器の外観の 一例を示す図である。（a)は、本発明のオーディオデコーダを内蔵するモバイルテレ ビの一例を示す図である。（b)は、本発明のオーディオデコーダを内蔵する携帯電 話機の一例を示す図である。同図に示すような携帯型の機器では、単位時間あたり の演算量が大きいと、演算処理の並列化などのために回路規模が大きくなつてしまう
。そして、モバイルオーディォ機器では、いまだに 2チャネル再生が主流である。従つ て、同図に示すようなモノィルオーディォ機器では、本発明のオーディオエンコーダ によって符号化された符号化信号を復号化し、再生することによって、符号化信号の 不要な部分を読み飛ばし、頭部伝達関数を用いてフィルタリングされた仮想サラゥン ドオーディオを、低い負荷で再生することができる。
産業上の利用可能性
[0089] 本発明にかかるオーディオエンコーダは、マルチチャネル信号を符号ィ匕するォー ディォエンコーダである力 エンコードされたマルチチャネル信号を安価なデコーダ で再生できるような符号ィ匕信号を生成するので、特に機器の小型化が必要な携帯機 器に応用できる。
[0090] 本発明にカゝかるオーディオデコーダは、マルチチャネル信号を符号ィ匕した符号ィ匕 信号を 2チャネルの再生部、例えば、ヘッドホンで再生するのに適しているので、特 に機器の小型化が必要な携帯機器、例えば、モパイルテレビ、 MD、 SDおよび携帯 電話機などに応用できる。

Claims

請求の範囲
[1] 2チャネルを超えるマルチチャネル信号を、 2チャネルのステレオ信号にダウンミック スするダウンミックス手段と、
前記ダウンミックスされたステレオ信号を符号ィ匕し、第 1符号ィ匕信号を生成する第 1 符号化手段と、
前記ダウンミックスされたステレオ信号をマルチチャネル信号に戻すための情報を 符号化し、第 2符号化信号を生成する第 2符号化手段と、
前記第 2符号化信号の符号量を算出する符号量算出手段と、
前記第 1符号化信号、前記第 2符号化信号および算出された前記符号量を表す信 号を多重化する多重化手段と
を備えることを特徴とするオーディオエンコーダ。
[2] 前記多重化手段は、
前記符号量算出手段で算出された符号量と、前記第 2符号化信号とを多重化する 第 1多重化部と、
前記第 1符号化信号と、前記符号量が多重化された前記第 2符号化信号とを多重 化する第 2多重化部と
を備えることを特徴とする請求項 1記載のオーディオエンコーダ。
[3] 前記第 1多重化部は、前記符号量算出手段で算出された前記符号量を、前記第 2 符号化信号の先頭に配置して多重化する
ことを特徴とする請求項 2記載のオーディオエンコーダ。
[4] 前記第 1多重化部は、前記符号量算出手段で算出された前記符号量を、前記第 2 符号化信号の開始を識別する記号の直後に配置するように多重化する
ことを特徴とする請求項 2記載のオーディオエンコーダ。
[5] 前記第 1多重化部は、前記符号量算出手段で算出された前記符号量を可変長で 記述し、前記第 2符号化信号に多重化する
ことを特徴とする請求項 2記載のオーディオエンコーダ。
[6] 前記ダウンミックス手段は、前記マルチチャネル信号に頭部伝達関数を用いた演 算を行い、ダウンミックス処理を行う ことを特徴とする請求項 1記載のオーディオエンコーダ。
[7] 前記ダウンミックス手段は、周波数軸上で、前記マルチチャネル信号に頭部伝達関 数を用いた演算を行う
ことを特徴とする請求項 6に記載のオーディオエンコーダ。
[8] 前記第 2符号化信号は無効なデータを含み、
前記符号量算出手段は、前記無効なデータを含む前記第 2符号化信号の符号量 を算出する
ことを特徴とする請求項 1記載のオーディオエンコーダ。
[9] 符号化信号を復号化するオーディオデコーダであって、
2チャネルを超えるマルチチャネル信号からダウンミックスされた 2チャネルのステレ ォ信号が符号化されて得られる第 1符号化信号と、前記ステレオ信号カゝらマルチチヤ ネル信号を生成するための情報が符号化されて得られたものである第 2符号ィ匕信号 と、前記第 2符号化信号の符号量を表す信号とを含む符号化信号を取得する取得 手段と、
取得された前記符号ィ匕信号を復号化してステレオ信号を出力する復号ィ匕手段と を備えることを特徴とするオーディオデコーダ。
[10] 前記復号化手段は、
取得された前記符号化信号から、前記第 1符号化信号を読み出す第 1符号化信号 読み出し部と、
前記第 2符号化信号の符号量を表す信号を、前記符号化信号から読み出す符号 量読み出し部と、
前記第 1符号化信号読み出し部によって読み出された前記第 1符号化信号を復号 ィ匕して、前記ステレオ信号を出力する第 1復号ィ匕部とを備え、
前記第 1符号化信号読み出し部は、前記符号量読み出し部によって読み出された 前記符号量に基づいて、第 2符号化信号を読み飛ばす
ことを特徴とする請求項 9記載のオーディオデコーダ。
[11] 前記第 1符号ィ匕信号は、頭部伝達関数を用いた演算によりあらかじめ仮想サラゥン ド効果が付与されたステレオ信号が符号化されたものであり、 前記第 1復号化部は、仮想サラウンド効果の付与されたステレオ信号を出力する ことを特徴とする請求項 10記載のオーディオデコーダ。
[12] 取得された前記符号化信号から読み出される前記第 2符号化信号の符号量を表 す信号は、無効なデータを含む前記第 2符号化信号の符号量を表す信号である ことを特徴とする請求項 9記載のオーディオデコーダ。
[13] 前記復号化手段は、さらに、
取得された前記符号化信号から、前記第 1符号化信号を読み出す第 1符号化信号 読み出し部と、
前記第 1符号化信号読み出し部によって読み出された前記第 1符号化信号を復号 ィ匕して、前記ステレオ信号を出力する第 1復号ィ匕部と、
前記第 2符号化信号を前記符号化信号から読み出す第 2符号化信号読み出し部と 読み出された前記第 1符号化信号と前記第 2符号化信号とに基づいて、マルチチ ャネル信号を復号化する第 2復号化部と、
前記復号ィ匕されたマルチチャネル信号に対し、頭部伝達関数に基づくフィルタ処 理を施し、仮想サラウンド効果が付与されたステレオ信号を出力するフィルタ部と、 前記第 1復号化部から出力される前記ステレオ信号と、前記フィルタ部から出力さ れる前記仮想サラウンド効果が付与された前記ステレオ信号とのいずれかを選択す る選択部とを備える
ことを特徴とする請求項 9記載のオーディオデコーダ。
[14] 前記第 1復号化部は、前記ステレオ信号の周波数軸信号を生成し、
前記フィルタ部は、前記ステレオ信号の周波数軸信号から復元されたマルチチヤネ ル信号の周波数軸信号に対し、頭部伝達関数に基づくフィルタ処理を行!、2チヤネ ルの周波数軸信号を生成した後、前記周波数軸信号を時間軸信号に変換する ことを特徴とする請求項 13記載のオーディオデコーダ。
[15] 前記オーディオデコーダは、さらに、
少なくとも前記第 2復号化部を駆動する為の電力を供給する電力供給部を備え、 前記選択部は、前記電力供給部からの電力供給量が所定の値を下回った場合、 前記第 1復号化部からのステレオ信号を選択する
ことを特徴とする請求項 14記載のオーディオデコーダ。
[16] 2チャネルを超えるマルチチャネル信号を、 2チャネルのステレオ信号にダウンミック スし、
ダウンミックスされた前記ステレオ信号を符号ィ匕し、第 1符号ィ匕信号を生成し、 ダウンミックスされた前記ステレオ信号をマルチチャネル信号に戻すための情報を 符号化し、第 2符号化信号を生成し、
前記第 2符号化信号の符号量を算出し、
前記第 1符号化信号、前記第 2符号化信号および算出された符号量を表す信号を 多重化する
ことを特徴とするオーディオ符号ィ匕方法。
[17] 符号化信号を復号化するオーディオ復号化方法であって、
2チャネルを超えるマルチチャネル信号からダウンミックスされた 2チャネルのステレ ォ信号が符号化されて得られる第 1符号化信号と、前記ステレオ信号カゝらマルチチヤ ネル信号を生成するための情報が符号化されて得られたものである第 2符号ィ匕信号 と、前記第 2符号化信号の符号量を表す信号とを含む符号化信号を取得し、 取得された前記符号ィヒ信号を復号ィヒしてステレオ信号を出力する
ことを特徴とするオーディオ復号ィ匕方法。
[18] オーディオエンコーダのためのプログラムであって、コンピュータを
2チャネルを超えるマルチチャネル信号を、 2チャネルのステレオ信号にダウンミック スするダウンミックス手段と、前記ダウンミックスされたステレオ信号を符号ィ匕し、第 1 符号化信号を生成する第 1符号化手段と、前記ダウンミックスされたステレオ信号を マルチチャネル信号に戻すための情報を符号ィ匕し、第 2符号化信号を生成する第 2 符号化手段と、前記第 2符号化信号の符号量を算出する符号量算出手段と、前記第 1符号化信号、前記第 2符号化信号および算出された前記符号量を表す信号を多 重化する多重化手段との各手段として機能させるプログラム。
[19] 符号ィ匕信号を復号ィ匕するオーディオデコーダのためのプログラムであって、コンビ ユータを 2チャネルを超えるマルチチャネル信号からダウンミックスされた 2チャネルのステレ ォ信号が符号化されて得られる第 1符号化信号と、前記ステレオ信号からマルチチヤ ネル信号を生成するための情報が符号化されて得られたものである第 2符号ィ匕信号 と、前記第 2符号化信号の符号量を表す信号とを含む符号化信号を取得する取得 手段と、取得された前記符号化信号を復号化してステレオ信号を出力する複号化手 段との各手段として機能させるプログラム。
PCT/JP2005/001968 2004-02-25 2005-02-09 オーディオエンコーダ及びオーディオデコーダ WO2005081229A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006519336A JPWO2005081229A1 (ja) 2004-02-25 2005-02-09 オーディオエンコーダ及びオーディオデコーダ
US10/586,905 US7613306B2 (en) 2004-02-25 2005-02-09 Audio encoder and audio decoder

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004049650 2004-02-25
JP2004-049650 2004-02-25

Publications (1)

Publication Number Publication Date
WO2005081229A1 true WO2005081229A1 (ja) 2005-09-01

Family

ID=34879555

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/001968 WO2005081229A1 (ja) 2004-02-25 2005-02-09 オーディオエンコーダ及びオーディオデコーダ

Country Status (4)

Country Link
US (1) US7613306B2 (ja)
JP (1) JPWO2005081229A1 (ja)
CN (1) CN1906664A (ja)
WO (1) WO2005081229A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007531916A (ja) * 2004-04-05 2007-11-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 方法、デバイス、エンコーダ装置、デコーダ装置、及びオーディオシステム
JP2009508432A (ja) * 2005-09-14 2009-02-26 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
JP2009508175A (ja) * 2005-09-14 2009-02-26 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
JP2009526259A (ja) * 2006-02-07 2009-07-16 エルジー エレクトロニクス インコーポレイティド 符号化／復号化装置及び方法
JP2009532735A (ja) * 2006-04-03 2009-09-10 エルジー エレクトロニクス インコーポレイティド メディア信号処理装置及びその方法
JP2011059711A (ja) * 2005-07-14 2011-03-24 Koninkl Philips Electronics Nv オーディオエンコード及びデコード
JP4814344B2 (ja) * 2006-01-19 2011-11-16 エルジー エレクトロニクス インコーポレイティド メディア信号の処理方法及び装置
US8917874B2 (en) 2005-05-26 2014-12-23 Lg Electronics Inc. Method and apparatus for decoding an audio signal
US8983851B2 (en) 2008-07-11 2015-03-17 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Noise filer, noise filling parameter calculator encoded audio signal representation, methods and computer program
US9384742B2 (en) 2006-09-29 2016-07-05 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
US9595267B2 (en) 2005-05-26 2017-03-14 Lg Electronics Inc. Method and apparatus for decoding an audio signal
CN111819627A (zh) * 2018-07-02 2020-10-23 杜比实验室特许公司 用于对沉浸式音频信号进行编码及/或解码的方法及装置
US12020718B2 (en) 2019-07-02 2024-06-25 Dolby International Ab Methods and devices for generating or decoding a bitstream comprising immersive audio signals

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
KR100818268B1 (ko) * 2005-04-14 2008-04-02 삼성전자주식회사 오디오 데이터 부호화 및 복호화 장치와 방법
KR101228630B1 (ko) * 2005-09-02 2013-01-31 파나소닉 주식회사 에너지 정형 장치 및 에너지 정형 방법
US7974713B2 (en) * 2005-10-12 2011-07-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Temporal and spatial shaping of multi-channel audio signals
PL1989920T3 (pl) 2006-02-21 2010-07-30 Koninl Philips Electronics Nv Kodowanie i dekodowanie dźwięku
KR100754220B1 (ko) 2006-03-07 2007-09-03 삼성전자주식회사 Ｍｐｅｇ 서라운드를 위한 바이노럴 디코더 및 그 디코딩방법
US8326609B2 (en) * 2006-06-29 2012-12-04 Lg Electronics Inc. Method and apparatus for an audio signal processing
WO2009093867A2 (en) 2008-01-23 2009-07-30 Lg Electronics Inc. A method and an apparatus for processing audio signal
EP2083584B1 (en) * 2008-01-23 2010-09-15 LG Electronics Inc. A method and an apparatus for processing an audio signal
US8639368B2 (en) * 2008-07-15 2014-01-28 Lg Electronics Inc. Method and an apparatus for processing an audio signal
KR20110052562A (ko) * 2008-07-15 2011-05-18 엘지전자 주식회사 오디오 신호의 처리 방법 및 이의 장치
US8615398B2 (en) * 2009-01-29 2013-12-24 Qualcomm Incorporated Audio coding selection based on device operating condition
CN101556799B (zh) * 2009-05-14 2013-08-28 华为技术有限公司 一种音频解码方法和音频解码器
KR101756838B1 (ko) * 2010-10-13 2017-07-11 삼성전자주식회사 다채널 오디오 신호를 다운 믹스하는 방법 및 장치
US8804971B1 (en) * 2013-04-30 2014-08-12 Dolby International Ab Hybrid encoding of higher frequency and downmixed low frequency content of multichannel audio
CN117676451A (zh) * 2016-11-08 2024-03-08 弗劳恩霍夫应用研究促进协会 使用边增益和残差增益对多声道信号进行编码或解码的装置和方法
US10891960B2 (en) * 2017-09-11 2021-01-12 Qualcomm Incorproated Temporal offset estimation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07264582A (ja) * 1994-03-25 1995-10-13 Matsushita Electric Ind Co Ltd 映像符号化装置、映像符号化方法、映像再生装置及び光ディスク
JP2000295698A (ja) * 1999-04-08 2000-10-20 Matsushita Electric Ind Co Ltd バーチャルサラウンド装置
JP2001100792A (ja) * 1999-09-28 2001-04-13 Sanyo Electric Co Ltd 符号化方法、符号化装置およびそれを備える通信システム
JP2003218701A (ja) * 2001-11-14 2003-07-31 Matsushita Electric Ind Co Ltd 符号化装置、復号化装置およびこれらを用いたシステム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5781237A (en) * 1994-03-25 1998-07-14 Matsushita Electric Industrial Co., Ltd. Video coding apparatus and video coding method
BR0206395A (pt) * 2001-11-14 2004-02-10 Matsushita Electric Ind Co Ltd Dispositivo de codificação, dispositivo de decodificação e sistema dos mesmos

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07264582A (ja) * 1994-03-25 1995-10-13 Matsushita Electric Ind Co Ltd 映像符号化装置、映像符号化方法、映像再生装置及び光ディスク
JP2000295698A (ja) * 1999-04-08 2000-10-20 Matsushita Electric Ind Co Ltd バーチャルサラウンド装置
JP2001100792A (ja) * 1999-09-28 2001-04-13 Sanyo Electric Co Ltd 符号化方法、符号化装置およびそれを備える通信システム
JP2003218701A (ja) * 2001-11-14 2003-07-31 Matsushita Electric Ind Co Ltd 符号化装置、復号化装置およびこれらを用いたシステム

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007531916A (ja) * 2004-04-05 2007-11-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 方法、デバイス、エンコーダ装置、デコーダ装置、及びオーディオシステム
US9595267B2 (en) 2005-05-26 2017-03-14 Lg Electronics Inc. Method and apparatus for decoding an audio signal
US8917874B2 (en) 2005-05-26 2014-12-23 Lg Electronics Inc. Method and apparatus for decoding an audio signal
JP2011059711A (ja) * 2005-07-14 2011-03-24 Koninkl Philips Electronics Nv オーディオエンコード及びデコード
JP4740335B2 (ja) * 2005-09-14 2011-08-03 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
JP2009508433A (ja) * 2005-09-14 2009-02-26 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
JP2009508432A (ja) * 2005-09-14 2009-02-26 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
US9747905B2 (en) 2005-09-14 2017-08-29 Lg Electronics Inc. Method and apparatus for decoding an audio signal
JP2009508176A (ja) * 2005-09-14 2009-02-26 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
JP4728398B2 (ja) * 2005-09-14 2011-07-20 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
JP2009508175A (ja) * 2005-09-14 2009-02-26 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
US8351611B2 (en) 2006-01-19 2013-01-08 Lg Electronics Inc. Method and apparatus for processing a media signal
JP4814344B2 (ja) * 2006-01-19 2011-11-16 エルジー エレクトロニクス インコーポレイティド メディア信号の処理方法及び装置
JP4814343B2 (ja) * 2006-01-19 2011-11-16 エルジー エレクトロニクス インコーポレイティド メディア信号の処理方法及び装置
US8208641B2 (en) 2006-01-19 2012-06-26 Lg Electronics Inc. Method and apparatus for processing a media signal
US8521313B2 (en) 2006-01-19 2013-08-27 Lg Electronics Inc. Method and apparatus for processing a media signal
US8488819B2 (en) 2006-01-19 2013-07-16 Lg Electronics Inc. Method and apparatus for processing a media signal
US8411869B2 (en) 2006-01-19 2013-04-02 Lg Electronics Inc. Method and apparatus for processing a media signal
US8160258B2 (en) 2006-02-07 2012-04-17 Lg Electronics Inc. Apparatus and method for encoding/decoding signal
US8296156B2 (en) 2006-02-07 2012-10-23 Lg Electronics, Inc. Apparatus and method for encoding/decoding signal
US8285556B2 (en) 2006-02-07 2012-10-09 Lg Electronics Inc. Apparatus and method for encoding/decoding signal
US8612238B2 (en) 2006-02-07 2013-12-17 Lg Electronics, Inc. Apparatus and method for encoding/decoding signal
JP2009526259A (ja) * 2006-02-07 2009-07-16 エルジー エレクトロニクス インコーポレイティド 符号化／復号化装置及び方法
US9626976B2 (en) 2006-02-07 2017-04-18 Lg Electronics Inc. Apparatus and method for encoding/decoding signal
US8712058B2 (en) 2006-02-07 2014-04-29 Lg Electronics, Inc. Apparatus and method for encoding/decoding signal
US8638945B2 (en) 2006-02-07 2014-01-28 Lg Electronics, Inc. Apparatus and method for encoding/decoding signal
US8625810B2 (en) 2006-02-07 2014-01-07 Lg Electronics, Inc. Apparatus and method for encoding/decoding signal
JP2009526260A (ja) * 2006-02-07 2009-07-16 エルジー エレクトロニクス インコーポレイティド 符号化／復号化装置及び方法
JP2009532735A (ja) * 2006-04-03 2009-09-10 エルジー エレクトロニクス インコーポレイティド メディア信号処理装置及びその方法
US9792918B2 (en) 2006-09-29 2017-10-17 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
US9384742B2 (en) 2006-09-29 2016-07-05 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
US11869521B2 (en) 2008-07-11 2024-01-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, methods for encoding and decoding an audio signal, audio stream and a computer program
US9711157B2 (en) 2008-07-11 2017-07-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, methods for encoding and decoding an audio signal, and a computer program
US9449606B2 (en) 2008-07-11 2016-09-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, methods for encoding and decoding an audio signal, and a computer program
US9043203B2 (en) 2008-07-11 2015-05-26 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, methods for encoding and decoding an audio signal, and a computer program
US10629215B2 (en) 2008-07-11 2020-04-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, methods for encoding and decoding an audio signal, and a computer program
US11024323B2 (en) 2008-07-11 2021-06-01 Fraunhofer-Gesellschaft zur Fcerderung der angewandten Forschung e.V. Audio encoder, audio decoder, methods for encoding and decoding an audio signal, audio stream and a computer program
US8983851B2 (en) 2008-07-11 2015-03-17 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Noise filer, noise filling parameter calculator encoded audio signal representation, methods and computer program
CN111819627A (zh) * 2018-07-02 2020-10-23 杜比实验室特许公司 用于对沉浸式音频信号进行编码及/或解码的方法及装置
JP2021530724A (ja) * 2018-07-02 2021-11-11 ドルビー ラボラトリーズ ライセンシング コーポレイション 没入的オーディオ信号をエンコードおよび／またはデコードするための方法および装置
US12020718B2 (en) 2019-07-02 2024-06-25 Dolby International Ab Methods and devices for generating or decoding a bitstream comprising immersive audio signals

Also Published As

Publication number Publication date
US7613306B2 (en) 2009-11-03
US20070162278A1 (en) 2007-07-12
JPWO2005081229A1 (ja) 2007-10-25
CN1906664A (zh) 2007-01-31

Similar Documents

Publication Publication Date Title
WO2005081229A1 (ja) オーディオエンコーダ及びオーディオデコーダ
KR101158698B1 (ko) 복수-채널 인코더, 입력 신호를 인코딩하는 방법, 저장 매체, 및 인코딩된 출력 데이터를 디코딩하도록 작동하는 디코더
KR101531239B1 (ko) 다객체 오디오 신호의 부호화 장치
JP4685925B2 (ja) 適応残差オーディオ符号化
JP4601669B2 (ja) マルチチャネル信号またはパラメータデータセットを生成する装置および方法
KR100682904B1 (ko) 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법
TW200935401A (en) Lossless multi-channel audio codec using adaptive segmentation with random access point (RAP) and multiple prediction parameter set (MPPS) capability
KR20070019718A (ko) 오디오 신호 부호화 장치 및 오디오 신호 복호화 장치
JP2010515099A5 (ja)
JP4568363B2 (ja) オーディオ信号デコーディング方法及びその装置
JP2007526687A (ja) 可変ブロック長信号の復号化スキーム
EP4008000A1 (en) Encoding and decoding ivas bitstreams
JP3761639B2 (ja) オーディオ復号装置
KR20080071971A (ko) 미디어 신호 처리 방법 및 장치
JP4213708B2 (ja) オーディオ復号装置
JP5113151B2 (ja) メディア信号処理装置及びその方法
JP3387086B2 (ja) 音声符号化装置
JP3387087B2 (ja) 音声符号化方法
JP4151031B2 (ja) 音声符号化方法及び音声復号方法
MX2008009565A (en) Apparatus and method for encoding/decoding signal

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200580001787.2

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2006519336

Country of ref document: JP

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007162278

Country of ref document: US

Ref document number: 10586905

Country of ref document: US

122 Ep: pct application non-entry in european phase
WWP Wipo information: published in national office

Ref document number: 10586905

Country of ref document: US