WO2021260825A1 - 音信号符号化方法、音信号符号化装置、プログラム及び記録媒体 - Google Patents

音信号符号化方法、音信号符号化装置、プログラム及び記録媒体 Download PDF

Info

Publication number
WO2021260825A1
WO2021260825A1 PCT/JP2020/024774 JP2020024774W WO2021260825A1 WO 2021260825 A1 WO2021260825 A1 WO 2021260825A1 JP 2020024774 W JP2020024774 W JP 2020024774W WO 2021260825 A1 WO2021260825 A1 WO 2021260825A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
monaural
section
coding
code
Prior art date
Application number
PCT/JP2020/024774
Other languages
English (en)
French (fr)
Inventor
健弘 守谷
亮介 杉浦
優 鎌本
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2022531301A priority Critical patent/JP7491376B2/ja
Priority to EP20942073.6A priority patent/EP4175270A4/en
Priority to PCT/JP2020/024774 priority patent/WO2021260825A1/ja
Priority to CN202080102309.5A priority patent/CN115917644A/zh
Priority to US18/011,132 priority patent/US20230178086A1/en
Publication of WO2021260825A1 publication Critical patent/WO2021260825A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding

Definitions

  • the present invention relates to a technique for embedded coding / decoding of a sound signal of a plurality of channels and a sound signal of one channel.
  • Non-Patent Document 1 There is a technique of Non-Patent Document 1 as a technique of embedded coding / decoding of a sound signal of a plurality of channels and a monaural sound signal.
  • the outline of the technique of Non-Patent Document 1 will be described with reference to the coding device 500 exemplified in FIG. 5 and the decoding device 600 exemplified in FIG.
  • the stereo coding unit 510 of the coding apparatus 500 describes the characteristics of the difference between the channels in the stereo input sound signal from the stereo input sound signal which is the input multi-channel sound signal for each frame in a predetermined time interval.
  • a stereo code CS representing a feature parameter, which is a parameter to be represented, and a downmix signal, which is a signal obtained by mixing stereo input sound signals, are obtained.
  • the monaural coding unit 520 of the coding apparatus 500 encodes the downmix signal for each frame to obtain a monaural code CM.
  • the monaural decoding unit 610 of the decoding device 600 decodes the monaural code CM for each frame to obtain a monaural decoding sound signal which is a decoding signal of the downmix signal.
  • the stereo decoding unit 620 of the decoding device 600 decodes the stereo code CS for each frame to obtain a feature parameter which is a parameter representing the characteristics of the difference between the channels, and obtains a feature parameter which is a parameter representing the characteristics of the difference between the channels. Is performed (so-called upmix processing).
  • a monaural coding / decoding method for obtaining a high-quality monaural decoded sound signal there is a 3GPP EVS standard coding / decoding method described in Non-Patent Document 2. If a high-quality monaural coding / decoding method as in Non-Patent Document 2 is used as the monaural coding / decoding method of Non-Patent Document 1, a higher-quality embedded coding of a multi-channel sound signal and a monaural sound signal is performed. / There is a possibility that decryption can be realized.
  • the upmix processing of Non-Patent Document 1 is a signal processing in a frequency domain including a processing of applying a window having an overlap between adjacent frames to a monaural decoded sound signal.
  • the monaural coding / decoding method of Non-Patent Document 2 also includes a process of forming an overlapping window between adjacent frames. That is, on both the decoding side of the stereo coding / decoding method of Non-Patent Document 1 and the decoding side of the monaural coding / decoding method of Non-Patent Document 2, the front side with respect to a predetermined range of the boundary portion of the frame.
  • the decoded sound signal is obtained by synthesizing. From these facts, if the monaural coding / decoding method as in Non-Patent Document 2 is used as the embedded coding / decoding monaural coding / decoding method as in Non-Patent Document 1, only the window in the upmix processing is used. There is a problem that the stereo decoded sound signal is delayed more than the monaural decoded sound signal, that is, there is a problem that the stereo coding / decoding algorithm delay becomes larger than that of the monaural coding / decoding.
  • MultipointControlUnit MCU
  • MCU multipoint control device
  • the stereo coding / decoding algorithm delay may be one frame larger than the monaural coding / decoding algorithm delay.
  • the stereo decoded sound signal is delayed by one frame from the monaural decoded sound signal, it is possible to control the switching for each predetermined time section, but which point is the monaural decoded sound signal from which point in each time section?
  • the control of whether to output in combination with the stereo decoded sound signal from the point may be complicated due to the difference in delay between the monaural decoded sound signal and the stereo decoded sound signal.
  • the present invention has been made in view of such problems, and the embedded of the sound signal of a plurality of channels and the sound signal of monaural whose stereo coding / decoding algorithm delay is not larger than that of the monaural coding / decoding algorithm delay. It is intended to provide encoding / decoding.
  • the sound signal coding method of one aspect of the present invention is a sound signal code for encoding sound signals of C input channels (C is an integer of 2 or more) in frame units.
  • the monaural coding step includes a downmix step in which a signal obtained by mixing sound signals of individual channels is obtained as a downmix signal, and a monaural coding step in which the downmix signal is encoded to obtain a monaural code and output.
  • a coding method that includes the process of creating windows with overlap between frames.
  • the downmix signal is encoded to obtain a monaural code, and the overlap between the current frame of the downmix signal and the immediately preceding frame is obtained. It is characterized by further including an additional coding step in which the signal of the section is encoded to obtain an additional code and output.
  • the present invention it is possible to provide embedded coding / decoding of a multi-channel sound signal and a monaural sound signal whose stereo coding / decoding algorithm delay is not larger than the monaural coding / decoding algorithm delay.
  • FIG. 7 schematically illustrates each signal when the frame length is 20 ms.
  • the horizontal axis of each of the figures of FIGS. 7 to 11 is the time axis.
  • the axes placed at the top of each figure are described as "past" at the left end and “future” at the right end. Is attached, and an upward arrow is attached at t7, which is the time when the current frame is processed.
  • FIGS. 7 to 11 schematically show which time interval each signal belongs to, and whether the window increases, flats, or attenuates when the window is open. It is shown as a target. More specifically, since it is not important in the explanation here exactly what the window function is, in FIGS. 7 to 11, the section in which the window increases and the window decreases.
  • the section of the shape in order to visually express that the signal is not windowed when combined, the section of the shape where the window increases is represented by a triangle shape including a straight line rising to the right, and the window decreases.
  • the section in the shape of a window is represented by a triangular shape including a straight line that descends to the right.
  • each section is specified by using words such as "from” and "after”, but as can be understood by those skilled in the art, each section The actual start is the time immediately after the indicated time, and the actual start of the digital signal in each section is the sample immediately after the indicated time.
  • FIG. 7 is a diagram schematically showing each signal of the coding device of Non-Patent Document 2 that processes the current frame at the time of t7.
  • the coding device of Non-Patent Document 2 can use the signal 1a, which is a monaural sound signal up to t7, for processing the current frame.
  • the coding device of Non-Patent Document 2 uses the 8.75 ms section from t6 to t7 of the signal 1a as a so-called “look-ahead section” for analysis, and starts from t1 of the signal 1a.
  • the signal 1b which is a signal obtained by applying a window to the signal in the section of 23.25 ms up to t6, is encoded to obtain a monaural code and output it.
  • the shape of the window is such that the section of 3.25ms from t1 to t2 increases, the section of 16.75ms from t2 to t5 is flat, and the section of 3.25ms from t5 to t6 decays. .. That is, this signal 1b is a monaural sound signal corresponding to the monaural code obtained by the processing of the current frame.
  • the coding device of Non-Patent Document 2 has completed the same processing at the time when the monaural sound signal up to t3 is input as the processing of the immediately preceding frame, and the monaural sound signal in the section of 23.25 ms up to t2.
  • the signal 1c which is a signal with an attenuated window in the section from t1 to t2, has been encoded. That is, this signal 1c is a monaural sound signal corresponding to the monaural code obtained by processing the immediately preceding frame, and the section from t1 to t2 is the overlap section between the current frame and the immediately preceding frame.
  • the coding device of Non-Patent Document 2 is a signal in which a monaural sound signal in the section of 23.25 ms after t5 is covered with a window increasing in the section from t5 to t6 as the processing of the frame immediately after.
  • the signal 1d will be encoded. That is, this signal 1d is a monaural sound signal corresponding to the monaural code obtained by processing the immediately preceding frame, and the section from t5 to t6 is the overlap section between the current frame and the immediately preceding frame.
  • FIG. 8 schematically shows each signal of the decoding device of Non-Patent Document 2 that processes the current frame at t7, which is the time when the monaural code of the current frame is input from the coding device of Non-Patent Document 2. It is a figure shown in.
  • the decoding device of Non-Patent Document 2 obtains a signal 2a, which is a decoded sound signal in the section from t1 to t6, from the monaural code of the current frame in the processing of the current frame.
  • This signal 2a is a decoded sound signal corresponding to signal 1b, in which the section from t1 to t2 increases, the section from t2 to t5 is flat, and the section from t5 to t6 is attenuated.
  • the decoding device of Non-Patent Document 2 performs the decoding sound of the section of 23.25 ms from the monaural code of the immediately preceding frame to t2 in which the section from t1 to t2 is attenuated as the processing of the immediately preceding frame.
  • the signal 2b which is a signal, has already been obtained at t3, which is the time when the monaural code of the immediately preceding frame is input.
  • the interval of 23.25 ms after t5 is covered with a window in which the interval from t5 to t6 is increased from the monaural code of the immediately preceding frame.
  • the signal 2c which is the decoded sound signal, is obtained.
  • the decoding device of Non-Patent Document 2 synthesizes the signal 2b obtained by the processing of the immediately preceding frame and the signal 2a obtained by the processing of the current frame for the section from t1 to t2.
  • the signal 2a obtained by the processing of the current frame is used as it is, and the signal 2d, which is a monaural decoded sound signal in the section from t1 to t5, is obtained and output.
  • the decoding device of Non-Patent Document 2 obtains the decoded sound signal in the section starting from t1 at the time of t7, the algorithm delay of the monaural coding / decoding method of Non-Patent Document 2 is 32 ms, which is the time length from t1 to t7. Is.
  • FIG. 9 is a diagram schematically showing each signal of the decoding device 600 of Non-Patent Document 1 when the monaural decoding unit 610 uses the monaural decoding method of Non-Patent Document 2.
  • the stereo decoding unit 620 performs stereo decoding processing (upmix processing) of the current frame using the signal 3a which is the monaural decoding sound signal up to t5 completely obtained by the monaural decoding unit 610. ..
  • the stereo decoding unit 620 has a form in which the section of 3.25 ms from t0 to t1 is increased with respect to the signal 3a, the section of 16.75 ms from t1 to t4 is flat, and the section from t4 to t5 is flat. From t0, which is the same shape as signal 3b for each channel, using signal 3b, which is the signal of the 23.25ms section from t0 to t5, which is windowed so that the section up to 3.25ms is attenuated. Obtain signal 3c-i (i is the channel number), which is the decoded sound signal up to t5.
  • the stereo decoding unit 620 outputs the signal 3d-i which is the decoding sound signal of each channel in the section of 23.25 ms to t1 in which the window in which the section from t0 to t1 is attenuated is injured. Already obtained at t3. Further, the stereo decoding unit 620 processes the immediately preceding frame by processing the signal 3e-, which is the decoding sound signal of each channel in the section of 23.25 ms after t4, which has a window in which the section from t4 to t5 increases. You will get i.
  • the stereo decoding unit 620 describes the signal 3d-i obtained by processing the immediately preceding frame and the signal 3c obtained by processing the current frame for the section from t0 to t1 for each channel.
  • synthesizing -i and using the signal 3c-i obtained by the processing of the current frame as it is for the section from t1 to t4 it is a signal that is a complete decoded sound signal in the section from t0 to t4 for 20ms.
  • Non-Patent Document 1 using the monaural coding / decoding method of Non-Patent Document 2 as the monaural coding / decoding method.
  • the stereo coding / decoding algorithm delay is 35.25 ms, which is the time length from t0 to t7. That is, the algorithm delay of stereo coding / decoding in this embedded coding / decoding becomes larger than the algorithm delay of monaural coding / decoding.
  • FIG. 10 is a diagram schematically showing each signal of the decoding device 200 of the first embodiment described later.
  • the decoding device 200 of the first embodiment has the configuration shown in FIG. 3, and includes a monaural decoding unit 210, an additional decoding unit 230, and a stereo decoding unit 220 that perform the operations as described in detail in the first embodiment.
  • the stereo decoding unit 220 processes the current frame using the signal 4c, which is a monaural decoded sound signal up to t6, which is completely obtained at the time of t7.
  • the signal 3a which is the monaural decoded sound signal up to t5.
  • the additional decoding unit 230 decodes the additional reference numeral CA to obtain a signal 4b which is a monaural decoding sound signal in a section of 3.25 ms from t5 to t6 (additional decoding process), and the stereo decoding unit 220. Concatenates the signal 3a which is the monaural decoded sound signal up to t5 obtained by the monaural decoding unit 210 and the signal 4b which is the monaural decoded sound signal in the section from t5 to t6 obtained by the additional decoding unit 230.
  • the stereo decoding process (upmix process) of the current frame is performed using the generated signal 4c.
  • the stereo decoding unit 220 has a form in which the section of 3.25 ms from t1 to t2 is increased with respect to the signal 4c, the section of 16.75 ms from t2 to t5 is flat, and the section of 3.25 from t5 to t6 is flat.
  • Obtain signal 4e-i which is a sound signal.
  • the stereo decoding unit 220 outputs the signal 4f-i which is the decoded sound signal of each channel in the section of 23.75 ms from t2 to t2, which is covered with a window in which the section from t1 to t2 is attenuated. Already obtained at t3. Further, the stereo decoding unit 220 processes the immediately preceding frame by processing a signal 4g- which is a decoding sound signal of each channel in the section of 23.75 ms after t5, which has a window in which the section from t5 to t6 increases. You will get i.
  • the stereo decoding unit 220 has the signal 4f-i obtained by processing the immediately preceding frame and the signal 4e obtained by processing the current frame for the section from t1 to t2 for each channel.
  • synthesizing -i and using the signal 4e-i obtained by the processing of the current frame as it is for the section from t2 to t5 it is a signal that is a complete decoded sound signal in the section from t1 to t5 for 20ms.
  • the decoding device 200 obtains the decoded sound signal of the section starting from t1 of each channel at the time of t7, the algorithm delay of the stereo coding / decoding in the embedded coding / decoding of the first embodiment is from t1 to t7.
  • the time length is 32 ms. That is, the algorithm delay of stereo coding / decoding by the embedded coding / decoding of the first embodiment is not larger than the algorithm delay by monaural coding / decoding.
  • FIG. 11 corresponds to the coding device 100 of the first embodiment, which will be described later, that is, the decoding device 200 of the first embodiment, which is a decoding device that enables each signal to be schematically shown in FIG. It is a figure which showed schematically each signal of the coding apparatus.
  • the coding device 100 of the first embodiment has the configuration shown in FIG. 1, and has a stereo coding unit 110 that performs the same processing as the stereo coding unit 510 of the coding device 500, and monaural coding of the coding device 500.
  • a monaural coding unit that encodes signal 1b, which is a signal obtained by applying a window to the signal in the section from t1 to t6 of signal 1a, which is a monaural sound signal up to t7, to obtain a monaural code CM.
  • signal 5c which is the signal in the section from t5 to t6, which is the overlap section between the current frame and the immediately preceding frame of the signal 1a, which is a monaural sound signal, is encoded and added.
  • the additional coding unit 130 that performs the process of obtaining CA is included.
  • section X is a section in which the monaural coding unit 120 encodes the windowed monaural sound signal in both the processing of the current frame and the processing of the immediately preceding frame. More specifically, the section X is a section having a predetermined length including the end of the sound signal encoded by the monaural coding unit 120 in the processing of the current frame, and the monaural coding unit 120 is the current frame.
  • the section X is a section in which the monaural decoding unit 210 decodes the monaural code CM and obtains a windowed decoded sound signal in both the processing of the current frame and the processing of the immediately preceding frame. ..
  • the section X is a section having a predetermined length including the end of the decoded sound signal obtained by decoding the monaural code CM by the monaural decoding unit 210 in the processing of the current frame, and the monaural decoding unit 210. Is a section in which the attenuated window of the decoded sound signal obtained by decoding the monaural code CM in the processing of the current frame is injured, and the monaural decoding unit 210 performs the monaural code CM in the processing of the immediately preceding frame.
  • This is a section in which a decoded sound signal obtained by decoding a monaural code CM in processing and a decoded sound signal obtained by synthesizing them are combined to obtain a decoded sound signal.
  • section Y is a section other than the overlap section with the immediately preceding frame in the section in which the monaural sound signal is encoded in the processing of the current frame in the monaural coding unit 120.
  • the decoding side it is a section other than the overlap section with the immediately preceding frame in the section in which the monaural decoding unit 210 decodes the monaural code CM in the processing of the current frame and obtains the decoded sound signal.
  • the section Y includes a section in which the monaural code CM of the current frame and the monaural code CM of the immediately preceding frame represent the monaural sound signal, and a section in which the monaural sound signal is represented only by the monaural code CM of the current frame. Since it is a section in which, and are connected, it is a section in which a monaural decoded sound signal can be completely obtained until the processing of the current frame.
  • the coding device 100 of the first embodiment includes a stereo coding unit 110, a monaural coding unit 120, and an additional coding unit 130.
  • the coding device 100 encodes a sound signal (2-channel stereo input sound signal) in the time region of the input 2-channel stereo in units of frames having a predetermined time length of, for example, 20 ms, and encodes the stereo code CS and monaural, which will be described later.
  • the code CM and the additional code CA are obtained and output.
  • the 2-channel stereo input sound signal input to the coding apparatus 100 is, for example, a digital audio signal or acoustic signal obtained by collecting sounds such as voice and music with each of two microphones and performing AD conversion.
  • the code output by the coding device 100 is input to the decoding device 200 described later.
  • the coding apparatus 100 performs the processes of steps S111, S121, and S131 illustrated in FIG. 2 on a frame-by-frame basis, that is, each time a two-channel stereo input sound signal for a predetermined time length is input. conduct.
  • the coding apparatus 100 performs the processes of steps S111, S121, and S131 for the current frame. ..
  • the stereo coding unit 110 includes a stereo code CS that represents a feature parameter that is a parameter that represents the characteristics of the difference between the sound signals of the two input channels from the two-channel stereo input sound signal input to the coding device 100.
  • a downmix signal which is a signal obtained by mixing sound signals of two channels, is obtained and output (step S111).
  • Example of stereo coding unit 110 As an example of the stereo coding unit 110, the operation of the stereo coding unit 110 for each frame will be described when information representing the intensity difference for each frequency band of the sound signals of the two input channels is used as a feature parameter. Although a specific example using a complex DFT (Discrete Fourier Transformation) is described below, a conversion method to a well-known frequency domain other than the complex DFT may be used. When converting a sample sequence in which the number of samples is not a power of 2, a well-known technique such as using a sample sequence packed with zeros so that the number of samples is a power of 2 may be used. ..
  • Discrete Fourier Transformation Discrete Fourier Transformation
  • the stereo coding unit 110 performs complex DFT on each of the sound signals of the two input channels to obtain a complex DFT coefficient sequence (step S111-1).
  • the complex DFT coefficient sequence is obtained by applying a window with overlap between frames and using a process considering the symmetry of the complex number obtained by the complex DFT. For example, when the sampling frequency is 32 kHz, processing is performed every time the sound signals of two channels of 640 samples, which are samples for 20 ms, are input, and for each channel, the sound signal of the immediately preceding frame is performed.
  • a 104-point sample that overlaps with the last sample group in the above example, the sample in the section from t1 to t2 and a 104-point sample that overlaps with the sample group at the beginning of the immediately preceding frame (described above).
  • a sample sequence of 744 consecutive digital sound signals including the sample in the section from t5 to t6 in the above example, the sample sequence in the section from t1 to t6 is obtained by complex DFT.
  • a series of 372 complex numbers in the first half of the series of 744 complex numbers may be obtained as a complex DFT coefficient sequence.
  • each complex DFT coefficient of the complex DFT coefficient column of the first channel is V1 (f)
  • each complex DFT coefficient of the complex DFT coefficient column of the second channel is V2 (. f).
  • the stereo coding unit 110 then obtains a series of complex DFT coefficients of each complex DFT coefficient from the complex DFT coefficient sequence of the two channels according to the value of the radius on the complex surface (step S111-2).
  • the value of the radius of each complex DFT coefficient of each channel on the complex plane corresponds to the intensity of the sound signal of each channel for each frequency bin.
  • the value of the radius of the complex DFT coefficient V1 (f) of the first channel on the complex surface is defined as V1r (f)
  • the value of the radius of the complex DFT coefficient V2 (f) of the second channel on the complex surface is defined as V1r (f).
  • V2r (f) The stereo coding unit 110 then obtains an average value of the ratio of the radius value of one channel to the radius value of the other channel for each frequency band, and obtains a sequence based on the average value as a feature parameter (step). S111-3).
  • the series based on this average value is a feature parameter corresponding to information representing the intensity difference for each frequency band of the sound signals of the two input channels.
  • f is the radius of the first channel for each of the four bands 1 to 93, 94 to 186, 187 to 279, and 280 to 372.
  • the average value of 93 values obtained by dividing the value V1r (f) by the radius value V2r (f) of the second channel Mr (1), Mr (2), Mr (3), Mr (4) Then, the sequence ⁇ Mr (1), Mr (2), Mr (3), Mr (4) ⁇ based on the average value is obtained as a feature parameter.
  • the number of bands may be a value equal to or less than the number of frequency bins, and the same value as the number of frequency bins may be used or 1 may be used as the number of bands.
  • the stereo coding unit 110 obtains the value of the ratio of the value of the radius of one channel of each frequency bin to the value of the radius of the other channel. A series based on the obtained ratio values may be obtained as a feature parameter.
  • the stereo coding unit 110 obtains the value of the ratio between the value of the radius of one channel of each frequency bin and the value of the radius of the other channel, and the value of the obtained ratio.
  • the average value of all the bands of may be obtained as a feature parameter.
  • the number of bands is multiple, the number of frequency bins included in each frequency band is arbitrary, and for example, the number of frequency bins included in the low frequency band may be smaller than the number of frequency bins included in the high frequency band. good.
  • the stereo coding unit 110 replaces the ratio of the radius value of one channel with the radius value of the other channel with the difference between the radius value of one channel and the radius value of the other channel. You may use it. That is, in the above example, the value of the radius of the first channel is replaced with the value obtained by dividing the value V1r (f) of the radius of the first channel by the value V2r (f) of the radius of the second channel. The value obtained by subtracting the value V2r (f) of the radius of the second channel from V1r (f) may be used.
  • the stereo coding unit 110 further obtains a stereo code CS, which is a code representing a feature parameter (step S111-4).
  • the stereo code CS which is a code representing the feature parameter, may be obtained by a well-known method.
  • the stereo coding unit 110 vector-quantizes the sequence of values obtained in step S111-3 to obtain a code, and outputs the obtained code as the stereo code CS.
  • the stereo coding unit 110 scala quantizes each of the values included in the series of values obtained in step S111-3 to obtain a code, and outputs the combined code obtained as the stereo code CS. ..
  • the stereo coding unit 110 may output the code obtained by scalar quantization of the one value as the stereo code CS.
  • the stereo coding unit 110 also obtains a downmix signal which is a signal obtained by mixing the sound signals of the two channels of the first channel and the second channel (step S111-5).
  • a downmix signal which is a monaural signal obtained by mixing the sound signals of two channels for 20 ms from t3 to t7. ..
  • the stereo coding unit 110 may mix the sound signals of the two channels in the time domain as in step S111-5A described later, or the sound signals of the two channels as in step S111-5B described later. May be mixed in the frequency domain.
  • the stereo coding unit 110 sets 2 sequences based on the average values of the corresponding samples of the sample sequence of the sound signal of the first channel and the sample sequence of the sound signal of the second channel. Obtained as a downmix signal which is a monaural signal obtained by mixing the sound signals of the individual channels (step S111-5A).
  • the stereo coding unit 110 has each complex DFT coefficient of the complex DFT coefficient sequence obtained by complex DFTing the sample sequence of the sound signal of the first channel and the sound signal of the second channel.
  • the coding device 100 is also provided with the downmix unit 150, and the processing of step S111-5 for obtaining the downmix signal is performed not in the stereo coding unit 110 but in the downmix unit 150. May be done.
  • the stereo coding unit 110 represents a feature parameter which is a parameter representing the characteristics of the difference between the sound signals of the two channels input from the two-channel stereo input sound signal input to the coding device 100.
  • the stereo code CS is obtained and output (step S111)
  • the downmix unit 150 is a downmix signal which is a signal obtained by mixing the sound signals of two channels from the two-channel stereo input sound signal input to the coding device 100. Is obtained and output (step S151). That is, the stereo coding unit 110 may perform steps S111-1 to S111-4 described above as step S111, and the downmix unit 150 may perform step S111-5 described above as step S151.
  • the downmix signal output by the stereo coding unit 110 is input to the monaural coding unit 120.
  • the coding device 100 includes the downmix unit 150
  • the downmix signal output by the downmix unit 150 is input to the monaural coding unit 120.
  • the monaural coding unit 120 encodes the downmix signal by a predetermined coding method to obtain a monaural code CM and outputs it (step S121).
  • a coding method including a process of applying a window having overlap between frames, such as the 13.2 kbps mode of the 3GPP EVS standard (3GPP TS26.445) of Non-Patent Document 2, is used.
  • the monaural coding unit 120 sets the section from t1 to t2 in which the current frame and the immediately preceding frame overlap with the signal 1a which is the downmix signal.
  • the increasing shape, the section from t5 to t6 where the current frame and the immediately preceding frame overlap is attenuated, and the section from t2 to t5 between these sections is obtained by applying a flat window.
  • the signal 1b, which is a signal in the section from t1 to t6, is also encoded in the section from t6 to t7 in the signal 1a, which is the "look-ahead section", to obtain a monaural code CM and output.
  • the stereo coding unit 110 is processed in the current frame.
  • the monaural coding unit since not only the downmix signal output by the downmix unit 150 but also the downmix signal output by the stereo coding unit 110 or the downmix unit 150 in the past frame processing is used for the coding processing, the monaural coding unit.
  • the 120 is provided with a storage unit (not shown) so that the downmix signal input in the processing of the past frame is stored in the storage unit, and the monaural coding unit 120 is stored in the storage unit.
  • the current frame may be encoded using the mixed signal as well.
  • the stereo coding unit 110 or the downmix unit 150 is provided with a storage unit (not shown), and the stereo coding unit 110 or the downmix unit 150 is used by the monaural coding unit 120 in the current frame coding process.
  • the monaural coding unit 120 is configured to output the mixed signal in the processing of the current frame including the downmix signal obtained in the processing of the past frame, and the monaural coding unit 120 is the stereo coding unit 110 or the down in the processing of the current frame.
  • the down mix signal input from the mix unit 150 may be used. It should be noted that the signals obtained in the past frame processing such as these processes are stored in a storage unit (not shown) and used in the current frame processing, if necessary, in each unit described later. Since this is a well-known process in the field of coding technology, the description thereof will be omitted below in order to avoid redundancy.
  • the downmix signal output by the stereo coding unit 110 is input to the additional coding unit 130.
  • the coding device 100 includes the downmix unit 150
  • the downmix signal output by the downmix unit 150 is input to the additional coding unit 130.
  • the additional coding unit 130 encodes the downmix signal in the section X of the input downmix signals to obtain the additional code CA and outputs it (step S131).
  • the additional coding unit 130 encodes the signal 5c, which is a downmix signal in the section from t5 to t6, to obtain the additional code CA and output it.
  • a well-known coding method such as scalar quantization or vector quantization may be used.
  • the decoding device 200 of the first embodiment includes a monaural decoding unit 210, an additional decoding unit 230, and a stereo decoding unit 220.
  • the decoding device 200 decodes the input monaural code CM, additional code CA, and stereo code CS in frame units having the same predetermined time length as the coding device 100, and decodes the sound signal (two channels) in the time region of two-channel stereo. Stereo decoded sound signal) is obtained and output.
  • the code input to the decoding device 200 that is, the monaural code CM, the additional code CA, and the stereo code CS, is output by the coding device 100.
  • the decoding device 200 performs steps S211 and S221 exemplified in FIG.
  • the decoding device 200 inputs the monaural code CM, the additional code CA, and the stereo code CS of the current frame at t7, which is 20 ms after the processing for the immediately preceding frame is performed. Then, the processes of step S211, step S221, and step S231 for the current frame are performed. As shown by the broken line in FIG. 3, the decoding device 200 also outputs a monaural decoded sound signal, which is a sound signal in the monaural time domain, if necessary.
  • the monaural code CM included in the code input to the decoding device 200 is input to the monaural decoding unit 210.
  • the monaural decoding unit 210 obtains and outputs a monaural decoding sound signal in the section Y using the input monaural code CM (step S211).
  • a decoding method corresponding to the coding method used by the monaural coding unit 120 of the coding device 100 is used.
  • the monaural decoding unit 210 decodes the monaural code CM of the current frame by a predetermined decoding method, and the interval of 3.25 ms from t1 to t2 is increased, and from t2 to t5.
  • the 16.75ms section of is flat, and the 3.25ms section from t5 to t6 is attenuated.
  • the signal 2b obtained from the monaural code CM of the previous frame and the signal 2a obtained from the monaural code CM of the current frame are combined in the processing of the previous frame, and the section from t2 to t5 is the current frame.
  • the signal 2d which is a monaural decoded sound signal in the section of 20 ms from t1 to t5, is obtained and output.
  • the monaural decoding unit 210 Stores the signal 2a in the section from t5 to t6 obtained from the monaural code CM of the current frame in a storage unit (not shown) in the monaural decoding unit 210.
  • the additional code CA included in the code input to the decoding device 200 is input to the additional decoding unit 230.
  • the additional decoding unit 230 decodes the additional reference numeral CA to obtain and output an additional decoding signal which is a monaural decoding sound signal in the section X (step S231).
  • a decoding method corresponding to the coding method used by the additional coding unit 130 is used.
  • the additional decoding unit 230 decodes the additional code CA of the current frame to obtain and output the signal 4b which is a monaural decoded sound signal in the section of 3.25 ms from t5 to t6.
  • Step S221 A monaural decoding sound signal output by the monaural decoding unit 210, an additional decoding signal output by the additional decoding unit 230, and a stereo code CS included in the code input to the decoding device 200 are input to the stereo decoding unit 220. Will be done.
  • the stereo decoding unit 220 obtains and outputs a stereo decoded sound signal, which is a decoded sound signal of two channels, from the input monaural decoded sound signal, the additional decoded sound signal, and the stereo code CS (step S221).
  • the stereo decoding unit 220 decodes downmix the section Y + X (that is, the section connecting the section Y and the section X), which is a signal obtained by connecting the monaural decoding sound signal of the section Y and the additional decoding signal of the section X.
  • a signal is obtained (step S221-1), and the decoded sound signals of two channels are obtained and output from the decoded downmix signal obtained in step S221-1 by the upmix processing using the feature parameters obtained from the stereo code CS. (Step S221-2).
  • the upmix processing is a characteristic parameter obtained from the stereo code CS, assuming that the decoded downmix signal is a signal obtained by mixing the decoded sound signals of two channels.
  • the stereo decoding unit 220 is the monaural decoding sound signal (the section from t1 to t5 of the signal 2d and the signal 3a) in the section of 20ms from t1 to t5 output by the monaural decoding unit 210.
  • the decoding downmix signal (t1 of signal 4c) in the section of 23.25ms from t1 to t6 is concatenated with the additional decoding signal (signal 4b) in the section of 3.25ms from t5 to t6 output by the additional decoding unit 230.
  • the section from to t6) is obtained.
  • the stereo decoding unit 220 considers that the decoding downmix signal in the section from t1 to t6 is a signal obtained by mixing the decoding sound signals of the two channels, and the feature parameter obtained from the stereo code CS is Considering that it is information that represents the characteristics of the difference between the decoded sound signals of the two channels, the decoded sound signals of the two channels (signal 4h-1 and signal 4h-2) in the section of 20 ms from t1 to t5. ) Is obtained and output.
  • step S221-2 performed by the stereo decoding unit 220 As an example of step S221-2 performed by the stereo decoding unit 220, step S221-2 performed by the stereo decoding unit 220 will be described when the feature parameter is information representing the intensity difference of the sound signals of the two channels for each frequency band. do.
  • the stereo decoding unit 220 decodes the input stereo code CS to obtain information representing the intensity difference for each frequency band (S221-21).
  • the stereo decoding unit 220 is a method corresponding to a method in which the stereo coding unit 110 of the coding device 100 obtains the stereo code CS from the information representing the intensity difference for each frequency band, and obtains the feature parameters from the stereo code CS.
  • the stereo decoding unit 220 vector-decodes the input stereo code CS, and obtains each element value of the vector corresponding to the input stereo code CS as information representing the intensity difference for each of a plurality of frequency bands.
  • the stereo decoding unit 220 scalar-decodes each of the codes included in the input stereo code CS to obtain information representing the intensity difference for each frequency band.
  • the stereo decoding unit 220 scalar-decodes the input stereo code CS to obtain information representing the intensity difference of one frequency band, that is, the entire band.
  • the stereo decoding unit 220 mixed the decoded sound signals of the two channels of the decoded downmix signal from the decoded downmix signal obtained in step S221-1 and the feature parameters obtained in step S221-21. It is regarded as a signal, and the characteristic parameter is regarded as information representing the intensity difference for each frequency band of the decoded sound signals of the two channels, and the decoded sound signals of the two channels are obtained and output. (Step S220-22). If the stereo coding unit 120 of the coding device 100 performs the operation of the above-mentioned specific example using the complex DFT, the operation of steps S221-22 of the stereo decoding unit 220 is as follows.
  • the stereo decoding unit 220 first increases the 3.25 ms section from t1 to t2 to the decoded downmix signal of 744 samples in the 23.25 ms section from t1 to t6, and t2 to t5.
  • a windowed signal 4d is obtained in which the 16.75 ms section is flat and the 3.25 ms section from t5 to t6 is attenuated (step S221-221).
  • the stereo decoding unit 220 obtains a series of 372 complex numbers in the first half of the series of 744 complex numbers obtained by complex DFTing the signal 4d as a complex DFT coefficient sequence (monaural complex DFT coefficient sequence). (Step S221-222).
  • each complex DFT coefficient of the monaural complex DFT coefficient sequence obtained by the stereo decoding unit 220 is referred to as MQ (f).
  • the stereo decoding unit 220 obtains the value MQr (f) of the radius of each complex DFT coefficient on the complex surface and the value of the angle of each complex DFT coefficient on the complex surface MQ ⁇ from the monaural complex DFT coefficient sequence. (F) and (step S221-223).
  • the stereo decoding unit 220 then obtains the value obtained by multiplying the value MQr (f) of each radius by the square root of the corresponding value of the feature parameters as the value VLQr (f) of each radius of the first channel.
  • the value obtained by dividing the radius value MQr (f) by the square root of the corresponding value among the feature parameters is obtained as the value VRQr (f) of each radius of the second channel (step S221-224).
  • the corresponding values of the feature parameters for each frequency bin are Mr (1) when f is 1 to 93 and Mr (f is 94 to 186) in the above four band examples. 2), f is Mr (3) from 187 to 279, and f is Mr (4) from 280 to 372.
  • the stereo coding unit 110 of the coding apparatus 100 replaces the ratio of the value of the radius of the first channel with the value of the radius of the second channel with the value of the radius of the first channel and the radius of the second channel.
  • the stereo decoding unit 220 adds the value obtained by dividing the corresponding value of the feature parameters by 2 to the value MQr (f) of each radius, and adds the value to each of the first channels. Obtained as the radius value VLQr (f), the value obtained by subtracting the value obtained by dividing the corresponding value of the feature parameters by 2 from the value MQr (f) of each radius is the value VRQr (f) of each radius of the second channel. ).
  • the stereo decoding unit 220 performs an inverse complex DFT on a series of complex numbers having a radius of VLQr (f) and an angle of MQ ⁇ (f) on the complex surface, and 744 in the interval of 23.25 ms from t1 to t6.
  • a decoded sound signal (signal 4e-2) in which the window of the second channel of 744 samples in the interval of 23.25 ms from t1 to t6 is injured (step S221-225).
  • the window-cut decoded sound signals (signals 4e-1 and 4e-2) of each channel obtained in step S221-225 have a form in which the section of 3.25 ms from t1 to t2 increases, and from t2.
  • the 16.75ms section to t5 is flat, and the 3.25ms section from t5 to t6 is a attenuated windowed signal.
  • the stereo decoding unit 220 displays the signals (signals 4f-1, signal 4f-) obtained in step S221-225 of the immediately preceding frame for the section from t1 to t2 for each of the first channel and the second channel. 2) and the signal (signal 4e-1, signal 4e-2) obtained in step S221-225 of the current frame are combined, and the section from t2 to t5 is obtained in step S221-225 of the current frame.
  • a decoded sound signal (signal 4h-1, signal 4h-2) in a section of 20 ms from t1 to t5 is obtained and output (step S221). -226).
  • This embodiment will be referred to as a second embodiment, and differences from the first embodiment will be described.
  • the monaural coding unit 120 encodes the downmix signal by a predetermined coding method to obtain and output a monaural code CM, and in addition, decodes the monaural code CM to obtain a signal, that is, a downmix signal.
  • a monaural local decoding signal which is a local decoding signal in the section Y, is also obtained and output (step S122).
  • the monaural coding unit 120 obtains the monaural code CM of the current frame, and in addition, the local decoding signal corresponding to the monaural code CM of the current frame, that is, 3.25 from t1 to t2.
  • a window-injured local decoding signal with an increasing ms interval, a flat 16.75ms interval from t2 to t5, and an attenuated 3.25ms interval from t5 to t6.
  • the local decoding signal corresponding to the monaural code CM of the immediately preceding frame and the local decoding signal corresponding to the monaural code CM of the current frame are combined, and for the section from t2 to t5, the current
  • the local decoding signal in the section of 20 ms from t1 to t5 is obtained and output.
  • the monaural coding unit 120 stores the local decoding signal in the section from t5 to t6 obtained from the monaural code CM of the current frame in a storage unit (not shown) in the monaural coding unit 120.
  • the monaural local decoding signal output by the monaural coding unit 120 is also input to the additional coding unit 130, as shown by the broken line in FIG.
  • the additional coding unit 130 is not only the downmix signal of the section X which was the object of coding in the additional coding unit 130 of the first embodiment, but also the difference signal between the downmix signal of the section Y and the monaural local decoding signal ( A signal composed of subtraction of sample values between corresponding samples) is also encoded to obtain an additional code CA and output (step S132).
  • the second additional coding is performed to obtain a code (second additional code CA2) by encoding a signal concatenated with the 1 additional coding quantization error signal), and the first additional code CA1 and the second additional code CA2 are performed. It is preferable that the combination of the above is used as the additional code CA.
  • a signal obtained by concatenating a signal having a smaller difference in amplitude between the two sections than the difference signal in the section Y and the downmix signal in the section X is coded. Since the second additional coding is performed as the target of coding and the downmix signal itself is the first additional coding as the target of coding only for a short time interval, efficient coding can be expected.
  • the additional coding unit 130 encodes the downmix signal of the input section X to obtain the first additional code CA1 (step S132-1, hereinafter also referred to as “first additional coding”), and the first The local decoding signal of the section X corresponding to the 1 additional code CA1, that is, the local decoding signal of the first additional coding of the section X is obtained (step S132-2).
  • first additional coding a well-known coding method such as scalar quantization or vector quantization may be used.
  • the additional coding unit 130 is then configured by subtracting the difference signal between the input downmix signal of the section X and the locally decoded signal of the section X obtained in step S132-2 (subtraction of the sample values of the corresponding samples). Signal) (step S132-3).
  • the additional coding unit 130 also obtains a difference signal between the downmix signal in the section Y and the monaural local decoding signal (a signal configured by subtracting the sample values of the corresponding samples) (step S132-4).
  • the additional coding unit 130 encodes a signal obtained by connecting the difference signal of the section Y obtained in step S132-4 and the difference signal of the section X obtained in step S132-3 to obtain the second additional code CA2.
  • step S132-5 also referred to as "second additional coding” below.
  • the sample sequence obtained by connecting the sample sequence of the difference signal in the section Y obtained in step S132-4 and the sample sequence of the difference signal in the section X obtained in step S131-3 are collectively encoded.
  • a coding method using prediction in the time domain and a coding method adapted to the deviation of the amplitude in the frequency domain are used.
  • the additional coding unit 130 outputs a combination of the first additional code CA1 obtained in step S132-1 and the second additional code CA2 obtained in step S132-5 as the additional code CA (step S132-). 6).
  • the additional coding unit 130 may use a weighted difference signal as a coding target instead of the above-mentioned difference signal. That is, the additional coding unit 130 includes a weighted difference signal between the downmix signal in the section Y and the monaural local decoding signal (a signal configured by weighted subtraction of the sample values of the corresponding samples) and the down in the section X. The mixed signal may be encoded to obtain an additional code CA and output. In the case of [[Specific example 1 of the additional coding unit 130]], the additional coding unit 130 performs the weighted difference signal between the downmix signal in the section Y and the monaural local decoding signal as the process of step S132-4.
  • a signal composed of weighted subtraction of sample values between corresponding samples may be obtained.
  • the additional coding unit 130 has the downmix signal of the input section X and the section obtained in step S132-2 as the process of step S132-3 of [[Specific example 1 of the additional coding unit 130]].
  • a weighted difference signal (a signal composed of weighted subtraction of sample values between corresponding samples) with the local decoding signal of X may be obtained.
  • the weights used to generate each weighted difference signal may be encoded by a well-known coding technique to obtain a code, and the obtained code (code representing the weight) may be included in the additional code CA.
  • the additional decoding unit 230 decodes the additional reference numeral CA to obtain not only the additional decoding signal of the section X which is the additional decoding signal obtained by the additional decoding unit 230 of the first embodiment but also the additional decoding signal of the section Y. Output (step S232).
  • the additional coding unit 130 uses a decoding method corresponding to the coding method used in step S132. That is, when the additional coding unit 130 uses [[Specific example 1 of the additional coding unit 130]] in step S132, the additional decoding unit 230 has the following [[Specific example 1 of the additional decoding unit 230]]. Is processed.
  • the additional decoding unit 230 first decodes the first additional code CA1 included in the additional code CA to obtain the first decoded signal of the section X (step S232-1, hereinafter also referred to as “first additional decoding”). For the first additional decoding, a decoding method corresponding to the coding method used by the additional coding unit 130 for the first additional coding is used. The additional decoding unit 230 also decodes the second additional code CA2 included in the additional code CA to obtain the second decoded signal of the section Y and the section X (step S232-2, hereinafter also referred to as “second additional decoding”. Say).
  • the decoding method corresponding to the coding method used by the additional coding unit 130 for the second additional coding that is, the sample sequence of the additional decoding signal in the section Y from the code and the second decoding of the section X.
  • a decoding method for obtaining a set of sample sequences in which signal sample sequences are concatenated for example, a decoding method using prediction in the time domain, or a decoding method adapted to an amplitude bias in frequency is used.
  • the additional decoding unit 230 obtains the second decoded signal of the section Y of the second decoded signals obtained in step S232-2 as the additional decoded signal of the section Y, and the section X obtained in step S232-1.
  • the signal obtained by adding the second decoded signal of the section X of the first decoded signal of the above and the second decoded signal obtained in step S232-2 (a signal composed of the addition of the sample values of the corresponding samples) is the section X.
  • the additional decoding signal of the section Y and the section X is output as the additional decoding signal of (step S232-4).
  • the additional coding unit CA also includes a code representing the weight, so that the additional decoding unit 230 is described above.
  • the code other than the code representing the weight of the additional code CA is decoded to obtain an additional decoded signal, and the code representing the weight included in the additional code CA is decoded to obtain the weight and output. Just do it.
  • the code representing the weight of the section X included in the additional code CA is decoded to obtain the weight of the section X, and the additional decoding unit 230 performs step S2232-.
  • the second decoded signal of the section Y of the second decoded signal obtained in step S232-2 is obtained as the additional decoded signal of the section Y, and is combined with the first decoded signal of the section X obtained in step S232-1.
  • a signal obtained by weighting and adding the second decoded signal of the section X of the second decoded signals obtained in step S232-2 (a signal composed of weighted addition of sample values of corresponding samples) is added to the section X. It may be obtained as a decoding signal and output the additional decoding signal of the section Y and the section X and the weight of the section Y obtained by decoding the code representing the weight of the section Y included in the additional code CA.
  • weighted addition generation of weighted sum signal
  • a code is used. Since it is well known in the field of coding technology to obtain weights from, individual explanations are omitted in the embodiments described later, and addition and weighted addition are performed using "or". Only the explanation described together and the explanation using "or” for the sum signal and the weighted sum signal will be given.
  • the stereo decoding unit 220 performs the following steps S222-1 and S222-2 (step S222).
  • the stereo decoding unit 220 replaces step S221-1 performed by the stereo decoding unit 220 of the first embodiment with a sum signal of a monaural decoded sound signal in section Y and an additional decoded signal in section Y (corresponding samples of each other).
  • a signal obtained by connecting a signal composed by adding sample values) and an additional decoding signal of the section X is obtained as a decoding downmix signal of the section Y + X (step S222-1), and the decoding obtained in step S221-1 is obtained.
  • step S222-1 Using the decoded downmix signal obtained in step S222-1 instead of the downmix signal, two from the decoded downmix signal obtained in step S221-2 by the upmix processing using the feature parameters obtained from the stereo code CS.
  • the decoded sound signal of the channel of is obtained and output (step S222-2).
  • the stereo decoding unit 220 sets the monaural decoding sound signal in the section Y and the section Y in step S222-1.
  • a signal obtained by connecting a weighted sum signal with an additional decoded signal (a signal composed of a weighted addition of sample values of corresponding samples) and an additional decoded signal in the section X is used as a decoded downmix signal in the section Y + X. You just have to get it.
  • the weight of the section Y output by the additional decoding unit 230 is used. You can use it. This is the same for the addition of signals in each embodiment described later, but as described in the description of the additional decoding unit 230, weighted addition (weighted sum signal) is used instead of addition (generation of sum signal). Since it is well known in the field of coding technology to perform (generation) and to obtain weight from the code at that time, addition is omitted in the embodiment described later so as not to be redundant. And the weighted addition are described together using "or”, and the sum signal and the weighted sum signal are described together using "or".
  • the stereo coding / decoding algorithm delay is not larger than the monaural coding / decoding algorithm delay, and the decoding downmix signal used for stereo decoding is of higher quality than the first embodiment. Therefore, it is also possible to improve the sound quality of the decoded sound signal of each channel obtained by stereo decoding. That is, in the second embodiment, the monaural coding process performed by the monaural coding unit 120 and the additional coding process performed by the additional coding unit 130 are used as coding processes for coding the downmix signal with high quality.
  • the monaural code CM and the additional code CA are obtained as codes for satisfactorily expressing the downmix signal, and the monaural decoding process performed by the monaural decoding unit 210 and the additional decoding process performed by the additional decoding unit 230 are performed with high quality decoding down. It is used as a decoding process to obtain a mixed signal.
  • the amount of code assigned to each of the monaural code CM and the additional code CA may be arbitrarily determined according to the application, and when it is desired to realize higher quality stereo coding / decoding in addition to standard quality monaural coding / decoding. May allocate more code to the additional code CA.
  • the "monaural code” and the “additional code” are merely convenient names, and the monaural code CM and the additional code CA are both part of the code representing the downmix signal. Therefore, one of them may be called a “first downmix code” and the other may be called a “second downmix code”, and it is assumed that a larger amount of code is allocated to the additional code CA.
  • the additional code CA may be referred to as a "downmix code", a "downmix signal code”, or the like. The above is the same for each embodiment based on the third embodiment and the second embodiment described later.
  • the stereo decoding unit 220 it is better to use the decoding downmix signal corresponding to the downmix signal in which the sound signals of the two channels are mixed in the frequency domain, so that the decoded sound signal of the two channels with high sound quality can be obtained.
  • the monaural coding unit 120 it may be possible to obtain a high-quality monaural decoded sound signal in the monaural decoding unit 210 by encoding a signal in which the sound signals of the two channels are mixed in the time domain. In such a case, the stereo coding unit 110 mixes the sound signals of the two channels input to the coding device 100 in the frequency domain to obtain a downmix signal, and the monaural coding unit 120 encodes.
  • the signal obtained by mixing the sound signals of the two channels input to the apparatus 100 in the time domain is encoded, and the additional coding unit 130 mixes the sound signals of the two channels in the frequency domain with the signal mixed in the frequency domain. It is advisable to encode the difference between the signals.
  • This embodiment will be described as a third embodiment, focusing on the differences from the second embodiment.
  • the stereo coding unit 110 performs the operation described in the first embodiment in the same manner as the stereo coding unit 110 of the second embodiment, but obtains a downmix signal which is a signal obtained by mixing the sound signals of the two channels.
  • the process is performed by a process of mixing the sound signals of two channels in the frequency domain, for example, in step S111-5B (step S113). That is, the stereo coding unit 110 obtains a downmix signal in which the sound signals of the two channels are mixed in the frequency domain.
  • the stereo coding unit 110 obtains a downmix signal which is a monaural signal obtained by mixing the sound signals of two channels in the frequency domain in the section from t1 to t6. do it.
  • the stereo coding unit 110 is the difference between the sound signals of the two channels input from the two-channel stereo input sound signal input to the coding device 100.
  • the stereo code CS representing the feature parameter, which is a parameter representing the feature, is obtained and output (step S113), and the downmix unit 150 outputs the sound of two channels from the two-channel stereo input sound signal input to the coding device 100.
  • a downmix signal, which is a signal obtained by mixing signals in the frequency region, is obtained and output (step S153).
  • the coding device 100 of the third embodiment also includes a monaural coding target signal generation unit 140, as shown by the alternate long and short dash line in FIG.
  • the two-channel stereo input sound signal input to the coding device 100 is input to the monaural coding target signal generation unit 140.
  • the monaural coding target signal generation unit 140 obtains a monaural coding target signal, which is a monaural signal, by a process of mixing the sound signals of the two channels in the time domain from the input two-channel stereo input sound signal (step). S143).
  • the monaural coding target signal generation unit 140 sets a sequence based on the average value of the corresponding samples of the sample sequence of the sound signal of the first channel and the sample sequence of the sound signal of the second channel into the sound of the two channels. Obtained as a monaural coded target signal which is a mixed signal. That is, the monaural coding target signal obtained by the monaural coding target signal generation unit 140 is a signal obtained by mixing the sound signals of the two channels in the time domain. For example, in the current frame processing, the monaural coding target signal generation unit 140 is a monaural coding target that is a mixture of sound signals of two channels in the time domain for 20 ms from t3 to t7. You just have to get the signal.
  • the monaural coding target signal output by the monaural coding target signal generation unit 140 is input to the monaural coding unit 120.
  • the monaural coding unit 120 encodes the monaural coding target signal to obtain a monaural code CM and outputs it (step S123). For example, in the processing of the current frame, the monaural coding unit 120 increases the interval from t1 to t2 in which the current frame and the immediately preceding frame overlap with the monaural coded target signal, that is, the current frame.
  • the signal of is coded by using the section from t6 to t7 of the monaural coded target signal, which is the “look-ahead section”, for the analysis processing to obtain a monaural code CM and output it.
  • the additional coding unit 130 is a difference signal or a weighted difference signal between the downmix signal of the section Y and the monaural local decoding signal (sample values of the corresponding samples).
  • the signal composed of subtraction or weighted subtraction) and the downmix signal of the interval X are encoded to obtain an additional code CA and output (step S133).
  • the downmix signal in the section Y is a signal obtained by mixing the sound signals of the two channels in the frequency domain
  • the monaural locally decoded signal in the section Y is a signal obtained by mixing the sound signals of the two channels in the time domain. This is the decoded signal.
  • the additional coding unit 130 of the third embodiment is the same as the additional coding unit 130 of the second embodiment, as described in [[Specific example 1 of the additional coding unit 130]] of the section X.
  • the difference signal or the weighted difference signal of is encoded by the second additional coding to obtain the second additional code CA2, and the first additional code CA1 and the second additional code CA2 are combined. May be an additional code CA.
  • the monaural decoding unit 210 Similar to the monaural decoding unit 210 of the second embodiment, the monaural decoding unit 210 obtains and outputs a monaural decoded sound signal in the section Y using the monaural code CM (step S213).
  • the monaural decoding sound signal obtained by the monaural decoding unit 120 of the third embodiment is a decoding signal of a signal obtained by mixing the sound signals of the two channels in the time domain.
  • the additional decoding unit 230 decodes the additional reference numeral CA to obtain and output the additional decoding signals of the section Y and the section X (step S233).
  • the additional decoded signal in the section Y includes the difference between the signal obtained by mixing the sound signals of the two channels in the time region and the monaural decoded sound signal, and the signal obtained by mixing the sound signals of the two channels in the frequency region. The difference between the sound signals of the two channels and the signal obtained by mixing the sound signals in the time region is included.
  • the stereo decoding unit 220 performs the following steps S223-1 and S223-2 (step S223). Similar to the additional decoding unit 230 of the second embodiment, the stereo decoding unit 220 is a sum signal or a weighted sum signal of the monaural decoded sound signal of the section Y and the additional decoded signal of the section Y (sample values of the corresponding samples). A signal obtained by concatenating the signal composed of the addition or the weighted addition of the section X and the additional decoding signal of the section X is obtained as a decoding downmix signal of the section Y + X (step S223-1), and is obtained from the stereo code CS.
  • the decoded sound signals of two channels are obtained from the decoded downmix signal obtained in step S223-1 by the upmix processing using the characteristic parameters and output (step S223-2).
  • the sum signal in the section Y includes a monaural decoded sound signal obtained by monaural coding / decoding a signal obtained by mixing the sound signals of the two channels in the time region, and a sound signal of the two channels in the time region. Includes the difference between the signal mixed in and the monaural decoded sound signal, and the difference between the signal in which the sound signals of the two channels are mixed in the frequency region and the signal in which the sound signals of the two channels are mixed in the time region. Is done.
  • the monaural coding unit 120 and the monaural decoding unit 210 cannot obtain the correct local decoding signal or decoding signal without the signal or code of the immediately preceding frame, the signal or code up to the current frame alone cannot be obtained. Incomplete local decoding signals and decoding signals can be obtained. Therefore, in each of the first to third embodiments, the difference between the downmix signal and the monaural local decoding signal obtained from the signal up to the current frame is added to the section X instead of the downmix signal itself. It may be changed to be encoded by. This embodiment will be described as the fourth embodiment.
  • the monaural coding unit 120 is a monaural code CM obtained by encoding the downmix signal and a signal obtained by decoding the monaural code CM up to the current frame, that is, a local decoding signal of the downmix signal in the section Y + X. A certain monaural local decoding signal is obtained and output (step S124).
  • the monaural coding unit 120 obtains the monaural code CM of the current frame, and in addition, the local decoding signal corresponding to the monaural code CM of the current frame, that is, 3.25 ms from t1 to t2.
  • the section of 16.75ms from t2 to t5 is flat, and the section of 3.25ms from t5 to t6 is attenuated.
  • the local decoding signal corresponding to the monaural code CM of the immediately preceding frame and the local decoding signal corresponding to the monaural code CM of the current frame are combined, and for the section from t2 to t6, the current frame.
  • the local decoding signal in the section from t1 to t6 in the section of 23.25 ms is obtained and output.
  • the local decoding signal in the section from t5 to t6 is a local decoding signal that becomes a complete local decoding signal by synthesizing it with the increasing windowed local decoding signal obtained in the processing of the immediately preceding frame. There is an incomplete locally decoded signal with an attenuated window injured.
  • the additional coding unit 130 includes a downmix signal output by the stereo coding unit 110 or the downmix unit 150 and a monaural local unit output by the monaural coding unit 120.
  • the decoding signal and is input.
  • the additional coding unit 130 encodes a difference signal or a weighted difference signal (a signal composed of subtraction or weighted subtraction of sample values between corresponding samples) between the downmix signal in the section Y + X and the monaural local decoding signal.
  • the additional code CA is obtained and output (step S134).
  • the monaural code CM is input to the monaural decoding unit 210.
  • the monaural decoding unit 210 obtains and outputs a monaural decoding sound signal in the section Y + X using the monaural code CM (step S214).
  • the decoding signal in the section X that is, the section from t5 to t6, is a decoding signal that becomes a complete decoding signal by being combined with the increasing-shaped window-injured decoding signal obtained in the processing of the immediately preceding frame. An incomplete decoded signal with an attenuated window injured.
  • Additional decoding unit 230 Similar to the additional decoding unit 230 of the second embodiment, the additional decoding unit 230 is input with the additional reference numeral CA. The additional decoding unit 230 decodes the additional reference numeral CA to obtain and output an additional decoding signal in the section Y + X (step S234).
  • the stereo decoding unit 220 Similar to the stereo decoding unit 220 of the second embodiment, the stereo decoding unit 220 inputs the monaural decoding sound signal output by the monaural decoding unit 210, the additional decoding signal output by the additional decoding unit 230, and the decoding device 200.
  • the stereo code CS and is input.
  • the stereo decoding unit 220 decodes and downmixes a sum signal or a weighted sum signal (a signal composed of addition of sample values of corresponding samples or weighted addition) between a monaural decoded sound signal in the section Y + X and an additional decoded signal. Obtained as a signal, the decoded sound signals of two channels are obtained and output from the decoded downmix signal by the upmix processing using the feature parameter obtained from the stereo code CS (step S224).
  • each of the "downmix signal output by the stereo coding unit 110 or the downmix unit 150" and the "downmix signal" of the monaural coding unit 120 in the description of the fourth embodiment A is "monaural coding target signal generation". If it is replaced with the "monaural coding target signal" and the "monaural coding target signal” output by the unit 140, it is different from the third embodiment of the fourth embodiment B which is the fourth embodiment in which the third embodiment is changed. The explanation will be centered around.
  • Each of them is for the section X
  • the stereo decoding unit 220 decodes a signal obtained by connecting the monaural decoded sound signal of the section Y and the sum signal or the weighted sum signal of the monaural decoded sound signal of the section X and the additional decoded signal. If it is obtained as a downmix signal, it becomes the fourth embodiment C which is the fourth embodiment which is a modification of the first embodiment.
  • the downmix signal in section X includes a portion that can be predicted from the monaural locally decoded signal in section Y. Therefore, in each of the first to fourth embodiments, the difference between the downmix signal and the predicted signal from the monaural local decoding signal in the section Y may be encoded by the additional coding unit 130 for the section X. This embodiment will be described as the fifth embodiment.
  • the fifth embodiment which is a modification of each of the second embodiment, the third embodiment, the fourth embodiment A, and the fourth embodiment B, is referred to as the fifth embodiment A, and the second embodiment and the third embodiment are used. The differences from the embodiments, the fourth embodiment A, and the fourth embodiment B will be described.
  • the additional coding unit 130 performs the following steps S135A-1 and S135A-2 (step S135A).
  • the additional coding unit 130 uses a predetermined well-known prediction technique to start from the input monaural local decoding signal of the section Y or the section Y + X (however, as described above, the section X is an incomplete monaural local decoding signal).
  • a prediction signal of the section X for the monaural local decoding signal is obtained (step S135A-1).
  • the input incomplete monaural local decoding signal in the section X is predicted in the section X. Include in the signal.
  • the additional coding unit 130 requests a difference signal or a weighted difference signal between the downmix signal in the section Y and the monaural locally decoded signal (a signal composed of subtraction or weighted subtraction of sample values between corresponding samples). And a difference signal or a weighted difference signal between the downmix signal in the section X and the predicted signal obtained in step S135A-1 (a signal composed of subtraction or weighted subtraction of sample values between corresponding samples). It is encoded to obtain an additional code CA and output (step S135A-2).
  • the signal obtained by connecting the difference signal in the section Y and the difference signal in the section X may be encoded to obtain an additional code CA, or for example, the difference signal in the section Y and the difference signal in the section X may be coded. It may be converted into a code to obtain a code, and the obtained code may be concatenated to obtain an additional code CA.
  • the same coding method as the additional coding unit 130 of each of the second embodiment, the third embodiment, the fourth embodiment A, and the fourth embodiment B may be used.
  • the stereo decoding unit 220 performs steps S225A-2 from the following steps S225A-0 (step S225A). First, the stereo decoding unit 220 obtains the prediction signal of the section X from the monaural decoded sound signal of the section Y or the section Y + X by using the same prediction technique used by the additional coding unit 130 in the step S135 (step S225A-. 0). Next, the stereo decoding unit 220 together with a sum signal or a weighted sum signal of the monaural decoded sound signal of the section Y and the additional decoded signal (a signal composed of addition of sample values of corresponding samples or weighted addition).
  • the stereo decoding unit 220 obtains and outputs the decoding sound signals of the two channels from the decoding downmix signal obtained in step S225A-1 by the upmix processing using the feature parameters obtained from the stereo code CS (the stereo decoding unit 220). Step S225A-2).
  • the monaural coding unit 120 inputs, in addition to the monaural code CM obtained by encoding the downmix signal, a signal obtained by decoding the monaural code CM up to the current frame for the section Y or the section Y + X, that is, input.
  • a monaural local decoding signal which is a local decoding signal of the downmix signal, is also obtained and output (step S125B).
  • the monaural local decoding signal in the section X is an incomplete monaural local decoding signal.
  • the additional coding unit 130 performs the following steps S135B-1 and S135B-2 (step S135B).
  • the additional coding unit 130 uses a predetermined well-known prediction technique to start from the input monaural local decoding signal of the section Y or the section Y + X (however, as described above, the section X is an incomplete monaural local decoding signal).
  • a prediction signal of the section X for the monaural local decoding signal is obtained (step S135B-1).
  • the input monaural local decoding signal of the section X is included in the prediction signal of the section X.
  • the additional coding unit 130 requests a difference signal or a weighted difference signal between the downmix signal in section X and the predicted signal obtained in step S135B-1 (by subtracting or weighted subtraction of sample values between corresponding samples).
  • the configured signal is encoded to obtain an additional code CA and output (step S135B-2).
  • the same coding method as the additional coding unit 130 of each embodiment of the first embodiment and the fourth embodiment C may be used for coding.
  • the stereo decoding unit 220 performs steps S225B-2 from the following steps S225B-0 (step S225B). First, the stereo decoding unit 220 obtains the prediction signal of the section X from the monaural decoded sound signal of the section Y or the section Y + X by using the same prediction technique used by the additional coding unit 130 (step S225B-0). .. Next, the stereo decoding unit 220 adds a sum signal or a weighted sum signal of the monaural decoded sound signal of the section Y and the additional decoded signal and the predicted signal of the section X (addition of sample values of corresponding samples or weighted addition).
  • Step S225B-1 the stereo decoding unit 220 obtains and outputs the decoding sound signals of the two channels from the decoding downmix signal obtained in step S225B-1 by the upmix processing using the feature parameters obtained from the stereo code CS (the stereo decoding unit 220). Step S225B-2).
  • the decoding device 200 uses the additional code CA obtained by the coding device 100 to decode at least the additional code CA in the section X used by the stereo decoding unit 220.
  • the decoding device 200 may use the predicted signal from the monaural decoded sound signal in the section Y as the decoding downmix signal in the section X used in the stereo decoding unit 220 without using the additional code CA.
  • This embodiment will be referred to as a sixth embodiment, and differences from the first embodiment will be described.
  • the coding device 100 of the sixth embodiment is different from the coding device 100 of the first embodiment in that the additional coding unit 130 is not included, the downmix signal in the section X is not encoded, and the additional code CA is obtained. There is no such thing. That is, the coding device 100 of the sixth embodiment includes the stereo coding unit 110 and the monaural coding unit 120, and each of the stereo coding unit 110 and the monaural coding unit 120 is the stereo coding unit of the first embodiment. It operates in the same manner as each of the unit 110 and the monaural coding unit 120.
  • the decoding device 200 of the sixth embodiment does not include the additional decoding unit 230 for decoding the additional code CA, but includes the monaural decoding unit 210 and the stereo decoding unit 220.
  • the monaural decoding unit 210 of the sixth embodiment operates in the same manner as the monaural decoding unit 210 of the first embodiment, but when the stereo decoding unit 220 uses the monaural decoding sound signal of the section Y + X, the monaural decoding sound of the section X It also outputs a signal. Further, the stereo decoding unit 220 of the sixth embodiment performs the following operation different from that of the stereo decoding unit 220 of the first embodiment.
  • the stereo decoding unit 220 performs the following steps S226-0 to S226-2 (step S226).
  • the stereo decoding unit 220 obtains the prediction signal of the section X from the monaural decoding sound signal of the section Y or the section Y + X by using a predetermined well-known prediction technique similar to that of the fifth embodiment (step S226-0).
  • the stereo decoding unit 220 obtains a signal obtained by concatenating the monaural decoded sound signal of the section Y and the predicted signal of the section X as the decoding downmix signal of the section Y + X (step S226-1), and obtains the signal from the stereo code CS.
  • the decoded sound signals of two channels are obtained from the decoded downmix signal obtained in step S226-1 by the upmix processing using the characteristic parameters and output (step S226-2).
  • the number of channels is not limited to this, and may be 2 or more. Assuming that the number of channels is C (C is an integer of 2 or more), each of the above-described embodiments can be implemented by replacing the two channels with C channels (C is an integer of 2 or more).
  • the coding apparatus 100 of the first to fifth embodiments may obtain the stereo code CS, the monaural code CM, and the additional code CA from the input sound signals of the C channels, and the sixth embodiment.
  • the coding apparatus 100 of the embodiment may obtain the stereo code CS and the monaural code CM from the sound signals of the input C channels
  • the stereo coding unit 110 may obtain the stereo code CS and the monaural code CM of the input C channels.
  • a code representing information corresponding to the difference between channels in the sound signal is obtained and output as the stereo code CS, and the stereo coding unit 110 or the downmix unit 150 is a signal obtained by mixing the sound signals of the input C channels.
  • the monaural coding target signal generation unit 140 obtains and outputs a signal obtained by mixing the input C channel sound signals in the time region as a monaural coding target signal. do it.
  • the information corresponding to the difference between the channels in the sound signal of the C channels is, for example, the sound signal of the channel and the sound signal of the reference channel for each of the C-1 channels other than the reference channel. This is information corresponding to the difference between.
  • the decoding device 200 of the first to fifth embodiments obtains and outputs the decoded sound signals of C channels based on the input monaural code CM, the additional code CA, and the stereo code CS.
  • the decoding device 200 of the sixth embodiment may obtain and output the decoded sound signals of C channels based on the input monaural code CM and the stereo code CS, and may be used for stereo decoding.
  • the unit 220 may obtain and output the decoded sound signals of C channels from the decoded downmix signal by the upmix processing using the feature parameters obtained based on the input stereo code CS.
  • the stereo decoding unit 220 considers that the decoding downmix signal is a signal obtained by mixing the decoding sound signals of C channels, and the feature parameter obtained based on the input stereo code CS is C. It may be considered that the information represents the characteristics of the difference between the channels in the decoded sound signals of the individual channels, and the decoded sound signals of the C channels may be obtained and output.
  • each part of each coding device and each decoding device described above may be realized by a computer, and in this case, the processing content of the function that each device should have is described by a program. Then, by loading this program into the storage unit 1020 of the computer shown in FIG. 12 and operating it in the arithmetic processing unit 1010, the input unit 1030, the output unit 1040, etc., various processing functions in each of the above devices are realized on the computer. Will be done.
  • the program that describes this processing content can be recorded on a computer-readable recording medium.
  • the computer-readable recording medium is, for example, a non-temporary recording medium, specifically, a magnetic recording device, an optical disk, or the like.
  • this program is carried out, for example, by selling, transferring, renting, etc. a portable recording medium such as a DVD or CD-ROM in which the program is recorded.
  • the program may be stored in the storage device of the server computer, and the program may be distributed by transferring the program from the server computer to another computer via the network.
  • a computer that executes such a program for example, first transfers a program recorded on a portable recording medium or a program transferred from a server computer to an auxiliary recording unit 1050, which is its own non-temporary storage device. Store. Then, at the time of executing the process, the computer reads the program stored in the auxiliary recording unit 1050, which is its own non-temporary storage device, into the storage unit 1020, and executes the process according to the read program. Further, as another execution form of this program, a computer may read the program directly from the portable recording medium into the storage unit 1020 and execute the processing according to the program, and further, the program may be executed from the server computer to this computer. Each time the computer is transferred, the processing according to the received program may be executed sequentially.
  • ASP Application Service Provider
  • the program in this embodiment includes information used for processing by a computer and equivalent to the program (data that is not a direct command to the computer but has a property that regulates the processing of the computer, etc.).
  • the present device is configured by executing a predetermined program on a computer, but at least a part of these processing contents may be realized by hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Stereophonic System (AREA)

Abstract

ステレオ符号化／復号のアルゴリズム遅延がモノラル符号化／復号のアルゴリズム遅延よりも大きくない複数チャネルの音信号とモノラルの音信号のエンベデッド符号化を提供する。符号化装置（１００）は、複数チャネルの音信号をフレーム単位で符号化する。ステレオ符号化部（１１０）は、複数チャネルの音信号のチャネル間の差分の特徴を表すパラメータである特徴パラメータを表すステレオ符号を得て出力する。ダウンミックス部（１５０）は、複数チャネルの音信号を混合した信号をダウンミックス信号として得る。モノラル符号化部（１２０）は、フレーム間でオーバーラップのある窓をかける処理が含まれる符号化方式で、ダウンミックス信号を符号化してモノラル符号を得て出力する。追加符号化部（１３０）は、ダウンミックス信号のうちの現在のフレームと直後のフレームとのオーバーラップの区間の信号を符号化して追加符号を得て出力する。

Description

音信号符号化方法、音信号符号化装置、プログラム及び記録媒体
　本発明は、複数チャネルの音信号と１チャネルの音信号をエンベデッド符号化／復号する技術に関する。
　複数チャネルの音信号とモノラルの音信号をエンベデッド符号化／復号する技術としては、非特許文献１の技術がある。非特許文献１の技術の概要を、図５に例示する符号化装置５００と図６に例示する復号装置６００で説明する。符号化装置５００のステレオ符号化部５１０は、所定の時間区間であるフレームごとに、入力された複数チャネルの音信号であるステレオ入力音信号から、ステレオ入力音信号におけるチャネル間の差分の特徴を表すパラメータである特徴パラメータを表すステレオ符号ＣＳと、ステレオ入力音信号を混合した信号であるダウンミックス信号と、を得る。符号化装置５００のモノラル符号化部５２０は、フレームごとに、ダウンミックス信号を符号化してモノラル符号ＣＭを得る。復号装置６００のモノラル復号部６１０は、フレームごとに、モノラル符号ＣＭを復号してダウンミックス信号の復号信号であるモノラル復号音信号を得る。復号装置６００のステレオ復号部６２０は、フレームごとに、ステレオ符号ＣＳを復号してチャネル間の差分の特徴を表すパラメータである特徴パラメータを得て、モノラル復号音信号と特徴パラメータからステレオ復号音信号を得る処理（いわゆるアップミックス処理）を行う。
　高音質なモノラル復号音信号を得られるモノラル符号化／復号方式としては、非特許文献２に記載された3GPP EVS規格の符号化／復号方式がある。非特許文献１のモノラル符号化／復号方式として非特許文献２のような高音質のモノラル符号化／復号方式を用いれば、複数チャネルの音信号とモノラルの音信号のより高音質なエンベデッド符号化／復号を実現できる可能性がある。
Jeroen Breebaart et al., "Parametric Coding of Stereo Audio", EURASIP Journal on Applied Signal Processing, pp. 1305-1322, 2005:9. 3GPP, "Codec for Enhanced Voice Services (EVS); Detailed algorithmic description", TS 26.445.
　非特許文献１のアップミックス処理は、モノラル復号音信号に対して隣接するフレーム間でオーバーラップのある窓をかける処理を含む周波数領域での信号処理である。一方、非特許文献２のモノラル符号化／復号方式にも、隣接するフレーム間でオーバーラップのある窓をかける処理が含まれる。すなわち、非特許文献１のステレオ符号化／復号方式の復号側と、非特許文献２のモノラル符号化／復号方式の復号側と、の両方で、フレームの境界部分の所定の範囲については、前側のフレームの符号を復号して得た信号に減衰する形の傾斜窓をかけた信号と、後側のフレームの符号を復号して得た信号に増加する形の傾斜窓をかけた信号と、を合成することで復号音信号を得る。これらのことから、非特許文献１のようなエンベデッド符号化／復号のモノラル符号化／復号方式として非特許文献２のようなモノラル符号化／復号方式を用いると、アップミックス処理における窓の分だけモノラル復号音信号よりもステレオ復号音信号が遅れてしまう課題、すなわち、ステレオ符号化／復号のアルゴリズム遅延がモノラル符号化／復号よりも大きくなってしまう課題がある。
　例えば、多地点で電話会議をするための多地点制御装置（Multipoint Control Unit, MCU）では、どの地点からの信号をどの地点に出力するかを所定時間区間ごとに切り替える制御を行うのが一般的であり、モノラル復号音信号よりもアップミックス処理における窓の分だけステレオ復号音信号が遅れた状態での制御をするのは難しく、モノラル復号音信号よりもステレオ復号音信号を１フレーム遅延させた状態で制御をする実装となることが想定される。すなわち、多地点制御装置を含む通信システムにおいては、上述した課題が更に顕著となってしまい、ステレオ符号化／復号のアルゴリズム遅延がモノラル符号化／復号のアルゴリズム遅延よりも１フレーム大きくなってしまう可能性がある。また、モノラル復号音信号よりもステレオ復号音信号を１フレーム遅延させれば切り替える制御を所定時間区間ごとにすること自体は可能となるものの、各時間区間についてどの地点からのモノラル復号音信号とどの地点からのステレオ復号音信号とを組み合わせて出力するかの制御は、モノラル復号音信号とステレオ復号音信号の遅延が異なることで複雑になってしまう可能性がある。
　本発明は、このような課題を鑑みてなされたものであり、ステレオ符号化／復号のアルゴリズム遅延がモノラル符号化／復号のアルゴリズム遅延よりも大きくない複数チャネルの音信号とモノラルの音信号のエンベデッド符号化／復号を提供することを目的とする。
　上記の課題を解決するために、本発明の一態様の音信号符号化方法は、入力されたＣ個（Ｃは２以上の整数）のチャネルの音信号をフレーム単位で符号化する音信号符号化方法であって、現在のフレームの処理として、Ｃ個のチャネルの音信号のチャネル間の差分の特徴を表すパラメータである特徴パラメータを表すステレオ符号を得て出力するステレオ符号化ステップと、Ｃ個のチャネルの音信号を混合した信号をダウンミックス信号として得るダウンミックスステップと、ダウンミックス信号を符号化してモノラル符号を得て出力するモノラル符号化ステップと、を含み、モノラル符号化ステップは、フレーム間でオーバーラップのある窓をかける処理が含まれる符号化方式で、ダウンミックス信号を符号化してモノラル符号を得て、ダウンミックス信号のうちの現在のフレームと直後のフレームとのオーバーラップの区間の信号を符号化して追加符号を得て出力する追加符号化ステップを更に含むことを特徴とする。
　本発明によれば、ステレオ符号化／復号のアルゴリズム遅延がモノラル符号化／復号のアルゴリズム遅延よりも大きくない複数チャネルの音信号とモノラルの音信号のエンベデッド符号化／復号を提供することができる。
各実施形態の符号化装置の例を示すブロック図である。 各実施形態の符号化装置の処理の例を示す流れ図である。 各実施形態の復号装置の例を示すブロック図である。 各実施形態の復号装置の処理の例を示す流れ図である。 従来の符号化装置の例を示すブロック図である。 従来の復号装置の例を示すブロック図である。 非特許文献２の符号化装置の各信号を模式的に示した図である。 非特許文献２の復号装置の各信号とアルゴリズム遅延を模式的に示した図である。 モノラル符号化／復号方式として非特許文献２のモノラル符号化／復号方式を用いた場合の非特許文献１の復号装置の各信号とアルゴリズム遅延を模式的に示した図である。 本発明の復号装置の各信号とアルゴリズム遅延を模式的に示した図である。 本発明の符号化装置の各信号を模式的に示した図である。 各実施形態における各装置を実現するコンピュータの機能構成の一例を示す図である。
　各実施形態を説明する前に、まず、背景技術と第１実施形態の符号化／復号の各信号とアルゴリズム遅延について、フレーム長が20msである場合の各信号を模式的に例示した図７から図１１を参照して説明する。図７から図１１の各図の横軸は時間軸である。以下では、時刻がt7の時点で現在のフレームの処理を行う例を説明することから、各図の最上部に配置した軸には、左端に「過去」、右端に「未来」、との記載を付してあり、現在のフレームの処理を行う時刻であるt7のところに上向きの矢印を付してある。図７から図１１では、各信号について、どの時間区間のものであるか、窓がけされているときにはその窓が増加する形であるか平坦な形であるか減衰する形であるか、を模式的に示してある。より具体的には、窓関数が厳密にどのようなものであるのかはここでの説明においては重要ではないことから、図７から図１１では、窓が増加する形の区間と窓が減少する形の区間については、合成すると窓がけされていない信号になることを視覚的に表現するために、窓が増加する形の区間は右上がりの直線を含む三角形状で表してあり、窓が減少する形の区間は右下がりの直線を含む三角形状で表してある。また、以降では、複雑な文言表現を避けるために、各区間の始端の時刻を「から」「以降」などの文言を用いて特定しているが、当業者が理解し得る通り、各区間の実際の始端は表記してある時刻の直後の時刻であり、各区間のディジタル信号の実際の始端は表記してある時刻の直後のサンプルである。
　図７は、t7の時点で現在のフレームの処理を行う非特許文献２の符号化装置の各信号を模式的に示した図である。非特許文献２の符号化装置が現在のフレームの処理に用いることができるのは、t7までのモノラルの音信号である信号1aである。非特許文献２の符号化装置は、現在のフレームの処理では、信号1aのうちのt6からt7までの8.75msの区間をいわゆる「先読み区間」として分析に用いて、信号1aのうちのt1からt6までの23.25msの区間の信号に窓をかけた信号である信号1bを符号化して、モノラル符号を得て出力する。窓の形状は、t1からt2までの3.25msの区間が増加する形であり、t2からt5までの16.75msの区間が平坦であり、t5からt6までの3.25msの区間が減衰する形である。すなわち、この信号1bが現在のフレームの処理で得られるモノラル符号に対応するモノラルの音信号である。非特許文献２の符号化装置は、直前のフレームの処理として、t3までのモノラルの音信号が入力された時点で同様の処理を済ませており、t2までの23.25msの区間のモノラルの音信号にt1からt2までの区間に減衰する形の窓をかけた信号である信号1cの符号化を済ませている。すなわち、この信号1cが直前のフレームの処理で得られるモノラル符号に対応するモノラルの音信号であり、t1からt2までの区間は現在のフレームと直前のフレームとのオーバーラップ区間である。また、非特許文献２の符号化装置は、直後のフレームの処理として、t5以降の23.25msの区間のモノラルの音信号にt5からt6までの区間に増加する形の窓をかけた信号である信号1dを符号化することになる。すなわち、この信号1dが直後のフレームの処理で得られるモノラル符号に対応するモノラルの音信号であり、t5からt6までの区間は現在のフレームと直後のフレームとのオーバーラップ区間である。
　図８は、非特許文献２の符号化装置から現在のフレームのモノラル符号が入力された時点であるt7の時点で現在のフレームの処理を行う非特許文献２の復号装置の各信号を模式的に示した図である。非特許文献２の復号装置は、現在のフレームの処理では、現在のフレームのモノラル符号から、t1からt6までの区間の復号音信号である信号2aを得る。この信号2aは、信号1bに対応する復号音信号であり、t1からt2までの区間が増加する形であり、t2からt5までの区間が平坦であり、t5からt6までの区間が減衰する形の窓がけがされた信号である。非特許文献２の復号装置は、直前のフレームの処理として、直前のフレームのモノラル符号から、t1からt2までの区間が減衰する形の窓がけがされたt2までの23.25msの区間の復号音信号である信号2bを、直前のフレームのモノラル符号が入力された時点であるt3の時点で既に得ている。また、非特許文献２の復号装置は、直後のフレームの処理として、直後のフレームのモノラル符号から、t5からt6までの区間が増加する形の窓がけがされたt5以降の23.25msの区間の復号音信号である信号2cを得ることになる。ただし、t7の時点では信号2cは得られないので、t7の時点ではt5からt6までの区間については不完全な復号音信号は得られるものの完全な復号音信号は得られない。そこで、非特許文献２の復号装置は、t7の時点では、t1からt2までの区間については直前のフレームの処理で得られた信号2bと現在のフレームの処理で得られた信号2aとを合成し、t2からt5までの区間については現在のフレームの処理で得られた信号2aをそのまま用いることで、t1からt5まで20msの区間のモノラルの復号音信号である信号2dを得て出力する。非特許文献２の復号装置はt7の時点でt1から始まる区間の復号音信号を得ることから、非特許文献２のモノラル符号化／復号方式のアルゴリズム遅延はt1からt7までの時間長である32msである。
　図９は、モノラル復号部６１０が非特許文献２のモノラル復号方式を用いる場合の非特許文献１の復号装置６００の各信号を模式的に示した図である。ステレオ復号部６２０は、t7の時点で、モノラル復号部６１０で完全に得られているt5までのモノラル復号音信号である信号3aを用いて現在のフレームのステレオ復号処理（アップミックス処理）を行う。具体的には、ステレオ復号部６２０は、信号3aに対して、t0からt1までの3.25msの区間が増加する形であり、t1からt4までの16.75msの区間が平坦であり、t4からt5までの3.25msの区間が減衰する形の窓がけをしたt0からt5までの23.25msの区間の信号である信号3bを用いて、各チャネルについて信号3bと同じ形の窓がけがされたt0からt5までの復号音信号である信号3c-i（iはチャネル番号）を得る。ステレオ復号部６２０は、直前のフレームの処理として、t0からt1までの区間が減衰する形の窓がけがされたt1までの23.25msの区間の各チャネルの復号音信号である信号3d-iをt3の時点で既に得ている。また、ステレオ復号部６２０は、直後のフレームの処理として、t4からt5までの区間が増加する形の窓がけがされたt4以降の23.25msの区間の各チャネルの復号音信号である信号3e-iを得ることになる。ただし、t7の時点では信号3e-iは得られないので、t7の時点ではt4からt5までの区間については不完全な復号音信号は得られるものの完全な復号音信号は得られない。そこで、ステレオ復号部６２０は、t7の時点では、各チャネルについて、t0からt1までの区間については直前のフレームの処理で得られた信号3d-iと現在のフレームの処理で得られた信号3c-iとを合成し、t1からt4までの区間については現在のフレームの処理で得られた信号3c-iをそのまま用いることで、t0からt4まで20msの区間の完全な復号音信号である信号3f-iを得て出力する。復号装置６００はt7の時点で各チャネルのt0から始まる区間の復号音信号を得ることから、モノラル符号化／復号方式として非特許文献２のモノラル符号化／復号方式を用いた非特許文献１のステレオ符号化／復号のアルゴリズム遅延はt0からt7までの時間長である35.25msである。すなわち、このエンベデッド符号化／復号におけるステレオ符号化／復号のアルゴリズム遅延は、モノラル符号化／復号によるアルゴリズム遅延よりも大きくなってしまう。
　図１０は、後述する第１実施形態の復号装置２００の各信号を模式的に示した図である。第１実施形態の復号装置２００は、図３に示す構成であり、第１実施形態で詳述する通りの動作を行うモノラル復号部２１０と追加復号部２３０とステレオ復号部２２０を含む。ステレオ復号部２２０は、t7の時点で、完全に得られているt6までのモノラル復号音信号である信号4cを用いて現在のフレームの処理を行う。図９の説明箇所において上述した通り、t7の時点でモノラル復号部２１０で完全に得られているのはt5までのモノラル復号音信号である信号3aである。そこで、復号装置２００では、追加復号部２３０が、追加符号ＣＡを復号してt5からt6まで3.25msの区間のモノラル復号音信号である信号4bを得て（追加復号処理）、ステレオ復号部２２０は、モノラル復号部２１０で得られたt5までのモノラル復号音信号である信号3aと、追加復号部２３０で得られたt5からt6までの区間のモノラル復号音信号である信号4bと、を連結した信号4cを用いて現在のフレームのステレオ復号処理（アップミックス処理）を行う。すなわち、ステレオ復号部２２０は、信号4cに対して、t1からt2までの3.25msの区間が増加する形であり、t2からt5までの16.75msの区間が平坦であり、t5からt6までの3.25msの区間が減衰する形の窓がけをしたt1からt6までの23.75msの区間の信号4dを用いて、各チャネルについて信号4dと同じ形の窓がけがされたt1からt6までの区間の復号音信号である信号4e-iを得る。ステレオ復号部２２０は、直前のフレームの処理として、t1からt2までの区間が減衰する形の窓がけがされたt2までの23.75msの区間の各チャネルの復号音信号である信号4f-iをt3の時点で既に得ている。また、ステレオ復号部２２０は、直後のフレームの処理として、t5からt6までの区間が増加する形の窓がけがされたt5以降の23.75msの区間の各チャネルの復号音信号である信号4g-iを得ることになる。ただし、t7の時点では信号4g-iは得られないので、t7の時点ではt5からt6までの区間については不完全な復号音信号は得られるものの完全な復号音信号は得られない。そこで、ステレオ復号部２２０は、t7の時点では、各チャネルについて、t1からt2までの区間については直前のフレームの処理で得られた信号4f-iと現在のフレームの処理で得られた信号4e-iとを合成し、t2からt5までの区間については現在のフレームの処理で得られた信号4e-iをそのまま用いることで、t1からt5まで20msの区間の完全な復号音信号である信号4h-iを得て出力する。復号装置２００はt7の時点で各チャネルのt1から始まる区間の復号音信号を得ることから、第１実施形態のエンベデッド符号化／復号におけるステレオ符号化／復号のアルゴリズム遅延は、t1からt7までの時間長である32msである。すなわち、第１実施形態のエンベデッド符号化／復号によるステレオ符号化／復号のアルゴリズム遅延は、モノラル符号化／復号によるアルゴリズム遅延よりも大きくならない。
　図１１は、後述する第１実施形態の符号化装置１００、すなわち、各信号が図１０に模式的に示したものとなるようにする復号装置である第１実施形態の復号装置２００に対応した符号化装置、の各信号について模式的に示した図である。第１実施形態の符号化装置１００は、図１に示す構成であり、符号化装置５００のステレオ符号化部５１０と同様の処理を行うステレオ符号化部１１０と、符号化装置５００のモノラル符号化部５２０と同様にt7までのモノラルの音信号である信号1aのうちのt1からt6までの区間の信号に窓をかけた信号である信号1bを符号化してモノラル符号ＣＭを得るモノラル符号化部１２０と、に加えて、モノラルの音信号である信号1aのうちの現在のフレームと直後のフレームとのオーバーラップ区間であるt5からt6までの区間の信号である信号5cを符号化して追加符号ＣＡを得る処理を行う追加符号化部１３０を含む。
　以降では、現在のフレームと直後のフレームとのオーバーラップ区間であるt5からt6までの区間のことを「区間Ｘ」と呼ぶ。すなわち、符号化側では、区間Ｘは、モノラル符号化部１２０が、現在のフレームの処理と直後のフレームの処理の両方で、窓がけされたモノラルの音信号を符号化する区間である。より詳しくは、区間Ｘは、モノラル符号化部１２０が現在のフレームの処理で符号化する音信号のうちの終端を含む所定の長さの区間であり、モノラル符号化部１２０が現在のフレームの処理で減衰する形の窓がけをした音信号を符号化する区間であり、モノラル符号化部１２０が直後のフレームの処理で符号化する区間のうちの始端を含む所定の長さの区間であり、モノラル符号化部１２０が直後のフレームの処理で増加する形の窓がけをした音信号を符号化する区間である。また、復号側では、区間Ｘは、モノラル復号部２１０が、現在のフレームの処理と直後のフレームの処理の両方で、モノラル符号ＣＭを復号して窓がけされた復号音信号を得る区間である。より詳しくは、区間Ｘは、モノラル復号部２１０が現在のフレームの処理でモノラル符号ＣＭを復号して得た復号音信号のうちの終端を含む所定の長さの区間であり、モノラル復号部２１０が現在のフレームの処理でモノラル符号ＣＭを復号して得た復号音信号のうちの減衰する形の窓がけがされた区間であり、モノラル復号部２１０が直後のフレームの処理でモノラル符号ＣＭを復号して得る復号音信号のうちの始端を含む所定の長さの区間であり、モノラル復号部２１０が直後のフレームの処理でモノラル符号ＣＭを復号して得る復号音信号のうちの増加する形の窓がけがされた区間であり、モノラル復号部２１０が直後のフレームの処理で、現在のフレームの処理でモノラル符号ＣＭを復号して既に得られている復号音信号と、当該直後のフレームの処理でモノラル符号ＣＭを復号して得る復号音信号と、を合成して復号音信号を得る区間である。
　また、以降では、現在のフレームの処理でモノラル符号化／復号される区間のうち区間Ｘ以外の区間であるt1からt5までの区間のことを「区間Ｙ」と呼ぶ。すなわち、区間Ｙは、符号化側では、モノラル符号化部１２０において現在のフレームの処理でモノラルの音信号が符号化される区間のうちの直後のフレームとのオーバーラップ区間以外の区間であり、復号側では、モノラル復号部２１０において現在のフレームの処理でモノラル符号ＣＭを復号して復号音信号が得られる区間のうちの直後のフレームとのオーバーラップ区間以外の区間である。区間Ｙは、現在のフレームのモノラル符号ＣＭと直前のフレームのモノラル符号ＣＭでモノラルの音信号が表される区間と、現在のフレームのモノラル符号ＣＭのみでモノラルの音信号が表される区間と、を連結した区間であるので、現在のフレームの処理まででモノラル復号音信号を完全に得られる区間である。
＜第１実施形態＞
　第１実施形態の符号化装置と復号装置について説明する。
≪符号化装置１００≫
　第１実施形態の符号化装置１００は、図１に示す通り、ステレオ符号化部１１０とモノラル符号化部１２０と追加符号化部１３０を含む。符号化装置１００は、例えば20msの所定の時間長のフレーム単位で、入力された２チャネルステレオの時間領域の音信号（２チャネルステレオ入力音信号）を符号化して、後述するステレオ符号ＣＳとモノラル符号ＣＭと追加符号ＣＡを得て出力する。符号化装置１００に入力される２チャネルステレオ入力音信号は、例えば、音声や音楽などの音を２個のマイクロホンそれぞれで収音してＡＤ変換して得られたディジタルの音声信号又は音響信号であり、第１チャネルである左チャネルの入力音信号と第２チャネルである右チャネルの入力音信号から成る。符号化装置１００が出力する符号、すなわち、ステレオ符号ＣＳとモノラル符号ＣＭと追加符号ＣＡ、は後述する復号装置２００へ入力される。符号化装置１００は、各フレーム単位で、すなわち、上記の所定の時間長分の２チャネルステレオ入力音信号が入力されるごとに、図２に例示するステップＳ１１１とステップＳ１２１とステップＳ１３１の処理を行う。上述した例であれば、符号化装置１００は、t3からt7までの20ms分の２チャネルステレオ入力音信号が入力されると、現在のフレームについてのステップＳ１１１とステップＳ１２１とステップＳ１３１の処理を行う。
［ステレオ符号化部１１０］
　ステレオ符号化部１１０は、符号化装置１００に入力された２チャネルステレオ入力音信号から、入力された２個のチャネルの音信号の差分の特徴を表すパラメータである特徴パラメータを表すステレオ符号ＣＳと、２個のチャネルの音信号を混合した信号であるダウンミックス信号と、を得て出力する（ステップＳ１１１）。
〔ステレオ符号化部１１０の例〕
　ステレオ符号化部１１０の例として、入力された２個のチャネルの音信号の周波数帯域ごとの強度差を表す情報を特徴パラメータとする場合のステレオ符号化部１１０のフレームごとの動作を説明する。なお、以下では複素DFT(Discrete Fourier Transformation)を用いる具体例を説明しているが、複素DFT以外の周知の周波数領域への変換手法を用いてもよい。なお、サンプルの個数が２のべき乗ではないサンプル列を周波数領域に変換する場合には、サンプルの個数が２のべき乗となるようにゼロ詰めをしたサンプル列を用いるなどの周知技術を用いればよい。
　ステレオ符号化部１１０は、まず、入力された２個のチャネルの音信号それぞれを複素DFTして複素DFT係数列を得る（ステップＳ１１１－１）。複素DFT係数列は、フレーム間でオーバーラップのある窓をかけて、複素DFTにより得られる複素数の対称性を考慮した処理を用いて得る。例えば、サンプリング周波数が32kHzである場合には、20ms分のサンプルである640サンプルずつの２個のチャネルの音信号が入力されるごとに処理を行うようにして、各チャネルについて、直前のフレームの最後にあるサンプル群とオーバーラップする104点のサンプル（上述した例であれば、t1からt2の区間のサンプル）と直後のフレームの最初にあるサンプル群とオーバーラップする104点のサンプル（上述した例であれば、t5からt6の区間のサンプル）を含む連続する744点のディジタル音信号のサンプル列（上述した例であれば、t1からt6の区間のサンプル列）を複素DFTして得られる744個の複素数による系列のうちの前半の372個の複素数による系列を複素DFT係数列として得ればよい。以降では、fを1以上372以下の各整数とし、第１チャネルの複素DFT係数列の各複素DFT係数をV1(f)とし、第２チャネルの複素DFT係数列の各複素DFT係数をV2(f)とする。ステレオ符号化部１１０は、次に、２個のチャネルの複素DFT係数列から、各複素DFT係数の複素面上での半径の値による系列を得る（ステップＳ１１１－２）。各チャネルの各複素DFT係数の複素面上での半径の値は、各チャネルの音信号の周波数ビンごとの強度に相当する。以降では、第１チャネルの複素DFT係数V1(f)の複素面上での半径の値をV1r(f)とし、第２チャネルの複素DFT係数V2(f)の複素面上での半径の値をV2r(f)とする。ステレオ符号化部１１０は、次に、周波数帯域それぞれについて一方のチャネルの半径の値と他方のチャネルの半径の値との比の平均値を得て、平均値による系列を特徴パラメータとして得る（ステップＳ１１１－３）。この平均値による系列が、入力された２個のチャネルの音信号の周波数帯域ごとの強度差を表す情報に相当する特徴パラメータである。例えば、４個の帯域とする場合であれば、fが1から93まで、94から186まで、187から279まで、280から372まで、の４個の帯域それぞれについての、第１チャネルの半径の値V1r(f)を第２チャネルの半径の値V2r(f)で除算して得た93個の値の平均値Mr(1), Mr(2), Mr(3), Mr(4)を得て、平均値による系列{Mr(1), Mr(2), Mr(3), Mr(4)}を特徴パラメータとして得る。
　なお、帯域数は周波数ビンの数以下の値であればよく、帯域数として周波数ビン数と同じ値を用いてもよいし、1を用いてもよい。帯域数として周波数ビン数と同じ値を用いる場合には、ステレオ符号化部１１０は、各周波数ビンの一方のチャネルの半径の値と他方のチャネルの半径の値との比の値を得て、得た比の値による系列を特徴パラメータとして得ればよい。帯域数として1を用いる場合には、ステレオ符号化部１１０は、各周波数ビンの一方のチャネルの半径の値と他方のチャネルの半径の値との比の値を得て、得た比の値の全帯域の平均値を特徴パラメータとして得ればよい。また、帯域数を複数とする場合の各周波数帯域に含める周波数ビン数は任意であり、例えば、周波数が低い帯域に含める周波数ビン数を周波数が高い帯域に含める周波数ビン数よりも少なくしてもよい。
　また、ステレオ符号化部１１０は、一方のチャネルの半径の値と他方のチャネルの半径の値との比に代えて、一方のチャネルの半径の値と他方のチャネルの半径の値との差を用いてもよい。すなわち、上述した例であれば、第１チャネルの半径の値V1r(f)を第２チャネルの半径の値V2r(f)で除算して得た値に代えて、第１チャネルの半径の値V1r(f)から第２チャネルの半径の値V2r(f)を減算して得た値を用いてもよい。
　ステレオ符号化部１１０は、更に、特徴パラメータを表す符号であるステレオ符号ＣＳを得る（ステップＳ１１１－４）。特徴パラメータを表す符号であるステレオ符号ＣＳは周知の方法で得ればよい。例えば、ステレオ符号化部１１０は、ステップＳ１１１－３で得た値の系列をベクトル量子化して符号を得て、得た符号をステレオ符号ＣＳとして出力する。または、例えば、ステレオ符号化部１１０は、ステップＳ１１１－３で得た値の系列に含まれる値それぞれをスカラ量子化して符号を得て、得た符号を合わせたものをステレオ符号ＣＳとして出力する。なお、ステレオ符号化部１１０は、ステップＳ１１１－３で得たのが１つの値である場合には、その１つの値をスカラ量子化して得た符号をステレオ符号ＣＳとして出力すればよい。
　ステレオ符号化部１１０は、また、第１チャネルと第２チャネルの２個のチャネルの音信号を混合した信号であるダウンミックス信号を得る（ステップＳ１１１－５）。例えば、ステレオ符号化部１１０は、現在のフレームの処理においては、t3からt7までの20msについて、２個のチャネルの音信号を混合したモノラルの信号であるダウンミックス信号を得るようにすればよい。ステレオ符号化部１１０は、後述するステップＳ１１１－５Ａのように２個のチャネルの音信号を時間領域で混合してもよいし、後述するステップＳ１１１－５Ｂのように２個のチャネルの音信号を周波数領域で混合してもよい。時間領域で混合する場合には、例えば、ステレオ符号化部１１０は、第１チャネルの音信号のサンプル列と第２チャネルの音信号のサンプル列との対応するサンプル同士の平均値による系列を２個のチャネルの音信号を混合したモノラルの信号であるダウンミックス信号として得る（ステップＳ１１１－５Ａ）。周波数領域で混合する場合には、例えば、ステレオ符号化部１１０は、第１チャネルの音信号のサンプル列を複素DFTして得られる複素DFT係数列の各複素DFT係数と第２チャネルの音信号のサンプル列を複素DFTして得られる複素DFT係数列の各複素DFT係数の半径の平均値VMr(f)と角度の平均値VMθ(f)とを得て、複素面上での半径がVMr(f)であり角度がVMθ(f)である複素数VM(f)による系列を逆複素DFTして得たサンプル列を、２個のチャネルの音信号を混合したモノラルの信号であるダウンミックス信号として得る（ステップＳ１１１－５Ｂ）。
　なお、図１に二点鎖線で示すように符号化装置１００にダウンミックス部１５０も備えて、ダウンミックス信号を得るステップＳ１１１－５の処理を、ステレオ符号化部１１０内ではなくダウンミックス部１５０が行うようにしてもよい。この場合には、ステレオ符号化部１１０は、符号化装置１００に入力された２チャネルステレオ入力音信号から入力された２個のチャネルの音信号の差分の特徴を表すパラメータである特徴パラメータを表すステレオ符号ＣＳを得て出力し（ステップＳ１１１）、ダウンミックス部１５０は、符号化装置１００に入力された２チャネルステレオ入力音信号から２個のチャネルの音信号を混合した信号であるダウンミックス信号を得て出力する（ステップＳ１５１）。すなわち、ステレオ符号化部１１０が上述したステップＳ１１１―１からステップＳ１１１－４までをステップＳ１１１として行い、ダウンミックス部１５０が上述したステップＳ１１１―５をステップＳ１５１として行うようにしてもよい。
［モノラル符号化部１２０］
　モノラル符号化部１２０には、ステレオ符号化部１１０が出力したダウンミックス信号が入力される。符号化装置１００がダウンミックス部１５０を備える場合には、モノラル符号化部１２０には、ダウンミックス部１５０が出力したダウンミックス信号が入力される。モノラル符号化部１２０は、ダウンミックス信号を所定の符号化方式で符号化してモノラル符号ＣＭを得て出力する（ステップＳ１２１）。符号化方式としては、例えば非特許文献２の3GPP EVS規格（3GPP TS26.445）の13.2kbpsモードのような、フレーム間でオーバーラップのある窓をかける処理が含まれる符号化方式を用いる。上述した例であれば、モノラル符号化部１２０は、現在のフレームの処理においては、ダウンミックス信号である信号1aに、現在のフレームと直前のフレームとがオーバーラップするt1からt2までの区間は増加する形、現在のフレームと直後のフレームとがオーバーラップするt5からt6までの区間は減衰する形、これらの区間の間にあるt2からt5までの区間は平坦な形の窓をかけて得たt1からt6までの区間の信号である信号1bを、「先読み区間」である信号1aのt6からt7までの区間も分析処理に用いて符号化してモノラル符号ＣＭを得て出力する。
　このように、モノラル符号化部１２０が用いる符号化方式がオーバーラップのある窓をかける処理や「先読み区間」を用いた分析処理を含む場合には、現在のフレームの処理でステレオ符号化部１１０またはダウンミックス部１５０が出力したダウンミックス信号のみならず、過去のフレームの処理でステレオ符号化部１１０またはダウンミックス部１５０が出力したダウンミックス信号も符号化処理に用いることから、モノラル符号化部１２０には図示しない記憶部を備えておき、過去のフレームの処理で入力されたダウンミックス信号を記憶部に記憶しておくようにして、モノラル符号化部１２０は、記憶部に記憶されたダウンミックス信号も用いて現在のフレームの符号化処理を行えばよい。または、ステレオ符号化部１１０またはダウンミックス部１５０に図示しない記憶部を備えておき、ステレオ符号化部１１０またはダウンミックス部１５０が、モノラル符号化部１２０が現在のフレームの符号化処理で用いるダウンミックス信号を、過去のフレームの処理で得たダウンミックス信号も含んで現在のフレームの処理で出力するようにして、モノラル符号化部１２０は、現在のフレームの処理においてステレオ符号化部１１０またはダウンミックス部１５０から入力されたダウンミックス信号を用いるようにしてもよい。なお、これらの処理のような、過去のフレームの処理で得た信号を図示しない記憶部に記憶しておいて現在のフレームの処理で用いることは、必要に応じて後述する各部でも行うが、符号化の技術分野においては周知の処理であるので、冗長を避けるために以降では説明を省略する。
［追加符号化部１３０］
　追加符号化部１３０には、ステレオ符号化部１１０が出力したダウンミックス信号が入力される。符号化装置１００がダウンミックス部１５０を備える場合には、追加符号化部１３０には、ダウンミックス部１５０が出力したダウンミックス信号が入力される。追加符号化部１３０は、入力されたダウンミックス信号のうちの区間Ｘのダウンミックス信号を符号化して追加符号ＣＡを得て出力する（ステップＳ１３１）。上述した例であれば、追加符号化部１３０は、t5からt6までの区間のダウンミックス信号である信号5cを符号化して追加符号ＣＡを得て出力する。符号化には周知のスカラ量子化やベクトル量子化などの符号化方式を用いればよい。
≪復号装置２００≫
　第１実施形態の復号装置２００は、図３に示す通り、モノラル復号部２１０と追加復号部２３０とステレオ復号部２２０を含む。復号装置２００は、符号化装置１００と同じ所定の時間長のフレーム単位で、入力されたモノラル符号ＣＭと追加符号ＣＡとステレオ符号ＣＳを復号して２チャネルステレオの時間領域の音信号（２チャネルステレオ復号音信号）を得て出力する。復号装置２００に入力される符号、すなわち、モノラル符号ＣＭと追加符号ＣＡとステレオ符号ＣＳ、は符号化装置１００が出力したものである。復号装置２００は、各フレーム単位で、すなわち、上述した所定の時間長の間隔で、モノラル符号ＣＭと追加符号ＣＡとステレオ符号ＣＳが入力されるごとに、図２に例示するステップＳ２１１とステップＳ２２１とステップＳ２３１の処理を行う。上述した例であれば、復号装置２００は、直前のフレームについての処理を行ったt3から20ms経過したt7の時点で、現在のフレームのモノラル符号ＣＭと追加符号ＣＡとステレオ符号ＣＳが入力されると、現在のフレームについてのステップＳ２１１とステップＳ２２１とステップＳ２３１の処理を行う。なお、図３に破線で示す通り、復号装置２００は、必要な場合にはモノラルの時間領域の音信号であるモノラル復号音信号も出力する。
［モノラル復号部２１０］
　モノラル復号部２１０には、復号装置２００に入力された符号に含まれるモノラル符号ＣＭが入力される。モノラル復号部２１０は、入力されたモノラル符号ＣＭを用いて区間Ｙのモノラル復号音信号を得て出力する（ステップＳ２１１）。所定の復号方式としては、符号化装置１００のモノラル符号化部１２０が用いた符号化方式に対応する復号方式を用いる。上述した例であれば、モノラル復号部２１０は、現在のフレームのモノラル符号ＣＭを所定の復号方式で復号して、t1からt2までの3.25msの区間が増加する形であり、t2からt5までの16.75msの区間が平坦であり、t5からt6までの3.25msの区間が減衰する形の窓がけがされたt1からt6までの23.25msの区間の信号2aを得て、t1からt2までの区間については直前のフレームの処理で直前のフレームのモノラル符号ＣＭから得た信号2bと現在のフレームのモノラル符号ＣＭから得た信号2aとを合成し、t2からt5までの区間については現在のフレームのモノラル符号ＣＭから得た信号2aをそのまま用いることで、t1からt5まで20msの区間のモノラル復号音信号である信号2dを得て出力する。なお、現在のフレームのモノラル符号ＣＭから得たt5からt6までの区間の信号2aは直後のフレームの処理で「直前のフレームの処理で得られた信号2b」として用いられるので、モノラル復号部２１０は、現在のフレームのモノラル符号ＣＭから得たt5からt6までの区間の信号2aをモノラル復号部２１０内の図示しない記憶部に記憶する。
［追加復号部２３０］
　追加復号部２３０には、復号装置２００に入力された符号に含まれる追加符号ＣＡが入力される。追加復号部２３０は、追加符号ＣＡを復号して区間Ｘのモノラルの復号音信号である追加復号信号を得て出力する（ステップＳ２３１）。復号には、追加符号化部１３０が用いた符号化方式に対応する復号方式を用いる。上述した例であれば、追加復号部２３０は、現在のフレームの追加符号ＣＡを復号してt5からt6までの3.25msの区間のモノラル復号音信号である信号4bを得て出力する。
［ステレオ復号部２２０］
　ステレオ復号部２２０には、モノラル復号部２１０が出力したモノラル復号音信号と、追加復号部２３０が出力した追加復号信号と、復号装置２００に入力された符号に含まれるステレオ符号ＣＳと、が入力される。ステレオ復号部２２０は、入力されたモノラル復号音信号と追加復号信号とステレオ符号ＣＳとから、２個のチャネルの復号音信号であるステレオ復号音信号を得て出力する（ステップＳ２２１）。より詳しくは、ステレオ復号部２２０は、区間Ｙのモノラル復号音信号と区間Ｘの追加復号信号とを連結した信号である区間Ｙ＋Ｘ（すなわち、区間Ｙと区間Ｘを連結した区間）の復号ダウンミックス信号を得て（ステップＳ２２１－１）、ステレオ符号ＣＳから得られる特徴パラメータを用いたアップミックス処理によりステップＳ２２１－１で得た復号ダウンミックス信号から２個のチャネルの復号音信号を得て出力する（ステップＳ２２１－２）。後述する各実施形態でも同様であるが、アップミックス処理とは、復号ダウンミックス信号が２個のチャネルの復号音信号が混合された信号であると見做し、ステレオ符号ＣＳから得られる特徴パラメータが２個のチャネルの復号音信号の差分の特徴を表す情報であると見做して、２個のチャネルの復号音信号を得る処理である。上述した例であれば、まず、ステレオ復号部２２０は、モノラル復号部２１０が出力したt1からt5までの20msの区間のモノラル復号音信号（信号2d、信号3aのt1からt5までの区間）と、追加復号部２３０が出力したt5からt6までの3.25msの区間の追加復号信号（信号4b）とを連結して、t1からt6までの23.25msの区間の復号ダウンミックス信号（信号4cのt1からt6までの区間）を得る。次に、ステレオ復号部２２０は、t1からt6までの区間の復号ダウンミックス信号が２個のチャネルの復号音信号が混合された信号であると見做し、ステレオ符号ＣＳから得られる特徴パラメータが２個のチャネルの復号音信号の差分の特徴を表す情報であると見做して、t1からt5までの20msの区間の２個のチャネルの復号音信号（信号4h-1と信号4h-2）を得て出力する。
〔ステレオ復号部２２０が行うステップＳ２２１－２の例〕
　ステレオ復号部２２０が行うステップＳ２２１－２の例として、特徴パラメータが２個のチャネルの音信号の周波数帯域ごとの強度差を表す情報である場合のステレオ復号部２２０が行うステップＳ２２１－２について説明する。ステレオ復号部２２０は、まず、入力されたステレオ符号ＣＳを復号して周波数帯域ごとの強度差を表す情報を得る（Ｓ２２１－２１）。ステレオ復号部２２０は、符号化装置１００のステレオ符号化部１１０が周波数帯域ごとの強度差を表す情報からステレオ符号ＣＳを得た方式に対応する方式で、ステレオ符号ＣＳから特徴パラメータを得る。例えば、ステレオ復号部２２０は、入力されたステレオ符号ＣＳをベクトル復号して、入力されたステレオ符号ＣＳに対応するベクトルの各要素値を複数個の周波数帯域ごとの強度差を表す情報として得る。または、例えば、ステレオ復号部２２０は、入力されたステレオ符号ＣＳに含まれる符号それぞれをスカラ復号して周波数帯域ごとの強度差を表す情報を得る。なお、帯域数が１の場合には、ステレオ復号部２２０は、入力されたステレオ符号ＣＳをスカラ復号して１つの周波数帯域すなわち全帯域の強度差を表す情報を得る。
　ステレオ復号部２２０は、次に、ステップＳ２２１－１で得た復号ダウンミックス信号とステップＳ２２１－２１で得た特徴パラメータとから、復号ダウンミックス信号が２個のチャネルの復号音信号が混合された信号であると見做し、特徴パラメータが２個のチャネルの復号音信号の周波数帯域ごとの強度差を表す情報であると見做して、２個のチャネルの復号音信号を得て出力する（ステップＳ２２０－２２）。符号化装置１００のステレオ符号化部１２０が複素DFTを用いた上述した具体例の動作をした場合であれば、ステレオ復号部２２０のステップＳ２２１－２２は以下の動作となる。
　ステレオ復号部２２０は、まず、t1からt6までの23.25msの区間の744サンプルの復号ダウンミックス信号に対して、t1からt2までの3.25msの区間が増加する形であり、t2からt5までの16.75msの区間が平坦であり、t5からt6までの3.25msの区間が減衰する形の窓がけをした信号4dを得る（ステップＳ２２１－２２１）。ステレオ復号部２２０は、次に、信号4dを複素DFTして得られる744個の複素数による系列のうちの前半の372個の複素数による系列を複素DFT係数列（モノラルの複素DFT係数列）として得る（ステップＳ２２１－２２２）。以降では、ステレオ復号部２２０が得たモノラルの複素DFT係数列の各複素DFT係数をMQ(f)とする。ステレオ復号部２２０は、次に、モノラルの複素DFT係数列から、各複素DFT係数の複素面上での半径の値MQr(f)と、各複素DFT係数の複素面上での角度の値MQθ(f)と、を得る（ステップＳ２２１－２２３）。ステレオ復号部２２０は、次に、各半径の値MQr(f)に特徴パラメータのうちの対応する値の平方根を乗算した値を第１チャネルの各半径の値VLQr(f)として得て、各半径の値MQr(f)を特徴パラメータのうちの対応する値の平方根で除算した値を第２チャネルの各半径の値VRQr(f)として得る（ステップＳ２２１－２２４）。各周波数ビンについての特徴パラメータのうちの対応する値は、上述した４個の帯域の例であれば、fが1から93まではMr(1)であり、fが94から186まではMr(2)であり、fが187から279まではMr(3)であり、fが280から372まではMr(4)である。なお、符号化装置１００のステレオ符号化部１１０が、第１チャネルの半径の値と第２チャネルの半径の値との比に代えて、第１チャネルの半径の値と第２チャネルの半径の値との差を用いた場合には、ステレオ復号部２２０は、各半径の値MQr(f)に特徴パラメータのうちの対応する値を２で除算した値を加算した値を第１チャネルの各半径の値VLQr(f)として得て、各半径の値MQr(f)から特徴パラメータのうちの対応する値を２で除算した値を減算した値を第２チャネルの各半径の値VRQr(f)として得ればよい。ステレオ復号部２２０は、次に、複素面上での半径がVLQr(f)であり角度がMQθ(f)である複素数による系列を逆複素DFTしてt1からt6までの23.25msの区間の744サンプルの第１チャネルの窓がけがされた復号音信号（信号4e-1）を得て、複素面上での半径がVRQr(f)であり角度がMQθ(f)である複素数による系列を逆複素DFTしてt1からt6までの23.25msの区間の744サンプルの第２チャネルの窓がけがされた復号音信号（信号4e-2）を得る（ステップＳ２２１－２２５）。ステップＳ２２１－２２５で得られた各チャネルの窓がけがされた復号音信号（信号4e-1と信号4e-2）は、t1からt2までの3.25msの区間が増加する形であり、t2からt5までの16.75msの区間が平坦であり、t5からt6までの3.25msの区間が減衰する形の窓がけがされた信号である。ステレオ復号部２２０は、次に、第１チャネルと第２チャネルのそれぞれについて、t1からt2までの区間については直前のフレームのステップＳ２２１－２２５で得られた信号（信号4f-1、信号4f-2）と現在のフレームのステップＳ２２１－２２５で得られた信号（信号4e-1、信号4e-2）とを合成し、t2からt5までの区間については現在のフレームのステップＳ２２１－２２５で得られた信号（信号4e-1、信号4e-2）をそのまま用いることで、t1からt5まで20msの区間の復号音信号（信号4h-1、信号4h-2）を得て出力する（ステップＳ２２１－２２６）。
＜第２実施形態＞
　モノラル復号部２１０でモノラル符号ＣＭから完全なモノラル復号音信号を得られる時間区間である区間Ｙについてのダウンミックス信号とモノラル符号化の局部復号信号との差分も、追加符号化部１３０での符号化の対象としてもよい。この形態を第２実施形態として、第１実施形態と異なる点を説明する。
　［モノラル符号化部１２０］
　モノラル符号化部１２０は、ダウンミックス信号を所定の符号化方式で符号化してモノラル符号ＣＭを得て出力することに加えて、モノラル符号ＣＭを復号して得られる信号、すなわち、ダウンミックス信号の区間Ｙの局部復号信号であるモノラル局部復号信号も得て出力する（ステップＳ１２２）。上述した例であれば、モノラル符号化部１２０は、現在のフレームのモノラル符号ＣＭを得ることに加えて、現在のフレームのモノラル符号ＣＭに対応する局部復号信号、すなわち、t1からt2までの3.25msの区間が増加する形であり、t2からt5までの16.75msの区間が平坦であり、t5からt6までの3.25msの区間が減衰する形の窓がけがされた局部復号信号を得て、t1からt2までの区間については直前のフレームのモノラル符号ＣＭに対応する局部復号信号と現在のフレームのモノラル符号ＣＭに対応する局部復号信号とを合成し、t2からt5までの区間については現在のフレームのモノラル符号ＣＭに対応する局部復号信号をそのまま用いることで、t1からt5まで20msの区間の局部復号信号を得て出力する。t1からt2までの区間の直前のフレームのモノラル符号ＣＭに対応する局部復号信号は、モノラル符号化部１２０内の図示しない記憶部に記憶されている信号を用いる。現在のフレームのモノラル符号ＣＭに対応する局部復号信号のうちのt5からt6までの区間の信号は、直後のフレームの処理で「直前のフレームのモノラル符号ＣＭに対応する局部復号信号」として用いられるので、モノラル符号化部１２０は、現在のフレームのモノラル符号ＣＭから得たt5からt6までの区間の局部復号信号をモノラル符号化部１２０内の図示しない記憶部に記憶する。
　［追加符号化部１３０］
　追加符号化部１３０には、ダウンミックス信号に加えて、図１に破線で示す通り、モノラル符号化部１２０が出力したモノラル局部復号信号も入力される。追加符号化部１３０は、第１実施形態の追加符号化部１３０で符号化の対象としていた区間Ｘのダウンミックス信号だけではなく、区間Ｙのダウンミックス信号とモノラル局部復号信号との差信号（対応するサンプル同士のサンプル値の減算により構成される信号）も符号化して、追加符号ＣＡを得て出力する（ステップＳ１３２）。例えば、追加符号化部１３０は、区間Ｘのダウンミックス信号と区間Ｙの差信号のそれぞれを符号化して符号を得て、得た符号を連結したものを追加符号ＣＡとして得ればよい。符号化には第１実施形態の追加符号化部１３０と同様の符号化方式を用いればよい。また例えば、追加符号化部１３０は、区間Ｙの差信号と区間Ｘのダウンミックス信号とを連結した信号を符号化して追加符号ＣＡを得てもよい。また例えば、下記の［［追加符号化部１３０の具体例１］］のように、追加符号化部１３０は、区間Ｘのダウンミックス信号を符号化して符号（第１追加符号ＣＡ１）を得る第１追加符号化と、区間Ｙの差信号（すなわち、モノラル符号化部１２０の量子化誤差信号）と区間Ｘのダウンミックス信号と第１追加符号化の局部復号信号との差信号（すなわち、第１追加符号化の量子化誤差信号）とを連結した信号を符号化して符号（第２追加符号ＣＡ２）を得る第２追加符号化と、を行い、第１追加符号ＣＡ１と第２追加符号ＣＡ２を合わせたものを追加符号ＣＡとするとよい。［［追加符号化部１３０の具体例１］］によれば、区間Ｙの差信号と区間Ｘのダウンミックス信号よりも２つの区間の振幅の異なりが小さいであろう信号を連結したものを符号化の対象として第２追加符号化することになり、ダウンミックス信号そのものは短い時間区間のみを符号化の対象として第１追加符号化するので、効率の良い符号化が期待できる。
　［［追加符号化部１３０の具体例１］］
　追加符号化部１３０は、まず、入力された区間Ｘのダウンミックス信号を符号化して第１追加符号ＣＡ１を得て（ステップＳ１３２－１、以下では「第１追加符号化」ともいう）、第１追加符号ＣＡ１に対応する区間Ｘの局部復号信号、すなわち、区間Ｘの第１追加符号化の局部復号信号を得る（ステップＳ１３２－２）。第１追加符号化には周知のスカラ量子化やベクトル量子化などの符号化方式を用いればよい。追加符号化部１３０は、次に、入力された区間Ｘのダウンミックス信号とステップＳ１３２－２で得た区間Ｘの局部復号信号との差信号（対応するサンプル同士のサンプル値の減算により構成される信号）を得る（ステップＳ１３２－３）。追加符号化部１３０は、また、区間Ｙのダウンミックス信号とモノラル局部復号信号との差信号（対応するサンプル同士のサンプル値の減算により構成される信号）を得る（ステップＳ１３２－４）。追加符号化部１３０は、次に、ステップＳ１３２－４で得た区間Ｙの差信号とステップＳ１３２－３で得た区間Ｘの差信号とを連結した信号を符号化して第２追加符号ＣＡ２を得る（ステップＳ１３２－５、以下では「第２追加符号化」ともいう）。第２追加符号化には、ステップＳ１３２－４で得た区間Ｙの差信号のサンプル列とステップＳ１３１－３で得た区間Ｘの差信号のサンプル列とを連結したサンプル列を纏めて符号化する符号化方式、例えば、時間領域での予測を用いた符号化方式、周波数領域での振幅の偏りに適応した符号化方式、を用いる。追加符号化部１３０は、次に、ステップＳ１３２－１で得た第１追加符号ＣＡ１とステップＳ１３２－５で得た第２追加符号ＣＡ２を合わせたものを追加符号ＣＡとして出力する（ステップＳ１３２－６）。
　なお、追加符号化部１３０は、上述した差信号に代えて重み付き差信号を符号化の対象としてもよい。すなわち、追加符号化部１３０は、区間Ｙのダウンミックス信号とモノラル局部復号信号との重み付き差信号（対応するサンプル同士のサンプル値の重み付き減算により構成される信号）と、区間Ｘのダウンミックス信号と、を符号化して追加符号ＣＡを得て出力してもよい。［［追加符号化部１３０の具体例１］］であれば、追加符号化部１３０は、ステップＳ１３２－４の処理として、区間Ｙのダウンミックス信号とモノラル局部復号信号との重み付き差信号（対応するサンプル同士のサンプル値の重み付き減算により構成される信号）を得ればよい。同様に、追加符号化部１３０は、［［追加符号化部１３０の具体例１］］のステップＳ１３２－３の処理として、入力された区間Ｘのダウンミックス信号とステップＳ１３２－２で得た区間Ｘの局部復号信号との重み付き差信号（対応するサンプル同士のサンプル値の重み付き減算により構成される信号）を得てもよい。これらの場合には、それぞれの重み付き差信号の生成に用いる重みを周知の符号化技術で符号化して符号を得て、得た符号（重みを表す符号）を追加符号ＣＡに含めればよい。これらのことは後述する各実施形態における各差信号についても同様であるが、差信号に代えて重み付き差信号を符号化の対象とすることやその際には重みも符号化することは符号化の技術分野においては周知のことであるので、後述する実施形態では冗長とならないように個別の説明を省略して、差信号と重み付き差信号を「または」を用いて併記した説明、減算と重み付き減算を「または」を用いて併記した説明、のみを行うこととする。
　［追加復号部２３０］
　追加復号部２３０は、追加符号ＣＡを復号して、第１実施形態の追加復号部２３０で得られる追加復号信号である区間Ｘの追加復号信号だけではなく、区間Ｙの追加復号信号も得て出力する（ステップＳ２３２）。復号には、追加符号化部１３０がステップＳ１３２で用いた符号化方式に対応する復号方式を用いる。すなわち、追加符号化部１３０がステップＳ１３２で［［追加符号化部１３０の具体例１］］を用いた場合には、追加復号部２３０は下記の［［追加復号部２３０の具体例１］］の処理を行う。
　［［追加復号部２３０の具体例１］］
　追加復号部２３０は、まず、追加符号ＣＡに含まれる第１追加符号ＣＡ１を復号して区間Ｘの第１復号信号を得る（ステップＳ２３２－１、以下では「第１追加復号」ともいう）。第１追加復号には、追加符号化部１３０が第１追加符号化に用いた符号化方式に対応する復号方式を用いる。追加復号部２３０は、また、追加符号ＣＡに含まれる第２追加符号ＣＡ２を復号して区間Ｙと区間Ｘの第２復号信号を得る（ステップＳ２３２－２、以下では「第２追加復号」ともいう）。第２追加復号には、追加符号化部１３０が第２追加符号化に用いた符号化方式に対応する復号方式、すなわち、符号から区間Ｙの追加復号信号のサンプル列と区間Ｘの第２復号信号のサンプル列が連結された一纏まりのサンプル列が得られる復号方式、例えば、時間領域での予測を用いた復号方式、周波数での振幅の偏りに適応した復号方式、を用いる。追加復号部２３０は、次に、ステップＳ２３２－２で得た第２復号信号のうちの区間Ｙの第２復号信号を区間Ｙの追加復号信号として得て、ステップＳ２３２－１で得た区間Ｘの第１復号信号とステップＳ２３２－２で得た第２復号信号のうちの区間Ｘの第２復号信号を加算した信号（対応するサンプル同士のサンプル値の加算により構成される信号）を区間Ｘの追加復号信号として得て、区間Ｙと区間Ｘの追加復号信号を出力する（ステップＳ２３２－４）。
　なお、追加符号化部１３０が差信号ではなく重み付き差信号を符号化の対象とした場合には、追加符号ＣＡには重みを表す符号も含まれているので、追加復号部２３０は、上述したステップＳ２３２では追加符号ＣＡのうちの重みを表す符号以外の符号を復号して追加復号信号を得て出力し、追加符号ＣＡに含まれる重みを表す符号を復号して重みを得て出力すればよい。［［追加復号部２３０の具体例１］］であれば、追加符号ＣＡに含まれる区間Ｘの重みを表す符号を復号して区間Ｘの重みを得て、追加復号部２３０は、ステップＳ２３２－４では、ステップＳ２３２－２で得た第２復号信号のうちの区間Ｙの第２復号信号を区間Ｙの追加復号信号として得て、ステップＳ２３２－１で得た区間Ｘの第１復号信号とステップＳ２３２－２で得た第２復号信号のうちの区間Ｘの第２復号信号を重み付き加算した信号（対応するサンプル同士のサンプル値の重み付き加算により構成される信号）を区間Ｘの追加復号信号として得て、区間Ｙと区間Ｘの追加復号信号と、追加符号ＣＡに含まれる区間Ｙの重みを表す符号を復号して得られる区間Ｙの重みと、を出力すればよい。これらのことは後述する各実施形態における信号の加算についても同様であるが、加算（和信号の生成）に代えて重み付き加算（重み付き和信号の生成）をすることやその際には符号から重みも得ることは符号化の技術分野においては周知のことであるので、後述する実施形態では冗長とならないように個別の説明を省略して、加算と重み付き加算を「または」を用いて併記した説明、和信号と重み付き和信号を「または」を用いて併記した説明、のみを行うこととする。
　［ステレオ復号部２２０］
　ステレオ復号部２２０は、以下のステップＳ２２２－１とステップＳ２２２－２を行う（ステップＳ２２２）。ステレオ復号部２２０は、第１実施形態のステレオ復号部２２０が行ったステップＳ２２１－１に代えて、区間Ｙのモノラル復号音信号と区間Ｙの追加復号信号との和信号（対応するサンプル同士のサンプル値の加算により構成される信号）と、区間Ｘの追加復号信号と、を連結した信号を区間Ｙ＋Ｘの復号ダウンミックス信号として得て（ステップＳ２２２－１）、ステップＳ２２１－１で得た復号ダウンミックス信号に代えてステップＳ２２２－１で得た復号ダウンミックス信号を用いて、ステレオ符号ＣＳから得られる特徴パラメータを用いたアップミックス処理によりステップＳ２２１－２で得た復号ダウンミックス信号から２個のチャネルの復号音信号を得て出力する（ステップＳ２２２－２）。
　なお、追加符号化部１３０が差信号ではなく重み付き差信号を符号化の対象とした場合には、ステレオ復号部２２０は、ステップＳ２２２－１では、区間Ｙのモノラル復号音信号と区間Ｙの追加復号信号との重み付き和信号（対応するサンプル同士のサンプル値の重み付き加算により構成される信号）と、区間Ｘの追加復号信号と、を連結した信号を区間Ｙ＋Ｘの復号ダウンミックス信号として得ればよい。区間Ｙのモノラル復号音信号と区間Ｙの追加復号信号との重み付き和信号の生成（対応するサンプル同士のサンプル値の重み付き加算）には、追加復号部２３０が出力した区間Ｙの重みを用いればよい。これは後述する各実施形態における信号の加算についても同様であるが、追加復号部２３０の説明箇所においても説明した通り、加算（和信号の生成）に代えて重み付き加算（重み付き和信号の生成）をすることやその際には符号から重みも得ることは符号化の技術分野においては周知のことであるので、後述する実施形態では冗長とならないように個別の説明を省略して、加算と重み付き加算を「または」を用いて併記した説明、和信号と重み付き和信号を「または」を用いて併記した説明、のみを行うこととする。
　第２実施形態によれば、ステレオ符号化／復号のアルゴリズム遅延がモノラル符号化／復号のアルゴリズム遅延よりも大きくないことに加えて、ステレオ復号に用いる復号ダウンミックス信号を第１実施形態より高品質にすることができることから、ステレオ復号により得られる各チャネルの復号音信号を高音質にすることもできる。すなわち、第２実施形態では、モノラル符号化部１２０が行うモノラル符号化処理と追加符号化部１３０が行う追加符号化処理とをダウンミックス信号を高品質に符号化するための符号化処理として用い、モノラル符号ＣＭと追加符号ＣＡとをダウンミックス信号を良好に表すための符号として得て、モノラル復号部２１０が行うモノラル復号処理と追加復号部２３０が行う追加復号処理とを高品質な復号ダウンミックス信号を得るための復号処理として用いている。モノラル符号ＣＭと追加符号ＣＡのそれぞれに割り当てる符号量は用途に応じて任意に決定すればよく、標準品質のモノラル符号化／復号に加えてより高品質なステレオ符号化／復号を実現したい場合にはより多くの符号量を追加符号ＣＡに割り当てればよい。すなわち、ステレオ符号化／復号の観点では、「モノラル符号」と「追加符号」はあくまでも便宜的な呼称であり、モノラル符号ＣＭも追加符号ＣＡもそれぞれダウンミックス信号を表す符号の一部であることからすれば、何れか一方を「第１ダウンミックス符号」と呼んで他方を「第２ダウンミックス符号」と呼んでもよいし、より多くの符号量を追加符号ＣＡに割り当てることを想定するのであれば、追加符号ＣＡを「ダウンミックス符号」「ダウンミックス信号符号」などと呼んでもよい。以上のことは、第３実施形態やそれ以降で説明する第２実施形態に基づく各実施形態でも同様である。
＜第３実施形態＞
　ステレオ復号部２２０では２個のチャネルの音信号が周波数領域で混合されたダウンミックス信号に対応する復号ダウンミックス信号を用いたほうが高音質な２個のチャネルの復号音信号を得ることができ、モノラル符号化部１２０では２個のチャネルの音信号が時間領域で混合された信号を符号化したほうがモノラル復号部２１０で高音質なモノラル復号音信号を得ることができる場合がある。このような場合には、ステレオ符号化部１１０は符号化装置１００に入力された２個のチャネルの音信号を周波数領域で混合してダウンミックス信号を得て、モノラル符号化部１２０は符号化装置１００に入力された２個のチャネルの音信号を時間領域で混合した信号を符号化して、追加符号化部１３０では２個のチャネルの音信号を周波数領域で混合した信号と時間領域で混合した信号の差分も符号化するとよい。この形態を第３実施形態として、第２実施形態と異なる点を中心に説明する。
　［ステレオ符号化部１１０］
　ステレオ符号化部１１０は、第２実施形態のステレオ符号化部１１０と同様に第１実施形態で説明した動作を行うが、２個のチャネルの音信号を混合した信号であるダウンミックス信号を得る処理は、例えばステップＳ１１１－５Ｂのような２個のチャネルの音信号を周波数領域で混合する処理により行う（ステップＳ１１３）。すなわち、ステレオ符号化部１１０は、２個のチャネルの音信号を周波数領域で混合したダウンミックス信号を得る。例えば、ステレオ符号化部１１０は、現在のフレームの処理においては、t1からt6までの区間について、２個のチャネルの音信号を周波数領域で混合したモノラルの信号であるダウンミックス信号を得るようにすればよい。符号化装置１００にダウンミックス部１５０も備える場合には、ステレオ符号化部１１０は、符号化装置１００に入力された２チャネルステレオ入力音信号から入力された２個のチャネルの音信号の差分の特徴を表すパラメータである特徴パラメータを表すステレオ符号ＣＳを得て出力し（ステップＳ１１３）、ダウンミックス部１５０は、符号化装置１００に入力された２チャネルステレオ入力音信号から２個のチャネルの音信号を周波数領域で混合した信号であるダウンミックス信号を得て出力する（ステップＳ１５３）。
　［モノラル符号化対象信号生成部１４０］
　第３実施形態の符号化装置１００は、図１に一点鎖線で示すように、モノラル符号化対象信号生成部１４０も含む。モノラル符号化対象信号生成部１４０には、符号化装置１００に入力された２チャネルステレオ入力音信号が入力される。モノラル符号化対象信号生成部１４０は、入力された２チャネルステレオ入力音信号から、２個のチャネルの音信号を時間領域で混合する処理によってモノラルの信号であるモノラル符号化対象信号を得る（ステップＳ１４３）。例えば、モノラル符号化対象信号生成部１４０は、第１チャネルの音信号のサンプル列と第２チャネルの音信号のサンプル列との対応するサンプル同士の平均値による系列を、２個のチャネルの音信号を混合した信号であるモノラル符号化対象信号として得る。すなわち、モノラル符号化対象信号生成部１４０が得るモノラル符号化対象信号は、２個のチャネルの音信号を時間領域で混合した信号である。例えば、モノラル符号化対象信号生成部１４０は、現在のフレームの処理においては、t3からt7までの20msについて、２個のチャネルの音信号を時間領域で混合したモノラルの信号であるモノラル符号化対象信号を得るようにすればよい。
　［モノラル符号化部１２０］
　モノラル符号化部１２０には、ステレオ符号化部１１０またはダウンミックス部１５０が出力したダウンミックス信号に代えて、モノラル符号化対象信号生成部１４０が出力したモノラル符号化対象信号が入力される。モノラル符号化部１２０は、モノラル符号化対象信号を符号化してモノラル符号ＣＭを得て出力する（ステップＳ１２３）。例えば、モノラル符号化部１２０は、現在のフレームの処理においては、モノラル符号化対象信号に、現在のフレームと直前のフレームとがオーバーラップするt1からt2までの区間は増加する形、現在のフレームと直後のフレームとがオーバーラップするt5からt6までの区間は減衰する形、これらの区間の間にあるt2からt5までの区間は平坦な形の窓をかけて得たt1からt6までの区間の信号を、「先読み区間」であるモノラル符号化対象信号のt6からt7までの区間も分析処理に用いて符号化してモノラル符号ＣＭを得て出力する。
　［追加符号化部１３０］
　追加符号化部１３０は、第２実施形態の追加符号化部１３０と同様に、区間Ｙのダウンミックス信号とモノラル局部復号信号との差信号または重み付き差信号（対応するサンプル同士のサンプル値の減算または重み付き減算により構成される信号）と区間Ｘのダウンミックス信号とを符号化して、追加符号ＣＡを得て出力する（ステップＳ１３３）。ただし、区間Ｙのダウンミックス信号は２個のチャネルの音信号を周波数領域で混合した信号であり、区間Ｙのモノラル局部復号信号は２個のチャネルの音信号を時間領域で混合した信号を局部復号した信号である。
　なお、第３実施形態の追加符号化部１３０は、第２実施形態の追加符号化部１３０と同様に、［［追加符号化部１３０の具体例１］］で説明したように、区間Ｘのダウンミックス信号を符号化して第１追加符号ＣＡを得る第１追加符号化と、区間Ｙの差信号または重み付き差信号と、区間Ｘのダウンミックス信号と第１追加符号化の局部復号信号との差信号または重み付き差信号と、を連結した信号を符号化して第２追加符号ＣＡ２を得る第２追加符号化と、を行い、第１追加符号ＣＡ１と第２追加符号ＣＡ２を合わせたものを追加符号ＣＡとするとよい。
　［モノラル復号部２１０］
　モノラル復号部２１０は、第２実施形態のモノラル復号部２１０と同様に、モノラル符号ＣＭを用いて区間Ｙのモノラル復号音信号を得て出力する（ステップＳ２１３）。ただし、第３実施形態のモノラル復号部１２０が得たモノラル復号音信号は、２個のチャネルの音信号を時間領域で混合した信号の復号信号である。
　［追加復号部２３０］
　追加復号部２３０は、第２実施形態の追加復号部２３０と同様に、追加符号ＣＡを復号して、区間Ｙと区間Ｘの追加復号信号を得て出力する（ステップＳ２３３）。ただし、区間Ｙの追加復号信号には、２個のチャネルの音信号を時間領域で混合した信号とモノラル復号音信号との差分と、２個のチャネルの音信号を周波数領域で混合した信号と２個のチャネルの音信号を時間領域で混合した信号との差分と、が含まれる。
　［ステレオ復号部２２０］
　ステレオ復号部２２０は、以下のステップＳ２２３－１とステップＳ２２３－２を行う（ステップＳ２２３）。ステレオ復号部２２０は、第２実施形態の追加復号部２３０と同様に、区間Ｙのモノラル復号音信号と区間Ｙの追加復号信号との和信号または重み付き和信号（対応するサンプル同士のサンプル値の加算または重み付き加算により構成される信号）と、区間Ｘの追加復号信号と、を連結した信号を区間Ｙ＋Ｘの復号ダウンミックス信号として得て（ステップＳ２２３－１）、ステレオ符号ＣＳから得られる特徴パラメータを用いたアップミックス処理によりステップＳ２２３－１で得た復号ダウンミックス信号から２個のチャネルの復号音信号を得て出力する（ステップＳ２２３－２）。ただし、区間Ｙの和信号には、２個のチャネルの音信号を時間領域で混合した信号をモノラル符号化／復号して得たモノラル復号音信号と、２個のチャネルの音信号を時間領域で混合した信号とモノラル復号音信号との差分と、２個のチャネルの音信号を周波数領域で混合した信号と２個のチャネルの音信号を時間領域で混合した信号との差分と、が含まれる。
＜第４実施形態＞
　区間Ｘについては、モノラル符号化部１２０やモノラル復号部２１０では、直後のフレームの信号や符号がないと正しい局部復号信号や復号信号を得られないものの、現在のフレームまでの信号や符号だけでも不完全な局部復号信号や復号信号は得られる。そこで、第１から第３の各実施形態を、区間Ｘについて、ダウンミックス信号そのものではなく、ダウンミックス信号と現在のフレームまでの信号から得たモノラル局部復号信号との差分を追加符号化部１３０で符号化するように変更してもよい。この形態を第４実施形態として説明する。
＜＜第４実施形態Ａ＞＞
　まず、第２実施形態を変更した第４実施形態である第４実施形態Ａについて、第２実施形態と異なる点を中心に説明する。
　［モノラル符号化部１２０］
　モノラル符号化部１２０には、第２実施形態のモノラル符号化部１２０と同様に、ステレオ符号化部１１０またはダウンミックス部１５０が出力したダウンミックス信号が入力される。モノラル符号化部１２０は、ダウンミックス信号を符号化して得られるモノラル符号ＣＭと、現在のフレームまでのモノラル符号ＣＭを復号して得られる信号、すなわち、区間Ｙ＋Ｘのダウンミックス信号の局部復号信号であるモノラル局部復号信号と、を得て出力する（ステップＳ１２４）。より具体的には、モノラル符号化部１２０は、現在のフレームのモノラル符号ＣＭを得ることに加えて、現在のフレームのモノラル符号ＣＭに対応する局部復号信号、すなわち、t1からt2までの3.25msの区間が増加する形であり、t2からt5までの16.75msの区間が平坦であり、t5からt6までの3.25msの区間が減衰する形の窓がけがされた局部復号信号を得て、t1からt2までの区間については直前のフレームのモノラル符号ＣＭに対応する局部復号信号と現在のフレームのモノラル符号ＣＭに対応する局部復号信号とを合成し、t2からt6までの区間については現在のフレームのモノラル符号ＣＭに対応する局部復号信号をそのまま用いることで、t1からt6まで23.25msの区間の局部復号信号を得て出力する。ただし、t5からt6までの区間の局部復号信号は、直後のフレームの処理で得られる増加する形の窓がけがされた局部復号信号と合成することで完全な局部復号信号となる局部復号信号であり、減衰する形の窓がけがされた不完全な局部復号信号である。
　［追加符号化部１３０］
　追加符号化部１３０には、第２実施形態の追加符号化部１３０と同様に、ステレオ符号化部１１０またはダウンミックス部１５０が出力したダウンミックス信号と、モノラル符号化部１２０が出力したモノラル局部復号信号と、が入力される。追加符号化部１３０は、区間Ｙ＋Ｘのダウンミックス信号とモノラル局部復号信号との差信号または重み付き差信号（対応するサンプル同士のサンプル値の減算または重み付き減算により構成される信号）を符号化して、追加符号ＣＡを得て出力する（ステップＳ１３４）。
　［モノラル復号部２１０］
　モノラル復号部２１０には、第２実施形態のモノラル復号部２１０と同様に、モノラル符号ＣＭが入力される。モノラル復号部２１０は、モノラル符号ＣＭを用いて区間Ｙ＋Ｘのモノラル復号音信号を得て出力する（ステップＳ２１４）。ただし、区間Ｘすなわちt5からt6までの区間の復号信号は、直後のフレームの処理で得られる増加する形の窓がけがされた復号信号と合成することで完全な復号信号となる復号信号であり、減衰する形の窓がけがされた不完全な復号信号である。
　［追加復号部２３０］
　追加復号部２３０には、第２実施形態の追加復号部２３０と同様に、追加符号ＣＡが入力される。追加復号部２３０は、追加符号ＣＡを復号して、区間Ｙ＋Ｘの追加復号信号を得て出力する（ステップＳ２３４）。
　［ステレオ復号部２２０］
　ステレオ復号部２２０には、第２実施形態のステレオ復号部２２０と同様に、モノラル復号部２１０が出力したモノラル復号音信号と、追加復号部２３０が出力した追加復号信号と、復号装置２００に入力されたステレオ符号ＣＳと、が入力される。ステレオ復号部２２０は、区間Ｙ＋Ｘのモノラル復号音信号と追加復号信号との和信号または重み付き和信号（対応するサンプル同士のサンプル値の加算または重み付き加算により構成される信号）を復号ダウンミックス信号として得て、ステレオ符号ＣＳから得られる特徴パラメータを用いたアップミックス処理により復号ダウンミックス信号から２個のチャネルの復号音信号を得て出力する（ステップＳ２２４）。
＜＜第４実施形態Ｂ＞＞
　なお、第４実施形態Ａの説明におけるモノラル符号化部１２０の「ステレオ符号化部１１０またはダウンミックス部１５０が出力したダウンミックス信号」と「ダウンミックス信号」のそれぞれを「モノラル符号化対象信号生成部１４０が出力したモノラル符号化対象信号」と「モノラル符号化対象信号」に置き換えれば、第３実施形態を変更した第４実施形態である第４実施形態Ｂについての第３実施形態と異なる点を中心とした説明となる。
＜＜第４実施形態Ｃ＞＞
　また、第４実施形態Ａの説明におけるモノラル符号化部１２０が得るモノラル局部復号信号、追加符号化部１３０が符号化する差信号または重み付き差信号、追加復号部２３０が得る追加復号信号、のそれぞれを区間Ｘのものとし、ステレオ復号部２２０が区間Ｙのモノラル復号音信号と、区間Ｘのモノラル復号音信号と追加復号信号との和信号または重み付き和信号と、を連結した信号を復号ダウンミックス信号として得るようにすれば、第１実施形態を変更した第４実施形態である第４実施形態Ｃとなる。
＜第５実施形態＞
　区間Ｘのダウンミックス信号には、区間Ｙのモノラル局部復号信号から予測できる部分が含まれている。そこで、第１から第４の各実施形態において、区間Ｘについて、ダウンミックス信号と区間Ｙのモノラル局部復号信号からの予測信号との差分を追加符号化部１３０で符号化してもよい。この形態を第５実施形態として説明する。
＜＜第５実施形態Ａ＞＞
　まず、第２実施形態、第３実施形態、第４実施形態Ａ、第４実施形態Ｂ、の各実施形態を変更した第５実施形態を第５実施形態Ａとして、第２実施形態、第３実施形態、第４実施形態Ａ、第４実施形態Ｂ、の各実施形態と異なる点を説明する。
　［追加符号化部１３０］
　追加符号化部１３０は、以下のステップＳ１３５Ａ－１とステップＳ１３５Ａ－２を行う（ステップＳ１３５Ａ）。追加符号化部１３０は、まず、所定の周知の予測技術を用いて、入力された区間Ｙまたは区間Ｙ＋Ｘのモノラル局部復号信号（ただし、上述した通り区間Ｘは不完全なモノラル局部復号信号）からモノラル局部復号信号についての区間Ｘの予測信号を得る（ステップＳ１３５Ａ－１）。なお、第４実施形態Ａを変更した第５実施形態または第４実施形態Ｂを変更した第５実施形態の場合には、入力された区間Ｘの不完全なモノラル局部復号信号を区間Ｘの予測信号に含むようにする。追加符号化部１３０は、次に、区間Ｙのダウンミックス信号とモノラル局部復号信号との差信号または重み付き差信号（対応するサンプル同士のサンプル値の減算または重み付き減算により構成される信号）と、区間Ｘのダウンミックス信号とステップＳ１３５Ａ－１で得た予測信号との差信号または重み付き差信号（対応するサンプル同士のサンプル値の減算または重み付き減算により構成される信号）と、を符号化して、追加符号ＣＡを得て出力する（ステップＳ１３５Ａ－２）。例えば、区間Ｙの差信号と区間Ｘの差信号とを連結した信号を符号化して追加符号ＣＡを得てもよいし、また例えば、区間Ｙの差信号と区間Ｘの差信号のそれぞれを符号化して符号を得て、得た符号を連結したものを追加符号ＣＡとして得てもよい。符号化には第２実施形態、第３実施形態、第４実施形態Ａ、第４実施形態Ｂ、の各実施形態の追加符号化部１３０と同様の符号化方式を用いればよい。
　［ステレオ復号部２２０］
　ステレオ復号部２２０は、以下のステップＳ２２５Ａ－０からステップＳ２２５Ａ－２を行う（ステップＳ２２５Ａ）。ステレオ復号部２２０は、まず、追加符号化部１３０がステップＳ１３５で用いたのと同じ予測技術を用いて、区間Ｙまたは区間Ｙ＋Ｘのモノラル復号音信号から区間Ｘの予測信号を得る（ステップＳ２２５Ａ－０）。ステレオ復号部２２０は、次に、区間Ｙのモノラル復号音信号と追加復号信号との和信号または重み付き和信号（対応するサンプル同士のサンプル値の加算または重み付き加算により構成される信号）と、区間Ｘの追加復号信号と予測信号との和信号または重み付き和信号（対応するサンプル同士のサンプル値の加算または重み付き加算により構成される信号）、を連結した信号を区間Ｙ＋Ｘの復号ダウンミックス信号として得る（ステップＳ２２５Ａ－１）。ステレオ復号部２２０は、次に、ステレオ符号ＣＳから得られる特徴パラメータを用いたアップミックス処理によりステップＳ２２５Ａ－１で得た復号ダウンミックス信号から２個のチャネルの復号音信号を得て出力する（ステップＳ２２５Ａ－２）。
　＜＜第５実施形態Ｂ＞＞
　次に、第１実施形態と第４実施形態Ｃの各実施形態を変更した第５実施形態を第５実施形態Ｂとして、第１実施形態と第４実施形態Ｃの各実施形態と異なる点を説明する。
　［モノラル符号化部１２０］
　モノラル符号化部１２０は、ダウンミックス信号を符号化して得られるモノラル符号ＣＭに加えて、区間Ｙまたは区間Ｙ＋Ｘについて、現在のフレームまでのモノラル符号ＣＭを復号して得られる信号、すなわち、入力されたダウンミックス信号の局部復号信号であるモノラル局部復号信号も得て出力する（ステップＳ１２５Ｂ）。ただし、上述した通り区間Ｘのモノラル局部復号信号は不完全なモノラル局部復号信号である。
　［追加符号化部１３０］
　追加符号化部１３０は、以下のステップＳ１３５Ｂ－１とステップＳ１３５Ｂ－２を行う（ステップＳ１３５Ｂ）。追加符号化部１３０は、まず、所定の周知の予測技術を用いて、入力された区間Ｙまたは区間Ｙ＋Ｘのモノラル局部復号信号（ただし、上述した通り区間Ｘは不完全なモノラル局部復号信号）からモノラル局部復号信号についての区間Ｘの予測信号を得る（ステップＳ１３５Ｂ－１）。第４実施形態Ｃを変更した第５実施形態の場合には、入力された区間Ｘのモノラル局部復号信号を区間Ｘの予測信号に含むようにする。追加符号化部１３０は、次に、区間Ｘのダウンミックス信号とステップＳ１３５Ｂ－１で得た予測信号との差信号または重み付き差信号（対応するサンプル同士のサンプル値の減算または重み付き減算により構成される信号）を符号化して追加符号ＣＡを得て出力する（ステップＳ１３５Ｂ－２）。例えば、符号化には第１実施形態と第４実施形態Ｃの各実施形態の追加符号化部１３０と同様の符号化方式を用いればよい。
　［ステレオ復号部２２０］
　ステレオ復号部２２０は、以下のステップＳ２２５Ｂ－０からステップＳ２２５Ｂ－２を行う（ステップＳ２２５Ｂ）。ステレオ復号部２２０は、まず、追加符号化部１３０が用いたのと同じ予測技術を用いて、区間Ｙまたは区間Ｙ＋Ｘのモノラル復号音信号から、区間Ｘの予測信号を得る（ステップＳ２２５Ｂ－０）。ステレオ復号部２２０は、次に、区間Ｙのモノラル復号音信号と、区間Ｘの追加復号信号と予測信号との和信号または重み付き和信号（対応するサンプル同士のサンプル値の加算または重み付き加算により構成される信号）と、を連結した信号を区間Ｙ＋Ｘの復号ダウンミックス信号として得る（ステップＳ２２５Ｂ－１）。ステレオ復号部２２０は、次に、ステレオ符号ＣＳから得られる特徴パラメータを用いたアップミックス処理によりステップＳ２２５Ｂ－１で得た復号ダウンミックス信号から２個のチャネルの復号音信号を得て出力する（ステップＳ２２５Ｂ－２）。
＜第６実施形態＞
　第１実施形態から第５実施形態は、符号化装置１００が得た追加符号ＣＡを復号装置２００が用いることで、ステレオ復号部２２０で用いる区間Ｘの復号ダウンミックス信号を少なくとも追加符号ＣＡを復号して得るものであったが、復号装置２００が追加符号ＣＡを用いずに、区間Ｙのモノラル復号音信号からの予測信号をステレオ復号部２２０で用いる区間Ｘの復号ダウンミックス信号としてもよい。この形態を第６実施形態として、第１実施形態と異なる点を説明する。
≪符号化装置１００≫
　第６実施形態の符号化装置１００が第１実施形態の符号化装置１００と異なるのは、追加符号化部１３０を含まず、区間Ｘのダウンミックス信号を符号化せず、追加符号ＣＡを得ないことである。すなわち、第６実施形態の符号化装置１００は、ステレオ符号化部１１０とモノラル符号化部１２０を含み、ステレオ符号化部１１０とモノラル符号化部１２０のそれぞれは、第１実施形態のステレオ符号化部１１０とモノラル符号化部１２０のそれぞれと同じ動作をする。
≪復号装置２００≫
　第６実施形態の復号装置２００は、追加符号ＣＡを復号する追加復号部２３０を含まずに、モノラル復号部２１０とステレオ復号部２２０を含む。第６実施形態のモノラル復号部２１０は、第１実施形態のモノラル復号部２１０と同じ動作をするが、ステレオ復号部２２０が区間Ｙ＋Ｘのモノラル復号音信号を用いる場合には区間Ｘのモノラル復号音信号も出力する。また、第６実施形態のステレオ復号部２２０は、第１実施形態のステレオ復号部２２０とは異なる下記の動作をする。
［ステレオ復号部２２０］
　ステレオ復号部２２０は、以下のステップＳ２２６－０からステップＳ２２６－２を行う（ステップＳ２２６）。ステレオ復号部２２０は、まず、第５実施形態と同様の所定の周知の予測技術を用いて、区間Ｙまたは区間Ｙ＋Ｘのモノラル復号音信号から区間Ｘの予測信号を得る（ステップＳ２２６－０）。ステレオ復号部２２０は、次に、区間Ｙのモノラル復号音信号と区間Ｘの予測信号を連結した信号を区間Ｙ＋Ｘの復号ダウンミックス信号として得て（ステップＳ２２６－１）、ステレオ符号ＣＳから得られる特徴パラメータを用いたアップミックス処理によりステップＳ２２６－１で得た復号ダウンミックス信号から２個のチャネルの復号音信号を得て出力する（ステップＳ２２６－２）。
＜第７実施形態＞
　上述した各実施形態では、説明を簡単化するために、２個のチャネルの音信号を扱う例で説明した。しかし、チャネル数はこの限りではなく２以上であればよい。このチャネル数をＣ（Ｃは２以上の整数）とすると、上述した各実施形態は、２個のチャネルをＣ個（Ｃは２以上の整数）のチャネルと読み替えて実施することができる。
　例えば、第１実施形態から第５実施形態の符号化装置１００は、入力されたＣ個のチャネルの音信号からステレオ符号ＣＳとモノラル符号ＣＭと追加符号ＣＡを得るようにすればよく、第６実施形態の符号化装置１００は、入力されたＣ個のチャネルの音信号からステレオ符号ＣＳとモノラル符号ＣＭを得るようにすればよく、ステレオ符号化部１１０は、入力されたＣ個のチャネルの音信号におけるチャネル間の差分に相当する情報を表す符号をステレオ符号ＣＳとして得て出力し、ステレオ符号化部１１０またはダウンミックス部１５０は、入力されたＣ個のチャネルの音信号を混合した信号をダウンミックス信号として得て出力し、モノラル符号化対象信号生成部１４０は、入力されたＣ個のチャネルの音信号を時間領域で混合した信号をモノラル符号化対象信号として得て出力するようにすればよい。Ｃ個のチャネルの音信号におけるチャネル間の差分に相当する情報とは、例えば、基準とするチャネル以外のＣ－１個のチャネルそれぞれについての、当該チャネルの音信号と基準とするチャネルの音信号との差分に相当する情報である。
　同様に、第１実施形態から第５実施形態の復号装置２００は、入力されたモノラル符号ＣＭと追加符号ＣＡとステレオ符号ＣＳとに基づいてＣ個のチャネルの復号音信号を得て出力するようにすればよく、第６実施形態の復号装置２００は、入力されたモノラル符号ＣＭとステレオ符号ＣＳとに基づいてＣ個のチャネルの復号音信号を得て出力するようにすればよく、ステレオ復号部２２０は、入力されたステレオ符号ＣＳに基づいて得られる特徴パラメータを用いたアップミックス処理により復号ダウンミックス信号からＣ個のチャネルの復号音信号を得て出力するようにすればよい。より詳しくは、ステレオ復号部２２０は、復号ダウンミックス信号がＣ個のチャネルの復号音信号が混合された信号であると見做し、入力されたステレオ符号ＣＳに基づいて得られる特徴パラメータがＣ個のチャネルの復号音信号におけるチャネル間の差分の特徴を表す情報であると見做して、Ｃ個のチャネルの復号音信号を得て出力するようにすればよい。
＜プログラム及び記録媒体＞
　上述した各符号化装置と各復号装置の各部の処理をコンピュータにより実現してもよく、この場合は各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムを図１２に示すコンピュータの記憶部１０２０に読み込ませ、演算処理部１０１０、入力部１０３０、出力部１０４０などに動作させることにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体は、例えば、非一時的な記録媒体であり、具体的には、磁気記録装置、光ディスク、等である。
　また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の非一時的な記憶装置である補助記録部１０５０に格納する。そして、処理の実行時、このコンピュータは、自己の非一時的な記憶装置である補助記録部１０５０に格納されたプログラムを記憶部１０２０に読み込み、読み込んだプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを記憶部１０２０に読み込み、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
　その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

Claims (12)

  1. 　入力されたＣ個（Ｃは２以上の整数）のチャネルの音信号をフレーム単位で符号化する音信号符号化方法であって、
    　現在のフレームの処理として、
    　Ｃ個のチャネルの前記音信号のチャネル間の差分の特徴を表すパラメータである特徴パラメータを表すステレオ符号を得て出力するステレオ符号化ステップと、
    　Ｃ個のチャネルの前記音信号を混合した信号をダウンミックス信号として得るダウンミックスステップと、
    　前記ダウンミックス信号を符号化してモノラル符号を得て出力するモノラル符号化ステップと、
    を含み、
    　前記モノラル符号化ステップは、フレーム間でオーバーラップのある窓をかける処理が含まれる符号化方式で、前記ダウンミックス信号を符号化して前記モノラル符号を得て、
    　前記ダウンミックス信号のうちの現在のフレームと直後のフレームとの前記オーバーラップの区間（以下、「区間Ｘ」という）の信号を符号化して追加符号を得て出力する追加符号化ステップを更に含む
    ことを特徴とする音信号符号化方法。
  2. 　請求項１に記載の音信号符号化方法であって、
    　前記モノラル符号化ステップは、前記モノラル符号に対応するモノラル局部復号信号も得て、
    　前記追加符号化ステップは、前記ダウンミックス信号のうちの前記区間Ｘを除く区間（以下、「区間Ｙ」という）の信号と、区間Ｙの前記モノラル局部復号信号と、の対応するサンプル同士のサンプル値の減算または重み付き減算により構成される信号と、区間Ｘの前記ダウンミックス信号と、を符号化して追加符号を得る
    ことを特徴とする音信号符号化方法。
  3. 　請求項２に記載の音信号符号化方法であって、
    　前記ダウンミックスステップは、前記Ｃ個のチャネルの音信号を周波数領域で混合した信号を前記ダウンミックス信号として得て、
    　前記Ｃ個のチャネルの音信号を時間領域で混合した信号をモノラル符号化対象信号として得るモノラル符号化対象信号生成ステップを更に含み、
    　前記モノラル符号化ステップは、フレーム間でオーバーラップのある窓をかける処理が含まれる符号化方式で、前記モノラル符号化対象信号を符号化して前記モノラル符号を得る
    ことを特徴とする音信号符号化方法。
  4. 　請求項２または３に記載の音信号符号化方法であって、
    　前記追加符号化ステップは、
    　前記ダウンミックス信号のうちの区間Ｘの信号を符号化して、第１追加符号と前記第１追加符号に対応する区間Ｘの局部復号信号（以下、「第１追加局部復号信号」という）を得て、
    　区間Ｙの前記ダウンミックス信号と前記モノラル局部復号信号との対応するサンプル同士のサンプル値の減算または重み付き減算により構成される信号と、区間Ｘの前記ダウンミックス信号と前記第１追加局部復号信号との対応するサンプル同士のサンプル値の減算または重み付き減算により構成される信号と、を連結した信号を、サンプル列を纏めて符号化する符号化方式により符号化して第２追加符号を得て、
    前記第１追加符号と前記第２追加符号を合わせたものを前記追加符号とする
    ことを特徴とする音信号符号化方法。
  5. 　請求項２または３に記載の音信号符号化方法であって、
    　前記追加符号化ステップは、
    区間Ｙの前記モノラル局部復号信号または区間Ｙと区間Ｘの前記モノラル局部復号信号から、モノラル局部復号信号の区間Ｘの予測信号を得て、
    区間Ｙの前記ダウンミックス信号と前記モノラル局部復号信号との対応するサンプル同士のサンプル値の減算または重み付き減算により構成される信号と、区間Ｘの前記ダウンミックス信号と前記予測信号との対応するサンプル同士のサンプル値の減算または重み付き減算により構成される信号と、を符号化して追加符号を得る
    ことを特徴とする音信号符号化方法。
  6. 　入力されたＣ個（Ｃは２以上の整数）のチャネルの音信号をフレーム単位で符号化する音信号符号化装置であって、
    　現在のフレームの処理として、
    　Ｃ個のチャネルの前記音信号のチャネル間の差分の特徴を表すパラメータである特徴パラメータを表すステレオ符号を得て出力するステレオ符号化部と、
    　Ｃ個のチャネルの前記音信号を混合した信号をダウンミックス信号として得るダウンミックス部と、
    　前記ダウンミックス信号を符号化してモノラル符号を得て出力するモノラル符号化部と、
    を含み、
    　前記モノラル符号化部は、フレーム間でオーバーラップのある窓をかける処理が含まれる符号化方式で、前記ダウンミックス信号を符号化して前記モノラル符号を得るものであり、
    　前記ダウンミックス信号のうちの現在のフレームと直後のフレームとの前記オーバーラップの区間（以下、「区間Ｘ」という）の信号を符号化して追加符号を得て出力する追加符号化部を更に含む
    ことを特徴とする音信号符号化装置。
  7. 　請求項６に記載の音信号符号化装置であって、
    　前記モノラル符号化部は、前記モノラル符号に対応するモノラル局部復号信号も得て、
    　前記追加符号化部は、前記ダウンミックス信号のうちの前記区間Ｘを除く区間（以下、「区間Ｙ」という）の信号と、区間Ｙの前記モノラル局部復号信号と、の対応するサンプル同士のサンプル値の減算または重み付き減算により構成される信号と、区間Ｘの前記ダウンミックス信号と、を符号化して追加符号を得る
    ことを特徴とする音信号符号化装置。
  8. 　請求項７に記載の音信号符号化装置であって、
    　前記ダウンミックス部は、前記Ｃ個のチャネルの音信号を周波数領域で混合した信号を前記ダウンミックス信号として得て、
    　前記Ｃ個のチャネルの音信号を時間領域で混合した信号をモノラル符号化対象信号として得るモノラル符号化対象信号生成部を更に含み、
    　前記モノラル符号化部は、フレーム間でオーバーラップのある窓をかける処理が含まれる符号化方式で、前記モノラル符号化対象信号を符号化して前記モノラル符号を得る
    ことを特徴とする音信号符号化装置。
  9. 　請求項７または８に記載の音信号符号化装置であって、
    　前記追加符号化部は、
    　前記ダウンミックス信号のうちの区間Ｘの信号を符号化して、第１追加符号と前記第１追加符号に対応する区間Ｘの局部復号信号（以下、「第１追加局部復号信号」という）を得て、
    　区間Ｙの前記ダウンミックス信号と前記モノラル局部復号信号との対応するサンプル同士のサンプル値の減算または重み付き減算により構成される信号と、区間Ｘの前記ダウンミックス信号と前記第１追加局部復号信号との対応するサンプル同士のサンプル値の減算または重み付き減算により構成される信号と、を連結した信号を、サンプル列を纏めて符号化する符号化方式により符号化して第２追加符号を得て、
    前記第１追加符号と前記第２追加符号を合わせたものを前記追加符号とする
    ことを特徴とする音信号符号化装置。
  10. 　請求項７または８に記載の音信号符号化装置であって、
    　前記追加符号化部は、
    区間Ｙの前記モノラル局部復号信号または区間Ｙと区間Ｘの前記モノラル局部復号信号から、モノラル局部復号信号の区間Ｘの予測信号を得て、
    区間Ｙの前記ダウンミックス信号と前記モノラル局部復号信号との対応するサンプル同士のサンプル値の減算または重み付き減算により構成される信号と、区間Ｘの前記ダウンミックス信号と前記予測信号との対応するサンプル同士のサンプル値の減算または重み付き減算により構成される信号と、を符号化して追加符号を得る
    ことを特徴とする音信号符号化装置。
  11. 　請求項１から５の何れかに記載の音信号符号化方法の各ステップをコンピュータに実行させるためのプログラム。
  12. 　請求項１から５の何れかに記載の音信号符号化方法の各ステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
PCT/JP2020/024774 2020-06-24 2020-06-24 音信号符号化方法、音信号符号化装置、プログラム及び記録媒体 WO2021260825A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2022531301A JP7491376B2 (ja) 2020-06-24 2020-06-24 音信号符号化方法、音信号符号化装置、プログラム及び記録媒体
EP20942073.6A EP4175270A4 (en) 2020-06-24 2020-06-24 AUDIO SIGNAL CODING METHOD, AUDIO SIGNAL CODING APPARATUS, PROGRAM AND RECORDING MEDIUM
PCT/JP2020/024774 WO2021260825A1 (ja) 2020-06-24 2020-06-24 音信号符号化方法、音信号符号化装置、プログラム及び記録媒体
CN202080102309.5A CN115917644A (zh) 2020-06-24 2020-06-24 声音信号编码方法、声音信号编码装置、程序以及记录介质
US18/011,132 US20230178086A1 (en) 2020-06-24 2020-06-24 Sound signal encoding method, sound signal encoder, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/024774 WO2021260825A1 (ja) 2020-06-24 2020-06-24 音信号符号化方法、音信号符号化装置、プログラム及び記録媒体

Publications (1)

Publication Number Publication Date
WO2021260825A1 true WO2021260825A1 (ja) 2021-12-30

Family

ID=79282593

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/024774 WO2021260825A1 (ja) 2020-06-24 2020-06-24 音信号符号化方法、音信号符号化装置、プログラム及び記録媒体

Country Status (5)

Country Link
US (1) US20230178086A1 (ja)
EP (1) EP4175270A4 (ja)
JP (1) JP7491376B2 (ja)
CN (1) CN115917644A (ja)
WO (1) WO2021260825A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019512737A (ja) * 2016-03-18 2019-05-16 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ マルチチャンネルコーディング

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107710323B (zh) * 2016-01-22 2022-07-19 弗劳恩霍夫应用研究促进协会 使用频谱域重新取样来编码或解码音频多通道信号的装置及方法
FR3048808A1 (fr) * 2016-03-10 2017-09-15 Orange Codage et decodage optimise d'informations de spatialisation pour le codage et le decodage parametrique d'un signal audio multicanal

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019512737A (ja) * 2016-03-18 2019-05-16 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ マルチチャンネルコーディング

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
3GPP: "Codec for Enhanced Voice Services (EVS); Detailed algorithmic description", TS 26.445
JEROEN BREEBAART ET AL.: "Parametric Coding of Stereo Audio", EURASIP JOURNAL ON APPLIED SIGNAL PROCESSING, vol. 9, 2005, pages 1305 - 1322, XP055147409, DOI: 10.1155/ASP.2005.1305
See also references of EP4175270A4

Also Published As

Publication number Publication date
JPWO2021260825A1 (ja) 2021-12-30
CN115917644A (zh) 2023-04-04
US20230178086A1 (en) 2023-06-08
EP4175270A1 (en) 2023-05-03
JP7491376B2 (ja) 2024-05-28
EP4175270A4 (en) 2024-03-13

Similar Documents

Publication Publication Date Title
TWI609364B (zh) 用於編碼多聲道信號的音訊編碼器及用於解碼經編碼音訊信號的音訊解碼器（一）
RU2641481C2 (ru) Принцип для кодирования и декодирования аудио для аудиоканалов и аудиообъектов
RU2640650C2 (ru) Устройство для кодирования аудио сигнала, имеющего множество каналов
KR101327194B1 (ko) 효율적인 다운믹싱을 이용하는 오디오 디코더 및 디코딩 방법
EP2849180B1 (en) Hybrid audio signal encoder, hybrid audio signal decoder, method for encoding audio signal, and method for decoding audio signal
JP2008535015A (ja) オーディオ符号化および復号化
JP7311573B2 (ja) 時間領域ステレオエンコーディング及びデコーディング方法並びに関連製品
EP3664088B1 (en) Audio coding mode determination
US20120116780A1 (en) Acoustic signal processing system, acoustic signal decoding apparatus, processing method in the system and apparatus, and program
WO2021260825A1 (ja) 音信号符号化方法、音信号符号化装置、プログラム及び記録媒体
WO2021260826A1 (ja) 音信号復号方法、音信号復号装置、プログラム及び記録媒体
JP7309813B2 (ja) 時間領域ステレオパラメータ符号化方法および関連製品
WO2019105436A1 (zh) 音频编解码方法和相关产品
CN109389985B (zh) 时域立体声编解码方法和相关产品
Fejzo et al. DTS-HD: Technical Overview of Lossless Mode of Operation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20942073

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022531301

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202217073679

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020942073

Country of ref document: EP

Effective date: 20230124