JP5990954B2 - Audio encoding apparatus, audio encoding method, audio encoding computer program, audio decoding apparatus, audio decoding method, and audio decoding computer program - Google Patents
Audio encoding apparatus, audio encoding method, audio encoding computer program, audio decoding apparatus, audio decoding method, and audio decoding computer program Download PDFInfo
- Publication number
- JP5990954B2 JP5990954B2 JP2012062767A JP2012062767A JP5990954B2 JP 5990954 B2 JP5990954 B2 JP 5990954B2 JP 2012062767 A JP2012062767 A JP 2012062767A JP 2012062767 A JP2012062767 A JP 2012062767A JP 5990954 B2 JP5990954 B2 JP 5990954B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction coefficient
- prediction
- value
- codebook
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本発明は、例えば、オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラムに関する。また本発明は、例えば、オーディオ復号装置、オーディオ復号方法ならびにオーディオ復号用コンピュータプログラムに関する。 The present invention relates to, for example, an audio encoding device, an audio encoding method, and an audio encoding computer program. The present invention also relates to, for example, an audio decoding device, an audio decoding method, and an audio decoding computer program.
従来より、3チャネル以上のチャネルを持つマルチチャネルオーディオ信号のデータ量を圧縮するためのオーディオ信号の符号化方式が開発されている。そのような符号化方式の一つとして、Moving Picture Experts Group (MPEG)により標準化されたMPEG Surround方式が知られている。MPEG Surround方式では、例えば、符号化対象となる5.1チャネル(5.1ch)のオーディオ信号が時間周波数変換され、その時間周波数変換により得られた周波数信号がダウンミックスされることにより、一旦3チャネルの周波数信号が生成される。さらに、その3チャネルの周波数信号が再度ダウンミックスされることにより2チャネルのステレオ信号に対応する周波数信号が算出される。そしてステレオ信号に対応する周波数信号は、Advanced Audio Coding(AAC)符号化方式及びSpectral Band Replication(SBR)符号化方式により符号化される。
その一方で、MPEG Surround方式では、5.1chの信号を3チャネルの信号へダウンミックスする際、及び3チャネルの信号を2チャネルの信号へダウンミックスする際、音の広がりまたは定位を表す空間情報が算出され、この空間情報が符号化される。このように、MPEG Surround方式では、マルチチャネルオーディオ信号をダウンミックスすることにより生成されたステレオ信号とデータ量の比較的少ない空間情報が符号化される。これにより、MPEG Surround方式では、マルチチャネルオーディオ信号に含まれる各チャネルの信号を独立に符号化するよりも高い圧縮効率が得られる。
Conventionally, an audio signal encoding method for compressing the data amount of a multi-channel audio signal having three or more channels has been developed. As one of such encoding methods, the MPEG Surround method standardized by the Moving Picture Experts Group (MPEG) is known. In the MPEG Surround system, for example, the 5.1 channel (5.1ch) audio signal to be encoded is time-frequency converted, and the frequency signal obtained by the time-frequency conversion is downmixed, so that the frequency of the 3 channel is once set. A signal is generated. Further, the frequency signal corresponding to the 2-channel stereo signal is calculated by downmixing the 3-channel frequency signal again. A frequency signal corresponding to the stereo signal is encoded by an Advanced Audio Coding (AAC) encoding method and a Spectral Band Replication (SBR) encoding method.
On the other hand, in the MPEG Surround system, when downmixing a 5.1ch signal to a 3-channel signal and when downmixing a 3-channel signal to a 2-channel signal, spatial information indicating the sound spread or localization is present. And this spatial information is encoded. Thus, in the MPEG Surround system, a stereo signal generated by downmixing a multi-channel audio signal and spatial information with a relatively small amount of data are encoded. Thereby, in the MPEG Surround system, higher compression efficiency can be obtained than when the signals of the respective channels included in the multi-channel audio signal are independently encoded.
MPEG Surround方式では、ステレオ周波数信号を生成する際に算出される空間情報を符号化するために、予測係数(channel prediction coefficient)が用いられる(例えば、特許文献1を参照)。予測係数とは、3チャネルのうちの一つのチャネルの信号をその他の二つのチャネルの信号に基づいて予測符号化するための係数である。予測係数は、その他の二つのチャネルのそれぞれについて算出される。その二つの予測係数のそれぞれの複数の量子化値及び対応する量子化値が符号帳と称されるテーブルに格納されており、各予測係数に最も近い量子化値が選択される。そしてこの量子化値に対応するインデックス値が可変長符号化される。この符号帳は、使用ビット効率の向上の為に用いられるものである。符号化器と復号器で予め定められた共通の(あるいは共通の方法で作成する)符号帳を持つことで、符号化器は少ないビット数でより重要な情報を復号器へ送ることができる。復号器は、上述の予測係数に基づいて3チャネルのうちの一つのチャネルの信号を再現する。このため、符号化器は、符号帳から最適な予測係数を選択する必要がある。 In the MPEG Surround system, a channel prediction coefficient is used to encode spatial information calculated when a stereo frequency signal is generated (see, for example, Patent Document 1). The prediction coefficient is a coefficient for predictively encoding a signal of one channel among the three channels based on signals of the other two channels. The prediction coefficient is calculated for each of the other two channels. A plurality of quantized values and corresponding quantized values of the two prediction coefficients are stored in a table called a codebook, and the quantized value closest to each predictive coefficient is selected. The index value corresponding to this quantized value is variable-length encoded. This codebook is used for improving the bit efficiency. By having a common code book (or created by a common method) determined in advance by the encoder and decoder, the encoder can send more important information to the decoder with a small number of bits. The decoder reproduces the signal of one of the three channels based on the above prediction coefficient. For this reason, the encoder needs to select an optimal prediction coefficient from the codebook.
二つの予測係数のそれぞれについて、量子化値の数が増えると、それだけ各量子化値に対応する符号の数も増えることになる。そして符号の数が増えるほど、符号同士の直交性を保つために、個々の符号の長さの平均値も長くなり、その結果として二つの予測係数に割り当てるビット量を増やす必要が生じる。したがって、オーディオデータの圧縮効率を高めるために、二つの予測係数に対して割り当てるビット量を短縮できる技術が求められている。 As the number of quantized values increases for each of the two prediction coefficients, the number of codes corresponding to each quantized value increases accordingly. As the number of codes increases, in order to maintain the orthogonality between codes, the average value of the lengths of the individual codes becomes longer. As a result, it is necessary to increase the amount of bits allocated to the two prediction coefficients. Therefore, in order to increase the compression efficiency of audio data, there is a need for a technique that can reduce the amount of bits allocated to two prediction coefficients.
そこで、本明細書は、予測係数に割り当てるビット量を削減可能なオーディオ符号化装置、及びそのようなオーディオ符号化装置によって符号化されたオーディオ信号を復号するオーディオ復号装置を提供することを目的とする。 Therefore, the present specification aims to provide an audio encoding device capable of reducing the amount of bits allocated to a prediction coefficient, and an audio decoding device that decodes an audio signal encoded by such an audio encoding device. To do.
一つの実施形態によれば、オーディオ信号に含まれる複数のチャネルのうちの第1のチャネルの信号及び第2のチャネルの信号と、該第1のチャネルの信号に乗じる第1の予測係数と該第2のチャネルの信号に乗じる第2の予測係数とに基づいて複数のチャネルのうちの第3のチャネルの信号を予測符号化するオーディオ符号化装置が提供される。このオーディオ符号化装置は、第1のチャネルの信号に第1の予測係数を乗じて得られる値と第2のチャネルの信号に第2の予測係数を乗じて得られる値との線形和である第3のチャネルの信号の予測値と第3のチャネルの信号間の誤差が最小となるときの第1及び第2の予測係数の第1の値の組を算出する最小誤差予測係数算出部と、第1の予測係数及び第2の予測係数のうちの一方が、誤差の最小値に影響しないか、または誤差が最小となるときの第1及び第2の予測係数の組に含まれる予測係数の一方の第1の値が、予測係数の一方についての符号帳に規定された複数の量子化値を含む量子化値の範囲から外れている場合、第1の予測係数及び第2の予測係数のうちの他方の予測係数に対する符号帳を選択し、一方、第1の予測係数及び第2の予測係数の両方が誤差の最小値に影響し、かつ、誤差が最小となるときの第1及び第2の予測係数の組に含まれる第1の予測係数の第1の値及び第2の予測係数の第1の値のそれぞれが、その予測係数についての符号帳に規定された複数の量子化値を含む量子化値の範囲内に含まれる場合、第1及び第2の予測係数のそれぞれごとに符号帳を選択する符号帳選択部と、第1及び第2の予測係数のうち、符号帳が選択された予測係数について、その符号帳に規定されている複数の量子化値のうち、誤差が最小となる量子化値を求め、その量子化値を符号化することで符号化予測係数を求める予測係数符号化部とを有する。 According to one embodiment, a first channel signal and a second channel signal among a plurality of channels included in an audio signal, a first prediction coefficient to be multiplied by the first channel signal, and the An audio encoding device is provided that predictively encodes a third channel signal of a plurality of channels based on a second prediction coefficient multiplied by a second channel signal. This audio encoding device is a linear sum of a value obtained by multiplying a first channel signal by a first prediction coefficient and a value obtained by multiplying a second channel signal by a second prediction coefficient. A minimum error prediction coefficient calculation unit that calculates a set of first values of the first and second prediction coefficients when the error between the predicted value of the third channel signal and the third channel signal is minimized; , One of the first prediction coefficient and the second prediction coefficient does not affect the minimum value of the error, or the prediction coefficient included in the set of the first and second prediction coefficients when the error is the minimum The first prediction coefficient and the second prediction coefficient when the first value of one of the two is out of the range of quantization values including a plurality of quantization values defined in the codebook for one of the prediction coefficients A codebook for the other prediction coefficient is selected, while the first prediction coefficient and Both the second prediction coefficient affects the minimum value of the error, and the first value and the first value of the first prediction coefficient included in the set of the first and second prediction coefficients when the error is minimum When each of the first values of the two prediction coefficients is included in the range of quantization values including a plurality of quantization values defined in the codebook for the prediction coefficient, the first and second prediction coefficients A codebook selection unit that selects a codebook for each of the first and second prediction coefficients, and for a prediction coefficient for which the codebook is selected, a plurality of quantized values defined in the codebook Among them, a prediction coefficient encoding unit that obtains a quantized value that minimizes an error and encodes the quantized value to obtain an encoded prediction coefficient.
また他の実施形態によれば、オーディオ信号に含まれる複数のチャネルのうちの第1及び第2のチャネルの信号が符号化された符号化チャネル信号データと、第1及び第2のチャネルの信号に基づいて複数のチャネルのうちの第3のチャネルの信号を予測するための第1及び第2の予測係数が符号化された符号化予測係数と、第1の予測係数についての複数の量子化値を規定する第1の符号帳及び第2の予測係数についての複数の量子化値を規定する第2の符号帳のうち選択された符号帳を表す符号帳選択情報とを、所定のデータ形式に従って格納する符号化オーディオデータからオーディオ信号を復号するオーディオ復号装置が提供される。このオーディオ復号装置は、そのデータ形式に従って、符号化オーディオデータから、符号化チャネル信号データと、符号化予測係数と、符号帳選択情報とを取り出す分離部と、符号化チャネル信号データを復号することにより第1及び第2のチャネルの信号を再生するチャネル信号復号部と、第1及び第2の符号帳のうち、符号帳選択情報に選択されたことが示された符号帳に規定された複数の量子化値のうち、符号化予測係数に対応する量子化値を特定することにより第1及び第2の予測係数を再生する予測係数復号部と、再生された第1の予測係数に第1のチャネルの信号を乗じて第1の値を求め、かつ、再生された第2の予測係数に第2のチャネルの信号を乗じて第2の値を求め、第1の値と第2の値の和を第3のチャネルの信号として再生する予測復号部とを有する。 According to another embodiment, encoded channel signal data obtained by encoding signals of the first and second channels among a plurality of channels included in the audio signal, and signals of the first and second channels. And a plurality of quantizations for the first prediction coefficient and a first prediction coefficient encoded with the first and second prediction coefficients for predicting a signal of the third channel among the plurality of channels. A codebook selection information representing a codebook selected from among a first codebook defining a value and a second codebook defining a plurality of quantized values for the second prediction coefficient, and a predetermined data format An audio decoding device for decoding an audio signal from encoded audio data stored according to the above is provided. The audio decoding device, according to the data format, a decoding unit that extracts encoded channel signal data, an encoded prediction coefficient, and codebook selection information from encoded audio data, and decodes the encoded channel signal data A channel signal decoding unit that reproduces the first and second channel signals, and a plurality of codebooks defined in the codebook selected from the first and second codebooks as codebook selection information Among the quantized values, a predictive coefficient decoding unit that reproduces the first and second predictive coefficients by specifying a quantized value corresponding to the encoded predictive coefficient, and the reproduced first predictive coefficient in the first The first value is obtained by multiplying the signal of the second channel, the second value is obtained by multiplying the reproduced second prediction coefficient by the signal of the second channel, and the first value and the second value are obtained. Of the third channel signal and And a prediction decoding unit that reproduces Te.
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
The objects and advantages of the invention will be realized and attained by means of the elements and combinations particularly pointed out in the appended claims.
It should be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not restrictive of the invention as claimed.
本明細書に開示されたオーディオ符号化装置及びオーディオ復号装置は、予測係数に割り当てるビット量を削減できる。 The audio encoding device and audio decoding device disclosed in this specification can reduce the amount of bits allocated to a prediction coefficient.
以下、図を参照しつつ、一つの実施形態によるオーディオ符号化装置について説明する。このオーディオ符号化装置は、3個のチャネルのうちの一つのチャネルの周波数信号を、他の二つのチャネルの周波数信号に予測係数を乗じて得られる値の線形和として予測する。そしてこのオーディオ符号化装置は、予測されるチャネルの周波数信号と上記の線形和間の予測誤差の分布形状を推定し、その分布形状及び予測誤差の最小値に対応する各予測係数に応じて、予測係数のそれぞれについて符号帳を使用するか否か判定する。
なお、本実施形態では、符号化対象となるマルチチャネルオーディオ信号は、5.1chオーディオ信号である。
Hereinafter, an audio encoding device according to an embodiment will be described with reference to the drawings. This audio encoding apparatus predicts the frequency signal of one of the three channels as a linear sum of values obtained by multiplying the frequency signals of the other two channels by a prediction coefficient. And this audio encoding device estimates the distribution shape of the prediction error between the frequency signal of the predicted channel and the above linear sum, and according to each prediction coefficient corresponding to the distribution shape and the minimum value of the prediction error, It is determined whether to use a codebook for each prediction coefficient.
In the present embodiment, the multi-channel audio signal to be encoded is a 5.1ch audio signal.
図1は、一つの実施形態によるオーディオ符号化装置1の概略構成図である。図1に示すように、オーディオ符号化装置1は、時間周波数変換部11と、第1ダウンミックス部12と、第2ダウンミックス部13と、予測符号化部14と、空間情報符号化部15と、チャネル信号符号化部16と、多重化部17とを有する。
FIG. 1 is a schematic configuration diagram of an
オーディオ符号化装置1が有するこれらの各部は、それぞれ別個の回路として形成される。あるいはオーディオ符号化装置1が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路としてオーディオ符号化装置1に実装されてもよい。さらに、オーディオ符号化装置1が有するこれらの各部は、オーディオ符号化装置1が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。
Each of these units included in the
時間周波数変換部11は、オーディオ符号化装置1に入力されたマルチチャネルオーディオ信号の時間領域の各チャネルの信号をそれぞれフレーム単位で時間周波数変換することにより、各チャネルの周波数信号に変換する。
本実施形態では、時間周波数変換部11は、次式のQuadrature Mirror Filter(QMF)フィルタバンクを用いて、各チャネルの信号を周波数信号に変換する。
なお、時間周波数変換部11は、高速フーリエ変換、離散コサイン変換、修正離散コサイン変換など、他の時間周波数変換処理を用いて、各チャネルの信号を、それぞれ、周波数信号に変換してもよい。
The time-
In the present embodiment, the time-
Note that the time-
時間周波数変換部11は、フレーム単位で各チャネルの周波数信号を算出する度に、各チャネルの周波数信号を第1ダウンミックス部12へ出力する。
The time
第1ダウンミックス部12は、各チャネルの周波数信号を受け取る度に、それら各チャネルの周波数信号をダウンミックスすることにより、左チャネル、中央チャネル及び右チャネルの周波数信号を生成する。例えば、第1ダウンミックス部12は、次式に従ってこれら3個のチャネルの周波数信号を算出する。
同様に、RRe(k,n)は、右前方チャネルの周波数信号R(k,n)のうちの実部を表し、RIm(k,n)は、右前方チャネルの周波数信号R(k,n)のうちの虚部を表す。またSRRe(k,n)は、右後方チャネルの周波数信号SR(k,n)のうちの実部を表し、SRIm(k,n)は、右後方チャネルの周波数信号SR(k,n)のうちの虚部を表す。そしてRin(k,n)は、ダウンミックスにより生成される右チャネルの周波数信号である。なお、RinRe(k,n)は、右チャネルの周波数信号のうちの実部を表し、RinIm(k,n)は、右チャネルの周波数信号のうちの虚部を表す。
さらに、CRe(k,n)は、中央チャネルの周波数信号C(k,n)のうちの実部を表し、CIm(k,n)は、中央チャネルの周波数信号C(k,n)のうちの虚部を表す。またLFERe(k,n)は、重低音チャネルの周波数信号LFE(k,n)のうちの実部を表し、LFEIm(k,n)は、重低音チャネルの周波数信号LFE(k,n)のうちの虚部を表す。そしてCin(k,n)は、ダウンミックスにより生成される中央チャネルの周波数信号である。なお、CinRe(k,n)は、中央チャネルの周波数信号Cin(k,n)のうちの実部を表し、CinIm(k,n)は、中央チャネルの周波数信号Cin(k,n)のうちの虚部を表す。
Whenever the
Similarly, R Re (k, n) represents the real part of the right front channel frequency signal R (k, n), and R Im (k, n) represents the right front channel frequency signal R (k , n) represents the imaginary part. SR Re (k, n) represents the real part of the right rear channel frequency signal SR (k, n), and SR Im (k, n) represents the right rear channel frequency signal SR (k, n). ) Represents the imaginary part. R in (k, n) is a right channel frequency signal generated by downmixing. R inRe (k, n) represents the real part of the right channel frequency signal, and R inIm (k, n) represents the imaginary part of the right channel frequency signal.
Furthermore, C Re (k, n) represents the real part of the center channel frequency signal C (k, n), and C Im (k, n) represents the center channel frequency signal C (k, n). Represents the imaginary part. LFE Re (k, n) represents the real part of the frequency signal LFE (k, n) of the heavy bass channel, and LFE Im (k, n) represents the frequency signal LFE (k, n) of the heavy bass channel. ) Represents the imaginary part. C in (k, n) is a center channel frequency signal generated by downmixing. C inRe (k, n) represents the real part of the center channel frequency signal C in (k, n), and C inIm (k, n) represents the center channel frequency signal C in (k, n). represents the imaginary part of n).
さらに、第1ダウンミックス部12は、ダウンミックスされる二つのチャネルの周波数信号間の空間情報として、音の定位を表す情報であるその周波数信号間の強度差と、音の広がりを表す情報であるその周波数信号間の類似度を周波数帯域ごとに算出する。第1ダウンミックス部12が算出するこれらの空間情報は、3チャネル空間情報の一例である。本実施形態では、第1ダウンミックス部12は、次式に従って左チャネルについての周波数帯域kの強度差CLDL(k)と類似度ICCL(k)を算出する。
同様に、第1ダウンミックス部12は、次式に従って右チャネルについての周波数帯域kの強度差CLDR(k)と類似度ICCR(k)を算出する。
さらに、第1ダウンミックス部12は、次式に従って中央チャネルについての周波数帯域kの強度差CLDC(k)を算出する。
Similarly, the
Further, the
第1ダウンミックス部12は、3チャネルの周波数信号を生成する度に、その3チャネルの周波数信号を第2ダウンミックス部13へ出力し、一方、空間情報を空間情報符号化部15へ出力する。
Each time the
第2ダウンミックス部13は、第1ダウンミックス部12から受け取った左チャネルの周波数信号と中央チャネルの周波数信号をダウンミックスすることにより、ステレオ周波数信号のうちの左側周波数信号を生成する。また第2ダウンミックス部13は、第1ダウンミックス部12から受け取った右チャネルの周波数信号と中央チャネルの周波数信号をダウンミックスすることにより、ステレオ周波数信号のうちの右側周波数信号を生成する。
第2ダウンミックス部13は、例えば、次式に従ってステレオ周波数信号の左側周波数信号Lp0(k,n)及び右側周波数信号Rp0(k,n)を生成する。さらに第2ダウンミックス部13は、符号帳に含まれる予測係数を選択するために利用される中央チャネルの信号Cp0(k,n)を次式に従って算出する。
For example, the
第2ダウンミックス部13は、ステレオ周波数信号の左側周波数信号Lp0(k,n)及び右側周波数信号Rp0(k,n)をチャネル信号符号化部16へ出力する。さらに、第2ダウンミックス部13は、その左側周波数信号Lp0(k,n)及び右側周波数信号Rp0(k,n)とともに、中央チャネルの周波数信号Cp0(k,n)を予測符号化部14へ出力する。
The
予測符号化部14は、周波数帯域ごとに、Lp0(k,n)及びRp0(k,n)を用いてCp0(k,n)を近似的に表す予測係数C1(k)、C2(k)を求める。そして予測符号化部14は、その予測係数C1(k)、C2(k)の量子化値に対応するインデックス値を可変長符号化することにより、予測係数符号idxc1(k)、idxc2(k)を求める。そして予測符号化部14は、予測係数符号idxc1(k)、idxc2(k)を空間情報符号化部15へ出力する。さらに予測符号化部14は、周波数帯域ごとに、予測係数C1(k)、C2(k)を求めるために利用した符号帳を表す符号帳選択情報を多重化部17へ出力する。なお、予測符号化部14の詳細については後述する。
The
空間情報符号化部15は、第1ダウンミックス部12から受け取った空間情報を符号化する。さらに空間情報符号化部15は、符号化された空間情報とともに、予測符号化部14から受け取った予測係数符号idxc1(k)、idxc2(k)を多重化することによりMPEG Surround符号(以下、MPS符号と呼ぶ)を生成する。
The spatial
空間情報符号化部15は、空間情報中の類似度の値とインデックス値の対応を示した量子化テーブルを参照する。そして空間情報符号化部15は、量子化テーブルを参照することにより、各周波数帯域についてそれぞれの類似度ICCi(k)(i=L,R,0)と最も値が近いインデックス値を決定する。なお、量子化テーブルは、予め、空間情報符号化部15が有するメモリに格納される。
The spatial
図2は、類似度に対する量子化テーブルの一例を示す図である。図2に示す量子化テーブル200において、上側の行210の各欄はインデックス値を表し、下側の行220の各欄は、同じ列のインデックス値に対応する類似度の代表値を表す。また、類似度が取りうる値の範囲は-0.99〜+1である。例えば、周波数帯域kに対する類似度が0.6である場合、量子化テーブル200では、インデックス値3に対応する類似度の代表値が、周波数帯域kに対する類似度に最も近い。そこで、空間情報符号化部15は、周波数帯域kに対するインデックス値を3に設定する。
FIG. 2 is a diagram illustrating an example of a quantization table for similarity. In the quantization table 200 shown in FIG. 2, each column in the
次に、空間情報符号化部15は、各周波数帯域について、周波数方向に沿ってインデックス間の差分値を求める。例えば、周波数帯域kに対するインデックス値が3であり、周波数帯域(k-1)に対するインデックス値が0であれば、空間情報符号化部15は、周波数帯域kに対するインデックスの差分値を3とする。
Next, the spatial
空間情報符号化部15は、インデックス値の差分値と類似度符号の対応を示した符号化テーブルを参照する。そして空間情報符号化部15は、符号化テーブルを参照することにより、類似度ICCi(k)(i=L,R)の各周波数についてインデックス間の差分値に対する類似度符号idxicci(k)(i=L,R)を決定する。なお、符号化テーブルは、予め、空間情報符号化部15が有するメモリに格納される。また、類似度符号は、例えば、ハフマン符号あるいは算術符号など、出現頻度が高い差分値ほど符号長が短くなる可変長符号とすることができる。
The spatial
図3は、インデックスの差分値と類似度符号の関係を示すテーブルの一例を示す図である。この例では、類似度符号はハフマン符号である。図3に示す符号化テーブル300において、左側の列の各欄はインデックスの差分値を表し、右側の列の各欄は、同じ行のインデックスの差分値に対応する類似度符号を表す。例えば、周波数帯域kの類似度ICCL(k)に対するインデックスの差分値が3である場合、空間情報符号化部15は、符号化テーブル300を参照することにより、周波数帯域kの類似度ICCL(k)に対する類似度符号idxiccL(k)を"111110"に設定する。
FIG. 3 is a diagram illustrating an example of a table indicating the relationship between index difference values and similarity codes. In this example, the similarity code is a Huffman code. In the encoding table 300 shown in FIG. 3, each column in the left column represents an index difference value, and each column in the right column represents a similarity code corresponding to the index difference value in the same row. For example, when the index difference value with respect to the similarity ICC L (k) of the frequency band k is 3, the spatial
また空間情報符号化部15は、強度差の値とインデックス値との対応関係を示した量子化テーブルを参照する。そして空間情報符号化部15は、量子化テーブルを参照することにより、各周波数についての強度差CLDj(k)(j=L,R,C)と最も値が近いインデックス値を決定する。空間情報符号化部15は、各周波数帯域について、周波数方向に沿ってインデックス間の差分値を求める。例えば、周波数帯域kに対するインデックス値が2であり、周波数帯域(k-1)に対するインデックス値が4であれば、空間情報符号化部15は、周波数帯域kに対するインデックスの差分値を-2とする。
The spatial
図4は、強度差に対する量子化テーブルの一例を示す図である。図4に示す量子化テーブル400において、行410、430及び450の各欄はインデックス値を表し、行420、440及び460の各欄は、それぞれ、同じ列の行410、430及び450の各欄に示されたインデックス値に対応する強度差の代表値を表す。
例えば、周波数帯域kに対する強度差CLDL(k)が10.8dBである場合、量子化テーブル400では、インデックス値5に対応する強度差の代表値がCLDL(k)に最も近い。そこで、空間情報符号化部15は、CLDL(k)に対するインデックス値を5に設定する。
FIG. 4 is a diagram illustrating an example of a quantization table for the intensity difference. In the quantization table 400 shown in FIG. 4, each column of
For example, when the intensity difference CLD L (k) with respect to the frequency band k is 10.8 dB, in the quantization table 400, the representative value of the intensity difference corresponding to the
空間情報符号化部15は、インデックス間の差分値と強度差符号の対応を示した符号化テーブルを参照する。そして空間情報符号化部15は、符号化テーブルを参照することにより、強度差CLDj(k)の各周波数帯域kの差分値に対する強度差符号idxcldj(k)(j=L,R,C)を決定する。強度差符号は、類似度符号と同様に、例えば、ハフマン符号あるいは算術符号など、出現頻度が高い差分値ほど符号長が短くなる可変長符号とすることができる。
なお、量子化テーブル及び符号化テーブルは、予め、空間情報符号化部15が有するメモリに格納される。
The spatial
Note that the quantization table and the encoding table are stored in advance in a memory included in the spatial
空間情報符号化部15は、類似度符号idxicci(k)、強度差符号idxcldj(k)及び予測係数符号idxcm(k)を用いてMPS符号を生成する。例えば、空間情報符号化部15は、類似度符号idxicci(k)、強度差符号idxcldj(k)及び予測係数符号idxcm(k)を所定の順序に従って配列することにより、MPS符号を生成する。この所定の順序については、例えば、ISO/IEC 23003-1:2007に記述されている。
空間情報符号化部15は、生成したMPS符号を多重化部17へ出力する。
The spatial
The spatial
チャネル信号符号化部16は、第2ダウンミックス部13から出力されたステレオ周波数信号を符号化する。そのために、チャネル信号符号化部16は、SBR符号化部161と、周波数時間変換部162と、AAC符号化部163とを有する。
The channel
SBR符号化部161は、ステレオ周波数信号を受け取る度に、チャネルごとに、ステレオ周波数信号のうち、高周波数帯域に含まれる成分である高域成分を、SBR符号化方式にしたがって符号化する。これにより、SBR符号化部161は、SBR符号を生成する。
例えば、SBR符号化部161は、特開2008−224902号公報に開示されているように、SBR符号化の対象となる高域成分と強い相関のある各チャネルの周波数信号の低域成分を複製する。なお、低域成分は、SBR符号化部161が符号化対象とする高域成分が含まれる高周波数帯域よりも低い低周波数帯域に含まれる各チャネルの周波数信号の成分であり、後述するAAC符号化部163により符号化される。そしてSBR符号化部161は、複製された高域成分の電力を、元の高域成分の電力と一致するように調整する。またSBR符号化部161は、元の高域成分のうち、低域成分との差異が大きく、低域成分を複写しても、高域成分を近似できない成分を補助情報とする。そしてSBR符号化部161は、複製に利用された低域成分と対応する高域成分の位置関係を表す情報と、電力調整量と補助情報を量子化することにより符号化する。
SBR符号化部161は、上記の符号化された情報であるSBR符号を多重化部17へ出力する。
Each time the SBR encoding unit 161 receives a stereo frequency signal, the SBR encoding unit 161 encodes, for each channel, a high frequency component, which is a component included in the high frequency band, of the stereo frequency signal according to the SBR encoding method. As a result, the SBR encoding unit 161 generates an SBR code.
For example, as disclosed in Japanese Patent Application Laid-Open No. 2008-224902, the SBR encoding unit 161 duplicates the low frequency component of the frequency signal of each channel having a strong correlation with the high frequency component to be SBR encoded. To do. The low frequency component is a component of the frequency signal of each channel included in the low frequency band lower than the high frequency band including the high frequency component to be encoded by the SBR encoding unit 161, and will be described later. The
The SBR encoding unit 161 outputs the SBR code that is the encoded information to the
周波数時間変換部162は、ステレオ周波数信号を受け取る度に、各チャネルのステレオ周波数信号を時間領域のステレオ信号に変換する。例えば、時間周波数変換部11がQMFフィルタバンクを用いる場合、周波数時間変換部162は、次式に示す複素型のQMFフィルタバンクを用いて各チャネルのステレオ周波数信号を周波数時間変換する。
なお、時間周波数変換部11が、高速フーリエ変換、離散コサイン変換、修正離散コサイン変換など、他の時間周波数変換処理を用いている場合、周波数時間変換部162は、その時間周波数変換処理の逆変換を使用する。
周波数時間変換部162は、各チャネルの周波数信号を周波数時間変換することにより得られた各チャネルのステレオ信号をAAC符号化部163へ出力する。
When the time
The frequency
AAC符号化部163は、各チャネルのステレオ信号を受け取る度に、各チャネルの信号の低域成分をAAC符号化方式にしたがって符号化することにより、AAC符号を生成する。そこで、AAC符号化部163は、例えば、特開2007−183528号公報に開示されている技術を利用できる。具体的には、AAC符号化部163は、受け取った各チャネルのステレオ信号を離散コサイン変換することにより、再度ステレオ周波数信号を生成する。そしてAAC符号化部163は、再生成したステレオ周波数信号から心理聴覚エントロピー(Perceptual Entropy、PE)を算出する。PEは、リスナーが雑音を知覚することがないようにそのブロックを量子化するために必要な情報量を表す。そしてこのPEは、打楽器が発する音のようなアタック音など、信号レベルが短時間で変化する音に対して大きな値となる特性を持つ。そこで、AAC符号化部163は、PEの値が比較的大きくなるフレームに対しては、窓を短くし、PEの値が比較的小さくなるブロックに対しては、窓を長くする。例えば、短い窓は、256個のサンプルを含み、長い窓は、2048個のサンプルを含む。AAC符号化部163は、決定された長さを持つ窓を用いて各チャネルのステレオ信号に対して修正離散コサイン変換(Modified Discrete Cosine Transform、MDCT)を実行することにより、各チャネルのステレオ信号をMDCT係数の組に変換する。
そしてAAC符号化部163は、MDCT係数の組を量子化し、その量子化されたMDCT係数の組を可変長符号化する。
AAC符号化部163は、可変長符号化されたMDCT係数の組と、量子化係数など関連する情報を、AAC符号として多重化部17へ出力する。
Each time the
Then, the
The
多重化部17は、AAC符号、SBR符号及びMPS符号を所定の順序に従って配列することにより多重化する。そして多重化部17は、その多重化により生成された符号化オーディオ信号を出力する。
図5は、符号化されたオーディオ信号が格納されたデータ形式の一例を示す図である。この例では、符号化されたオーディオ信号は、MPEG-4 ADTS(Audio Data Transport Stream)形式に従って作成される。
図5に示される符号化データ列500において、データブロック510にAAC符号は格納される。またADTS形式のFILLエレメントが格納されるブロック520の一部領域にSBR符号及びMPS符号が格納される。さらに、ブロック520には、予測符号化部14により求められた符号帳選択情報も格納される。
The multiplexing
FIG. 5 is a diagram illustrating an example of a data format in which an encoded audio signal is stored. In this example, the encoded audio signal is created according to the MPEG-4 ADTS (Audio Data Transport Stream) format.
In the encoded
次に、予測符号化部14の詳細について説明する。図6は、予測符号化部14の構成図である。予測符号化部14は、予測誤差形状判定部141と、最小誤差予測係数算出部142と、符号帳選択部143と、予測係数符号化部144とを有する。
Next, details of the
予測誤差形状判定部141は、第2ダウンミックス部13から受け取った各チャネルの周波数信号に基づいて、予測係数C1(k)、C2(k)から算出される中央チャネルの周波数信号の予測値C'p0(k,n)とCp0(k,n)間の予測誤差の分布形状を判定する。この予測誤差の分布形状は、符号帳を選択するため、及び予測誤差dを最小化するために利用される。
The prediction error shape determination unit 141 predicts the frequency signal of the center channel calculated from the prediction coefficients C 1 (k) and C 2 (k) based on the frequency signal of each channel received from the
本願の発明者は、予測値C'p0(k,n)と中央チャネルの信号Cp0(k,n)間の予測誤差の分布形状が、放物線柱面状あるいは楕円放物面状になることを見出した。そこで以下では、先ず、予測誤差の分布形状が放物線柱面状あるいは楕円放物面状になることについて説明する。 The inventor of the present application indicates that the distribution shape of the prediction error between the predicted value C ′ p0 (k, n) and the central channel signal C p0 (k, n) is a parabolic columnar shape or an elliptical parabolic shape. I found. Therefore, first, it will be described that the distribution shape of the prediction error is a parabolic columnar shape or an elliptical parabolic shape.
左側チャネルの予測係数C1(k)及び右側チャネルの予測係数C2(k)より、中央チャネルの信号の予測値C'p0(k,n)及び予測誤差d(k)は次式で定義される。
(11)式において、予測係数c1、c2の係数及び定数項を以下のように定義する。
In the equation (11), the coefficients and constant terms of the prediction coefficients c 1 and c 2 are defined as follows.
一般に、二次曲線は、放物線、双曲線、平行2直線、及び楕円のいずれかとなる。以下に、二次曲線が放物線、双曲線、平行2直線、及び楕円のそれぞれとなる条件について説明する。
例えば、(13)式における各係数が以下の条件を満たす場合、(13)式で表される2次曲線は放物線となる。
For example, when each coefficient in the equation (13) satisfies the following condition, the quadratic curve represented by the equation (13) is a parabola.
ここで、左側周波数信号Lp0(k,n)、右側周波数信号Rp0(k,n)、中央チャネルの周波数信号Cp0(k,n)の性質から、(13)式における各係数が放物線となる条件及び双曲線となる条件を満たすことはない。
先ず、(13)式における各係数が、(14)式に示される放物線の条件を満たすことがない理由を説明する。
Here, from the properties of the left frequency signal L p0 (k, n), the right frequency signal R p0 (k, n), and the center channel frequency signal C p0 (k, n), each coefficient in the equation (13) is a parabola. And the condition that becomes a hyperbola is not satisfied.
First, the reason why each coefficient in the equation (13) does not satisfy the parabolic condition shown in the equation (14) will be described.
(14)式において、γ=0と仮定する。γ=0の時、次式より全ての(k,n)において、右側周波数信号Rp0(k,n)=0が満たされることになる。
次に、(13)式における各係数が、(15)式に示される双曲線の条件を満たすことがない理由を説明する。(14)式は、次式の通りに展開することができる。
したがって、予測誤差dの分布形状の断面の二次曲線は、平行2直線または楕円のいずれかである。平行2直線を予測係数c1、c2に対する二次曲面として規定すると、予測誤差dの分布形状は放物線柱面(すなわち、放物線型)となる。一方、楕円を予測係数c1、c2に対する二次曲面として規定すると、予測誤差dの分布形状は楕円放物面(すなわち、楕円型)となる。 Therefore, the quadratic curve of the cross section of the distribution shape of the prediction error d is either a parallel two straight line or an ellipse. If the parallel two straight lines are defined as a quadric surface with respect to the prediction coefficients c 1 and c 2 , the distribution shape of the prediction error d is a parabolic column surface (ie, a parabolic shape). On the other hand, if the ellipse is defined as a quadric surface with respect to the prediction coefficients c 1 and c 2 , the distribution shape of the prediction error d is an elliptic paraboloid (that is, an elliptic shape).
そこで、予測誤差形状判定部141は、左側周波数信号Lp0(k,n)、右側周波数信号Rp0(k,n)及び中央チャネルの周波数信号Cp0(k,n)に基づいて、(16)式または(17)式の何れの条件が満たされるか判定する。そして(16)式に示される条件が満たされる場合、すなわち、(β2-αγ)=0であれば、予測誤差形状判定部141は、予測誤差dの分布形状は放物線型であると判定する。これは、結局、以下の二つのケースの何れかに相当する。
・左側周波数信号Lp0(k,n)及び右側周波数信号Rp0(k,n)の少なくとも何れかが全ての周波数帯域において0、すなわち、左側チャネルか右側チャネルが無音である場合
・左側周波数信号Lp0(k,n)と右側周波数信号Rp0(k,n)の内積が0、すなわち、左側周波数信号Lp0(k,n)と右側周波数信号Rp0(k,n)とが同相または逆相である場合
Therefore, the prediction error shape determination unit 141 (16) based on the left frequency signal L p0 (k, n), the right frequency signal R p0 (k, n), and the center channel frequency signal C p0 (k, n). ) Or (17) is satisfied. If the condition shown in equation (16) is satisfied, that is, if (β 2 −αγ) = 0, the prediction error shape determination unit 141 determines that the distribution shape of the prediction error d is a parabolic shape. . This eventually corresponds to one of the following two cases.
When at least one of the left frequency signal L p0 (k, n) and the right frequency signal R p0 (k, n) is 0 in all frequency bands, that is, the left channel or the right channel is silent. The inner product of L p0 (k, n) and the right frequency signal R p0 (k, n) is 0, that is, the left frequency signal L p0 (k, n) and the right frequency signal R p0 (k, n) are in phase or When in reverse phase
一方、(17)式に示される条件が満たされる場合、すなわち、(β2-αγ)≠0であれば、予測誤差形状判定部141は、予測誤差dの分布形状は楕円型であると判定する。 On the other hand, if the condition shown in the equation (17) is satisfied, that is, if (β 2 −αγ) ≠ 0, the prediction error shape determination unit 141 determines that the distribution shape of the prediction error d is elliptical. To do.
予測誤差形状判定部141は、予測誤差dの分布形状の判定結果を最小誤差予測係数算出部142及び符号帳選択部143へ通知する。
The prediction error shape determination unit 141 notifies the minimum error prediction
最小誤差予測係数算出部142は、予測誤差dの分布形状の判定結果に基づいて、予測誤差が最小となる予測係数c1、c2を算出する。
The minimum error prediction
先ず、予測誤差dの分布形状が放物線型になる場合の予測係数c1、c2の算出式について説明する。上記の(16)式の条件が満たされる場合、以下に示す(i)〜(iii)の何れの条件が満たされることになる。
(11)式より、f(L0,L0)は、左側周波数信号Lp0(k,n)の絶対値の二乗の(k,n)についての総和となるので、常に正の値を有する。そのため、上記の(24)式において、予測係数c1、c2ならびに予測誤差dをそれぞれ互いに直交する座標軸で表す放物線柱面の予測誤差の分布形状は、c1-c2平面に対して最小値を有することになる。 From equation (11), f (L 0 , L 0 ) is the sum of the squares (k, n) of the absolute value of the left frequency signal L p0 (k, n), and therefore always has a positive value. . Therefore, in the above equation (24), the distribution shape of the prediction error of the parabolic column surface in which the prediction coefficients c 1 and c 2 and the prediction error d are expressed by coordinate axes orthogonal to each other is the minimum with respect to the c 1 -c 2 plane. Will have a value.
図7は予測係数c1、c2ならびに予測誤差dをそれぞれ互いに直交する座標軸で表す放物線柱面状の予測誤差の分布の概念図である。図7において、各座標軸は、それぞれ、予測係数c1、c2及び予測誤差dに対応する。3次元グラフ700は、予測誤差dの分布を表す。3次元グラフ700に示されるように、予測誤差dの最小値は、c1-c2平面において直線上に存在し、その直線から放物線上に予測誤差dが大きくなる。なお、放物線型の最小値は次式で表現される直線状となる。
なお、全ての(k,n)においてLp0(k,n)=0である場合には、f(L0,L0)は正の値でなく0となる。しかし、この場合には、上記の(22)式における上記(i)が満たされることになる。したがって、(22)式の条件(iii)が満たされる場合には、f(L0,L0)は常に正の値となる。 When L p0 (k, n) = 0 at all (k, n), f (L 0 , L 0 ) is not a positive value but 0. However, in this case, the above (i) in the above equation (22) is satisfied. Therefore, when the condition (iii) of the equation (22) is satisfied, f (L 0 , L 0 ) is always a positive value.
また、(22)式における条件(i)が満たされる場合は、放物線型の予測誤差の最小値は次式で表現される直線状となる。
したがって、最小誤差予測係数算出部142は、予測誤差dの分布形状が放物線型である場合、(22)式の条件(i)〜(iii)のうちの満たされる条件に従って、予測誤差dが最小となる予測係数c1min、c2minを算出する。すなわち、(22)式の条件(i)が満たされる場合、最小誤差予測係数算出部142は、(27)式に従って予測係数c1min、c2minを算出する。また、(22)式の条件(ii)が満たされる場合、最小誤差予測係数算出部142は、(28)式に従って予測係数c1min、c2minを算出する。あるいは、(22)式の条件(iii)が満たされる場合、最小誤差予測係数算出部142は、(26)式に従って予測係数c1min、c2minを算出する。
Therefore, when the distribution shape of the prediction error d is parabolic, the minimum error prediction
また、予測誤差dの分布形状が楕円型である場合、予測誤差dが最小となるのは、(10)式を予測係数c1、c2でそれぞれ偏微分した値が0となる場合となる。そのため、最小誤差予測係数算出部142は、予測誤差dの分布形状が楕円型である場合、次式に従って、予測誤差dが最小となる予測係数c1min、c2minを算出する。
図8は予測係数c1、c2ならびに予測誤差dをそれぞれ互いに直交する座標軸で表す楕円放物面状の予測誤差の分布の概念図である。図8において、各座標軸は、それぞれ、予測係数c1、c2及び予測誤差dに対応する。3次元グラフ800は、予測誤差dの分布を表す。3次元グラフ800に示されるように、予測誤差dの最小値は、c1-c2平面において1点となり、その点から楕円状に予測誤差dが大きくなる。
FIG. 8 is a conceptual diagram of an elliptic paraboloid prediction error distribution in which the prediction coefficients c 1 and c 2 and the prediction error d are expressed by mutually orthogonal coordinate axes. In FIG. 8, each coordinate axis corresponds to the prediction coefficients c 1 and c 2 and the prediction error d, respectively. A three-
最小誤差予測係数算出部142は、予測誤差dが最小値となるときの予測係数c1min、c2minを符号帳選択部143へ出力する。
The minimum error prediction
符号帳選択部143は、予め準備された各予測係数の符号帳の中から、予測誤差dの分布形状、及び、予測誤差dが最小値となるときの予測係数c1min、c2minに基づいて、予測係数c1、c2の量子化値を決定するために利用される符号帳を選択する。
Based on the prediction error c distribution shape and the prediction coefficients c 1min and c 2min when the prediction error d is the minimum value, the code
上記のように、予測係数c1、c2の量子化値の数が増えるほど、その予測係数c1、c2に割り当てられる符号の数も増える。そのため、各符号の直交性を保つためには、符号の数が増えるほど、符号の長さの平均値も増大し、その結果として符号化効率が低下する。そのため、符号帳に規定される予測係数c1、c2の量子化値の範囲は限られたものとなる。そのため、予測誤差dが最小となるときの予測係数c1min、c2minの値が、符号帳で規定されたc1、c2の量子化値の範囲から外れることがある。このような場合、その量子化値の範囲内の全ての量子化値に対してそれぞれ符号を割り当てても、使用されない符号が増えるだけであり、冗長となる。そこで本実施形態では、符号帳選択部143は、予測係数c1min、c2minのうちの一方が、符号帳に規定された予測係数の量子化値の範囲から外れる場合、または、その一方が予測誤差dに影響しない場合、他方の予測係数についての符号帳のみを選択する。
As described above, as the number of quantized values of the prediction coefficients c 1, c 2 is increased, increasing the number of codes assigned to the prediction coefficients c 1, c 2. Therefore, in order to maintain the orthogonality of each code, the average value of the code length increases as the number of codes increases, and as a result, the coding efficiency decreases. Therefore, the range of quantized values of the prediction coefficients c 1 and c 2 defined in the codebook is limited. For this reason, the values of the prediction coefficients c 1min and c 2min when the prediction error d is minimized may be out of the range of quantized values of c 1 and c 2 defined by the codebook. In such a case, even if codes are assigned to all quantized values within the range of the quantized values, only codes that are not used are increased, which is redundant. Therefore, in the present embodiment, the
先ず、予測誤差dの分布形状が楕円型である場合について説明する。
図9は、予測誤差dの分布形状が楕円型である場合における、予測誤差dが最小となるときの予測係数c1min、c2minと予測係数c1、c2の量子化値の範囲との位置関係を表す概念図である。図9において、予測係数c1、c2の量子化値の範囲900は、予測係数c1、c2をそれぞれ互いに直交する座標軸とするc1-c2平面上に表される。そしてc1t、c1bは、それぞれ、符号帳に規定される予測係数c1の量子化値の上限値及び下限値を表す。またc2t、c2bは、それぞれ、符号帳に規定される予測係数c2の量子化値の上限値及び下限値を表す。
First, the case where the distribution shape of the prediction error d is elliptical will be described.
FIG. 9 shows the prediction coefficients c 1min and c 2min and the range of quantized values of the prediction coefficients c 1 and c 2 when the prediction error d is minimized when the distribution shape of the prediction error d is elliptical. It is a conceptual diagram showing a positional relationship. 9, a
予測誤差曲面901〜905は、それぞれ、予測誤差dの分布を表す予測誤差曲面の一例である。例えば、予測係数c1minが実際に符号化される予測係数c1の量子化値の上限値よりも大きい場合の予測誤差曲面901は予測係数c1の上限値c1tに沿った直線上の点911において範囲900と接する。したがって、予測係数c1に関しては、実際に符号化されるのはその上限値c1tとなる。そのため、符号帳としては、予測係数c2のみが規定されればよい。同様に、予測係数c1min及びc2minのうちの少なくとも一方が符号帳に規定される量子化値の範囲900から外れる予測誤差曲面902〜904も、範囲900の境界上の点912〜914で範囲900と接する。一方、予測係数c1min及びc2minの両方が範囲900に含まれる予測誤差曲面905は、(c1min,c2min)そのものにて範囲900と接する。
Each of the prediction error curved
図10は、予測誤差dの分布形状が楕円型である場合における、符号帳に規定された予測係数の量子化値の範囲と予測誤差曲面との接点と、選択される符号帳との関係を示す図である。図10は、図9に示したc1-c2平面を上から見た図である。予測誤差曲面と予測係数c1、c2の量子化値の範囲1000との接点1001が予測係数c1の量子化値の上限値c1tに沿った直線上にある場合、選択される符号帳には、範囲1010で示されるように、予測係数c2の複数の量子化値のみが含まれる。また、予測誤差曲面と予測係数c1、c2の値の範囲1000との接点1002が予測係数c2の量子化値の下限値c2bに沿った直線上にある場合、選択される符号帳には、範囲1011で示されるように、予測係数c1の複数の量子化値のみが含まれる。一方、予測誤差曲面の最小値が範囲1000内である場合、選択される符号帳には、その範囲1000内の予測係数c1、c2の両方の量子化値が含まれる。
FIG. 10 shows the relationship between the selected codebook and the contact point between the quantization coefficient range of the prediction coefficient defined in the codebook and the prediction error curved surface when the distribution shape of the prediction error d is elliptical. FIG. FIG. 10 is a view of the c 1 -c 2 plane shown in FIG. 9 as viewed from above. The codebook selected when the
図11は、予測誤差dの分布形状が楕円型である場合の符号帳選択処理の動作フローチャートである。符号帳選択部143は、予測誤差dの分布形状が楕円型と判定された各フレームの周波数帯域ごとに、この動作フローチャートに従って使用する符号帳を選択する。
符号帳選択部143は、予測誤差dが最小となるときの予測係数の組(c1min,c2min)が、各予測係数の符号帳に規定される予測係数の量子化値の範囲内に含まれるか否か判定する(ステップS101)。
予測係数の組(c1min,c2min)の少なくとも一方が、予測係数の量子化値の範囲から外れる場合(ステップS101−No)、符号帳選択部143は、予測誤差曲面と予測係数の量子化値の範囲との接点を求める(ステップS102)。なお、符号帳選択部143は、(10)式において、予測係数c1min、c2minのうちの量子化値の範囲から外れるものについて、予測係数の値をその量子化値の上限、下限のうちの近い方の値に設定する。例えば、予測係数c1minが量子化値の範囲の下限を下回る場合、符号帳選択部143は、予測係数c1をその下限値c1bに設定する。そして符号帳選択部143は、他方をその取り得る値のうちで変化させたときに予測誤差dが最小となるときの予測係数の組(c1c,c2c)を接点とする。
FIG. 11 is an operation flowchart of the codebook selection process when the distribution shape of the prediction error d is elliptical. The
The
When at least one of the pair of prediction coefficients (c 1min , c 2min ) is out of the range of the quantization value of the prediction coefficient (No in step S101), the
次に、符号帳選択部143は、|c1c-c1min|が|c2c-c2min|より大きいか否か判定する(ステップS103)。|c1c-c1min|が|c2c-c2min|より大きい場合(ステップS103−Yes)、符号帳選択部143は、c1cは、予測係数c1についての量子化値の範囲の上限または下限となっている。そこで符号帳選択部143は、予測係数c2についての符号帳のみを選択する(ステップS104)。一方、|c1c-c1min|が|c2c-c2min|以下である場合(ステップS103−No)、符号帳選択部143は、予測係数c1についての符号帳のみを選択する(ステップS105)。
Next, the
一方、ステップS101にて、予測係数の組(c1min,c2min)の何れも、符号帳に規定される量子化値の上限と下限の間に含まれる場合(ステップS101−Yes)、符号帳選択部143は、予測係数c1及びc2の両方の符号帳を選択する(ステップS106)。
ステップS104、S105またはS106の後、符号帳選択部143は、符号帳選択処理を終了する。
On the other hand, if any of the prediction coefficient pairs (c 1min , c 2min ) is included between the upper limit and the lower limit of the quantized value defined in the codebook in step S101 (step S101—Yes), the codebook The
After step S104, S105, or S106, the
次に、予測誤差dの分布形状が放物線型である場合における符号帳の選択について説明する。
図12は、予測誤差dの分布形状が放物線型である場合における、予測誤差dの最小値に対応する予測係数の組(c1min,c2min)と予測係数の量子化値の範囲との関係を示す図である。
直線1201は、(22)式の条件(i)が満たされ、(27)式に従って算出される予測係数の組(c1min,c2min)を表す。この場合、予測係数c1minは任意であり、直線1201は、予測係数c1の軸と平行になるので、予測係数c2のみが符号化されればよい。したがって、符号帳選択部143は、予測係数c2についての符号帳のみを選択すればよい。一方、直線1202は、(22)式の条件(ii)が満たされ、(28)式に従って算出される予測係数の組(c1min,c2min)を表す。この場合、予測係数c2minは任意であり、直線1202は、予測係数c2の軸と平行になるので、予測係数c1のみが符号化されればよい。したがって、符号帳選択部143は、予測係数c1についての符号帳のみを選択すればよい。
Next, selection of a codebook when the distribution shape of the prediction error d is parabolic will be described.
FIG. 12 shows the relationship between the prediction coefficient pair (c 1min , c 2min ) corresponding to the minimum value of the prediction error d and the range of quantized values of the prediction coefficient when the distribution shape of the prediction error d is parabolic. FIG.
A
また、直線1203は、(22)式の条件(iii)が満たされ、(26)式に従って算出される予測係数の組(c1min,c2min)を表す。この場合、予測係数c1minに応じて予測係数c2minも変化する。そのため符号帳選択部143は、予測係数c1及びc2の両方の符号帳を選択する。
A
図13は、予測誤差dの分布形状が放物線型である場合の符号帳選択処理の動作フローチャートである。符号帳選択部143は、予測誤差dの分布形状が放物線型と判定された各フレームの周波数帯域ごとに、この動作フローチャートに従って使用する符号帳を選択する。
符号帳選択部143は、予測誤差dが最小となる予測係数(c1min,c2min)同士の関係を表す直線Lが予測係数c2の軸と平行か否か、すなわち、(28)式に従って算出されたものか否か判定する(ステップS201)。直線Lが予測係数c2の軸と平行である場合(ステップS201−Yes)、符号帳選択部143は、予測係数c1についての符号帳のみを選択する(ステップS202)。
FIG. 13 is an operation flowchart of the codebook selection process when the distribution shape of the prediction error d is parabolic. The
The
一方、直線Lが予測係数c2の軸と平行でない場合(ステップS201−No)、符号帳選択部143は、直線Lが予測係数c1の軸と平行か否か、すなわち、(27)式に従って算出されたものか否か判定する(ステップS203)。直線Lが予測係数c1の軸と平行である場合(ステップS203−Yes)、符号帳選択部143は、予測係数c2についての符号帳のみを選択する(ステップS204)。
On the other hand, if the straight line L is not parallel with the prediction coefficients c 2 axes (step S201-No),
一方、直線Lが予測係数c1の軸と平行でない場合(ステップS203−No)、符号帳選択部143は、予測係数c1及びc2の両方の符号帳を選択する(ステップS205)。
ステップS202、S204またはS205の後、符号帳選択部143は、符号帳選択処理を終了する。
On the other hand, if the straight line L is not parallel with the prediction coefficients c 1 axis (step S203-No),
After step S202, S204, or S205, the
符号帳選択部143は、周波数帯域ごとに、選択した符号帳を表す符号帳選択情報を予測係数符号化部144へ通知する。例えば、符号帳選択情報は、例えば、2ビットで表される。そして符号帳選択情報が'11'のとき、両方の予測係数に対する符号帳が選択されたことを表す。また符号帳選択情報が'01'のとき、予測係数c1に対する符号帳が選択されたことを表し、'10'のとき、予測係数c2に対する符号帳が選択されたことを表す。
The
予測係数符号化部144は、選択された符号帳に従って、予測係数を符号化する。例えば、予測係数符号化部144は、その符号帳に含まれる複数の予測係数の量子化値のうち、予測誤差dを最小化できる量子化値を選択する。そして予測係数符号化部144は、選択した量子化値に対応するインデックス値を求める。
The prediction
図14は、予測係数の量子化値を格納した符号帳の一例を示す図である。図14に示されるように、符号帳1400では、二つの行が一組となって予測係数の量子化値が表されている。左端の列に"idx"と示された行1410、1420、1430、1440及び1450の各欄の数値は、インデックス値を表す。また左端の列に"C[idx]"と示された行1415、1425、1435、1445及び1455の各欄の数値は、一つ上のインデックス値に対応する予測係数の量子化値を表す。例えば、欄1401には、インデックス値として'-20'が格納されている。そして欄1402には、インデックス値'-20'に対応する予測係数の量子化値'-2.0'が格納されている。
FIG. 14 is a diagram illustrating an example of a codebook that stores quantization values of prediction coefficients. As shown in FIG. 14, in the
例えば、周波数帯域kに対する予測係数c1が1.21である場合、符号帳1400では、インデックス値'12'に対応する予測係数の量子化値がc1に最も近い。そこで、予測係数符号化部144は、c1に対するインデックス値を'12'に設定する。
For example, when the prediction coefficient c 1 for the frequency band k is 1.21, in the
以下、予測誤差dの分布形状が楕円型である場合と放物線型である場合とに分けて、予測係数の量子化値及び対応するインデックス値の決定方法について説明する。
先ず、予測誤差dの分布形状が楕円型である場合におけるその量子化値及びインデックス値の決定方法について説明する。
Hereinafter, the method for determining the quantized value of the prediction coefficient and the corresponding index value will be described separately for the case where the distribution shape of the prediction error d is an elliptical type and the case of a parabolic type.
First, a method for determining the quantization value and the index value when the distribution shape of the prediction error d is elliptic will be described.
予測誤差dの最小値に対応する予測係数の組(c1min,c2min)の両方が符号帳に規定される予測係数の量子化値の範囲内に含まれる場合、予測係数符号化部144は、(c1min,c2min)のそれぞれについて、対応する符号帳を参照して最も近い量子化値を求めればよい。そして予測係数符号化部144は、符号帳を参照して、各予測係数の量子化値に対応するインデックス値を決定する。
When both of the prediction coefficient pairs (c 1min , c 2min ) corresponding to the minimum value of the prediction error d are included in the range of the quantized values of the prediction coefficients defined in the codebook, the prediction
一方、予測誤差dの最小値に対応する予測係数の組(c1min,c2min)が符号帳に規定される予測係数の量子化値の範囲から外れる場合、予測係数符号化部144は、(10)式に基づいて、予測誤差曲面と予測係数の量子化値の範囲の境界との接点(c1c,c2c)を求める。あるいは、予測係数符号化部144は、符号帳選択部143から接点(c1c,c2c)を受け取ってもよい。
On the other hand, when the set of prediction coefficients (c 1min , c 2min ) corresponding to the minimum value of the prediction error d is out of the range of quantized values of the prediction coefficients specified in the codebook, the prediction coefficient encoding unit 144 ( Based on equation (10), a contact point (c 1c , c 2c ) between the prediction error curved surface and the boundary of the quantized value range of the prediction coefficient is obtained. Alternatively, the prediction
予測係数符号化部144は、予測係数c2についての符号帳のみが選択されている場合、すなわち、接点(c1c,c2c)が予測係数c1の下限値または上限値に沿った直線上にある場合には、予測係数c2についての符号帳を参照する。そして予測係数符号化部144は、接点における予測係数c2cに最も近い量子化値を選択し、その選択した量子化値に対応するインデックス値を求める。なお、c1minが予測係数c1の量子化値の範囲の上限c1tよりも大きい場合には、予測係数符号化部144は、予測係数c1について、その量子化値の範囲の上限c1tに対応するインデックス値を求める。
一方、c1minが予測係数c1の量子化値の範囲の下限c1bよりも小さい場合には、予測係数符号化部144は、予測係数c1について、その量子化値の範囲の下限c1bに対応するインデックス値を求める。
あるいは、c1minが予測係数c1の量子化値の範囲の上限c1tよりも大きい場合、予測係数符号化部144は、予測係数c1について、隣接する周波数帯域についてのインデックス値と同じインデックス値に設定してもよい。またc1minが予測係数c1の量子化値の範囲の下限c1bよりも小さい場合には、予測係数符号化部144は、予測係数c1について、隣接する周波数帯域についてのインデックス値に1を加算したインデックス値に設定してもよい。
When only the codebook for the prediction coefficient c 2 is selected, the prediction
On the other hand, when c 1min is smaller than the lower limit c 1b of the quantization value range of the prediction coefficient c 1 , the prediction
Alternatively, when c 1min is larger than the upper limit c 1t of the quantization value range of the prediction coefficient c 1 , the prediction
同様に、予測係数符号化部144は、予測係数c1についての符号帳のみが選択されている場合、すなわち、接点(c1c,c2c)が予測係数c2の下限値または上限値に沿った直線上にある場合には、予測係数c1についての符号帳を参照する。そして予測係数符号化部144は、接点における予測係数c1cに最も近い量子化値を選択し、その選択した量子化値に対応するインデックス値を求める。
一方、予測係数c2については、予測係数符号化部144は、予測係数c2の量子化値の範囲の上限c2t及び下限c2bのうちのc2minに近い方に対応するインデックス値を求める。
あるいは、c2minが予測係数c2の量子化値の範囲の上限c2tよりも大きい場合、予測係数符号化部144は、予測係数c2について、隣接する周波数帯域についてのインデックス値と同じインデックス値に設定してもよい。またc2minが予測係数c2の量子化値の範囲の下限c2bよりも小さい場合には、予測係数符号化部144は、予測係数c2について、隣接する周波数帯域についてのインデックス値に1を加算したインデックス値に設定してもよい。
Similarly, when only the codebook for the prediction coefficient c 1 is selected, the prediction
On the other hand, for the prediction coefficient c 2 , the prediction
Alternatively, when c 2min is larger than the upper limit c 2t of the quantization value range of the prediction coefficient c 2 , the prediction
次に、予測誤差dの分布形状が放物線型である場合におけるその量子化値及びインデックス値の決定方法について説明する。
予測誤差dの最小値に対応する予測係数(c1min,c2min)同士の関係を表す直線Lが(28)式に従って算出されており、その直線Lが予測係数c2の軸と平行であれば、予測係数符号化部144は、予測係数c1についての符号帳を参照する。そして予測係数符号化部144は、c1minに最も近い量子化値を選択し、その選択した量子化値に対応するインデックス値を求める。予測係数c2minについては任意なので、予測係数符号化部144は、予測係数c2の符号化値を省略する。そのため、予測係数c2についてのインデックス値を設定しない。あるいは、予測係数符号化部144は、予測係数c2について適当なインデックス値を設定してもよい。例えば、予測係数符号化部144は、予測係数c2について、隣接する周波数帯域について求められたインデックス値と同じインデックス値に設定する。
Next, a method for determining the quantization value and the index value when the distribution shape of the prediction error d is parabolic will be described.
A straight line L representing the relationship between the prediction coefficients (c 1min , c 2min ) corresponding to the minimum value of the prediction error d is calculated according to the equation (28), and the straight line L is parallel to the axis of the prediction coefficient c 2. For example, the prediction
また、予測誤差dの最小値に対応する予測係数 (c1min,c2min)同士の関係を表す直線Lが(27)式に従って算出されており、その直線Lが予測係数c1の軸と平行であれば、予測係数符号化部144は、予測係数c2についての符号帳を参照する。そして予測係数符号化部144は、c2minに最も近い量子化値を選択し、その選択した量子化値に対応するインデックス値を求める。予測係数c1minについては任意なので、予測係数符号化部144は、予測係数c1の符号化値を省略する。そのため、予測係数c1についてのインデックス値を設定しない。あるいは、予測係数符号化部144は、予測係数c1について適当なインデックス値を設定してもよい。例えば、予測係数符号化部144は、予測係数c1について、隣接する周波数帯域について求められたインデックス値と同じインデックス値に設定する。
A straight line L representing the relationship between the prediction coefficients (c 1min , c 2min ) corresponding to the minimum value of the prediction error d is calculated according to the equation (27), and the straight line L is parallel to the axis of the prediction coefficient c 1. if, predictive
さらに、予測誤差dの最小値に対応する予測係数(c1min,c2min)同士の関係を表す直線Lが(26)式に従って算出されている場合には、予測係数符号化部144は、符号帳に規定された予測係数c1及びc2の量子化値の範囲内にある直線L上の任意の点を選択する。そして予測係数符号化部144は、選択した点に最も近い、c1の量子化値及びc2の量子化値を選択し、それぞれ、その量子化値に対応するインデックス値を求める。
Furthermore, when the straight line L representing the relationship between the prediction coefficients (c 1min , c 2min ) corresponding to the minimum value of the prediction error d is calculated according to the equation (26), the prediction
なお、直線Lと予測係数c1及びc2の量子化値の範囲が重ならないこともある。この場合には、予測係数符号化部144は、予測係数c1及びc2の量子化値の上限値と下限値の組み合わせからなる4個の点のうち、直線Lに最も近い点を求める。そして予測係数符号化部144は、その最も近い点であるc1及びc2の量子化値に対応するインデックス値をそれぞれ求める。なお、各点と直線Lとの距離の算出方法は既知なので、その詳細な説明は省略する。
Note that the range of quantized values of the straight line L and the prediction coefficients c 1 and c 2 may not overlap. In this case, the prediction
予測係数符号化部144は、各予測係数について、周波数方向に沿って隣接する周波数帯域のインデックス間の差分値を求める。例えば、周波数帯域kに対する予測係数c1のインデックス値が'2'であり、周波数帯域(k-1)に対する予測係数c1のインデックス値が'4'であれば、予測係数符号化部144は、周波数帯域kに対する予測係数c1のインデックスの差分値を'-2'とする。ただし、予測係数符号化部144は、隣接する周波数帯域について符号帳が選択されていない予測係数については、符号帳が選択されている最も近い周波数帯域のインデックス値からの差分値を求めてもよい。
The prediction
予測係数符号化部144は、インデックス間の差分値と予測係数符号の対応を示した符号化テーブルを参照する。そして予測係数符号化部144は、符号化テーブルを参照することにより、各周波数帯域について、その差分値に対する予測係数符号idxcm(k)(m=1,2)を決定する。予測係数符号は、類似度符号と同様に、例えば、ハフマン符号あるいは算術符号など、出現頻度が高い差分値ほど符号長が短くなる可変長符号とすることができる。特に、符号帳が選択されていない予測係数についてのインデックス値を、隣接する周波数帯域のインデックス値と等しいか1加算した値に設定すると、その差分値も、出現頻度が高い0か1となる。そのため、符号帳が選択されていない予測係数についての予測係数符号を短くできる。
なお、各予測係数の符号帳及び符号化テーブルは、予め、予測符号化部14が有するメモリに格納される。
The prediction
Note that the codebook and coding table of each prediction coefficient are stored in advance in a memory included in the
予測係数符号化部144は、予測係数符号idxcm(k)(m=1,2)を空間情報符号化部15へ出力する。
さらに、予測係数符号化部144は、符号帳選択情報も、例えば、ハフマン符号あるいは算術符号を用いて可変長符号化してもよい。そして予測係数符号化部144は、符号化された符号帳選択情報を多重化部17へ出力する。
The prediction
Furthermore, the prediction
なお、変形例によれば、予測係数符号化部144は、各周波数帯域のインデックス値そのものを可変長符号化することにより、各周波数帯域の予測係数符号を求めてもよい。この場合、符号帳を用いずにインデックス値が決定された予測係数については、その予測係数の上限値及び下限値の何れかに対応するインデックス値しか取り得ない。そのため、取り得るインデックス値は2通りしかないので、予測係数符号も短くて済む。
Note that according to the modification, the prediction
図15は、オーディオ符号化処理の動作フローチャートを示す。なお、図15に示されたフローチャートは、1フレーム分のマルチチャネルオーディオ信号に対する処理を表す。オーディオ符号化装置1は、マルチチャネルオーディオ信号を受信し続けている間、フレームごとに図15に示されたオーディオ符号化処理の手順を繰り返し実行する。
FIG. 15 shows an operation flowchart of the audio encoding process. Note that the flowchart shown in FIG. 15 represents processing for a multi-channel audio signal for one frame. The
時間周波数変換部11は、各チャネルの信号を周波数信号に変換する(ステップ301)。時間周波数変換部11は、各チャネルの周波数信号を第1ダウンミックス部12へ出力する。
The time-
次に、第1ダウンミックス部12は、各チャネルの周波数信号をダウンミックスすることにより右、左、中央の3チャネルの周波数信号を生成する。さらに第1ダウンミックス部12は、右、左、中央の各チャネルの空間情報を算出する(ステップS302)。第1ダウンミックス部12は、3チャネルの周波数信号を第2ダウンミックス部13へ出力する。また第1ダウンミックス部12は、空間情報を空間情報符号化部15へ出力する。
Next, the
第2ダウンミックス部13は、第1ダウンミックス部12から受け取った3チャネルの周波数信号をダウンミックスすることにより、ステレオ周波数信号と、予測符号化用の中央チャネルの信号を生成する(ステップS303)。そして第2ダウンミックス部13は、ステレオ周波数信号をチャネル信号符号化部16へ出力する。さらに、第2ダウンミックス部13は、ステレオ周波数信号とともに、中央チャネルの信号を予測符号化部14へ出力する。
The
予測符号化部14の予測誤差形状判定部141は、ステレオ周波数信号及び中央チャネルの信号に基づいて、予測誤差の分布形状を判定する(ステップS304)。そして予測符号化部14の最小誤差予測係数算出部142は、予測誤差の分布形状に応じて予測誤差が最小値となる予測係数の組(c1min,c2min)を算出する(ステップS305)。さらに予測符号化部14の符号帳選択部143は、予測誤差の分布形状が楕円型か否か判定する(ステップS306)。予測誤差の分布形状が楕円型である場合(ステップS306−Yes)、符号帳選択部143は、図11に示した動作フローに従って、楕円型に対応する符号帳選択処理を実行する(ステップS307)。一方、予測誤差の分布形状が放物線型である場合(ステップS306−No)、符号帳選択部143は、図13に示した動作フローに従って、放物線型に対応する符号帳選択処理を実行する(ステップS308)。
The prediction error shape determination unit 141 of the
ステップS307またはS308の後、予測符号化部14の予測係数符号化部144は、選択された符号帳に従って予測係数c1、c2を符号化する(ステップS309)。そして予測符号化部14は、符号化された予測係数を空間情報符号化部15へ渡す。さらに、予測係数符号化部144は、符号帳選択情報も符号化して、その符号化された符号帳選択情報を多重化部17へ出力してもよい。
After step S307 or S308, the prediction
空間情報符号化部15は、第1ダウンミックス部12から受け取った空間情報を符号化し、その符号化された空間情報と符号化された予測係数を多重化することによりMPS符号を生成する(ステップS310)。そして空間情報符号化部15は、そのMPS符号を多重化部17へ出力する。
The spatial
一方、チャネル信号符号化部16は、受け取った各チャネルのステレオ周波数信号のうち、低域成分をAAC符号化する。またチャネル信号符号化部16は、受け取った各チャネルのステレオ周波数信号のうち、AAC符号化されない高域成分をSBR符号化する(ステップS311)。そしてチャネル信号符号化部16は、SBR符号とAAC符号とを多重化部17へ出力する。
On the other hand, the channel
最後に、多重化部17は、生成されたSBR符号、AAC符号、MPS符号及び符号帳選択情報を多重化することにより、符号化されたオーディオ信号を生成する(ステップS312)。
多重化部17は、符号化されたオーディオ信号を出力する。そしてオーディオ符号化装置1は、符号化処理を終了する。
なお、オーディオ符号化装置1は、ステップS311の処理とステップS304〜S310の処理を並列に実行してもよい。あるいは、オーディオ符号化装置1は、ステップS304〜S310の処理を行う前にステップS310の処理を実行してもよい。
Finally, the multiplexing
The multiplexing
Note that the
以上に説明してきたように、このオーディオ符号化装置は、中央チャネルの周波数信号の予測値を二つのステレオ周波数信号で表すための二つの予測係数を符号化する。その際に、このオーディオ符号化装置は、予測誤差を最小にする各予測係数のうち、符号帳に規定された量子化値の範囲に含まれるか、予測誤差に影響するものについてのみ符号帳を利用して符号化する。そのため、このオーディオ符号化装置は、予測係数の符号の組み合わせの数を減らすことができるので、予測係数の符号に割り当てるビット量を削減できる。例えば、二つの予測係数の符号帳のそれぞれが、51個の量子化値を有しているとする。そして予測符号化部14が各量子化値に対応するインデックス値を直接符号化する場合、二つの予測係数符号の組み合わせの数は全部で2601個となる。これに対し、一方の予測係数について符号帳が選択されず、予測誤差形状が放物線型である場合のように全く符号化されなければ、予測係数符号の数は51個で済む。また、予測誤差形状が楕円型の場合であっても、符号帳が選択されない方の予測係数については、量子化値の上限値または下限値の何れかであることだけが分かればよいので、二つの予測係数符号の組み合わせの数は全部で102個で済む。その結果として、このオーディオ符号化装置は、マルチチャネルオーディオ信号の全体の符号化データ量を削減することができる。あるいは、このオーディオ符号化装置は、予測係数の符号に割り当てるデータ量が少なくなった分だけ、他の符号、例えば、AAC符号に割り当てることで、マルチチャネルオーディオ信号の全体の符号化データ量を増加させずに、再生音質を向上できる。
As described above, this audio encoding apparatus encodes two prediction coefficients for representing the prediction value of the frequency signal of the center channel by two stereo frequency signals. At this time, the audio encoding apparatus uses the code book only for the prediction coefficient that minimizes the prediction error and that is included in the quantization value range defined in the code book or affects the prediction error. Use and encode. Therefore, since this audio encoding device can reduce the number of combinations of prediction coefficient codes, the amount of bits allocated to the prediction coefficient codes can be reduced. For example, it is assumed that each codebook of two prediction coefficients has 51 quantized values. When the
なお、本発明は上記の実施形態に限定されるものではない。変形例によれば、予測符号化部14は、一方の予測係数についてのみ符号帳を選択した場合、符号帳が選択されなかった方の予測係数が量子化値の上限値か下限値かを表す境界情報を符号帳選択情報とともに多重化部17へ出力してもよい。例えば、境界情報には1ビットが割り当てられ、その1ビットは、予測係数が上限値となる場合に'1'、予測係数が下限値となる場合に'0'の値をとる。予測符号化部14は、一方の予測係数の符号帳のみが選択される場合に限り、この境界情報を多重化部17へ出力してもよい。さらに予測符号化部14は、符号帳選択情報と境界情報とをさらに可変長符号化してから多重化部17へ出力してもよい。この変形例では、予測符号化部14の予測係数符号化部144は、符号帳が選択されなかった方の予測係数符号を出力しなくてもよい。
In addition, this invention is not limited to said embodiment. According to the modified example, when the codebook is selected for only one prediction coefficient, the
さらに他の実施形態によれば、オーディオ符号化装置のチャネル信号符号化部は、ステレオ周波数信号を他の符号化方式に従って符号化してもよい。例えば、チャネル信号符号化部は、周波数信号全体をAAC符号化方式にしたがって符号化してもよい。この場合、図1に示されたオーディオ符号化装置において、SBR符号化部は省略される。 According to still another embodiment, the channel signal encoding unit of the audio encoding device may encode the stereo frequency signal according to another encoding method. For example, the channel signal encoding unit may encode the entire frequency signal according to the AAC encoding method. In this case, the SBR encoding unit is omitted in the audio encoding device shown in FIG.
また、符号化の対象となるマルチチャネルオーディオ信号は、5.1chオーディオ信号に限られない。例えば、符号化の対象となるオーディオ信号は、3ch、3.1chまたは7.1chなど、複数のチャネルを持つオーディオ信号であってもよい。この場合も、オーディオ符号化装置は、各チャネルのオーディオ信号を時間周波数変換することにより、各チャネルの周波数信号を算出する。そしてオーディオ符号化装置は、各チャネルの周波数信号をダウンミックスすることにより、3チャネルの周波数信号を生成する。そして、オーディオ符号化装置は、その3チャネルのうちの一つを、他の二つのチャネルの周波数信号を用いて予測符号化する際に、上記の実施形態と同様に符号帳を選択すればよい。 Further, the multi-channel audio signal to be encoded is not limited to the 5.1ch audio signal. For example, the audio signal to be encoded may be an audio signal having a plurality of channels such as 3ch, 3.1ch, or 7.1ch. Also in this case, the audio encoding device calculates the frequency signal of each channel by performing time-frequency conversion on the audio signal of each channel. Then, the audio encoding device generates a 3-channel frequency signal by downmixing the frequency signals of each channel. Then, the audio encoding device may select a codebook as in the above embodiment when predictively encoding one of the three channels using the frequency signals of the other two channels. .
次に、上記の実施形態またはその変形例によるオーディオ符号化装置にて符号化されたオーディオデータを復号するオーディオ復号装置について説明する。
図16は、一実施形態によるオーディオ復号装置の概略構成図である。オーディオ復号装置2は、分離部21と、チャネル信号復号部22と、符号帳選択情報復号部23と、予測係数復号部24と、予測復号部25と、空間情報復号部26と、アップミックス部27と、周波数時間変換部28とを有する。
Next, an audio decoding apparatus that decodes audio data encoded by the audio encoding apparatus according to the above-described embodiment or its modification will be described.
FIG. 16 is a schematic configuration diagram of an audio decoding device according to an embodiment. The
分離部21は、符号化されたオーディオ信号を含むデータストリームから、符号化されたオーディオ信号が格納されたデータ形式にしたがって、AAC符号、SBR符号などのチャネル信号符号と、MBS符号と、符号化された符号帳選択情報とを取り出す。さらに分離部21は、MBS符号から、空間情報の符号と予測係数符号とを分離する。そして分離部21は、チャネル信号符号をチャネル信号復号部22へ出力し、符号化された符号帳選択情報を符号帳選択情報復号部23へ出力する。さらに分離部21は、予測係数符号を予測係数復号部24へ出力し、空間情報符号を空間情報復号部26へ出力する。
The
チャネル信号復号部22は、受け取ったチャネル信号符号を復号する。その際、チャネル信号復号部22は、オーディオ符号化装置1のチャネル信号符号化部16による符号化処理と逆の処理を実行することでチャネル信号符号を復号して、ステレオ周波数信号の各チャネルの信号を再生する。すなわち、チャネル信号復号部22は、AAC符号についてはAAC符号に対する復号処理を実行して左側チャネル及び右側チャネルの低周波数成分を再生する。そしてチャネル信号復号部22は、左側チャネル及び右側チャネルの低周波数成分を時間周波数変換することにより、左側チャネル及び右側チャネルの周波数信号の低周波数成分を得る。
またチャネル信号復号部22は、SBR符号についてはSBR符号に対する復号処理を実行して左側チャネル及び右側チャネルの周波数信号の高周波数成分を復号する。そしてチャネル信号復号部22は、チャネルごとに、その低周波数成分と高周波数成分とを合成することで、ステレオ周波数信号の左側周波数信号Lp0(k,n)及び右側周波数信号Rp0(k,n)を再生する。そしてチャネル信号復号部22は、再生したステレオ周波数信号を予測復号部25へ出力する。
The channel
Further, the channel
符号帳選択情報復号部23は、符号化された符号帳選択情報を復号する。例えば、符号帳選択情報復号部23は、符号帳選択情報の各値と、その値ごとに割り当てられているハフマン符号との対応関係を表す参照テーブルを参照して、ハフマン符号に対応する符号帳選択情報の値を復号する。そして符号帳選択情報復号部23は、復号された符号帳選択情報を予測係数復号部24へ通知する。なお、この参照テーブルは、例えば、符号帳選択情報復号部23が有するメモリに予め記憶される。
The codebook selection
予測係数復号部24は、周波数帯域ごとに、左右それぞれのチャネルの予測係数符号と予測係数のインデックス値との対応関係を表すテーブルを参照して、予測係数符号に対応するインデックス値を再生する。そして予測係数復号部24は、周波数帯域ごとに、通知された符号帳選択情報に従って選択されている符号帳を予測係数復号部24が有するメモリから読み込む。そして予測係数復号部24は、その符号帳に規定された複数の量子化値のうち、インデックス値に対応する予測係数の量子化値を特定する。また予測係数復号部24は、符号帳が選択されていない予測係数についての予測係数符号については、その予測係数符号と予測係数の量子化値の上限値または下限値との対応を表すテーブルを参照して、その量子化値の上限値または下限値を求める。
The prediction
また、予測係数符号として、隣接する周波数帯域間のインデックスの差分値がハフマン符号化されている場合には、予測係数復号部24は、その差分値とハフマン符号との対応関係を表すテーブルを参照してインデックスの差分値を再生する。そして予測係数復号部24は、その差分値を周波数帯域ごとに順次加算していくことにより、各周波数帯域のインデックス値を再生し、符号帳を参照して、そのインデックス値に対応する予測係数の量子化値を決定する。
Further, when the difference value of the index between adjacent frequency bands is Huffman-encoded as the prediction coefficient code, the prediction
また変形例では、符号帳が選択されていない予測係数について、ある周波数帯域のインデックス値が隣接する周波数帯域のインデックス値と同じ(量子化値の範囲との接点が量子化値の上限)、または1加算した値(量子化値の範囲との接点が量子化値の下限)に設定されている。この場合には、予測係数復号部24は、インデックスの差分値が0であれば、その予測係数に対する量子化値の上限値を再生する。一方、インデックス値の差分値が1であれば、その予測係数に対する量子化値の下限値を再生すればよい。
In a modification, for a prediction coefficient for which no codebook is selected, the index value of a certain frequency band is the same as the index value of an adjacent frequency band (the point of contact with the range of quantization values is the upper limit of the quantization value), or The value obtained by adding 1 (the point of contact with the quantization value range is the lower limit of the quantization value). In this case, if the index difference value is 0, the prediction
さらに、全ての周波数帯域にわたって符号帳が選択されていない予測係数は、予測誤差の分布形状が放物線型となり、かつ、任意の値をとれる予測係数であるため、予測係数復号部24は、その予測係数の値を任意の値、例えば、0とすればよい。
予測係数復号部24は、各周波数帯域の左右のチャネルの予測係数の量子化値を予測復号部25へ出力する。
Furthermore, since the prediction coefficient for which no codebook has been selected over all frequency bands is a prediction coefficient in which the distribution shape of the prediction error is parabolic and can take an arbitrary value, the prediction
The prediction
予測復号部25は、周波数帯域ごとに、ステレオ周波数信号に含まれる各チャネルの周波数信号に、対応する予測係数の量子化値を乗じて得られる値の線形和を計算することで、中央チャネルの周波数信号の予測値C'p0(k,n)を再生する。そして予測復号部25は、ステレオ周波数信号に含まれる左側チャネルの周波数信号Lp0(k,n)と、右側チャネルの周波数信号Rp0(k,n)と、中央チャネルの周波数信号の予測値C'p0(k,n)をアップミックスする。これにより、予測復号部25は、元の5.1chの信号をダウンミックスして得られる3個のチャネルの周波数信号Lin(k,n)、Rin(k,n)、Cin(k,n)を再生する。
予測復号部25は、周波数帯域ごとに、再生した周波数信号Lin(k,n)、Rin(k,n)、Cin(k,n)をアップミックス部27へ出力する。
The
The
空間情報復号部26は、分離部21から受け取った空間情報符号を復号する。例えば、類似度及び強度差のそれぞれの符号について、隣接する周波数帯域間のインデックスの差分値がハフマン符号化されている場合には、空間情報復号部26は、その差分値とハフマン符号との対応関係を表すテーブルを参照してインデックスの差分値を再生する。そして空間情報復号部26は、その差分値を周波数帯域ごとに順次加算していくことにより、各周波数帯域のインデックス値を再生する。そして空間情報復号部26は、インデックス値と類似度または強度差の量子化値との対応関係を表すテーブルを参照して、そのインデックス値に対応する類似度及び強度差の量子化値を決定する。
空間情報復号部26は、各周波数帯域の空間情報の量子化値をアップミックス部27へ出力する。
The spatial
The spatial
アップミックス部27は、周波数帯域ごとに、3個のチャネルの周波数信号Lin(k,n)、Rin(k,n)、Cin(k,n)を、空間情報に基づいてアップミックスすることにより、5.1chのオーディオ信号の各チャネルの周波数信号を再生する。そしてアップミックス部27は、再生した各チャネルの周波数信号を周波数時間変換部28へ出力する。
The
周波数時間変換部28は、各チャネルの周波数信号を周波数時間変換することにより、5.1chのオーディオ信号を再生する。そしてオーディオ復号装置2は、再生したオーディオ信号を、例えば、スピーカへ出力する。
The frequency
図17は、オーディオ復号装置2により実行されるオーディオ復号処理の動作フローチャートである。オーディオ復号装置2は、フレームごとに、下記の動作フローチャートに従ってオーディオ信号を再生する。
FIG. 17 is an operation flowchart of audio decoding processing executed by the
分離部21は、SBR符号、AAC符号、空間情報符号、予測係数符号及び符号帳選択情報を取り出す(ステップS401)。
チャネル信号復号部22は、分離部21から受け取ったSBR符号、AAC符号を復号することにより、ステレオ周波数信号を再生する(ステップS402)。
符号帳選択情報復号部23は、符号帳選択情報を復号する(ステップS403)。
予測係数復号部24は、選択された符号帳を用いて予測係数を再生する(ステップS404)。
予測復号部25は、ステレオ周波数信号及び予測係数に基づいて中央チャネルの周波数信号を再生する(ステップS405)。そして予測復号部25は、ステレオ周波数信号及び中央チャネルの周波数信号をアップミックスすることにより、元の5.1chの周波数信号をダウンミックスして得られる3チャネルの周波数信号を再生する。
The
The channel
The codebook selection
The prediction
The
一方、空間情報復号部26は、分離部21から受け取った符号化空間情報を復号することにより空間情報を再生する(ステップS406)。そしてアップミックス部27は、空間情報に基づいて3チャネルの周波数信号をアップミックスすることにより5.1chの周波数信号を再生する(ステップS407)。
周波数時間変換部28は、各チャネルの周波数信号周波数時間変換して5.1chのオーディオ信号を再生する(ステップS408)。
そしてオーディオ復号装置は、オーディオ復号処理を終了する。
On the other hand, the spatial
The frequency
Then, the audio decoding device ends the audio decoding process.
上記の実施形態または変形例によるオーディオ符号化装置が有する各部の機能をコンピュータに実現させるコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体などの記録媒体に記憶された形で提供されてもよい。同様に、上記の実施形態または変形例によるオーディオ復号装置が有する各部の機能をコンピュータに実現させるコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体などの記録媒体に記憶された形で提供されてもよい。 A computer program that causes a computer to realize the functions of the units included in the audio encoding device according to the above-described embodiment or modification may be provided in a form stored in a recording medium such as a semiconductor memory, a magnetic recording medium, or an optical recording medium. Good. Similarly, a computer program that causes a computer to realize the functions of the units included in the audio decoding device according to the above-described embodiment or modification is provided in a form stored in a recording medium such as a semiconductor memory, a magnetic recording medium, or an optical recording medium. May be.
また、上記の実施形態または変形例によるオーディオ符号化装置は、コンピュータ、ビデオ信号の録画機または映像伝送装置など、オーディオ信号を伝送または記録するために利用される各種の機器に実装される。さらに、上記の実施形態または変形例によるオーディオ復号装置は、コンピュータ、ビデオ信号の再生機など、オーディオ信号を再生するために利用される各種の機器に実装される。 The audio encoding device according to the above-described embodiment or modification is mounted on various devices used for transmitting or recording an audio signal, such as a computer, a video signal recorder, or a video transmission device. Furthermore, the audio decoding device according to the above-described embodiment or modification is mounted on various devices used for reproducing an audio signal, such as a computer and a video signal reproducing device.
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。 All examples and specific terms listed herein are intended for instructional purposes to help the reader understand the concepts contributed by the inventor to the present invention and the promotion of the technology. It should be construed that it is not limited to the construction of any example herein, such specific examples and conditions, with respect to showing the superiority and inferiority of the present invention. Although embodiments of the present invention have been described in detail, it should be understood that various changes, substitutions and modifications can be made thereto without departing from the spirit and scope of the present invention.
1 オーディオ符号化装置
11 時間周波数変換部
12 ダウンミックス部
13 第2ダウンミックス部
14 予測符号化部
141 予測誤差形状判定部
142 最小誤差予測係数算出部
143 符号帳選択部
144 予測係数符号化部
15 空間情報符号化部
16 チャネル信号符号化部
161 SBR符号化部
162 周波数時間変換部
163 AAC符号化部
17 多重化部
2 オーディオ復号装置
21 分離部
22 チャネル信号復号部
23 符号帳選択情報復号部
24 予測係数復号部
25 予測復号部
26 空間情報復号部
27 アップミックス部
28 周波数時間変換部
DESCRIPTION OF
Claims (10)
前記第1のチャネルの信号に前記第1の予測係数を乗じて得られる値と前記第2のチャネルの信号に前記第2の予測係数を乗じて得られる値との線形和である前記第3のチャネルの信号の予測値と前記第3のチャネルの信号間の誤差が最小となるときの前記第1及び第2の予測係数の第1の値の組を算出する最小誤差予測係数算出部と、
前記第1の予測係数及び前記第2の予測係数のうちの一方が、前記誤差の最小値に影響しないか、または前記組に含まれる予測係数の一方の前記第1の値が、当該予測係数の一方についての符号帳に規定された複数の量子化値を含む量子化値の範囲から外れている場合、前記第1の予測係数及び前記第2の予測係数のうちの他方の予測係数に対する前記符号帳を選択し、一方、前記第1の予測係数及び前記第2の予測係数の両方が前記誤差の最小値に影響し、かつ、前記組に含まれる前記第1の予測係数の前記第1の値及び前記第2の予測係数の前記第1の値のそれぞれが、当該予測係数についての前記符号帳に規定された複数の量子化値を含む量子化値の範囲内に含まれる場合、前記第1及び第2の予測係数のそれぞれごとに前記符号帳を選択する符号帳選択部と、
前記第1及び第2の予測係数のうち、前記符号帳が選択された予測係数について、前記符号帳に規定されている複数の量子化値のうち、前記誤差が最小となる量子化値を求め、当該量子化値を符号化することで符号化予測係数を求める予測係数符号化部と、
を有するオーディオ符号化装置。 Multiply the first channel signal and the second channel signal among the plurality of channels included in the audio signal, the first prediction coefficient multiplied by the first channel signal, and the second channel signal. An audio encoding device that predictively encodes a signal of a third channel of the plurality of channels based on a second prediction coefficient,
The third is a linear sum of a value obtained by multiplying the first channel signal by the first prediction coefficient and a value obtained by multiplying the second channel signal by the second prediction coefficient. A minimum error prediction coefficient calculation unit for calculating a set of first values of the first and second prediction coefficients when the error between the prediction value of the signal of the second channel and the signal of the third channel is minimized; ,
Either one of the first prediction coefficient and the second prediction coefficient does not affect the minimum value of the error, or one of the prediction coefficients included in the set is the prediction coefficient The first prediction coefficient and the second prediction coefficient for the other prediction coefficient, the first prediction coefficient and the second prediction coefficient are not included in the range of quantization values including a plurality of quantization values defined in the codebook for one of A codebook is selected, while both the first prediction coefficient and the second prediction coefficient affect the minimum value of the error, and the first of the first prediction coefficients included in the set And the first value of the second prediction coefficient are included in a range of quantization values including a plurality of quantization values defined in the codebook for the prediction coefficient, The codebook for each of the first and second prediction coefficients And the codebook selection section for-option,
Among the first and second prediction coefficients, for the prediction coefficient for which the codebook is selected, a quantization value that minimizes the error is obtained from a plurality of quantization values defined in the codebook. A prediction coefficient encoding unit that obtains an encoded prediction coefficient by encoding the quantized value;
An audio encoding device.
前記最小誤差予測係数算出部は、前記誤差の分布形状が楕円放物面状である場合、前記第1及び第2の予測係数を変数とする楕円放物面の式に従って前記誤差を最小とする前記第1及び第2の予測係数の前記第1の値の組を算出し、一方、前記誤差の分布形状が放物線柱面状である場合、前記第1及び第2の予測係数を変数とする放物線柱面の式に従って前記誤差を最小とする前記第1及び前記第2の予測係数の前記第1の値の組を算出する、請求項1に記載のオーディオ符号化装置。 An error distribution shape determination unit that determines whether the distribution shape of the error is an elliptical paraboloid or a parabolic columnar surface based on the signals of the first, second, and third channels;
When the error distribution shape is an elliptic paraboloid, the minimum error prediction coefficient calculation unit minimizes the error according to an elliptic paraboloid equation using the first and second prediction coefficients as variables. When the first value pair of the first and second prediction coefficients is calculated, and the distribution shape of the error is a parabolic columnar surface, the first and second prediction coefficients are used as variables. The audio encoding device according to claim 1, wherein the first value set of the first and second prediction coefficients that minimizes the error is calculated according to a parabolic column surface equation.
前記第1のチャネルの信号に前記第1の予測係数を乗じて得られる値と前記第2のチャネルの信号に前記第2の予測係数を乗じて得られる値との線形和である前記第3のチャネルの信号の予測値と前記第3のチャネルの信号間の誤差が最小となるときの前記第1及び第2の予測係数の第1の値の組を算出し、
前記第1の予測係数及び前記第2の予測係数のうちの一方が、前記誤差の最小値に影響しないか、または前記組に含まれる予測係数の一方の前記第1の値が、当該予測係数の一方についての符号帳に規定された複数の量子化値を含む量子化値の範囲から外れている場合、前記第1の予測係数及び前記第2の予測係数のうちの他方の予測係数に対する前記符号帳を選択し、一方、前記第1の予測係数及び前記第2の予測係数の両方が前記誤差の最小値に影響し、かつ、前記組に含まれる前記第1の予測係数の前記第1の値及び前記第2の予測係数の前記第1の値のそれぞれが、当該予測係数についての前記符号帳に規定された複数の量子化値を含む量子化値の範囲内に含まれる場合、前記第1及び第2の予測係数のそれぞれごとに前記符号帳を選択し、
前記第1及び第2の予測係数のうち、前記符号帳が選択された予測係数について、前記符号帳に規定されている複数の量子化値のうち、前記誤差が最小となる量子化値を求め、当該量子化値を符号化することで符号化予測係数を求める、
ことを含むオーディオ符号化方法。 Multiply the first channel signal and the second channel signal among the plurality of channels included in the audio signal, the first prediction coefficient multiplied by the first channel signal, and the second channel signal. An audio encoding method for predictively encoding a signal of a third channel of the plurality of channels based on a second prediction coefficient,
The third is a linear sum of a value obtained by multiplying the first channel signal by the first prediction coefficient and a value obtained by multiplying the second channel signal by the second prediction coefficient. Calculating a set of first values of the first and second prediction coefficients when an error between a predicted value of the signal of the second channel and a signal of the third channel is minimized;
Either one of the first prediction coefficient and the second prediction coefficient does not affect the minimum value of the error, or one of the prediction coefficients included in the set is the prediction coefficient The first prediction coefficient and the second prediction coefficient for the other prediction coefficient, the first prediction coefficient and the second prediction coefficient are not included in the range of quantization values including a plurality of quantization values defined in the codebook for one of A codebook is selected, while both the first prediction coefficient and the second prediction coefficient affect the minimum value of the error, and the first of the first prediction coefficients included in the set And the first value of the second prediction coefficient are included in a range of quantization values including a plurality of quantization values defined in the codebook for the prediction coefficient, The codebook for each of the first and second prediction coefficients And-option,
Among the first and second prediction coefficients, for the prediction coefficient for which the codebook is selected, a quantization value that minimizes the error is obtained from a plurality of quantization values defined in the codebook. The encoded prediction coefficient is obtained by encoding the quantized value.
An audio encoding method.
前記第1のチャネルの信号に前記第1の予測係数を乗じて得られる値と前記第2のチャネルの信号に前記第2の予測係数を乗じて得られる値との線形和である前記第3のチャネルの信号の予測値と前記第3のチャネルの信号間の誤差が最小となるときの前記第1及び第2の予測係数の第1の値の組を算出し、
前記第1の予測係数及び前記第2の予測係数のうちの一方が、前記誤差の最小値に影響しないか、または前記組に含まれる予測係数の一方の前記第1の値が、当該予測係数の一方についての符号帳に規定された複数の量子化値を含む量子化値の範囲から外れている場合、前記第1の予測係数及び前記第2の予測係数のうちの他方の予測係数に対する前記符号帳を選択し、一方、前記第1の予測係数及び前記第2の予測係数の両方が前記誤差の最小値に影響し、かつ、前記組に含まれる前記第1の予測係数の前記第1の値及び前記第2の予測係数の前記第1の値のそれぞれが、当該予測係数についての前記符号帳に規定された複数の量子化値を含む量子化値の範囲内に含まれる場合、前記第1及び第2の予測係数のそれぞれごとに前記符号帳を選択し、
前記第1及び第2の予測係数のうち、前記符号帳が選択された予測係数について、前記符号帳に規定されている複数の量子化値のうち、前記誤差が最小となる量子化値を求め、当該量子化値を符号化することで符号化予測係数を求める、
ことをコンピュータに実行させるためのオーディオ符号化用コンピュータプログラム。 Multiply the first channel signal and the second channel signal among the plurality of channels included in the audio signal, the first prediction coefficient multiplied by the first channel signal, and the second channel signal. An audio encoding computer program that causes a computer to predictively encode a signal of a third channel of the plurality of channels based on a second prediction coefficient,
The third is a linear sum of a value obtained by multiplying the first channel signal by the first prediction coefficient and a value obtained by multiplying the second channel signal by the second prediction coefficient. Calculating a set of first values of the first and second prediction coefficients when an error between a predicted value of the signal of the second channel and a signal of the third channel is minimized;
Either one of the first prediction coefficient and the second prediction coefficient does not affect the minimum value of the error, or one of the prediction coefficients included in the set is the prediction coefficient The first prediction coefficient and the second prediction coefficient for the other prediction coefficient, the first prediction coefficient and the second prediction coefficient are not included in the range of quantization values including a plurality of quantization values defined in the codebook for one of A codebook is selected, while both the first prediction coefficient and the second prediction coefficient affect the minimum value of the error, and the first of the first prediction coefficients included in the set And the first value of the second prediction coefficient are included in a range of quantization values including a plurality of quantization values defined in the codebook for the prediction coefficient, The codebook for each of the first and second prediction coefficients And-option,
Among the first and second prediction coefficients, for the prediction coefficient for which the codebook is selected, a quantization value that minimizes the error is obtained from a plurality of quantization values defined in the codebook. The encoded prediction coefficient is obtained by encoding the quantized value.
An audio encoding computer program for causing a computer to execute the above.
前記データ形式に従って、前記符号化オーディオデータから、前記符号化チャネル信号データと、前記符号化予測係数と、前記符号帳選択情報とを取り出す分離部と、
前記符号化チャネル信号データを復号することにより前記第1及び第2のチャネルの信号を再生するチャネル信号復号部と、
前記第1及び第2の符号帳のうち、前記符号帳選択情報に選択されたことが示された符号帳に規定された複数の量子化値のうち、前記符号化予測係数に対応する量子化値を特定することにより前記第1及び第2の予測係数を再生する予測係数復号部と、
再生された前記第1の予測係数に前記第1のチャネルの信号を乗じて第1の値を求め、かつ、再生された前記第2の予測係数に前記第2のチャネルの信号を乗じて第2の値を求め、該第1の値と該第2の値の和を前記第3のチャネルの信号として再生する予測復号部と、
を有するオーディオ復号装置。 Based on the encoded channel signal data obtained by encoding the signals of the first and second channels among the plurality of channels included in the audio signal, and the signals of the first and second channels, A first prediction coefficient defining a plurality of quantized values for the first prediction coefficient and an encoded prediction coefficient obtained by encoding the first and second prediction coefficients for predicting a signal of the third channel. whether codebook is selected, and, and the codebook selection information second codebook indicating whether the selected defining a plurality of quantized values for the second prediction coefficients, predetermined An audio decoding device for decoding the audio signal from encoded audio data stored according to a data format,
In accordance with the data format, a separator that extracts the encoded channel signal data, the encoded prediction coefficient, and the codebook selection information from the encoded audio data;
A channel signal decoding unit for reproducing the signals of the first and second channels by decoding the encoded channel signal data;
Of the first and second codebooks, the quantization corresponding to the encoded prediction coefficient among the plurality of quantization values defined in the codebook indicated to be selected in the codebook selection information A prediction coefficient decoding unit that reproduces the first and second prediction coefficients by specifying a value;
A first value is obtained by multiplying the reproduced first prediction coefficient by the signal of the first channel, and a second value is obtained by multiplying the reproduced second prediction coefficient by the signal of the second channel. A predictive decoding unit that obtains a value of 2 and reproduces the sum of the first value and the second value as a signal of the third channel;
An audio decoding device.
前記データ形式に従って、前記符号化オーディオデータから、前記符号化チャネル信号データと、前記符号化予測係数と、前記符号帳選択情報とを取り出し、
前記符号化チャネル信号データを復号することにより前記第1及び第2のチャネルの信号を再生し、
前記第1及び第2の符号帳のうち、前記符号帳選択情報に選択されたことが示された符号帳に規定された複数の量子化値のうち、前記符号化予測係数に対応する量子化値を特定することにより前記第1及び第2の予測係数を再生し、
再生された前記第1の予測係数に前記第1のチャネルの信号を乗じて第1の値を求め、かつ、再生された前記第2の予測係数に前記第2のチャネルの信号を乗じて第2の値を求め、該第1の値と該第2の値の和を前記第3のチャネルの信号として再生する、
ことを含むオーディオ復号方法。 Based on the encoded channel signal data obtained by encoding the signals of the first and second channels among the plurality of channels included in the audio signal, and the signals of the first and second channels, A first prediction coefficient defining a plurality of quantized values for the first prediction coefficient and an encoded prediction coefficient obtained by encoding the first and second prediction coefficients for predicting a signal of the third channel. whether codebook is selected, and, and the codebook selection information second codebook indicating whether the selected defining a plurality of quantized values for the second prediction coefficients, predetermined An audio decoding method for decoding the audio signal from encoded audio data stored according to a data format,
According to the data format, the encoded channel signal data, the encoded prediction coefficient, and the codebook selection information are extracted from the encoded audio data,
Reproducing the signals of the first and second channels by decoding the encoded channel signal data;
Of the first and second codebooks, the quantization corresponding to the encoded prediction coefficient among the plurality of quantization values defined in the codebook indicated to be selected in the codebook selection information Regenerating the first and second prediction coefficients by specifying a value;
A first value is obtained by multiplying the reproduced first prediction coefficient by the signal of the first channel, and a second value is obtained by multiplying the reproduced second prediction coefficient by the signal of the second channel. 2 is obtained, and the sum of the first value and the second value is reproduced as the signal of the third channel.
An audio decoding method.
前記データ形式に従って、前記符号化オーディオデータから、前記符号化チャネル信号データと、前記符号化予測係数と、前記符号帳選択情報とを取り出し、
前記符号化チャネル信号データを復号することにより前記第1及び第2のチャネルの信号を再生し、
前記第1及び第2の符号帳のうち、前記符号帳選択情報に選択されたことが示された符号帳に規定された複数の量子化値のうち、前記符号化予測係数に対応する量子化値を特定することにより前記第1及び第2の予測係数を再生し、
再生された前記第1の予測係数に前記第1のチャネルの信号を乗じて第1の値を求め、かつ、再生された前記第2の予測係数に前記第2のチャネルの信号を乗じて第2の値を求め、該第1の値と該第2の値の和を前記第3のチャネルの信号として再生する、
ことを含むオーディオ復号方法。
ことをコンピュータに実行させるオーディオ復号用コンピュータプログラム。 Based on the encoded channel signal data obtained by encoding the signals of the first and second channels among the plurality of channels included in the audio signal, and the signals of the first and second channels, A first prediction coefficient defining a plurality of quantized values for the first prediction coefficient and an encoded prediction coefficient obtained by encoding the first and second prediction coefficients for predicting a signal of the third channel. whether codebook is selected, and, and the codebook selection information second codebook indicating whether the selected defining a plurality of quantized values for the second prediction coefficients, predetermined A computer program for audio decoding that causes a computer to decode the audio signal from encoded audio data stored according to a data format,
According to the data format, the encoded channel signal data, the encoded prediction coefficient, and the codebook selection information are extracted from the encoded audio data,
Reproducing the signals of the first and second channels by decoding the encoded channel signal data;
Of the first and second codebooks, the quantization corresponding to the encoded prediction coefficient among the plurality of quantization values defined in the codebook indicated to be selected in the codebook selection information Regenerating the first and second prediction coefficients by specifying a value;
A first value is obtained by multiplying the reproduced first prediction coefficient by the signal of the first channel, and a second value is obtained by multiplying the reproduced second prediction coefficient by the signal of the second channel. 2 is obtained, and the sum of the first value and the second value is reproduced as the signal of the third channel.
An audio decoding method.
A computer program for audio decoding that causes a computer to execute the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012062767A JP5990954B2 (en) | 2012-03-19 | 2012-03-19 | Audio encoding apparatus, audio encoding method, audio encoding computer program, audio decoding apparatus, audio decoding method, and audio decoding computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012062767A JP5990954B2 (en) | 2012-03-19 | 2012-03-19 | Audio encoding apparatus, audio encoding method, audio encoding computer program, audio decoding apparatus, audio decoding method, and audio decoding computer program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013195706A JP2013195706A (en) | 2013-09-30 |
JP5990954B2 true JP5990954B2 (en) | 2016-09-14 |
Family
ID=49394722
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012062767A Expired - Fee Related JP5990954B2 (en) | 2012-03-19 | 2012-03-19 | Audio encoding apparatus, audio encoding method, audio encoding computer program, audio decoding apparatus, audio decoding method, and audio decoding computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5990954B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6299202B2 (en) * | 2013-12-16 | 2018-03-28 | 富士通株式会社 | Audio encoding apparatus, audio encoding method, audio encoding program, and audio decoding apparatus |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4989095B2 (en) * | 2006-04-06 | 2012-08-01 | 日本電信電話株式会社 | Multi-channel encoding method, apparatus thereof, program thereof and recording medium |
JP5604933B2 (en) * | 2010-03-30 | 2014-10-15 | 富士通株式会社 | Downmix apparatus and downmix method |
-
2012
- 2012-03-19 JP JP2012062767A patent/JP5990954B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013195706A (en) | 2013-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9741354B2 (en) | Bitstream syntax for multi-process audio decoding | |
US8046214B2 (en) | Low complexity decoder for complex transform coding of multi-channel sound | |
KR101823278B1 (en) | Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals | |
TWI657434B (en) | Method and apparatus for decoding a compressed hoa representation, and method and apparatus for encoding a compressed hoa representation | |
JP5533502B2 (en) | Audio encoding apparatus, audio encoding method, and audio encoding computer program | |
EP3164867A1 (en) | Method and apparatus for encoding/decoding of directions of dominant directional signals within subbands of a hoa signal representation | |
EP3165006A1 (en) | Method and apparatus for encoding/decoding of directions of dominant directional signals within subbands of a hoa signal representation | |
EP3164868A1 (en) | Method and apparatus for decoding a compressed hoa representation, and method and apparatus for encoding a compressed hoa representation | |
JP5949270B2 (en) | Audio decoding apparatus, audio decoding method, and audio decoding computer program | |
JP5990954B2 (en) | Audio encoding apparatus, audio encoding method, audio encoding computer program, audio decoding apparatus, audio decoding method, and audio decoding computer program | |
JP5799824B2 (en) | Audio encoding apparatus, audio encoding method, and audio encoding computer program | |
JP6179122B2 (en) | Audio encoding apparatus, audio encoding method, and audio encoding program | |
CN106463131B (en) | Method and apparatus for encoding/decoding the direction of a dominant direction signal within a subband represented by an HOA signal | |
JP6051621B2 (en) | Audio encoding apparatus, audio encoding method, audio encoding computer program, and audio decoding apparatus | |
JP6303435B2 (en) | Audio encoding apparatus, audio encoding method, audio encoding program, and audio decoding apparatus | |
JP6299202B2 (en) | Audio encoding apparatus, audio encoding method, audio encoding program, and audio decoding apparatus | |
KR20140037118A (en) | Method of processing audio signal, audio encoding apparatus, audio decoding apparatus and terminal employing the same | |
KR20080010981A (en) | Method for encoding and decoding data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160105 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160719 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160801 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5990954 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |