デコードされたステレオ信号の空間感覚が不連続であり、サウンドイメージの安定性が悪いという課題を解決するために、本願の実施形態では、ダウンミックスされた信号の計算方法及び装置を提供する。
前述の目的を達成するために、本願では、以下の技術的解決手段が用いられる。
第1態様によれば、ダウンミックスされた信号の計算方法が提供され、ステレオ信号の現フレームの前フレームがスイッチングフレームではなく、前フレームにおける残差信号をエンコードする必要がない場合、又は、現フレームがスイッチングフレームではなく、現フレームにおける残差信号をエンコードする必要がない場合、ダウンミックスされた信号の計算装置(以下では、略して、計算装置と称される)により、現フレームにおける第1のダウンミックスされた信号を計算する段階と、現フレームの予め設定された周波数帯におけるダウンミックスされた信号として、現フレームにおける第1のダウンミックスされた信号を判定する段階とを含む。計算装置により、現フレームにおける第1のダウンミックスされた信号を計算するための方法は、具体的には、計算装置により、現フレームにおける第2のダウンミックスされた信号及び現フレームダウンミックス補償係数を取得する段階と、現フレームのダウンミックス補償係数に基づいて、現フレームにおける第2のダウンミックスされた信号を補正して、現フレームにおける第1のダウンミックスされた信号を取得する段階とを含む。
本願の本実施形態において、ステレオ信号の現フレームがスイッチングフレームではなく、現フレームにおける残差信号をエンコードする必要がない場合、又は、ステレオ信号の現フレームの前フレームがスイッチングフレームではなく、前フレームにおける残差信号をエンコードする必要がない場合、計算装置は、現フレームにおける第1のダウンミックスされた信号を計算し、現フレームの予め設定された周波数帯におけるダウンミックスされた信号として、第1のダウンミックスされた信号を判定する。これにより、残差信号をエンコーディングする段階と、残差信号のエンコーディングを省略する段階との間の予め設定された周波数帯で交互に切り替えることによって生じる、デコードされたステレオ信号の空間感覚が不連続であり、サウンドイメージの安定性が悪いという課題を解決し、これにより、聴覚品質を効果的に改善する。
任意で、本願の可能な実施例において、「計算装置により、現フレームのダウンミックス補償係数に基づいて、現フレームにおける第2のダウンミックスされた信号を補正して、現フレームにおける第1のダウンミックスされた信号を取得する」ための方法は、計算装置により、現フレームにおける第1の周波数領域信号及び現フレームのダウンミックス補償係数に基づいて、現フレームにおける補償されたダウンミックスされた信号を計算する段階と、現フレームにおける第2のダウンミックスされた信号及び現フレームにおける補償されたダウンミックスされた信号に基づいて、現フレームにおける第1のダウンミックスされた信号を計算する段階であって、第1の周波数領域信号は、現フレームにおける左側チャネルの周波数領域信号又は現フレームにおける右側チャネルの周波数領域信号である、段階、又は、計算装置により、現フレームのサブフレームiにおける第2の周波数領域信号及び現フレームのサブフレームiのダウンミックス補償係数に基づいて、現フレームのサブフレームiにおける補償されたダウンミックスされた信号を計算する段階と、現フレームのサブフレームiにおける第2のダウンミックスされた信号及び現フレームのサブフレームiにおける補償されたダウンミックスされた信号に基づいて、現フレームのサブフレームiにおける第1のダウンミックスされた信号を計算する段階であって、現フレームのサブフレームiにおける左側チャネルの周波数領域信号又は現フレームのサブフレームiにおける右側チャネルの周波数領域信号であり、現フレームは、P個のサブフレームを含み、現フレームにおける第1のダウンミックスされた信号は、現フレームのサブフレームiにおける第1のダウンミックスされた信号を含み、P及びiの両方は整数であり、P≧2であり、i∈[0、P-1]である、段階とを含む。
計算装置が、各フレームの観点から現フレームにおける第1のダウンミックスされた信号を計算してよい、又は、現フレームの各サブフレームの観点から現フレームにおける第1のダウンミックスされた信号を計算してよいことが認識され得る。
任意で、本願の別の可能な実施例において、「計算装置により、現フレームにおける第1の周波数領域信号及び現フレームのダウンミックス補償係数に基づいて、現フレームにおける補償されたダウンミックスされた信号を計算する」ための方法は、計算装置により、現フレームにおける補償されたダウンミックスされた信号として、現フレームにおける第1の周波数領域信号と現フレームのダウンミックス補償係数との積を判定する段階を含む。
「計算装置により、現フレームにおける第2のダウンミックスされた信号及び現フレームにおける補償されたダウンミックスされた信号に基づいて、現フレームにおける第1のダウンミックスされた信号を計算する」ための方法は、計算装置により、現フレームにおける第1のダウンミックスされた信号として、現フレームにおける第2のダウンミックスされた信号と現フレームにおける補償されたダウンミックスされた信号との和を判定する段階を含む。「計算装置により、現フレームのサブフレームiにおける第2の周波数領域信号及び現フレームのサブフレームiのダウンミックス補償係数に基づいて、現フレームのサブフレームiにおける補償されたダウンミックスされた信号を計算する」ための方法は、計算装置により、現フレームのサブフレームiにおける補償されたダウンミックスされた信号として、現フレームのサブフレームiにおける第2の周波数領域信号と現フレームのサブフレームiのダウンミックス補償係数との積を判定する段階を含む。計算装置により、「現フレームのサブフレームiにおける第2のダウンミックスされた信号及び現フレームのサブフレームiにおける補償されたダウンミックスされた信号に基づいて、現フレームのサブフレームiにおける第1のダウンミックスされた信号を計算する」ための方法は、計算装置により、現フレームのサブフレームiにおける第1のダウンミックスされた信号として、現フレームのサブフレームiにおける第2のダウンミックスされた信号と現フレームのサブフレームiにおける補償されたダウンミックスされた信号との和を判定する段階を含む。
任意で、本願の別の可能な実施例において、「計算装置により、現フレームのダウンミックス補償係数を取得する」ための方法は、計算装置により、現フレームにおける左側チャネルの周波数領域信号、現フレームにおける右側チャネルの周波数領域信号、現フレームにおける第2のダウンミックスされた信号、現フレームにおける残差信号又は第1のフラグのうちの少なくとも1つに基づいて、現フレームのダウンミックス補償係数を計算する段階であって、第1のフラグは、チャネル間の時間差パラメータ以外のステレオパラメータを現フレームにおいてエンコードする必要があるか否かを示すために用いられる、段階、又は、計算装置により、現フレームのサブフレームiにおける左側チャネルの周波数領域信号、現フレームのサブフレームiにおける右側チャネルの周波数領域信号、現フレームのサブフレームiにおける第2のダウンミックスされた信号、現フレームのサブフレームiにおける残差信号又は第2のフラグのうちの少なくとも1つに基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算する段階であって、第2のフラグは、チャネル間の時間差パラメータ以外のステレオパラメータが現フレームのサブフレームiにおいてエンコードする必要があるか否かを示すために用いられ、現フレームは、P個のサブフレーム含み、現フレームのダウンミックス補償係数は、現フレームのサブフレームiのダウンミックス補償係数を含み、P及びiの両方は整数であり、P≧2であり、i∈[0、P-1]である、段階、又は、計算装置により、現フレームのサブフレームiおける左側チャネルの周波数領域信号、現フレームのサブフレームiにおける右側チャネルの周波数領域信号、現フレームのサブフレームiにおける第2のダウンミックスされた信号、現フレームのサブフレームiにおける残差信号又は第1のフラグのうちの少なくとも1つに基づいて、現フレームのサブフレームiにおけるダウンミックス補償係数を計算する段階であって、第1のフラグは、チャネル間の時間差パラメータ以外のステレオパラメータを現フレームにおいてエンコードする必要があるか否かを示すために用いられ、現フレームは、P個のサブフレームを含み、現フレームのダウンミックス補償係数は、現フレームのサブフレームiのダウンミックス補償係数を含み、P及びiの両方は整数であり、P≧2であり、i∈[0、P-1]である、段階を含む。
任意で、本願の別の可能な実施例において、現フレームのサブフレームiにおける第2の周波数領域信号が、現フレームのサブフレームiにおける左側チャネルの周波数領域信号である場合、「計算装置により、現フレームのサブフレームiにおける左側チャネルの周波数領域信号、現フレームのサブフレームiにおける右側チャネルの周波数領域信号、現フレームのサブフレームiにおける第2のダウンミックスされた信号、現フレームのサブフレームiにおける残差信号又は第2のフラグのうちの少なくとも1つに基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算する」ための方法は、計算装置により、現フレームのサブフレームiにおける左側チャネルの周波数領域信号及び現フレームのサブフレームiにおける右側チャネルの周波数領域信号に基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算する段階を含む。現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数α
i(b)は、
にしたがって計算される。
E_Li(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーの総和を表し、E_Ri(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーの総和を表し、E_LRi(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーと右側チャネルの周波数領域信号のエネルギーとのエネルギーの総和を表し、band_limits(b)は、現フレームのサブフレームiにおけるサブバンドbの最小周波数ビンのインデックス値を表し、band_limits(b+1)は、現フレームのサブフレームiにおけるサブバンドb+1の最小周波数ビンのインデックス値を表し、Lib"(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、ステレオパラメータに基づいた調整後に取得される左側チャネルの周波数領域信号を表し、Rib"(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、ステレオパラメータに基づいた調整後に取得される右側チャネルの周波数領域信号を表し、Lib'(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、時間シフト調整後に取得される左側チャネルの周波数領域信号を表し、Rib'(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、時間シフト調整後に取得される右側チャネルの周波数領域信号を表し、kは周波数ビンのインデックス値を表し、現フレームの各サブフレームは、M個のサブバンドを含み、現フレームのサブフレームiのダウンミックス補償係数は、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数を含み、bは整数であり、b∈[0、M-1]であり、M≧2である。
それに応じて、「計算装置により、現フレームのサブフレームiにおける第2の周波数領域信号及び現フレームのサブフレームiのダウンミックス補償係数に基づいて、現フレームのサブフレームiにおける補償されたダウンミックスされた信号を計算する」ための方法は、計算装置により、式、
DMX_compib(k)=αi(b)×Lib"(k)
にしたがって、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号を計算する段階を含み、DMX_compib(k)は、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号を表し、kは周波数ビンのインデックス値を表し、k∈[band_limits(b)、band_limits(b+1)―1]である。
任意で、本願の別の可能な実施例において、現フレームのサブフレームiにおける第2の周波数領域信号が、現フレームのサブフレームiにおける左側チャネルの周波数領域信号である場合、「計算装置により、現フレームのサブフレームiにおける左側チャネルの周波数領域信号、現フレームのサブフレームiにおける右側チャネルの周波数領域信号、現フレームのサブフレームiにおける第2のダウンミックスされた信号、現フレームのサブフレームiにおける残差信号又は第2のフラグのうちの少なくとも1つに基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算する」ための方法は、計算装置により、現フレームのサブフレームiにおける左側チャネルの周波数領域信号及び現フレームのサブフレームiにおける残差信号に基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算する段階を含む。現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数α
i(b)は、
にしたがって計算される。
E_Li(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーの総和を表し、E_Si(b)は、現フレームのサブフレームiにおけるサブバンドbの残差信号のエネルギーの総和を表し、band_limits(b)は、現フレームのサブフレームiにおけるサブバンドbの最小周波数ビンのインデックス値を表し、band_limits(b+1)は、現フレームのサブフレームiにおけるサブバンドb+1の最小周波数ビンのインデックス値を表し、Lib"(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、ステレオパラメータに基づいた調整後に取得される左側チャネルの周波数領域信号を表し、RESib'(k)は、現フレームのサブフレームiにおけるサブバンドbの残差信号を表し、kは周波数ビンのインデックス値を表し、現フレームの各サブフレームは、M個のサブバンドを含み、現フレームのサブフレームiのダウンミックス補償係数は、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数を含み、bは整数であり、b∈[0、M-1]であり、M≧2である。
それに応じて、「計算装置により、現フレームのサブフレームiにおける第2の周波数領域信号及び現フレームのサブフレームiのダウンミックス補償係数に基づいて、現フレームのサブフレームiにおける補償されたダウンミックスされた信号を計算する」ための方法は、計算装置により、式、
DMX_compib(k)=αi(b)×Lib"(k)
にしたがって、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号を計算する段階を含み、DMX_compib(k)は、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号を表し、kは周波数ビンのインデックス値を表し、k∈[band_limits(b)、band_limits(b+1)-1]である。
任意で、本願の別の可能な実施例において、現フレームのサブフレームiにおける第2の周波数領域信号が、現フレームのサブフレームiにおける左側チャネルの周波数領域信号である場合、「計算装置により、現フレームのサブフレームiにおける左側チャネルの周波数領域信号、現フレームのサブフレームiにおける右側チャネルの周波数領域信号、現フレームのサブフレームiにおける第2のダウンミックスされた信号、現フレームのサブフレームiにおける残差信号又は第2のフラグのうちの少なくとも1つに基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算する」ための方法は、計算装置により、現フレームのサブフレームiにおける左側チャネルの周波数領域信号、現フレームのサブフレームiにおける右側チャネルの周波数領域信号及び第2のフラグに基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算する段階を含む。現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数α
i(b)は、
にしたがって計算される。
E_Li(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーの総和を表し、E_Ri(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーの総和を表し、E_Ri(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーと右側チャネルの周波数領域信号のエネルギーとのエネルギーの総和を表し、band_limits(b)は、現フレームのサブフレームiにおけるサブバンドbの最小周波数ビンのインデックス値を表し、band_limits(b+1)は、現フレームのサブフレームiにおけるサブバンドb+1の最小周波数ビンのインデックス値を表し、Lib'(b)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、時間シフト調整後に取得される左側チャネルの周波数領域信号を表し、Rib'(b)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、時間シフト調整後に取得される右側チャネルの周波数領域信号を表し、nipd_flagは、第2のフラグを表し、nipd_flag=1は、現フレームのサブフレームiにおいてチャネル間の時間差パラメータ以外のステレオパラメータをエンコードする必要がないことを示し、nipd_flag=0は、現フレームのサブフレームiにおいてチャネル間の時間差パラメータ以外のステレオパラメータをエンコードする必要があることを示し、kは周波数ビンのインデックス値を表し、現フレームの各サブフレームは、M個のサブバンドを含み、現フレームのサブフレームiのダウンミックス補償係数は、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数を含み、bは整数であり、b∈[0、M-1]であり、M≧2である。
それに応じて、「計算装置により、現フレームのサブフレームiにおける第2の周波数領域信号及び現フレームのサブフレームiのダウンミックス補償係数に基づいて、現フレームのサブフレームiにおける補償されたダウンミックスされた信号を計算する」ための方法は、計算装置により、式、
DMX_compib(k)=αi(b)×Lib"(k)
にしたがって、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号を計算する段階を含み、DMX_compib(k)は、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号を表し、Lib"(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、ステレオパラメータに基づいた調整後に取得される左側チャネルの周波数領域信号を表し、kは周波数ビンのインデックス値を表し、k∈[band_limits(b)、band_limits(b+1)-1]である。
任意で、本願の別の可能な実施例において、現フレームのサブフレームiにおける第2の周波数領域信号が、現フレームのサブフレームiにおける左側チャネルの周波数領域信号である場合、「計算装置により、現フレームのサブフレームiにおける左側チャネルの周波数領域信号、現フレームのサブフレームiにおける右側チャネルの周波数領域信号、現フレームのサブフレームiにおける第2のダウンミックスされた信号、現フレームのサブフレームiにおける残差信号又は第2のフラグのうちの少なくとも1つに基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算する」ための方法は、計算装置により、現フレームのサブフレームiにおける左側チャネルの周波数領域信号及び現フレームのサブフレームiにおける右側チャネルの周波数領域信号に基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算する段階を含む。現フレームのサブフレームiのダウンミックス補償係数α
iは、式、
にしたがって計算される。
E_Liは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける左側チャネルの周波数領域信号のエネルギーの総和を表し、E_Riは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける右側チャネルの周波数領域信号のエネルギーの総和を表し、E_LRiは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける左側チャネルの周波数領域信号のエネルギーと右側チャネルの周波数領域信号のエネルギーとのエネルギーの総和を表し、band_limits_1は、予め設定された周波数帯のすべてのサブバンドの最小周波数ビンのインデックス値を表し、band_limits_2は、予め設定された周波数帯のすべてのサブバンドの最大周波数ビンのインデックス値を表し、Li"(k)は、現フレームのサブフレームiにあり、かつ、ステレオパラメータに基づいた調整後に取得される左側チャネルの周波数領域信号を表し、Ri"(k)は、現フレームのサブフレームiにあり、かつ、ステレオパラメータに基づいた調整後に取得される右側チャネルの周波数領域信号を表し、Li'(k)は、現フレームのサブフレームiにあり、かつ、時間シフト調整後に取得される左側チャネルの周波数領域信号を表し、Ri'(k)は、現フレームのサブフレームiにあり、かつ、時間シフト調整後に取得される右側チャネルの周波数領域信号を表し、kは周波数ビンのインデックス値を表す。
それに応じて、「計算装置により、現フレームのサブフレームiにおける第2の周波数領域信号及び現フレームのサブフレームiのダウンミックス補償係数に基づいて、現フレームのサブフレームiにおける補償されたダウンミックスされた信号を計算する」ための方法は、計算装置により、式、
DMX_compi(k)=αi×Li"(k)
にしたがって、現フレームのサブフレームiにおける予め設定された周波数帯の各サブバンドにおける補償されたダウンミックスされた信号を計算する段階を含み、DMX_compi(k)は、現フレームのサブフレームiにおける予め設定された周波数帯の各サブバンドの補償されたダウンミックスされた信号を表し、kは周波数ビンのインデックス値を表し、k∈[band_limits_1、band_limits_2]である。
任意で、本願の別の可能な実施例において、現フレームのサブフレームiにおける第2の周波数領域信号が、現フレームのサブフレームiにおける左側チャネルの周波数領域信号である場合、「計算装置により、現フレームのサブフレームiにおける左側チャネルの周波数領域信号、現フレームのサブフレームiにおける右側チャネルの周波数領域信号、現フレームのサブフレームiにおける第2のダウンミックスされた信号、現フレームのサブフレームiにおける残差信号又は第2のフラグのうちの少なくとも1つに基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算する」ための方法は、計算装置により、現フレームのサブフレームiにおける左側チャネルの周波数領域信号及び現フレームのサブフレームiにおける残差信号に基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算する段階を含む。現フレームのサブフレームiのダウンミックス補償係数α
iは、
にしたがって計算される。
E_Siは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてサブバンドにおける残差信号のエネルギーの総和を表し、E_Liは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける左側チャネルの周波数領域信号のエネルギーの総和を表し、Li"(k)は、現フレームのサブフレームiにあり、かつ、ステレオパラメータに基づいた調整後に取得される左側チャネルの周波数領域信号を表し、band_limits_1は、予め設定された周波数帯のすべてのサブバンドの最小周波数ビンのインデックス値を表し、band_limits_2は、予め設定された周波数帯のすべてのサブバンドの最大周波数ビンのインデックス値を表し、RESi'(k)は、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける残差信号を表し、kは周波数ビンのインデックス値を表す。
それに応じて、「計算装置により、現フレームのサブフレームiにおける第2の周波数領域信号及び現フレームのサブフレームiのダウンミックス補償係数に基づいて、現フレームのサブフレームiにおける補償されたダウンミックスされた信号を計算する」ための方法は、計算装置により、式、
DMX_compi(k)=αi(b)×Li"(k)
にしたがって、現フレームのサブフレームiにおける予め設定された周波数帯の各サブバンドにおける補償されたダウンミックスされた信号を計算する段階を含み、DMX_compi(k)は、現フレームのサブフレームiにおける予め設定された周波数帯の各サブバンドの補償されたダウンミックスされた信号を表し、kは周波数ビンのインデックス値を表し、k∈[band_limits_1、band_limits_2]である。
任意で、本願の別の可能な実施例において、現フレームのサブフレームiにおける第2の周波数領域信号が、現フレームのサブフレームiにおける左側チャネルの周波数領域信号である場合、「計算装置により、現フレームのサブフレームiにおける左側チャネルの周波数領域信号、現フレームのサブフレームiにおける右側チャネルの周波数領域信号、現フレームのサブフレームiにおける第2のダウンミックスされた信号、現フレームのサブフレームiにおける残差信号又は第2のフラグのうちの少なくとも1つに基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算する」ための方法は、計算装置により、現フレームのサブフレームiにおける左側チャネルの周波数領域信号、現フレームのサブフレームiにおける右側チャネルの周波数領域信号及び第2のフラグに基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算する段階を含む。現フレームのサブフレームiのダウンミックス補償係数α
iは、
にしたがって計算される。
E_Liは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける左側チャネルの周波数領域信号のエネルギーの総和を表し、E_Riは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける右側チャネルの周波数領域信号のエネルギーの総和を表し、E_LRiは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける左側チャネルの周波数領域信号のエネルギーと右側チャネルの周波数領域信号のエネルギーとのエネルギーの総和を表し、band_limits_1は、予め設定された周波数帯のすべてのサブバンドの最小周波数ビンのインデックス値を表し、band_limits_2は、予め設定された周波数帯のすべてのサブバンドの最大周波数ビンのインデックス値を表し、Li'(k)は、現フレームのサブフレームiにあり、かつ、時間シフト調整後に取得される左側チャネルの周波数領域信号を表し、Ri'(k)は、現フレームのサブフレームiにあり、かつ、時間シフト調整後に取得される右側チャネルの周波数領域信号を表し、kは周波数ビンのインデックス値を表し、nipd_flagは、第2のフラグを表し、nipd_flag=1は、現フレームのサブフレームiにおいてチャネル間の時間差パラメータ以外のステレオパラメータをエンコードする必要がないことを示し、nipd_flag=0は、現フレームのサブフレームiにおいてチャネル間の時間差パラメータ以外のステレオパラメータをエンコードする必要があることを示す。
それに応じて、「計算装置により、現フレームのサブフレームiにおける第2の周波数領域信号及び現フレームのサブフレームiのダウンミックス補償係数に基づいて、現フレームのサブフレームiにおける補償されたダウンミックスされた信号を計算する」ための方法は、計算装置により、式、
DMX_compi(k)=αi×Li"(k)
にしたがって、現フレームのサブフレームiにおける予め設定された周波数帯の各サブバンドにおける補償されたダウンミックスされた信号を計算する段階を含み、DMX_compi(k)は、現フレームのサブフレームiにおける予め設定された周波数帯の各サブバンドの補償されたダウンミックスされた信号を表し、Li"(k)は、現フレームのサブフレームiにあり、かつ、ステレオパラメータに基づいた調整後に取得される左側チャネルの周波数領域信号を表し、kは周波数ビンのインデックス値を表し、k∈[band_limits_1、band_limits_2]である。
任意で、本願の別の可能な実施例において、現フレームのサブフレームiにおける第2の周波数領域信号が、現フレームのサブフレームiにおける右側チャネルの周波数領域信号である場合、「計算装置により、現フレームのサブフレームiにおける左側チャネルの周波数領域信号、現フレームのサブフレームiにおける右側チャネルの周波数領域信号、現フレームのサブフレームiにおける第2のダウンミックスされた信号、現フレームのサブフレームiにおける残差信号又は第2のフラグのうちの少なくとも1つに基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算する」ための方法は、計算装置により、現フレームのサブフレームiにおける左側チャネルの周波数領域信号及び現フレームのサブフレームiにおける残差信号に基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算する段階を含む。現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数α
i(b)は、
にしたがって計算される。
E_Li(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーの総和を表し、E_Ri(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーの総和を表し、E_LRi(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーと右側チャネルの周波数領域信号のエネルギーとのエネルギーの総和を表し、band_limits(b)は、現フレームのサブフレームiにおけるサブバンドbの最小周波数ビンのインデックス値を表し、band_limits(b+1)は、現フレームのサブフレームiにおけるサブバンドb+1の最小周波数ビンのインデックス値を表し、Lib"(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、ステレオパラメータに基づいた調整後に取得される左側チャネルの周波数領域信号を表し、Rib"(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、ステレオパラメータに基づいた調整後に取得される右側チャネルの周波数領域信号を表し、Lib'(k)は、サブフレームiにおけるサブバンドbにあり、かつ、時間シフト調整後に取得される左側チャネルの周波数領域信号を表し、Rib'(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、時間シフト調整後に取得される右側チャネルの周波数領域信号を表し、kは周波数ビンのインデックス値を表し、現フレームの各サブフレームは、M個のサブバンドを含み、現フレームのサブフレームiのダウンミックス補償係数は、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数を含み、bは整数であり、b∈[0、M-1]であり、M≧2である。
それに応じて、「計算装置により、現フレームのサブフレームiにおける第2の周波数領域信号及び現フレームのサブフレームiのダウンミックス補償係数に基づいて、現フレームのサブフレームiにおける補償されたダウンミックスされた信号を計算する」ための方法は、計算装置により、式、
DMX_compib(k)=αi(b)×Rib"(k)
にしたがって、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号を計算する段階を含み、DMX_compib(k)は、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号を表し、kは周波数ビンのインデックス値を表し、k∈[band_limits(b)、band_limits(b+1)-1]である。
任意で、本願の別の可能な実施例において、現フレームのサブフレームiにおける第2の周波数領域信号が、現フレームのサブフレームiにおける右側チャネルの周波数領域信号である場合、「計算装置により、現フレームのサブフレームiにおける左側チャネルの周波数領域信号、現フレームのサブフレームiにおける右側チャネルの周波数領域信号、現フレームのサブフレームiにおける第2のダウンミックスされた信号、現フレームのサブフレームiにおける残差信号又は第2のフラグのうちの少なくとも1つに基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算する」ための方法は、計算装置により、現フレームのサブフレームiにおける左側チャネルの周波数領域信号及び現フレームのサブフレームiにおける残差信号に基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算する段階を含む。現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数α
i(b)は、
にしたがって計算される。
E_Ri(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーの総和を表し、E_Si(b)は、現フレームのサブフレームiにおけるサブバンドbの残差信号のエネルギーの総和を表し、band_limits(b)は、現フレームのサブフレームiにおけるサブバンドbの最小周波数ビンのインデックス値を表し、band_limits(b+1)は、現フレームのサブフレームiにおけるサブバンドb+1の最小周波数ビンのインデックス値を表し、Rib"(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、ステレオパラメータに基づいた調整後に取得される右側チャネルの周波数領域信号を表し、RESib'(k)は、現フレームのサブフレームiにおけるサブバンドbの残差信号を表し、kは周波数ビンのインデックス値を表し、現フレームの各サブフレームは、M個のサブバンドを含み、現フレームのサブフレームiのダウンミックス補償係数は、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数を含み、bは整数であり、b∈[0、M-1]であり、M≧2である。
それに応じて、「計算装置により、現フレームのサブフレームiにおける第2の周波数領域信号及び現フレームのサブフレームiのダウンミックス補償係数に基づいて、現フレームのサブフレームiにおける補償されたダウンミックスされた信号を計算する」ための方法は、計算装置により、式、
DMX_compib(k)=αi(b)×Rib"(k)
にしたがって、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号を計算する段階を含み、DMX_compib(k)は、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号を表し、kは周波数ビンのインデックス値を表し、k∈[band_limits(b)、band_limits(b+1)-1]である。
任意で、本願の別の可能な実施例において、現フレームのサブフレームiにおける第2の周波数領域信号が、現フレームのサブフレームiにおける右側チャネルの周波数領域信号である場合、「計算装置により、現フレームのサブフレームiにおける左側チャネルの周波数領域信号、現フレームのサブフレームiにおける右側チャネルの周波数領域信号、現フレームのサブフレームiにおける第2のダウンミックスされた信号、現フレームのサブフレームiにおける残差信号又は第2のフラグのうちの少なくとも1つに基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算する」ための方法は、計算装置により、現フレームのサブフレームiにおける左側チャネルの周波数領域信号、現フレームのサブフレームiにおける右側チャネルの周波数領域信号及び第2のフラグに基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算する段階を含む。現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数α
i(b)は、
にしたがって計算される。
E_Li(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーの総和を表し、E_Ri(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーの総和を表し、E_LRi(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーと右側チャネルの周波数領域信号のエネルギーとのエネルギーの総和を表し、band_limits(b)は、現フレームのサブフレームiにおけるサブバンドbの最小周波数ビンのインデックス値を表し、band_limits(b+1)は、現フレームのサブフレームiにおけるサブバンドb+1の最小周波数ビンのインデックス値を表し、Lib"(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、時間シフト調整後に取得される左側チャネルの周波数領域信号を表し、Rib"(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、時間シフト調整後に取得される右側チャネルの周波数領域信号を表し、nipd_flagは、第2のフラグを表し、nipd_flag=1は、現フレームのサブフレームiにおいてチャネル間の時間差パラメータ以外のステレオパラメータをエンコードする必要がないことを示し、nipd_flag=0は、現フレームのサブフレームiにおいてチャネル間の時間差パラメータ以外のステレオパラメータをエンコードする必要があることを示し、kは周波数ビンのインデックス値を表し、現フレームの各サブフレームは、M個のサブバンドを含み、現フレームのサブフレームiのダウンミックス補償係数は、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数を含み、bは整数であり、b∈[0、M-1]であり、M≧2である。
それに応じて、「計算装置により、現フレームのサブフレームiにおける第2の周波数領域信号及び現フレームのサブフレームiのダウンミックス補償係数に基づいて、現フレームのサブフレームiにおける補償されたダウンミックスされた信号を計算する」ための方法は、計算装置により、式、
DMX_compib(k)=αi(b)×Rib"(k)
にしたがって、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号を計算する段階を含み、DMX_compib(k)は、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号を表し、Rib"(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、ステレオパラメータに基づいた調整後に取得される右側チャネルの周波数領域信号を表し、kは周波数ビンのインデックス値を表し、k∈[band_limits(b)、band_limits(b+1)―1]である。
任意で、本願の別の可能な実施例において、現フレームのサブフレームiにおける第2の周波数領域信号が、現フレームのサブフレームiにおける右側チャネルの周波数領域信号である場合、「計算装置により、現フレームのサブフレームiにおける左側チャネルの周波数領域信号、現フレームのサブフレームiにおける右側チャネルの周波数領域信号、現フレームのサブフレームiにおける第2のダウンミックスされた信号、現フレームのサブフレームiにおける残差信号又は第2のフラグのうちの少なくとも1つに基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算する」ための方法は、計算装置により、現フレームのサブフレームiにおける左側チャネルの周波数領域信号及び現フレームのサブフレームiにおける右側チャネルの周波数領域信号に基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算する段階を含む。現フレームのサブフレームiのダウンミックス補償係数α
iは、
にしたがって計算される。
E_Liは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける左側チャネルの周波数領域信号のエネルギーの総和を表し、E_Riは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける右側チャネルの周波数領域信号のエネルギーの総和を表し、E_LRiは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける左側チャネルの周波数領域信号のエネルギーと右側チャネルの周波数領域信号のエネルギーとのエネルギーの総和を表し、band_limits_1は、予め設定された周波数帯のすべてのサブバンドの最小周波数ビンのインデックス値を表し、band_limits_2は、予め設定された周波数帯のすべてのサブバンドの最大周波数ビンのインデックス値を表し、Li"(k)は、現フレームのサブフレームiにあり、かつ、ステレオパラメータに基づいた調整後に取得される左側チャネルの周波数領域信号を表し、Ri"(k)は、現フレームのサブフレームiにあり、かつ、ステレオパラメータに基づいた調整後に取得される右側チャネルの周波数領域信号を表し、Li'(k)は、現フレームのサブフレームiにあり、かつ、時間シフト調整後に取得される左側チャネルの周波数領域信号を表し、Ri'(k)は、現フレームのサブフレームiにあり、かつ、時間シフト調整後に取得される右側チャネルの周波数領域信号を表し、kは周波数ビンのインデックス値を表す。
それに応じて、「計算装置により、現フレームのサブフレームiにおける第2の周波数領域信号及び現フレームのサブフレームiのダウンミックス補償係数に基づいて、現フレームのサブフレームiにおける補償されたダウンミックスされた信号を計算する」ための方法は、計算装置により、式、
DMX_compi(k)=αi×Ri"(k)
にしたがって、現フレームのサブフレームiにおける予め設定された周波数帯の各サブバンドにおける補償されたダウンミックスされた信号を計算する段階を含み、DMX_compi(k)は、現フレームのサブフレームiにおける予め設定された周波数帯の各サブバンドの補償されたダウンミックスされた信号を表し、kは周波数ビンのインデックス値を表し、k∈[band_limits_1、band_limits_2]である。
任意で、本願の別の可能な実施例において、現フレームのサブフレームiにおける第2の周波数領域信号が、現フレームのサブフレームiにおける右側チャネルの周波数領域信号である場合、「計算装置により、現フレームのサブフレームiにおける左側チャネルの周波数領域信号、現フレームのサブフレームiにおける右側チャネルの周波数領域信号、現フレームのサブフレームiにおける第2のダウンミックスされた信号、現フレームのサブフレームiにおける残差信号又は第2のフラグのうちの少なくとも1つに基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算する」ための方法は、計算装置により、現フレームのサブフレームiにおける右側チャネルの周波数領域信号及び現フレームのサブフレームiにおける残差信号に基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算する段階を含む。現フレームのサブフレームiのダウンミックス補償係数α
iは、
にしたがって計算される。
E_Siは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてサブバンドにおける残差信号のエネルギーの総和を表し、E_Riは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける右側チャネルの周波数領域信号のエネルギーの総和を表し、Ri"(k)は、現フレームのサブフレームiにあり、かつ、ステレオパラメータに基づいた調整後に取得される右側チャネルの周波数領域信号を表し、band_limits_1は、予め設定された周波数帯のすべてのサブバンドの最小周波数ビンのインデックス値を表し、band_limits_2は、予め設定された周波数帯のすべてのサブバンドの最大周波数ビンのインデックス値を表し、RESi'(k)は、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける残差信号を表し、kは周波数ビンのインデックス値を表す。
それに応じて、「計算装置により、現フレームのサブフレームiにおける第2の周波数領域信号及び現フレームのサブフレームiのダウンミックス補償係数に基づいて、現フレームのサブフレームiにおける補償されたダウンミックスされた信号を計算する」ための方法は、計算装置により、式、
DMX_compi(k)=αi×Ri"(k)
にしたがって、現フレームのサブフレームiにおける予め設定された周波数帯の各サブバンドにおける補償されたダウンミックスされた信号を計算する段階を含み、DMX_compi(k)は、現フレームのサブフレームiにおける予め設定された周波数帯の各サブバンドの補償されたダウンミックスされた信号を表し、kは周波数ビンのインデックス値を表し、k∈[band_limits_1、band_limits_2]である。
任意で、本願の別の可能な実施例において、現フレームのサブフレームiにおける第2の周波数領域信号が、現フレームのサブフレームiにおける右側チャネルの周波数領域信号である場合、「計算装置により、現フレームのサブフレームiにおける左側チャネルの周波数領域信号、現フレームのサブフレームiにおける右側チャネルの周波数領域信号、現フレームのサブフレームiにおける第2のダウンミックスされた信号、現フレームのサブフレームiにおける残差信号又は第2のフラグのうちの少なくとも1つに基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算する」ための方法は、計算装置により、現フレームのサブフレームiにおける左側チャネルの周波数領域信号、現フレームのサブフレームiにおける右側チャネルの周波数領域信号及び第2のフラグに基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算する段階を含む。現フレームのサブフレームiのダウンミックス補償係数α
iは、
にしたがって計算される。
E_Liは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける左側チャネルの周波数領域信号のエネルギーの総和を表し、E_Riは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける右側チャネルの周波数領域信号のエネルギーの総和を表し、E_LRiは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける左側チャネルの周波数領域信号のエネルギーと右側チャネルの周波数領域信号のエネルギーとのエネルギーの総和を表し、band_limits_1は、予め設定された周波数帯のすべてのサブバンドの最小周波数ビンのインデックス値を表し、band_limits_2は、予め設定された周波数帯のすべてのサブバンドの最大周波数ビンのインデックス値を表し、Li'(k)は、現フレームのサブフレームiにあり、かつ、時間シフト調整後に取得される左側チャネルの周波数領域信号を表し、Ri'(k)は、現フレームのサブフレームiにあり、かつ、時間シフト調整後に取得される右側チャネルの周波数領域信号を表し、kは周波数ビンのインデックス値を表し、nipd_flagは、第2のフラグを表し、nipd_flag=1は、現フレームのサブフレームiにおいてチャネル間の時間差パラメータ以外のステレオパラメータをエンコードする必要がないことを示し、nipd_flag=0は、現フレームのサブフレームiにおいてチャネル間の時間差パラメータ以外のステレオパラメータをエンコードする必要があることを示す。
それに応じて、「計算装置により、現フレームのサブフレームiにおける第2の周波数領域信号及び現フレームのサブフレームiのダウンミックス補償係数に基づいて、現フレームのサブフレームiにおける補償されたダウンミックスされた信号を計算する」ための方法は、計算装置により、式、
DMX_compi(k)=αi×Ri"(k)
にしたがって、現フレームのサブフレームiにおける予め設定された周波数帯の各サブバンドにおける補償されたダウンミックスされた信号を計算する段階を含み、DMX_compi(k)は、現フレームのサブフレームiにおける予め設定された周波数帯の各サブバンドの補償されたダウンミックスされた信号を表し、Ri"(k)は、現フレームのサブフレームiにあり、かつ、ステレオパラメータに基づいた調整後に取得される右側チャネルの周波数領域信号を表し、kは周波数ビンのインデックス値を表し、k∈[band_limits_1、band_limits_2]である。
任意で、本願の別の可能な実施例において、Th1≦b≦Th2、Th1<b≦Th2、Th1≦b<Th2、又は、Th1<b<Th2であり、0≦Th1≦Th2≦M-1であり、Th1は、予め設定された周波数帯の最小のサブバンドインデックス値を表し、Th2は、予め設定された周波数帯の最大サブバンドのインデックス値を表す。
第2態様によれば、ダウンミックスされた信号の計算装置が提供される。具体的には、計算装置は、判定ユニット及び計算ユニットを含む。
本願において提供されるユニット及びモジュールにより実装される機能は、具体的には、以下のとおりである。
判定ユニットは、ステレオ信号の現フレームの前フレームがスイッチングフレームであるか否か、及び、前フレームにおける残差信号をエンコードする必要があるか否かを判定するように構成される、又は、現フレームがスイッチングフレームであるか否か、及び、現フレームにおける残差信号をエンコードする必要があるか否かを判定するように構成される。判定ユニットが、現フレームの前フレームがスイッチングフレームではなく、かつ、前フレームにおける残差信号をエンコードする必要がないと判定した場合、又は、現フレームがスイッチングフレームではなく、かつ、現フレームにおける残差信号をエンコードする必要がない場合、計算ユニットは、現フレーム第1のダウンミックスされた信号を計算するように構成される。判定ユニットは、さらに、現フレームの予め設定された周波数帯におけるダウンミックスされた信号として、計算ユニットにより計算された現フレームにおける第1のダウンミックスされた信号を判定するように構成される。計算ユニットは、具体的には、現フレームにおける第2のダウンミックスされた信号及び現フレームのダウンミックス補償係数を取得し、現フレームのダウンミックス補償係数に基づいて、現フレームにおける第2のダウンミックスされた信号を補正して、現フレームにおける第1のダウンミックスされた信号を取得するように構成される。
任意で、本願の可能な実施例において、計算ユニットは、具体的には、現フレームにおける第1の周波数領域信号及び現フレームのダウンミックス補償係数に基づいて、現フレームにおける補償されたダウンミックスされた信号を計算することと、現フレームにおける第2のダウンミックスされた信号及び現フレームにおける補償されたダウンミックスされた信号に基づいて、現フレームにおける第1のダウンミックスされた信号を計算することであって、第1の周波数領域信号は、現フレームにおける左側チャネルの周波数領域信号又は現フレームにおける右側チャネルの周波数領域信号である、計算すること、又は、現フレームのサブフレームiにおける第2の周波数領域信号及び現フレームのサブフレームiのダウンミックス補償係数に基づいて、現フレームのサブフレームiにおける補償されたダウンミックスされた信号を計算することと、現フレームのサブフレームiにおける第2のダウンミックスされた信号及び現フレームのサブフレームiにおける補償されたダウンミックスされた信号に基づいて、現フレームのサブフレームiにおける第1のダウンミックスされた信号を計算することであって、現フレームのサブフレームiにおける左側チャネルの周波数領域信号又は現フレームのサブフレームiにおける右側チャネルの周波数領域信号であり、現フレームは、P個のサブフレームを含み、現フレームにおける第1のダウンミックスされた信号は、現フレームのサブフレームiにおける第1のダウンミックスされた信号を含み、P及びiの両方は整数であり、P≧2であり、i∈[0、P-1]である、計算することを行うように構成される。
任意で、本願の別の可能な実施例において、計算ユニットは、具体的には、現フレームにおける補償されたダウンミックスされた信号として、現フレームにおける第1の周波数領域信号と現フレームのダウンミックス補償係数の積を判定し、現フレームにおける第1のダウンミックスされた信号として、現フレームにおける第2のダウンミックスされた信号と現フレームにおける補償されたダウンミックスされた信号との和を判定し、又は、現フレームのサブフレームiにおける補償されたダウンミックスされた信号として、現フレームのサブフレームiにおける第2の周波数領域信号と現フレームのサブフレームiのダウンミックス補償係数との積を判定し、現フレームのサブフレームiにおける第1のダウンミックスされた信号として、現フレームのサブフレームiにおける第2のダウンミックスされた信号と現フレームのサブフレームiにおける補償されたダウンミックスされた信号との和を判定するように構成される。
任意で、本願の別の可能な実施例において、計算ユニットは、具体的には、現フレームにおける左側チャネルの周波数領域信号、現フレームにおける右側チャネルの周波数領域信号、現フレームにおける第2のダウンミックスされた信号、現フレームにおける残差信号又は第1のフラグのうちの少なくとも1つに基づいて、現フレームのダウンミックス補償係数を計算することであって、第1のフラグは、チャネル間の時間差パラメータ以外のステレオパラメータを現フレームにおいてエンコードする必要があるか否かを示すために用いられる、計算すること、又は、現フレームのサブフレームiにおける左側チャネルの周波数領域信号、現フレームのサブフレームiにおける右側チャネルの周波数領域信号、現フレームのサブフレームiにおける第2のダウンミックスされた信号、現フレームのサブフレームiにおける残差信号又は第2のフラグのうちの少なくとも1つに基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算することであって、第2のフラグは、現フレームのサブフレームiにおいてチャネル間の時間差パラメータ以外のステレオパラメータをエンコードする必要があるか否かを示すために用いられ、現フレームは、P個のサブフレームを含み、現フレームのダウンミックス補償係数は、現フレームのサブフレームiのダウンミックス補償係数を含み、P及びiの両方は整数であり、P≧2であり、i∈[0、P-1]である、計算すること、又は、現フレームのサブフレームiにおける左側チャネルの周波数領域信号、現フレームのサブフレームiにおける右側チャネルの周波数領域信号、現フレームのサブフレームiにおける第2のダウンミックスされた信号、現フレームのサブフレームiにおける残差信号又は第1のフラグのうちの少なくとも1つに基づいって、現フレームのサブフレームiのダウンミックス補償係数を計算することであって、第1のフラグは、チャネル間の時間差パラメータ以外のステレオパラメータを現フレームにおいてエンコードする必要があるか否かを示すために用いられ、現フレームは、P個のサブフレームを含み、現フレームのダウンミックス補償係数は、現フレームのサブフレームiのダウンミックス補償係数を含み、P及びiの両方は整数であり、P≧2であり、i∈[0、P-1]である、計算することを行うように構成される。
任意で、本願の別の可能な実施例において、現フレームのサブフレームiにおける第2の周波数領域信号が、現フレームのサブフレームiにおける左側チャネルの周波数領域信号である場合、計算ユニットは、具体的には、現フレームのサブフレームiにおける左側チャネルの周波数領域信号及び現フレームのサブフレームiにおける右側チャネルの周波数領域信号に基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算するように構成される。ここで、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数α
i(b)は、
及び、
又は、
及び、
にしたがって計算される。
E_Li(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーの総和を表し、E_Ri(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーの総和を表し、E_LRi(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーと右側チャネルの周波数領域信号のエネルギーとのエネルギーの総和を表し、band_limits(b)は、現フレームのサブフレームiにおけるサブバンドbの最小周波数ビンのインデックス値を表し、band_limits(b+1)は、現フレームのサブフレームiにおけるサブバンドb+1の最小周波数ビンのインデックス値を表し、Lib"(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、ステレオパラメータに基づいた調整後に取得される左側チャネルの周波数領域信号を表し、Rib"(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、ステレオパラメータに基づいた調整後に取得される右側チャネルの周波数領域信号を表し、Lib'(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、時間シフト調整後に取得される左側チャネルの周波数領域信号を表し、Rib'(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、時間シフト調整後に取得される右側チャネルの周波数領域信号を表し、kは周波数ビンのインデックス値を表し、現フレームの各サブフレームは、M個のサブバンドを含み、現フレームのサブフレームiのダウンミックス補償係数は、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数を含み、bは整数であり、b∈[0、M-1]であり、M≧2である。
計算ユニットは、さらに具体的には、式、
DMX_compib(k)=αi(b)×Lib"(k)
にしたがって、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号を計算するように構成され、DMX_compib(k)は、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号を表し、kは周波数ビンのインデックス値を表し、k∈[band_limits(b)、band_limits(b+1)-1]である。
任意で、本願の別の可能な実施例において、現フレームのサブフレームiにおける第2の周波数領域信号が現フレームのサブフレームiにおける左側チャネルの周波数領域信号である場合、計算ユニットは、具体的には、現フレームのサブフレームiにおける左側チャネルの周波数領域信号及び現フレームのサブフレームiにおける残差信号に基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算するように構成される。ここで、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数α
i(b)は、
及び、
にしたがって計算される。
E_Li(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーの総和を表し、E_Si(b)は、現フレームのサブフレームiにおけるサブバンドbの残差信号のエネルギーの総和を表し、band_limits(b)は、現フレームのサブフレームiにおけるサブバンドbの最小周波数ビンのインデックス値を表し、band_limits(b+1)は、現フレームのサブフレームiにおけるサブバンドb+1の最小周波数ビンのインデックス値を表し、Lib"(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、ステレオパラメータに基づいた調整後に取得される左側チャネルの周波数領域信号を表し、RESib'(k)は、現フレームのサブフレームiにおけるサブバンドbの残差信号を表し、kは周波数ビンのインデックス値を表し、現フレームの各サブフレームは、M個のサブバンドを含み、現フレームのサブフレームiのダウンミックス補償係数は、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数を含み、bは整数であり、b∈[0、M-1]であり、M≧2である。
計算ユニットは、さらに具体的には、式、
DMX_compib(k)=αi(b)×Lib"(k)
にしたがって、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号を計算するように構成され、DMX_compib(k)は、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号を表し、kは周波数ビンのインデックス値を表し、k∈[band_limits(b)、band_limits(b+1)-1]である。
任意で、本願の別の可能な実施例において、現フレームのサブフレームiにおける第2の周波数領域信号が、現フレームのサブフレームiにおける左側チャネルの周波数領域信号である場合、計算ユニットは、具体的には、現フレームのサブフレームiにおける左側チャネルの周波数領域信号、現フレームのサブフレームiにおける右側チャネルの周波数領域信号及び第2のフラグに基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算するように構成される。ここで、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数α
i(b)は、
及び、
にしたがって計算される。
E_Li(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーの総和を表し、E_Ri(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーの総和を表し、E_LRi(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーと右側チャネルの周波数領域信号のエネルギーとのエネルギーの総和を表し、band_limits(b)は、現フレームのサブフレームiにおけるサブバンドbの最小周波数ビンのインデックス値を表し、band_limits(b+1)は、現フレームのサブフレームiにおけるサブバンドb+1の最小周波数ビンのインデックス値を表し、Lib'(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、時間シフト調整後に取得される左側チャネルの周波数領域信号を表し、Rib'(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、時間シフト調整後に取得される右側チャネルの周波数領域信号を表し、nipd_flagは、第2のフラグを表し、nipd_flag=1は、現フレームのサブフレームiにおいてチャネル間の時間差パラメータ以外のステレオパラメータをエンコードする必要がないことを示し、nipd_flag=0は、現フレームのサブフレームiにおいてチャネル間の時間差パラメータ以外のステレオパラメータをエンコードする必要があることを示し、kは周波数ビンのインデックス値を表し、現フレームの各サブフレームは、M個のサブバンドを含み、現フレームのサブフレームiのダウンミックス補償係数は、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数を含み、bは整数であり、b∈[0、M-1]であり、M≧2である。
計算ユニットは、さらに具体的には、式、
DMX_compib(k)=αi(b)×Lib"(k)
にしたがって、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号を計算するように構成され、DMX_compib(k)は、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号を表し、Lib"(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、ステレオパラメータに基づいた調整後に取得される左側チャネルの周波数領域信号を表し、kは周波数ビンのインデックス値を表し、k∈[band_limits(b)、band_limits(b+1)-1]である。
任意で、本願の別の可能な実施例において、現フレームのサブフレームiにおける第2の周波数領域信号が、現フレームのサブフレームiにおける左側チャネルの周波数領域信号である場合、計算ユニットは、具体的には、現フレームのサブフレームiにおける左側チャネルの周波数領域信号及び現フレームのサブフレームiにおける右側チャネルの周波数領域信号に基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算するように構成される。ここで、現フレームのサブフレームiのダウンミックス補償係数α
iは、
及び、
又は、
及び、
にしたがって計算される。
E_Liは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける左側チャネルの周波数領域信号のエネルギーの総和を表し、E_Riは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける右側チャネルの周波数領域信号のエネルギーの総和を表し、E_LRiは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける左側チャネルの周波数領域信号のエネルギーと右側チャネルの周波数領域信号のエネルギーとのエネルギーの総和を表し、band_limits_1は、予め設定された周波数帯のすべてのサブバンドの最小周波数ビンのインデックス値を表し、band_limits_2は、予め設定された周波数帯のすべてのサブバンドの最大周波数ビンのインデックス値を表し、Li"(k)は、現フレームのサブフレームiにあり、かつ、ステレオパラメータに基づいた調整後に取得される左側チャネルの周波数領域信号を表し、Ri"(k)は、現フレームのサブフレームiにあり、かつ、ステレオパラメータに基づいた調整後に取得される右側チャネルの周波数領域信号を表し、Li'(k)は、現フレームのサブフレームiにあり、かつ、時間シフト調整後に取得される左側チャネルの周波数領域信号を表し、Ri'(k)は、現フレームのサブフレームiにあり、かつ、時間シフト調整後に取得される右側チャネルの周波数領域信号を表し、kは周波数ビンのインデックス値を表す。
計算ユニットは、さらに具体的には、式、
DMX_compi(k)=αi×Li"(k)
にしたがって、現フレームのサブフレームiにおける予め設定された周波数帯の各サブバンドにおける補償されたダウンミックスされた信号を計算するように構成され、DMX_compi(k)は、現フレームのサブフレームiにおける予め設定された周波数帯の各サブバンドの補償されたダウンミックスされた信号を表し、kは周波数ビンのインデックス値を表し、k∈[band_limits_1、band_limits_2]である。
任意で、本願の別の可能な実施例において、現フレームのサブフレームiにおける第2の周波数領域信号が、現フレームのサブフレームiにおける左側チャネルの周波数領域信号である場合、計算ユニットは、具体的には、現フレームのサブフレームiにおける左側チャネルの周波数領域信号及び現フレームのサブフレームiにおける残差信号に基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算するように構成される。ここで、現フレームのサブフレームiのダウンミックス補償係数α
iは、
及び
にしたがって計算される。
E_Siは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてサブバンドにおける残差信号のエネルギーの総和を表し、E_Liは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける左側チャネルの周波数領域信号のエネルギーの総和を表し、Li"(k)は、現フレームのサブフレームiにあり、かつ、ステレオパラメータに基づいた調整後に取得される左側チャネルの周波数領域信号を表し、band_limits_1は、予め設定された周波数帯のすべてのサブバンドの最小周波数ビンのインデックス値を表し、band_limits_2は、予め設定された周波数帯のすべてのサブバンドの最大周波数ビンのインデックス値を表し、RESi'(k)は、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける残差信号を表し、kは周波数ビンのインデックス値を表す。
計算ユニットは、さらに具体的には、式、
DMX_compi(k)=αi×Li"(k)
にしたがって、現フレームのサブフレームiにおける予め設定された周波数帯の各サブバンドにおける補償されたダウンミックスされた信号を計算するように構成され、DMX_compi(k)は、現フレームのサブフレームiにおける予め設定された周波数帯の各サブバンドの補償されたダウンミックスされた信号を表し、kは周波数ビンのインデックス値を表し、k∈[band_limits_1、band_limits_2]である。
任意で、本願の別の可能な実施例において、現フレームのサブフレームiにおける第2の周波数領域信号が、現フレームのサブフレームiにおける左側チャネルの周波数領域信号である場合、計算ユニットは、具体的には、現フレームのサブフレームiにおける左側チャネルの周波数領域信号、現フレームのサブフレームiにおける右側チャネルの周波数領域信号及び第2のフラグに基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算するように構成される。ここで、現フレームのサブフレームiのダウンミックス補償係数α
iは、
及び、
にしたがって計算される。
E_Liは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける左側チャネルの周波数領域信号のエネルギーの総和を表し、E_Riは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける右側チャネルの周波数領域信号のエネルギーの総和を表し、E_LRiは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける左側チャネルの周波数領域信号のエネルギーと右側チャネルの周波数領域信号のエネルギーとのエネルギーの総和を表し、band_limits_1は、予め設定された周波数帯のすべてのサブバンドの最小周波数ビンのインデックス値を表し、band_limits_2は、予め設定された周波数帯のすべてのサブバンドの最大周波数ビンのインデックス値を表し、Li'(k)は、現フレームのサブフレームiにあり、かつ、時間シフト調整後に取得される左側チャネルの周波数領域信号を表し、Ri'(k)は、現フレームのサブフレームiにあり、かつ、時間シフト調整後に取得される右側チャネルの周波数領域信号を表し、kは周波数ビンのインデックス値を表し、nipd_flagは、第2のフラグを表し、nipd_flag=1は、現フレームのサブフレームiにおいてチャネル間の時間差パラメータ以外のステレオパラメータをエンコードする必要がないことを示し、nipd_flag=0は、現フレームのサブフレームiにおいてチャネル間の時間差パラメータ以外のステレオパラメータをエンコードする必要があることを示す。
計算ユニットは、さらに具体的には、式、
DMX_compi(k)=αi×Li"(k)
にしたがって、現フレームのサブフレームiにおける予め設定された周波数帯の各サブバンドにおける補償されたダウンミックスされた信号を計算するように構成され、DMX_compi(k)は、現フレームのサブフレームiにおける予め設定された周波数帯の各サブバンドの補償されたダウンミックスされた信号を表し、Li"(k)は、現フレームのサブフレームiにあり、かつ、ステレオパラメータに基づいた調整後に取得される左側チャネルの周波数領域信号を表し、kは周波数ビンのインデックス値を表し、k∈[band_limits_1、band_limits_2]である。
任意で、本願の別の可能な実施例において、現フレームのサブフレームiにおける第2の周波数領域信号が、現フレームのサブフレームiにおける右側チャネルの周波数領域信号である場合、計算ユニットは、具体的には、現フレームのサブフレームiにおける左側チャネルの周波数領域信号及び現フレームのサブフレームiにおける右側チャネルの周波数領域信号に基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算するように構成される。ここで、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数α
i(b)は、
及び、
又は、
及び、
にしたがって計算される。
E_Li(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーの総和を表し、E_Ri(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーの総和を表し、E_LRi(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーと右側チャネルの周波数領域信号のエネルギーとのエネルギーの総和を表し、band_limits(b)は、現フレームのサブフレームiにおけるサブバンドbの最小周波数ビンのインデックス値を表し、band_limits(b+1)は、現フレームのサブフレームiにおけるサブバンドb+1の最小周波数ビンのインデックス値を表し、Lib"(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、ステレオパラメータに基づいた調整後に取得される左側チャネルの周波数領域信号を表し、Rib"(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、ステレオパラメータに基づいた調整後に取得される右側チャネルの周波数領域信号を表し、Lib'(k)は、サブフレームiにおけるサブバンドbにあり、かつ、時間シフト調整後に取得される左側チャネルの周波数領域信号を表し、Rib'(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、時間シフト調整後に取得される右側チャネルの周波数領域信号を表し、kは周波数ビンのインデックス値を表し、現フレームの各サブフレームは、M個のサブバンドを含み、現フレームのサブフレームiのダウンミックス補償係数は、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数を含み、bは整数であり、b∈[0、M-1]であり、M≧2である。
計算ユニットは、さらに具体的には、式、
DMX_compib(k)=αi(b)×Rib"(k)
にしたがって、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号を計算するように構成され、DMX_compib(k)は、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号を表し、kは周波数ビンのインデックス値を表し、k∈[band_limits(b)、band_limits(b+1)-1]である。
任意で、本願の別の可能な実施例において、現フレームのサブフレームiにおける第2の周波数領域信号が、現フレームのサブフレームiにおける右側チャネルの周波数領域信号である場合、計算ユニットは、具体的には、現フレームのサブフレームiにおける右側チャネルの周波数領域信号及び現フレームのサブフレームiにおける残差信号に基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算するように構成される。ここで、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数α
i(b)は、
及び
にしたがって計算される。
E_Ri(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーの総和を表し、E_Si(b)は、現フレームのサブフレームiにおけるサブバンドbの残差信号のエネルギーの総和を表し、band_limits(b)は、現フレームのサブフレームiにおけるサブバンドbの最小周波数ビンのインデックス値を表し、band_limits(b+1)は、現フレームのサブフレームiにおけるサブバンドb+1の最小周波数ビンのインデックス値を表し、Rib"(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、ステレオパラメータに基づいた調整後に取得される右側チャネルの周波数領域信号を表し、RESib'(k)は、現フレームのサブフレームiにおけるサブバンドbの残差信号を表し、kは周波数ビンのインデックス値を表し、現フレームの各サブフレームは、M個のサブバンドを含み、現フレームのサブフレームiのダウンミックス補償係数は、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数を含み、bは整数であり、b∈[0、M-1]であり、M≧2である。
計算ユニットは、さらに具体的には、式、
DMX_compib(k)=αi(b)×Rib"(k)
にしたがって、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号を計算するように構成され、DMX_compib(k)は、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号を表し、kは周波数ビンのインデックス値を表し、k∈[band_limits(b)、band_limits(b+1)-1]である。
任意で、本願の別の可能な実施例において、現フレームのサブフレームiにおける第2の周波数領域信号が現フレームのサブフレームiにおける右側チャネルの周波数領域信号である場合、計算ユニットは、具体的には、現フレームのサブフレームiにおける左側チャネルの周波数領域信号、現フレームのサブフレームiにおける右側チャネルの周波数領域信号及び第2のフラグに基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算するように構成される。ここで、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数α
i(b)は、
及び、
にしたがって計算される。
E_Li(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーの総和を表し、E_Ri(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーの総和を表し、E_LRi(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーと右側チャネルの周波数領域信号のエネルギーとのエネルギーの総和を表し、band_limits(b)は、現フレームのサブフレームiにおけるサブバンドbの最小周波数ビンのインデックス値を表し、band_limits(b+1)は、現フレームのサブフレームiにおけるサブバンドb+1の最小周波数ビンのインデックス値を表し、Lib'(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、時間シフト調整後に取得される左側チャネルの周波数領域信号を表し、Rib'(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、時間シフト調整後に取得される右側チャネルの周波数領域信号を表し、nipd_flagは、第2のフラグを表し、nipd_flag=1は、現フレームのサブフレームiにおいてチャネル間の時間差パラメータ以外のステレオパラメータをエンコードする必要がないことを示し、nipd_flag=0は、現フレームのサブフレームiにおいてチャネル間の時間差パラメータ以外のステレオパラメータをエンコードする必要があることを示し、kは周波数ビンのインデックス値を表し、現フレームの各サブフレームは、M個のサブバンドを含み、現フレームのサブフレームiのダウンミックス補償係数は、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数を含み、bは整数であり、b∈[0、M-1]であり、M≧2である。
計算ユニットは、さらに具体的には、式、
DMX_compib(k)=αi(b)×Rib"(k)
にしたがって、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号を計算するように構成され、DMX_compib(k)は、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号を表し、Rib"(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、ステレオパラメータに基づいた調整後に取得される右側チャネルの周波数領域信号を表し、kは周波数ビンのインデックス値を表し、k∈[band_limits(b)、band_limits(b+1)-1]である。
任意で、本願の別の可能な実施例において、現フレームのサブフレームiにおける第2の周波数領域信号が、現フレームのサブフレームiにおける右側チャネルの周波数領域信号である場合、計算ユニットは、具体的には、現フレームのサブフレームiにおける左側チャネルの周波数領域信号及び現フレームのサブフレームiにおける右側チャネルの周波数領域信号に基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算するように構成される。ここで、現フレームのサブフレームiのダウンミックス補償係数α
iは、
及び、
又は、
及び、
にしたがって計算される。
E_Liは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける左側チャネルの周波数領域信号のエネルギーの総和を表し、E_Riは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける右側チャネルの周波数領域信号のエネルギーの総和を表し、E_LRiは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける左側チャネルの周波数領域信号のエネルギーと右側チャネルの周波数領域信号のエネルギーとのエネルギーの総和を表し、band_limits_1は、予め設定された周波数帯のすべてのサブバンドの最小周波数ビンのインデックス値を表し、band_limits_2は、予め設定された周波数帯のすべてのサブバンドの最大周波数ビンのインデックス値を表し、Li"(k)は、現フレームのサブフレームiにあり、かつ、ステレオパラメータに基づいた調整後に取得される左側チャネルの周波数領域信号を表し、Ri"(k)は、現フレームのサブフレームiにあり、かつ、ステレオパラメータに基づいた調整後に取得される右側チャネルの周波数領域信号を表し、Li'(k)は、現フレームのサブフレームiにあり、かつ、時間シフト調整後に取得される左側チャネルの周波数領域信号を表し、Ri'(k)は、現フレームのサブフレームiにあり、かつ、時間シフト調整後に取得される右側チャネルの周波数領域信号を表し、kは周波数ビンのインデックス値を表す。
計算ユニットは、さらに具体的には、式、
DMX_compi(k)=αi×Ri"(k)
にしたがって、現フレームのサブフレームiにおける予め設定された周波数帯の各サブバンドにおける補償されたダウンミックスされた信号を計算するように構成され、DMX_compi(k)は、現フレームのサブフレームiにおける予め設定された周波数帯の各サブバンドの補償されたダウンミックスされた信号を表し、kは周波数ビンのインデックス値を表し、k∈[band_limits_1、band_limits_2]である。
任意で、本願の別の可能な実施例において、現フレームのサブフレームiにおける第2の周波数領域信号が現フレームのサブフレームiにおける右側チャネルの周波数領域信号である場合、計算ユニットは、具体的には、現フレームのサブフレームiにおける右側チャネルの周波数領域信号及び現フレームのサブフレームiにおける残差信号に基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算するように構成される。ここで、現フレームのサブフレームiのダウンミックス補償係数α
iは、
及び、
にしたがって計算される。
E_Siは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてサブバンドにおける残差信号のエネルギーの総和を表し、E_Riは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける右側チャネルの周波数領域信号のエネルギーの総和を表し、Ri"(k)は、現フレームのサブフレームiにあり、かつ、ステレオパラメータに基づいた調整後に取得される右側チャネルの周波数領域信号を表し、band_limits_1は、予め設定された周波数帯のすべてのサブバンドの最小周波数ビンのインデックス値を表し、band_limits_2は、予め設定された周波数帯のすべてのサブバンドの最大周波数ビンのインデックス値を表し、RESi'(k)は、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける残差信号を表し、kは周波数ビンのインデックス値を表す。
計算ユニットは、さらに具体的には、式、
DMX_compi(k)=αi×Ri"(k)
にしたがって、現フレームのサブフレームiにおける予め設定された周波数帯の各サブバンドにおける補償されたダウンミックスされた信号を計算するように構成され、DMX_compi(k)は、現フレームのサブフレームiにおける予め設定された周波数帯の各サブバンドの補償されたダウンミックスされた信号を表し、kは周波数ビンのインデックス値を表し、k∈[band_limits_1、band_limits_2]である。
任意で、本願の別の可能な実施例において、現フレームのサブフレームiにおける第2の周波数領域信号が現フレームのサブフレームiにおける右側チャネルの周波数領域信号である場合、計算ユニットは、具体的には、現フレームのサブフレームiにおける左側チャネルの周波数領域信号、現フレームのサブフレームiにおける右側チャネルの周波数領域信号及び第2のフラグに基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算するように構成される。ここで、現フレームのサブフレームiのダウンミックス補償係数α
iは、式、
及び
にしたがって計算される。
E_Liは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける左側チャネルの周波数領域信号のエネルギーの総和を表し、E_Riは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける右側チャネルの周波数領域信号のエネルギーの総和を表し、E_LRiは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける左側チャネルの周波数領域信号のエネルギーと右側チャネルの周波数領域信号のエネルギーとのエネルギーの総和を表し、band_limits_1は、予め設定された周波数帯のすべてのサブバンドの最小周波数ビンのインデックス値を表し、band_limits_2は、予め設定された周波数帯のすべてのサブバンドの最大周波数ビンのインデックス値を表し、Li'(k)は、現フレームのサブフレームiにあり、かつ、時間シフト調整後に取得される左側チャネルの周波数領域信号を表し、Ri'(k)は、現フレームのサブフレームiにあり、かつ、時間シフト調整後に取得される右側チャネルの周波数領域信号を表し、kは周波数ビンのインデックス値を表し、nipd_flagは、第2のフラグを表し、nipd_flag=1は、現フレームのサブフレームiにおいてチャネル間の時間差パラメータ以外のステレオパラメータをエンコードする必要がないことを示し、nipd_flag=0は、現フレームのサブフレームiにおいてチャネル間の時間差パラメータ以外のステレオパラメータをエンコードする必要があることを示す。
計算ユニットは、さらに具体的には、式、
DMX_compi(k)=αi×Ri"(k)
にしたがって、現フレームのサブフレームiにおける予め設定された周波数帯の各サブバンドにおける補償されたダウンミックスされた信号を計算するように構成され、DMX_compi(k)は、現フレームのサブフレームiにおける予め設定された周波数帯の各サブバンドの補償されたダウンミックスされた信号を表し、Ri"(k)は、現フレームのサブフレームiにあり、かつ、ステレオパラメータに基づいた調整後に取得される右側チャネルの周波数領域信号を表し、kは周波数ビンのインデックス値を表し、k∈[band_limits_1、band_limits_2]である。
任意で、本願の別の可能な実施例において、Th1≦b≦Th2、Th1<b≦Th2、Th1≦b<Th2、又は、Th1<b<Th2であり、0≦Th1≦Th2≦M-1であり、Th1は、予め設定された周波数帯の最小のサブバンドインデックス値を表し、Th2は、予め設定された周波数帯の最大サブバンドのインデックス値を表す。
第3態様によれば、端末が提供される。端末は、1つ又は複数のプロセッサ、メモリ及び通信インタフェースを含む。メモリ及び通信インタフェースは、1つ又は複数のプロセッサに連結され、端末は、通信インタフェースを通じて別のデバイスと通信し、メモリは、コンピュータプログラムコードを格納するように構成され、コンピュータプログラムコードは命令を含み、1つ又は複数のプロセッサが命令を実行する場合、端末は、第1態様又は第1態様の可能な実施例のうちのいずれか1つにおいて説明されたダウンミックスされた信号の計算方法を実行する。
第4態様によれば、オーディオエンコーダが提供され、オーディオエンコーダは、不揮発性記憶媒体及び中央演算処理装置を含み、不揮発性記憶媒体は、実行可能プログラムを格納し、中央演算処理装置は、不揮発性記憶媒体に接続され、第1態様又は第1態様の可能な実施例のうちのいずれか1つにおいて説明されたダウンミックスされた信号の計算方法を実施するために、実行可能プログラムを実行する。
第5態様によれば、エンコーダが提供され、エンコーダは、第2態様におけるダウンミックスされた信号の計算装置及びエンコーディングモジュールを含み、エンコーディングモジュールは、現フレームの第1のダウンミックスされた信号をエンコードするように構成され、現フレームの第1のダウンミックスされた信号は、ダウンミックスされた信号の計算装置により取得される。
第6態様によれば、コンピュータ可読記憶媒体がさらに提供され、コンピュータ可読記憶媒体は命令を格納し、第3態様において説明された端末上で命令が動作される場合、端末は、第1態様又は第1態様の可能な実施例のうちのいずれか1つにおいて説明されたダウンミックスされた信号の計算方法を実行することを可能にされる。
第7態様によれば、命令を含むコンピュータプログラム製品がさらに提供される。第3態様において説明された端末上で、コンピュータプログラム製品が動作される場合、端末は、第1態様又は第1態様の可能な実施例のうちのいずれか1つにおいて説明されたダウンミックスされた信号の計算方法を実行することを可能にされる。
本願における第2態様、第3態様、第4態様、第5態様、第6態様及び第7態様、及び、第2態様、第3態様、第4態様、第5態様、第6態様及び第7態様の様々な実装例の詳細な説明については、第1態様及び第1態様の様々な実装例の詳細な説明を参照されたい。さらに、第2態様、第3態様、第4態様、第5態様、第6態様及び第7態様、及び、第2態様、第3態様、第4態様、第5態様、第6態様及び第7態様の様々な実装例の有益な効果については、第1態様及び第1態様の様々な実装例の有利な効果分析を参照されたい。詳細はここでは再び説明しない。
第8態様によれば、ダウンミックスされた信号の計算方法が提供され、当該計算方法は、ステレオ信号の現フレームの前フレームがスイッチングフレームではなく、前フレームにおける残差信号をエンコードする必要がない場合、計算装置により、前フレームのダウンミックス補償係数及び現フレームにおける第2のダウンミックスされた信号を取得する段階と、前フレームのダウンミックス補償係数に基づいて、現フレームにおける第2のダウンミックスされた信号を補正して、現フレームにおける第1のダウンミックスされた信号を取得する段階と、計算装置により、現フレームの予め設定された周波数帯におけるダウンミックスされた信号として、現フレームにおける第1のダウンミックスされた信号を判定する段階とを含む。
本願の本実施形態において、ステレオ信号の現フレームの前フレームがスイッチングフレームではなく、前フレームにおける残差信号をエンコードする必要がない場合、計算装置は、現フレームにおける第1のダウンミックスされた信号を計算し、現フレームの予め設定された周波数帯におけるダウンミックスされた信号として、第1のダウンミックスされた信号を判定する。これにより、残差信号をエンコーディングする段階と、残差信号のエンコーディングを省略する段階との間の予め設定された周波数帯で交互に切り替えることによって生じる、デコードされたステレオ信号の空間感覚が不連続であり、サウンドイメージの安定性が悪いという課題を解決し、これにより、聴覚品質を効果的に改善する。
任意で、本願の可能な実施例において、「計算装置により、前フレームのダウンミックス補償係数に基づいて、現フレームにおける第2のダウンミックスされた信号を補正する」ための方法は、計算装置により、現フレームにおける第1の周波数領域信号及び前フレームのダウンミックス補償係数に基づいて、現フレームにおける補償されたダウンミックスされた信号を計算する段階と、現フレームにおける第2のダウンミックスされた信号及び現フレームにおける補償されたダウンミックスされた信号に基づいて、現フレームにおける第1のダウンミックスされた信号を計算する段階であって、第1の周波数領域信号は、現フレームにおける左側チャネルの周波数領域信号又は現フレームにおける右側チャネルの周波数領域信号である、段階、又は、計算装置により、現フレームのサブフレームiにおける第2の周波数領域信号及び前フレームのサブフレームiのダウンミックス補償係数に基づいて、現フレームのサブフレームiにおける補償されたダウンミックスされた信号を計算する段階と、現フレームのサブフレームiにおける第2のダウンミックスされた信号及び現フレームのサブフレームiにおける補償されたダウンミックスされた信号に基づいて、現フレームのサブフレームiにおける第1のダウンミックスされた信号を計算する段階であって、現フレームのサブフレームiにおける左側チャネルの周波数領域信号又は現フレームのサブフレームiにおける右側チャネルの周波数領域信号であり、現フレームは、P個のサブフレームを含み、現フレームにおける第1のダウンミックスされた信号は、現フレームのサブフレームiにおける第1のダウンミックスされた信号を含み、P及びiの両方は整数であり、P≧2であり、i∈[0、P-1]である、段階とを含む。
任意で、本願の別の可能な実施例において、「計算装置により、現フレームにおける第1の周波数領域信号及び前フレームのダウンミックス補償係数に基づいて、現フレームにおける補償されたダウンミックスされた信号を計算する」ための方法は、計算装置により、現フレームにおける補償されたダウンミックスされた信号として、現フレームにおける第1の周波数領域信号と前フレームのダウンミックス補償係数との積を判定する段階を含む。
「計算装置により、現フレームにおける第2のダウンミックスされた信号及び現フレームにおける補償されたダウンミックスされた信号に基づいて、現フレームにおける第1のダウンミックスされた信号を計算する」ための方法は、計算装置により、現フレームにおける第1のダウンミックスされた信号として、現フレームにおける第2のダウンミックスされた信号と現フレームにおける補償されたダウンミックスされた信号との和を判定する段階を含む。「計算装置により、現フレームのサブフレームiにおける第2の周波数領域信号及び前フレームのサブフレームiのダウンミックス補償係数に基づいて、現フレームのサブフレームiにおける補償されたダウンミックスされた信号を計算する」ための方法は、計算装置により、サブフレームiにおける補償されたダウンミックスされた信号として、サブフレームiにおける第2の周波数領域信号とサブフレームiのダウンミックス補償係数との積を判定する段階を含む。
「計算装置により、現フレームのサブフレームiにおける第2のダウンミックスされた信号及び現フレームのサブフレームiにおける補償されたダウンミックスされた信号に基づいて、現フレームのサブフレームiにおける第1のダウンミックスされた信号を計算するための」方法は、計算装置により、現フレームのサブフレームiにおける第1のダウンミックスされた信号として、現フレームのサブフレームiにおける第2のダウンミックスされた信号と現フレームのサブフレームiにおける補償されたダウンミックスされた信号との和を判定する段階を含む。
第9態様によれば、ダウンミックスされた信号の計算装置が提供される。具体的には、計算装置は、判定ユニット、取得ユニット及び計算ユニットを含む。
本願において提供されるユニット及びモジュールにより実装される機能は、具体的には、以下のとおりである。
判定ユニットは、ステレオ信号の現フレームの前フレームがスイッチングフレームであるか否か、及び、前フレームにおける残差信号をエンコードする必要があるか否かを判定するように構成される。取得ユニットは、現フレームの前フレームがスイッチングフレームではなく、前フレームにおける残差信号をエンコードする必要がないと判定ユニットが判定した場合、前フレームのダウンミックス補償係数及び現フレームにおける第2のダウンミックスされた信号を取得するように構成される。計算ユニットは、取得ユニットにより取得された前フレームのダウンミックス補償係数に基づいて、現フレームにおける第2のダウンミックスされた信号を補正して、現フレームにおける第1のダウンミックスされた信号を取得するように構成される。判定ユニットは、さらに、現フレームの予め設定された周波数帯におけるダウンミックスされた信号として、計算ユニットにより取得された第1のダウンミックスされた信号を判定するように構成される。
任意で、本願の可能な実施例において、計算ユニットは、具体的には、現フレームにおける第1の周波数領域信号及び前フレームのダウンミックス補償係数に基づいて、現フレームにおける補償されたダウンミックスされた信号を計算することと、現フレームにおける第2のダウンミックスされた信号及び現フレームにおける補償されたダウンミックスされた信号に基づいて、現フレームにおける第1のダウンミックスされた信号を計算することであって、第1の周波数領域信号は、現フレームにおける左側チャネルの周波数領域信号又は現フレームにおける右側チャネルの周波数領域信号である、計算すること、又は、現フレームのサブフレームiにおける第2の周波数領域信号及び前フレームのサブフレームiのダウンミックス補償係数に基づいて、現フレームのサブフレームiにおける補償されたダウンミックスされた信号を計算することと、現フレームのサブフレームiにおける第2のダウンミックスされた信号及び現フレームのサブフレームiにおける補償されたダウンミックスされた信号に基づいて、現フレームのサブフレームiにおける第1のダウンミックスされた信号を計算することであって、現フレームのサブフレームiにおける左側チャネルの周波数領域信号又は現フレームのサブフレームiにおける右側チャネルの周波数領域信号であり、現フレームは、P個のサブフレームを含み、現フレームにおける第1のダウンミックスされた信号は、現フレームのサブフレームiにおける第1のダウンミックスされた信号を含み、P及びiの両方は整数であり、P≧2であり、i∈[0、P-1]である、計算することを行うように構成される。
任意で、本願の別の可能な実施例において、計算ユニットは、具体的には、現フレームにおける補償されたダウンミックスされた信号として、現フレームの第1の周波数領域信号と前フレームのダウンミックス補償係数との積を判定し、現フレームにおける第1のダウンミックスされた信号として、現フレームにおける第2のダウンミックスされた信号と現フレームにおける補償されたダウンミックスされた信号との和を判定し、又は、サブフレームiにおける補償されたダウンミックスされた信号として、サブフレームiにおける第2の周波数領域信号とサブフレームiのダウンミックス補償係数との積を判定し、現フレームのサブフレームiにおける第1のダウンミックスされた信号として、現フレームのサブフレームiにおける第2のダウンミックスされた信号と現フレームのサブフレームiにおける補償されたダウンミックスされた信号との和を判定するように構成される。
第10態様によれば、端末が提供される。端末は、1つ又は複数のプロセッサ、メモリ及び通信インタフェースを含む。メモリ及び通信インタフェースは、1つ又は複数のプロセッサに連結され、端末は、通信インタフェースを通じて別のデバイスと通信し、メモリは、コンピュータプログラムコードを格納するように構成され、コンピュータプログラムコードは命令を含み、1つ又は複数のプロセッサが命令を実行する場合、端末は、第8態様又は第8態様の可能な実施例のうちのいずれか1つにおいて説明されたダウンミックスされた信号の計算方法を実行する。
第11態様によれば、オーディオエンコーダが提供され、オーディオエンコーダは、不揮発性記憶媒体及び中央演算処理装置を含み、不揮発性記憶媒体は、実行可能プログラムを格納し、中央演算処理装置は、不揮発性記憶媒体に接続され、第8態様又は第8態様の可能な実施例のうちのいずれか1つにおいて説明されたダウンミックスされた信号の計算方法を実施するために、実行可能プログラムを実行する。
第12態様によれば、エンコーダが提供され、エンコーダは、第9態様におけるダウンミックスされた信号の計算装置及びエンコーディングモジュールを含み、エンコーディングモジュールは、現フレームの第1のダウンミックスされた信号をエンコードするように構成され、現フレームの第1のダウンミックスされた信号は、ダウンミックスされた信号の計算装置により取得される。
第13態様によれば、コンピュータ可読記憶媒体がさらに提供され、コンピュータ可読記憶媒体は命令を格納し、第10態様において説明された端末上で命令が動作される場合、端末は、第8態様又は第8態様の可能な実施例のうちのいずれか1つにおいて説明されたダウンミックスされた信号の計算方法を実行することを可能にされる。
第15態様によれば、命令を含むコンピュータプログラム製品がさらに提供される。第10態様において説明された端末上で、コンピュータプログラム製品が動作される場合、端末は、第8態様又は第8態様の可能な実施例のうちのいずれか1つにおいて説明されたダウンミックスされた信号の計算方法を実行することを可能にされる。
本願における第9態様、第10態様、第11態様、第12態様、第13態様及び第15態様、及び、第9態様、第10態様、第11態様、第12態様、第13態様及び第15態様の様々な実装例の詳細な説明については、第8態様及び第8態様の様々な実装例の詳細な説明を参照されたい。さらに、第9態様、第10態様、第11態様、第12態様、第13態様及び第15態様、及び、第9態様、第10態様、第11態様、第12態様、第13態様及び第15態様の様々な実装例の有益な効果については、第8態様及び第8態様の様々な実装例の有利な効果分析を参照されたい。詳細はここでは再び説明しない。
本願において、前述のダウンミックスされた信号の計算装置の名称は、デバイス又は機能モジュールに対して制限を設けることはない。実際の実装では、デバイス又は機能モジュールは、他の名称を有してよい。本願におけるデバイス又は機能モジュールと同様の機能を有するすべてのデバイス又は機能モジュールは、特許請求の範囲、及び、本願におけるそれらの同等技術により定義される範囲内に含まれる。
本願のこれらの態様又は他の態様は、以下の説明において、より簡潔で理解しやすい。
本願の実施形態において、「例えば」という単語は、所与の例示、図示又は説明を表すために用いられる。本願の実施形態において「例えば」として説明される任意の実施形態又は設計スキームは、別の実施形態又は設計スキームよりも利点があるものとして説明されるべきではない。正確には、単語「例えば」などの使用は、特定の方式において関連するコンセプトが存在することを目的としている。
以下の「第1」及び「第2」という用語は、説明の目的を意図したものに過ぎないが、相対的な重要性の指標又は示唆、又は、示される技術的特徴の数の暗黙的な指標として理解されないものとする。したがって、「第1」又は「第2」により限定される特徴は、1つ又は複数の特徴を明示的又は暗黙的を含んでよい。本願の実施形態の説明では、特に明記しない限り、「複数」は、2つ又は2つより多いことを意味する。
モノラル信号とは異なり、ステレオ信号は、サウンドイメージ情報を含に、そのため、より強いサウンドの空間感覚がある。ステレオ信号におけるいくつかの音楽信号及び通話信号について、低周波数情報は、ステレオ信号の空間感覚をより良く反映でき、低周波数情報の精度はまたステレオサウンドイメージの安定性において非常に重要な役割を果たしている。
現在のところ、ステレオ信号をエンコード及びデコードするために、パラメトリックなステレオエンコーディング及びデコーディング技術が通常用いられている。パラメトリックなステレオエンコーディング及びデコーディング技術では、ステレオ信号に対して圧縮処理を実施するために、ステレオ信号は、空間知覚パラメータ及び1つのチャネルの信号(又は2つのチェネルの信号)に変換される。パラメトリックなステレオエンコーディング及びデコーディングは、時間領域において実行されてよい、周波数領域において実行されてよい、又は、時間-周波数領域において実行されてよい。周波数領域又は時間周波数領域において実行されるパラメトリックなステレオエンコーディング中、入力ステレオ信号を分析した後に、エンコーダ側は、ステレオパラメータ、ダウンミックスされた信号及び残差信号を取得してよい。
パラメトリックなステレオエンコーディング及びデコーディング技術におけるステレオパラメータは、チャネル間のコヒーレンス(Inter-channel Coherence、IC)、チャネル間のレベル差(Inter-channel Level Difference、ILD)、チャネル間の時間差(Inter-channel Time Difference、ITD)及びチャネル間の位相差(Inter-channel Phase Difference、IPD)などを含む。
ITD及びIPDは、サウンド信号の水平方向を示す空間知覚パラメータであり、ILD、ITD及びIPDは、人の耳によりサウンド信号の位置の知覚を判定するために用いられ、ステレオ信号の復旧に非常に大きな役割を果たしている。
従来技術では、ステレオ信号の符号化モードにおいて、符号化レートが比較的低い(例えば、符号化レートが26kbps又はそれより低い)場合、残差信号はエンコードされず、符号化レートが比較的高い場合に、残差信号の一部又はすべてがエンコードされている。しかしながら、残差信号がエンコードされない場合、デコードされたステレオ信号の空間感覚は比較的鈍く、サウンドイメージの安定性はステレオパラメータ抽出の精度により大きく影響されてしまう。
ステレオ信号の別の符号化モードにおいて、ステレオパラメータ、ダウンミックスされた信号及び予め設定された低周波数帯に対応するサブバンドにおける残差信号は、符号化レートが比較的低い場合にエンコードされ、デコードされたステレオ信号の空間感覚及びサウンドイメージの安定性を向上させる。しかしながら、エンコーディングの総ビット数制限に起因して、予め設定された低周波数帯に対応するサブバンドにおける残差信号がエンコードされる場合、割り当てられるビット数が不十分なので、ダウンミックスされた信号におけるいくつかの高周波数情報をエンコードできない。結果として、デコードされたステレオ信号の高周波ひずみが増加し、これにより、エンコーディング品質全体に影響を与える。
ステレオ信号の別の符号化モードにおいて、符号化レートが比較的低い場合に、ステレオパラメータ及びダウンミックスされた信号がエンコードされる。さらに、エンコーダ側では、さらに、前フレームにおけるダウンミックスされた信号に基づいて、現フレームにおける残差信号を予測し、予測係数をエンコードして、非常に少量のビットを用いて残差信号の関連する情報をエンコードする。しかしながら、ダウンミックスされた信号のスペクトル構造と残差信号のスペクトル構造との間の類似性が非常に低い場合、この方法を用いて推定される残差信号と実際の残差信号との間の差が、通常、比較的大きい。結果として、デコードされたステレオ信号の空間感覚が改善されていないことは明らかであり、サウンドイメージの安定性を改善することができない。
ステレオ信号の別の符号化モードにおいて、エンコーダ側では、固定式を用いて、ダウンミックスされた信号及び残差信号を計算し、対応するエンコーディング方法にしたがって、計算されたダウンミックスされた信号及び残差信号をエンコードする。しかしながら、エンコーディング中、切り替えが、残差信号をエンコーディングすることと、残差信号のエンコーディングを省略することとの間を行ったり来たりして実行される必要があり、ダウンミックスされた信号を計算するための方法は変化しないままである場合、デコードされたステレオ信号の空間感覚が不連続であり、サウンドイメージの安定性が悪く、これにより、聴覚品質に影響を与える。
前述した技術的課題のうちのいずれか1つを考慮して、本願は、オーディオ信号のエンコーディング方法を提供し、予め設定された周波数帯の対応するサブバンドにおける残差信号をエンコードするか否かを適応的に選択し、できるだけ多くのデコードされたステレオ信号の高周波ひずみを低減しつつ、デコードされたステレオ信号の空間感覚及びサウンドイメージの安定性を改善し、これにより、エンコーディング品質全体を改善する。
エンコーダ側が予め設定された周波数帯の対応するサブバンドにおける残差信号をエンコードするか否かを適応的に選択する場合、エンコーダ側では、残差信号をエンコーディングすることと、残差信号のエンコーディングを省略することとの間での予め設定された周波数帯における交互に切り替えを実行する必要がある。
これを考慮して、本願の実施形態は、ダウンミックスされた信号の計算方法を提供し、当該計算方法は、ステレオ信号の現フレームがスイッチングフレームではなく、現フレームにおける残差信号をエンコードする必要がないと判定された場合、又は、ステレオ信号の現フレームの前フレームがスイッチングフレームではなく、前フレームにおける残差信号をエンコードする必要がないと判定された場合、新たな方法を用いて、現フレームにおける第1のダウンミックスされた信号を計算する段階と、現フレームの予め設定された周波数帯におけるダウンミックスされた信号として、現フレームにおける計算された第1のダウンミックスされた信号を判定する段階とを含む。これにより、残差信号をエンコーディングする段階と、残差信号のエンコーディングを省略する段階との間の予め設定された周波数帯で交互に切り替えることによって生じる、デコードされたステレオ信号の空間感覚が不連続であり、サウンドイメージの安定性が悪いという課題を解決し、これにより、聴覚品質を効果的に改善する。
本願の本実施形態において、ステレオ信号の現フレームがスイッチングフレームではなく、現フレームにおける残差信号をエンコードする必要がないと判定された場合、又は、ステレオ信号の現フレームの前フレームがスイッチングフレームではなく、前フレームにおける残差信号をエンコードする必要がないと判定された場合、現フレームにおける第1のダウンミックスされた信号を計算するための方法は、現フレームにおける第2のダウンミックスされた信号及び現フレームのダウンミックス補償係数を取得する段階と、現フレームのダウンミックス補償係数に基づいて、現フレームにおける第2のダウンミックスされた信号を補正して、現フレームにおける第1のダウンミックスされた信号を取得する段階を含む。
さらに、ステレオ信号の現フレームの前フレームがスイッチングフレームではなく、前フレームにおける残差信号をエンコードする必要がない場合、現フレームにおける第1のダウンミックスされた信号を計算するための方法は、代わりに、前フレームのダウンミックス補償係数及び現フレームにおける第2のダウンミックスされた信号を取得する段階と、前フレームのダウンミックス補償係数に基づいて、現フレームにおける第2のダウンミックスされた信号を補正して、現フレームにおける第1のダウンミックスされた信号を取得する段階とを含んでよい。
本願において提供されるダウンミックスされた信号の計算方法は、ダウンミックスされた信号の計算装置、オーディオエンコーディング及びデコーディング装置、オーディオコーデック、又は、オーディオエンコーディング及びデコーディング機能を有する別のデバイスにより実行されてよい。ダウンミックスされた信号の計算方法は、エンコーディング処理の際に用いられる。
本願の本実施形態において提供されるダウンミックスされた信号の計算方法は、オーディオ伝送システムに適用可能である。図1は、本願の実施形態に係るオーディオ伝送システムの概略構造図である。図1に示されるように、オーディオ伝送システムは、アナログ-デジタル(Analog-to-Digital、A/D)変換モジュール101、エンコーディングモジュール102、送信モジュール103、ネットワーク104、受信モジュール105、デコーディングモジュール106及びデジタル-アナログ(Digital-to-Analog、D/A)変換モジュール107を含む。
オーディオ伝送システムにおけるモジュールの具体的な機能は以下のとおりである。
アナログ-デジタル変換モジュール101は、エンコーディングの前に、ステレオ信号を処理し、連続するステレオアナログ信号を個別のステレオデジタル信号に変換するように構成される。
エンコーディングモジュール102は、ステレオデジタル信号をエンコードして、ビットストリームを取得するように構成される。
送信モジュール103は、エンコーディングを通じて取得されたビットストリームを送信するように構成される。
ネットワーク104は、送信モジュール103により送信されたビットストリームを受信モジュール105に伝送するように構成される。
受信モジュール105は、送信モジュール103により送信されたビットストリームを受信するように構成される。
デコーディングモジュール106は、受信モジュール105により受信されたビットストリームをデコードし、ステレオデジタル信号を再構成するように構成される。
デジタル-アナログ変換モジュール107は、デコーディングモジュール106により取得されたステレオデジタル信号に対してデジタル-アナログ変換を実行して、ステレオアナログ信号を取得するように構成される。
具体的には、図1に示されるオーディオ伝送システムにおけるエンコーディングモジュール102は、本願の本実施形態におけるダウンミックスされた信号の計算方法を実行してよい。
本願の本実施形態において提供されるダウンミックスされた信号の計算方法は、オーディオエンコーディング及びデコーディング装置により実行されてよいことが前述の説明から認識され得る。この場合、本願の本実施形態において提供されるダウンミックスされた信号の計算方法はまた、オーディオエンコーディング及びデコーディング装置を含むエンコーディング及びデコーディングシステムに適用可能である。
図2及び図3に関して、以下では、オーディオエンコーディング及びデコーディング装置、及び、オーディオエンコーディング及びデコーディング装置を含むオーディオエンコーディング及びデコーディングシステムを詳細に説明する。
図2は、本願の本実施形態に係るオーディオエンコーディング及びデコーディング装置の概略図である。図2に示されるように、オーディオエンコーディング及びデコーディング装置20は、特に、オーディオ信号をエンコーディング及び/又はデコードするための装置であってよい、又は、オーディオエンコーディング及びデコーディング機能を有する電子デバイスであってよい。さらに、オーディオエンコーディング及びデコーディング装置20は、無線通信システムにおけるモバイル端末又はユーザ機器であってよい。
オーディオエンコーディング及びデコーディング装置20は、コントローラ201、無線周波数(Radio Frequency、RF)回路202、メモリ203、コーデック204、拡声器205、マイク206、周辺インタフェース207及び電源装置208などのコンポーネントを含んでよい。これらのコンポーネントは、1つ又は複数の通信バス又は信号ケーブル(図2には示されていない)を通じて互いに通信を実行してよい。
当業者であれば、図2に示される構造がオーディオエンコーディング及びデコーディング装置20に対して制限を設けることはなく、オーディオエンコーディング及びデコーディング装置20が、図中に示されるものよりも多くの又は少ないコンポーネント、又は、いくつかのコンポーネントの組み合わせ、又は、異なる配置にあるコンポーネントを含んでよいことを理解し得る。
以下では、図2に関して、オーディオエンコーディング及びデコーディング装置20のコンポーネントを詳細に説明する。
コントローラ201は、オーディオエンコーディング及びデコーディング装置20のコントロールセンタであり、様々なインタフェース及び回線を通じてオーディオエンコーディング及びデコーディング装置20の様々なパーツに接続され、メモリ203に格納されたアプリケーションプログラムを動作又は実行し、メモリ203に格納されたデータを呼び出すことにより、オーディオエンコーディング及びデコーディング装置20の様々な機能及びデータ処理を実行する。いくつかの実施形態において、コントローラ201は、1つ又は複数の処理ユニットを含んでよい。
RF回路202は、情報を受信及び送信する処理において、電波信号を受信及び送信するように構成されてよい。通常、RF回路は、限定されるものではないが、アンテナ、少なくとも1つの増幅器、送受信機、カプラ、低雑音増幅器及びデュプレクサなどを含む。さらに、RF回路202は、さらに、無線通信を通じて別のデバイスと通信してよい。無線通信は、任意の通信規格又はプロトコルを用いてよく、限定されるものではないが、移動通信のためのグローバルシステム、汎用パケット無線サービス、符号分割多元接続、広帯域符号分割多元接続、ロングタームエボリューション、電子メール、及び、ショートメッセージサービスなどを含む。
メモリ203は、アプリケーションプログラム及びデータを格納するように構成され、コントローラ201は、メモリ203に格納されているアプリケーションプログラム及びデータを動作させることにより、オーディオエンコーディング及びデコーディング装置20の様々な機能及びデータ処理を実行する。
メモリ203は主に、プログラムストレージエリア及びデータストレージ領域を含む。プログラムストレージエリアは、少なくとも1つの機能に必要とされるオペレーティングシステム及びアプリケーションプログラム(例えば、サウンド再生機能及び画像処理機能)を格納してよく、データストレージ領域は、オーディオエンコーディング及びデコーディング装置20の使用中に作成されるデータを格納してよい。さらに、メモリ203は、高速ランダムアクセスメモリ(RAM)を含んでよく、代わりに、不揮発性メモリ、例えば、ディスクストレージデバイス、フラッシュストレージデバイス又は別の不揮発性ソリッドステートストレージデバイスを含んでよい。メモリ203は、様々なオペレーティングシステム、例えば、iOSオペレーティングシステム及びAndroid(登録商標)オペレーティングシステムを格納してよい。メモリ203は、独立しており、通信バスを通じてコントローラ201に接続されてよい、又は、メモリ203は、代わりに、コントローラ201と統合されてよい。
コーデック204は、オーディオ信号をエンコード又はデコードするように構成される。
拡声器205及びマイク206は、ユーザとオーディオエンコーディング及びデコーディング装置20との間にオーディオインタフェースを提供してよい。コーデック204は、拡声器205にエンコードされたオーディオ信号を伝送してよく、拡声器205は、エンコードされたオーディオ信号を出力用のサウンド信号に変換する。マイク206は、収集されたサウンド信号を電気信号に変換し、コーデック204は、電気信号を受信し、電気信号をオーディオデータに変換し、次に、オーディオデータをRF回路202に出力して、オーディオデータを、例えば、別のオーディオエンコーディング及びデコーディング装置に送信する、又は、さらなる処理用に、オーディオデータをメモリ203に出力する。
周辺インタフェース207は、外部入出力デバイス(例えば、キーボード、マウス、外部ディスプレイ及び外部メモリ)に様々なインタフェースを提供するように構成される。例えば、周辺インタフェース207は、ユニバーサルシリアルバス(Universal Serial Bus、USB)インタフェースを通じてマウスに接続され、加入者識別モジュール(Subscriber Identity Module、SIM)カードのカードスロット内の金属コンタクトを通じて、電気通信事業者により提供される加入者識別モジュールカードに接続される。周辺インタフェース207は、前述の外部入出力周辺デバイスをコントローラ201及びメモリ203に連結するように構成されてよい。
本願の本実施形態では、オーディオエンコーディング及びデコーディング装置20は、周辺インタフェース207を通じてデバイスグループ内の別のデバイスと通信してよい。例えば、オーディオエンコーディング及びデコーディング装置20は、表示のために別のデバイスにより送信されたディスプレイデータを、周辺インタフェース207を通じて受信してよい。これは、本願の本実施形態において限定されるものではない。
オーディオエンコーディング及びデコーディング装置20は、各コンポーネントに電力を供給する電源装置208(例えば、バッテリ及び電力管理チップ)をさらに含んでよい。バッテリは、電力管理チップを通じてコントローラ201に論理的に接続されてよく、これにより、充電管理、放電管理及び電力消費管理などの機能が電源装置208を用いて実施される。
任意で、オーディオエンコーディング及びデコーディング装置20は、センサ、指紋収集デバイス、スマートカード、Bluetooth(登録商標)装置、ワイヤレス・フィディリティ(Wireless Fidelity、Wi-Fi(登録商標))装置又はディスプレイユニットのうちの少なくとも1つをさらに含んでよい。ここでは、詳細を1つずつ説明しない。
本願の一部の実施形態において、伝送及び/又はストレージを実行する前に、オーディオエンコーディング及びデコーディング装置20は、別のデバイスにより送信された処理対象のオーディオ信号を受信してよい。本願のいくつかの他の実施形態において、オーディオエンコーディング及びデコーディング装置20は、無線又は有線接続を通じてオーディオ信号を受信し、受信したオーディオ信号をエンコード/デコードしてよい。
図3は、本願の本実施形態に係るオーディオエンコーディング及びデコーディングシステム30の概略的なブロック図である。
図3に示されるように、オーディオエンコーディング及びデコーディングシステム30は、発信元装置301及び宛先装置302を含む。発信元装置301は、エンコードされたオーディオ信号を生成する。発信元装置301は、オーディオエンコーディング装置又はオーディオエンコーディングデバイスとも称され得る。宛先装置302は、発信元装置301により生成されたエンコードされたオーディオデータをデコードしてよい。宛先装置302は、オーディオデコーディング装置又はオーディオデコーディングデバイスとも称され得る。
発信元装置301及び宛先装置302の具体的な実装形式は、デスクトップコンピュータ、モバイルコンピューティング装置、ノートブック(例えば、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、スマートフォン、ハンドセット、テレビ、カメラ、ディスプレイ装置、デジタルメディアプレーヤ、ビデオゲームコンソール及び車載コンピュータ又は別の同様のデバイスといったデバイスのうちのいずれか1つであってよい。
宛先装置302は、チャネル303を通じて発信元装置301からエンコードされたオーディオ信号を受信してよい。チャネル303は、発信元装置301から宛先装置302にエンコードされたオーディオ信号を移動させることができる1つ又は複数の媒体及び/又は装置を含んでよい。例において、チャネル303は、発信元装置301がリアルタイムで宛先装置302に対してエンコードされたオーディオ信号を直接伝送できる1つ又は複数の通信媒体を含んでよい。この例において、発信元装置301は、通信規格(例えば、無線通信プロトコル)にしたがって、エンコードされたオーディオ信号を変調してよく、変調されたオーディオ信号を宛先装置302に伝送してよい。前述した1つ又は複数の通信媒体は、無線及び/又は有線通信媒体、例えば、無線周波数(Radio Frequency、RF)スペクトル、又は、1つ又は複数の物理伝送回線を含んでよい。前述した1つ又は複数の通信媒体は、パケットベースのネットワーク(例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、又は、グローバルネットワーク(例えば、インターネット))の一部を構成してよい。前述した1つ又は複数の通信媒体は、発信元装置301から宛先装置302への通信を実施するルータ、スイッチ、基地局又は別のデバイスを含んでよい。
別の例において、チャネル303は、発信元装置301により生成されるエンコードされたオーディオ信号を格納する記憶媒体を含んでよい。この例において、宛先装置302は、ディスクアクセス又はカードアクセスを通じて記憶媒体にアクセスしてよい。記憶媒体は、複数のタイプのローカルアクセス型のデータストレージ媒体、例えば、Blu-ray(登録商標)ディスク、高精細度デジタルビデオディスク(Digital Video Disc、DVD)、コンパクトディスクリードオンリメモリ(Compact Disc Read-Only Memory、CD-ROM)、フラッシュメモリ、又は、エンコードされたビデオデータを格納するために用いられる別の適切なデジタル記憶媒体を含んでよい。
別の例において、チャネル303は、ファイルサーバ、又は、発信元装置301により生成されるエンコードされたオーディオ信号を格納する別の中間ストレージ装置を含んでよい。この例において、宛先装置302は、ストリーミング伝送又はダウンロードを通じて、ファイルサーバ又は別の中間ストレージ装置に格納されたエンコードされたオーディオ信号にアクセスしてよい。ファイルサーバは、エンコードされたオーディオ信号を格納し、エンコードされたオーディオ信号を宛先装置302に伝送できるタイプのサーバであってよい。例えば、ファイルサーバは、ワールドワイドウェブ(World Wide Web、Web)サーバ(例えば、ウェブサイトに用いられる)、ファイルトランスファープロトコル(File Transfer Protocol、FTP)サーバ、ネットワークアタッチトストレージ(Network Attached Storage、NAS)装置及びローカルディスクドライブを含んでよい。
宛先装置302は、標準的なデータ接続(例えば、インターネット接続)を通じてエンコードされたオーディオ信号にアクセスしてよい。例示的なタイプのデータ接続は、ファイルサーバに格納されたエンコードされたオーディオ信号にアクセスするのに適切な無線チャネル又は有線接続(例えば、ケーブルモデム)又はそれらの組み合わせを含む。ファイルサーバからのエンコードされたオーディオ信号の伝送は、ストリーミング伝送、ダウンロード伝送又はそれらの組み合わせであってよい。
本願におけるダウンミックスされた信号の計算方法は、無線アプリケーションシナリオに限定されるものではない。例えば、本願におけるダウンミックスされた信号の計算方法は、様々なマルチメディアアプリケーション、例えば、地上波テレビ放送、ケーブルテレビ伝送、衛星テレビ伝送、(例えば、インターネットを通じた)ストリーミングビデオ伝送、データ記憶媒体に格納されたオーディオ信号のエンコーディング、データ記憶媒体に格納されたオーディオ信号のデコーディング又は別のアプリケーションといったアプリケーションをサポートするオーディオエンコーディング及びデコーディングに適用されてよい。
いくつかの例において、オーディオエンコーディング及びデコーディングシステム30は、ストリーミングビデオ伝送、ビデオ再生、ビデオ放送及び/又はビデオ電話などのアプリケーションをサポートするために、単方向又は双方向のビデオ伝送をサポートするように構成されてよい。
図3において、発信元装置301は、音源3011、オーディオエンコーダ3012及び出力インタフェース3013を含む。いくつかの例において、出力インタフェース3013は、変調器/復調器(モデム)及び/又は送信器を含んでよい。音源3011は、オーディオキャプチャ装置(例えば、スマートフォン)、以前にキャプチャされたオーディオ信号を含むオーディオアーカイブ、オーディオコンテンツプロバイダからオーディオ信号を受信するように構成されるオーディオ入力インタフェース、及び/又は、オーディオ信号又は前述したオーディオ信号源の組み合わせを生成するように構成されるコンピュータグラフィックスシステムを含んでよい。
オーディオエンコーダ3012は、音源3011からのオーディオ信号をエンコードしてよい。いくつかの例では、発信元装置301は、出力インタフェース3013を通じて宛先装置302にエンコードされたオーディオ信号を直接伝送する。エンコードされたオーディオ信号は、代わりに、宛先装置302によるデコーディング及び/又は再生のための後のアクセスのために、記憶媒体内又はファイルサーバ上に格納されてよい。
図3の例では、宛先装置302は、入力インタフェース3023、オーディオデコーダ3022及び再生装置3021を含む。いくつかの例において、入力インタフェース3023は、受信器及び/又はモデムを含む。入力インタフェース3023は、チャネル303を通じてエンコードされたオーディオ信号を受信してよい。再生装置3021は、宛先装置302と統合されてよい、又は、宛先装置302の外部に配置されてよい。概して、再生装置3021は、デコードされたオーディオ信号を再生する。
オーディオエンコーダ3012及びオーディオデコーダ3022は、オーディオ圧縮基準に従うオペレーションを実行してよい。
図1に示されるオーディオ伝送システム、図2に示されるオーディオエンコーディング及びデコーディング装置、及び、オーディオエンコーディング及びデコーディング装置を含み、図3に示されるオーディオエンコーディング及びデコーディングシステムに関して、以下では、本願において提供されるダウンミックスされた信号の計算方法を詳細に説明する。
本願の実施形態において提供されるダウンミックスされた信号の計算方法は、ダウンミックスされた信号の計算装置により実行されてよい、又は、オーディオエンコーディング及びデコーディング装置により実行されてよい、又は、オーディオコーデックにより実行されてよい、又は、オーディオエンコーディング及びデコーディング機能を有する別のデバイスにより実行されてよい。これは、本願の本実施形態において特に限定されるものではない。
具体的には、図4は、本願の実施形態に係るダウンミックスされた信号の計算方法の概略フローチャートである。説明しやすくするために、図4における説明については、オーディオエンコーダが実行主体である例が用いられる。
図4に示されるように、ダウンミックスされた信号の計算方法は、以下の段階を含む。
S401.オーディオエンコーダは、ステレオ信号の現フレームがスイッチングフレームであるか否か、及び、現フレームにおける残差信号をエンコードする必要があるか否かを判定する。
オーディオエンコーダは、現フレームの残差符号化スイッチングフラグの値に基づいて、現フレームがスイッチングフレームであるか否かを判定し、現フレームの残差符号化フラグの値に基づいて、現フレームにおける残差信号をエンコードする必要があるか否かを判定する。
任意で、現フレームの残差符号化スイッチングフラグの値が0と等しい場合、現フレームは、スイッチングフレームではない。現フレームの残差符号化スイッチングフラグの値が0より大きい場合、現フレームは、スイッチングフレームである。現フレームの残差符号化フラグの値が0と等しい場合、現フレームにおける残差信号をエンコードする必要がない。現フレームの残差符号化フラグの値が0より大きい場合、現フレームにおける残差信号をエンコードする必要がある。
「残差符号化スイッチングフラグ」、「残差符号化フラグ」、及び、「オーディオエンコーダが、ステレオ信号の現フレームがスイッチングフレームであるか否か、及び、現フレームにおける残差信号をエンコードする必要があるか否かを判定する」ことの詳細な説明については、以下の内容を参照されたい。
S402.現フレームがスイッチングフレームではなく、現フレームにおける残差信号をエンコードする必要がない場合、オーディオエンコーダは、現フレームにおける第1のダウンミックスされた信号を計算し、現フレームの予め設定された周波数帯におけるダウンミックスされた信号として、第1のダウンミックスされた信号を判定する。
具体的には、図4に関して、図5Aに示されるように、現フレームがスイッチングフレームではなく、現フレームにおける残差信号をエンコードする必要がない場合、オーディオエンコーダは、S402aからS402cを実行して、現フレームにおける第1のダウンミックスされた信号を計算する。具体的には、S402は、S402aからS402cと置き換えられてよい。
ここでは、S402aからS402cが説明される。
S402a.オーディオエンコーダは、現フレームにおける第2のダウンミックスされた信号を取得する。
現フレームがスイッチングフレームではなく、現フレームにおける残差信号をエンコードする必要がないと判定する前に、オーディオエンコーダは、現フレームにおける第2のダウンミックスされた信号を計算してよい。このように、現フレームがスイッチングフレームではなく、現フレームにおける残差信号をエンコードする必要がないと判定した後に、オーディオエンコーダは、現フレームにおける計算した第2のダウンミックスされた信号を直接取得する。オーディオエンコーダは、代わりに、現フレームがスイッチングフレームではなく、現フレームにおける残差信号をエンコードする必要がないと判定した後に、現フレームにおける第2のダウンミックスされた信号を計算してよい。
任意で、オーディオエンコーダは、現フレームにおける左側チャネルの周波数領域信号及び現フレームにおける右側チャネルの周波数領域信号に基づいて、現フレームにおける第2のダウンミックスされた信号を計算してよく、現フレームの予め設定された周波数帯における対応するサブバンドの左側チャネルの周波数領域信号及び現フレームの予め設定された周波数帯における対応するサブバンドの右側チャネルの周波数領域信号に基づいて、現フレームの予め設定された周波数帯における各対応するサブバンドの第2のダウンミックスされた信号を計算してよく、現フレームのサブフレームにおける左側チャネルの周波数領域信号及び現フレームのサブフレームにおける右側チャネルの周波数領域信号に基づいて、現フレームの各サブフレームにおける第2のダウンミックスされた信号を計算してよく、又は、現サブフレームのサブフレームの予め設定された周波数帯における対応するサブバンドの左側チャネルの周波数領域信号及び現サブフレームのサブフレームの予め設定された周波数帯における対応するサブバンドの右側チャネルの周波数領域信号に基づいて、現サブフレームの各サブフレームの予め設定された周波数帯における各対応するサブバンドの第2のダウンミックスされた信号を計算してよい。
本願の本実施形態における各予め設定された周波数帯は、予め設定された低周波数帯である。
オーディオエンコーダが、現フレームのサブフレームの粒度で第2のダウンミックスされた信号を計算する場合、オーディオエンコーダは、現フレームの各サブフレームにおける第2のダウンミックスされた信号を計算する必要があることに留意されたい。このように、オーディオエンコーダは、現フレームにおける第2のダウンミックスされた信号を取得することができ、現フレームにおける第2のダウンミックスされた信号は、現フレームの各サブフレームにおける第2のダウンミックスされた信号を含む。
現フレームの各サブフレームについて、オーディオエンコーダが、サブフレームにおける各サブバンドの粒度で第2のダウンミックスされた信号を計算する場合、オーディオエンコーダは、サブフレームにおける各サブバンドの第2のダウンミックスされた信号を計算する必要がある。このように、オーディオエンコーダは、サブフレームにおける第2のダウンミックスされた信号を取得することができ、サブフレームにおける第2のダウンミックスされた信号は、サブフレームにおける各サブバンドの第2のダウンミックスされた信号を含む。
例において、本願の本実施形態におけるステレオ信号の各フレームは、P(P≧2であり、Pは整数である)個のサブフレームを含み、各サブフレームは、M(M≧2である)個のサブバンドを含み、オーディオエンコーダは、以下の式(1)にしたがって、現フレームのサブフレームiにおけるサブバンドbの第2のダウンミックスされた信号DMXib(k)を判定する。
現フレームにおける第2のダウンミックスされた信号は、現フレームのサブフレームiにおける第2のダウンミックスされた信号を含み、現フレームのサブフレームiにおける第2のダウンミックスされた信号は、現フレームのサブフレームiにおけるサブバンドbの第2のダウンミックスされた信号を含む。b及びiは両方とも整数であり、i∈[0、P-1]であり、b∈[0、M-1]である。
前述の式(1)において、
であり、
であり、
であり、
であり、IPD
i(b)は、現フレームのサブフレームiにおけるサブバンドbのIPDパラメータを表し、g_ILD
iは、現フレームのサブフレームiのサブバンド側の利得を表し、L
ib'(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、時間シフト調整後に取得される左側チャネルの周波数領域信号を表し、R
ib'(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、時間シフト調整後に取得される右側チャネルの周波数領域信号を表し、L
ib"(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、ステレオパラメータに基づいた調整後に取得される左側チャネルの周波数領域信号(例えば、IC、ILD、ITD又はIPD)を表し、R
ib"(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、ステレオパラメータに基づいた調整後に取得される右側チャネルの周波数領域信号を表し、kは周波数ビンのインデックス値を表し、k∈[band_limits(b)、band_limits(b+1)-1]であり、band_limits(b)は、現フレームのサブフレームiにおけるサブバンドbの最小周波数ビンのインデックス値を表し、band_limits(b+1)は、現フレームのサブフレームiにおけるサブバンドb+1の最小周波数ビンのインデックス値を表す。
別の例において、オーディオエンコーダは、以下の式(2)にしたがって、現フレームのサブフレームiにおけるサブバンドbの第2のダウンミックスされた信号DMXib(k)を判定する。
同様に、現フレームにおける第2のダウンミックスされた信号は、現フレームのサブフレームiにおける第2のダウンミックスされた信号を含み、現フレームのサブフレームiにおける第2のダウンミックスされた信号は、現フレームのサブフレームiにおけるサブバンドbの第2のダウンミックスされた信号を含む。b及びiは両方とも整数であり、i∈[0、P-1]であり、b∈[0、M-1]である。
式(2)におけるパラメータについては、前述の式(1)におけるパラメータについての説明を参照されたい。詳細はここでは再び説明しない。
S402b.オーディオエンコーダは、現フレームのダウンミックス補償係数を取得する。
任意で、オーディオエンコーダは、現フレームにおける左側チャネルの周波数領域信号、現フレームにおける右側チャネルの周波数領域信号、現フレームにおける第2のダウンミックスされた信号、現フレームにおける残差信号又は第1のフラグのうちの少なくとも1つに基づいて、現フレームのダウンミックス補償係数を計算してよい。
第1のフラグは、チャネル間の時間差パラメータ以外のステレオパラメータを現フレームにおいてエンコードする必要があるか否かを示すために用いられる。本願において、第1のフラグは、直接的又は間接的な形式で提示されてよい。
例えば、実施例において、第1のフラグは、フラグflagであり、フラグ=1は、チャネル間の時間差パラメータ以外のステレオパラメータを現フレームにおいてエンコードする必要があることを示し、フラグ=0は、チャネル間の時間差パラメータ以外のステレオパラメータを現フレームにおいてエンコードする必要がないことを示す。別の実装例において、チャネル間の位相差IPDが1である場合、チャネル間の時間差パラメータ以外のステレオパラメータを現フレームにおいてエンコードする必要があることを示し、チャネル間の位相差IPDが0である場合、チャネル間の時間差パラメータ以外のステレオパラメータを現フレームにおいてエンコードする必要がないことを示す。
オーディオエンコーダは、代わりに、現フレームのサブフレームiにおける左側チャネルの周波数領域信号(現フレームは、P個のサブフレームを含み、P≧2であり、i∈[0、P-1]である)、現フレームのサブフレームiにおける右側チャネルの周波数領域信号、現フレームのサブフレームiにおける第2のダウンミックスされた信号、現フレームのサブフレームiにおける残差信号又は第2のフラグのうちの少なくとも1つに基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算してよい。第2のフラグは、チャネル間の時間差パラメータ以外のステレオパラメータが現フレームのサブフレームiにおいてエンコードする必要があるか否かを示すために用いられ、現フレームのダウンミックス補償係数は、現フレームのサブフレームiのダウンミックス補償係数を含む。この場合、オーディオエンコーダは、現フレームの各サブフレームのダウンミックス補償係数を計算する必要があることが認識され得る。
オーディオエンコーダは、代わりに、現フレームのサブフレームiにおける左側チャネルの周波数領域信号(現フレームは、P個のサブフレームを含み、P≧2であり、i∈[0、P-1]である)、現フレームのサブフレームiにおける右側チャネルの周波数領域信号、現フレームのサブフレームiにおける第2のダウンミックスされた信号、現フレームのサブフレームiにおける残差信号又は第1のフラグのうちの少なくとも1つに基づいて、現フレームのサブフレームiのダウンミックス補償係数を計算してよい。第1のフラグは、チャネル間の時間差パラメータ以外のステレオパラメータを現フレームにおいてエンコードする必要があるか否かを示すために用いられ、現フレームのダウンミックス補償係数は、現フレームのサブフレームiのダウンミックス補償係数を含む。この場合、オーディオエンコーダは、現フレームの各サブフレームのダウンミックス補償係数を計算する必要があることが認識され得る。
同様に、オーディオエンコーダが現フレームのサブフレームの粒度でダウンミックス補償係数を計算する場合、オーディオエンコーダは、現フレームの各サブフレームのダウンミックス補償係数を計算する必要がある。このように、オーディオエンコーダは、現フレームのダウンミックス補償係数を取得することができ、現フレームのダウンミックス補償係数は、現フレームの各サブフレームのダウンミックス補償係数を含む。
現フレームの各サブフレームについて、オーディオエンコーダは、サブフレームにおける各サブバンドの粒度でダウンミックス補償係数を計算し、オーディオエンコーダは、サブフレームにおける各サブバンドのダウンミックス補償係数を計算する必要がある。このように、オーディオエンコーダは、サブフレームのダウンミックス補償係数を取得することができ、サブフレームのダウンミックス補償係数は、サブフレームにおける各サブバンドのダウンミックス補償係数を含む。
例えば、オーディオエンコーダは、現フレームにおける左側チャネルの周波数領域信号及び現フレームにおける右側チャネルの周波数領域信号に基づいて、現フレームのダウンミックス補償係数を計算してよく、現フレームにおけるサブバンドの左側チャネルの周波数領域信号及び現フレームにおけるサブバンドの右側チャネルの周波数領域信号に基づいて、現フレームにおける各サブバンドのダウンミックス補償係数を計算してよく、又は、現フレームの予め設定された周波数帯における各対応するサブバンドの左側チャネルの周波数領域信号及び現フレームの予め設定された周波数帯における対応するサブバンドの右側チャネルの周波数領域信号に基づいて、現フレームの予め設定された周波数帯における対応するサブバンドのダウンミックス補償係数を計算してよい。
さらに、オーディオエンコーダが、処理用に、ステレオ信号の各フレームを複数ののサブフレームに分割する場合、オーディオエンコーダは、現フレームのサブフレームにおける左側チャネルの周波数領域信号及び現フレームのサブフレームにおける右側チャネルの周波数領域信号に基づいて、現フレームの各サブフレームのダウンミックス補償係数を計算してよく、現フレームのサブフレームにおけるサブバンドの左側チャネルの周波数領域信号及び現フレームのサブフレームにおけるサブバンドの右側チャネルの周波数領域信号に基づいて、現フレームの各サブフレームにおける各サブバンドのダウンミックス補償係数を計算してよく、又は、現フレームのサブフレームの予め設定された周波数帯における対応するサブバンドの左側チャネルの周波数領域信号及び現フレームのサブフレームの予め設定された周波数帯における対応するサブバンドの右側チャネルの周波数領域信号に基づいて、現フレームの各サブフレームの予め設定された周波数帯における各対応するサブバンドのダウンミックス補償係数を計算してよい。
ここで、左側チャネルの周波数領域信号は、元の左側チャネルの周波数領域信号であってよく、時間シフト調整後に取得される左側チャネルの周波数領域信号であってよく、又は、ステレオパラメータに基づいた調整後に取得される左側チャネルの周波数領域信号であってよい。同様に、右側チャネルの周波数領域信号は、元の右側チャネルの周波数領域信号であってよく、時間シフト調整後に取得される右側チャネルの周波数領域信号であってよく、又は、ステレオパラメータに基づいた調整後に取得される右側チャネルの周波数領域信号であってよい。
任意で、オーディオエンコーダは、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号、現フレームのサブフレームiにおけるサブバンドbの右側チャネルの周波数領域信号、現フレームのサブフレームiにおけるサブバンドbの第2のダウンミックスされた信号、現フレームのサブフレームiにおけるサブバンドbの残差信号又は第2のフラグのうちの少なくとも1つに基づいて、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数αi(b)を計算する。
例では、オーディオエンコーダは、以下の式(3)
及び、
又は、
及び、
にしたがって、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号及び現フレームのサブフレームiにおけるサブバンドbの右側チャネルの周波数領域信号に基づいて、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数α
i(b)を計算する。
E_Li(b)は、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号のエネルギーの総和を表し、E_Ri(b)は、現フレームのサブフレームiにおけるサブバンドbの右側チャネルの周波数領域信号のエネルギーの総和を表し、E_LRi(b)は、現フレームのサブフレームiのサブバンドbにおける左側チャネルの周波数領域信号のエネルギーと右側チャネルの周波数領域信号のエネルギーとのエネルギーの総和を表し、Lib'(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、時間シフト調整後に取得される左側チャネルの周波数領域信号を表し、Rib'(k)は、現フレームのサブフレームiにおけるサブバンドbにあり、かつ、時間シフト調整後に取得される右側チャネルの周波数領域信号を表し、bは整数であり、b∈[0、M-1]である。さらに、band_limits(b)、band_limits(b+1)、Lib"(k)及びRib"(k)については、前述の式(1)におけるパラメータの説明を参照されたい。詳細はここでは再び説明しない。現フレームのサブフレームiのダウンミックス補償係数は、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数を含む。
別の例において、オーディオエンコーダは、以下の式(4)にしたがって、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号及び現フレームのサブフレームiにおけるサブバンドbの残差信号に基づいて、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数α
i(b)を計算する。
E_Si(b)は、現フレームのサブフレームiにおけるサブバンドbの残差信号のエネルギーの総和を表し、RESib'(k)は、現フレームのサブフレームiにおけるサブバンドbの残差信号を表し、現フレームのサブフレームiのダウンミックス補償係数は、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数を含み、bは整数であり、b∈[0、M-1]である。E_Li(b)については、前述の式(3)の説明を参照されたい。詳細はここでは再び説明しない。band_limits(b)及びband_limits(b+1)については、前述の式(1)におけるパラメータの説明を参照されたい。詳細はここでは再び説明しない。現フレームのサブフレームiのダウンミックス補償係数は、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数を含む。
別の例において、オーディオエンコーダは、以下の式(5)にしたがって、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号、現フレームのサブフレームiにおけるサブバンドbの右側チャネルの周波数領域信号及び第2のフラグに基づいて、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数α
i(b)を計算する。
nipd_flagは、第2のフラグを表し、nipd_flag=1は、現フレームのサブフレームiにおいてチャネル間の時間差パラメータ以外のステレオパラメータをエンコードする必要がないことを示し、nipd_flag=0は、現フレームのサブフレームiにおいてチャネル間の時間差パラメータ以外のステレオパラメータをエンコードする必要があることを示し、bは整数であり、b∈[0、M-1]である。E_Li(b)、E_Ri(b)及びE_LRi(b)については、前述の式(3)におけるパラメータの説明を参照されたい。詳細はここでは再び説明しない。現フレームのサブフレームiのダウンミックス補償係数は、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数を含む。
別の例において、オーディオエンコーダは、以下の式(6)にしたがって、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号及び現フレームのサブフレームiにおけるサブバンドbの右側チャネルの周波数領域信号に基づいて、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数α
i(b)を計算する。
bは整数であり、b∈[0、M-1]である。E_Li(b)、E_Ri(b)及びE_LRi(b)については、前述の式(3)におけるパラメータの説明を参照されたい。詳細はここでは再び説明しない。現フレームのサブフレームiのダウンミックス補償係数は、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数を含む。
別の例において、オーディオエンコーダは、以下の式(7)にしたがって、現フレームのサブフレームiにおけるサブバンドbの右側チャネルの周波数領域信号及び現フレームのサブフレームiにおけるサブバンドbの残差信号に基づいて、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数α
i(b)を計算する。
bは整数であり、b∈[0、M-1]である。E_Si(b)については、前述の式(4)の説明を参照されたい。E_Ri(b)については、前述の式(3)の説明を参照されたい。詳細はここでは再び説明しない。現フレームのサブフレームiのダウンミックス補償係数は、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数を含む。
別の例において、オーディオエンコーダは、以下の式(8)にしたがって、現フレームのサブフレームiにおけるサブバンドbの左側チャネルの周波数領域信号、現フレームのサブフレームiにおけるサブバンドbの右側チャネルの周波数領域信号及び第2のフラグに基づいて、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数α
i(b)を計算する。
bは整数であり、b∈[0、M-1]である。E_Li(b)、E_Ri(b)及びE_LRi(b)については、前述の式(3)におけるパラメータの説明を参照されたい。nipd_flagについては、前述の式(5)の説明を参照されたい。詳細はここでは再び説明しない。現フレームのサブフレームiのダウンミックス補償係数は、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数を含む。
任意で、オーディオエンコーダは、現フレームのサブフレームiの予め設定された周波数帯における各サブバンドにおける左側チャネルの周波数領域信号、現フレームのサブフレームiの予め設定された周波数帯における各サブバンドにおける右側チャネルの周波数領域信号、現フレームのサブフレームiの予め設定された周波数帯における各サブバンドにおける第2のダウンミックスされた信号、現フレームのサブフレームiの予め設定された周波数帯における各サブバンドにおける残差信号又は第2のフラグのうちの少なくとも1つに基づいて、現フレームのサブフレームiのダウンミックス補償係数αiを計算する。
例において、オーディオエンコーダは、現フレームのサブフレームiにおける左側チャネルの周波数領域信号及び現フレームのサブフレームiにおける右側チャネルの周波数領域信号に基づいて、以下の式(9)、
及び、
又は、
及び、
にしたがって、現フレームのサブフレームiにおけるダウンミックス補償係数α
iを計算する。
E_Liは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける左側チャネルの周波数領域信号のエネルギーの総和を表し、E_Riは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける右側チャネルの周波数領域信号のエネルギーの総和を表し、E_LRiは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける左側チャネルの周波数領域信号のエネルギーと右側チャネルの周波数領域信号のエネルギーとのエネルギーの総和を表し、band_limits_1は、予め設定された周波数帯のすべてのサブバンドの最小周波数ビンのインデックス値を表し、band_limits_2は、予め設定された周波数帯のすべてのサブバンドの最大周波数ビンのインデックス値を表し、Li"(k)は、現フレームのサブフレームiにあり、かつ、ステレオパラメータに基づいた調整後に取得される左側チャネルの周波数領域信号を表し、Ri"(k)は、現フレームのサブフレームiにあり、かつ、ステレオパラメータに基づいた調整後に取得される右側チャネルの周波数領域信号を表し、Li'(k)は、サブフレームiにあり、かつ、時間シフト調整後に取得される左側チャネルの周波数領域信号を表し、Ri'(k)は、サブフレームiにあり、かつ、時間シフト調整後に取得される右側チャネルの周波数領域信号を表し、kは周波数ビンのインデックス値を表し、現フレームは、P個のサブフレームを含み、P及びiの両方は整数であり、i∈[0、P-1]であり、P≧2である。
別の例において、オーディオエンコーダは、以下の式(10)
にしたがって、現フレームのサブフレームiにおけるダウンミックス補償係数を、現フレームのサブフレームiにおける左側チャネルの周波数領域信号及び現フレームのサブフレームiにおける残差信号に基づいて計算する。
E_Siは、現フレームのサブフレームiにおける予め設定された周波数帯のすべてサブバンドにおける残差信号のエネルギーの総和を表し、RESi'(k)は、現フレームのサブフレームiにおける予め設定された周波数帯のすべてのサブバンドにおける残差信号を表す。
E_Li、band_limits_1及びband_limits_2については、前述の式(9)におけるパラメータの説明を参照されたい。詳細はここでは再び説明しない。
別の例において、オーディオエンコーダは、以下の式(11)にしたがって、現フレームのサブフレームiにおける左側チャネルの周波数領域信号、現フレームのサブフレームiにおける右側チャネルの周波数領域信号及び第2のフラグに基づいて、現フレームのサブフレームiにおけるダウンミックス補償係数α
iを計算する。
E_Li、E_Ri及びE_LRiについては、前述の式(9)におけるパラメータの説明を参照されたい。nipd_flagについては、前述の式(5)の説明を参照されたい。詳細はここでは再び説明しない。
別の例において、オーディオエンコーダは、以下の式(12)にしたがって、現フレームのサブフレームiにおける左側チャネルの周波数領域信号及び現フレームのサブフレームiにおける右側チャネルの周波数領域信号に基づいて、現フレームのサブフレームiにおけるダウンミックス補償係数α
iを計算する。
E_Li、E_Ri及びE_LRiについては、前述の式(9)におけるパラメータの説明を参照されたい。詳細はここでは再び説明しない。
別の例において、オーディオエンコーダは、以下の式(13)にしたがって、現フレームのサブフレームiにおける右側チャネルの周波数領域信号及び現フレームのサブフレームiにおける残差信号に基づいて、現フレームのサブフレームiにおけるダウンミックス補償係数α
iを計算する。
E_Si及びRESi'(k)については、前述の式(10)におけるパラメータの説明を参照されたい。詳細はここでは再び説明しない。E_Li、band_limits_1及びband_limits_2については、前述の式(9)を参照されたい。詳細はここでは再び説明しない。
別の例において、オーディオエンコーダは、以下の式(14)にしたがって、現フレームのサブフレームiにおける左側チャネルの周波数領域信号、現フレームのサブフレームiにおける右側チャネルの周波数領域信号及び第2のフラグに基づいて、現フレームのサブフレームiにおけるダウンミックス補償係数α
iを計算する。
E_Li、E_Ri及びE_LRiについては、前述の式(9)におけるパラメータの説明を参照されたい。nipd_flagについては、前述の式(5)の説明を参照されたい。詳細はここでは再び説明しない。
任意で、本願の本実施形態において、予め設定された周波数帯の最小サブバンドのインデックス値は、res_cod_band_minとして示されてよく(又は、Th1として示されてよく)、予め設定された周波数帯の最大サブバンドのインデックス値は、res_cod_band_maxとして示されてよい(又は、Th2として示されてよい)。この場合、予め設定された周波数帯のサブバンドbのインデックスの値は、res_cod_band_min<b<res_cod_band_maxを満たし、res_cod_band_min≦b≦res_cod_band_maxを満たしてよい、res_cod_band_min≦b<res_cod_band_maxを満たしてよい、又は、res_cod_band_min<b≦res_cod_band_maxを満たしてよい。
予め設定された周波数帯の範囲は、現フレームにおける残差信号をエンコードする必要があるか否かを判定するために用いられる周波数帯域範囲と同じであってよい、又は、現フレームにおける残差信号をエンコードする必要があるか否かを判定するために用いられる周波数帯域範囲とは異なってよい。
例えば、予め設定された周波数帯は、サブバンドのインデックス値が0より大きい又は0と等しく、かつ、5より大きいすべてのサブバンドを含んでよい、又は、サブバンドのインデックス値が0より大きく、かつ、5より小さいすべてのサブバンドを含んでよい、又は、サブバンドのインデックス値が1より大きく、かつ、7より小さいすべてのサブバンドを含んでよい。
オーディオエンコーダは、まずS402aを実行し、次に、S402bを実行してよい、又は、まずS402bを実行し、次に、S402aを実行してよい、又は、同時にS402a及びS402bを実行してよい。これは、本願の本実施形態において特に限定されるものではない。
S402c.オーディオエンコーダは、現フレームのダウンミックス補償係数に基づいて現フレームにおける第2のダウンミックスされた信号を補正して、現フレームにおける第1のダウンミックスされた信号を取得する。
任意で、オーディオエンコーダは、現フレームにおける左側チャネルの周波数領域信号(又は、現フレームにおける右側チャネルの周波数領域信号)及び現フレームのダウンミックス補償係数に基づいて、現フレームにおける補償されたダウンミックスされた信号を計算する。次に、オーディオエンコーダは、現フレームにおける第2のダウンミックスされた信号及び現フレームにおける補償されたダウンミックスされた信号に基づいて、現フレームにおける第2のダウンミックスされた信号を補正して、現フレームにおける第1のダウンミックスされた信号を取得する。
オーディオエンコーダは、現フレームにおける補償されたダウンミックスされた信号として、現フレームにおける左側チャネルの周波数領域信号(又は、現フレームにおける右側チャネルの周波数領域信号)と現フレームのダウンミックス補償係数との積を判定してよい。
任意で、オーディオエンコーダは、現フレームのサブフレームiにおける左側チャネルの周波数領域信号(又は、現フレームのサブフレームiにおける右側チャネルの周波数領域信号)及び現フレームのサブフレームiのダウンミックス補償係数に基づいて、現フレームのサブフレームiにおける補償されたダウンミックスされた信号を計算する。次に、オーディオエンコーダは、現フレームのサブフレームiにおける第2のダウンミックスされた信号及び現フレームのサブフレームiにおける補償されたダウンミックスされた信号に基づいて、現フレームのサブフレームiにおける第1のダウンミックスされた信号を計算する。
現フレームは、P(P≧2である)個のサブフレームを含み、現フレームにおける第1のダウンミックスされた信号は、現フレームのサブフレームiにおける第1のダウンミックスされた信号を含み、i∈[0、P-1]であり、P及びiの両方は整数である。
オーディオエンコーダは、現フレームのサブフレームiにおける補償されたダウンミックスされた信号として、現フレームのサブフレームiにおける左側チャネルの周波数領域信号(又は、現フレームのサブフレームiにおける右側チャネルの周波数領域信号)と現フレームのサブフレームiのダウンミックス補償係数との積を判定してよい。
オーディオエンコーダは、現フレームのダウンミックス補償係数を計算してよく、現フレームにおける各サブバンドのダウンミックス補償係数を計算してよく、現フレームの予め設定された周波数帯における各対応するサブバンドのダウンミックス補償係数を計算してよく、現フレームの各サブフレームのダウンミックス補償係数を計算してよく、現フレームの各サブフレームにおける各サブバンドのダウンミックス補償係数を計算してよく、又は、現フレームの各サブフレームの予め設定された周波数帯における各対応するサブバンドのダウンミックス補償係数を計算してよいことが、S402bの説明から認識され得る。同様に、オーディオエンコーダはまた、ダウンミックス補償係数を計算する方式と同様の方式で、現フレームにおける補償されたダウンミックスされた信号及び現フレームにおける第1のダウンミックスされた信号を計算する必要がある。
ここでは、オーディオエンコーダにより、現フレームにおける補償されたダウンミックスされた信号を計算するための方法が説明される。
例において、オーディオエンコーダが前述の式(3)、式(4)又は式(5)にしたがって、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数αi(b)を計算する場合、オーディオエンコーダは、以下の式(15)にしたがって、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号DMX_compib(k)を計算する。
DMX_compib(k)=αi(b)×Lib"(k) (15)
Lib"(k)については、前述の式(1)の説明を参照されたい。詳細はここでは再び説明しない。
別の例において、オーディオエンコーダが前述の式(6)、式(7)又は式(8)にしたがって、現フレームのサブフレームiにおけるサブバンドbのダウンミックス補償係数αi(b)を計算する場合、オーディオエンコーダは、以下の式(16)にしたがって、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号DMX_compib(k)を計算する。
DMX_compib(k)=αi(b)×Rib"(k) (16)
Rib"(k)については、前述の式(1)の説明を参照されたい。詳細はここでは再び説明しない。
別の例において、オーディオエンコーダが前述の式(9)、式(10)又は式(11)にしたがって、現フレームのサブフレームiにおけるダウンミックス補償係数αiを計算する場合、オーディオエンコーダは、以下の式(17)にしたがって、現フレームのサブフレームiの予め設定された周波数帯における各サブバンドの補償されたダウンミックスされた信号DMX_compi(k)を計算する。
DMX_compi(k)=αi×Li"(k) (17)
Li"(k)については、前述の式(9)の説明を参照されたい。詳細はここでは再び説明しない。
別の例において、オーディオエンコーダが、前述の式(12)、式(13)又は式(14)にしたがって、現フレームのサブフレームiにおけるダウンミックス補償係数αiを計算する場合、オーディオエンコーダは、以下の式(18)にしたがって、現フレームのサブフレームiの予め設定された周波数帯における各サブバンドの補償されたダウンミックスされた信号DMX_compi(k)を計算する。
DMX_compi(k)=αi×Ri"(k) (18)
Ri"(k)については、前述の式(9)の説明を参照されたい。詳細はここでは再び説明しない。
任意で、現フレームにおける補償されたダウンミックスされた信号を計算した後に、オーディオエンコーダは、現フレームにおける第1のダウンミックスされた信号といて、現フレームにおける第2のダウンミックスされた信号と現フレームにおける補償されたダウンミックスされた信号との和を判定してよい。現フレームのサブフレームiにおける補償されたダウンミックスされた信号を計算した後に、オーディオエンコーダは、現フレームにおける第1のダウンミックスされた信号として、現フレームのサブフレームiにおける第2のダウンミックスされた信号と現フレームのサブフレームiにおける補償されたダウンミックスされた信号との和を判定してよい。
例において、オーディオエンコーダが、前述の式(15)又は(16)にしたがって、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号DMX_comp
ib(k)を計算する場合、オーディオエンコーダは、以下の式(19)にしたがって、現フレームのサブフレームiにおけるサブバンドbの第1のダウンミックスされた信号
を計算する。
DMXib(k)は、現フレームのサブフレームiにおけるサブバンドbの第2のダウンミックスされた信号を表す。オーディオエンコーダは、前述の式(1)又は式(2)にしたがって、DMXib(k)を計算してよい。
別の例において、オーディオエンコーダが前述の式(17)又は(18)にしたがって、現フレームのサブフレームiの予め設定された周波数帯における各サブバンドの補償されたダウンミックスされた信号DMX_comp
i(k)を計算する場合、オーディオエンコーダは、以下の式(20)にしたがって、現フレームのサブフレームiの予め設定された周波数帯における各サブバンドの第1のダウンミックスされた信号
を計算する。
DMXi(k)は、現フレームのサブフレームiの予め設定された周波数帯における各サブバンドの第2のダウンミックスされた信号を表す。DMXi(k)を計算する方法は、DMXib(k)を計算する方法と同様であり、詳細はここでは再び説明しない。
前述の説明に関して、本願の本実施形態では、ステレオ信号の現フレームの前フレームがスイッチングフレームではなく、前フレームにおける残差信号をエンコードする必要がないと判定された場合、現フレームにおける第1のダウンミックスされた信号を計算するために、新たな方法も用いられることが認識され得る。
実施例において、ステレオ信号の現フレームの前フレームがスイッチングフレームではなく、前フレームにおける残差信号をエンコードする必要がないと判定された場合、オーディオエンコーダにより現フレームにおける第1のダウンミックスされた信号を計算するための方法は、オーディオエンコーダにより、現フレームにおける第2のダウンミックスされた信号及び現フレームのダウンミックス補償係数を取得する段階と、現フレームの取得したダウンミックス補償係数及び現フレームにおける取得した第2のダウンミックスされた信号に基づいて、現フレームにおける第2のダウンミックスされた信号を補正して、現フレームにおける第1のダウンミックスされた信号を取得する段階とを含む。
具体的には、図5Aに関して、図5Bに示されるように、ステレオ信号の現フレームの前フレームがスイッチングフレームではなく、前フレームにおける残差信号をエンコードする必要がないと判定された場合に、S401は、S401'と置き換えられる。
S401'.オーディオエンコーダは、ステレオ信号の現フレームの前フレームがスイッチングフレームであるか否か、及び、前フレームにおける残差信号をエンコードする必要があるか否かを判定する。
別の実装例において、ステレオ信号の現フレームの前フレームがスイッチングフレームではなく、前フレームにおける残差信号をエンコードする必要がないと判定された場合、オーディオエンコーダにより、現フレームにおける第1のダウンミックスされた信号を計算するための方法は、オーディオエンコーダにより、前フレームのダウンミックス補償係数及び現フレームにおける第2のダウンミックスされた信号を取得する段階と、前フレームの取得したダウンミックス補償係数及び現フレームにおける取得した第2のダウンミックスされた信号に基づいて、現フレームにおける第2のダウンミックスされた信号を補正して、現フレームにおける第1のダウンミックスされた信号を取得する段階とを含む。
具体的には、図5Bに関して、図5Cに示されるように、ステレオ信号の現フレームの前フレームがスイッチングフレームではなく、前フレームにおける残差信号をエンコードする必要がないと判定された場合、図5BにおけるS402aからS402cは、S500及びS501と置き換えられる。
S500.オーディオエンコーダは、前フレームのダウンミックス補償係数及び現フレームにおける第2のダウンミックスされた信号を取得する。
オーディオエンコーダにより、前フレームのダウンミックス補償係数を取得するための方法は、オーディオエンコーダにより、現フレームのダウンミックス補償係数を取得するための方法と同様である。詳細については、S402bの説明を参照されたい。詳細はここでは再び説明しない。
オーディオエンコーダにより、現フレームにおける第2のダウンミックスされた信号を取得するための方法については、S402aの説明を参照されたい。詳細はここでは再び説明しない。
S501.オーディオエンコーダは、前フレームのダウンミックス補償係数及び現フレームにおける第2のダウンミックスされた信号に基づいて、現フレームにおける第2のダウンミックスされた信号を補正して、現フレームにおける第1のダウンミックスされた信号を取得する。
任意で、オーディオエンコーダは、現フレームにおける左側チャネルの周波数領域信号(又は、現フレームにおける右側チャネルの周波数領域信号)及び前フレームのダウンミックス補償係数に基づいて、現フレームにおける補償されたダウンミックスされた信号を計算する。次に、オーディオエンコーダは、現フレームにおける第2のダウンミックスされた信号及び現フレームにおける補償されたダウンミックスされた信号に基づいて、現フレームにおける第1のダウンミックスされた信号を計算する。
オーディオエンコーダは、現フレームにおける補償されたダウンミックスされた信号として、現フレームにおける第1の周波数領域信号と前フレームのダウンミックス補償係数との積を判定し、現フレームにおける第1のダウンミックスされた信号として、現フレームにおける第2のダウンミックスされた信号と現フレームにおける補償されたダウンミックスされた信号との和を判定してよい。
任意で、オーディオエンコーダは、現フレームのサブフレームiにおける左側チャネルの周波数領域信号(又は、現フレームのサブフレームiにおける右側チャネルの周波数領域信号)、及び、前フレームのサブフレームiのダウンミックス補償係数に基づいて、現フレームのサブフレームiにおける補償されたダウンミックスされた信号を計算する。次に、オーディオエンコーダは、現フレームのサブフレームiにおける第2のダウンミックスされた信号及び現フレームのサブフレームiにおける補償されたダウンミックスされた信号に基づいて、現フレームのサブフレームiにおける第1のダウンミックスされた信号を計算する。
オーディオエンコーダは、サブフレームiにおける補償されたダウンミックスされた信号として、サブフレームiにおける第2の周波数領域信号とサブフレームiのダウンミックス補償係数との積を判定し、現フレームのサブフレームiにおける第1のダウンミックスされた信号として、現フレームのサブフレームiにおける第2のダウンミックスされた信号と現フレームのサブフレームiにおける補償されたダウンミックスされた信号との和を判定してよい。
「オーディオエンコーダにより、前フレームのダウンミックス補償係数及び現フレームにおける第2のダウンミックスされた信号に基づいて、現フレームにおける第2のダウンミックスされた信号を補正して、現フレームにおける第1のダウンミックスされた信号を取得する」ための方法は、オーディオエンコーダにより、現フレームにおける第2のダウンミックスされた信号及び現フレームのダウンミックス補償係数に基づいて、現フレームにおける第2のダウンミックスされた信号を補正して、現フレームにおける第1のダウンミックスされた信号を取得するための前述の方法と同様であることが認識され得る。詳細については、S402cの説明を参照されたい。詳細はここでは再び説明しない。
実際の適用では、オーディオエンコーダの内部コードは、異なる設定を有してよい。実際の要求条件及び内部コードに基づいて、オーディオエンコーダは、図5Aに示される手順にしたがって、現フレームにおける第1のダウンミックスされた信号を計算してよい、図5Bに示される手順にしたがって、現フレームにおける第1のダウンミックスされた信号を計算してよい、又は、図5Cに示される手順にしたがって、現フレームにおける第1のダウンミックスされた信号を計算してよい。
現フレームがスイッチングフレームである、又は、現フレームにおける残差信号をエンコードする必要がある場合、オーディオエンコーダは、S401及びS402を含む方法とは異なる方法を用いて、現フレームにおける第1のダウンミックスされた信号を計算する。このように、異なる事例では、現フレームにおける第1のダウンミックスされた信号を計算するための方法は異なっており、残差信号をエンコーディングする段階と、残差信号のエンコーディングを省略する段階との間の予め設定された周波数帯で交互に切り替えることによって生じる、デコードされたステレオ信号の空間感覚が不連続であり、サウンドイメージの安定性が悪いという課題を解決し、これにより、聴覚品質を効果的に改善する。
本願の本実施形態において提供されるダウンミックスされた信号の計算方法を十分に理解するために、ここでは、予め設定された周波数帯の対応するサブバンドにおける残差信号をエンコードするか否かを適応的に選択するための方法が説明される、すなわち、本願におけるオーディオ信号のエンコーディング方法が説明される。
具体的には、図6A及び図6Bは本願に係るオーディオ信号のエンコーディング方法の概略フローチャートである。説明しやすくするために、図6A及び図6Bでは、オーディオエンコーダが実行主体である例が説明のために用いられる。本願の本実施形態では、説明のための例として、26kbpsの符号化レートで実行される広帯域ステレオエンコーディングが用いられる。
本願におけるオーディオ信号のエンコーディング方法は、26kbpsの符号化レートで実行される広帯域ステレオエンコーディングにおいて実施されることに限定されるものではなく、又は、超広帯域ステレオエンコーディング又は別のレートで実行されるエンコーディングに適用されてよいことに留意されたい。
図6A及び図6Bに示されるように、オーディオ信号のエンコーディング方法は以下の段階を含む。
S600.オーディオエンコーダは、ステレオ信号の左側チャネルの時間領域信号及び右側チャネルの時間領域信号に対して時間領域の前処理を実行する。
本願の本実施形態において、「左側チャネルの時間領域信号及び右側チャネルの時間領域信号」は、左側のチャネルの時間領域信号及び右側のチャネルの時間領域信号であり、「前処理された左側チャネルの時間領域信号及び右側チャネルの時間領域信号」は、前処理された左側チャネルの時間領域信号及び前処理された右側チャネルの時間領域信号である。
本願の本実施形態におけるステレオ信号は、元のステレオ信号であってよい、マルチチャネル信号に含まれる信号の2つのチャネルにより構成されるステレオ信号であってよい、又は、マルチチャネル信号に含まれる複数のチャネルの信号により共同で生成される信号の2つのチャネルにより構成されるステレオ信号であってよい。
本願の本実施形態におけるステレオエンコーディングは、独立したステレオエンコーダにより実行されてよく、又は、マルチチャネルエンコーダのコアエンコーディング部分により実行されてよく、マルチチャネル信号に含まれる複数のチャネルの信号により共同で生成される信号の2つのチャネルにより構成されるステレオ信号をエンコードすることを目的とする。
概して、オーディオエンコーダは、ステレオ信号に対してフレーミング処理を実行し、ステレオ信号の各フレームに基づいて、エンコーディングを実行する。ステレオ信号のサンプリングレートが16kHzである場合、信号の各フレームは20msであり、フレームの長さはNとして示され、N=320である、すなわち、フレームの長さは、320個のサンプリングポイントと等しい。フレームの長さは、通常、ステレオ信号に含まれる1つのチャネルの信号のフレームの長さである。各ステレオ信号は、左側のチャネルの時間領域信号及び右側のチャネルの時間領域信号を含む。それに応じて、現フレームにおけるステレオ信号は、現フレームにおける左側チャネルの時間領域信号及び現フレームにおける右側チャネルの時間領域信号を含む。
説明しやすくするために、ここでの説明のための例として、現フレームが用いられる。本願の本実施形態において、現フレームにおける左側チャネルの時間領域信号は、XL(n)として示され、現フレームにおける右側チャネルの時間領域信号は、XR(n)として示され、nはサンプリングポイントのシーケンス番号を表し、n=0、1、...、N-1である。
具体的には、オーディオエンコーダは、現フレームにおける左側チャネルの時間領域信号及び右側チャネルの時間領域信号の両方に対してハイパスフィルタリング処理を実行して、現フレームにおける前処理された左側チャネルの時間領域信号及び右側チャネルの時間領域信号を取得する。本願の本実施形態において、現フレームにおける前処理された左側チャネルの時間領域信号は、xLHP(n)として示され、現フレームにおける前処理された右側チャネルの時間領域信号は、xRHP(n)として示される。ここで、ハイパスフィルタリング処理は、遮断周波数が20Hzである無限インパルス応答(Infinite Impulse Response、IIR)フィルタにより実行されてよい、又は、別のタイプのフィルタにより実行されてよい。
例えば、サンプリングレートが16kHzであり、遮断周波数が20Hzであるハイパスフィルタの伝達関数は、以下のとおり表され得る。
伝達関数において、
b0=0.994461788958195、
b1=-1.988923577916390、
b2=0.994461788958195、
a1=1.988892905899653、
a2=-0.988954249933127
であり、zは、Z-変換の変換係数を表す。
それに応じて、現フレームにおける前処理された左側チャネルの時間領域信号xLHP(n)は、以下のとおりである。
xLHP(n)=b0×xL(n)+b1×xL(n-1)+b2×xL(n-2)-a1×xLHP(n-1)-a2×xLHP(n-2)
現フレームにおける前処理された右側チャネルの時間領域信号xRHP(n)は、以下のとおりである。
xRHP(n)=b0×xR(n)+b1×xR(n-1)+b2×xR(n-2)-a1×xRHP(n-1)-a2×xRHP(n-2)
S601.オーディオエンコーダは、前処理された左側チャネルの時間領域信号及び右側チャネルの時間領域信号に対して時間領域分析を実行する。
任意で、オーディオエンコーダが前処理された左側チャネルの時間領域信号及び右側チャネルの時間領域信号に対して時間領域分析を実行することは、オーディオエンコーダにより、前処理された左側チャネルの時間領域信号及び右側チャネルの時間領域信号に対して過渡検出を実行することであってよい。
過渡検出は、現フレームにおいてエネルギーバーストが発生しているか否かを検出するために、現フレームにおける前処理された左側チャネルの時間領域信号及び現フレームにおける前処理された右側チャネルの時間領域信号の両方に対して、オーディオエンコーダにより実行されるエネルギー検出であってよい。
例えば、オーディオエンコーダは、現フレームにおける前処理された左側チャネルの時間領域信号のエネルギーがEcur-Lであると判定し、オーディオエンコーダは、前フレームにおける前処理された左側チャネルの時間領域信号のエネルギーEpre-Lと現フレームにおける前処理された左側チャネルの時間領域信号のエネルギーEcur-Lとの間の差の絶対値に基づいて過渡検出を実行して、現フレームにおける前処理された左側チャネルの時間領域信号の過渡検出結果を取得する。
同様に、オーディオエンコーダは、同じ方法を用いて、現フレームにおける前処理された右側チャネルの時間領域信号に対して過渡検出を実行してよい。
代わりに、時間領域分析が過渡検出以外の従来技術にける時間領域分析、例えば、時間領域のチャネル間の時間差パラメータ(Inter-channel Time Difference、ITD)の予備的な判定、時間領域における遅延調整処理及び帯域拡張の前処理であってよいことが容易にわかる。
S602.オーディオエンコーダは、前処理された左側チャネル信号及び右側チャネル信号に対して時間-周波数変換を実行して、左側チャネルの周波数領域信号及び右側チャネルの周波数領域信号を取得する。
具体的には、オーディオエンコーダは、前処理された左側チャネルの時間領域信号に対して離散フーリエ変換(Discrete Fourier Transform、DFT)を実行して左側チャネルの周波数領域信号を取得し、前処理された右側チャネルの時間領域信号に対して離散フーリエ変換を実行して右側チャネルの周波数領域信号を取得してよい。
スペクトルエイリアシングの課題を克服するために、通常、重畳加算方法が、離散フーリエ変換の2つの連続した時間の間の処理のために用いられる。実際の要求条件に基づいて、オーディオエンコーダは、さらに、離散フーリエ変換が実行される入力信号にゼロを加算してよい。
任意で、オーディオエンコーダは、各フレームに対して1回、離散フーリエ変換を実行してよい、又は、各フレームをP(P≧2)個のサブフレームに分割して、各サブフレームに対して1回、離散フーリエ変換を実行してよい。
オーディオエンコーダが、各フレームに対して1回離散フーリエ変換を実行する場合、変換された左側チャネルの周波数領域信号は、L(k)として示されてよく、k=0、1、...、a/2-1であり、変換された右側チャネルの周波数領域信号は、R(k)として示されてよく、k=0、1、...、a/2-1であり、kは周波数ビンのインデックス値を表し、aは、離散フーリエ変換が各フレームに対して1回実行される部分の長さを表す。
オーディオエンコーダが、各サブフレームに対して1回離散フーリエ変換を実行する場合、サブフレームiにおける変換された左側チャネルの周波数領域信号は、Li(k)として示されてよく、k=0、1、...、L/2-1であり、サブフレームiにおける変換された右側チャネルの周波数領域信号は、Ri(k)として示されてよく、k=0、1、...、L/2-1であり、kは周波数ビンのインデックス値を表し、Lは離散フーリエ変換が各サブフレームに対して1回実行される部分の長さを表し、iはサブフレームのインデックス値を表し、i=0、1、...、P-1である。
例えば、左側チャネル信号又は右側チャネル信号の各フレームが20msである場合、フレームの長さNは320であり、オーディオエンコーダは、各フレームを2つのサブフレームに分割する、すなわち、P=2であり、信号の各サブフレームは10msであり、サブフレームの長さは160である。離散フーリエ変換が各サブフレームに対して1回実行される部分の長さLは400であり、サブフレームiにおける変換された左側チャネルの周波数領域信号は、Li(k)として示されてよく、k=0,1、...、199であり、サブフレームiにおける変換された右側チャネルの周波数領域信号は、Ri(k)として示されてよく、k=0,1、...、199であり、iの値は0又は1である。
任意で、オーディオエンコーダは、代わりに、高速フーリエ変換(Fast Fourier Transform、FFT)及び修正離散コサイン変換(Modified Discrete Cosine Transform、MDCT)などの時間-周波数変換技術を用いて、時間領域信号を周波数領域信号に変換してよい。これは、本願の本実施形態において特に限定されるものではない。
S603.オーディオエンコーダは、ITDパラメータを判定し、ITDパラメータをエンコードする。
任意で、オーディオエンコーダは、周波数領域におけるITDパラメータを判定してよい、時間領域におけるITDパラメータを判定してよい、又は、時間-周波数領域におけるITDパラメータを判定してよい。これは、本願の本実施形態において特に限定されるものではない。
例では、オーディオエンコーダは、相関係数を用いて、時間領域におけるITDパラメータを抽出する。0≦i≦T
maxの範囲内で、オーディオエンコーダは、
及び、
を計算する。 max(c
n(i))>max(c
p(i))である場合、ITDパラメータ値は、max(c
n(i))に対応するインデックス値の反対の数であり、そうでない場合、ITDパラメータ値は、max(c
p(i))に対応するインデックス値である。iは相関係数を計算するためのインデックス値を表し、jはサンプリングポイントのインデックス値を表し、T
maxは、異なるサンプリングレートでの最大のITD値に対応しており、Nはフレームの長さを表す。
別の例において、オーディオエンコーダは、左側チャネルの周波数領域信号及び右側チャネルの周波数領域信号に基づいて、周波数領域におけるITDパラメータを判定する。
任意で、オーディオエンコーダは、サブフレームiの周波数領域の相関係数XCORRi(k)を計算し、XCORRi(k)=Li(k)×Ri
*(k)であり、Ri
*(k)は、サブフレームiにおける右側チャネルの周波数領域信号の共役を表す。次に、オーディオエンコーダは、周波数領域の相関係数XCORRi(k)を時間領域の係数xcorri(n)に変換し、n=0、1、...、L-1である。最後に、オーディオエンコーダは、L/2-Tmax≦n≦L/2+Tmaxの範囲において、xcorri(n)の最大値を探索し、サブフレームiに対応するITDパラメータ値Tiを取得する、すなわち、Ti=arg max(xcorri(n))-L/2である。
任意で、オーディオエンコーダは、サブフレームiにおける左側チャネルの周波数領域信号及びサブフレームiにおける右側チャネルの周波数領域信号に基づいて、-T
max≦j≦T
maxの探索範囲内で振幅値mag(j)をさらに計算してよく、
であり、ITDパラメータ値T
iは、T
i=arg max(mag(j))であり、具体的には、ITDパラメータ値T
iは、最大振幅値に対応するインデックス値である。
具体的には、ITDパラメータを判定した後に、オーディオエンコーダは、ITDパラメータをエンコードし、エンコードしたITDパラメータをステレオエンコードされたビットストリームに書き込む。本願の本実施形態において、オーディオエンコーダは、いずれかの既存の量子化エンコーディング技術を用いて、ITDパラメータをエンコードしてよい。これは、本願の本実施形態において特に限定されるものではない。
S604.オーディオエンコーダは、ITDパラメータに基づいて、左側チャネルの周波数領域信号及び右側チャネルの周波数領域信号に対する時間シフト調整を実行する。
オーディオエンコーダは、任意の既存技術にしたがって、左側チャネルの周波数領域信号及び右側チャネルの周波数領域信号に対して時間シフト調整を実行してよい。これは、本願の本実施形態において特に限定されるものではない。
ここで、説明のために、各フレームがP個のサブフレームに分割され、P=2である例が用いられる。本願の本実施形態において、サブフレームiにあり、時間シフト調整後に取得される左側チャネルの周波数領域信号は、L
i'(k)として示されてよく、k=0、1、...、L/2-1であり、サブフレームiにあり、時間シフト調整後に取得される右側チャネルの周波数領域信号は、R
i'(k)として示されてよく、k=0、1、...、L/2-1であり、kは周波数ビンのインデックス値を表し、iはサブフレームのインデックス値を表し、i=0、1、...、P-1である。
Tiは、サブフレームiに対応するITDパラメータ値を表し、Lは、離散フーリエ変換が各サブフレームに対して1回実行される部分の長さを表し、Li(k)は、サブフレームiにおける左側チャネルの周波数領域信号を表し、Ri(k)は、サブフレームiにおける右側チャネルの周波数領域信号を表し、iは、サブフレームのインデックス値を表し、i=0、1、...、P-1である。
オーディオエンコーダが各フレームに対して1回、離散フーリエ変換を実行する場合、オーディオエンコーダが各フレームに対して時間シフト調整も実行することが理解され得る。
S605.オーディオエンコーダは、時間シフト調整後に取得した左側チャネルの周波数領域信号及び右側チャネルの周波数領域信号に基づいて、別の周波数領域のステレオパラメータを計算し、別の周波数領域のステレオパラメータをエンコードする。
ここでは、別の周波数領域のステレオパラメータは、限定されるものではないが、IPDパラメータ、ILDパラメータ及びサブバンド側の利得などを含んでよい。別の周波数領域のステレオパラメータを取得した後に、オーディオエンコーダは、別の周波数領域のステレオパラメータをエンコードして、エンコードされた別の周波数領域のステレオパラメータをステレオエンコードされたビットストリームに書き込む必要がある。
本願の本実施形態において、オーディオエンコーダは、いずれかの既存の量子化エンコーディング技術を用いて、前述した別の周波数領域のステレオパラメータをエンコードしてよい。これは、本願の本実施形態において特に限定されるものではない。
S606.オーディオエンコーダは、各サブバンドのインデックスが第1の予め設定された条件を満たすか否かを判定する。
本願の本実施形態において、オーディオエンコーダは、各フレームにおける周波数領域信号又は各サブフレームにおける周波数領域信号に対してサブバンド区分を実行する。サブバンドbに含まれる周波数ビンは、k∈[band_limits(b)、band_limits(b+1)-1]であり、band_limits(b)は、サブバンドbに含まれる周波数ビンの最小のインデックス値を表す。本願の本実施形態において、各サブフレームにおける周波数領域信号は、M(M≧2)個のサブバンドに分割され、各サブバンドに含まれる特定の周波数ビンがband_limits(b)に基づいて判定されてよい。
第1の予め設定された条件は、サブバンドのインデックス値が、残差符号化判定のための最大サブバンドのインデックス値より小さいことであってよい、すなわち、b<res_flag_band_maxであり、res_flag_band_maxは、残差符号化判定のための最大サブバンドのインデックス値を表す、サブバンドのインデックス値が残差符号化判定のための最大サブバンドのインデックス値より小さい又はこれと等しことであってよい、すなわち、b≦res_flag_band_maxである、サブバンドのインデックス値が残差符号化判定のための最大サブバンドのインデックス値より小さく、残差符号化判定のための最小サブバンドのインデックス値より大きいことであってよい、すなわち、res_flag_band_min<b<res_flag_band_maxであり、res_flag_band_maxは、残差符号化判定のための最大サブバンドのインデックス値を表し、res_flag_band_minは、残差符号化判定のための最小サブバンドのインデックス値を表す、サブバンドのインデックス値が残差符号化判定のための最大サブバンドのインデックス値より小さい又はこれと等しく、残差符号化判定のための最小サブバンドのインデックス値より大きい又はこれと等しいことであってよい、すなわち、res_flag_band_min<b≦res_flag_band_maxである、サブバンドのインデックス値が残差符号化判定のための最大サブバンドのインデックス値より小さい又はこれと等しく、残差符号化判定のための最小サブバンドのインデックス値より大きいことであってよい、すなわち、res_flag_band_min<b≦res_flag_band_maxである、又は、サブバンドのインデックス値が残差符号化判定のための最大サブバンドのインデックス値より小さく、残差符号化判定のための最小サブバンドのインデックス値より大きい又はこれと等しいことであってよい、すなわち、res_flag_band_min≦b<res_flag_band_maxである。これは、本願の本実施形態において特に限定されるものではない。
第1の予め設定された条件は、異なる符号化レート及び/又は異なるエンコーディング帯域幅で変化し得る。例えば、帯域幅が広帯域であり、符号化レートが26kbpsである場合、第1の予め設定された条件は、サブバンドのインデックス値が5より小さいということである。帯域幅が広帯域であり、符号化レートが44kbpsである場合、第1の予め設定された条件は、サブバンドのインデックス値が6より小さいということである。帯域幅が広帯域であり、符号化レートが56kbpsである場合、第1の予め設定された条件は、サブバンドのインデックス値が7より小さいということである。
本願の本実施形態において、例えば、帯域幅は広帯域であり、符号化レートは26kbpsである。各フレームは、P個のサブフレームに分割され、P=2であり、各サブフレームにおける周波数領域信号は、M個のサブバンドに分割され、M=10である。この場合、各サブフレームについて、オーディオエンコーダは、各サブバンドのインデックスが第1の予め設定された条件を満たすか否かを判定する必要がある。第1の予め設定された条件は、サブバンドのインデックス値がres_flag_band_maxより小さいということであり、res_flag_band_max=5である。
具体的には、各サブバンドのインデックスが第1の予め設定された条件を満たす場合、オーディオエンコーダは、時間シフト調整後に取得される現フレームにおける左側チャネルの周波数領域信号及び右側チャネルの周波数領域信号に基づいて、現フレームにおける第2のダウンミックスされた信号及び現フレームにおける残差信号を計算する、すなわち、S607を実行する。各サブバンドのインデックスが第1の予め設定された条件を満たしていない場合、オーディオエンコーダは、時間シフト調整後に取得される現フレームにおける左側チャネルの周波数領域信号及び右側チャネルの周波数領域信号に基づいて、現フレームにおける第2のダウンミックスされた信号を計算する、すなわち、S608を実行する。
S607.オーディオエンコーダは、時間シフト調整後に取得された現フレームにおける左側チャネルの周波数領域信号及び右側チャネルの周波数領域信号に基づいて、現フレームにおける第2のダウンミックスされた信号及び残差信号を計算する。
ここで、オーディオエンコーダは、前述の式(1)又は式(2)にしたがって、現フレームにおける第2のダウンミックスされた信号を計算してよい。
任意で、本願の本実施形態において、オーディオエンコーダは、以下の式(21)にしたがって、現フレームのサブフレームiにおけるサブバンドbの残差信号RESib'(k)を計算する。
RESib'(k)=RESib(k)-g_ILDi×DMXib(k) (21)
前述の式(21)において、RESib(k)=(Lib"(k)-Rib"(k))/2である。さらに、Lib"(k)、Rib"(k)、g_ILDi及びDMXi(k)については、前述の式(1)におけるパラメータの説明を参照されたい。詳細はここでは再び説明しない。
S608.オーディオエンコーダは、時間シフト調整後に取得される現フレームにおける左側チャネルの周波数領域信号及び右側チャネルの周波数領域信号に基づいて、現フレームにおける第2のダウンミックスされた信号を計算する。
ここで、オーディオエンコーダは、S607におけるものと同じ方法を用いて現フレームにおける第2のダウンミックスされた信号を計算してよい、又は、従来技術における別のダウンミックスされた信号の計算方法を用いて、現フレームにおける第2のダウンミックスされた信号を計算してよい。
S607又はS608を実行した後に、オーディオエンコーダはS609を実行する。
S609.オーディオエンコーダは、現フレームの残差符号化フラグの値を判定し、現フレームの残差符号化スイッチングフラグの値を判定する。
オーディオエンコーダが現フレームの残差符号化フラグの値を判定することがまず説明される。
任意で、オーディオエンコーダは、現フレームにおける第2のダウンミックスされた信号と現フレームにおける残差信号との間のエネルギー関係に基づいて、現フレームの残差符号化フラグの値を判定してよい、又は、現フレームにおける第2のダウンミックスされた信号と現フレームにおける残差信号との間のエネルギー関係を表すために用いられるパラメータ及び/又は別のパラメータに基づいて、現フレームの残差符号化フラグの値を判定してよい。これは、本願の本実施形態において特に限定されるものではない。例えば、オーディオエンコーダは、複数のパラメータ、例えば、音声/音楽の分類結果、音声有効化検出結果、残差信号のエネルギー又は左側チャネルの周波数領域信号と右側チャネルの周波数領域信号との間の相関のうちの少なくとも1つに基づいて、現フレームの残差符号化フラグの値を判定する。
ここで、現フレームにおける第2のダウンミックスされた信号と現フレームにおける残差信号との間のエネルギー関係を表すために用いられるパラメータ及び/又は別のパラメータに基づいて、現フレームの残差符号化フラグの値を、オーディオエンコーダが判定する例を用いて、説明が提供される。
任意で、現フレームにおける第2のダウンミックスされた信号と現フレームにおける残差信号との間のエネルギー関係を表すために用いられるパラメータが、予め設定された閾値より大きい場合、オーディオエンコーダは、現フレームの残差符号化フラグの値を、現フレームにおける残差信号がエンコードする必要があることを示す値に設定する。そうでない場合、オーディオエンコーダは、現フレームの残差符号化フラグの値を、残差信号をエンコードする必要がないことを示す値に設定する。
ここでは、オーディオエンコーダが、現フレームの残差符号化スイッチングフラグの値を判定することが説明される。
任意で、オーディオエンコーダは、現フレームの残差符号化フラグの値と前フレームの残差符号化フラグの値との間の関係に基づいて、現フレームの残差符号化スイッチングフラグの値を判定してよい。
実施例において、オーディオエンコーダは、現フレームの残差符号化スイッチングフラグの値を判定し、前フレームの残差符号化フラグの修正フラグ値を更新してよい。
現フレームの残差符号化フラグの値が前フレームの残差符号化フラグの値と等しくなく、かつ、前フレームの残差符号化フラグの修正フラグが、前フレームの残差符号化フラグが2回目に修正されないことを示す場合、現フレームの残差符号化スイッチングフラグは、現フレームがスイッチングフレームであることを示す。
現フレームの残差符号化フラグの値が前フレームの残差符号化フラグの値と等しくなく、前フレームの残差符号化フラグの修正フラグが、前フレームの残差符号化フラグが2回目に修正されないことを示し、かつ、現フレームの残差符号化フラグが、残差信号をエンコードする必要がないことを示す場合、オーディオエンコーダは、2回目に現フレームの残差符号化フラグを修正し、残差信号をエンコードする必要があることを示す値の現フレームの残差符号化フラグを修正し、前フレームの残差符号化フラグの修正フラグを前フレームの残差符号化フラグが2回目に修正されたことを示す値に設定する。
現フレームの残差符号化フラグの値が前フレームの残差符号化フラグの値と等しい、又は、前フレームの残差符号化フラグの修正フラグが、前フレームの残差符号化フラグが2回目に修正されることを示す場合、現フレームの残差符号化スイッチングフラグは、現フレームがスイッチングフレームではないことを示し、前フレームの残差符号化フラグの修正フラグは、前フレームの残差符号化フラグが2回目に修正されないことを示す値に設定される。
別の実装例において、オーディオエンコーダは、代わりに、現フレームの残差符号化スイッチングフラグの値を判定し、前フレームの残差符号化スイッチングフラグの値を更新してよい。
オーディオエンコーダは、初めに、現フレームの残差符号化スイッチングフラグの値を、現フレームがスイッチングフレームではないことを示す値に設定する。現フレームの残差符号化フラグの値が前フレームの残差符号化フラグの値と等しくなく、かつ、前フレームの残差符号化スイッチングフラグの値が、前フレームがスイッチングフレームではないことを示す場合、オーディオエンコーダは、現フレームの残差符号化スイッチングフラグの値を、現フレームがスイッチングフレームであることを示す値に修正する。現フレームの残差符号化フラグの値が、前フレームの残差符号化フラグの値と等しくなく、前フレームの残差符号化スイッチングフラグの値が、前フレームがスイッチングフレームではないことを示し、かつ、現フレームの残差符号化フラグが、残差信号をエンコードする必要がないことを示す場合、オーディオエンコーダは、現フレームの残差符号化フラグを2回目に修正して、現フレームの残差符号化フラグを、残差信号をエンコードする必要があることを示す値に修正する。現フレームの残差符号化スイッチングフラグの値を修正した後に、オーディオエンコーダは、現フレームの残差符号化スイッチングフラグの修正された値に基づいて、前フレームの残差符号化スイッチングフラグの値を更新する。
例えば、現フレームの残差符号化スイッチングフラグの値が0より大きい場合、現フレームの残差符号化スイッチングフラグは、現フレームがスイッチングフレームであることを示すために用いられる。現フレームの残差符号化スイッチングフラグの値が0と等しい場合、現フレームの残差符号化スイッチングフラグは、現フレームがスイッチングフレームではないことを示すために用いられる。
S610.オーディオエンコーダは、現フレームがスイッチングフレームであること現フレームの残差符号化スイッチングフラグの値がを示すか否かを判定する。
現フレームの残差符号化スイッチングフラグの値が、現フレームがスイッチングフレームであることを示す場合、スイッチングフレームにおけるダウンミックスされた信号及び残差信号が計算され、スイッチングフレームにおけるダウンミックスされた信号は、予め設定された周波数帯の対応するサブバンドにおけるダウンミックスされた信号として用いられ、スイッチングフレームにおける残差信号は、予め設定された周波数帯の対応するサブバンドにおける残差信号として用いられる、すなわち、S611が実行される。
現フレームの残差符号化スイッチングフラグの値は、現フレームがスイッチングフレームではなく、現フレームにける残差信号をエンコードする必要がないことを示すために、現フレームの残差符号化フラグの値が用いられることを示す場合、現フレームにおける第1のダウンミックスされた信号が計算され、予め設定された周波数帯の対応するサブバンドにおけるダウンミックスされた信号として、現フレームにおける第1のダウンミックスされた信号が用いられる、すなわち、S612が実行される。
本願の本実施形態において、予め設定された周波数帯の最小サブバンドのインデックス値は、res_cod_band_minで表され(又は、Th1で表されてよく)、予め設定された周波数帯の最大サブバンドのインデックス値は、res_cod_band_maxで表される(又は、Th2で表されてよい)。それに応じて、予め設定された周波数帯のサブバンドのインデックスbは、res_cod_band_min<b<res_cod_band_maxを満たしてよい、res_cod_band_min≦b≦res_cod_band_maxを満たしてよい、res_cod_band_min≦b<res_cod_band_maxを満たしてよい、又は、res_cod_band_min<b≦res_cod_band_maxを満たしてよい。
ここで、予め設定された周波数帯の範囲は、第1の予め設定された条件を満たし、かつ、オーディオエンコーダが、各サブバンドのインデックスが第1の予め設定された条件を満たすか否かを判定する場合に設定されるサブバンド範囲と同じである、又は、第1の予め設定された条件を満たし、かつ、オーディオエンコーダが、各サブバンドのインデックスが第1の予め設定された条件を満たすかか否かを判定する場合に設定されるサブバンド範囲とは異なってよい。例えば、第1の予め設定された条件を満たし、かつ、オーディオエンコーダが、第1の予め設定された条件を各サブバンドのインデックスが満たすか否かを判定する場合に設定されるサブバンド範囲がb<5である場合、予め設定された周波数帯は、サブバンドのインデックスが5より小さいすべてのサブバンドを含んでよい、サブバンドのインデックスが0より大きく、かつ、5より小さいすべてのサブバンドを含んでよい、又は、サブバンドのインデックスが1より大きく、かつ、7より小さいすべてのサブバンドを含んでよい。
S611.オーディオエンコーダは、スイッチングフレームにおけるダウンミックスされた信号及び残差信号を計算し、予め設定された周波数帯の対応するサブバンドにおけるダウンミックスされた信号及び残差信号として、ダウンミックスされた信号及び残差信号をそれぞれ用いる。
例えば、予め設定された周波数帯は、サブバンドのインデックスが0と等しい又は0より大きく、かつ、5より大きいサブバンドである。現フレームの残差符号化スイッチングフラグの値が0より大きい場合、オーディオエンコーダは、インデックスが0より大きい又は0と等しく、かつ、5より大きいサブバンドの範囲にあるスイッチングフレームにおけるダウンミックスされた信号及び残差信号を計算し、予め設定された周波数帯の対応するサブバンドにおけるダウンミックスされた信号及び残差信号として、計算されたダウンミックスされた信号及び残差信号をそれぞれ用いる。
例において、オーディオエンコーダは、以下の式(22)にしたがって、現フレームがスイッチングフレームである場合に、現フレームのサブフレームiにおけるサブバンドbのダウンミックスされた信号
を計算する。
前述の式(22)において、DMX_comp
ib(k)は、現フレームのサブフレームiにおけるサブバンドbの補償されたダウンミックスされた信号を表し、DMX
ib(k)は、現フレームのサブフレームiにおけるサブバンドbの第2のダウンミックスされた信号を表し、
現フレームがスイッチングフレームである場合の現フレームのサブフレームiにおけるサブバンドbのダウンミックスされた信号を表し、k∈[band_limits(b)、band_limits(b+1)-1]である。
例において、現フレームがスイッチングフレームである場合、オーディオエンコーダは、以下の式(23)にしたがって、現フレームのサブフレームiにおけるサブバンドbの残差信号
を計算する。
前述の式(23)において、
RES
ib'(k)は、現フレームのサブフレームiにおけるサブバンドbの残差信号を表し、
は、現フレームがスイッチングフレームである場合の現フレームのサブフレームiにおけるサブバンドbの残差信号を表す。
S612.現フレームの残差符号化スイッチングフラグの値が、現フレームがスイッチングフレームではないことを示し、かつ、現フレームの残差符号化フラグの値が、現フレームにおける残差信号をエンコードする必要がないことを示す場合、オーディオエンコーダは、現フレームにおける第1のダウンミックスされた信号を計算し、第1のダウンミックスされた信号を、予め設定された周波数帯の対応するサブバンドにおけるダウンミックスされた信号として用いる。
S612は、S402と同じであり、詳細はここでは再び説明しない。
S611又はS612が実行された後に、オーディオエンコーダは、S613の実行に進む。
S613.オーディオエンコーダは、現フレームにおけるダウンミックスされた信号を時間領域信号に変換し、予め設定されたエンコーディング方法にしたがって、時間領域信号をエンコードする。
現フレームの残差符号化フラグの値が、現フレームにおける残差信号をエンコードする必要がないことを示す場合、予め設定された周波数帯の対応するサブバンドにおける現フレームのダウンミックスされた信号は、現フレームにおける第1のダウンミックスされた信号であり、予め設定された周波数帯の対応するサブバンド以外のサブバンドにおける現フレームのダウンミックスされた信号は、対応するサブバンド以外のサブバンドにおける現フレームの第2のダウンミックスされた信号である。
現フレームの残差符号化フラグの値が、現フレームにおける残差信号をエンコードする必要があることを示す場合、現フレームにおけるダウンミックスされた信号は、現フレームにおける第2のダウンミックスされた信号である。
オーディオエンコーダは、現フレームにおけるダウンミックスされた信号を時間領域信号に変換し、予め設定されたエンコーディング方法にしたがって、時間領域信号をエンコードする。
本願の本実施形態において、オーディオエンコーダは、各フレームに対してフレーミング処理を実行し、各サブフレームに対してサブバンド分割処理を実行するので、オーディオエンコーダは、現フレームのサブフレームiにおけるすべてのサブバンドのダウンミックスされた信号を組み合わせて、サブフレームiにおけるダウンミックスされた信号を構成する必要があり、逆DFT変換を通じて、サブフレームiにおけるダウンミックスされた信号を時間領域信号に変換し、サブフレーム間の重畳加算処理を実行して、現フレームにおける時間領域のダウンミックスされた信号を取得する。
オーディオエンコーダは、従来技術にしたがって、現フレームにおける時間領域のダウンミックスされた信号をエンコードして、ダウンミックスされた信号のエンコードされたビットストリームを取得し、さらに、ダウンミックスされた信号のエンコードされたビットストリームをステレオエンコードされたビットストリームに書き込んでよい。
S614.現フレームの残差符号化フラグの値が、現フレームにおける残差信号をエンコードする必要があることを示す場合、オーディオエンコーダは、現フレームにおける残差信号を時間領域信号に変換し、予め設定されたエンコーディング方法にしたがって、時間領域信号をエンコードする。
本願の本実施形態において、オーディオエンコーダは、各フレームに対してフレーミング処理を実行し、各サブフレームに対してサブバンド分割処理を実行するので、オーディオエンコーダは、現フレームのサブフレームiにおけるすべてのサブバンドの残差信号を組み合わせて、サブフレームiにおける残差信号を構成する必要があり、逆DFT変換を通じて、サブフレームiにおける残差信号を時間領域信号に変換し、サブフレーム間の重畳加算処理を実行して、現フレームにおける時間領域の残差信号を取得する。
オーディオエンコーダは、従来技術にしたがって、現フレームにおける時間領域の残差信号をエンコードして、残差信号のエンコードされたビットストリームを取得し、さらに、残差信号のエンコードされたビットストリームをステレオエンコードされたビットストリームに書き込んでよい。
結論として、本願におけるオーディオ信号のエンコーディング方法では、現フレームがスイッチングフレームではなく、現フレームにおける残差信号をエンコードする必要がない場合、現フレームがスイッチングフレームではなく、現フレームにおける残差信号をエンコードする必要がある場合、及び、現フレームがスイッチングフレームである場合、オーディオエンコーダは、異なる方法を用いて現フレームにおけるダウンミックスされた信号を計算する。異なる符号化モードにおいて、オーディオエンコーダは、異なる方法を用いて、現フレームにおける第1のダウンミックスされた信号及び現フレームにおける第2のダウンミックスされた信号を計算する。これにより、残差信号をエンコーディングする段階と、残差信号のエンコーディングを省略する段階との間の予め設定された周波数帯で交互に切り替えることによって生じる、デコードされたステレオ信号の空間感覚が不連続であり、サウンドイメージの安定性が悪いという課題を解決し、これにより、聴覚品質を効果的に改善する。
さらに、前述の説明に関して、前フレームがスイッチングフレームではなく、前フレームにおける残差信号をエンコードする必要がない場合、本願の本実施形態におけるコンピュータは、S401'、S402a、S402b及びS402c(すなわち、図5Bに示される手順)を含む手順にしたがって、現フレームにおける第1のダウンミックスされた信号を計算してよいことが認識され得る。この場合、本願におけるオーディオ信号のエンコーディング方法がここで説明される。
図6A及び図6Bに関して、図7A及び図7Bに示されるように、本願におけるオーディオ信号のエンコーディング方法は以下の段階を含んでよい。
S600からS608及びS700が、S608の後に実行される。
S700、オーディオエンコーダは、現フレームの残差符号化フラグの値を判定する。
S700については、S609の説明を参照されたい。詳細はここでは再び説明しない。
S701.オーディオエンコーダは、前フレームの残差符号化スイッチングフラグの値が、前フレームがスイッチングフレームことを示すか否かを判定する。
S701はS610と同様である。S701とS610との間の相違点は、S610では、オーディオエンコーダが現フレームに対して判定を実行しているが、S701では、オーディオエンコーダが前フレームに対して判定を実行しているという点にある。
S702.前フレームの残差符号化スイッチングフラグの値が、前フレームがスイッチングフレームであることを示す場合、オーディオエンコーダは、スイッチングフレームのダウンミックスされた信号及び残差信号を計算し、ダウンミックスされた信号及び残差信号を、予め設定された周波数帯の対応するサブバンドにおけるダウンミックスされた信号及び残差信号としてそれぞれ用いる。
S702については、S611の説明を参照されたい。詳細はここでは再び説明しない。
S703.前フレームがスイッチングフレームではないことを前フレームの残差符号化スイッチングフラグの値が示し、かつ、前フレームにおける残差信号をエンコードする必要がないことを前フレームの残差符号化フラグの値が示す場合、オーディオエンコーダは、現フレームにおける第1のダウンミックスされた信号を計算し、第1のダウンミックスされた信号を、予め設定された周波数帯の対応するサブバンドにおけるダウンミックスされた信号として用いる。
S703については、S612の説明を参照されたい。詳細はここでは再び説明しない。
S704.オーディオエンコーダは、現フレームの残差符号化スイッチングフラグの値を判定する。
S704については、S609の説明を参照されたい。詳細はここでは再び説明しない。
S705.オーディオエンコーダは、現フレームにおけるダウンミックスされた信号を時間領域信号に変換し、予め設定されたエンコーディング方法にしたがって、時間領域信号をエンコードする。
S705については、S613の説明を参照されたい。詳細はここでは再び説明しない。
S706.前フレームの残差符号化フラグの値が、前フレームにおける残差信号をエンコードする必要があることを示す場合、オーディオエンコーダは、現フレームにおける残差信号を時間領域信号に変換し、予め設定されたエンコーディング方法にしたがって、時間領域信号をエンコードする。
S706については、S614の説明を参照されたい。詳細はここでは再び説明しない。
別の例において、図7A及び図7Bに関して、図8A及び図8Bに示されるように、図7AのS700は、S800と置き換えられてよく、図7BのS704は、S801と置き換えられてよい。
S800.オーディオエンコーダは、現フレームの残差符号化フラグ判定パラメータを判定する。
S801.オーディオエンコーダは、現フレームの残差符号化フラグ判定パラメータに基づいて、現フレームの残差符号化フラグの値を判定し、現フレームの残差符号化スイッチングフラグの値を判定する。
別の例において、図7A及び図7Bに関して、図9A及び図9Bに示されるように、図7BのS701は、S900と置き換えられてよく、図7BのS702は、S901と置き換えられてよく、図7BのS703は、S902と置き換えられてよい。
S900.オーディオエンコーダは、現フレーム(例えば、フレームn)の前フレームの残差符号化フラグの値がフレームn-2の残差符号化フラグの値と等しくないか否かを判定する。
S901.フレームn-1の残差符号化フラグの値がフレームn-2の残差符号化フラグの値と等しくない場合、オーディオエンコーダは、スイッチングフレームにおけるダウンミックスされた信号及び残差信号を計算し、予め設定された周波数帯の対応するサブバンドにおけるダウンミックスされた信号及び残差信号として、ダウンミックスされた信号及び残差信号をそれぞれ用いる。
S902.フレームn-1の残差符号化フラグの値がフレームn―2の残差符号化フラグの値と等しく、フレームn-1のおける残差信号をエンコードする必要がない場合、オーディオエンコーダは、現フレームにおける第1のダウンミックスされた信号を計算し、第1のダウンミックスされた信号を、予め設定された周波数帯の対応するサブバンドにおけるダウンミックスされた信号として用いる。
別の例では、図6A及び図6Bに関して、図10A及び図10Bに示されるように、図6AのS609は、S1000と置き換えられてよく、図6BのS610は、S1001と置き換えられてよく、図6BのS611は、S1002と置き換えられてよく、図6BのS612は、S1003と置き換えられてよい。
S1000.オーディオエンコーダは、現フレームの残差符号化フラグの値を判定する。
S1001.オーディオエンコーダは、現フレームの残差符号化フラグの値が前フレームの残差符号化フラグの値と等しくないか否かを判定する。
S1002.現フレームの残差符号化フラグの値が前フレームの残差符号化フラグの値と等しくない場合、オーディオエンコーダは、スイッチングフレームにおけるダウンミックスされた信号及び残差信号を計算し、予め設定された周波数帯の対応するサブバンドにおけるダウンミックスされた信号及び残差信号としてダウンミックスされた信号及び残差信号をそれぞれ用いる。
S1003.現フレームの残差符号化フラグの値が前フレームの残差符号化フラグの値と等しく、かつ、現フレームにおける残差信号をエンコードする必要がない場合、オーディオエンコーダは、現フレームにおける第1のダウンミックスされた信号を計算し、第1のダウンミックスされた信号を、予め設定された周波数帯の対応するサブバンドにおけるダウンミックスされた信号として用いる。
結論として、本願の本実施形態では、オーディオエンコーダは、予め設定された周波数帯の対応するサブバンドにおける残差信号をエンコードするか否かを適応的に選択し、できるだけ多くのデコードされたステレオ信号の高周波ひずみを低減しつつ、デコードされたステレオ信号の空間感覚及びサウンドイメージの安定性を改善することができ、これにより、エンコーディング品質全体を改善する。さらに、異なる事例では、残差信号をエンコードする必要がある場合、及び、残差信号をエンコードする必要がない場合、オーディオエンコーダは、異なる方法を用いてダウンミックスされた信号を計算して、デコードされたステレオ信号の空間感覚及びサウンドイメージの安定性が続かないという課題を解決し、これにより、聴覚品質を効果的に改善する。
本願の実施形態は、ダウンミックスされた信号の計算装置を提供する。ダウンミックスされた信号の計算装置は、オーディオエンコーダであってよい。具体的には、ダウンミックスされた信号の計算装置は、前述のダウンミックスされた信号の計算方法におけるオーディオエンコーダにより実行される段階を実行するように構成される。本願の本実施形態において提供されるダウンミックスされた信号の計算装置は、対応する段階に対応するモジュールを含んでよい。
本願の本実施形態において、ダウンミックスされた信号の計算装置は、前述の方法例に基づいて、複数の機能モジュールに分割されてよい。例えば、各機能モジュールは、各対応する機能に基づく区分を通じて取得されてよい、又は、2つ又はそれより多い機能が、1つの処理モジュールに統合されてよい。統合されたモジュールは、ハードウェアの形式で実装されてよい、又は、ソフトウェア機能モジュールの形式で実装されてよい。本願の本実施形態のいて、複数のモジュールへの区分は例示であり、論理的な機能区分に過ぎない。実際の実装では、別の区分方式が用いられてよい。
各機能モジュールが各対応する機能に基づく区分を通じて取得される場合、図11は、前述の実施形態におけるダウンミックスされた信号の計算装置の可能性のある概略構造図である。図11に示されるように、ダウンミックスされた信号の計算装置11は、判定ユニット110及び計算ユニット111を含む。
判定ユニット110は、前述の実施形態におけるS401及びS401'などを実行する際にダウンミックスされた信号の計算装置をサポートするように構成され、及び/又は、本明細書において説明される技術の別のプロセスにおいて用いられる。
計算ユニット111は、前述の実施形態におけるS402及びS501などを実行する際にダウンミックスされた信号の計算装置をサポートするように構成され、及び/又は、本明細書において説明される技術の別のプロセスにおいて用いられる。
前述した方法の実施形態における段階のすべての関連する内容は、対応する機能モジュールの機能説明において引用され得る。詳細はここでは再び説明しない。
確かに、本願の本実施形態において提供されるダウンミックスされた信号の計算装置は、限定されるものではないが、前述したモジュールを含む。例えば、図11に示されるように、ダウンミックスされた信号の計算装置11は、ストレージユニット112をさらに含んでよい。ストレージユニット112は、ダウンミックスされた信号の計算装置のプログラムコード及びデータを格納するように構成されてよい。
さらに、図11に関して、図12に示されるように、ダウンミックスされた信号の計算装置11は、取得ユニット113をさらに含んでよい。取得ユニット113は、前述の実施形態におけるS500などを実行する際にダウンミックスされた信号の計算装置をサポートするように構成され、及び/又は、本明細書において説明される技術の別のプロセスにおいて用いられる。
集積回路が用いられる場合、図13は、本願の実施形態におけるダウンミックスされた信号の計算装置の概略構造図である。図13において、ダウンミックスされた信号の計算装置13は、処理モジュール130及び通信モジュール131を含む。
処理モジュール130は、ダウンミックスされた信号の計算装置の動作を制御及び管理する、例えば、判定ユニット110、計算ユニット111及び取得ユニット113により実行される段階を実行する、及び/又は、本明細書において説明される技術の別のプロセスを実行するように構成される。
通信モジュール131は、ダウンミックスされた信号の計算装置と別のデバイスとの間のインタラクションをサポートするように構成される。
図13に示されるように、ダウンミックスされた信号の計算装置はストレージモジュール132をさらに含んでよい。ストレージモジュール132は、ダウンミックスされた信号の計算装置のプログラムコード及びデータを格納する、例えば、前述したストレージユニット112に格納されるコンテンツを格納するように構成される。
処理モジュール130は、プロセッサ又はコントローラ、例えば、中央演算処理装置(Central Processing Unit、CPU)、汎用プロセッサ、デジタル信号プロセッサ(Digital Signal Processor、DSP)、ASIC、FPGA又は別のプログラム可能な論理デバイス、トランジスタ論理デバイス、ハードウェアコンポーネント又はこれらの任意の組み合わせであってよい。プロセッサは、本願において開示されるコンテンツに関して説明される様々な例示的な論理ブロック、モジュール及び回路を実装又は実行してよい。プロセッサは、代わりに、コンピューティング機能を実装するプロセッサの組み合わせ、例えば、1つ又は複数のマイクロプロセッサの組み合わせ、又は、DSP及びマイクロプロセッサの組み合わせであってよい。通信モジュール131は、送受信機、RF回路又は、通信インタフェースなどであってよい。ストレージモジュール132はメモリであってよい。
前述した方法の実施形態におけるシナリオのすべての関連する内容は、対応する機能モジュールの機能説明において引用され得る。詳細はここでは再び説明しない。
ダウンミックスされた信号の計算装置11及びダウンミックスされた信号の計算装置12は両方とも、図4、図5A、図5B又は図5Cに示されるダウンミックスされた信号の計算方法を実行してよく、ダウンミックスされた信号の計算装置11及びダウンミックスされた信号の計算装置12はそれぞれ、具体的には、オーディオエンコーディング装置又はオーディオエンコーディング機能を有する別のデバイスであってよい。
本願は、端末をさらに提供する。端末は、1つ又は複数のプロセッサ、メモリ及び通信インタフェースを含む。メモリ及び通信インタフェースは、1つ又は複数のプロセッサに連結される。メモリは、コンピュータプログラムコードを格納するように構成される。コンピュータプログラムコードは、命令を含む。1つ又は複数のプロセッサが命令を実行する場合、端末は、本願の実施形態におけるダウンミックスされた信号の計算方法を実行する。
ここで、端末は、スマートフォン、ポータブルコンピュータ、又は、オーディオを処理又は再生できる別のデバイスであってよい。
本願は、オーディオエンコーダをさらに提供し、オーディオエンコーダは不揮発性記憶媒体及び中央演算処理装置を含む。不揮発性記憶媒体は、実行可能プログラムを格納する。中央演算処理装置は、不揮発性記憶媒体に接続され、実行可能プログラムを実行して、本願の実施形態におけるダウンミックスされた信号の計算方法を実行する。さらに、オーディオエンコーダは、さらに、本願の実施形態におけるオーディオ信号のエンコーディング方法を実行してよい。
本願は、エンコーダをさらに提供する。エンコーダは、本願の実施形態におけるダウンミックスされた信号の計算装置(ダウンミックスされた信号の計算装置11又はダウンミックスされた信号の計算装置12)及びエンコーディングモジュールを含む。エンコーディングモジュールは、現フレームの第1のダウンミックスされた信号をエンコードするように構成され、現フレームの第1のダウンミックスされた信号は、ダウンミックスされた信号の計算装置により取得される。
本願の別の実施形態は、コンピュータ可読記憶媒体をさらに提供する。コンピュータ可読記憶媒体は、1つ又は複数個のプログラムコードを含む。1つ又は複数のプログラムは、命令を含み、端末内のプロセッサがプログラムコードを実行する場合、端末は、図4、図5A、図5B又は図5Cに示されるダウンミックスされた信号の計算方法を実行する。
本願の別の実施形態において、コンピュータプログラム製品がさらに提供される。コンピュータプログラム製品は、コンピュータ実行可能命令を含み、コンピュータ実行可能命令は、コンピュータ可読記憶媒体に格納される。端末の少なくとも1つのプロセッサは、コンピュータ可読記憶媒体からコンピュータ実行可能命令を読み出してよく、少なくとも1つのプロセッサは、コンピュータ実行可能命令を実行することで、端末は、図4、図5A、図5B又は図5Cに示されるダウンミックスされた信号の計算方法におけるオーディオエンコーダにより実行される段階を実行する。
前述の実施形態のすべて又は一部は、ソフトウェア、ハードウェア、ファームウェア又はこれらの任意の組み合わせを用いて実装されてよい。実施形態を実装するために、ソフトウェアプログラムが用いられる場合、実施形態は、コンピュータプログラム製品の形式で完全に又は部分的に実装されてよい。コンピュータプログラム製品は、1つ又は複数のコンピュータ命令を含む。コンピュータプログラム命令がコンピュータ上でロード及び実行される場合、本願の実施形態に係る手順及び機能がすべて又は部分的に生成される。
コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク又は別のプログラム可能な装置であってよい。コンピュータ命令は、コンピュータ可読記憶媒体内に格納されてよい、又は、コンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に伝送されてよい。例えば、コンピュータ命令は、有線(例えば、同軸ケーブル、光ファイバ又はデジタル加入者線(DSL))又は無線(例えば、赤外線、電波又はマイクロは方式)でウェブサイト、コンピュータ、サーバ又はデータセンタから別のウェブサイト、コンピュータ、サーバ又はデータセンタに伝送されてよい。コンピュータ可読記憶媒体は、コンピュータ又はデータストレージデバイス、例えば、1つ又は複数の使用可能な媒体を統合するサーバ又はデータセンタによりアクセス可能な任意の使用可能な媒体であってよい。使用可能な媒体は、磁気媒体(例えば、フロッピーディスク、ハードディスク又は磁気テープ)、光媒体(例えば、DVD)、半導体媒体(例えば、ソリッドステートドライブSolid State Drive(SSD))などであってよい。
実施例に関する前述の説明は、簡便及び簡潔な説明の目的で、前述の複数の機能モジュールへの区分が説明のための例として用いられることを当業者が理解することができる。実際の適用では、前述した機能は、異なるモジュールに割り当てられ、要件に基づいて実装されることができ、すなわち、装置の内部構造は、上記で説明された機能のすべて又は一部を実装するために異なる機能モジュールに分割される。
本願において提供されるいくつかの実施形態において、開示された装置及び方法は、他の方式で実施されてよいことを理解されたい。例えば、説明された装置の実施形態は、単なる例示に過ぎない。例えば、モジュール又はユニット区分は、論理的な機能区分に過ぎず、実際の実装において他の区分であってよい。例えば、複数のユニット又はコンポーネントは、組み合わされてよい、又は、別の装置に統合されてよい、又は、いくつかの特徴が無視されてよい又は実行されないくてよい。さらに、表示され又は説明された相互連結又は直接連結又は通信接続は、いくつかのインタフェースを用いて実装されてよい。装置又はユニット間の間接的な連結又は通信接続は、電気的、機械的又は他の形態で実装されてよい。
別個のパーツとして説明されたユニットは、物理的に分離されてもされていなくてもよく、ユニットとして表示されるパーツは、1つ又は複数の物理ユニットであってよく、一か所に配置されてよい、又は、異なる場所に分散されてよい。ユニットの一部又はすべては、実施形態の解決手段の目的を達成するために実際の要件に基づいて選択されてよい。
さらに、本願の実施形態における機能的なユニットは、1つの処理ユニットに統合されてよい、又は、ユニットのそれぞれは、物理的に単独で存在してよい、又は、2つ又はそれより多くのユニットは、1つのユニットに統合されてよい。集積回路は、ハードウェアの形式で実施されてよい、又は、ソフトウェア機能ユニットの形式で実装されてよい。
集積回路がソフトウェア機能ユニットの形式で実装され、独立した製品として販売又は用いられる場合、集積回路は、可読記憶媒体に格納されてよい。そのような理解に基づいて、本願の実施形態における技術的解決手段は本質的に、又は、従来技術に対して貢献する部分、又は、技術的解決手段のすべて又は一部は、ソフトウェア製品の形式で実装されていよい。ソフトウェア製品は、記憶媒体に格納され、(シングルチップマイクロコンピュータ又はチップなどであってよい)デバイス又はプロセッサ(processor)に、本願の実施形態において説明された方法の段階のすべて又は一部を実行するよう命令するためのいくつかの命令を含む。前述した記憶媒体は、プログラムコードを格納できる任意の媒体、例えば、USBフラッシュドライブ、リムーバブルハードディスク、リードオンリメモリ(Read-Only Memory、ROM)、ランダムアクセスメモリ(Random Access Memory、RAM)、磁気ディスク又は光ディスクを含む。
前述の説明は、本願の特定の実施例に過ぎないが、本願の保護範囲を制限することを目的とするものではない。本願において開示される技術的な範囲内で任意の変形又は置換が本願の保護範囲内に含まれるものとする。したがって、本願の保護範囲は、特許請求の範囲の保護範囲に従うものとする。