JP4918490B2 - エネルギー整形装置及びエネルギー整形方法 - Google Patents

エネルギー整形装置及びエネルギー整形方法 Download PDF

Info

Publication number
JP4918490B2
JP4918490B2 JP2007533326A JP2007533326A JP4918490B2 JP 4918490 B2 JP4918490 B2 JP 4918490B2 JP 2007533326 A JP2007533326 A JP 2007533326A JP 2007533326 A JP2007533326 A JP 2007533326A JP 4918490 B2 JP4918490 B2 JP 4918490B2
Authority
JP
Japan
Prior art keywords
signal
energy
energy shaping
pass
spread
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007533326A
Other languages
English (en)
Other versions
JPWO2007026821A1 (ja
Inventor
良明 高木
セン・チョン コク
武志 則松
修二 宮阪
明久 川村
耕司郎 小野
智一 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2007533326A priority Critical patent/JP4918490B2/ja
Publication of JPWO2007026821A1 publication Critical patent/JPWO2007026821A1/ja
Application granted granted Critical
Publication of JP4918490B2 publication Critical patent/JP4918490B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Stereophonic System (AREA)

Description

本発明は、エネルギー整形装置及びエネルギー整形方法に関し、特に、マルチチャンネル音響信号の復号化においてエネルギー整形を行う技術に関する。
近年、ＭＰＥＧオーディオ規格において、Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｅｃ（空間的符号化）といわれる技術が規格化されつつある。これは、非常に少ない情報量で臨場感を示すマルチチャンネル信号を圧縮・符号化することを目的としている。例えば、既にデジタルテレビの音声方式として広く用いられているマルチチャンネルコーデックであるＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）方式が、５．１ｃｈ当り５１２ｋｂｐｓや、３８４ｋｂｐｓというビットレートを要するのに対し、Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｅｃでは、１２８ｋｂｐｓや、６４ｋｂｐｓ、さらに４８ｋｂｐｓといった非常に少ないビットレートでマルチチャンネル音響信号を圧縮及び符号化することを目指している（例えば、非特許文献１参照）。
図１は、空間的符号化の基本原理を用いたオーディオ装置の全体構成を示すブロック図である。
オーディオ装置１は、オーディオ信号の組に対する空間音響符号化を行って符号化信号を出力するオーディオエンコーダ１０と、その符号化信号を復号化するオーディオデコーダ２０とを備えている。
オーディオエンコーダ１０は、１０２４サンプルや、２０４８サンプルなどによって示されるフレーム単位で、複数チャンネルのオーディオ信号（例えば、２チャンネルのオーディオ信号Ｌ，Ｒ）を処理するものであって、ダウンミックス部１１と、バイノーラルキュー検出部１２と、エンコーダ１３と、多重化部１４とを備えている。
ダウンミックス部１１は、例えば左右２チャンネルのスペクトル表現されたオーディオ信号Ｌ，Ｒの平均をとることによって、つまり、Ｍ＝（Ｌ＋Ｒ）／２によって、オーディオ信号Ｌ，Ｒがダウンミックスされたダウンミックス信号Ｍを生成する。
バイノーラルキュー検出部１２は、スペクトルバンド毎に、オーディオ信号Ｌ，Ｒ及びダウンミックス信号Ｍを比較することによって、ダウンミックス信号Ｍを元のオーディオ信号Ｌ，Ｒに戻すためのＢＣ情報（バイノーラルキュー）を生成する。
ＢＣ情報は、チャンネル間レベル／強度差（ｉｎｔｅｒ−ｃｈａｎｎｅｌ ｌｅｖｅｌ／ｉｎｔｅｎｓｉｔｙ ｄｉｆｆｅｒｅｎｃｅ）を示すレベル情報ＩＩＤと、及びチャンネル間コヒーレンス／相関（ｉｎｔｅｒ−ｃｈａｎｎｅｌ ｃｏｈｅｒｅｎｃｅ／ｃｏｒｒｅｌａｔｉｏｎ）を示す相関情報ＩＣＣと、チャンネル間位相遅延差（ｉｎｔｅｒ−ｃｈａｎｎｅｌ ｐｈａｓｅ／ｄｅｌａｙ ｄｉｆｆｅｒｅｎｃｅ）を示す位相情報ＩＰＤとを含む。
ここで、相関情報ＩＣＣが２つのオーディオ信号Ｌ，Ｒの類似性を示すのに対し、レベル情報ＩＩＤは相対的なオーディオ信号Ｌ，Ｒの強度を示す。一般に、レベル情報ＩＩＤは、音のバランスや定位を制御するための情報であって、相関情報ＩＣＣは、音像の幅や拡散性を制御するための情報である。これらは、共に聴き手が聴覚的情景を頭の中で構成するのを助ける空間パラメータである。
最新のスペーシャルコーデックにおいては、スペクトル表現されたオーディオ信号Ｌ，Ｒ及びダウンミックス信号Ｍは、「パラメータバンド」からなる通常複数のグループに区分されている。したがって、ＢＣ情報は、それぞれのパラメータバンド毎に算出される。なお、「ＢＣ情報（バイノーラルキュー）」と「空間パラメータ」という用語はしばしば同義的に、互換性をもって用いられる。
エンコーダ１３は、例えば、ＭＰ３（ＭＰＥＧ Ａｕｄｉｏ Ｌａｙｅｒ−３）や、ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）などによって、ダウンミックス信号Ｍを圧縮符号化する。つまり、エンコーダ１３は、ダウンミックス信号Ｍを符号化して、圧縮された符号化列を生成する。
多重化部１４は、ＢＣ情報を量子化すると共に、圧縮されたダウンミックス信号Ｍと、量子化されたＢＣ情報とを多重化することによりビットストリームを生成し、そのビットストリームを上述の符号化信号として出力する。
オーディオデコーダ２０は、逆多重化部２１と、デコーダ２２と、マルチチャンネル合成部２３とを備えている。
逆多重化部２１は、上述のビットストリームを取得し、そのビットストリームから量子化されたＢＣ情報と、符号化されたダウンミックス信号Ｍとを分離して出力する。なお、逆多重化部２１は、量子化されたＢＣ情報を逆量子化して出力する。
デコーダ２２は、符号化されたダウンミックス信号Ｍを復号化して、ダウンミックス信号Ｍをマルチチャンネル合成部２３に出力する。
マルチチャンネル合成部２３は、デコーダ２２から出力されたダウンミックス信号Ｍと、逆多重化部２１から出力されたＢＣ情報とを取得する。そして、マルチチャンネル合成部２３は、そのＢＣ情報を用いて、ダウンミックス信号Ｍから、２つのオーディオ信号Ｌ，Ｒを復元する。これらダウンミックス信号から元の２つの信号を復元する処理は、後述する「チャンネル分離技術」を伴う。
なお、上記の例は、エンコーダにおいてどのように二つの信号を１つのダウンミックス信号と空間パラメータの組で表すことができ、空間パラメータとダウンミックス信号を処理することによって、デコーダにおいてどのようにダウンミックス信号を２つの信号に分離することができるのかを説明するにすぎない。その技術は、音響の２より多いチャンネル（例えば、５．１の音源からの６つのチャンネル）を、符号化処理時に１つもしくは２つのダウンミックスチャンネルに圧縮することもでき、復号化処理において復元することができる。
すなわち、上述では、２チャンネルのオーディオ信号を符号化して復号化する例を挙げてオーディオ装置１を説明したが、オーディオ装置１は、２チャンネルよりも多いチャンネルのオーディオ信号（例えば、５．１チャンネル音源を構成する、６つのチャンネルのオーディオ信号）を、符号化及び復号化することもできる。
図２は、６チャンネル時におけるマルチチャンネル合成部２３の機能構成を示すブロック図である。
マルチチャンネル合成部２３は、例えば、ダウンミックス信号Ｍを６つのチャンネルのオーディオ信号に分離する場合、第１チャンネル分離部２４１と、第２チャンネル分離部２４２と、第３チャンネル分離部２４３と、第４チャンネル分離部２４４と、第５チャンネル分離部２４５とを備える。なお、ダウンミックス信号Ｍは、聴取者の正面に配置されるスピーカに対する正面オーディオ信号Ｃと、視聴者の左前方に配置されるスピーカに対する左前オーディオ信号Ｌｆと、視聴者の右前方に配置されるスピーカに対する右前オーディオ信号Ｒｆと、視聴者の左後方に配置されるスピーカに対する左後オーディオ信号Ｌｓと、視聴者の右後方に配置されるスピーカに対する右後オーディオ信号Ｒｓと、低音出力用サブウーファースピーカに対する低域オーディオ信号ＬＦＥとがダウンミックスされて構成されている。
第１チャンネル分離部２４１は、ダウンミックス信号Ｍから中間の第１ダウンミックス信号Ｍ１と中間の第４ダウンミックス信号Ｍ４とを分離して出力する。第１ダウンミックス信号Ｍ１は、正面オーディオ信号Ｃと左前オーディオ信号Ｌｆと右前オーディオ信号Ｒｆと低域オーディオ信号ＬＦＥとがダウンミックスされて構成されている。第４ダウンミックス信号Ｍ４は、左後オーディオ信号Ｌｓと右後オーディオ信号Ｒｓとがダウンミックスされて構成されている。
第２チャンネル分離部２４２は、第１ダウンミックス信号Ｍ１から中間の第２ダウンミックス信号Ｍ２と中間の第３ダウンミックス信号Ｍ３とを分離して出力する。第２ダウンミックス信号Ｍ２は、左前オーディオ信号Ｌｆと右前オーディオ信号Ｒｆとがダウンミックスされて構成されている。第３ダウンミックス信号Ｍ３は、正面オーディオ信号Ｃと低域オーディオ信号ＬＦＥとがダウンミックスされて構成されている。
第３チャンネル分離部２４３は、第２ダウンミックス信号Ｍ２から左前オーディオ信号Ｌｆと右前オーディオ信号Ｒｆとを分離して出力する。
第４チャンネル分離部２４４は、第３ダウンミックス信号Ｍ３から正面オーディオ信号Ｃと低域オーディオ信号ＬＦＥとを分離して出力する。
第５チャンネル分離部２４５は、第４ダウンミックス信号Ｍ４から左後オーディオ信号Ｌｓと右後オーディオ信号Ｒｓとを分離して出力する。
このように、マルチチャンネル合成部２３は、マルチステージの方法によって、各チャンネル分離部で１つのダウンミックス信号を２つのダウンミックス信号に分離するという同一の分離処理を施し、単一のオーディオ信号が分離されるまで再帰的に信号の分離を毎回繰り返す。
図３は、マルチチャンネル合成部２３の原理を説明するための機能構成を示す他の機能ブロック図である。
マルチチャンネル合成部２３は、オールパスフィルタ２６１と、ＢＣＣ処理部２６２と、演算部２６３とを備えている。
オールパスフィルタ２６１は、ダウンミックス信号Ｍを取得して、そのダウンミックス信号Ｍに対して相関性のない無相関信号Ｍｒｅｖを生成して出力する。ダウンミックス信号Ｍと無相関信号Ｍｒｅｖとは、それぞれを聴覚的に比較すると、「相互にインコヒーレント」であるとみなされる。また、無相関信号Ｍｒｅｖはダウンミックス信号Ｍと同じエネルギーを有し、まるで音が広がっているかのような幻覚を作り出す有限時間の残響成分を含む。
ＢＣＣ処理部２６２は、ＢＣ情報を取得して、そのＢＣ情報に含まれるレベル情報ＩＩＤや相関情報ＩＣＣなどに基づいて、Ｌ，Ｒ間の相関の程度や、Ｌ，Ｒの指向性を維持するためのミキシング係数Ｈｉｊを生成して出力する。
演算部２６３は、ダウンミックス信号Ｍ、無相関信号Ｍｒｅｖ、及びミキシング係数Ｈｉｊを取得して、これらを用いて下記の式（１）に示される演算を行い、オーディオ信号Ｌ，Ｒを出力する。このように、ミキシング係数Ｈｉｊを用いることによって、オーディオ信号Ｌ，Ｒ間の相関の程度や、それらの信号の指向性を、意図した状態にすることができる。
Figure 0004918490
 …（１）
図４は、マルチチャンネル合成部２３の詳細な構成を示すブロック図である。なお、デコーダ２２も併せて図示されている。
デコーダ２２は、符号化ダウンミックス信号を時間領域のダウンミックス信号Ｍに復号化し、復号化したダウンミックス信号Ｍをマルチチャンネル合成部２３に出力する。
マルチチャンネル合成部２３は、分析フィルタバンク２３１と、チャンネル拡大部２３２と、時間的処理装置（エネルギー整形装置）９００とを備えている。チャンネル拡大部２３２は、プレマトリックス処理部２３２１、ポストマトリックス処理部２３２２、第１演算部２３２３、無相関処理部２３２４及び第２演算部２３２５によって、構成されている。
分析フィルタバンク２３１は、デコーダ２２から出力されたダウンミックス信号Ｍを取得し、そのダウンミックス信号Ｍの表現形式を、時間／周波数ハイブリッド表現に変換し、略式のベクトルｘで表される第１周波数帯域信号ｘとして出力する。なお、この分析フィルタバンク２３１は第１ステージ及び第２ステージを備える。例えば、第１ステージはＱＭＦフィルタバンクであり、第２ステージはナイキストフィルタバンクである。これらのステージでは、まずＱＭＦフィルタ（第１のステージ）で複数の周波数帯域に分割し、さらにナイキストフィルタ（第２のステージ）で低周波数側のサブバンドをさらに微細なサブバンドに分けることによって、低周波数サブバンドのスペクトルの分解能を高めている。
チャンネル拡大部２３２のプレマトリックス処理部２３２１は、信号強度レベルの各チャンネルへの配分（スケーリング）を示すスケーリングファクタたる行列Ｒ１を、ＢＣ情報を用いて生成する。
例えば、プレマトリックス処理部２３２１は、ダウンミックス信号Ｍの信号強度レベルと、第１ダウンミックス信号Ｍ１、第２ダウンミックス信号Ｍ２、第３ダウンミックス信号Ｍ３及び第４ダウンミックス信号Ｍ４の信号強度レベルとの比率を示すレベル情報ＩＩＤを用いて行列Ｒ１を生成する。
つまり、プレマトリックス処理部２３２１は、図２に示される第１〜第５チャンネル分離部２４１〜２４５が無相関信号を生成するために用いることができる中間信号を生成することを目的として、入力ダウンミックス信号ＭのエネルギーレベルをスケーリングするＩＬＤ空間パラメータから合成信号Ｍ１からＭ４のＩＬＤ空間的パラメータのベクトルエレメントＲ１［０］からＲ１［４］からなるスケーリング係数のベクトルＲ１を算出する。
第１演算部２３２３は、分析フィルタバンク２３１から出力された時間／周波数ハイブリッド表現の第１周波数帯域信号ｘを取得し、例えば、下記式（２）及び式（３）に示すように、その第１周波数帯域信号ｘと行列Ｒ１との積を算出する。そして、第１演算部２３２３は、その行列演算結果を示す中間信号ｖを出力する。つまり、第１演算部２３２３は、分析フィルタバンク２３１から出力された時間／周波数ハイブリッド表現の第１周波数帯域信号ｘから、４つのダウンミックス信号Ｍ１〜Ｍ４を分離する。
Figure 0004918490
 …（２）
ここで、Ｍ１〜Ｍ４は、下記式（３）で表される。
Figure 0004918490
 …（３）
無相関処理部２３２４は、図３に示すオールパスフィルタ２６１としての機能を有し、中間信号ｖに対してオールパスフィルタ処理を施すことによって、下記式（４）に示すように、無相関信号ｗを生成して出力する。なお、無相関信号ｗの構成要素Ｍｒｅｖ及びＭｉ，ｒｅｖは、ダウンミックス信号Ｍ，Ｍｉに対して無相関処理が施された信号である。
Figure 0004918490
 …（４）
なお、上記式（４）のｗＤｒｙは元のダウンミックス信号から構成され（以後「ドライ」信号とも記す。）、ｗＷｅｔは無相関信号の集まりで構成される（以後「ウェット」信号とも記す。）。
ポストマトリックス処理部２３２２は、残響の各チャンネルへの配分を示す行列Ｒ２を、ＢＣ情報を用いて生成する。つまり、ポストマトリックス処理部２３２２は、個々の信号を導出するために、ＭとＭｉ，ｒｅｖをミキシングするミキシング係数のマトリックスＲ２を算出する。例えば、ポストマトリックス処理部２３２２は、音像の幅や拡散性を示す相関情報ＩＣＣからミキシング係数Ｈｉｊを導出し、そのミキシング係数Ｈｉｊから構成される行列Ｒ２を生成する。
第２演算部２３２５は、無相関信号ｗと行列Ｒ２との積を算出し、その行列演算結果を示す出力信号ｙを出力する。つまり、第２演算部２３２５は、無相関信号ｗから、６つのオーディオ信号Ｌｆ，Ｒｆ，Ｌｓ，Ｒｓ，Ｃ，ＬＦＥを分離する。
例えば、図２に示すように、左前オーディオ信号Ｌｆは、第２ダウンミックス信号Ｍ２から分離されるため、その左前オーディオ信号Ｌｆの分離には、第２ダウンミックス信号Ｍ２と、それに対応する無相関信号ｗの構成要素Ｍ２，ｒｅｖとが用いられる。同様に、第２ダウンミックス信号Ｍ２は、第１ダウンミックス信号Ｍ１から分離されるため、その第２ダウンミックス信号Ｍ２の算出には、第１ダウンミックス信号Ｍ１と、それに対応する無相関信号ｗの構成要素Ｍ１，ｒｅｖとが用いられる。
したがって、左前オーディオ信号Ｌｆは、下記の式（５）により示される。
Figure 0004918490
 …（５）
ここで、式（５）中のＨｉｊ，Ａは、第３チャンネル分離部２４３におけるミキシング係数であり、Ｈｉｊ，Ｄは、第２チャンネル分離部２４２におけるミキシング係数であり、Ｈｉｊ，Ｅは、第１チャンネル分離部２４１におけるミキシング係数である。式（５）に示す３つの数式は、以下の式（６）に示す一つのベクトル乗算式にまとめることができる。
Figure 0004918490
 …（６）
左前オーディオ信号Ｌｆ以外の他のオーディオ信号Ｒｆ，Ｃ，ＬＦＥ，Ｌｓ，Ｒｓも、上述のような行列と無相関信号ｗの行列との演算によって算出される。
つまり、出力信号ｙは、下記の式（７）によって示される。
Figure 0004918490
 …（７）
第１〜第５チャンネル分離部２４１〜２４５からのミキシング係数の倍数集合からなるマトリックスであるＲ２は、マルチチャンネル信号を生成するために、Ｍ、Ｍｒｅｖ、Ｍ２，ｒｅｖ、… Ｍ４，ｒｅｖを線形結合したようにみられる。後続のエネルギー整形処理のために、ｙＤｒｙとｙＷｅｔは別々に格納される。
時間的処理装置９００は、復元された各オーディオ信号の表現形式を、時間／周波数ハイブリッド表現から時間表現に変換し、その時間表現の複数のオーディオ信号をマルチチャンネル信号として出力する。なお、時間的処理装置９００は、分析フィルタバンク２３１と整合するように、例えば２つのステージから構成される。また、行列Ｒ１，Ｒ２は、上述のパラメータバンドｂ毎に、行列Ｒ１（ｂ），Ｒ２（ｂ）として生成される。
ここで、ウェット信号とドライ信号がマージされる前に、ウェット信号はドライ信号の時間的エンベロープに従って整形される。このモジュール、時間的処理装置９００は、アタック音などのように高速な時間変化特性をもつ信号にとって不可欠なものである。
つまり、時間的処理装置９００は、アタック音や音声信号のような時間変化の急激な信号の場合に、音がなまることを改善するために、ダイレクト信号の時間包絡に適合するように、拡散信号の時間包絡を整形した信号とダイレクト信号とを加算して出力することにより、原音の音質を保つ。
図５は、図４に示される時間的処理装置９００の詳細な構成を示すブロック図である。
図５に示されるように、時間的処理装置９００は、スプリッタ９０１と、合成フィルタバンク９０２，９０３と、ダウンミックス部９０４と、バンドパスフィルタ（ＢＰＦ）９０５，９０６と、正規化処理部９０７，９０８と、スケール算出処理部９０９と、平滑化処理部９１０と、演算部９１１と、ハイパスフィルタ（ＨＰＦ）９１２と、加算部９１３とを備える。
スプリッタ９０１は、復元された信号ｙを、下記式（８）、式（９）のようにダイレクト信号ｙｄｉｒｅｃｔと、拡散信号ｙｄｉｆｆｕｓｅとに分割する。
Figure 0004918490
 …（８）
Figure 0004918490
 …（９）
合成フィルタバンク９０２は、６つのダイレクト信号を時間領域へ変換する。合成フィルタバンク９０３は、合成フィルタバンク９０２と同様に、６つの拡散信号を時間領域へ変換する。
ダウンミックス部９０４は、下記式（１０）に基づいて、時間領域における６つのダイレクト信号を１つのダイレクトダウンミックス信号Ｍｄｉｒｅｃｔとなるように加算する。
Figure 0004918490
 …（１０）
ＢＰＦ９０５は、１つのダイレクトダウンミックス信号に帯域通過処理を施す。ＢＰＦ９０６は、ＢＰＦ９０５と同様に、６つの全ての拡散信号に帯域通過処理を施す。帯域通過処理を施されたダイレクトダウンミックス信号及び拡散信号は下記式（１１）に示される。
Figure 0004918490
 …（１１）
正規化処理部９０７は、下記に示される式（１２）に基づいて、ダイレクトダウンミックス信号が１つの処理フレームにわたって１つのエネルギーを有するように正規化する。
Figure 0004918490
 …（１２）
正規化処理部９０８は、正規化処理部９０７と同様に、下記に示される式（１３）に基づいて、６つの拡散信号を正規化する。
Figure 0004918490
 …（１３）
正規化された信号は、スケール算出処理部９０９において、時間ブロックに分割される。そして、スケール算出処理部９０９は、それぞれの時間ブロックについて、下記式（１４）に基づいてスケール係数を算出する。
Figure 0004918490
 …（１４）
なお、図６は、上記式（１４）の時間ブロックｂが「ブロックインデックス」を示す場合の、上記分割処理を示す図である。
最後に、前記拡散信号は演算部９１１においてスケーリングされ、以下のように加算部９１３において前記ダイレクト信号に組み合わされる前に、ＨＰＦ９１２において下記式（１５）に基づいて、高域フィルタ処理が施される。
Figure 0004918490
 …（１５）
なお、平滑化処理部９１０は、連続した時間ブロックにわたるスケーリング係数の平滑性を高める付加的な技術である。例えば、連続した時間ブロックは、図６中のαで示されるようにそれぞれ重複していてもよく、重複領域において、「重み付けされた」スケール係数は、ウィンドウ機能を用いて演算される。
スケーリング処理９１１においても、当業者には周知のそのような公知の重複加算技術を用いることができる。
このように従来の時間的処理装置９００では、元の信号それぞれについて時間領域の個々の無相関信号を整形することによる、上記エネルギー整形方法を提示している。
Ｊ． Ｈｅｒｒｅ， ｅｔ ａｌ， "Ｔｈｅ Ｒｅｆｅｒｅｎｃｅ Ｍｏｄｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ ＭＰＥＧ Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ"， １１８ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ， Ｂａｒｃｅｌｏｎａ
しかしながら、従来のエネルギー整形装置では、半分がダイレクト信号であり、もう半分が拡散信号である１２の信号に対する合成フィルタ処理を必要とするため、演算負荷が非常に重い。また、様々な帯域及び高域フィルタの使用することはフィルタ処理の遅延を引き起こす。
すなわち、従来のエネルギー整形装置では、スプリッタ９０１によって分割されたダイレクト信号と、拡散信号とを合成フィルタバンク９０２，９０３により時間領域の信号にそれぞれ変換している。このため、例えば入力オーディオ信号が６チャンネルの場合、時間フレーム毎に６×２＝１２個の合成フィルタ処理が必要となり、処理量が非常に大きいという問題がある。
また、合成フィルタバンク９０２，９０３により変換された時間領域のダイレクト信号及び拡散信号信号について帯域通過処理を施したり、高域通過処理を施しているので、これらの通過処理に要する遅延が発生するという問題もある。
そこで本発明は、上述の問題を解決し、合成フィルタ処理の処理量を低減し、通過処理に要する遅延の発生を防止することができるエネルギー整形装置及びエネルギー整形方法を提供することを目的とする。
上記目的を達成するために、本発明に係るエネルギー整形装置においては、マルチチャンネル音響信号の復号化においてエネルギー整形を行うエネルギー整形装置であって、ハイブリッド時間・周波数変換によって得られるサブバンド領域の音響信号を、残響成分を示す拡散信号と、非残響成分を示すダイレクト信号に分割するスプリッタ手段と、前記ダイレクト信号をダウンミックスすることによってダウンミックス信号を生成するダウンミックス手段と、前記ダウンミックス信号及び前記サブバンド毎に分割された拡散信号に対して、サブバンド毎に帯域通過処理を施すことによって、それぞれ、帯域通過ダウンミックス信号及び帯域通過拡散信号を生成するフィルタ処理手段と、前記帯域通過ダウンミックス信号及び前記帯域通過拡散信号に対して、それぞれのエネルギーについて正規化することによって、それぞれ、正規化ダウンミックス信号及び正規化拡散信号を生成する正規化処理手段と、予め定められた時間スロット毎に、前記正規化拡散信号のエネルギーに対する前記正規化ダウンミックス信号のエネルギーの大きさを示すスケール係数を算出するスケール係数算出手段と、前記拡散信号に前記スケール係数を乗じることによって、スケール拡散信号を生成する乗算手段と、前記スケール拡散信号に対して高域通過処理を施すことによって、高域通過拡散信号を生成する高域通過処理手段と、前記高域通過拡散信号と前記ダイレクト信号とを加算することによって、加算信号を生成する加算手段と、前記加算信号に対して合成フィルタ処理を施すことによって、時間領域信号に変換する合成フィルタ処理手段とを備えることを特徴とする。
このように、合成フィルタ処理を行う前に、各チャンネルのダイレクト信号及び拡散信号について、サブバンド毎に帯域通過処理を行うようにしている。このため、帯域通過処理を単純な乗算で実現することができ、帯域通過処理に要する遅延を防止することができる。しかも、各チャンネルのダイレクト信号及び拡散信号について処理がすんだ後に加算信号に対して合成フィルタ処理を施すことによって、時間領域信号に変換する合成フィルタ処理を行うようにしている。このため、例えば６チャンネルの場合、合成フィルタ処理の個数を６に減らすことができ、合成フィルタ処理の処理量を従来より半減させることができる。
また、本発明に係るエネルギー整形装置においては、前記エネルギー整形装置はさらに、前記スケール係数に対して時間スロット毎の変動を押さえる平滑化処理を施すことによって、平滑化スケール係数を生成する平滑化手段を備えることを特徴とすることができる。
これにより、周波数領域で求めたスケール係数の値が急激に変化する、あるいはオーバーフローし、音質劣化を引き起こすという問題の発生を未然に防止することができる。
また、本発明に係るエネルギー整形装置においては、前記平滑化手段は、現在の時間スロットにおけるスケール係数に対してαを乗じて得られる値と、直前の時間スロットにおけるスケール係数に対して（１−α）を乗じて得られる値とを加算することにより、前記平滑化処理を施すことを特徴とすることもできる。
これにより、簡単な処理で、周波数領域で求めたスケール係数の値の急激な変化や、オーバーフローを防止することができる。
また、本発明に係るエネルギー整形装置においては、前記エネルギー整形装置はさらに、前記スケール係数に対して、予め定められた上限値を超える場合には上限値に制限するとともに、予め下限値を下回る場合には下限値に制限することにより、前記スケール係数に対するクリップ処理を施すクリップ処理手段を備えることを特徴とすることができる。
これによっても、周波数領域で求めたスケール係数の値が急激に変化する、あるいはオーバーフローし、音質劣化を引き起こすという問題の発生を未然に防止することができる。
また、本発明に係るエネルギー整形装置においては、前記クリップ処理手段は、上限値をβとした場合に、下限値を１／βとして、前記クリップ処理を施すことを特徴とすることができる。
これによっても、簡単な処理で、周波数領域で求めたスケール係数の値の急激な変化や、オーバーフローを防止することができる。
また、本発明に係るエネルギー整形装置においては、前記ダイレクト信号には、前記音響信号の低周波帯域における残響成分と非残響成分、及び、前記音響信号の高周波帯域における非残響成分が含まれることを特徴とすることができる。
また、本発明に係るエネルギー整形装置においては、前記拡散信号には、前記音響信号の高周波帯域における残響成分が含まれ、前記音響信号の低周波成分が含まれないことを特徴とすることができる。
また、本発明に係るエネルギー整形装置においては、前記エネルギー整形装置はさらに、前記音響信号に対するエネルギー整形を施すか施さないかを切り替える制御手段を備えることを特徴とすることができる。これにより、エネルギー整形を施すか施さないかを切り替えることで、音の時間的変動のシャープさや、音像のしっかりとした定位の両立を実現することができる。
また、本発明に係るエネルギー整形装置においては、前記制御手段は、エネルギー整形処理を施すか施さないかを制御する制御フラグに従って、前記拡散信号及び前記高域通過拡散信号のいずれかを選択し、前記加算手段は、前記制御手段で選択された信号と前記ダイレクト信号とを加算することを特徴とすることもできる。
これにより、時々刻々エネルギー整形を施すか施さないかを簡単に切り替えることができる。
なお、本発明は、このようなエネルギー整形装置として実現することができるだけでなく、このようなエネルギー整形装置が備える特徴的な手段をステップとするエネルギー整形方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したり、エネルギー整形装置が備える特徴的な手段を集積回路化することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのはいうまでもない。
以上の説明から明らかなように、本発明に係るエネルギー整形装置によれば、ビットストリームのシンタックスを変形することなく、高音質を維持したまま、合成フィルタ処理の処理量を低減し、通過処理に要する遅延の発生を防止することができる。
よって、本発明により、携帯電話機や携帯情報端末への音楽コンテンツの配信や、視聴が普及してきた今日における本願発明の実用的価値は極めて高い。
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下に示す実施の形態は、単に様々な進歩性の原理を説明しているにすぎない。ここに記載される詳細の変形は、当業者にとっては明らかであると理解される。よって、本発明は、特許請求項の範囲においてのみ限定されるのであって、以下の具体的、説明的な詳細に限定されるものではないとする。
（実施の形態１）
図７は、本実施の形態１における時間的処理装置（エネルギー整形装置）の構成を示す図である。
この時間的処理装置６００ａは、図５の時間的処理装置９００に代えてマルチチャンネル合成部２３を構成する装置であり、図７に示されるように、スプリッタ６０１と、ダウンミックス部６０４と、ＢＰＦ６０５と、ＢＰＦ６０６と、正規化処理部６０７と、正規化処理部６０８と、スケール算出処理部６０９と、平滑化処理部６１０と、演算部６１１と、ＨＰＦ６１２と、加算部６１３と、合成フィルタバンク６１４とを備える。
この時間的処理装置６００ａでは、チャンネル拡大部２３２からのハイブリッド時間・周波数表現されたサブバンド領域での出力信号を直接入力とし、最後に合成フィルタで時間信号に戻すことによって、従来必要とされた合成フィルタ処理負荷の５０パーセントを取り除き、さらに各部での処理を単純化できるように構成されている。
スプリッタ６０１の動作は、図５のスプリッタ９０１と同様であるので説明を省略する。つまり、スプリッタ６０１は、ハイブリッド時間・周波数変換によって得られるサブバンド領域の音響信号を、残響成分を示す拡散信号と、非残響成分を示すダイレクト信号に分割する。
ここで、ダイレクト信号には、音響信号の低周波帯域における残響成分と非残響成分、及び、前記音響信号の高周波帯域における非残響成分が含まれる。また、拡散信号には、音響信号の高周波帯域における残響成分が含まれ、音響信号の低周波成分が含まれない。これにより、アタック音等の時間変化の激しい音に対する適切ななまり防止処理を施すことができる。
非特許文献１記載のダウンミックス部９０４と、本発明におけるダウンミックス部６０４は、処理する信号が時間領域信号か、サブバンド領域信号かの違いがある。しかしながら、どちらも共通の一般的なマルチチャンネルダウンミックス処理手法を用いる。つまり、ダウンミックス部６０４は、ダイレクト信号をダウンミックスすることによってダウンミックス信号を生成する。
ＢＰＦ６０５及びＢＰＦ６０６は、ダウンミックス信号及び前記サブバンド毎に分割された拡散信号に対して、サブバンド毎に帯域通過処理を施すことによって、それぞれ、帯域通過ダウンミックス信号及び帯域通過拡散信号を生成する。
図８に示されるように、ＢＰＦ６０５及びＢＰＦ６０６における帯域フィルタ処理は、帯域フィルタの対応する周波数応答によるそれぞれのサブバンドの単純な乗算に単純化される。広義の意味で、帯域フィルタは乗算器としてみなすことができる。ここで、８００は帯域フィルタの周波数応答を示す。さらにここで乗算演算は、重要な帯域応答をもった領域８０１だけ行えばよいのでさらに演算量の削減が可能となる。例えば外部ストップバンド領域８０２及び８０３においては、乗算結果は０であると仮定すると、パスバンドの振幅が１である場合、乗算は単純な複製処理とみなすことができる。
つまり、ＢＰＦ６０５及びＢＰＦ６０６における帯域フィルタ処理は、下記式（１６）に基づいて行うことができる。
Figure 0004918490
 …（１６）
ここで、ｔｓは時間スロットインデックス、ｓｂはサブバンドインデックスである。Ｂａｎｄｐａｓｓ（ｓｐ）は、上記で説明したように単純な乗算器としてもよい。
正規化処理部６０７，６０８は、帯域通過ダウンミックス信号及び帯域通過拡散信号に対して、それぞれのエネルギーについて正規化することによって、それぞれ、正規化ダウンミックス信号及び正規化拡散信号を生成する。
正規化処理部６０７及び正規化処理部６０８は、非特許文献１開示の正規化処理部９０７及び正規化処理部９０８との違いは、処理する信号の領域が、正規化処理部６０７及び正規化処理部６０８はサブバンド領域の信号、正規化処理部９０７及び正規化処理部９０８は時間領域の信号という点と、以下に示すような複素共役を用いることを除いて、一般的な正規化処理手法、つまり下記式（１７）に従う処理手法である点である。
この場合、サブバンド毎に正規化処理を行う必要があるが、正規化処理部６０７及び正規化処理部６０８の利点により、ゼロのデータをもつ空間領域においては演算が省略される。よって、正規化対象の全サンプルに対して処理しなければならない先行文献開示の正規化モジュールに比べて、全体としては演算負荷の増加はほとんどない。
Figure 0004918490
 …（１７）
スケール算出処理部６０９は、予め定められた時間スロット毎に、正規化拡散信号のエネルギーに対する正規化ダウンミックス信号のエネルギーの大きさを示すスケール係数を算出する。より具体的には、以下のように、むしろ時間ブロック毎ではなく時間スロット毎に実行されることを除けば、スケール算出処理部６０９の演算もまた、下記式（１８）に示されるように、原則としてスケール算出処理部９０９と同様である。
Figure 0004918490
 …（１８）
処理対象となる時間領域データがはるかに少ない場合、平滑化処理部９１０の重複ウィンドウ処理に基づく平滑化技術も、平滑化処理部６１０に取って代わられなければならない。
ところが、本実施の形態に係る平滑化処理部６１０の場合、非常に細かい単位で平滑化処理が行われるために、スケール係数を先行文献記載のスケール係数（式（１４））の考え方をそのまま用いると、平滑化の係方が極端に振れる場合があるので、スケール係数自身を平滑化する必要がある。
そのために例えば、下記式（１９）に示されるような単純な低域フィルタが、時間スロット毎にｓｃａｌｅｉ（ｔｓ）の大幅な変動を抑制するために用いることができる。
Figure 0004918490
 …（１９）
つまり、平滑化処理部６１０は、スケール係数に対して時間スロット毎の変動を押さえる平滑化処理を施すことによって、平滑化スケール係数を生成する。より詳しくは、平滑化処理部６１０は、現在の時間スロットにおけるスケール係数に対してαを乗じて得られる値と、直前の時間スロットにおけるスケール係数に対して（１−α）を乗じて得られる値とを加算することにより、平滑化処理を施す。
ここで、αは例えば０．４５に設定する。またαの大きさを変えることによって、効果を制御することも可能となる（０≦α≦１）。
上記αの値は、符号化装置側であるオーディオエンコーダ１０から送信することも可能であり、送信側にて平滑化処理を制御可能となり、非常に多岐にわたる効果を出すことが可能となる。もちろん、前記のように予め定められたαの値を平滑化処理装置の中で保持してもよい。
ところで、平滑化処理で処理する信号エネルギーが大きい場合など、特定の帯域にエネルギーが集中して、平滑化処理の出力がオーバーフローする恐れがある。その場合に備えて、例えば下記式（２０）のようにｓｃａｌｅｉ（ｔｓ）のクリッピング処理を行う。
Figure 0004918490
 …（２０）
ここで、βはクリッピングの係数であり、ｍｉｎ（）、ｍａｘ（）はそれぞれ最小値、最大値を表す。
つまり、このクリップ処理手段（不図示）は、スケール係数に対して、予め定められた上限値を超える場合には上限値に制限するとともに、予め下限値を下回る場合には下限値に制限することにより、スケール係数に対するクリップ処理を施す。
式（２０）は、各チャンネル毎に計算したｓｃａｌｅｉ（ｔｓ）が、例えばβ＝２．８２の場合には、上限値が２．８２に、下限値が１／２．８２に設定され、その範囲の値に制限されることを意味している。なお、前記閾値である２．８２及び１／２．８２は一例であって、その値に限定するものではない。
演算部６１１は、拡散信号にスケール係数を乗じることによって、スケール拡散信号を生成する。ＨＰＦ６１２は、スケール拡散信号に対して高域通過処理を施すことによって、高域通過拡散信号を生成する。加算部６１３は、高域通過拡散信号とダイレクト信号とを加算することによって、加算信号を生成する。
具体的には、演算部６１１、ＨＰＦ６１２及びダイレクト信号との加算部６１３は、それぞれ合成フィルタバンク９０２、ＨＰＦ９１２、及び加算部９１３のように行われる。
しかしながら、上記処理は下記式（２１）に示されるように組み合わせることができる。
Figure 0004918490
 …（２１）
前述のＢＰＦ６０５及びＢＰＦ６０６における演算節約のための考慮（例えば、ストップバンドにゼロを、パスバンドに複製処理を適用）は、高域フィルタ６１２においても適用可能である。
合成フィルタバンク６１４は、加算信号に対して合成フィルタ処理を施すことによって、時間領域信号に変換する。すなわち、最後に、合成フィルタバンク６１４によって、新しいダイレクト信号ｙ１を時間領域信号に変換する。
なお、本発明に含まれる各構成要素を、ＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）などの集積回路によって構成してもよい。
さらに本発明は、これらの装置及び各構成要素における動作をコンピュータに実行させるプログラムとしても実現することができる。
（実施の形態２）
また、本発明を適用するかの決定は、ビットストリーム中のいくつかの制御フラグを設定し、図９に示される時間的処理装置６００ｂの制御部６１５において、そのフラグによって一部復元信号の各フレーム毎に作動させる／作動させないを制御することも可能である。つまり、制御部６１５は、音響信号に対するエネルギー整形を施すか施さないかを時間フレーム毎あるいはチャンネル毎に切り替えるようにしてもよい。これにより、エネルギー整形を施すか施さないかを切り替えることで、音の時間的変動のシャープさや、音像のしっかりとした定位の両立を実現することができる。
このために例えば符号化処理の過程で、音響チャンネルを分析し、急激な変化を伴うエネルギーエンベロープをもっているかどうかの判定を行い、該当する音響チャンネルがある場合は、エネルギー整形が必要であるため、前記制御フラグはオンに設定し、復号時に制御フラグに従い整形処理を適用させるようにしてもよい。
つまり、制御部６１５は、前記制御フラグに従って、拡散信号及び高域通過拡散信号のいずれかを選択し、加算部６１３は、制御部６１５で選択された信号とダイレクト信号とを加算するようにしてもよい。これにより、時々刻々エネルギー整形を施すか施さないかを簡単に切り替えることができる。
本発明に係るエネルギー整形装置は、メモリの必要容量を減らし、チップサイズをより小さくすることができる技術であり、ホームシアターシステム、車載音響システム、電子ゲームシステムや携帯電話機等、マルチチャンネル再生が望まれる装置に適用することが可能である。
図１は、空間的符号化の基本原理を用いたオーディオ装置の全体構成を示すブロック図である。 図２は、６チャンネル時におけるマルチチャンネル合成部２３の機能構成を示すブロック図である。 図３は、マルチチャンネル合成部２３の原理を説明するための機能構成を示す他の機能ブロック図である。 図４は、マルチチャンネル合成部２３の詳細な構成を示すブロック図である。 図５は、図４に示される時間的処理装置９００の詳細な構成を示すブロック図である。 図６は、従来の整形方法における重複ウィンドウ化処理に基づく平滑化技術を示す図である。 図７は、本実施の形態１における時間的処理装置（エネルギー整形装置）の構成を示す図である。 図８は、サブバンド領域における帯域フィルタ処理及び演算節約のための考慮を示す図である。 図９は、本実施の形態１における時間的処理装置（エネルギー整形装置）の構成を示す図である。
符号の説明
６００ａ，６００ｂ 時間的処理装置
６０１ スプリッタ
６０４ ダウンミックス部
６０５，６０６ ＢＰＦ
６０７，６０８正規化処理部
６０９ スケール算出処理部
６１０ 平滑化処理部
６１１ 演算部
６１２ ＨＰＦ
６１３ 加算部
６１４ 合成フィルタバンク
６１５ 制御部

Claims (20)

  1. マルチチャンネル音響信号の復号化においてエネルギー整形を行うエネルギー整形装置であって、
    ハイブリッド時間・周波数変換によって得られるサブバンド領域の音響信号を、残響成分を示す拡散信号と、非残響成分を示すダイレクト信号に分割するスプリッタ手段と、
    前記ダイレクト信号をダウンミックスすることによってダウンミックス信号を生成するダウンミックス手段と、
    前記ダウンミックス信号及び前記サブバンド毎に分割された拡散信号に対して、サブバンド毎に帯域通過処理を施すことによって、それぞれ、帯域通過ダウンミックス信号及び帯域通過拡散信号を生成するフィルタ処理手段と、
    前記帯域通過ダウンミックス信号及び前記帯域通過拡散信号に対して、それぞれのエネルギーについて正規化することによって、それぞれ、正規化ダウンミックス信号及び正規化拡散信号を生成する正規化処理手段と、
    予め定められた時間スロット毎に、前記正規化拡散信号のエネルギーに対する前記正規化ダウンミックス信号のエネルギーの大きさを示すスケール係数を算出するスケール係数算出手段と、
    前記拡散信号に前記スケール係数を乗じることによって、スケール拡散信号を生成する乗算手段と、
    前記スケール拡散信号に対して高域通過処理を施すことによって、高域通過拡散信号を生成する高域通過処理手段と、
    前記高域通過拡散信号と前記ダイレクト信号とを加算することによって、加算信号を生成する加算手段と、
    前記加算信号に対して合成フィルタ処理を施すことによって、時間領域信号に変換する合成フィルタ処理手段と
    を備えることを特徴とするエネルギー整形装置。
  2. 前記エネルギー整形装置はさらに、前記スケール係数に対して時間スロット毎の変動を押さえる平滑化処理を施すことによって、平滑化スケール係数を生成する平滑化手段を備える
    ことを特徴とする請求項１記載のエネルギー整形装置。
  3. 前記平滑化手段は、現在の時間スロットにおけるスケール係数に対してαを乗じて得られる値と、直前の時間スロットにおけるスケール係数に対して（１−α）を乗じて得られる値とを加算することにより、前記平滑化処理を施す
    ことを特徴とする請求項２記載のエネルギー整形装置。
  4. 前記エネルギー整形装置はさらに、前記スケール係数に対して、予め定められた上限値を超える場合には上限値に制限するとともに、予め下限値を下回る場合には下限値に制限することにより、前記スケール係数に対するクリップ処理を施すクリップ処理手段を備える
    ことを特徴とする請求項１記載のエネルギー整形装置。
  5. 前記クリップ処理手段は、上限値をβとした場合に、下限値を１／βとして、前記クリップ処理を施す
    ことを特徴とする請求項４記載のエネルギー整形装置。
  6. 前記ダイレクト信号には、前記音響信号の低周波帯域における残響成分と非残響成分、及び、前記音響信号の高周波帯域における非残響成分が含まれる
    ことを特徴とする請求項１記載のエネルギー整形装置。
  7. 前記拡散信号には、前記音響信号の高周波帯域における残響成分が含まれ、前記音響信号の低周波成分が含まれない
    ことを特徴とする請求項１記載のエネルギー整形装置。
  8. 前記エネルギー整形装置はさらに、前記音響信号に対するエネルギー整形を施すか施さないかを切り替える制御手段を備える
    ことを特徴とする請求項１記載のエネルギー整形装置。
  9. 前記制御手段は、音響フレーム毎にエネルギー整形処理を施すかどうかを示す制御フラグに従って、施さない場合には前記拡散信号を、施す場合には前記高域通過拡散信号を選択し、
    前記加算手段は、前記制御手段で選択された信号と前記ダイレクト信号とを加算する
    ことを特徴とする請求項８記載のエネルギー整形装置。
  10. マルチチャンネル音響信号の復号化においてエネルギー整形を行うエネルギー整形方法であって、
    ハイブリッド時間・周波数変換によって得られるサブバンド領域の音響信号を、残響成分を示す拡散信号と、非残響成分を示すダイレクト信号に分割するスプリッタステップと、
    前記ダイレクト信号をダウンミックスすることによってダウンミックス信号を生成するダウンミックスステップと、
    前記ダウンミックス信号及び前記サブバンド毎に分割された拡散信号に対して、サブバンド毎に帯域通過処理を施すことによって、それぞれ、帯域通過ダウンミックス信号及び帯域通過拡散信号を生成するフィルタ処理ステップと、
    前記帯域通過ダウンミックス信号及び前記帯域通過拡散信号に対して、それぞれのエネルギーについて正規化することによって、それぞれ、正規化ダウンミックス信号及び正規化拡散信号を生成する正規化処理ステップと、
    予め定められた時間スロット毎に、前記正規化拡散信号のエネルギーに対する前記正規化ダウンミックス信号のエネルギーの大きさを示すスケール係数を算出するスケール係数算出ステップと、
    前記拡散信号に前記スケール係数を乗じることによって、スケール拡散信号を生成する乗算ステップと、
    前記スケール拡散信号に対して高域通過処理を施すことによって、高域通過拡散信号を生成する高域通過処理ステップと、
    前記高域通過拡散信号と前記ダイレクト信号とを加算することによって、加算信号を生成する加算ステップと、
    前記加算信号に対して合成フィルタ処理を施すことによって、時間領域信号に変換する合成フィルタ処理ステップと
    を含むことを特徴とするエネルギー整形方法。
  11. 前記エネルギー整形方法はさらに、前記スケール係数に対して時間スロット毎の変動を押さえる平滑化処理を施すことによって、平滑化スケール係数を生成する平滑化ステップを含む
    ことを特徴とする請求項１０記載のエネルギー整形方法。
  12. 前記平滑化ステップでは、現在の時間スロットにおけるスケール係数に対してαを乗じて得られる値と、直前の時間スロットにおけるスケール係数に対して（１−α）を乗じて得られる値とを加算することにより、前記平滑化処理を施す
    ことを特徴とする請求項１１記載のエネルギー整形方法。
  13. 前記エネルギー整形方法はさらに、前記スケール係数に対して、予め定められた上限値を超える場合には上限値に制限するとともに、予め下限値を下回る場合には下限値に制限することにより、前記スケール係数に対するクリップ処理を施すクリップ処理ステップを含む
    ことを特徴とする請求項１０記載のエネルギー整形方法。
  14. 前記クリップ処理ステップでは、上限値をβとした場合に、下限値を１／βとして、前記クリップ処理を施す
    ことを特徴とする請求項１３記載のエネルギー整形方法。
  15. 前記ダイレクト信号には、前記音響信号の低周波帯域における残響成分と非残響成分、及び、前記音響信号の高周波帯域における非残響成分が含まれる
    ことを特徴とする請求項１０記載のエネルギー整形方法。
  16. 前記拡散信号には、前記音響信号の高周波帯域における残響成分が含まれ、前記音響信号の低周波成分が含まれない
    ことを特徴とする請求項１０記載のエネルギー整形方法。
  17. 前記エネルギー整形方法はさらに、前記音響信号に対するエネルギー整形を施すか施さないかを切り替える制御ステップを含む
    ことを特徴とする請求項１０記載のエネルギー整形方法。
  18. 前記制御ステップでは、音響フレーム毎にエネルギー整形処理を施すか施さないかを示す制御フラグに従って、施さない場合には前記拡散信号を、施す場合には前記高域通過拡散信号を選択し、
    前記加算ステップでは、前記制御ステップで選択された信号と前記ダイレクト信号とを加算する
    ことを特徴とする請求項１７記載のエネルギー整形方法。
  19. マルチチャンネル音響信号の復号化においてエネルギー整形を行うためのプログラムであって、
    請求項１０記載のエネルギー整形方法に含まれるステップをコンピュータに実行させる
    ことを特徴とするプログラム。
  20. マルチチャンネル音響信号の復号化においてエネルギー整形を行うための集積回路であって、
    ハイブリッド時間・周波数変換によって得られるサブバンド領域の音響信号を、残響成分を示す拡散信号と、非残響成分を示すダイレクト信号に分割するスプリッタと、
    前記ダイレクト信号をダウンミックスすることによってダウンミックス信号を生成するダウンミックス回路と、
    前記ダウンミックス信号及び前記サブバンド毎に分割された拡散信号に対して、サブバンド毎に帯域通過処理を施すことによって、それぞれ、帯域通過ダウンミックス信号及び帯域通過拡散信号を生成するフィルタと、
    前記帯域通過ダウンミックス信号及び前記帯域通過拡散信号に対して、それぞれのエネルギーについて正規化することによって、それぞれ、正規化ダウンミックス信号及び正規化拡散信号を生成する正規化処理回路と、
    予め定められた時間スロット毎に、前記正規化拡散信号のエネルギーに対する前記正規化ダウンミックス信号のエネルギーの大きさを示すスケール係数を算出するスケール係数算出回路と、
    前記拡散信号に前記スケール係数を乗じることによって、スケール拡散信号を生成する乗算器と、
    前記スケール拡散信号に対して高域通過処理を施すことによって、高域通過拡散信号を生成する高域通過処理回路と、
    前記高域通過拡散信号と前記ダイレクト信号とを加算することによって、加算信号を生成する加算器と、
    前記加算信号に対して合成フィルタ処理を施すことによって、時間領域信号に変換する合成フィルタと
    を備えるエネルギー整形装置を集積化したことを特徴とする集積回路。
JP2007533326A 2005-09-02 2006-08-31 エネルギー整形装置及びエネルギー整形方法 Active JP4918490B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007533326A JP4918490B2 (ja) 2005-09-02 2006-08-31 エネルギー整形装置及びエネルギー整形方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2005254357 2005-09-02
JP2005254357 2005-09-02
JP2006190127 2006-07-11
JP2006190127 2006-07-11
PCT/JP2006/317218 WO2007026821A1 (ja) 2005-09-02 2006-08-31 エネルギー整形装置及びエネルギー整形方法
JP2007533326A JP4918490B2 (ja) 2005-09-02 2006-08-31 エネルギー整形装置及びエネルギー整形方法

Publications (2)

Publication Number Publication Date
JPWO2007026821A1 JPWO2007026821A1 (ja) 2009-03-26
JP4918490B2 true JP4918490B2 (ja) 2012-04-18

Family

ID=37808904

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007533326A Active JP4918490B2 (ja) 2005-09-02 2006-08-31 エネルギー整形装置及びエネルギー整形方法

Country Status (6)

Country Link
US (1) US8019614B2 (ja)
EP (1) EP1921606B1 (ja)
JP (1) JP4918490B2 (ja)
KR (1) KR101228630B1 (ja)
CN (1) CN101253556B (ja)
WO (1) WO2007026821A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8498874B2 (en) 2009-09-11 2013-07-30 Sling Media Pvt Ltd Audio signal encoding employing interchannel and temporal redundancy reduction
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP6075743B2 (ja) * 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
US9253574B2 (en) 2011-09-13 2016-02-02 Dts, Inc. Direct-diffuse decomposition
TWI546799B (zh) 2013-04-05 2016-08-21 杜比國際公司 音頻編碼器及解碼器
JP6531649B2 (ja) 2013-09-19 2019-06-19 ソニー株式会社 符号化装置および方法、復号化装置および方法、並びにプログラム
US9978385B2 (en) * 2013-10-21 2018-05-22 Dolby International Ab Parametric reconstruction of audio signals
UA117258C2 (uk) 2013-10-21 2018-07-10 Долбі Інтернешнл Аб Структура декорелятора для параметричного відновлення звукових сигналів
BR112016014476B1 (pt) 2013-12-27 2021-11-23 Sony Corporation Aparelho e método de decodificação, e, meio de armazenamento legível por computador
EP3213323B1 (en) 2014-10-31 2018-12-12 Dolby International AB Parametric encoding and decoding of multichannel audio signals
RU169931U1 (ru) * 2016-11-02 2017-04-06 Акционерное Общество "Объединенные Цифровые Сети" Устройство сжатия аудиосигнала для передачи по каналам распространения данных
CN108694955B (zh) * 2017-04-12 2020-11-17 华为技术有限公司 多声道信号的编解码方法和编解码器
ES3031961T3 (en) 2017-07-28 2025-07-14 Fraunhofer Ges Forschung Apparatus for decoding an encoded multichannel signal using a filling signal generated by a broad band filter
US11348573B2 (en) * 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
GB2590650A (en) * 2019-12-23 2021-07-07 Nokia Technologies Oy The merging of spatial audio parameters
EP4576071A1 (en) * 2023-12-19 2025-06-25 Koninklijke Philips N.V. Generation of multichannel audio signal
WO2025132058A1 (en) * 2023-12-19 2025-06-26 Koninklijke Philips N.V. Generation of multichannel audio signal

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128597A (en) * 1996-05-03 2000-10-03 Lsi Logic Corporation Audio decoder with a reconfigurable downmixing/windowing pipeline and method therefor
US6122619A (en) * 1998-06-17 2000-09-19 Lsi Logic Corporation Audio decoder with programmable downmixing of MPEG/AC-3 and method therefor
US7583805B2 (en) * 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
JP2005521921A (ja) * 2002-04-05 2005-07-21 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 信号処理
AU2003264750A1 (en) * 2002-05-03 2003-11-17 Harman International Industries, Incorporated Multi-channel downmixing device
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
JPWO2005081229A1 (ja) * 2004-02-25 2007-10-25 松下電器産業株式会社 オーディオエンコーダ及びオーディオデコーダ
SE0400998D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
EP1768107B1 (en) * 2004-07-02 2016-03-09 Panasonic Intellectual Property Corporation of America Audio signal decoding device
US7391870B2 (en) * 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal
US7283634B2 (en) * 2004-08-31 2007-10-16 Dts, Inc. Method of mixing audio channels using correlated outputs
US8204261B2 (en) * 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
SE0402652D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
EP1825713B1 (en) * 2004-11-22 2012-10-17 Bang & Olufsen A/S A method and apparatus for multichannel upmixing and downmixing
US7382853B2 (en) * 2004-11-24 2008-06-03 General Electric Company Method and system of CT data correction
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
US7751572B2 (en) * 2005-04-15 2010-07-06 Dolby International Ab Adaptive residual audio coding
US7788107B2 (en) * 2005-08-30 2010-08-31 Lg Electronics Inc. Method for decoding an audio signal
US7742913B2 (en) * 2005-10-24 2010-06-22 Lg Electronics Inc. Removing time delays in signal paths

Also Published As

Publication number Publication date
US20090234657A1 (en) 2009-09-17
US8019614B2 (en) 2011-09-13
EP1921606A4 (en) 2011-03-09
KR101228630B1 (ko) 2013-01-31
KR20080039463A (ko) 2008-05-07
EP1921606A1 (en) 2008-05-14
EP1921606B1 (en) 2011-10-19
CN101253556A (zh) 2008-08-27
WO2007026821A1 (ja) 2007-03-08
CN101253556B (zh) 2011-06-22
JPWO2007026821A1 (ja) 2009-03-26

Similar Documents

Publication Publication Date Title
JP4918490B2 (ja) エネルギー整形装置及びエネルギー整形方法
JP5793675B2 (ja) 符号化装置および復号装置
KR101212900B1 (ko) 오디오 디코더
EP2535892B1 (en) Audio signal decoder, method for decoding an audio signal and computer program using cascaded audio object processing stages
EP1649723B1 (en) Multi-channel synthesizer and method for generating a multi-channel output signal
JP4804532B2 (ja) 無相関信号の包絡線整形
JP5166292B2 (ja) 主成分分析によりマルチチャネルオーディオ信号を符号化するための装置および方法
CN114616621B (zh) 在浸入式语音及音频服务中的位速率分布
JPWO2006003891A1 (ja) 音声信号復号化装置及び音声信号符号化装置
JP2007532960A (ja) マルチチャネルオーディオ信号を表示するための装置と方法
JP5053849B2 (ja) マルチチャンネル音響信号処理装置およびマルチチャンネル音響信号処理方法
KR102856247B1 (ko) 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
JP2006337767A (ja) 低演算量パラメトリックマルチチャンネル復号装置および方法
JP2006323314A (ja) マルチチャネル音声信号をバイノーラルキュー符号化する装置
JP2006325162A (ja) バイノーラルキューを用いてマルチチャネル空間音声符号化を行うための装置
JP2007025290A (ja) マルチチャンネル音響コーデックにおける残響を制御する装置
HK1090504B (en) Multi-channel synthesizer and method for generating a multi-channel output signal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120130

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150203

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4918490

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350