JPWO2010140350A1 - ダウンミックス装置、符号化装置、及びこれらの方法 - Google Patents
ダウンミックス装置、符号化装置、及びこれらの方法 Download PDFInfo
- Publication number
- JPWO2010140350A1 JPWO2010140350A1 JP2011518265A JP2011518265A JPWO2010140350A1 JP WO2010140350 A1 JPWO2010140350 A1 JP WO2010140350A1 JP 2011518265 A JP2011518265 A JP 2011518265A JP 2011518265 A JP2011518265 A JP 2011518265A JP WO2010140350 A1 JPWO2010140350 A1 JP WO2010140350A1
- Authority
- JP
- Japan
- Prior art keywords
- signal
- coefficient
- monaural
- downmix
- power
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 238000013139 quantization Methods 0.000 claims abstract description 47
- 238000004364 calculation method Methods 0.000 claims description 129
- 239000011159 matrix material Substances 0.000 claims description 36
- 230000014509 gene expression Effects 0.000 claims description 34
- 239000013598 vector Substances 0.000 claims description 20
- 238000009499 grossing Methods 0.000 claims description 9
- 230000003252 repetitive effect Effects 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims 2
- 230000006870 function Effects 0.000 description 20
- 238000003860 storage Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000001133 acceleration Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000004091 panning Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
バランス重み係数によるバランス調整処理と主成分の除去処理とを組み合わせた場合に高い量子化性能を実現するダウンミックス方法および符号化装置。符号化装置(100)において、ダウンミックス部(101)が、L信号及びR信号に、係数α及びβをそれぞれ乗算して加算することにより、モノラル信号を生成する。L信号に対応する第1の符号化ターゲット信号は、乗算部(107)と加算部(109)とを用いて、前記モノラル信号に、バランス重み係数wLを乗算して、L信号から減算することにより生成される。R信号に対応する第2の符号化ターゲット信号は、乗算部(108)と加算部(110)とを用いて、前記モノラル信号に、バランス重み係数wRを乗算して、R信号から減算することにより生成される。
Description
本発明は、ダウンミックス装置、符号化装置、及びこれらの方法に関する。
移動体通信においては伝送帯域の有効利用のために音声や画像のディジタル情報の圧縮符号化が必須である。その中でも携帯電話で広く利用されている音声コーデック(符号化/復号)技術において、更に良い音質を得るべく、圧縮率の高い従来の高効率符号化に対する要求が強まっている。
また、近年では多層構造を持つスケーラブルコーデックの標準化がITU−T(International Telecommunication Union Telecommunication Standardization Sector)やMPEG(Moving Picture Experts Group)で検討されており、より効率的で高品質の音声コーデックが求められている。また、近年では、音声コーデックの際に、16kbps〜32kbpsの高いビットレートが設定されるようになり、また、音楽に対する品質や臨場感(マルチチャネル、ステレオ音響)のニーズを満たすものが求められるようになってきた。
ステレオ音響信号を低ビットレートで符号化する方式として、インテンシティステレオ方式が知られている。インテンシティステレオ方式では、モノラル信号(以下「M信号」と記載する)にスケーリング係数を乗じることにより、左チャネル信号(以下「L信号」と記載する)と右チャネル信号(以下「R信号」と記載する)とが生成される。このような生成手法は、振幅パニング(amplitude panning)とも呼ばれる。
振幅パニングの最も基本的な手法は、時間領域におけるM信号に振幅パニング用の利得係数(つまり、バランス重み係数)を乗じることにより、L信号及びR信号を求めるものである(例えば、非特許文献1)。
また、別な手法として、M信号の周波数成分ごと又は周波数グループごとにバランス重み係数を乗じることにより、L信号及びR信号を求めるものもある(例えば、非特許文献2)。
バランス重み係数をパラメトリックステレオの符号化パラメータとして符号化することによりステレオ信号の符号化を実現することができる(例えば、特許文献1及び特許文献2)。バランス重み係数は、特許文献1においてはバランスパラメータとして、特許文献2においてはILD(レベル差)として、それぞれ説明されている。
このインテンシティステレオの考え方は、他の符号化技術にも応用され、ISO/IECにおけるMPEG−2及びMPEG−4の標準方式“AAC(Advanced Audio Codec)”として広く使用されている(例えば、非特許文献3参照)。
ところで、上記した従来の音響信号の符号化技術においては、次の方法によって効率的な符号化が行われている。すなわち、ダウンミックスによって形成されたM信号は、まず、コア符号化器で符号化される。そして、コア符号化器で得られた符号化後のM信号のスペクトルにバランス重み係数を乗じることによって得られた結果を、L信号のスペクトル及びR信号のスペクトルのそれぞれから減算する。ここにインテンシティステレオの技術が用いられており、L信号及びR信号から、その主成分が除かれることにより、冗長性が十分に取り除かれる。そして、主成分が除かれたL信号及びR信号は、さらに符号化される。
この従来の音響信号の符号化技術におけるダウンミックスでは、L信号とR信号との平均をとる処理(つまり、L信号とR信号とを加算した結果に0.5を乗じる処理)が用いられる。この平均処理は、標準方式を含む殆どの音響コーデックにおけるダウンミックスで用いられている。なお、従来、もっとも単純な統合処理である平均処理がダウンミックスで用いられているのは、モノラル信号が単なる中間信号ではなく、それ自身もユーザーが楽しむ対象であると捉えられていることに起因する。
V.Pulkki and M.Karjalainen,"Localization of amplitude-panned virtual sources I: Stereophonic panning",Journal of the Audio Engineering Society,Vol.49,No.9,2001年9月,pp.739-752
B.Cheng,C.Ritz and I.Burnett,"Principles and analysis of the squeezing approach to low bit rate spatial audio coding",proc.IEEE ICASSP2007,pp.I-13-I-16,2007年4月
ISO/IEC 14496-3:1999(E) "MPEG-2", P232、Fig.B.13
しかしながら、上記したように、単純な平均処理を含むダウンミックスで形成されたモノラル信号を用いて主成分の除去を行う場合には、十分な量子化性能が発揮されない問題がある。これは、従来のダウンミックス方法が、ステレオ音声信号に対する高品質な符号化に最適化されていないためである。
従って、更なる音質の向上のために、バランス重み係数によるバランス調整処理と主成分の除去処理とを組み合わせた場合に高い量子化性能を実現するダウンミックス方法が望まれている。
本発明の目的は、バランス重み係数によるバランス調整処理と主成分の除去処理とを組み合わせた場合に高い量子化性能を実現するダウンミックス装置、符号化装置、及びこれらの方法を提供することである。
本発明のダウンミックス装置は、ステレオ信号を構成する第1信号及び第2信号を用いて、符号化対象のモノラル信号を生成するダウンミックス装置であって、前記第1信号及び前記第2信号を入力して前記第1信号の第1パワと前記第2信号の第2パワとを算出する第1パワ計算手段と、前記第1信号及び前記第2信号を入力して前記第1信号と前記第2信号との第1内積を算出する第1内積計算手段と、前記第1パワ、前記第2パワ、前記第1内積、及び前記モノラル信号を算出するために前記第1信号及び前記第2信号にそれぞれ乗算される第1係数及び第2係数、を用いた第1演算式であり、且つ、前記第1信号に関する第1差分信号のパワと前記第2信号に関する第2差分信号のパワとの和で構成される第1コスト関数を変形して得られる前記第1演算式、を用いた繰り返し演算により、前記第1コスト関数を最小化する前記第1係数及び前記第2係数を算出する係数計算手段と、前記第1信号及び前記第2信号に、前記第1係数及び前記第2係数をそれぞれ乗算して加算することにより、前記モノラル信号を生成するモノラル信号算出部と、を具備する。
本発明のダウンミックス装置は、ステレオ信号を構成する第1信号及び第2信号を用いて、符号化対象のモノラル信号を生成するダウンミックス装置であって、前記第1信号の要素同士の積と前記第2信号の要素同士の積との和を用いて設定される演算式を計算した結果を用いて前記モノラル信号を生成するモノラル信号生成手段を具備する。
本発明の符号化装置は、ステレオ信号を構成する第1信号及び第2信号にそれぞれ対応して生成される第1符号化ターゲット信号及び第2符号化ターゲット信号と、前記第1信号及び前記第2信号を用いて生成されるモノラル信号と、を符号化する符号化装置であって、前記第1信号及び前記第2信号を用いたダウンミックス処理を行うことにより前記モノラル信号を生成する上記いずれかのダウンミックス装置と、前記モノラル信号を符号化して第1符号を生成するとともに、前記第1符号を復号して復号化モノラル信号を生成するモノラル符号化手段と、前記第1信号及び前記第2信号と、前記復号化モノラル信号と、を用いて、前記第1符号化ターゲット信号を生成するために用いられる第1バランス重み係数、及び、前記第2符号化ターゲット信号を生成するために用いられる第2バランス重み係数を生成する重み量子化手段と、前記復号化モノラル信号に前記第1バランス重み係数を乗じた結果を前記第1信号から減じることにより前記第1符号化ターゲット信号を生成する第1ターゲット生成手段と、前記復号化モノラル信号に前記第2バランス重み係数を乗じた結果を前記第2信号から減じることにより前記第2符号化ターゲット信号を生成する第2ターゲット生成手段と、を具備する。
本発明によれば、バランス重み係数によるバランス調整処理と主成分の除去処理とを組み合わせた場合に高い量子化性能を実現するダウンミックス装置、符号化装置、及びこれらの方法を提供することができる。
以下、本発明の実施の形態について図面を参照して詳細に説明する。
(実施の形態1)
図1は、本発明の実施の形態1に係る符号化装置100の構成を示すブロック図である。符号化装置100は、ステレオ信号をスケーラブル(多層構造)で符号化するものであり、M信号をコア符号化器で符号化し、更に復号することにより生成した復号信号を用いて、周波数領域でステレオ信号を符号化する。また、符号化装置100は、バランス調整処理(つまり、パニング)及び主成分の除去処理を利用して、符号化及び復号化を行う。なお、本発明は主にダウンミックスに関わるものであるので、復号装置についての記載は省略されている。
図1は、本発明の実施の形態1に係る符号化装置100の構成を示すブロック図である。符号化装置100は、ステレオ信号をスケーラブル(多層構造)で符号化するものであり、M信号をコア符号化器で符号化し、更に復号することにより生成した復号信号を用いて、周波数領域でステレオ信号を符号化する。また、符号化装置100は、バランス調整処理(つまり、パニング)及び主成分の除去処理を利用して、符号化及び復号化を行う。なお、本発明は主にダウンミックスに関わるものであるので、復号装置についての記載は省略されている。
符号化装置100は、ステレオ信号を入力としている。ステレオ信号は、聞く人の左耳と右耳とに異なる音響信号を入れることによって、臨場感のある音響を楽しめるようになっている。従って、コンテンツが音響信号である場合、最もシンプルなステレオ信号は、L信号及びR信号の2チャンネル信号である。
より詳細には、図1において、符号化装置100は、ダウンミックス部101と、コア符号化器102と、修正離散コサイン変換(以下、「MDCT(Modified Discrete Cosine Transform)」と記載する)部103,104,105と、重み量子化部106と、乗算部107,108と、加算部109,110と、符号化器111,112と、多重化部113とから主に構成される。
ダウンミックス部101は、L信号及びR信号を入力とする。そして、ダウンミックス部101は、入力したL信号及びR信号を「所定のダウンミックス方法」によってダウンミックスすることにより、M信号を得る。この「所定のダウンミックス方法」及びダウンミックス部101の具体的な構成については、後に詳しく説明する。ここで、L信号、R信号、及びM信号は、すべてベクトルで表される。
コア符号化器102は、ダウンミックス部101で得られたM信号を符号化し、得られた符号化結果を多重化部113へ出力する。また、コア符号化器102は、その符号化結果をさらに復号する。この復号結果(つまり、復号化M信号)は、MDCT部104へ出力される。なお、CELP(Code Excited Linear Prediction coding)の様なタイムドメインの符号化を前提とする場合には、符号化処理の前にダウンサンプリングが行われても良く、また、復号化処理の後にアップサンプリングが行われても良い。
MDCT部103は、L信号を入力とし、入力したL信号に対して離散コサイン変換を行うことにより、時間領域(タイムドメイン)の信号から周波数領域(フリケンシードメイン)の信号(周波数スペクトル)へ変換する。そして、MDCT部103は、変換後の信号(つまり、周波数領域L信号)を重み量子化部106及び加算部109へ出力する。
MDCT部104は、コア符号化器102から出力された復号化M信号に対して離散コサイン変換を行うことにより、時間領域(タイムドメイン)の信号から周波数領域(フリケンシードメイン)の信号(周波数スペクトル)へ変換する。そして、MDCT部104は、変換後の信号(つまり、周波数領域復号化M信号)を重み量子化部106、乗算部107、及び乗算部108へ出力する。
MDCT部105は、R信号を入力とし、入力したR信号に対して離散コサイン変換を行うことにより、時間領域(タイムドメイン)の信号から周波数領域(フリケンシードメイン)の信号(周波数スペクトル)へ変換する。そして、MDCT部105は、変換後の信号(つまり、周波数領域R信号)を重み量子化部106及び加算部110へ出力する。
重み量子化部106は、MDCT部103から出力された周波数領域L信号、MDCT部104から出力された周波数領域復号化M信号、及びMDCT部105から出力された周波数領域R信号を用いて、バランス調整に使用するバランス重み係数を算出する。さらに、重み量子化部106は、算出したバランス重み係数を符号化する。符号化されたバランス重み係数は、多重化部113へ出力される。さらに、重み量子化部106は、符号化されたバランス重み係数を復号(つまり、逆量子化)し、これを用いて逆量子化バランス重み係数(wL,wR)を算出する。逆量子化バランス重み係数(wL,wR)は、それぞれ乗算部107,108に出力される。なお、重み量子化部106の具体的な構成については、後で詳しく説明する。
乗算部107は、MDCT部104から出力された周波数領域復号化M信号に、重み量子化部106から出力された逆量子化バランス重み係数wLを乗じて得られた乗算結果を、加算部109へ出力する。
乗算部108は、MDCT部104から出力された周波数領域復号化M信号に、重み量子化部106から出力された逆量子化バランス重み係数wRを乗じて得られた乗算結果を、加算部110へ出力する。
加算部109は、MDCT部103から出力された周波数領域L信号から、乗算部107から出力された乗算結果を減じることにより、符号化のターゲットとなるL信号(以下、「ターゲットL信号」と呼ぶ)を生成する。
加算部110は、MDCT部105から出力された周波数領域R信号から、乗算部108から出力された乗算結果を減じることにより、符号化のターゲットとなるR信号(以下、「ターゲットR信号」と呼ぶ)を生成する。
なお、以下においては、簡単のために、周波数領域L信号、周波数領域復号化M信号、及び周波数領域R信号を、単に、L信号、復号化M信号、及びR信号と記載することもある。また、逆量子化バランス重み係数(wL,wR)は、異なる表記のバランス重み係数を逆量子化し、それを用いて算出されることもあるため、以下においては、逆量子化バランス重み係数(wL,wR)を、単に、バランス重み係数(wL,wR)と記載する。
上記した式(1)で表されるアルゴリズムは、L信号及びR信号に対する主成分の除去処理に相当する。バランス重み係数は、それぞれ復号化M信号とL信号との類似性、及び、復号化M信号とR信号との類似性を表している。従って、バランス重み係数それぞれを復号化M信号に乗じた結果を、対応するL信号及びR信号からそれぞれ減ずることによって得られるターゲットL信号及びターゲットR信号は、復号化M信号との冗長性が省かれたものとなる。この結果として、ターゲットL信号及びターゲットR信号のパワが小さくなるので、ターゲットL信号及びターゲットR信号を、低ビットレートで高能率に符号化することができる。ただし、バランス重み係数の量子化ターゲットは、L信号とR信号とのパワ比を使用する方法、又は、L信号と復号化M信号との相関分析及びR信号と復号化M信号との相関分析を使用する方法により得られる。また、コスト関数を求めることにより、量子化ターゲットを求めずに、バランス重み係数を量子化する方法もある。
ここでは、効率的な量子化を行うために、2つのバランス重み係数は、2つを加算すると定数になるという制限を加える。ここではこの定数を2.0とし、wL+wR=2となる。この制限により、バランス重み係数は、スカラ量子化によって少ないビット数で量子化できる。
符号化器111は、加算部109から出力されたターゲットL信号を符号化し、得られた符号結果を多重化部113へ出力する。
符号化器112は、加算部110から出力されたターゲットR信号を符号化し、得られた符号結果を多重化部113へ出力する。
多重化部113は、コア符号化器102、重み量子化部106、符号化器111、及び符号化器112から出力された符号結果を多重化し、多重化後のビットストリームを出力する。多重化後のビットストリームは、受信側へ伝送される。
次に、ダウンミックス部101におけるダウンミックス方法を詳細に説明する。
ここで、α,βは、ダウンミックスのためにL信号及びR信号に乗ずる係数(以下、ダウンミックス係数と記載する)であり、iはインデクスである。ダウンミックス係数α,βは、符号化装置100の後段で行われる、バランス重み係数(wL,wR)を用いたバランス調整処理及び主成分の除去処理において、最も差分信号が小さくなるように、その値が決定される。当然、ダウンミックスの前にM信号を符号化することはできないので、M信号の符号化歪が0になるとの仮定の上で決定される。ここで、2つのバランス重み係数wL,wRを1つのバランス重み係数ωを用いて表すこととし、wL+wR=2の関係を用いて、wL=ω,wR=2−ωとする。以上の条件に基づいて、コスト関数は、次の式(3)のように、L信号に関する差分信号のパワとR信号に関する差分信号のパワとの和で表される。
そこで、このバランス重み係数ωが理想値である場合のダウンミックス係数α、βを求める。
式(4)のコスト関数を見てわかるように、バランス重み係数ωとダウンミックス係数α,βとが乗算されている。従って、バランス重み係数及びダウンミックス係数の最適値の計算は、それぞれを独立に最適化する処理を繰り返すことによって行われる。バランス重み係数及びダウンミックス係数の両者とも、オーダーが2次であるので、すべての係数の変化に関わる極値は1つである。従って、繰り返し演算により、バランス重み係数及びダウンミックス係数を最適化することができる。
最初に、ダウンミックス係数α,βの初期値として、いずれも0.5を設定しておく。
式(7)を見てわかるように、α,βが初期値の場合、最適のバランス重み係数は、パワ値を用いて求めることができる。
α,βに関する極値を求めるために式(8)における両式の左辺を0とすると、α,βを変数とする2元1次連立方程式となる。この2元1次連立方程式は、式(7)のωを代入し、さらにL信号のパワ値、R信号のパワ値、及びL信号とR信号との内積を求めて代入して逆行列計算を使うことによって、簡単に解くことができる。このようにして得られたα,βの値を式(6)に代入し、さらにL信号のパワ値、R信号のパワ値、及びL信号とR信号との内積を代入すれば、新たなωの値を求めることができる。そして、この新たなωの値を、式(8)の左辺を0としたα,βの2元1次連立方程式に代入し、さらにL信号のパワ値、R信号のパワ値、及びL信号とR信号との内積を代入して、これを解くことにより、新たなα,βの値を求めることができる。
以上のようにして、ωとα,βとを交互に代入しながら交互に求めることにより、全ての変数は最適値に収束する。すなわち、この繰り返し演算により、最適なダウンミックス係数α,βを求めることができる。
ただし、実際に実装されるアルゴリズムにおいては、計算回数の上限値を決めて、計算回数が上限に達したときに算出された値を最適値として用いることにより、計算量の上限値を抑えるという工夫が必要である。
次に、以上のようなダウンミックス方法を実行するダウンミックス部101の具体的な構成の一例を、図2及び図3を用いて説明する。
図2は、図1における符号化装置100のダウンミックス部101の内部構成を示すブロック図である。ダウンミックス部101は、主に、パワ計算部201、202と、内積計算部203と、係数計算部204と、M信号算出部205と、により構成される。
パワ計算部201は、L信号を入力し、L信号のパワ|L|2を算出する。パワ計算部202は、R信号を入力し、R信号のパワ|R|2を算出する。
内積計算部203は、L信号とR信号とを入力し、それぞれのベクトルの要素を相互に乗じて総和をとることにより、L信号とR信号との内積(LR)を算出する。
係数計算部204は、パワ計算部201で算出されたL信号のパワ|L|2と、パワ計算部202で算出されたR信号のパワ|R|2と、内積計算部203で算出されたL信号とR信号との内積(LR)と、を用いて、バランス重み係数ω及びダウンミックス係数α,βを算出する。算出方法は、上述したとおりである。係数計算部204の具体的な内部構成については後述する。
M信号算出部205は、L信号、R信号、及び、係数計算部204で算出されたα,βを式(2)に適用して、M信号を算出し、コア符号化器102へ出力する。
図3は、図2におけるダウンミックス部101の係数計算部204の内部構成を示すブロック図である。係数計算部204は、ω計算部301と、α/β計算部302と、係数格納部303と、により構成される。これらω計算部301、α/β計算部302、及び係数格納部303により、上述の繰り返し演算が実行され、最終的に最適なω,α,βの値が算出される。
ω計算部301は、パワ計算部201において算出されたL信号のパワ|L|2と、パワ計算部202において算出されたR信号のパワ|R|2と、内積計算部203において算出されたL信号とR信号との内積(LR)と、を入力するとともに、α,βの値を係数格納部303から入力し、これらを式(6)に適用することにより、ωを算出する。
α/β計算部302は、パワ計算部201において算出されたL信号のパワ|L|2と、パワ計算部202で算出されたR信号のパワ|R|2と、内積計算部203で算出されたL信号とR信号との内積(LR)と、を入力するとともに、ω計算部301で算出されたωの値を入力し、これらを式(8)の左辺を0としたα,βの2元1次連立方程式に適用して解くことにより、α,βを算出する。ここで得られたα,βは、上記繰り返し演算に用いられるため、繰り返しの回数をjで表し、α,βをαj,βjと表す。上述したように、計算回数の上限値を決めて、計算回数が上限に達したときに算出された値を最適値とする必要があるので、ここでは繰り返しの上限値をj=Thとする。
係数格納部303は、予めα,βの初期値としてα0,β0を格納しておく。上述の例では、α0=0.5、β0=0.5である。さらに、係数格納部303は、α/β格納部302においてαj,βjが算出されるごとに、算出されたαj,βjの値を入力して格納する。格納の仕方は、繰り返しの回数分を格納できるようにしても良いし、あるいは、最低限の回数分(例えば1回分)だけ格納できるようにして、αj,βjが算出されるごとに、格納されている値を逐次更新するようにしても良い。
ここで、α/β計算部302は、繰り返しの回数が1≦j<Thの場合には、上述のように、αj,βjの値を係数格納部303へ出力し、繰り返しの回数が上限値j=Thに達した場合には、α=αTh,β=βThの値を、M信号算出部205へ出力する。また、ω計算部301は、係数格納部303にαj,βjの値が格納される度に、係数格納部303からαj,βjの値を取り出して、ωの値を算出する。
M信号算出部205は、L信号及びR信号を入力するとともに、係数計算部204において算出されたダウンミックス係数α,βを入力し、これらを式(2)に適用することにより、ダウンミックスされたM信号を算出する。このダウンミックスされたM信号は、コア符号化器102へ出力される。
次に、以上のようなダウンミックス方法をダウンミックス部101において実行するためのフローを、図4を用いて説明する。
図4は、ダウンミックス部101においてダウンミックスを実行することによりモノラル信号を生成するフロー図を示す。
まず、ダウンミックス部101においては、最初に初期値設定として、j=0、α0=0.5、β0=0.5が、予め係数格納部303に設定される(ステップST401)。
次に、パワ計算部201,202及び内積計算部203において、入力されたL信号及びR信号を用いた、パワ計算及び内積計算が実行されることにより、L信号のパワ|L|2、R信号のパワ|R|2、及びL信号とR信号との内積(LR)が算出される(ステップST402)。
次に、ω計算部301において、パワ計算部201,202及び内積計算部203において算出された、L信号のパワ|L|2、R信号のパワ|R|2、及びL信号とR信号との内積(LR)と、ステップST401で設定した初期値α0=0.5、β0=0.5とが、式(6)に適用されることにより、バランス重み係数ωの値が算出される(ステップST403)。
次に、α/β計算部302において、パワ計算部201,202及び内積計算部203において算出された、L信号のパワ|L|2、R信号のパワ|R|2、及びL信号とR信号との内積(LR)と、ステップST403で算出されたωの値とが、式(8)の左辺を0としたα,βの2元1次連立方程式に適用され、この2元1次連立方程式が解かれることにより、αj,βjの値が算出される(ステップST404)。
次に、α/β計算部302において、繰り返し演算の計算回数jが予め設定した上限値j=Thであるか否かが判定される(ステップST405)。そして、計算回数が1≦j<Thの場合(ST405:NO)には、計算回数jの値に1が加算され(ステップST406)、フローはST403に戻る。一方、計算回数がj=Thに達した場合(ST405:YES)には、α=αTh、β=βThは、最適値であるとみなされ、M信号算出部205へ出力される。
次に、M信号算出部205において、L信号及びR信号と、ST404で算出されたα=αTh、β=βThとが、式(2)に適用されることにより、モノラル信号(M信号)が算出される(ステップST407)。
以上が、本発明による、L信号及びR信号を用いてM信号を生成するダウンミックス方法である。
次に、重み量子化部106の具体的な構成の一例を、図5を用いて説明する。
図5は、図1における符号化装置100の重み量子化部106の内部構成を示すブロック図である。重み量子化部106は、主に、内積計算部501,502と、パワ計算部503と、係数計算部504と、係数符号化部505と、係数復号部506と、により構成される。
内積計算部501は、MDCT部103,104から出力された、周波数領域L信号と復号化M信号とを入力し、それぞれのベクトルの要素を相互に乗じて総和をとることにより、L信号とM信号との内積(M^L)を算出する。
内積計算部502は、MDCT部105,104から出力された、周波数領域R信号と復号化M信号とを入力し、それぞれのベクトルの要素を相互に乗じて総和をとることにより、R信号とM信号との内積(M^R)を算出する。
パワ計算部503は、MDCT部104から出力された周波数領域M信号を入力し、このM信号のパワ|M^|2を算出する。
係数計算部504は、内積計算部501,502においてそれぞれ算出された、L信号とM信号との内積(M^L)及びR信号とM信号との内積(M^R)と、パワ計算部503において算出されたM信号のパワ|M^|2と、を入力し、これらを用いてバランス重み係数ωを算出する。ここでのバランス重み係数ωの算出方法については、後述する。
係数符号化部505は、係数計算部504において算出されたバランス重み係数ωを符号化する。符号化されたバランス重み係数(すなわち、バランス重み係数に関する符号)は、多重化部113及び係数復号部506へ出力される。
係数復号部506は、係数符号化部505において符号化されたバランス重み係数を復号(すなわち、逆量子化)し、逆量子化されたバランス重み係数ω’を生成する。上述のように、wL+wR=2の関係から、wL=ω’,wR=2−ω’と表すことができるので、係数復号部506は、逆量子化されたバランス重み係数ω’を用いて、2つのバランス重み係数wL,wRを算出する。
算出されたバランス重み係数wL,wRは、それぞれ乗算部107,108へ出力され、バランス調整処理及び主成分の除去処理に用いられる。
ここで、係数計算部504におけるバランス重み係数ωの算出方法について、簡単に説明する。ここでのバランス重み係数ωの算出方法においても、ダウンミックス部101におけるバランス重み係数の算出方法と同様に、コスト関数Eが最小となるように、バランス重み係数ωが決定される。
まず、コスト関数Eは、式(3)と同様に表すことができる。ただし、重み量子化部106に入力されるL信号、R信号、及びM信号は、周波数変換後の信号である。また、M信号は復号化されたM信号であるので、式(2)において用いたMをM^に置き換えることにより、コスト関数Eは、次の式(9)のように、L信号に関する差分信号のパワとR信号に関する差分信号のパワとの和で与えられる。
したがって、内積計算部501,502においてそれぞれ算出された、L信号とM信号との内積(M^L)及びR信号とM信号との内積(M^R)と、パワ計算部503において算出されたM信号のパワ|M^|2とを、式(11)に適用することにより、最適なバランス重み係数ωを算出することができる。
以上のように、バランス重み係数によるバランス調整処理と主成分の除去処理とを組み合わせた、ダウンミックス方法及び符号化装置の構成により、最適な係数が設定されるので、高い量子化性能を実現することができる。
ただし、ダウンミックス係数α,βの値がベクトル毎に激しく変動するような場合には、得られるM信号が不連続な音になる可能性があるので、α,βに対してスムージングを行っても良い。これにより、得られるM信号が不連続な音になることを抑えることができる。たとえばこのスムージングの方法としては、算出されたα,βを用いて、次の式(12)によってスムージングを行うことができる。そして、式(12)によって得られるα^,β^をダウンミックスに用いることができる。
スムージングの効果を得るためには、上記した加速係数ηは、0.1〜0.3程度の定数とすれば良い。なお、この加速係数は、定数とする以外にも、ダウンミックス係数α,βの変動に応じて変化させる方法もある。すなわち、α,βの変動が大きい場合には加速係数ηを小さくし、逆にα,βの変動が小さい場合には加速係数ηを大きくする。これにより、スムージングの効果を得ながら、変動が小さい場合にはすばやく最適化できる。スムージングは、α,βの変動量を一定にするという方法をとっても、同様の効果が得られる。
式(13)で用いられる加速係数λは、式(12)で用いられる加速係数ηよりも小さくて良く、具体的には、0.01〜0.05程度で十分なスムージング性能を得ることができる。
なお、式(6)のωをそのまま式(8)に代入すれば、変数をα,βのみにすることができるが、式が複雑になり過ぎる(つまり、分数式で分母分子が高次になる)ので、解くことが難解になる。これに対して、本実施の形態で説明した方法では、逐次計算を必要とするが、複雑な計算により解を求めなくて良いという利点がある。
以上のようにして求められた、αとβ、あるいはα^とβ^を、式(2)に用いてダウンミックスすることにより、M信号を求める。この方法によれば、次の効果が得られる。すなわち、第1に、バランス調整処理と主成分の除去処理とを前提としたダウンミックスを行うことができる。第2に、主成分除去後のL信号のパワとR信号のパワとの和を最小化することができるので、符号化性能を向上することができ、結果として、より良好な音質を得ることができる。第3に、バランス重み係数に総和の制限をつけることによって、必要になるスケーリングの値は、ダウンミックス時にM信号に含まれてしまう。この結果、復号化M信号について考慮せずに、バランス重み係数の一方であるωのみを符号化すれば良いので、少ないビット数での量子化が可能になる。
この従来のダウンミックス方法と本実施の形態で説明したダウンミックス方法とを比較すると、定性的には、重み(ダウンミックス係数)をあらかじめ0.5と固定することによって平均がとられる従来のダウンミックス方法よりも、本実施の形態のダウンミックス方法の方が、重みに対するL信号及びR信号のパワによる影響が大きい。すなわち、式(8)を見てわかるように、よりパワの大きい信号のダウンミックス係数が大きくなる傾向がある。M信号においてパワの大きい信号成分の割合が高くなることによって、その成分に対してより多くのビットが配分される。この結果として、パワの大きい方の信号の誤差が減少するので、結果的に誤差の総和が少なくなる。
また、上記した従来のダウンミックス方法において、本実施の形態で説明したダウンミックス方法と同様の、2つのバランス重み係数の和が定数になるという制限を加えると、従来のダウンミックス方法の符号化性能が悪いので、スケーリング成分の量子化が必要となる。しかしながら、本実施の形態で説明したダウンミックス方法では、上記したように、スケーリング成分の量子化が不要になる利点がある。
以上のように本実施の形態によれば、ステレオ信号を構成するL信号及びR信号を入力とする符号化装置100において、ダウンミックス部101が、L信号及びR信号に、係数α及びβをそれぞれ乗算した乗算結果を加算することにより、モノラル信号(M信号)を生成する。そして、乗算部107と加算部109とを用いて、前記モノラル信号に、バランス重み係数wLを乗算して、L信号から減算することにより、L信号に対応する第1の符号化ターゲット信号としてターゲットL信号を生成し、同様に、乗算部108と加算部110とを用いて、前記モノラル信号に、バランス重み係数wRを乗算して、R信号から減算することにより、R信号に対応する第2の符号化ターゲット信号としてターゲットR信号を生成する。ダウンミックス係数α、βは、バランス重み係数wL及びwRとともに、下記式(15)で表されるコスト関数Eを最小化するように算出される。
ここで、Eは、コスト関数であり、Lは、L信号であり、Rは、R信号であり、Mは、モノラル信号である。
こうすることで、バランス重み係数によるバランス調整処理と主成分の除去処理とを組み合わせた場合に最適な係数が設定されるので、高い量子化性能を実現する符号化装置を実現することができる。
(実施の形態2)
実施の形態2では、バランス調整と主成分除去とを利用して符号化・復号化を行う構成として、非特許文献3(P232、Fig.B.13)に示されている方法をより精度良く実行できる構成を示す。なお、実施の形態2に係る符号化装置の主要構成は実施の形態1と同様であるので、図1を用いて説明する。また、本実施の形態は、実施の形態1と同様に、ダウンミックスのみに関わるものであるので、復号装置についての説明は省略する。
実施の形態2では、バランス調整と主成分除去とを利用して符号化・復号化を行う構成として、非特許文献3(P232、Fig.B.13)に示されている方法をより精度良く実行できる構成を示す。なお、実施の形態2に係る符号化装置の主要構成は実施の形態1と同様であるので、図1を用いて説明する。また、本実施の形態は、実施の形態1と同様に、ダウンミックスのみに関わるものであるので、復号装置についての説明は省略する。
実施の形態2に係る符号化装置100のダウンミックス部101は、入力したL信号及びR信号を「所定のダウンミックス方法」によってダウンミックスすることにより、M信号を得る。ただし、実施の形態2の「所定のダウンミックス方法」は実施の形態1と異なり、M信号は、L信号同士を乗じたものとR信号同士を乗じたものとの和を基本要素とする多元1次方程式を解くことによって求められる。この「所定のダウンミックス方法」及びダウンミックス部101の具体的な構成については、後に詳しく説明する。
コア符号化器102から加算部109及び110までの処理は実施の形態1と基本的に同じなので、その説明を省略する。ただし、実施の形態1では、効率的な量子化を行うために2つの重み係数は加算したら2.0になるという制限(wL+wR=2,wL=ω,wR=2−ω)を与えていたが、実施の形態2ではより自由度を上げて分析を行うためにバランス重み係数の大きさに制限を設けない。
次に、ダウンミックス部101におけるダウンミックス方法を詳細に説明する。
まず、実施の形態2のダウンミックスアルゴリズムについて説明する。このアルゴリズムは、逆行列を精度良く計算できる場合に用いることができる。このアルゴリズムによれば、M信号に関し、実施の形態1よりも一般的な解を求めることができ、その解は、バランス調整と主成分除去とを前提とした場合、理論上最適になる。
ここで、バランス重み係数ωL(=wL)とωR(=wR)とが互いに独立で且つその値に制限がなく、また、M信号のパワ(つまり、|M|2)を1とする。これらの条件の下、式(16)のコスト関数(歪の関数)を2つのバランス重み係数ωL,ωRで偏微分することによって、2つの係数を求める。計算方法は、式(17)に示す通りである。
ここで、上記式(19)は不定解を持つので一見解けない様に見える。しかし、M信号には|M|2=1という条件があるが、式(19)は、M信号のベクトルとしての大きさに依存しないので、1つの要素を任意に固定できる。そこで、M0=1と仮定する。こうすることで、式(19)から次の式(20)が得られる。
したがって、式(20)で表される多元1次連立方程式を解くことにより、パワ及び極性が定まっていないM信号のベクトルを求めることができる。具体的には、式(20)におけるL信号同士を乗じた項Li・LIとR信号同士を乗じた項Ri・RIとの和を要素とする正方行列の逆行列を求め、その逆行列を式(20)の右辺に乗ずることによって、M信号のベクトルを求めることができる。そして、次の式(21)、式(22)の手順でパワの正規化を行うことにより、M信号が得られる。なお、jはインデクスである。
以上のアルゴリズムにより、パワが「1.0」のモノラル信号の形状を求めることができる。なお、上記においては、i=0と固定したときにM0=1と仮定したが、異なるiの値を固定しても良い。例えば、i=2と固定した場合はM2=1とし、式(20)は0から始まり2番目の項を抜いた系列となる。
そして、最後に、以下の手順によってモノラル信号のパワと極性とを調節することにより、実際に用いるモノラル信号が求められる。実施の形態2では、パワ及び極性の調節は、L信号及びR信号のそれぞれとパワ調整されたM信号との差が最小になるように行われる。すなわち、次の式(23)のコスト関数Fが最小となる係数aを求めればよい。
以上で実施の形態2のダウンミックスアルゴリズムの説明を終える。
次に、このアルゴリズムを用いてダウンミックスを行う方法について説明する。
ここでは、モノラル信号の連続性を確保するために(つまり、隣り合ったモノラル信号同士の接続部分に異音感が発生しないように)、整合窓を使うことによりM信号を整合させる。例えば、320サンプルのL信号及びR信号から320サンプルのM信号を求める場合には、例えば前後20サンプルずつ余分にモノラル信号の算出を行う。具体的には、図6に示すような台形の整合窓(以下、台形窓と記載)を、処理対象フレームの20サンプル前から20サンプル後まで切り出されたL信号及びR信号に乗じる。図6には1フレームが320サンプルの場合が示されており、この場合、切り出されたL信号及びR信号は360サンプルの信号として処理される。
次に、以上のようなダウンミックス方法を実行するダウンミックス部101aの具体的な構成の一例を、図7を用いて説明する。ダウンミックス部101aは、図1における符号化装置100において、実施の形態1のダウンミックス部101とは内部構成が異なるものである。
図7は、実施の形態2に係る符号化装置100のダウンミックス部101aの内部構成を示すブロック図である。ダウンミックス部101aは、主に、ベクトル計算部601と、マトリックス計算部602と、逆行列計算部603と、乗算部604と、調整部605と、整合部606と、により構成される。
そして、逆行列計算部603は、式(28)のマトリックスの逆行列を求める。このマトリックスは正方行列なので、一般的なアルゴリズム(例えば、「最大ピボット法」など)で、逆行列を求めることができる。
乗算部604は、逆行列計算部603で得られた逆行列と、ベクトル計算部601で得られたベクトルとを乗算することにより、パワ及び極性が定まっていないM信号のベクトルを求める。すなわち、ベクトル計算部601、マトリックス計算部602、逆行列計算部603、及び乗算部604は、M信号ベクトルの算出手段として機能している。
調整部605は、パワの調整(つまり、式(21)、式(22)で表される調整)と、パワ及び極性の調整(つまり、式(24)、式(25)、式(26)で表される調整)とを行い、M信号を求める。
整合部606は、調整部605で得られた、複数の切り出されたM信号を重ねて加算し、M信号列を得る。図8は、整合部606における加算の様子を示す図である。
なお、図6においてL信号とR信号とは最初に台形窓で切り出されているので、整合部606は、調整部605で得られた複数のM信号をそのまま重ねて加算する。調整部605で得られるM信号の長さは360サンプルであり、整合部606で重ねて加算される部分の長さは前後40サンプルずつである。したがって、M信号の列において1フレーム(=320サンプル)分のM信号(図8の破線で示した部分)が得られる。以上でダウンミックス部101aの詳細な説明を終える。
なお、以上の説明では、台形窓を用いて整合しているが、代わりにサイン窓又は三角窓などを用いてもよい。本発明が窓の形状に依存しないからである。ただし、重なる部分の長さが大きくなるほど遅延時間が増えるので注意が必要である。
以上のように得られたダウンミックス部101aを、図1の符号化装置100のダウンミックス部101に適用することにより、バランス重み係数を用いた復号M信号の差分によってより冗長性を除くことが出来、より効率的な符号化が出来る。
なお、実施の形態1ではwL+wR=2すなわちバランス重み係数の和が2という条件を設定したが、本実施の形態ではこの条件を設定していない。しかしながら、ダウンミックス時の重みの条件は違うものの、実際には、本実施の形態のダウンミックス部101aを適用しても、バランス重み係数の和が2に近い値となるという傾向が確かめられている。したがって、本実施の形態においては、効率的な重みの符号化方法(少ないビット数で重みを符号化すること)を選択し、ダウンミックス部101aをダウンミックス部101に適用する場合においても、図1の符号化装置100の重み量子化部106は、従来の構成或いは実施の形態1と同じ構成とする。もちろん、本実施の形態におけるダウンミックス部101aの構成に対して最適化された構成を有する重み量子化部を設定して適用することも可能である。
以上のように本実施の形態によれば、ステレオ信号を構成するL信号(第1信号)及びR信号(第2信号)を用いて、符号化対象のモノラル信号を生成するダウンミックス装置(ダウンミックス部101a)において、第1信号の要素同士の積と第2信号の要素同士の積との和を用いて設定される演算式を計算した結果を用いてモノラル信号を生成する。
具体的には、本実施の形態のダウンミックス装置(ダウンミックス部101a)は、前記第1信号の固定の番号の要素と前記第1信号の第1の番号の要素との積と、前記第2信号の前記固定の番号の要素と前記第2信号の前記第1の番号の要素との積と、の和を要素とする第3信号を算出するベクトル算出手段(ベクトル計算部601)と、前記第1信号の第2の番号の要素と前記第1信号の前記第1の番号の要素との積と、前記第2信号の前記第2の番号の要素と前記第2信号の前記第1の番号の要素との積と、の和を要素とするマトリックスを算出するマトリックス算出手段(マトリックス計算部602)と、前記マトリックスの逆行列を算出する逆行列算出手段(逆行列計算部603)と、前記逆行列と前記第3信号とを乗じた結果を用いて前記モノラル信号を生成する乗算手段と、を具備する。
(他の実施の形態)
(1)上記各実施の形態においては、ステレオ信号の符号化の前にモノラル信号をコア符号化器で符号化するスケーラブル構成を例に挙げた。しかしながら、本発明はこれに限定されるものではなく、コア符号化器を具備せず、ステレオ信号を符号化する符号化装置に対しても適用することができる。
(1)上記各実施の形態においては、ステレオ信号の符号化の前にモノラル信号をコア符号化器で符号化するスケーラブル構成を例に挙げた。しかしながら、本発明はこれに限定されるものではなく、コア符号化器を具備せず、ステレオ信号を符号化する符号化装置に対しても適用することができる。
(2)上記各実施の形態においては、重み量子化部106で扱うモノラル信号として、復号化モノラル信号を用いたが、本発明はこれに限定されるものではなく、「ダウンミックスしたモノラル信号」を用いても良い。
(3)実施の形態1では、LとRとのバランス重み係数の和を2.0に固定する場合について説明したが、この数値は他のどのような数値でも良いことは明らかである。例えば、LとRとのバランス重み係数の和を1.0とするならば、バランス重み係数は2.0とした時の半分の値になり、M信号の大きさは倍になるというだけであり、符号器・復号器をそれに応じて調整すれば全く同じ性能が得られることは明らかである。
(4)上記各実施の形態では、ダウンミックスを時間領域で行っているが、本発明はこれに限定されるものではなく、周波数領域でダウンミックスしたものを時間領域へ変換しても良い。本発明はダウンミックスがどの領域で行われたかには依存しないからである。
(5)上記各実施の形態では、周波数領域への変換方法としてMDCTを用いているが、本発明はこれに限定されるものではなく、「DCT(Discrete Cosine Transform)」でも「FFT(Fast Fourier transform)」でもこれに類したディジタル変換方式ならばどのような方式が用いられても良い。本発明が周波数変換方法に依存しないからである。
(6)上記各実施の形態においては、符号化装置100に入力される信号を、周波数領域の信号であるL信号とR信号として説明した。しかしながら、本発明はこれに限定されるものではなく、符号化装置100への入力信号であり、ステレオ信号を構成する第1の信号及び第2の信号は、時間領域の信号でも、周波数領域の信号でも、またそれらの部分区間でも良い。本発明は入力信号の性質に依存しないからである。
(7)上記各実施の形態において得られる符号は、通信に用いられる場合は伝送され、蓄積に使われる場合は記録媒体(メモリ、ディスク、印刷コード、等)に格納される。本発明は符号の利用方法には依存しない。
(8)上記各実施の形態では2チャンネルの場合について示したが、5.1chなどの多チャンネルの場合についても本発明が有効なのは明らかである。
(9)上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
2009年6月2日出願の特願2009−133308の日本出願および2009年10月9日出願の特願2009−235409の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明のダウンミックス装置、符号化装置、及びこれらの方法は、バランス重み係数によるバランス調整処理と主成分の除去処理とを組み合わせた場合に高い量子化性能を実現するものとして有用である。
100 符号化装置
101 ダウンミックス部
102 コア符号化器
103,104,105 MDCT部
106 重み量子化部
107,108,604 乗算部
109,110 加算部
111,112 符号化器
113 多重化部
201,202,503 パワ計算部
203,501,502 内積計算部
204,504 係数計算部
205 M信号算出部
301 ω計算部
302 α/β計算部
303 係数格納部
505 係数符号化部
506 係数復号部
601 ベクトル計算部
602 マトリックス計算部
603 逆行列計算部
605 調整部
606 整合部
101 ダウンミックス部
102 コア符号化器
103,104,105 MDCT部
106 重み量子化部
107,108,604 乗算部
109,110 加算部
111,112 符号化器
113 多重化部
201,202,503 パワ計算部
203,501,502 内積計算部
204,504 係数計算部
205 M信号算出部
301 ω計算部
302 α/β計算部
303 係数格納部
505 係数符号化部
506 係数復号部
601 ベクトル計算部
602 マトリックス計算部
603 逆行列計算部
605 調整部
606 整合部
Claims (13)
- ステレオ信号を構成する第1信号及び第2信号を用いて、符号化対象のモノラル信号を生成するダウンミックス装置であって、
前記第1信号及び前記第2信号を入力して前記第1信号の第1パワと前記第2信号の第2パワとを算出する第1パワ計算手段と、
前記第1信号及び前記第2信号を入力して前記第1信号と前記第2信号との第1内積を算出する第1内積計算手段と、
前記第1パワ、前記第2パワ、前記第1内積、及び前記モノラル信号を算出するために前記第1信号及び前記第2信号にそれぞれ乗算される第1係数及び第2係数、を用いた第1演算式であり、且つ、前記第1信号に関する第1差分信号のパワと前記第2信号に関する第2差分信号のパワとの和で構成される第1コスト関数を変形して得られる前記第1演算式、を用いた繰り返し演算により、前記第1コスト関数を最小化する前記第1係数及び前記第2係数を算出する係数計算手段と、
前記第1信号及び前記第2信号に、前記第1係数及び前記第2係数をそれぞれ乗算して加算することにより、前記モノラル信号を生成するモノラル信号算出部と、
を具備するダウンミックス装置。 - 前記係数計算手段は、
前記第1パワ、前記第2パワ、前記第1内積、前記第1係数、及び前記第2係数を用いた前記第2演算式であり、且つ、前記コスト関数を変形して得られる第2演算式、を用いて第3係数を算出する第1計算手段と、
前記第3係数を前記第1演算式に適用して前記第1係数及び前記第2係数を算出する第2計算手段と、を有し、
前記第1計算手段における前記第3係数の算出と、前記第2計算手段における前記第1係数及び前記第2係数の算出と、を所定回数だけ交互に繰り返す前記繰り返し演算により、最終的な前記第1係数及び前記第2係数を算出する、
請求項1に記載のダウンミックス装置。 - 前記モノラル信号算出部は、
前記第1係数及び前記第2係数をスムージングし、前記第1係数及び前記第2係数の代わりに、スムージングされた前記第1係数及び前記第2係数を用いて前記モノラル信号を生成する、
請求項1に記載のダウンミックス装置。 - ステレオ信号を構成する第1信号及び第2信号にそれぞれ対応して生成される第1符号化ターゲット信号及び第2符号化ターゲット信号と、前記第1信号及び前記第2信号を用いて生成されるモノラル信号と、を符号化する符号化装置であって、
前記第1信号及び前記第2信号を用いたダウンミックス処理を行うことにより前記モノラル信号を生成する請求項1記載のダウンミックス装置と、
前記モノラル信号を符号化して第1符号を生成するとともに、前記第1符号を復号して復号化モノラル信号を生成するモノラル符号化手段と、
前記第1信号及び前記第2信号と、前記復号化モノラル信号と、を用いて、前記第1符号化ターゲット信号を生成するために用いられる第1バランス重み係数、及び、前記第2符号化ターゲット信号を生成するために用いられる第2バランス重み係数を生成する重み量子化手段と、
前記復号化モノラル信号に前記第1バランス重み係数を乗じた結果を前記第1信号から減じることにより前記第1符号化ターゲット信号を生成する第1ターゲット生成手段と、
前記復号化モノラル信号に前記第2バランス重み係数を乗じた結果を前記第2信号から減じることにより前記第2符号化ターゲット信号を生成する第2ターゲット生成手段と、
を具備する符号化装置。 - 前記重み量子化手段は、
前記第1信号及び前記第2信号と、前記復号化モノラル信号と、を用いて重み係数を生成し、前記重み係数を符号化して第2符号を生成するとともに、前記第2符号を復号して逆量子化重み係数を生成し、前記第1符号化ターゲット信号を生成するために前記復号化モノラル信号に乗算される前記第1バランス重み係数、及び、前記第2符号化ターゲット信号を生成するために前記復号化モノラル信号に乗算される前記第2バランス重み係数を、前記逆量子化重み係数を用いて生成する、
請求項4記載の符号化装置。 - 前記重み量子化手段は、
前記第1信号と前記復号化モノラル信号との第2内積と、前記第2信号と前記復号化モノラル信号との第3内積と、前記復号化モノラル信号の第3パワと、をそれぞれ算出するとともに、前記第2内積、前記第3内積、及び前記第3パワを用いた第3演算式であり、且つ、前記第1信号に関する第3差分信号のパワと前記第2信号に関する第4差分信号のパワとの和で構成される第2コスト関数を変形して得られる前記第3演算式、を用いて、前記第2コスト関数を最小化する前記重み係数を算出する、
請求項5記載の符号化装置。 - 前記第1バランス重み係数と前記第2バランス重み係数との和は、定数である、
請求項4に記載の符号化装置。 - ステレオ信号を構成する第1信号及び第2信号を用いて、符号化対象のモノラル信号を生成するダウンミックス装置であって、
前記第1信号の要素同士の積と前記第2信号の要素同士の積との和を用いて設定される演算式を計算した結果を用いて前記モノラル信号を生成するモノラル信号生成手段を具備するダウンミックス装置。 - 前記モノラル信号生成手段は、
前記第1信号の固定の番号の要素と前記第1信号の第1の番号の要素との積と、前記第2信号の前記固定の番号の要素と前記第2信号の前記第1の番号の要素との積と、の和を要素とする第3信号を算出するベクトル算出手段と、
前記第1信号の第2の番号の要素と前記第1信号の前記第1の番号の要素との積と、前記第2信号の前記第2の番号の要素と前記第2信号の前記第1の番号の要素との積と、の和を要素とするマトリクスを算出するマトリックス算出手段と、
前記マトリックスの逆行列を算出する逆行列算出手段と、
前記逆行列と前記第3信号とを乗じた結果を用いて前記モノラル信号を生成する乗算手段と、
を具備する、請求項8に記載のダウンミックス装置。 - ステレオ信号を構成する第1信号及び第2信号にそれぞれ対応して生成される第1符号化ターゲット信号及び第2符号化ターゲット信号と、前記第1信号及び前記第2信号を用いて生成されるモノラル信号と、を符号化する符号化装置であって、
前記第1信号及び前記第2信号を用いたダウンミックス処理を行うことにより前記モノラル信号を生成する請求項8記載のダウンミックス装置と、
前記モノラル信号を符号化して第1符号を生成するとともに、前記第1符号を復号して復号化モノラル信号を生成するモノラル符号化手段と、
前記第1信号及び前記第2信号と、前記復号化モノラル信号と、を用いて、前記第1符号化ターゲット信号を生成するために用いられる第1バランス重み係数、及び、前記第2符号化ターゲット信号を生成するために用いられる第2バランス重み係数を生成する重み量子化手段と、
前記復号化モノラル信号に前記第1バランス重み係数を乗じた結果を前記第1信号から減じることにより前記第1符号化ターゲット信号を生成する第1ターゲット生成手段と、
前記復号化モノラル信号に前記第2バランス重み係数を乗じた結果を前記第2信号から減じることにより前記第2符号化ターゲット信号を生成する第2ターゲット生成手段と、
を具備する符号化装置。 - ステレオ信号を構成する第1信号及び第2信号を用いて、符号化対象のモノラル信号を生成するダウンミックス方法であって、
前記第1信号及び前記第2信号を入力して前記第1信号の第1パワと前記第2信号の第2パワとを算出する第1パワ計算ステップと、
前記第1信号及び前記第2信号を入力して前記第1信号と前記第2信号との第1内積を算出する第1内積計算ステップと、
前記第1パワ、前記第2パワ、前記第1内積、及び、前記モノラル信号を算出するために前記第1信号及び前記第2信号にそれぞれ乗算される第1係数及び第2係数、を用いた第1演算式であり、且つ、前記第1信号に関する第1差分信号のパワと前記第2信号に関する第2差分信号のパワとの和で構成される第1コスト関数を変形して得られる前記第1演算式、を用いた繰り返し演算により、前記第1コスト関数を最小化する前記第1係数及び前記第2係数を算出する係数計算ステップと、
前記第1信号及び前記第2信号に、前記第1係数及び前記第2係数をそれぞれ乗算して加算することにより、前記モノラル信号を生成するモノラル信号算出ステップと、
を有するダウンミックス方法。 - ステレオ信号を構成する第1信号及び第2信号を用いて、符号化対象のモノラル信号を生成するダウンミックス方法であって、
前記第1信号の要素同士の積と前記第2信号の要素同士の積との和を用いて設定される演算式を計算した結果を用いて前記モノラル信号を生成する、ダウンミックス方法。 - ステレオ信号を構成する第1信号及び第2信号にそれぞれ対応して生成される第1符号化ターゲット信号及び第2符号化ターゲット信号と、前記第1信号及び前記第2信号を用いて生成されるモノラル信号と、を符号化する符号化方法であって、
請求項11に記載のダウンミックス方法により、前記第1信号及び前記第2信号を用いて前記モノラル信号を生成するダウンミックスステップと、
前記モノラル信号を符号化して第1符号を生成するとともに、前記第1符号を復号して復号化モノラル信号を生成するモノラル符号化ステップと、
前記第1信号及び前記第2信号と、前記復号化モノラル信号と、を用いて、前記第1符号化ターゲット信号を生成するために用いられる第1バランス重み係数、及び、前記第2符号化ターゲット信号を生成するために用いられる第2バランス重み係数を生成する重み量子化ステップと、
前記復号化モノラル信号に前記第1バランス重み係数を乗じた結果を前記第1信号から減じることにより前記第1符号化ターゲット信号を生成する第1ターゲット生成ステップと、
前記復号化モノラル信号に前記第2バランス重み係数を乗じた結果を前記第2信号から減じることにより前記第2符号化ターゲット信号を生成する第2ターゲット生成ステップと、
を有する符号化方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009133308 | 2009-06-02 | ||
JP2009133308 | 2009-06-02 | ||
JP2009235409 | 2009-10-09 | ||
JP2009235409 | 2009-10-09 | ||
PCT/JP2010/003665 WO2010140350A1 (ja) | 2009-06-02 | 2010-06-01 | ダウンミックス装置、符号化装置、及びこれらの方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2010140350A1 true JPWO2010140350A1 (ja) | 2012-11-15 |
Family
ID=43297493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011518265A Pending JPWO2010140350A1 (ja) | 2009-06-02 | 2010-06-01 | ダウンミックス装置、符号化装置、及びこれらの方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20120072207A1 (ja) |
EP (1) | EP2439736A1 (ja) |
JP (1) | JPWO2010140350A1 (ja) |
CN (1) | CN102428512A (ja) |
WO (1) | WO2010140350A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013061232A1 (en) * | 2011-10-24 | 2013-05-02 | Koninklijke Philips Electronics N.V. | Audio signal noise attenuation |
US10643126B2 (en) | 2016-07-14 | 2020-05-05 | Huawei Technologies Co., Ltd. | Systems, methods and devices for data quantization |
CN114005455A (zh) * | 2017-08-10 | 2022-02-01 | 华为技术有限公司 | 时域立体声编解码方法和相关产品 |
WO2021181746A1 (ja) * | 2020-03-09 | 2021-09-16 | 日本電信電話株式会社 | 音信号ダウンミックス方法、音信号符号化方法、音信号ダウンミックス装置、音信号符号化装置、プログラム及び記録媒体 |
CN115244619A (zh) * | 2020-03-09 | 2022-10-25 | 日本电信电话株式会社 | 声音信号编码方法、声音信号解码方法、声音信号编码装置、声音信号解码装置、程序以及记录介质 |
JP7380838B2 (ja) * | 2020-03-09 | 2023-11-15 | 日本電信電話株式会社 | 音信号符号化方法、音信号復号方法、音信号符号化装置、音信号復号装置、プログラム及び記録媒体 |
US20230319498A1 (en) * | 2020-03-09 | 2023-10-05 | Nippon Telegraph And Telephone Corporation | Sound signal downmixing method, sound signal coding method, sound signal downmixing apparatus, sound signal coding apparatus, program and recording medium |
EP4372739A1 (en) * | 2021-09-01 | 2024-05-22 | Nippon Telegraph And Telephone Corporation | Sound signal downmixing method, sound signal encoding method, sound signal downmixing device, sound signal encoding device, and program |
WO2024142357A1 (ja) * | 2022-12-28 | 2024-07-04 | 日本電信電話株式会社 | 音信号処理装置、音信号処理方法、プログラム |
WO2024142358A1 (ja) * | 2022-12-28 | 2024-07-04 | 日本電信電話株式会社 | 音信号処理装置、音信号処理方法、プログラム |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5119422A (en) * | 1990-10-01 | 1992-06-02 | Price David A | Optimal sonic separator and multi-channel forward imaging system |
US5594800A (en) * | 1991-02-15 | 1997-01-14 | Trifield Productions Limited | Sound reproduction system having a matrix converter |
US5278909A (en) * | 1992-06-08 | 1994-01-11 | International Business Machines Corporation | System and method for stereo digital audio compression with co-channel steering |
US5479522A (en) * | 1993-09-17 | 1995-12-26 | Audiologic, Inc. | Binaural hearing aid |
US5812971A (en) * | 1996-03-22 | 1998-09-22 | Lucent Technologies Inc. | Enhanced joint stereo coding method using temporal envelope shaping |
US6721425B1 (en) * | 1997-02-07 | 2004-04-13 | Bose Corporation | Sound signal mixing |
US6005948A (en) * | 1997-03-21 | 1999-12-21 | Sony Corporation | Audio channel mixing |
US7031474B1 (en) * | 1999-10-04 | 2006-04-18 | Srs Labs, Inc. | Acoustic correction apparatus |
EP1701340B1 (en) * | 2001-11-14 | 2012-08-29 | Panasonic Corporation | Decoding device, method and program |
GEP20074024B (en) | 2002-01-18 | 2007-01-10 | Biogen Idec Inc | Polyalkylene glycol comprising a radical for conjugation of biologically active compound |
DE60317203T2 (de) * | 2002-07-12 | 2008-08-07 | Koninklijke Philips Electronics N.V. | Audio-kodierung |
WO2004008806A1 (en) | 2002-07-16 | 2004-01-22 | Koninklijke Philips Electronics N.V. | Audio coding |
SE0400998D0 (sv) * | 2004-04-16 | 2004-04-16 | Cooding Technologies Sweden Ab | Method for representing multi-channel audio signals |
US7742912B2 (en) * | 2004-06-21 | 2010-06-22 | Koninklijke Philips Electronics N.V. | Method and apparatus to encode and decode multi-channel audio signals |
SE0402652D0 (sv) * | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Methods for improved performance of prediction based multi- channel reconstruction |
US7903824B2 (en) * | 2005-01-10 | 2011-03-08 | Agere Systems Inc. | Compact side information for parametric coding of spatial audio |
JPWO2006080358A1 (ja) * | 2005-01-26 | 2008-06-19 | 松下電器産業株式会社 | 音声符号化装置および音声符号化方法 |
DE602006014957D1 (de) * | 2005-04-28 | 2010-07-29 | Panasonic Corp | Audiocodierungseinrichtung und audiocodierungsverfahren |
FR2898725A1 (fr) * | 2006-03-15 | 2007-09-21 | France Telecom | Dispositif et procede de codage gradue d'un signal audio multi-canal selon une analyse en composante principale |
US20100121633A1 (en) * | 2007-04-20 | 2010-05-13 | Panasonic Corporation | Stereo audio encoding device and stereo audio encoding method |
WO2009038512A1 (en) * | 2007-09-19 | 2009-03-26 | Telefonaktiebolaget Lm Ericsson (Publ) | Joint enhancement of multi-channel audio |
JP5351763B2 (ja) * | 2007-10-19 | 2013-11-27 | パナソニック株式会社 | オーディオミキシング装置 |
FR2923527B1 (fr) | 2007-11-13 | 2013-12-27 | Snecma | Etage de turbine ou de compresseur, en particulier de turbomachine |
-
2010
- 2010-06-01 US US13/322,732 patent/US20120072207A1/en not_active Abandoned
- 2010-06-01 CN CN2010800211981A patent/CN102428512A/zh active Pending
- 2010-06-01 JP JP2011518265A patent/JPWO2010140350A1/ja active Pending
- 2010-06-01 EP EP10783138A patent/EP2439736A1/en not_active Withdrawn
- 2010-06-01 WO PCT/JP2010/003665 patent/WO2010140350A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN102428512A (zh) | 2012-04-25 |
WO2010140350A1 (ja) | 2010-12-09 |
EP2439736A1 (en) | 2012-04-11 |
US20120072207A1 (en) | 2012-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2010140350A1 (ja) | ダウンミックス装置、符号化装置、及びこれらの方法 | |
JP6407928B2 (ja) | オーディオ処理システム | |
JP5608660B2 (ja) | エネルギ保存型マルチチャネルオーディオ符号化 | |
JP5243527B2 (ja) | 音響符号化装置、音響復号化装置、音響符号化復号化装置および会議システム | |
TWI466106B (zh) | 音訊或視訊編碼器、音訊或視訊解碼器及用以利用可變預測方向來處理多頻道音訊或視訊信號的相關方法 | |
US7953604B2 (en) | Shape and scale parameters for extended-band frequency coding | |
US8249883B2 (en) | Channel extension coding for multi-channel source | |
KR101943601B1 (ko) | 적응적 위상 정렬을 갖는 멀티-채널 다운믹스에서의 콤 필터 아티팩트의 감소 | |
CN102656628B (zh) | 优化的低吞吐量参数编码/解码 | |
JP7280306B2 (ja) | 改良されたミッド/サイド決定を持つ包括的なildを持つmdct m/sステレオのための装置および方法 | |
JP5404412B2 (ja) | 符号化装置、復号装置およびこれらの方法 | |
JPWO2007088853A1 (ja) | 音声符号化装置、音声復号装置、音声符号化システム、音声符号化方法及び音声復号方法 | |
JP6732739B2 (ja) | オーディオ・エンコーダおよびデコーダ | |
WO2010016270A1 (ja) | 量子化装置、符号化装置、量子化方法及び符号化方法 | |
TWI843389B (zh) | 音訊編碼器、降混訊號產生方法及非暫時性儲存單元 | |
JP5299327B2 (ja) | 音声処理装置、音声処理方法、およびプログラム | |
KR20180009337A (ko) | 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치 | |
JPWO2008132826A1 (ja) | ステレオ音声符号化装置およびステレオ音声符号化方法 | |
WO2023172865A1 (en) | Methods, apparatus and systems for directional audio coding-spatial reconstruction audio processing |