JP7380837B2 - 音信号符号化方法、音信号復号方法、音信号符号化装置、音信号復号装置、プログラム及び記録媒体 - Google Patents
音信号符号化方法、音信号復号方法、音信号符号化装置、音信号復号装置、プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP7380837B2 JP7380837B2 JP2022507008A JP2022507008A JP7380837B2 JP 7380837 B2 JP7380837 B2 JP 7380837B2 JP 2022507008 A JP2022507008 A JP 2022507008A JP 2022507008 A JP2022507008 A JP 2022507008A JP 7380837 B2 JP7380837 B2 JP 7380837B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- channel
- value
- sound signal
- left channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005236 sound signal Effects 0.000 title claims description 439
- 238000000034 method Methods 0.000 title claims description 91
- 238000012937 correction Methods 0.000 claims description 87
- 230000003111 delayed effect Effects 0.000 claims description 34
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000013139 quantization Methods 0.000 description 51
- 238000012545 processing Methods 0.000 description 29
- 239000000203 mixture Substances 0.000 description 18
- 239000000284 extract Substances 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000006866 deterioration Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/002—Dynamic bit allocation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Stereophonic System (AREA)
Description
一方、高音質なモノラル復号信号を得られるモノラル符号化方式としては、非特許文献2の技術がある。非特許文献1のモノラル符号化として非特許文献2の3GPP EVS規格のような高音質のモノラル符号化方式を用いれば、より高音質な2チャネルの音信号とモノラルの音信号のエンベデッド符号化/復号を実現できる可能性がある。
そこで本発明では、2チャネルの音信号について、モノラル局部復号信号を得るための遅延や演算処理量を要することなく、各チャネルの復号音信号の音質劣化を抑えたエンベデッド符号化/復号を提供することを目的とする。
本発明の一態様は、入力された符号をフレームごとに復号して音信号を得る音信号復号方法であって、入力されたモノラル符号CMを復号してモノラル復号音信号を得るモノラル復号ステップと、入力されたステレオ符号CSを復号して左チャネル復号差分信号と右チャネル復号差分信号を得るステレオ復号ステップと、入力された左チャネル減算利得符号Cαを復号して左チャネル減算利得αを得る左チャネル減算利得復号ステップと、対応するサンプルtごとに、左チャネル復号差分信号のサンプル値^yL(t)と、モノラル復号音信号のサンプル値^xM(t)と左チャネル減算利得αとを乗算した値と、を加算した値^yL(t)+α×^xM(t)による系列を左チャネル復号音信号として得る左チャネル信号加算ステップと、入力された右チャネル減算利得符号Cβを復号して右チャネル減算利得βを得る右チャネル減算利得復号ステップと、対応するサンプルtごとに、右チャネル復号差分信号のサンプル値^yR(t)と、モノラル復号音信号のサンプル値^xM(t)と右チャネル減算利得βとを乗算した値と、を加算した値^yR(t)+β×^xM(t)による系列を右チャネル復号音信号として得る右チャネル信号加算ステップと、を含み、モノラル復号ステップでモノラル復号音信号の復号に用いられるビット数をbM、ステレオ復号ステップで左チャネル復号差分信号の復号に用いられるビット数をbL、ステレオ復号ステップで右チャネル復号差分信号の復号に用いられるビット数をbR、として、左チャネル減算利得復号ステップでは、左チャネル減算利得符号Cαを復号して復号値^rLを得て、0より大きく1未満の値であり、bL=bMである場合に0.5であり、bLがbMよりも多いほど0.5よりも0に近く、bLがbMよりも少ないほど0.5よりも1に近い値である左チャネル補正係数cLと、左チャネル減算利得符号Cαを復号して得た復号値^rLと、の乗算値を左チャネル減算利得αとして得て、右チャネル減算利得復号ステップでは、右チャネル減算利得符号Cβを復号して復号値^rRを得て、0より大きく1未満の値であり、bR=bMである場合に0.5であり、bRがbMよりも多いほど0.5よりも0に近く、bRがbMよりも少ないほど0.5よりも1に近い値である右チャネル補正係数cRと、右チャネル減算利得符号Cβを復号して得た復号値^rRと、の乗算値を右チャネル減算利得βとして得ることを特徴とする。
第1実施形態の符号化装置と復号装置について説明する。なお、明細書及び特許請求の範囲において、符号化装置のことを音信号符号化装置、符号化方法のことを音信号符号化方法、復号装置のことを音信号復号装置、復号方法のことを音信号復号方法と呼ぶこともある。
第1実施形態の符号化装置100は、図1に示す通り、ダウンミックス部110と左チャネル減算利得推定部120と左チャネル信号減算部130と右チャネル減算利得推定部140と右チャネル信号減算部150とモノラル符号化部160とステレオ符号化部170を含む。符号化装置100は、例えば20msの所定の時間長のフレーム単位で、入力された2チャネルステレオの時間領域の音信号を符号化して、後述するモノラル符号CMと左チャネル減算利得符号Cαと右チャネル減算利得符号Cβとステレオ符号CSとを得て出力する。符号化装置に入力される2チャネルステレオの時間領域の音信号は、例えば、音声や音楽などの音を2個のマイクロホンそれぞれで収音してAD変換して得られたディジタルの音声信号又は音響信号であり、左チャネルの入力音信号と右チャネルの入力音信号から成る。符号化装置が出力する符号、すなわち、モノラル符号CMと左チャネル減算利得符号Cαと右チャネル減算利得符号Cβとステレオ符号CS、は復号装置へ入力される。符号化装置100は、各フレームについて、図2に例示するステップS110からステップS170の処理を行う。
ダウンミックス部110には、符号化装置100に入力された左チャネルの入力音信号と、符号化装置100に入力された右チャネルの入力音信号と、が入力される。ダウンミックス部110は、入力された左チャネルの入力音信号と右チャネルの入力音信号から、左チャネルの入力音信号と右チャネルの入力音信号を混合した信号であるダウンミックス信号を得て出力する(ステップS110)。
左チャネル減算利得推定部120には、符号化装置100に入力された左チャネルの入力音信号xL(1), xL(2), ..., xL(T)と、ダウンミックス部110が出力したダウンミックス信号xM(1), xM(2), ..., xM(T)と、が入力される。左チャネル減算利得推定部120は、入力された左チャネルの入力音信号とダウンミックス信号から、左チャネル減算利得αと、左チャネル減算利得αを表す符号である左チャネル減算利得符号Cαと、を得て出力する(ステップS120)。左チャネル減算利得推定部120は、左チャネル減算利得αと左チャネル減算利得符号Cαを、量子化誤差を最小化する原理に基づく方法で求める。量子化誤差を最小化する原理とこの原理に基づく方法については後述する。
左チャネル信号減算部130には、符号化装置100に入力された左チャネルの入力音信号xL(1), xL(2), ..., xL(T)と、ダウンミックス部110が出力したダウンミックス信号xM(1), xM(2), ..., xM(T)と、左チャネル減算利得推定部120が出力した左チャネル減算利得αと、が入力される。左チャネル信号減算部130は、対応するサンプルtごとに、ダウンミックス信号のサンプル値xM(t)と左チャネル減算利得αとを乗算した値α×xM(t)を左チャネルの入力音信号のサンプル値xL(t)から減算した値xL(t)-α×xM(t)による系列を左チャネル差分信号yL(1), yL(2), ..., yL(T)として得て出力する(ステップS130)。すなわち、yL(t)=xL(t)-α×xM(t)である。非特許文献1などの従来の符号化装置では、ダウンミックス信号ではなくモノラル符号化の局部復号信号である量子化済みダウンミックス信号を用いて左チャネル差分信号を得るが、符号化装置100においては、局部復号信号を得るための遅延や演算処理量を要さないようにするために、左チャネル信号減算部130では、モノラル符号化の局部復号信号である量子化済みのダウンミックス信号ではなく、ダウンミックス部110が得た量子化されていないダウンミックス信号xM(t)を用いる。
右チャネル減算利得推定部140には、符号化装置100に入力された右チャネルの入力音信号xR(1), xR(2), ..., xR(T)と、ダウンミックス部110が出力したダウンミックス信号xM(1), xM(2), ..., xM(T)と、が入力される。右チャネル減算利得推定部140は、入力された右チャネルの入力音信号とダウンミックス信号から、右チャネル減算利得βと、右チャネル減算利得βを表す符号である右チャネル減算利得符号Cβと、を得て出力する(ステップS140)。右チャネル減算利得推定部140は、右チャネル減算利得βと右チャネル減算利得符号Cβを、量子化誤差を最小化する原理に基づく方法で求める。量子化誤差を最小化する原理とこの原理に基づく方法については後述する。
右チャネル信号減算部150には、符号化装置100に入力された右チャネルの入力音信号xR(1), xR(2), ..., xR(T)と、ダウンミックス部110が出力したダウンミックス信号xM(1), xM(2), ..., xM(T)と、右チャネル減算利得推定部140が出力した右チャネル減算利得βと、が入力される。右チャネル信号減算部150は、対応するサンプルtごとに、ダウンミックス信号のサンプル値xM(t)と右チャネル減算利得βとを乗算した値β×xM(t)を右チャネルの入力音信号のサンプル値xR(t)から減算した値xR(t)-β×xM(t)による系列を右チャネル差分信号yR(1), yR(2), ..., yR(T)として得て出力する(ステップS150)。すなわち、yR(t)=xR(t)-β×xM(t)である。右チャネル信号減算部150では、左チャネル信号減算部130と同様に、符号化装置100において局部復号信号を得るための遅延や演算処理量を要さないようにするために、モノラル符号化の局部復号信号である量子化済みのダウンミックス信号ではなく、ダウンミックス部110が得た量子化されていないダウンミックス信号xM(t)を用いる。
モノラル符号化部160には、ダウンミックス部110が出力したダウンミックス信号xM(1), xM(2), ..., xM(T)が入力される。モノラル符号化部160は、入力されたダウンミックス信号を所定の符号化方式でbMビットで符号化してモノラル符号CMを得て出力する(ステップS160)。すなわち、入力されたTサンプルのダウンミックス信号xM(1), xM(2), ..., xM(T)からbMビットのモノラル符号CMを得て出力する。符号化方式としては、どのようなものを用いてもよく、例えば3GPP EVS規格のような符号化方式を用いればよい。
ステレオ符号化部170には、左チャネル信号減算部130が出力した左チャネル差分信号yL(1), yL(2), ..., yL(T)と、右チャネル信号減算部150が出力した右チャネル差分信号yR(1), yR(2), ..., yR(T)と、が入力される。ステレオ符号化部170は、入力された左チャネル差分信号と右チャネル差分信号を所定の符号化方式で合計bsビットで符号化してステレオ符号CSを得て出力する(ステップS170)。すなわち、入力されたTサンプルの左チャネル差分信号yL(1), yL(2), ..., yL(T)と、入力されたTサンプルの右チャネル差分信号yR(1), yR(2), ..., yR(T)と、から合計bSビットのステレオ符号CSを得て出力する。符号化方式としては、どのようなものを用いてもよく、例えばMPEG-4 AAC規格のステレオ復号方式に対応するステレオ符号化方式を用いてもよいし、入力された左チャネル差分信号と右チャネル差分信号それぞれを独立して符号化するものを用いてもよく、符号化により得られた符号全てを合わせたものをステレオ符号CSとすればよい。
第1実施形態の復号装置200は、図3に示す通り、モノラル復号部210とステレオ復号部220と左チャネル減算利得復号部230と左チャネル信号加算部240と右チャネル減算利得復号部250と右チャネル信号加算部260とを含む。復号装置200は、対応する符号化装置100と同じ時間長のフレーム単位で、入力されたモノラル符号CMと左チャネル減算利得符号Cαと右チャネル減算利得符号Cβとステレオ符号CSを復号して、フレーム単位の2チャネルステレオの時間領域の復号音信号(後述する左チャネル復号音信号と右チャネル復号音信号)を得て出力する。復号装置200は、図3に破線で示すように、モノラルの時間領域の復号音信号(後述するモノラル復号音信号)も出力してもよい。復号装置200が出力した復号音信号は、例えば、DA変換され、スピーカで再生されることで、受聴可能とされる。復号装置200は、各フレームについて、図4に例示するステップS210からステップS260の処理を行う。
モノラル復号部210には、復号装置200に入力されたモノラル符号CMが入力される。モノラル復号部210は、入力されたモノラル符号CMを所定の復号方式で復号してモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)を得て出力する(ステップS210)。所定の復号方式としては、対応する符号化装置100のモノラル符号化部160で用いた符号化方式に対応する復号方式を用いる。モノラル符号CMのビット数はbMである。
ステレオ復号部220には、復号装置200に入力されたステレオ符号CSが入力される。ステレオ復号部220は、入力されたステレオ符号CSを所定の復号方式で復号して、左チャネル復号差分信号^yL(1), ^yL(2), ..., ^yL(T)と、右チャネル復号差分信号^yR(1), ^yR(2), ..., ^yR(T)と、を得て出力する(ステップS220)。所定の復号方式としては、対応する符号化装置100のステレオ符号化部170で用いた符号化方式に対応する復号方式を用いる。ステレオ符号CSの合計ビット数はbSである。
左チャネル減算利得復号部230には、復号装置200に入力された左チャネル減算利得符号Cαが入力される。左チャネル減算利得復号部230は、左チャネル減算利得符号Cαを復号して左チャネル減算利得αを得て出力する(ステップS230)。左チャネル減算利得復号部230が左チャネル減算利得符号Cαを復号して左チャネル減算利得αを得る方法については後述する。
左チャネル信号加算部240には、モノラル復号部210が出力したモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)と、ステレオ復号部220が出力した左チャネル復号差分信号^yL(1), ^yL(2), ..., ^yL(T)と、左チャネル減算利得復号部230が出力した左チャネル減算利得αと、が入力される。左チャネル信号加算部240は、対応するサンプルtごとに、左チャネル復号差分信号のサンプル値^yL(t)と、モノラル復号音信号のサンプル値^xM(t)と左チャネル減算利得αとを乗算した値α×^xM(t)と、を加算した値^yL(t)+α×^xM(t)による系列を左チャネル復号音信号^xL(1), ^xL(2), ..., ^xL(T)として得て出力する(ステップS240)。すなわち、^xL(t)=^yL(t)+α×^xM(t)である。
右チャネル減算利得復号部250には、復号装置200に入力された右チャネル減算利得符号Cβが入力される。右チャネル減算利得復号部250は、右チャネル減算利得符号Cβを復号して右チャネル減算利得βを得て出力する(ステップS250)。右チャネル減算利得復号部250が右チャネル減算利得符号Cβを復号して右チャネル減算利得βを得る方法については後述する。
右チャネル信号加算部260には、モノラル復号部210が出力したモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)と、ステレオ復号部220が出力した右チャネル復号差分信号^yR(1), ^yR(2), ..., ^yR(T)と、右チャネル減算利得復号部250が出力した右チャネル減算利得βと、が入力される。右チャネル信号加算部260は、対応するサンプルtごとに、右チャネル復号差分信号のサンプル値^yR(t)と、モノラル復号音信号のサンプル値^xM(t)と右チャネル減算利得βとを乗算した値β×^xM(t)と、を加算した値^yR(t)+β×^xM(t)による系列を右チャネル復号音信号^xR(1), ^xR(2), ..., ^xR(T)として得て出力する(ステップS260)。すなわち、^xR(t)=^yR(t)+β×^xM(t)である。
以下、量子化誤差を最小化する原理について説明する。ステレオ符号化部170において入力された左チャネル差分信号と右チャネル差分信号を1つの符号化方式の中で合わせて符号化する場合には、左チャネル差分信号の符号化に用いるビット数bLと右チャネル差分信号の符号化に用いるビット数bRは陽に定まっていないこともあり得るが、以下では、左チャネル差分信号の符号化に用いるビット数がbLであり、右チャネル差分信号の符号化に用いるビット数がbRであるとして説明する。また、以下では主に左チャネルについて説明するが、右チャネルについても同様である。
また、復号装置において量子化済み左チャネル差分信号に加算する信号が有する量子化誤差のサンプルあたりの平均エネルギー、すなわち、復号により得た量子化済みダウンミックス信号の各サンプル値と左チャネル減算利得αとを乗算して得た値の系列が有する量子化誤差のサンプルあたりの平均エネルギーは、下記の式(1-2)のように推定できる。
式(1-3-2)で得られる右チャネル減算利得βは、0より大きく1未満の値であり、2つの符号化に用いるビット数であるbRとbMが等しいときには0.5であり、右チャネル差分信号を符号化するためのビット数bRがダウンミックス信号を符号化するためのビット数bMよりも多いほど0.5より0に近い値であり、ダウンミックス信号を符号化するためのビット数bMが右チャネル差分信号を符号化するためのビット数bRよりも多いほど0.5より1に近い値である。
式(1-4)によって得られる正規化された内積値rLは、実数値であって、ダウンミックス信号xM(1), xM(2), ..., xM(T)の各サンプル値に実数値rL'を乗算してサンプル値の系列rL'×xM(1), rL'×xM(2), ..., rL'×xM(T)を得たときに、得られたサンプル値の系列と左チャネルの入力音信号の各サンプル値との差分により得られる系列xL(1)-rL'×xM(1), xL(2)-rL'×xM(2), ..., xL(T)-rL'×xM(T)のエネルギーが最小となる実数値rL'と同じ値である。
ここで、rRは、右チャネルの入力音信号xR(1), xR(2), ..., xR(T)とダウンミックス信号xM(1), xM(2), ..., xM(T)の正規化された内積値であり、下記の式(1-4-2)で表される。
すなわち、この量子化誤差のエネルギーを最小化する原理を考慮すると、右チャネル減算利得βには、正規化された内積値rRと、符号化に用いるビット数であるbRとbMによって決まる値である補正係数と、を乗算したものを使用するべきである。当該補正係数は、0より大きく1未満の値であり、右チャネル差分信号を符号化するためのビット数bRがダウンミックス信号を符号化するためのビット数bMよりも多いほど0.5よりも0に近く、右チャネル差分信号を符号化するためのビット数がダウンミックス信号を符号化するためのビット数よりも少ないほど0.5よりも1に近い値である。
上述した量子化誤差を最小化する原理に基づく減算利得の推定と復号の具体例を説明する。各例では、符号化装置100において減算利得の推定を行う左チャネル減算利得推定部120と右チャネル減算利得推定部140、復号装置200において減算利得の復号を行う左チャネル減算利得復号部230と右チャネル減算利得復号部250、について説明する。
例1は、左チャネルの入力音信号xL(1), xL(2), ..., xL(T)とダウンミックス信号xM(1), xM(2), ..., xM(T)が同一の系列とみなせない場合も含む、左チャネルの復号音信号が有する量子化誤差のエネルギーを最小化する原理と、右チャネルの入力音信号xR(1), xR(2), ..., xR(T)とダウンミックス信号xM(1), xM(2), ..., xM(T)が同一の系列とみなせない場合も含む、右チャネルの復号音信号が有する量子化誤差のエネルギーを最小化する原理と、に基づくものである。
左チャネル減算利得推定部120には、左チャネル減算利得の候補αcand(a)と当該候補に対応する符号Cαcand(a)との組が複数組(A組、a=1, ..., A)予め記憶されている。左チャネル減算利得推定部120は、図5に示す以下のステップS120-11からステップS120-14を行う。
左チャネル減算利得推定部120は、次に、ステップS120-11で得た正規化された内積値rLとステップS120-12で得た左チャネル補正係数cLとを乗算した値を得る(ステップS120-13)。左チャネル減算利得推定部120は、次に、記憶されている左チャネル減算利得の候補αcand(1), ..., αcand(A)のうちのステップS120-13で得た乗算値cL×rLに最も近い候補(乗算値cL×rLの量子化値)を左チャネル減算利得αとして得て、記憶されている符号Cαcand(1), ..., Cαcand(A)のうちの左チャネル減算利得αに対応する符号を左チャネル減算利得符号Cαとして得る(ステップS120-14)。
右チャネル減算利得推定部140には、右チャネル減算利得の候補βcand(b)と当該候補に対応する符号Cβcand(b)との組が複数組(B組、b=1, ..., B)予め記憶されている。右チャネル減算利得推定部140は、図5に示す以下のステップS140-11からステップS140-14を行う。
右チャネル減算利得推定部140は、次に、ステップS140-11で得た正規化された内積値rRとステップS140-12で得た右チャネル補正係数cRとを乗算した値を得る(ステップS140-13)。右チャネル減算利得推定部140は、次に、記憶されている右チャネル減算利得の候補βcand(1), ..., βcand(B)のうちのステップS140-13で得た乗算値cR×rRに最も近い候補(乗算値cR×rRの量子化値)を右チャネル減算利得βとして得て、記憶されている符号Cβcand(1), ..., Cβcand(B)のうちの右チャネル減算利得βに対応する符号を右チャネル減算利得符号Cβとして得る(ステップS140-14)。
左チャネル減算利得復号部230には、対応する符号化装置100の左チャネル減算利得推定部120に記憶されているものと同じ、左チャネル減算利得の候補αcand(a)と当該候補に対応する符号Cαcand(a)との組が複数組(A組、a=1, ..., A)予め記憶されている。左チャネル減算利得復号部230は、記憶されている符号Cαcand(1), ..., Cαcand(A)のうちの入力された左チャネル減算利得符号Cαに対応する左チャネル減算利得の候補を左チャネル減算利得αとして得る(ステップS230-11)。
右チャネル減算利得復号部250には、対応する符号化装置100の右チャネル減算利得推定部140に記憶されているものと同じ、右チャネル減算利得の候補βcand(b)と当該候補に対応する符号Cβcand(b)との組が複数組(B組、b=1, ..., B)予め記憶されている。右チャネル減算利得復号部250は、記憶されている符号Cβcand(1), ..., Cβcand(B)のうちの入力された右チャネル減算利得符号Cβに対応する右チャネル減算利得の候補を右チャネル減算利得βとして得る(ステップS250-11)。
符号化装置100で左チャネル差分信号の符号化に用いるビット数bLは復号装置200で左チャネル差分信号の復号に用いるビット数であり、符号化装置100でダウンミックス信号の符号化に用いるビット数bMの値は復号装置200でダウンミックス信号の復号に用いるビット数であるので、補正係数cLは符号化装置100でも復号装置200でも同じ値を計算することができる。したがって、正規化された内積値rLを符号化と復号の対象として、符号化装置100と復号装置200で正規化された内積値の量子化値^rLに補正係数cLを乗算して左チャネル減算利得αを得てもよい。右チャネルについても同様である。この形態を例1の変形例として説明する。
左チャネル減算利得推定部120には、左チャネルの正規化された内積値の候補rLcand(a)と当該候補に対応する符号Cαcand(a)との組が複数組(A組、a=1, ..., A)予め記憶されている。左チャネル減算利得推定部120は、図6に示す通り、例1でも説明したステップS120-11とステップS120-12と、下記のステップS120-15とステップS120-16と、を行う。
右チャネル減算利得推定部140には、右チャネルの正規化された内積値の候補rRcand(b)と当該候補に対応する符号Cβcand(b)との組が複数組(B組、b=1, ..., B)予め記憶されている。右チャネル減算利得推定部140は、図6に示す通り、例1でも説明したステップS140-11とステップS140-12と、下記のステップS140-15とステップS140-16と、を行う。
左チャネル減算利得復号部230には、対応する符号化装置100の左チャネル減算利得推定部120に記憶されているものと同じ、左チャネルの正規化された内積値の候補rLcand(a)と当該候補に対応する符号Cαcand(a)との組が複数組(A組、a=1, ..., A)予め記憶されている。左チャネル減算利得復号部230は、図7に示す以下のステップS230-12からステップS230-14を行う。
右チャネル減算利得復号部250には、対応する符号化装置100の右チャネル減算利得推定部140に記憶されているものと同じ、右チャネルの正規化された内積値の候補rRcand(b)と当該候補に対応する符号Cβcand(b)との組が複数組(B組、b=1, ..., B)予め記憶されている。右チャネル減算利得復号部250は、図7に示す以下のステップS250-12からステップS250-14を行う。
正規化された内積値として過去のフレームの入力の値も考慮した値を用いる例を例2として説明する。例2は、フレーム内での最適性、すなわち、左チャネルの復号音信号が有する量子化誤差のエネルギーの最小化と右チャネルの復号音信号が有する量子化誤差のエネルギーの最小化は厳密には保証されないが、左チャネル減算利得αのフレーム間の急激な変動と右チャネル減算利得βのフレーム間の急激な変動を少なくして、当該変動に由来して復号音信号に生じるノイズを低減するものである。すなわち、例2は、復号音信号が有する量子化誤差のエネルギーを小さくすることに加えて復号音信号の聴覚品質も考慮したものである。
左チャネル減算利得推定部120は、図8に示す通り、下記のステップS120-111からステップS120-113と、例1で説明したステップS120-12からステップS120-14と、を行う。
ここで、εLは、0より大きく1未満の予め定めた値であり、左チャネル減算利得推定部120に予め記憶されている。なお、左チャネル減算利得推定部120は、得た内積値EL(0)を、「前のフレームで用いた内積値EL(-1)」として次のフレームで用いるために、左チャネル減算利得推定部120内に記憶する。
ここで、εMは、0より大きく1未満で予め定めた値であり、左チャネル減算利得推定部120に予め記憶されている。なお、左チャネル減算利得推定部120は、得たダウンミックス信号のエネルギーEM(0)を、「前のフレームで用いたダウンミックス信号のエネルギーEM(-1)」として次のフレームで用いるために、左チャネル減算利得推定部120内に記憶する。
右チャネル減算利得推定部140は、図8に示す通り、以下のステップS140-111からステップS140-113と、例1で説明したステップS140-12からステップS140-14と、を行う。
ここで、εRは、0より大きく1未満の予め定めた値であり、右チャネル減算利得推定部140に予め記憶されている。なお、右チャネル減算利得推定部140は、得た内積値ER(0)を、「前のフレームで用いた内積値ER(-1)」として次のフレームで用いるために、右チャネル減算利得推定部140内に記憶する。
例2についても、例1に対する例1の変形例と同様の変形ができる。この形態を例2の変形例として説明する。例2の変形例は、符号化側、すなわち、左チャネル減算利得推定部120と右チャネル減算利得推定部140は例1の変形例と異なるが、復号側、すなわち、左チャネル減算利得復号部230と右チャネル減算利得復号部250は例1の変形例と同じである。例2の変形例の例1の変形例と異なる点は例2と同様であるので、以下では、例2の変形例について、例1の変形例と例2を適宜参照して説明する。
左チャネル減算利得推定部120には、例1の変形例の左チャネル減算利得推定部120と同様に、左チャネルの正規化された内積値の候補rLcand(a)と当該候補に対応する符号Cαcand(a)との組が複数組(A組、a=1, ..., A)予め記憶されている。左チャネル減算利得推定部120は、図9に示す通り、例2と同じステップS120-111からステップS120-113と、例1の変形例と同じステップS120-12とステップS120-15とステップS120-16と、を行う。具体的には以下の通りである。
右チャネル減算利得推定部140には、例1の変形例の右チャネル減算利得推定部140と同様に、右チャネルの正規化された内積値の候補rRcand(b)と当該候補に対応する符号Cβcand(b)との組が複数組(B組、b=1, ..., B)予め記憶されている。右チャネル減算利得推定部140は、図9に示す通り、例2と同じステップS140-111からステップS140-113と、例1の変形例と同じステップS140-12とステップS140-15とステップS140-16と、を行う。具体的には以下の通りである。
例えば、左チャネルの入力音信号に含まれている音声や音楽などの音と、右チャネルの入力音信号に含まれている音声や音楽などの音と、が異なる場合には、ダウンミックス信号には左チャネルの入力音信号の成分も右チャネルの入力音信号の成分も含まれ得るため、左チャネル減算利得αとして大きな値を用いるほど、左チャネル復号音信号の中に本来聴こえるはずのない右チャネルの入力音信号に由来する音が含まれているように聞こえてしまい、右チャネル減算利得βとして大きな値を用いるほど、右チャネル復号音信号の中に本来聴こえるはずのない左チャネルの入力音信号に由来する音が含まれているように聞こえてしまうという課題がある。そこで、復号音信号が有する量子化誤差のエネルギーの最小化は厳密には保証されないものの、聴覚品質を考慮して、左チャネル減算利得αと右チャネル減算利得βを例1により求まる値より小さい値としてもよい。また同様に、左チャネル減算利得αと右チャネル減算利得βを例2により求まる値より小さい値としてもよい。
上述したように補正係数cLは符号化装置100でも復号装置200でも同じ値を計算することができる。従って、例1の変形例や例2の変形例と同様に正規化された内積値rLを左チャネル減算利得推定部120での符号化と左チャネル減算利得復号部230での復号の対象として左チャネル減算利得符号Cαが正規化された内積値rLの量子化値を表すようにして、左チャネル減算利得推定部120と左チャネル減算利得復号部230が正規化された内積値rLの量子化値と左チャネル補正係数cLと0より大きく1より小さい予め定めた値であるλLを乗算して左チャネル減算利得αを得るようにしてもよい。または、正規化された内積値rLと0より大きく1より小さい予め定めた値であるλLの乗算値λL×rLを左チャネル減算利得推定部120での符号化と左チャネル減算利得復号部230での復号の対象として、左チャネル減算利得符号Cαが乗算値λL×rLの量子化値を表すようにして、左チャネル減算利得推定部120と左チャネル減算利得復号部230が乗算値λL×rLの量子化値と左チャネル補正係数cLを乗算して左チャネル減算利得αを得るようにしてもよい。
例3の冒頭で説明した聴覚品質の課題が生じるのは左チャネルの入力音信号と右チャネルの入力音信号の相関が小さいときであって、この課題は左チャネルの入力音信号と右チャネルの入力音信号の相関が大きいときにはあまり生じない。そこで、例4では、例3の予め定めた値に代えて、左チャネルの入力音信号と右チャネルの入力音信号の相関係数である左右相関係数γを用いることで、左チャネルの入力音信号と右チャネルの入力音信号の相関が大きいほど、復号音信号が有する量子化誤差のエネルギーを小さくすることを優先し、左チャネルの入力音信号と右チャネルの入力音信号の相関が小さいほど、聴覚品質の劣化を抑えることを優先する。
例4の符号化装置100は、図1に破線で示すように左右関係情報推定部180も含む。左右関係情報推定部180には、符号化装置100に入力された左チャネルの入力音信号と、符号化装置100に入力された右チャネルの入力音信号と、が入力される。左右関係情報推定部180は、入力された左チャネルの入力音信号と右チャネルの入力音信号から左右相関係数γを得て出力する(ステップS180)。
左チャネル減算利得推定部120は、ステップS120-13に代えて、ステップS120-11またはステップS120-113で得た正規化された内積値rLと、ステップS120-12で得た左チャネル補正係数cLと、ステップS180で得た左右相関係数γと、を乗算した値を得る(ステップS120-13”)。左チャネル減算利得推定部120は、次に、ステップS120-14に代えて、記憶されている左チャネル減算利得の候補αcand(1), ..., αcand(A)のうちのステップS120-13”で得た乗算値γ×cL×rLに最も近い候補(乗算値γ×cL×rLの量子化値)を左チャネル減算利得αとして得て、記憶されている符号Cαcand(1), ..., Cαcand(A)のうちの左チャネル減算利得αに対応する符号を左チャネル減算利得符号Cαとして得る(ステップS120-14”)。
右チャネル減算利得推定部140は、ステップS140-13に代えて、ステップS140-11またはステップS140-113で得た正規化された内積値rRと、ステップS140-12で得た右チャネル補正係数cRと、ステップS180で得た左右相関係数γと、を乗算した値を得る(ステップS140-13”)。右チャネル減算利得推定部140は、次に、ステップS140-14に代えて、記憶されている右チャネル減算利得の候補βcand(1), ..., βcand(B)のうちのステップS140-13”で得た乗算値γ×cR×rRに最も近い候補(乗算値γ×cR×rRの量子化値)を右チャネル減算利得βとして得て、記憶されている符号Cβcand(1), ..., Cβcand(B)のうちの右チャネル減算利得βに対応する符号を右チャネル減算利得符号Cβとして得る(ステップS140-14”)。
上述したように補正係数cLは符号化装置100でも復号装置200でも同じ値を計算することができる。従って、正規化された内積値rLと左右相関係数γの乗算値γ×rLを左チャネル減算利得推定部120での符号化と左チャネル減算利得復号部230での復号の対象として、左チャネル減算利得符号Cαが乗算値γ×rLの量子化値を表すようにして、左チャネル減算利得推定部120と左チャネル減算利得復号部230が乗算値γ×rLの量子化値と左チャネル補正係数cLを乗算して左チャネル減算利得αを得るようにしてもよい。
第2実施形態の符号化装置と復号装置について説明する。
第2実施形態の符号化装置101は、図10に示す通り、ダウンミックス部110と左チャネル減算利得推定部120と左チャネル信号減算部130と右チャネル減算利得推定部140と右チャネル信号減算部150とモノラル符号化部160とステレオ符号化部170と左右関係情報推定部181と時間シフト部191を含む。第2実施形態の符号化装置101が第1実施形態の符号化装置100と異なるのは、左右関係情報推定部181と時間シフト部191を含むことと、ダウンミックス部110が出力した信号に代えて時間シフト部191が出力した信号を左チャネル減算利得推定部120と左チャネル信号減算部130と右チャネル減算利得推定部140と右チャネル信号減算部150が用いることと、上述した各符号に加えて後述する左右時間差符号Cτも出力すること、である。第2実施形態の符号化装置101のその他の構成及び動作は第1実施形態の符号化装置100と同じである。第2実施形態の符号化装置101は、各フレームについて、図11に例示するステップS110からステップS191の処理を行う。以下、第2実施形態の符号化装置101が第1実施形態の符号化装置100と異なる点について説明する。
左右関係情報推定部181には、符号化装置101に入力された左チャネルの入力音信号と、符号化装置101に入力された右チャネルの入力音信号と、が入力される。左右関係情報推定部181は、入力された左チャネルの入力音信号と右チャネルの入力音信号から、左右時間差τと、左右時間差τを表す符号である左右時間差符号Cτと、を得て出力する(ステップS181)。
左右関係情報推定部181は、得られた周波数スペクトルXL(k)及びXR(k)を用いて、下記の式(3-3)により、各周波数kにおける位相差のスペクトルφ(k)を得る。
得られた位相差のスペクトルを逆フーリエ変換することにより、下記の式(3-4)のようにτmaxからτminまでの各候補サンプル数τcandについて位相差信号ψ(τcand)を得る。
得られた位相差信号ψ(τcand)の絶対値は、左チャネルの入力音信号xL(1), xL(2), ..., xL(T)及び右チャネルの入力音信号xR(1), xR(2), ..., xR(T)の時間差の尤もらしさに対応したある種の相関を表すものであるので、各候補サンプル数τcandに対するこの位相差信号ψ(τcand)の絶対値を相関値γcandとして用いる。左右関係情報推定部181は、この位相差信号ψ(τcand)の絶対値である相関値γcandが最大となる候補サンプル数τcandを左右時間差τとして得る。なお、相関値γcandとして位相差信号ψ(τcand)の絶対値をそのまま用いることに代えて、例えば各τcandについて位相差信号ψ(τcand)の絶対値に対するτcand前後にある複数個の候補サンプル数それぞれについて得られた位相差信号の絶対値の平均との相対差のような、正規化された値を用いてもよい。つまり、各τcandについて、予め定めた正の数τrangeを用いて、下記の式(3-5)により平均値を得て、得られた平均値ψc(τcand)と位相差信号ψ(τcand)を用いて下記の式(3-6)により得られる正規化された相関値をγcandとして用いてもよい。
なお、式(3-6)により得られる正規化された相関値は、0以上1以下の値であり、τcandが左右時間差として尤もらしいほど1に近く、τcandが左右時間差として尤もらしくないほど0に近い性質を示す値である。
時間シフト部191には、ダウンミックス部110が出力したダウンミックス信号xM(1), xM(2), ..., xM(T)と、左右関係情報推定部181が出力した左右時間差τと、が入力される。時間シフト部191は、左右時間差τが正の値である場合(すなわち、左右時間差τが左チャネルが先行していることを表す場合)には、ダウンミックス信号xM(1), xM(2), ..., xM(T)をそのまま左チャネル減算利得推定部120と左チャネル信号減算部130に出力し(すなわち、左チャネル減算利得推定部120と左チャネル信号減算部130で用いることを決定し)、ダウンミックス信号を|τ|サンプル(左右時間差τの絶対値分のサンプル数、左右時間差τが表す大きさ分のサンプル数)遅らせた信号xM(1-|τ|), xM(2-|τ|), ..., xM(T-|τ|)である遅延ダウンミックス信号xM'(1), xM'(2), ..., xM'(T)を右チャネル減算利得推定部140と右チャネル信号減算部150に出力し(すなわち、右チャネル減算利得推定部140と右チャネル信号減算部150で用いることを決定し)、左右時間差τが負の値である場合(すなわち、左右時間差τが右チャネルが先行していることを表す場合)には、ダウンミックス信号を|τ|サンプル遅らせた信号xM(1-|τ|), xM(2-|τ|), ..., xM(T-|τ|)である遅延ダウンミックス信号xM'(1), xM'(2), ..., xM'(T)を左チャネル減算利得推定部120と左チャネル信号減算部130に出力し(すなわち、左チャネル減算利得推定部120と左チャネル信号減算部130で用いることを決定し)、ダウンミックス信号xM(1), xM(2), ..., xM(T)をそのまま右チャネル減算利得推定部140と右チャネル信号減算部150に出力し(すなわち、右チャネル減算利得推定部140と右チャネル信号減算部150で用いることを決定し)、左右時間差τが0である場合(すなわち、左右時間差τが何れのチャネルも先行していないことを表す場合)には、ダウンミックス信号xM(1), xM(2), ..., xM(T)をそのまま左チャネル減算利得推定部120と左チャネル信号減算部130と右チャネル減算利得推定部140と右チャネル信号減算部150に出力する(すなわち、左チャネル減算利得推定部120と左チャネル信号減算部130と右チャネル減算利得推定部140と右チャネル信号減算部150で用いることを決定する)(ステップS191)。すなわち、左チャネルと右チャネルのうちの上述した到達時間が短いほうのチャネルについては、入力されたダウンミックス信号をそのまま当該チャネルの減算利得推定部と当該チャネルの信号減算部に出力し、左チャネルと右チャネルのうちの上述した到達時間が長いほうのチャネルについては、入力されたダウンミックス信号を左右時間差τの絶対値|τ|だけ遅らせた信号を当該チャネルの減算利得推定部と当該チャネルの信号減算部に出力する。なお、時間シフト部191では遅延ダウンミックス信号を得るために過去のフレームのダウンミックス信号を用いることから、時間シフト部191内の図示しない記憶部には、過去のフレームで入力されたダウンミックス信号を予め定めたフレーム数分だけ記憶しておく。
左チャネル減算利得推定部120と左チャネル信号減算部130と右チャネル減算利得推定部140と右チャネル信号減算部150は、第1実施形態で説明したのと同じ動作を、ダウンミックス部110が出力したダウンミックス信号xM(1), xM(2), ..., xM(T)に代えて、時間シフト部191から入力されたダウンミックス信号xM(1), xM(2), ..., xM(T)または遅延ダウンミックス信号xM'(1), xM'(2), ..., xM'(T)を用いて行う(ステップS120、S130、S140、S150)。すなわち、左チャネル減算利得推定部120と左チャネル信号減算部130と右チャネル減算利得推定部140と右チャネル信号減算部150は、時間シフト部191で決定されたダウンミックス信号xM(1), xM(2), ..., xM(T)または遅延ダウンミックス信号xM'(1), xM'(2), ..., xM'(T)を用いて、第1実施形態で説明したのと同じ動作を行う。
第2実施形態の復号装置201は、図12に示す通り、モノラル復号部210とステレオ復号部220と左チャネル減算利得復号部230と左チャネル信号加算部240と右チャネル減算利得復号部250と右チャネル信号加算部260と左右時間差復号部271と時間シフト部281を含む。第2実施形態の復号装置201が第1実施形態の復号装置200と異なるのは、上述した各符号に加えて後述する左右時間差符号Cτも入力されることと、左右時間差復号部271と時間シフト部281を含むことと、モノラル復号部210が出力した信号に代えて時間シフト部281が出力した信号を左チャネル信号加算部240と右チャネル信号加算部260が用いること、である。第2実施形態の復号装置201のその他の構成及び動作は第1実施形態の復号装置200と同じである。第2実施形態の復号装置201は、各フレームについて、図13に例示するステップS210からステップS281の処理を行う。以下、第2実施形態の復号装置201が第1実施形態の復号装置200と異なる点について説明する。
左右時間差復号部271には、復号装置201に入力された左右時間差符号Cτが入力される。左右時間差復号部271は、左右時間差符号Cτを所定の復号方式で復号して左右時間差τを得て出力する(ステップS271)。所定の復号方式としては、対応する符号化装置101の左右関係情報推定部181で用いた符号化方式に対応する復号方式を用いる。左右時間差復号部271が得る左右時間差τは、対応する符号化装置101の左右関係情報推定部181が得た左右時間差τと同じ値であり、τmaxからτminまでの範囲内の何れかの値である。
時間シフト部281には、モノラル復号部210が出力したモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)と、左右時間差復号部271が出力した左右時間差τと、が入力される。時間シフト部281は、左右時間差τが正の値である場合(すなわち、左右時間差τが左チャネルが先行していることを表す場合)には、モノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)をそのまま左チャネル信号加算部240に出力し(すなわち、左チャネル信号加算部240で用いることを決定し)、モノラル復号音信号を|τ|サンプル遅らせた信号^xM(1-|τ|), ^xM(2-|τ|), ..., ^xM(T-|τ|)である遅延モノラル復号音信号^xM'(1), ^xM'(2), ..., ^xM'(T)を右チャネル信号加算部260に出力し(すなわち、右チャネル信号加算部260で用いることを決定し)、左右時間差τが負の値である場合(すなわち、左右時間差τが右チャネルが先行していることを表す場合)には、モノラル復号音信号を|τ|サンプル遅らせた信号^xM(1-|τ|), ^xM(2-|τ|), ..., ^xM(T-|τ|)である遅延モノラル復号音信号^xM'(1), ^xM'(2), ..., ^xM'(T)を左チャネル信号加算部240に出力し(すなわち、左チャネル信号加算部240で用いることを決定し)、モノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)をそのまま右チャネル信号加算部260に出力し(すなわち、右チャネル信号加算部260で用いることを決定し)、左右時間差τが0である場合(すなわち、左右時間差τが何れのチャネルも先行していないことを表す場合)には、モノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)をそのまま左チャネル信号加算部240と右チャネル信号加算部260に出力する(すなわち、左チャネル信号加算部240と右チャネル信号加算部260で用いることを決定する)(ステップS281)。なお、時間シフト部281では遅延モノラル復号音信号を得るために過去のフレームのモノラル復号音信号を用いることから、時間シフト部281内の図示しない記憶部には、過去のフレームで入力されたモノラル復号音信号を予め定めたフレーム数分だけ記憶しておく。
左チャネル信号加算部240と右チャネル信号加算部260は、第1実施形態で説明したのと同じ動作を、モノラル復号部210が出力したモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)に代えて、時間シフト部281から入力されたモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)または遅延モノラル復号音信号^xM'(1), ^xM'(2), ..., ^xM'(T)を用いて行う(ステップS240、S260)。すなわち、左チャネル信号加算部240と右チャネル信号加算部260は、時間シフト部281で決定されたモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)または遅延モノラル復号音信号^xM'(1), ^xM'(2), ..., ^xM'(T)を用いて、第1実施形態で説明したのと同じ動作を行う。
第2実施形態の符号化装置101に対して、左チャネルの入力音信号と右チャネルの入力音信号の関係を考慮してダウンミックス信号を生成する変形をしてもよく、この形態を第3実施形態として説明する。なお、第3実施形態の符号化装置が得た符号は、第2実施形態の復号装置201で復号することができるので、復号装置の説明は省略する。
第3実施形態の符号化装置102は、図10に示す通り、ダウンミックス部112と左チャネル減算利得推定部120と左チャネル信号減算部130と右チャネル減算利得推定部140と右チャネル信号減算部150とモノラル符号化部160とステレオ符号化部170と左右関係情報推定部182と時間シフト部191を含む。第3実施形態の符号化装置102が第2実施形態の符号化装置101と異なるのは、左右関係情報推定部181に代えて左右関係情報推定部182を含み、ダウンミックス部110に代えてダウンミックス部112を含み、図10に破線で示す通り、左右関係情報推定部182が左右相関係数γと先行チャネル情報を得て出力し、出力した左右相関係数γと先行チャネル情報がダウンミックス部112に入力されて用いられることである。第3実施形態の符号化装置102のその他の構成及び動作は第2実施形態の符号化装置101と同じである。第3実施形態の符号化装置102は、各フレームについて、図14に例示するステップS112からステップS191の処理を行う。以下、第3実施形態の符号化装置102が第2実施形態の符号化装置101と異なる点について説明する。
左右関係情報推定部182には、符号化装置102に入力された左チャネルの入力音信号と、符号化装置102に入力された右チャネルの入力音信号と、が入力される。左右関係情報推定部182は、入力された左チャネルの入力音信号と右チャネルの入力音信号から、左右時間差τと、左右時間差τを表す符号である左右時間差符号Cτと、左右相関係数γと、先行チャネル情報と、を得て出力する(ステップS182)。左右関係情報推定部182が左右時間差τと左右時間差符号Cτを得る処理は、第2実施形態の左右関係情報推定部181と同様である。
ダウンミックス部112には、符号化装置102に入力された左チャネルの入力音信号と、符号化装置102に入力された右チャネルの入力音信号と、左右関係情報推定部182が出力した左右相関係数γと、左右関係情報推定部182が出力した先行チャネル情報と、が入力される。ダウンミックス部112は、ダウンミックス信号に、左チャネルの入力音信号と右チャネルの入力音信号のうちの先行しているチャネルの入力音信号のほうが、左右相関係数γが大きいほど大きく含まれるように、左チャネルの入力音信号と右チャネルの入力音信号を重み付け平均してダウンミックス信号を得て出力する(ステップS112)。
第1実施形態の符号化装置100に対しても、左チャネルの入力音信号と右チャネルの入力音信号の関係を考慮してダウンミックス信号を生成する変形をしてもよく、この形態を第4実施形態として説明する。なお、第4実施形態の符号化装置が得た符号は、第1実施形態の復号装置200で復号することができるので、復号装置の説明は省略する。
第4実施形態の符号化装置103は、図1に示す通り、ダウンミックス部112と左チャネル減算利得推定部120と左チャネル信号減算部130と右チャネル減算利得推定部140と右チャネル信号減算部150とモノラル符号化部160とステレオ符号化部170と左右関係情報推定部183を含む。第4実施形態の符号化装置103が第1実施形態の符号化装置100と異なるのは、ダウンミックス部110に代えてダウンミックス部112を含み、図1に破線で示す通り、左右関係情報推定部183を含み、左右関係情報推定部183が左右相関係数γと先行チャネル情報を得て出力し、出力した左右相関係数γと先行チャネル情報がダウンミックス部112に入力されて用いられることである。第4実施形態の符号化装置103のその他の構成及び動作は第1実施形態の符号化装置100と同じである。また、第4実施形態の符号化装置103のダウンミックス部112の動作は、第3実施形態の符号化装置102のダウンミックス部112の動作と同じである。第4実施形態の符号化装置103は、各フレームについて、図15に例示するステップS112からステップS183の処理を行う。以下、第4実施形態の符号化装置103が第1実施形態の符号化装置100とも第3実施形態の符号化装置102とも異なる点について説明する。
左右関係情報推定部183には、符号化装置103に入力された左チャネルの入力音信号と、符号化装置103に入力された右チャネルの入力音信号と、が入力される。左右関係情報推定部183は、入力された左チャネルの入力音信号と右チャネルの入力音信号から、左右相関係数γと、先行チャネル情報と、を得て出力する(ステップS183)。
上述した各符号化装置と各復号装置の各部の処理をコンピュータにより実現してもよく、この場合は各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムを図16に示すコンピュータの記憶部1020に読み込ませ、演算処理部1010、入力部1030、出力部1040などに動作させることにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
Claims (26)
- 入力された音信号をフレームごとに符号化する音信号符号化方法であって、
入力された左チャネル入力音信号と入力された右チャネル入力音信号を混合した信号であるダウンミックス信号を得るダウンミックスステップと、
前記左チャネル入力音信号と前記ダウンミックス信号から、左チャネル減算利得αと、前記左チャネル減算利得αを表す符号である左チャネル減算利得符号Cαと、を得る左チャネル減算利得推定ステップと、
対応するサンプルtごとに、前記ダウンミックス信号のサンプル値xM(t)と前記左チャネル減算利得αとを乗算した値を前記左チャネル入力音信号のサンプル値xL(t)から減算した値xL(t)-α×xM(t)による系列を左チャネル差分信号として得る左チャネル信号減算ステップと、
前記右チャネル入力音信号と前記ダウンミックス信号から、右チャネル減算利得βと、前記右チャネル減算利得βを表す符号である右チャネル減算利得符号Cβと、を得る右チャネル減算利得推定ステップと、
対応するサンプルtごとに、前記ダウンミックス信号のサンプル値xM(t)と前記右チャネル減算利得βとを乗算した値を前記右チャネル入力音信号のサンプル値xR(t)から減算した値xR(t)-β×xM(t)による系列を右チャネル差分信号として得る右チャネル信号減算ステップと、
前記ダウンミックス信号を符号化してモノラル符号CMを得るモノラル符号化ステップと、
前記左チャネル差分信号と前記右チャネル差分信号を符号化してステレオ符号CSを得るステレオ符号化ステップと、
を含み、
前記モノラル符号化ステップで前記ダウンミックス信号の符号化に用いられるビット数をbM、前記ステレオ符号化ステップで前記左チャネル差分信号の符号化に用いられるビット数をbL、前記ステレオ符号化ステップで前記右チャネル差分信号の符号化に用いられるビット数をbR、として、
前記左チャネル減算利得推定ステップでは、
0より大きく1未満の値であり、bL=bMであるときには0.5であり、bLがbMよりも多いほど0.5よりも0に近く、bLがbMよりも少ないほど0.5よりも1に近い値である左チャネル補正係数cLと、前記ダウンミックス信号の前記左チャネル入力音信号に対する正規化された内積値rLと、の乗算値の量子化値を前記左チャネル減算利得αとして得て、前記左チャネル減算利得αまたは前記正規化された内積値rLの量子化値に対応する符号を前記左チャネル減算利得符号Cαとして得て、
前記右チャネル減算利得推定ステップでは、
0より大きく1未満の値であり、bR=bMであるときには0.5であり、bRがbMよりも多いほど0.5よりも0に近く、bRがbMよりも少ないほど0.5よりも1に近い値である右チャネル補正係数cRと、前記ダウンミックス信号の前記右チャネル入力音信号に対する正規化された内積値rRと、の乗算値の量子化値を前記右チャネル減算利得βとして得て、前記右チャネル減算利得βまたは前記正規化された内積値rRの量子化値に対応する符号を前記右チャネル減算利得符号Cβとして得る、
ことを特徴とする音信号符号化方法。 - 入力された音信号をフレームごとに符号化する音信号符号化方法であって、
入力された左チャネル入力音信号と入力された右チャネル入力音信号を混合した信号であるダウンミックス信号を得るダウンミックスステップと、
前記左チャネル入力音信号と前記ダウンミックス信号から、左チャネル減算利得αと、前記左チャネル減算利得αを表す符号である左チャネル減算利得符号Cαと、を得る左チャネル減算利得推定ステップと、
対応するサンプルtごとに、前記ダウンミックス信号のサンプル値xM(t)と前記左チャネル減算利得αとを乗算した値を前記左チャネル入力音信号のサンプル値xL(t)から減算した値xL(t)-α×xM(t)による系列を左チャネル差分信号として得る左チャネル信号減算ステップと、
前記右チャネル入力音信号と前記ダウンミックス信号から、右チャネル減算利得βと、前記右チャネル減算利得βを表す符号である右チャネル減算利得符号Cβと、を得る右チャネル減算利得推定ステップと、
対応するサンプルtごとに、前記ダウンミックス信号のサンプル値xM(t)と前記右チャネル減算利得βとを乗算した値を前記右チャネル入力音信号のサンプル値xR(t)から減算した値xR(t)-β×xM(t)による系列を右チャネル差分信号として得る右チャネル信号減算ステップと、
前記ダウンミックス信号を符号化してモノラル符号CMを得るモノラル符号化ステップと、
前記左チャネル差分信号と前記右チャネル差分信号を符号化してステレオ符号CSを得るステレオ符号化ステップと、
を含み、
前記モノラル符号化ステップで前記ダウンミックス信号の符号化に用いられるビット数をbM、前記ステレオ符号化ステップで前記左チャネル差分信号の符号化に用いられるビット数をbL、前記ステレオ符号化ステップで前記右チャネル差分信号の符号化に用いられるビット数をbR、として、
前記左チャネル減算利得推定ステップでは、
0より大きく1未満の値であり、bL=bMであるときには0.5であり、bLがbMよりも多いほど0.5よりも0に近く、bLがbMよりも少ないほど0.5よりも1に近い値である左チャネル補正係数cLと、前記ダウンミックス信号の前記左チャネル入力音信号に対する正規化された内積値rLと、予め定めた0より大きく1より小さい値である左チャネル用係数値と、の乗算値の量子化値を前記左チャネル減算利得αとして得て、前記左チャネル減算利得α、または、前記正規化された内積値rLの量子化値、または、前記正規化された内積値rLと前記左チャネル用係数値とを乗算した値の量子化値、に対応する符号を前記左チャネル減算利得符号Cαとして得て、
前記右チャネル減算利得推定ステップでは、
0より大きく1未満の値であり、bR=bMであるときには0.5であり、bRがbMよりも多いほど0.5よりも0に近く、bRがbMよりも少ないほど0.5よりも1に近い値である右チャネル補正係数cRと、前記ダウンミックス信号の前記右チャネル入力音信号に対する正規化された内積値rRと、予め定めた0より大きく1より小さい値である右チャネル用係数値と、の乗算値の量子化値を前記右チャネル減算利得βとして得て、前記右チャネル減算利得β、または、前記正規化された内積値rRの量子化値、または、前記正規化された内積値rRと前記右チャネル用係数値とを乗算した値の量子化値、に対応する符号を前記右チャネル減算利得符号Cβとして得る、
ことを特徴とする音信号符号化方法。 - 入力された音信号をフレームごとに符号化する音信号符号化方法であって、
入力された左チャネル入力音信号と入力された右チャネル入力音信号を混合した信号であるダウンミックス信号を得るダウンミックスステップと、
前記左チャネル入力音信号と前記ダウンミックス信号から、左チャネル減算利得αと、前記左チャネル減算利得αを表す符号である左チャネル減算利得符号Cαと、を得る左チャネル減算利得推定ステップと、
対応するサンプルtごとに、前記ダウンミックス信号のサンプル値xM(t)と前記左チャネル減算利得αとを乗算した値を前記左チャネル入力音信号のサンプル値xL(t)から減算した値xL(t)-α×xM(t)による系列を左チャネル差分信号として得る左チャネル信号減算ステップと、
前記右チャネル入力音信号と前記ダウンミックス信号から、右チャネル減算利得βと、前記右チャネル減算利得βを表す符号である右チャネル減算利得符号Cβと、を得る右チャネル減算利得推定ステップと、
対応するサンプルtごとに、前記ダウンミックス信号のサンプル値xM(t)と前記右チャネル減算利得βとを乗算した値を前記右チャネル入力音信号のサンプル値xR(t)から減算した値xR(t)-β×xM(t)による系列を右チャネル差分信号として得る右チャネル信号減算ステップと、
前記ダウンミックス信号を符号化してモノラル符号CMを得るモノラル符号化ステップと、
前記左チャネル差分信号と前記右チャネル差分信号を符号化してステレオ符号CSを得るステレオ符号化ステップと、
を含み、
前記モノラル符号化ステップで前記ダウンミックス信号の符号化に用いられるビット数をbM、前記ステレオ符号化ステップで前記左チャネル差分信号の符号化に用いられるビット数をbL、前記ステレオ符号化ステップで前記右チャネル差分信号の符号化に用いられるビット数をbR、として、
前記左チャネル減算利得推定ステップでは、
0より大きく1未満の値であり、bL=bMであるときには0.5であり、bLがbMよりも多いほど0.5よりも0に近く、bLがbMよりも少ないほど0.5よりも1に近い値である左チャネル補正係数cLと、前記ダウンミックス信号の前記左チャネル入力音信号に対する正規化された内積値rLと、フレームごとに定まる0以上1以下の値である左チャネル用係数値と、の乗算値の量子化値を前記左チャネル減算利得αとして得て、前記左チャネル減算利得α、または、前記正規化された内積値rLの量子化値、または、前記正規化された内積値rLと前記左チャネル用係数値とを乗算した値の量子化値、に対応する符号を前記左チャネル減算利得符号Cαとして得て、
前記右チャネル減算利得推定ステップでは、
0より大きく1未満の値であり、bR=bMであるときには0.5であり、bRがbMよりも多いほど0.5よりも0に近く、bRがbMよりも少ないほど0.5よりも1に近い値である右チャネル補正係数cRと、前記ダウンミックス信号の前記右チャネル入力音信号に対する正規化された内積値rRと、フレームごとに定まる0以上1以下の値である右チャネル用係数値と、の乗算値の量子化値を前記右チャネル減算利得βとして得て、前記右チャネル減算利得β、または、前記正規化された内積値rRの量子化値、または、前記正規化された内積値rRと前記右チャネル用係数値とを乗算した値の量子化値、に対応する符号を前記右チャネル減算利得符号Cβとして得る、
ことを特徴とする音信号符号化方法。 - 請求項3に記載の音信号符号化方法であって、
前記左チャネル入力音信号と前記右チャネル入力音信号の相関係数である左右相関係数を得る左右相関推定ステップを更に含み、
前記左チャネル減算利得推定ステップでは、前記左右相関係数を前記左チャネル用係数値として用い、
前記右チャネル減算利得推定ステップでは、前記左右相関係数を前記右チャネル用係数値として用いる、
ことを特徴とする音信号符号化方法。 - 請求項1から3の何れかに記載の音信号符号化方法であって、
左チャネルと右チャネルのどちらのチャネルが先行しているかを表す情報である先行チャネル情報と、前記左チャネル入力音信号と前記右チャネル入力音信号の相関係数である左右相関係数と、を得る左右関係情報推定ステップ
を更に含み、
前記ダウンミックスステップは、
前記先行チャネル情報と前記左右相関係数とに基づき、前記左チャネル入力音信号と前記右チャネル入力音信号のうちの先行しているチャネルの入力音信号のほうが、前記左右相関係数が大きいほど大きく含まれるように、前記左チャネル入力音信号と前記右チャネル入力音信号を重み付け平均して前記ダウンミックス信号を得る
ことを特徴とする音信号符号化方法。 - 請求項1から3の何れかに記載の音信号符号化方法であって、
εL、εR、εMはそれぞれ0より大きく1未満の値であり、
前記左チャネル減算利得推定ステップでは、
前記左チャネル入力音信号と前記ダウンミックス信号と前フレームの内積値EL(-1)とを用いて
により得られる内積値EL(0)と、
前記ダウンミックス信号と前フレームのダウンミックス信号のエネルギーEM(-1)とを用いて
により得られる前記ダウンミックス信号のエネルギーEM(0)と、を用いて
により得られるrLを、前記ダウンミックス信号の前記左チャネル入力音信号に対する正規化された前記内積値として用い、
前記右チャネル減算利得推定ステップでは、
前記右チャネル入力音信号と前記ダウンミックス信号と前フレームの内積値ER(-1)とを用いて
により得られる内積値EL(0)と、
前記ダウンミックス信号と前フレームのダウンミックス信号のエネルギーEM(-1)とを用いて
により得られる前記ダウンミックス信号のエネルギーEM(0)と、を用いて
により得られるrRを、前記ダウンミックス信号の前記右チャネル入力音信号に対する正規化された前記内積値として用いる、
ことを特徴とする音信号符号化方法。 - 請求項1から3の何れかに記載の音信号符号化方法であって、
前記左チャネル入力音信号と前記右チャネル入力音信号から、左右時間差τと、前記左右時間差τを表す符号である左右時間差符号Cτと、を得る左右時間差推定ステップと、
前記左右時間差τが左チャネルが先行していることを表す場合には、前記ダウンミックス信号をそのまま前記左チャネル減算利得推定ステップと前記左チャネル信号減算ステップで用いることを決定し、前記ダウンミックス信号を前記左右時間差τが表す大きさの分だけ遅らせた信号である遅延ダウンミックス信号を前記右チャネル減算利得推定ステップと前記右チャネル信号減算ステップで用いることを決定し、
前記左右時間差τが右チャネルが先行していることを表す場合には、前記ダウンミックス信号をそのまま前記右チャネル減算利得推定ステップと前記右チャネル信号減算ステップで用いることを決定し、前記ダウンミックス信号を前記左右時間差τが表す大きさの分だけ遅らせた信号である遅延ダウンミックス信号を前記左チャネル減算利得推定ステップと前記左チャネル信号減算ステップで用いることを決定し、
前記左右時間差τが何れのチャネルも先行していないことを表す場合には、前記ダウンミックス信号をそのまま前記左チャネル減算利得推定ステップと前記左チャネル信号減算ステップと前記右チャネル減算利得推定ステップと前記右チャネル信号減算ステップで用いることを決定する時間シフトステップと、
を更に含み、
前記左チャネル減算利得推定ステップと前記左チャネル信号減算ステップと前記右チャネル減算利得推定ステップと前記右チャネル信号減算ステップは、
前記ダウンミックスステップで得た前記ダウンミックス信号に代えて、前記時間シフトステップで決定された前記ダウンミックス信号または前記遅延ダウンミックス信号を用いる、
ことを特徴とする音信号符号化方法。 - 入力された符号をフレームごとに復号して音信号を得る音信号復号方法であって、
入力されたモノラル符号CMを復号してモノラル復号音信号を得るモノラル復号ステップと、
入力されたステレオ符号CSを復号して左チャネル復号差分信号と右チャネル復号差分信号を得るステレオ復号ステップと、
入力された左チャネル減算利得符号Cαを復号して左チャネル減算利得αを得る左チャネル減算利得復号ステップと、
対応するサンプルtごとに、前記左チャネル復号差分信号のサンプル値^yL(t)と、前記モノラル復号音信号のサンプル値^xM(t)と前記左チャネル減算利得αとを乗算した値と、を加算した値^yL(t)+α×^xM(t)による系列を左チャネル復号音信号として得る左チャネル信号加算ステップと、
入力された右チャネル減算利得符号Cβを復号して右チャネル減算利得βを得る右チャネル減算利得復号ステップと、
対応するサンプルtごとに、前記右チャネル復号差分信号のサンプル値^yR(t)と、前記モノラル復号音信号のサンプル値^xM(t)と前記右チャネル減算利得βとを乗算した値と、を加算した値^yR(t)+β×^xM(t)による系列を右チャネル復号音信号として得る右チャネル信号加算ステップと、
を含み、
前記モノラル復号ステップで前記モノラル復号音信号の復号に用いられるビット数をbM、前記ステレオ復号ステップで前記左チャネル復号差分信号の復号に用いられるビット数をbL、前記ステレオ復号ステップで前記右チャネル復号差分信号の復号に用いられるビット数をbR、として、
前記左チャネル減算利得復号ステップでは、
前記左チャネル減算利得符号Cαを復号して復号値^rLを得て、
0より大きく1未満の値であり、bL=bMである場合に0.5であり、bLがbMよりも多いほど0.5よりも0に近く、bLがbMよりも少ないほど0.5よりも1に近い値である左チャネル補正係数cLと、前記左チャネル減算利得符号Cαを復号して得た前記復号値^rLと、の乗算値を前記左チャネル減算利得αとして得て、
前記右チャネル減算利得復号ステップでは、
前記右チャネル減算利得符号Cβを復号して復号値^rRを得て、
0より大きく1未満の値であり、bR=bMである場合に0.5であり、bRがbMよりも多いほど0.5よりも0に近く、bRがbMよりも少ないほど0.5よりも1に近い値である右チャネル補正係数cRと、前記右チャネル減算利得符号Cβを復号して得た前記復号値^rRと、の乗算値を前記右チャネル減算利得βとして得る
ことを特徴とする音信号復号方法。 - 請求項9または10に記載の音信号復号方法であって、
入力された左右時間差符号Cτから左右時間差τを得る左右時間差復号ステップと、
前記左右時間差τが左チャネルが先行していることを表す場合には、前記モノラル復号音信号をそのまま前記左チャネル信号加算ステップで用いることを決定し、前記モノラル復号音信号を前記左右時間差τが表す大きさの分だけ遅らせた信号である遅延モノラル復号音信号を前記右チャネル信号加算ステップで用いることを決定し、
前記左右時間差τが右チャネルが先行していることを表す場合には、前記モノラル復号音信号をそのまま前記右チャネル信号加算ステップで用いることを決定し、前記モノラル復号音信号を前記左右時間差τが表す大きさの分だけ遅らせた信号である遅延モノラル復号音信号を前記左チャネル信号加算ステップで用いることを決定し、
前記左右時間差τが何れのチャネルも先行していないことを表す場合には、前記モノラル復号音信号をそのまま前記左チャネル信号加算ステップと前記右チャネル信号加算ステップで用いることを決定する時間シフトステップと、
を更に含み、
前記左チャネル信号加算ステップと前記右チャネル信号加算ステップは、
前記モノラル復号ステップで得た前記モノラル復号音信号に代えて、前記時間シフトステップで決定された前記モノラル復号音信号または前記遅延モノラル復号音信号を用いる、
ことを特徴とする音信号復号方法。 - 入力された音信号をフレームごとに符号化する音信号符号化装置であって、
入力された左チャネル入力音信号と入力された右チャネル入力音信号を混合した信号であるダウンミックス信号を得るダウンミックス部と、
前記左チャネル入力音信号と前記ダウンミックス信号から、左チャネル減算利得αと、前記左チャネル減算利得αを表す符号である左チャネル減算利得符号Cαと、を得る左チャネル減算利得推定部と、
対応するサンプルtごとに、前記ダウンミックス信号のサンプル値xM(t)と前記左チャネル減算利得αとを乗算した値を前記左チャネル入力音信号のサンプル値xL(t)から減算した値xL(t)-α×xM(t)による系列を左チャネル差分信号として得る左チャネル信号減算部と、
前記右チャネル入力音信号と前記ダウンミックス信号から、右チャネル減算利得βと、前記右チャネル減算利得βを表す符号である右チャネル減算利得符号Cβと、を得る右チャネル減算利得推定部と、
対応するサンプルtごとに、前記ダウンミックス信号のサンプル値xM(t)と前記右チャネル減算利得βとを乗算した値を前記右チャネル入力音信号のサンプル値xR(t)から減算した値xR(t)-β×xM(t)による系列を右チャネル差分信号として得る右チャネル信号減算部と、
前記ダウンミックス信号を符号化してモノラル符号CMを得るモノラル符号化部と、
前記左チャネル差分信号と前記右チャネル差分信号を符号化してステレオ符号CSを得るステレオ符号化部と、
を含み、
前記モノラル符号化部で前記ダウンミックス信号の符号化に用いられるビット数をbM、前記ステレオ符号化部で前記左チャネル差分信号の符号化に用いられるビット数をbL、前記ステレオ符号化部で前記右チャネル差分信号の符号化に用いられるビット数をbR、として、
前記左チャネル減算利得推定部は、
0より大きく1未満の値であり、bL=bMであるときには0.5であり、bLがbMよりも多いほど0.5よりも0に近く、bLがbMよりも少ないほど0.5よりも1に近い値である左チャネル補正係数cLと、前記ダウンミックス信号の前記左チャネル入力音信号に対する正規化された内積値rLと、の乗算値の量子化値を前記左チャネル減算利得αとして得て、前記左チャネル減算利得αまたは前記正規化された内積値rLの量子化値に対応する符号を前記左チャネル減算利得符号Cαとして得て、
前記右チャネル減算利得推定部は、
0より大きく1未満の値であり、bR=bMであるときには0.5であり、bRがbMよりも多いほど0.5よりも0に近く、bRがbMよりも少ないほど0.5よりも1に近い値である右チャネル補正係数cRと、前記ダウンミックス信号の前記右チャネル入力音信号に対する正規化された内積値rRと、の乗算値の量子化値を前記右チャネル減算利得βとして得て、前記右チャネル減算利得βまたは前記正規化された内積値rRの量子化値に対応する符号を前記右チャネル減算利得符号Cβとして得る、
ことを特徴とする音信号符号化装置。 - 入力された音信号をフレームごとに符号化する音信号符号化装置であって、
入力された左チャネル入力音信号と入力された右チャネル入力音信号を混合した信号であるダウンミックス信号を得るダウンミックス部と、
前記左チャネル入力音信号と前記ダウンミックス信号から、左チャネル減算利得αと、前記左チャネル減算利得αを表す符号である左チャネル減算利得符号Cαと、を得る左チャネル減算利得推定部と、
対応するサンプルtごとに、前記ダウンミックス信号のサンプル値xM(t)と前記左チャネル減算利得αとを乗算した値を前記左チャネル入力音信号のサンプル値xL(t)から減算した値xL(t)-α×xM(t)による系列を左チャネル差分信号として得る左チャネル信号減算部と、
前記右チャネル入力音信号と前記ダウンミックス信号から、右チャネル減算利得βと、前記右チャネル減算利得βを表す符号である右チャネル減算利得符号Cβと、を得る右チャネル減算利得推定部と、
対応するサンプルtごとに、前記ダウンミックス信号のサンプル値xM(t)と前記右チャネル減算利得βとを乗算した値を前記右チャネル入力音信号のサンプル値xR(t)から減算した値xR(t)-β×xM(t)による系列を右チャネル差分信号として得る右チャネル信号減算部と、
前記ダウンミックス信号を符号化してモノラル符号CMを得るモノラル符号化部と、
前記左チャネル差分信号と前記右チャネル差分信号を符号化してステレオ符号CSを得るステレオ符号化部と、
を含み、
前記モノラル符号化部で前記ダウンミックス信号の符号化に用いられるビット数をbM、前記ステレオ符号化部で前記左チャネル差分信号の符号化に用いられるビット数をbL、前記ステレオ符号化部で前記右チャネル差分信号の符号化に用いられるビット数をbR、として、
前記左チャネル減算利得推定部は、
0より大きく1未満の値であり、bL=bMであるときには0.5であり、bLがbMよりも多いほど0.5よりも0に近く、bLがbMよりも少ないほど0.5よりも1に近い値である左チャネル補正係数cLと、前記ダウンミックス信号の前記左チャネル入力音信号に対する正規化された内積値rLと、予め定めた0より大きく1より小さい値である左チャネル用係数値と、の乗算値の量子化値を前記左チャネル減算利得αとして得て、前記左チャネル減算利得α、または、前記正規化された内積値rLの量子化値、または、前記正規化された内積値rLと前記左チャネル用係数値とを乗算した値の量子化値、に対応する符号を前記左チャネル減算利得符号Cαとして得て、
前記右チャネル減算利得推定部は、
0より大きく1未満の値であり、bR=bMであるときには0.5であり、bRがbMよりも多いほど0.5よりも0に近く、bRがbMよりも少ないほど0.5よりも1に近い値である右チャネル補正係数cRと、前記ダウンミックス信号の前記右チャネル入力音信号に対する正規化された内積値rRと、予め定めた0より大きく1より小さい値である右チャネル用係数値と、の乗算値の量子化値を前記右チャネル減算利得βとして得て、前記右チャネル減算利得β、または、前記正規化された内積値rRの量子化値、または、前記正規化された内積値rRと前記右チャネル用係数値とを乗算した値の量子化値、に対応する符号を前記右チャネル減算利得符号Cβとして得る、
ことを特徴とする音信号符号化装置。 - 入力された音信号をフレームごとに符号化する音信号符号化装置であって、
入力された左チャネル入力音信号と入力された右チャネル入力音信号を混合した信号であるダウンミックス信号を得るダウンミックス部と、
前記左チャネル入力音信号と前記ダウンミックス信号から、左チャネル減算利得αと、前記左チャネル減算利得αを表す符号である左チャネル減算利得符号Cαと、を得る左チャネル減算利得推定部と、
対応するサンプルtごとに、前記ダウンミックス信号のサンプル値xM(t)と前記左チャネル減算利得αとを乗算した値を前記左チャネル入力音信号のサンプル値xL(t)から減算した値xL(t)-α×xM(t)による系列を左チャネル差分信号として得る左チャネル信号減算部と、
前記右チャネル入力音信号と前記ダウンミックス信号から、右チャネル減算利得βと、前記右チャネル減算利得βを表す符号である右チャネル減算利得符号Cβと、を得る右チャネル減算利得推定部と、
対応するサンプルtごとに、前記ダウンミックス信号のサンプル値xM(t)と前記右チャネル減算利得βとを乗算した値を前記右チャネル入力音信号のサンプル値xR(t)から減算した値xR(t)-β×xM(t)による系列を右チャネル差分信号として得る右チャネル信号減算部と、
前記ダウンミックス信号を符号化してモノラル符号CMを得るモノラル符号化部と、
前記左チャネル差分信号と前記右チャネル差分信号を符号化してステレオ符号CSを得るステレオ符号化部と、
を含み、
前記モノラル符号化部で前記ダウンミックス信号の符号化に用いられるビット数をbM、前記ステレオ符号化部で前記左チャネル差分信号の符号化に用いられるビット数をbL、前記ステレオ符号化部で前記右チャネル差分信号の符号化に用いられるビット数をbR、として、
前記左チャネル減算利得推定部は、
0より大きく1未満の値であり、bL=bMであるときには0.5であり、bLがbMよりも多いほど0.5よりも0に近く、bLがbMよりも少ないほど0.5よりも1に近い値である左チャネル補正係数cLと、前記ダウンミックス信号の前記左チャネル入力音信号に対する正規化された内積値rLと、フレームごとに定まる0以上1以下の値である左チャネル用係数値と、の乗算値の量子化値を前記左チャネル減算利得αとして得て、前記左チャネル減算利得α、または、前記正規化された内積値rLの量子化値、または、前記正規化された内積値rLと前記左チャネル用係数値とを乗算した値の量子化値、に対応する符号を前記左チャネル減算利得符号Cαとして得て、
前記右チャネル減算利得推定部は、
0より大きく1未満の値であり、bR=bMであるときには0.5であり、bRがbMよりも多いほど0.5よりも0に近く、bRがbMよりも少ないほど0.5よりも1に近い値である右チャネル補正係数cRと、前記ダウンミックス信号の前記右チャネル入力音信号に対する正規化された内積値rRと、フレームごとに定まる0以上1以下の値である右チャネル用係数値と、の乗算値の量子化値を前記右チャネル減算利得βとして得て、前記右チャネル減算利得β、または、前記正規化された内積値rRの量子化値、または、前記正規化された内積値rRと前記右チャネル用係数値とを乗算した値の量子化値、に対応する符号を前記右チャネル減算利得符号Cβとして得る、
ことを特徴とする音信号符号化装置。 - 請求項14に記載の音信号符号化装置であって、
前記左チャネル入力音信号と前記右チャネル入力音信号の相関係数である左右相関係数を得る左右相関推定部を更に含み、
前記左チャネル減算利得推定部は、前記左右相関係数を前記左チャネル用係数値として用い、
前記右チャネル減算利得推定部は、前記左右相関係数を前記右チャネル用係数値として用いる、
ことを特徴とする音信号符号化装置。 - 請求項12から14の何れかに記載の音信号符号化装置であって、
左チャネルと右チャネルのどちらのチャネルが先行しているかを表す情報である先行チャネル情報と、前記左チャネル入力音信号と前記右チャネル入力音信号の相関係数である左右相関係数と、を得る左右関係情報推定部
を更に含み、
前記ダウンミックス部は、
前記先行チャネル情報と前記左右相関係数とに基づき、前記左チャネル入力音信号と前記右チャネル入力音信号のうちの先行しているチャネルの入力音信号のほうが、前記左右相関係数が大きいほど大きく含まれるように、前記左チャネル入力音信号と前記右チャネル入力音信号を重み付け平均して前記ダウンミックス信号を得る
ことを特徴とする音信号符号化装置。 - 請求項12から14の何れかに記載の音信号符号化装置であって、
εL、εR、εMはそれぞれ0より大きく1未満の値であり、
前記左チャネル減算利得推定部は、
前記左チャネル入力音信号と前記ダウンミックス信号と前フレームの内積値EL(-1)とを用いて
により得られる内積値EL(0)と、
前記ダウンミックス信号と前フレームのダウンミックス信号のエネルギーEM(-1)とを用いて
により得られる前記ダウンミックス信号のエネルギーEM(0)と、を用いて
により得られるrLを、前記ダウンミックス信号の前記左チャネル入力音信号に対する正規化された前記内積値として用い、
前記右チャネル減算利得推定部は、
前記右チャネル入力音信号と前記ダウンミックス信号と前フレームの内積値ER(-1)とを用いて
により得られる内積値EL(0)と、
前記ダウンミックス信号と前フレームのダウンミックス信号のエネルギーEM(-1)とを用いて
により得られる前記ダウンミックス信号のエネルギーEM(0)と、を用いて
により得られるrRを、前記ダウンミックス信号の前記右チャネル入力音信号に対する正規化された前記内積値として用いる、
ことを特徴とする音信号符号化装置。 - 請求項12から14の何れかに記載の音信号符号化装置であって、
前記左チャネル入力音信号と前記右チャネル入力音信号から、左右時間差τと、前記左右時間差τを表す符号である左右時間差符号Cτと、を得る左右時間差推定部と、
前記左右時間差τが左チャネルが先行していることを表す場合には、前記ダウンミックス信号をそのまま前記左チャネル減算利得推定部と前記左チャネル信号減算部で用いることを決定し、前記ダウンミックス信号を前記左右時間差τが表す大きさの分だけ遅らせた信号である遅延ダウンミックス信号を前記右チャネル減算利得推定部と前記右チャネル信号減算部で用いることを決定し、
前記左右時間差τが右チャネルが先行していることを表す場合には、前記ダウンミックス信号をそのまま前記右チャネル減算利得推定部と前記右チャネル信号減算部で用いることを決定し、前記ダウンミックス信号を前記左右時間差τが表す大きさの分だけ遅らせた信号である遅延ダウンミックス信号を前記左チャネル減算利得推定部と前記左チャネル信号減算部で用いることを決定し、
前記左右時間差τが何れのチャネルも先行していないことを表す場合には、前記ダウンミックス信号をそのまま前記左チャネル減算利得推定部と前記左チャネル信号減算部と前記右チャネル減算利得推定部と前記右チャネル信号減算部で用いることを決定する時間シフト部と、
を更に含み、
前記左チャネル減算利得推定部と前記左チャネル信号減算部と前記右チャネル減算利得推定部と前記右チャネル信号減算部は、
前記ダウンミックス部で得た前記ダウンミックス信号に代えて、前記時間シフト部で決定された前記ダウンミックス信号または前記遅延ダウンミックス信号を用いる、
ことを特徴とする音信号符号化装置。 - 入力された符号をフレームごとに復号して音信号を得る音信号復号装置であって、
入力されたモノラル符号CMを復号してモノラル復号音信号を得るモノラル復号部と、
入力されたステレオ符号CSを復号して左チャネル復号差分信号と右チャネル復号差分信号を得るステレオ復号部と、
入力された左チャネル減算利得符号Cαを復号して左チャネル減算利得αを得る左チャネル減算利得復号部と、
対応するサンプルtごとに、前記左チャネル復号差分信号のサンプル値^yL(t)と、前記モノラル復号音信号のサンプル値^xM(t)と前記左チャネル減算利得αとを乗算した値と、を加算した値^yL(t)+α×^xM(t)による系列を左チャネル復号音信号として得る左チャネル信号加算部と、
入力された右チャネル減算利得符号Cβを復号して右チャネル減算利得βを得る右チャネル減算利得復号部と、
対応するサンプルtごとに、前記右チャネル復号差分信号のサンプル値^yR(t)と、前記モノラル復号音信号のサンプル値^xM(t)と前記右チャネル減算利得βとを乗算した値と、を加算した値^yR(t)+β×^xM(t)による系列を右チャネル復号音信号として得る右チャネル信号加算部と、
を含み、
前記モノラル復号部で前記モノラル復号音信号の復号に用いられるビット数をbM、前記ステレオ復号部で前記左チャネル復号差分信号の復号に用いられるビット数をbL、前記ステレオ復号部で前記右チャネル復号差分信号の復号に用いられるビット数をbR、として、
前記左チャネル減算利得復号部は、
前記左チャネル減算利得符号Cαを復号して復号値^rLを得て、
0より大きく1未満の値であり、bL=bMである場合に0.5であり、bLがbMよりも多いほど0.5よりも0に近く、bLがbMよりも少ないほど0.5よりも1に近い値である左チャネル補正係数cLと、前記左チャネル減算利得符号Cαを復号して得た前記復号値^rLと、の乗算値を前記左チャネル減算利得αとして得て、
前記右チャネル減算利得復号部は、
前記右チャネル減算利得符号Cβを復号して復号値^rRを得て、
0より大きく1未満の値であり、bR=bMである場合に0.5であり、bRがbMよりも多いほど0.5よりも0に近く、bRがbMよりも少ないほど0.5よりも1に近い値である右チャネル補正係数cRと、前記右チャネル減算利得符号Cβを復号して得た前記復号値^rRと、の乗算値を前記右チャネル減算利得βとして得る
ことを特徴とする音信号復号装置。 - 請求項20または21に記載の音信号復号装置であって、
入力された左右時間差符号Cτから左右時間差τを得る左右時間差復号部と、
前記左右時間差τが左チャネルが先行していることを表す場合には、前記モノラル復号音信号をそのまま前記左チャネル信号加算部で用いることを決定し、前記モノラル復号音信号を前記左右時間差τが表す大きさの分だけ遅らせた信号である遅延モノラル復号音信号を前記右チャネル信号加算部で用いることを決定し、
前記左右時間差τが右チャネルが先行していることを表す場合には、前記モノラル復号音信号をそのまま前記右チャネル信号加算部で用いることを決定し、前記モノラル復号音信号を前記左右時間差τが表す大きさの分だけ遅らせた信号である遅延モノラル復号音信号を前記左チャネル信号加算部で用いることを決定し、
前記左右時間差τが何れのチャネルも先行していないことを表す場合には、前記モノラル復号音信号をそのまま前記左チャネル信号加算部と前記右チャネル信号加算部で用いることを決定する時間シフト部と、
を更に含み、
前記左チャネル信号加算部と前記右チャネル信号加算部は、
前記モノラル復号部で得た前記モノラル復号音信号に代えて、前記時間シフト部で決定された前記モノラル復号音信号または前記遅延モノラル復号音信号を用いる、
ことを特徴とする音信号復号装置。 - 請求項1から3の何れかに記載の符号化方法の各ステップをコンピュータに実行させるためのプログラム。
- 請求項9に記載の復号方法の各ステップをコンピュータに実行させるためのプログラム。
- 請求項1から3の何れかに記載の符号化方法の各ステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
- 請求項9に記載の復号方法の各ステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/010080 WO2021181472A1 (ja) | 2020-03-09 | 2020-03-09 | 音信号符号化方法、音信号復号方法、音信号符号化装置、音信号復号装置、プログラム及び記録媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2021181472A1 JPWO2021181472A1 (ja) | 2021-09-16 |
JPWO2021181472A5 JPWO2021181472A5 (ja) | 2022-11-15 |
JP7380837B2 true JP7380837B2 (ja) | 2023-11-15 |
Family
ID=77670503
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022507008A Active JP7380837B2 (ja) | 2020-03-09 | 2020-03-09 | 音信号符号化方法、音信号復号方法、音信号符号化装置、音信号復号装置、プログラム及び記録媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230109677A1 (ja) |
EP (1) | EP4120249A4 (ja) |
JP (1) | JP7380837B2 (ja) |
CN (1) | CN115244619A (ja) |
WO (1) | WO2021181472A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010525403A (ja) | 2007-04-26 | 2010-07-22 | ドルビー インターナショナル アクチボラゲット | 出力信号の合成装置及び合成方法 |
WO2010097748A1 (en) | 2009-02-27 | 2010-09-02 | Koninklijke Philips Electronics N.V. | Parametric stereo encoding and decoding |
WO2010140350A1 (ja) | 2009-06-02 | 2010-12-09 | パナソニック株式会社 | ダウンミックス装置、符号化装置、及びこれらの方法 |
JP2011522472A (ja) | 2008-05-23 | 2011-07-28 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | パラメトリックステレオアップミクス装置、パラメトリックステレオデコーダ、パラメトリックステレオダウンミクス装置、及びパラメトリックステレオエンコーダ |
JP2018533056A (ja) | 2015-09-25 | 2018-11-08 | ヴォイスエイジ・コーポレーション | ステレオ音声信号をプライマリチャンネルおよびセカンダリチャンネルに時間領域ダウンミックスするために左チャンネルと右チャンネルとの間の長期相関差を使用する方法およびシステム |
JP2019536112A (ja) | 2016-11-08 | 2019-12-12 | フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー.ファオ. | サイドゲインおよび残余ゲインを使用してマルチチャネル信号を符号化または復号するための装置および方法 |
-
2020
- 2020-03-09 JP JP2022507008A patent/JP7380837B2/ja active Active
- 2020-03-09 CN CN202080098217.4A patent/CN115244619A/zh active Pending
- 2020-03-09 EP EP20924198.3A patent/EP4120249A4/en active Pending
- 2020-03-09 WO PCT/JP2020/010080 patent/WO2021181472A1/ja unknown
- 2020-03-09 US US17/909,654 patent/US20230109677A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010525403A (ja) | 2007-04-26 | 2010-07-22 | ドルビー インターナショナル アクチボラゲット | 出力信号の合成装置及び合成方法 |
JP2011522472A (ja) | 2008-05-23 | 2011-07-28 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | パラメトリックステレオアップミクス装置、パラメトリックステレオデコーダ、パラメトリックステレオダウンミクス装置、及びパラメトリックステレオエンコーダ |
WO2010097748A1 (en) | 2009-02-27 | 2010-09-02 | Koninklijke Philips Electronics N.V. | Parametric stereo encoding and decoding |
WO2010140350A1 (ja) | 2009-06-02 | 2010-12-09 | パナソニック株式会社 | ダウンミックス装置、符号化装置、及びこれらの方法 |
JP2018533056A (ja) | 2015-09-25 | 2018-11-08 | ヴォイスエイジ・コーポレーション | ステレオ音声信号をプライマリチャンネルおよびセカンダリチャンネルに時間領域ダウンミックスするために左チャンネルと右チャンネルとの間の長期相関差を使用する方法およびシステム |
JP2019536112A (ja) | 2016-11-08 | 2019-12-12 | フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー.ファオ. | サイドゲインおよび残余ゲインを使用してマルチチャネル信号を符号化または復号するための装置および方法 |
Also Published As
Publication number | Publication date |
---|---|
EP4120249A1 (en) | 2023-01-18 |
WO2021181472A1 (ja) | 2021-09-16 |
EP4120249A4 (en) | 2023-11-15 |
CN115244619A (zh) | 2022-10-25 |
US20230109677A1 (en) | 2023-04-13 |
JPWO2021181472A1 (ja) | 2021-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2024023484A (ja) | 音信号ダウンミックス方法、音信号ダウンミックス装置及びプログラム | |
JP2018533057A (ja) | セカンダリチャンネルを符号化するためにプライマリチャンネルのコーディングパラメータを使用するステレオ音声信号を符号化するための方法およびシステム | |
JPWO2015186535A1 (ja) | オーディオ信号処理装置および方法、符号化装置および方法、並びにプログラム | |
WO2021181746A1 (ja) | 音信号ダウンミックス方法、音信号符号化方法、音信号ダウンミックス装置、音信号符号化装置、プログラム及び記録媒体 | |
US20130066639A1 (en) | Signal processing method, encoding apparatus thereof, and decoding apparatus thereof | |
JP7380837B2 (ja) | 音信号符号化方法、音信号復号方法、音信号符号化装置、音信号復号装置、プログラム及び記録媒体 | |
JP7380838B2 (ja) | 音信号符号化方法、音信号復号方法、音信号符号化装置、音信号復号装置、プログラム及び記録媒体 | |
WO2023032065A1 (ja) | 音信号ダウンミックス方法、音信号符号化方法、音信号ダウンミックス装置、音信号符号化装置、プログラム | |
WO2024142357A1 (ja) | 音信号処理装置、音信号処理方法、プログラム | |
WO2024142359A1 (ja) | 音信号処理装置、音信号処理方法、プログラム | |
WO2024142360A1 (ja) | 音信号処理装置、音信号処理方法、プログラム | |
WO2024142358A1 (ja) | 音信号処理装置、音信号処理方法、プログラム | |
US20230402044A1 (en) | Sound signal refining method, sound signal decoding method, apparatus thereof, program, and storage medium | |
JP7517460B2 (ja) | 音信号高域補償方法、音信号後処理方法、音信号復号方法、これらの装置、プログラム、および記録媒体 | |
JP7517458B2 (ja) | 音信号高域補償方法、音信号後処理方法、音信号復号方法、これらの装置、プログラム、および記録媒体 | |
JP7517459B2 (ja) | 音信号高域補償方法、音信号後処理方法、音信号復号方法、これらの装置、プログラム、および記録媒体 | |
US20230386482A1 (en) | Sound signal refinement method, sound signal decode method, apparatus thereof, program, and storage medium | |
US20230402051A1 (en) | Sound signal high frequency compensation method, sound signal post processing method, sound signal decode method, apparatus thereof, program, and storage medium | |
JP7517461B2 (ja) | 音信号高域補償方法、音信号後処理方法、音信号復号方法、これらの装置、プログラム、および記録媒体 | |
US20230395080A1 (en) | Sound signal refining method, sound signal decoding method, apparatus thereof, program, and storage medium | |
US20230395092A1 (en) | Sound signal high frequency compensation method, sound signal post processing method, sound signal decode method, apparatus thereof, program, and storage medium | |
US20230410832A1 (en) | Sound signal high frequency compensation method, sound signal post processing method, sound signal decode method, apparatus thereof, program, and storage medium | |
US20230386480A1 (en) | Sound signal refinement method, sound signal decode method, apparatus thereof, program, and storage medium | |
US20230377585A1 (en) | Sound signal refinement method, sound signal decode method, apparatus thereof, program, and storage medium | |
US20240119947A1 (en) | Sound signal refinement method, sound signal decode method, apparatus thereof, program, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220831 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231016 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7380837 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |