JP3951690B2 - Encoding apparatus and method, and recording medium - Google Patents

Encoding apparatus and method, and recording medium Download PDF

Info

Publication number
JP3951690B2
JP3951690B2 JP2001370663A JP2001370663A JP3951690B2 JP 3951690 B2 JP3951690 B2 JP 3951690B2 JP 2001370663 A JP2001370663 A JP 2001370663A JP 2001370663 A JP2001370663 A JP 2001370663A JP 3951690 B2 JP3951690 B2 JP 3951690B2
Authority
JP
Japan
Prior art keywords
encoding
signal
mixing
encoding method
input signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001370663A
Other languages
Japanese (ja)
Other versions
JP2002244698A (en
Inventor
志朗 鈴木
実 辻
恵祐 東山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001370663A priority Critical patent/JP3951690B2/en
Publication of JP2002244698A publication Critical patent/JP2002244698A/en
Application granted granted Critical
Publication of JP3951690B2 publication Critical patent/JP3951690B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Stereophonic System (AREA)

Abstract

PROBLEM TO BE SOLVED: To perform encoding with higher efficiency while deterring a listener from feeling physical disorder. SOLUTION: An adaptive mixing part 102 performs a mixing process for inputted signals Ln(t) and Rn(t) according to distortion rate information En(f) reported from a distortion rate detection part 106 and limits the operation times of MS stereo encoding and IS stereo encoding. Further, the adaptive mixing part 102 generates power correction information Pn,adj(t) corresponding to a mixing coefficient to make power corrections when reproduction is performed. An encoding control part 104 selects an encoding system for an encoding process that an encoding part 105 performs and indicates it to the encoding part 105. The encoding part 105 selects dual encoding, MS stereo encoding, or IS stereo encoding according to the indication from the encoding control part 104 and encodes a spectrum signal supplied from an area conversion part 103.

Description

【0001】
【発明の属する技術分野】
本発明は、符号化装置および方法並びに記録媒体に関し、特に、より高効率で、オーディオ信号を符号化できるようにした符号化装置および方法並びに記録媒体に関する。
【0002】
【従来の技術】
近年、いわゆる「知覚オーディオ符号化器(復号器)」が開発され、従来のCD-ROM(Compact Disk-Read Only Memory)において、一般に使用されているビットレートの約12分の1以下のビットレートで、高音質なオーディオ信号の伝送、および蓄積が可能となっている。
【0003】
このような符号化器は、オーディオ信号に含まれる、人間の聴覚系の制限により聞き取ることができない波形部分を利用して符号化しており、ステレオオーディオ信号に対しては、例えば、MSステレオ符号化(中間部/側部ステレオ符号化)を利用した符号化器、およびISステレオ符号化(インテンシティステレオ符号化)を利用した符号化器が知られている。
【0004】
図1は、MSステレオ符号化を利用した従来のオーディオ信号伝送システムの構成例を示すブロック図である。
【0005】
ステレオオーディオ信号を構成する左信号Lと右信号Rは演算部1に入力され、加算器1−1において加算され、乗算器1−2に出力される。一方、それらの信号の差信号が減算器1−3において生成され、乗算器1−4に出力される。乗算器1−2および1−4において、加算器1−1および減算器1−3の出力に係数xが乗算されて和信号Mおよび差信号Sが生成され、符号化部2で符号化されて、記録メディアやネットワークなどよりなる伝送路3に出力される。
【0006】
復号部4は、入力された符号列を復号処理し、和信号M'および差信号S'を生成する。和信号M'および差信号S'は、加算器5−1で加算され、乗算器5−2で係数yが乗算されて、左信号L'として出力される。また、和信号M'および差信号S'は、減算器5−3で減算され、乗算器5−4で係数yが乗算されて、右信号R'として出力される。例えば、係数xは0.5とされ、係数yは1.0とされる。
【0007】
人間の聴覚に影響を与えるのは、差信号よりも和信号であり、このように、和信号Mと差信号Sを生成し、和信号Mに、より多くのデータ(ビット数)を割り当てることにより、それぞれを単独で符号化(デュアル符号化)するよりも、より高効率で符号化することができる。なお、MSステレオ符号化は、低い周波数帯域の信号に対して有効である。
【0008】
図2は、ISステレオ符号化を利用した従来のオーディオ信号伝送システムの構成例を示すブロック図である。
【0009】
演算部11に入力された右信号L、左信号Rは、加算器11−1で加算され、それらの信号の相関関係によって求められるインテンシティ信号Iが生成される。また、左信号L、および右信号Rのそれぞれのパワーを示すパワー左信号Pl、パワー右信号Pr(エネルギーの内容を記述するスケーリング信号)が演算部11で生成される。インテンシティ信号I、パワー左信号Pl、およびパワー右信号Prは、符号化部12に入力され、符号化された後、伝送路13に出力される。
【0010】
復号部14は、入力されてきた信号を復号し、得られたインテンシティ信号I'、パワー左信号Pl'、およびパワー右信号Pr'を演算部15に出力する。演算部15においては、乗算器15−1がインテンシティ信号I'とパワー左信号P'lに基づいて、また、乗算器15−2がインテンシティ信号I'とパワー右信号P'rに基づいて、それぞれ左信号L'、および右信号R'を再生し、外部に出力する。
【0011】
ISステレオ符号化を利用して符号化することにより、人間の聴覚の時間差による位置検出能力は高域の信号ほど低いという特性を利用することができ、例えば、高い周波数帯域において、左右の信号をそれぞれ単独で符号化する場合に較べて、約半分のデータレートで符号化することができる。
【0012】
ところで、MSステレオ符号化およびISステレオ符号化は、全ての入力信号に対して、同等の効果が得られるわけではない。例えば、MSステレオ符号化は、差信号Sが和信号Mに比べてエネルギーが小さくなる場合にのみ有効な手段であり、そうでない場合には、和信号M'および差信号S'から、左信号L'、右信号R'を再生する際に、符号化または復号(量子化/逆量子化)によって発生する量子化雑音が相互干渉を引起し、聴感上、明らかに聞こえる雑音を生じることがある。
【0013】
また、IS符号化において、ステレオ信号の高周波成分を合成し、それを時間領域から周波数領域に変換して得られるスペクトルSPmと、本来のパワースペクトルPl,Prの包絡形状に高い相関がない場合、例えば、左信号Lがトランペットの信号であり、右信号Rがシンバルの信号であるような場合には、それぞれの音源(楽器)の位置関係を保存することができなくなり、聴感上、明らかに聞こえる雑音を生じることがある。
【0014】
そこで、図3、図4、および図5に示すように、左右の信号をそれぞれ独立に符号化するデュアル符号化と、MSまたはISステレオ符号化を組み合わせ、入力信号に応じて、適宜、符号化方式を選択する符号化装置が考えられている。
【0015】
図3は、時間領域において、入力信号を符号化する従来の符号化装置の構成例を示すブロック図である。
【0016】
フィルタバンク31−1は、入力された左信号L(t)を、所定の周波数帯域の信号Ln(t),Ln-1(t),…,L1(t)(nは分割帯域数)に分割し、それぞれの信号を、対応するデュアル符号化部32およびMS/IS符号化部33に出力する。なお、図3においては、信号Ln(t)を処理するデュアル符号化部32およびMS/IS符号化部33のみが示されているが、信号Ln-1(t),Ln-2(t),…,L1(t)に対応する各符号化部がLn(t)を処理する符号化部と同様に設けられている。
【0017】
また、フィルタバンク31−2も、フィルタバンク31−1と同様に、右信号R(t)を所定の周波数帯域の信号Rn(t),Rn-1(t),…,R1(t)に分割し、それぞれの信号をデュアル符号化部32およびMS/IS符号化部33に出力する。なお、以下において、フィルタバンク31−1とフィルタバンク31−2のそれぞれを、個々に区別する必要がない場合、まとめてフィルタバンク31と称する。他の装置についても同様とする。
【0018】
デュアル符号化部32は、入力された信号をデュアル符号化方式により符号化(左信号Ln(t)と右信号Rn(t)をそれぞれ独立に符号化)し、得られたデータをスイッチ35に出力する。また、デュアル符号化部32は、符号化したデータのデータ量に関する情報である必要ビット数情報Bn(t)1、および符号化する際の正弦波との歪み率に関する情報である歪み率情報En(t)1を生成し、符号化制御部34に供給する。
【0019】
MS/IS符号化部33は、入力された信号をMSステレオ符号化方式、またはISステレオ符号化方式により符号化し、得られたデータをスイッチ35に出力する。また、MS/IS符号化部33は、必要ビット数情報Bn(t)2、および歪み率情報En(t)2を生成し、符号化制御部34に供給する。
【0020】
符号化制御部34は、デュアル符号化部32、およびMS/IS符号化部33から供給された情報に基づいて、歪み率の小さい符号化方式、または、必要ビット数が少ない符号化方式により符号化された符号列を選択するように、スイッチ35の接点を切り替える。スイッチ35により選択された符号列は、マルチプレクサ36に入力される。
【0021】
マルチプレクサ36は、フィルタバンク31により分割された各帯域毎の符号列Cn,Cn-1,…,C1を合成し、合成符号列Cを、図示せぬ伝送路などの符号化装置21の外部の装置に出力する。
【0022】
図4は、周波数領域において、入力信号を符号化する従来の符号化装置の構成例を示すブロック図である。
【0023】
領域変換部51−1は、入力された左信号L(t)を周波数領域にスペクトル変換し、生成したスペクトル信号Ln(f)を、デュアル符号化部52およびMS/IS符号化部53に出力する。また、領域変換部51−2も、領域変換部51−1と同様に、右信号R(t)をスペクトル変換し、得られたスペクトル信号Rn(f)を、デュアル符号化部52およびMS/IS符号化部53に出力する。
【0024】
デュアル符号化部52は、入力された信号をデュアル符号化方式により符号化し、得られた符号列をスイッチ55に出力する。また、デュアル符号化部52は、符号化したデータのデータ量に関する情報である必要ビット数情報Bn(f)1、および符号化する際の正弦波との歪み率に関する情報である歪み率情報En(f)1を生成し、符号化制御部54に供給する。
【0025】
MS/IS符号化部53は、入力された信号をMSステレオ符号化方式、またはISステレオ符号化方式により符号化し、得られたデータをスイッチ55に出力する。また、MS/IS符号化部53は、必要ビット数情報Bn(f)2、および歪み率情報En(f)2を生成し、符号化制御部54に供給する。
【0026】
符号化制御部54は、デュアル符号化部52、およびMS/IS符号化部53から供給された情報に基づいて、歪み率がより小さい符号化方式、または必要ビット数がより少ない符号化方式により符号化された符号列を選択するように、スイッチ55を制御する。
【0027】
図5は、図3の符号化装置21、および図4の符号化装置31を組み合わせて構成した、従来の符号化装置の構成例を示すブロック図である。
【0028】
すなわち、この例においては、それぞれの入力信号L(t),R(t)が、フィルタバンク71−2,71−2により所定数の帯域に分割され、分割されたそれぞれの信号が領域変換部72−1,72−2によりスペクトル変換される。変換されたスペクトル信号は、デュアル符号化部73およびMS/IS符号化部74により符号化される。符号化制御部75とスイッチ76においては、デュアル符号化部73およびMS/IS符号化部74において符号化された符号列のうち、より効率のいい(歪み率がより小さい、またはデータ量がより少ない)符号化方式による符号列が選択され、マルチプレクサ77に出力される。そして、マルチプレクサ77により、入力された全帯域のデータが合成されたのち、符号化装置61の外部に出力される。
【0029】
次に、図6のフローチャートを参照して、図3の符号化装置21の符号化制御部34の処理について説明する。なお、説明は省略するが、図4の符号化制御部54、および図5の符号化制御部75の処理も同様の処理である。また、この例においては、符号化制御部34は、歪み率に基づいて符号化方式を選択するものとする。
【0030】
ステップS1において、符号化制御部34は、デュアル符号化部32から通知されてきた歪み率情報En(t)1、およびMS/IS符号化部33から通知されてきた歪み率情報En(t)2を比較する。そして、符号化制御部34は、ステップS2において、デュアル符号化部32から通知されてきた歪み率がMS/IS符号化部33から通知されてきた歪み率より小さいか否かを判定し、小さいと判定した場合、ステップS3で、スイッチ35を制御し、デュアル符号化部32により符号化されたデータをマルチプレクサ36に出力させる。
【0031】
一方、符号化制御部34は、ステップS2において、デュアル符号化部32から通知されてきた歪み率がMS/IS符号化部33から通知されてきた歪み率より大きいと判定した場合、ステップS4に進み、スイッチ35を制御し、MS/IS符号化部33により符号化されたデータをマルチプレクサ36に出力させる。
【0032】
同様の処理が、他の帯域においても行われる。これにより、より高効率な符号化方式により帯域毎に符号化された符号列Cが生成され、符号化装置21の外部に出力される。
【0033】
上述したように、それぞれの符号化方式の符号化効率を比較し、その結果に応じて、最適な方式を選択することにより、1つの符号化方式で符号化する場合に較べて、より高効率な符号化データを取得することができる。
【0034】
図7(A)乃至(D)は、図3乃至図5の符号化装置におけるMSステレオ符号化の動作時間確率PMS、またはISステレオ符号化の動作時間確率PISと、符号化(量子化)された信号の信号対雑音比SNR(signal power to noise power ratio)と、左右信号のセパレーションの関係の例を示す図である。
【0035】
図7(A)に示すように、横軸に示される確率PMSまたはPISと、縦軸に示されるSNRは比例しており、確率PMSまたはPISが100%(モノラル)に近づくにつれ、SNRは向上する。
【0036】
図7(B)は、確率PMSまたはPISの時間的変化を示す図であり、図7(C)は、SNRの時間的変化を示す図である。これらの図に示すように、それぞれの波形は、同位相の波形となり、入力信号に応じて確率PMSまたはPISを上げることにより、符号化効率は向上するため、SNRも向上し、音質が向上する。そのため、符号化効率の観点からは、確率PMSまたはPISが高いことが好ましい。
【0037】
しかしながら、確率PMSが高いということは、左右の信号に高い相関があるということを示しており、確率PISが高いということは、パワーレベルこそ違えども、符号化されるインテンシティ信号およびスペクトルは1チャネル分であることを示している。すなわち、確率PMSまたはPISが高いということは、ステレオ信号がモノラル化することを示しており、図7(D)に示すように、左右信号のセパレーションは、確率PMS/PISの増加に伴って悪化する。
【0038】
また、確率PMSまたはPISと、SNRは連動しているため、確率PMSまたはPISの値が高いと、入力信号の性質または時間変化によって、SNRが聴覚心理モデルにおける知覚限界雑音レベル(それ以上SNRが下がると、ノイズとして感知出来るレベル)以下にまで達してしまうおそれがある。従って、総合的には、確率PMSまたはPISの値が高いことは必ずしも好ましいことではない。
【0039】
【発明が解決しようとする課題】
ところで、図3乃至図5に示すような符号化装置においては、MSステレオ符号化、またはISステレオ符号化により符号化した場合の効率と、デュアル符号化により符号化した場合の効率とで、どちらが優れているかという判断は、2つの符号化処理を実際に実行しないとわからないため、それぞれの符号化部の処理量が増大するという課題があった。
【0040】
また、MSステレオ符号化またはISステレオ符号化がON状態のとき、符号化効率を高く(量子化雑音を低く)することができるが、OFF状態のときは、そのような効果は得られない。したがって、MSステレオ符号化またはISステレオ符号化がON状態のときとOFF状態のときとでは、時間的な音質変動が大きく、聴者に、聴感上、大きな違和感を感じさせてしまうことがあるという課題もある。
【0041】
本発明はこのような状況に鑑みてなされたものであり、聴者に違和感を感じさせることを抑制しつつ、より高効率で、オーディオ信号を符号化または復号できるようにしたものである。
【0042】
【課題を解決するための手段】
本発明の符号化装置は、入力信号に基づいて符号化方式を選択する符号化方式選択手段と、符号化方式選択手段により選択された符号化方式に基づいて、入力信号を符号化する符号化手段と、符号化手段による符号化の歪み率を検出する歪み率検出手段と、歪み率検出手段により検出された歪み率に対応して決定されるミキシング割合に基づいて、入力信号の左右成分をミキシングするミキシング手段とを備え、符号化方式選択手段は、ミキシング手段によりミキシングされた入力信号に基づいて、符号化方式を選択することを特徴とする。
【0043】
符号化手段により符号化された入力信号を復号するときの出力補正情報を生成する出力補正情報生成手段をさらに備えるようにすることができる。
【0044】
符号化方式選択手段は、符号化装置の構成により決定される閾値に基づいて、入力信号の符号化方式を選択するようにすることができる。
【0045】
符号化方式選択手段は、デュアル符号化方式、MSステレオ符号化方式、ISステレオ符号化方式のいずれかから符号化方式を選択するようにすることができる。
【0046】
符号化方式選択手段は入力信号をミキシングして得られる信号の左右成分の相関が低いとき、デュアル符号化方式により符号化することを選択するようにすることができる。
【0047】
符号化方式選択手段は、入力信号をミキシングして得られる信号の左右成分の相関を、左右成分の差信号の総和に対する和信号の総和の比を用いて判定するようにすることができる。
【0048】
符号化方式選択手段は、入力信号をミキシングして得られる信号の左右成分の相関が高いとき、MSステレオ符号化方式、ISステレオ符号化方式のどちらを選択するかを、入力信号の左右成分の差信号の絶対値の最大値に基づいて決定するようにすることができる。
【0049】
ミキシング手段は、ミキシング割合を記憶し、直前に決定されたミキシング割合と、現在決定されているミキシング割合の補間関数に基づいてミキシング割合を変化させるようにすることができる。
【0050】
入力信号を記憶する入力信号記憶手段をさらに備え、ミキシング手段は、入力信号を符号化した際の歪み率に基づいて、同じ入力信号の左右成分を再度ミキシングするようにすることができる。
【0051】
本発明の符号化装置の符号化方法は、入力信号に基づいて符号化方式を選択する符号化方式選択ステップと、符号化方式選択ステップの処理により選択された符号化方式に基づいて、入力信号を符号化する符号化ステップと、符号化ステップの処理による符号化の歪み率を検出する歪み率検出ステップと、歪み率検出ステップの処理により検出された歪み率に対応して決定されるミキシング割合に基づいて、入力信号の左右成分をミキシングするミキシングステップとを含み、符号化方式選択ステップの処理は、ミキシングステップの処理によりミキシングされた入力信号に基づいて、符号化方式を選択することを特徴とする。
【0052】
本発明の記録媒体のプログラムは、入力信号に基づいて符号化方式を選択する符号化方式選択ステップと、符号化方式選択ステップの処理により選択された符号化方式に基づいて、入力信号を符号化する符号化ステップと、符号化ステップの処理による符号化の歪み率を検出する歪み率検出ステップと、歪み率検出ステップの処理により検出された歪み率に対応して決定されるミキシング割合に基づいて、入力信号の左右成分をミキシングするミキシングステップとを含み、符号化方式選択ステップの処理は、ミキシングステップの処理によりミキシングされた入力信号に基づいて、符号化方式を選択することを特徴とする。
【0056】
本発明の符号化装置および方法、並びに記録媒体のプログラムにおいては、入力信号に基づいて符号化方式が選択され、選択された符号化方式に基づいて、入力信号が符号化され、検出された歪み率に対応して決定されるミキシング割合に基づいて、入力信号の左右成分がミキシングされる。また、ミキシングされた入力信号に基づいて、符号化方式が選択される。
【0058】
【発明の実施の形態】
図8は、本発明を適用した符号化装置の構成例を示すブロック図である。
【0059】
フィルタバンク101−1は、入力されたオーディオ信号のうちの左信号L(t)をn個の周波数帯域の信号Ln(t),Ln-1(t),…,L1(t)に分割し、生成した信号Ln(t)を適応ミキシング部102に出力する。また、フィルタバンク101−2も、フィルタバンク101−1と同様に、入力されてきたオーディオ信号のうちの右信号R(t)をn個の周波数帯域の信号Rn(t),Rn-1(t),…,R1(t)に分割し、生成した信号Rn(t)を適応ミキシング部102に出力する。図示は省略するが、信号Ln-1(t),…,L1(t),Rn-1(t),…,R1(t)についても、同様に対応する処理部が設けられている。
【0060】
適応ミキシング部102は、歪み率検出部106から通知された歪み率情報En(f)に基づいて、信号Ln(t),Rn(t)に対して、ミキシング処理を施し、信号Ln(t)mix,Rn(t)mixを生成する(その詳細は、図9を参照して後述する)。生成された信号Ln(t)mix、およびRn(t)mixは、それぞれ領域変換部103−1,103−2に供給される。後述するように、歪み率検出部106は、符号化部105における符号化の結果に応じて歪み率情報En(f)を生成するので、動作の初期状態では、ミキシング比率は0とされる。すなわち、信号L0(t),R0(t)に対し、ミキシング処理は施されない。
【0061】
また、適応ミキシング部102は、左右の信号の出力を補正するパワー補正情報Pn,adj(t)を生成し、マルチプレクサ107に出力する。
【0062】
領域変換部103−1は、供給された信号Ln(t)mixに対して、例えば、MDCT(Modified Discrete Cosine Transform)などの領域変換を施し、生成したスペクトル信号Ln(f)を、符号化制御部104および符号化部105に出力する。同様に、領域変換部103−2は、供給されてきた信号Rn(t)mixを領域変換し、生成したスペクトル信号Rn(f)を、符号化制御部104および符号化部105に出力する。
【0063】
符号化制御部104は、領域変換部103から供給されたスペクトル信号Ln(f),Rn(f)に基づいて、符号化部105において実行される符号化処理の符号化方式を選択し、符号化部105を制御する。
【0064】
符号化部105は、符号化制御部104からの制御に基づいて、デュアル符号化、MSステレオ符号化、またはISステレオ符号化を選択し、領域変換部103から供給されたスペクトル信号Ln(f),Rn(f)を符号化し、得られたデータ列Cnをマルチプレクサ107に出力する。以上の処理は、他の周波数帯域の信号Ln-1(t),…,L1(t),Rn-1(t),…,R1(t)においても同様に行われる。
【0065】
マルチプレクサ107は、符号化部105から供給されてきた所定の帯域の符号列Cnを、他の帯域の符号列Cn-1,…,C1と合成し、合成オーディオデータCを符号化装置91の外部に設けられる図示せぬ装置や、ネットワークなどに出力する。合成オーディオデータCには、適応ミキシング部102から通知されたパワー補正情報Pn,adj(t)や、いずれの符号化方式により符号化されたかなどの情報も含まれる。
【0066】
図9は、図8の適応ミキシング部102の詳細な構成例を示すブロック図である。
【0067】
パワー算出部121は、フィルタバンク101−1,101−2により所定の帯域に分割された信号Ln(t),Rn(t)から、それぞれの信号のパワー値Pln,Prnを算出し、パワー補正部123に出力する。
【0068】
ミキシング係数設定部122は、歪み率検出部106から通知された歪み率情報En(f)に基づいて、内蔵する記憶部に記憶されている対応テーブルからミキシング係数を抽出し、乗算器124−1,124−2のミキシング係数aと、乗算器125−1,125−2のミキシング係数bを設定する。また、ミキシング係数設定部122は、抽出したミキシング係数a,bをパワー補正部123に通知する。
【0069】
乗算器124−1,124−2は、それぞれ、ミキシング係数設定部122により設定されたミキシング係数aを、入力された信号Ln(t),Rn(t)に乗算し、得られた信号を加算器126−1,126−2に出力する。乗算器125−1,125−2は、それぞれ、ミキシング係数設定部122により設定されたミキシング係数bを、入力された信号Rn(t),Ln(t)に乗算し、得られた信号を加算器126−1,126−2に出力する。
【0070】
加算器126−1は、乗算器124−1で係数aが乗算された左信号Ln(t)と、乗算器125−1で係数bが乗算された右信号Rn(t)を加算し、加算結果を信号Ln(t)mixとして、領域変換部103−1に出力する。また、加算器126−2は、乗算器124−2で係数aが乗算された右信号Rn(t)と、乗算器125−2で係数bが乗算された左信号Ln(t)を加算し、信号Rn(t)mixとして、領域変換部103−2に出力する。
【0071】
図10は、ミキシング係数設定部122の図示せぬ記憶部に記憶されている、歪み率情報En(f)とミキシング係数a,bの対応テーブルの例を示す図である。
【0072】
この例では、歪み率情報En(f)はパーセントで示されており、以下、この値をEと記載する。例えば、E=0%は、知覚雑音がゼロであることを意味する。また、E=100%は、すべてのスペクトル領域において、雑音が知覚できるレベルであることを意味する。
【0073】
この例においては、歪み率E=0%に対応して、ミキシング係数a=1.00,b=0.00が設定されている。この場合、左右の入力信号Ln(t),Rn(t)がミキシングされないため、完全に分離された状態(完全ステレオ)で符号化が行われる。また、歪み率E=100%に対応して、ミキシング係数a=0.50,b=0.50が設定されている。この場合、左右の入力信号Ln(t),Rn(t)が同比率でミキシングされ、完全に単一化された状態(完全モノラル)で符号化が行われる。
【0074】
パワー補正部123は、パワー算出部121から供給されてきた信号Ln(t),Rn(t)のパワー値Pln,Prn、およびミキシング係数設定部122から通知されたミキシング係数a,bに基づいて、後述する復号装置151(図19)においてパワー補正されるときに利用されるパワー補正情報Pn,adj(t)を生成し、マルチプレクサ107に出力する。すなわち、パワー補正部123は、図示せぬ記憶部に、パワー補正情報Pn,adj(t)、ミキシング係数a,b、およびパワー値Pln,Prnなどの関係を記述した対応テーブルを記憶している。
【0075】
図11は、パワー補正部123に記憶されている対応テーブルの例を示す図である。
【0076】
この例においては、パワー算出部121において算出されたパワー値Pln,Prn、歪み率情報En(f)、ミキシング係数a,b、復号装置151において、再生される信号Ln'(t)mix,Rn'(t)mixのパワー値Plnmix,Prnmixおよびパワー補正情報Pn,adj(t)が対応づけられている。この例では、パワー補正情報Pn,adj(t)は、復号装置151において設定されるパワーウエイティング係数c,dで表されている。
【0077】
例えば、図11の2段目に示すように、信号Ln(t)のパワー値がPln=1.0、信号Rn(t)のパワー値がPrn=1.0で、かつ、歪み率E=0%であるとき、図10に示した対応表から、ミキシング係数がa=1.00,b=0.00で設定される。復号装置151における信号L'n(t)mixのパワー値はPlnmix=1.0とされ、信号R'n(t)mixのパワー値はPrnmix=1.0とされる。パワー補正情報Pn,adj(t)は、再生信号を、入力信号に近づける係数を含んでいるため、信号L'n(t)mixのパワーを補正するための係数がc=1.00とされ、信号R'n(t)mixのパワーを補正するための係数がd=1.00とされる。
【0078】
図12は、乗算器124−1の詳細な構成例を示すブロック図である(図示は省略するが、乗算器124−2も同様に構成される)。
【0079】
この例においては、バッファ124A,124Bが設けられており、現在(時刻t=0)、設定されているミキシング係数a(t0)がバッファ124Aに、直前に設定されていた(時刻t=1のときに設定されていた)ミキシング係数a(t1)がバッファ124Bに、それぞれ記憶されるようになされている。
【0080】
ミキシング係数を変化させた場合、そのときに出力される信号に不連続点が生じることがある。そのため、図13の曲線(1)乃至(3)に示すように、直線的、または曲線的にミキシング係数を変化させることにより、不連続点が発生することを抑制することができる。なお、この例においては、バッファが2つ設けられることとしているが、3つ以上設けられるようにしてもよい。また、それぞれのミキシング係数を補間する補間関数は、1次でもよいし、2次または3次関数などとしてもよい。当然、乗算器125−1,125−2にも、同様に、バッファが設けられ、ミキシング係数bが記憶され、補間関数に基づいてミキシング係数が変化されるようにすることもできる。
【0081】
図14は、図8の符号化制御部104の詳細な構成例を示すブロック図である。
【0082】
正規化部141−1は、領域変換部103−1から入力されたスペクトル信号Ln(f)を、分割周波数帯域毎、または同一の分割周波数帯域内のスペクトルを何本かでまとめた小領域の範囲毎に正規化し、正規化スペクトル信号ln(f)を生成し、加算器142−1、および減算器142−2に出力する。同様に、正規化部141−2は、領域変換部103−2から入力されてきたスペクトル信号Rn(f)を正規化し、正規化スペクトル信号rn(f)を生成し、加算器142−1、および減算器142−2に出力する。正規化スペクトル信号ln(f),rn(f)は、加算器142−1、減算器142−2において、それぞれスペクトル上で加算または減算され、生成された信号sn(f)(=|ln(f)+rn(f)|),dn(f)(=|ln(f)-rn(f)|)が、比較部143に供給される。
【0083】
比較部143は、入力された信号sn(f),dn(f)のそれぞれの分割周波数帯域毎の総和値S,Dを算出し、その比S/Dに基づいて、符号化部105において行われるスペクトル信号Ln(f),Rn(f)の符号化方式を選択する。なお、比較部143においては、デュアル符号化により符号化するか否かが判定され、MSステレオ符号化およびISステレオ符号化のどちらを用いてスペクトル信号Ln(f),Rn(f)を符号化するかは、後述する比較部144において判定される。
【0084】
比較部144は、比較部143から通知された正規化スペクトル信号ln(f),rn(f)の差成分dn(f)(=ln(f)-rn(f))に基づいて、MSステレオ符号化、またはISステレオ符号化のうち、いずれの符号化方式によりスペクトル信号Ln(f),Rn(f)を符号化するかを選択する。
【0085】
次に、図15のフローチャートを参照して、図8の符号化装置91の動作について説明する。
【0086】
ステップS11において、フィルタバンク101は、入力されたオーディオ信号を所定の周波数帯域毎に分割し、生成した信号を適応ミキシング部102に出力する。すなわち、フィルタバンク101−1は、左信号L(t)をn個の帯域に分割し、左信号Ln(t)を適応ミキシング部102に出力する。また、フィルタバンク101−2は、右信号R(t)をn個の帯域に分割し、左信号Rn(t)を適応ミキシング部102に出力する。
【0087】
ステップS12において、適応ミキシング部102は、歪み率検出部106から通知された歪み率情報En(f)に基づいて、入力された信号Ln(t),Rn(t)に対し、ミキシング処理を施す。ミキシング処理の詳細については、図16のフローチャートを参照して後述する。
【0088】
ミキシング処理により生成された信号Ln(t)mix、およびRn(t)mixは、領域変換部103に供給され、ステップS13で、それぞれMDCTなどにより、時間領域から周波数領域のスペクトル信号に変換され、変換後のスペクトル信号Ln(f),Rn(f)が、符号化制御部104および符号化部105に出力される。
【0089】
ステップS14において、符号化制御部104は、符号化部105に入力されたスペクトル信号Ln(f),Rn(f)の符号化方式を制御する処理を行う。符号化制御処理の詳細については、図17のフローチャートを参照して後述する。
【0090】
ステップS15において、符号化部105は、符号化制御部104からの指示に基づいて、デュアル符号化、MSステレオ符号化、またはISステレオ符号化を選択し、領域変換部103から供給されたスペクトル信号Ln(f),Rn(f)を、選択された方式で符号化し、得られた符号列Cnをマルチプレクサ107に出力する。なお、いずれの符号化方式により符号化したかは、例えば、スペクトル信号を符号化する際に、参照される符号帳を識別する情報、量子化の精度に関する情報、または、正規化情報などの組み合わせなどにより、復号装置151において、一意的に決定されるようになされている。
【0091】
歪み率検出部106は、符号化部105で実行される符号化処理の歪み率を検出し、歪み率情報En(f)を生成する。生成された歪み率情報En(f)は、ステップS16において、適応ミキシング部102に通知され、以降の処理に利用される。以上の処理は、全ての帯域において行われる。
【0092】
ステップS17において、マルチプレクサ107は、符号化部105から供給された符号列Cnを、他の帯域の符号化部からの符号列Cn-1,Cn-2,…,C1と合成し、取得した合成符号列Cを符号化装置91の外部に設けられる図示せぬ装置やネットワークなどに出力する。なお、合成符号列Cには、適応ミキシング部102から通知されたパワー補正情報Pn,adj(t)などの情報が含まれる。
【0093】
次に、図16のフローチャートを参照して、図15のステップS12において実行される適応ミキシング部102のミキシング処理について説明する。
【0094】
ステップS31において、ミキシング係数設定部122は、歪み率検出部106から歪み率情報En(f)が通知されたか否かを判定し、通知されたと判定したとき、ステップS32に進み、歪み率情報En(f)に基づいて、乗算器124,125のミキシング係数a,bを設定する。ミキシング係数設定部122は、例えば、歪み率E=10%であることが通知されたとき、図10に示すような対応テーブルから、ミキシング係数a=0.95,b=0.05を抽出し、乗算器124のミキシング係数aを「0.95」と設定し、また、乗算器125のミキシング係数bを「0.05」と設定する。ミキシング係数設定部122は、設定したミキシング係数をパワー補正部123に通知する。
【0095】
一方、ステップS31で、歪み率検出部106から歪み率情報En(f)が通知されていないと判定された場合、ステップS33において、ミキシング係数設定部122は、初期状態のミキシング係数を、乗算器124,125に、それぞれ設定する。すなわち、上述したように、初期状態では歪み率E=0%となっており、ミキシング係数a=1.00、b=0.00が設定される。
【0096】
ステップS34において、加算器126−1は、乗算器124−1で左信号Ln(t)にミキシング係数aが乗算されることにより得られた信号と、乗算器125−1で右信号Rn(t)にミキシング係数bが乗算されることにより得られた信号を加算し、ミキシング信号Ln(t)mixを生成し、領域変換部103−1に出力する。
【0097】
ステップS35において、加算器126−2は、乗算器124−2で右信号Rn(t)にミキシング係数aが乗算されることにより得られた信号と、乗算器125−2で左信号Ln(t)にミキシング係数bが乗算されることにより得られた信号を加算し、ミキシング信号Rn(t)mixを生成し、領域変換部103−2に出力する。
【0098】
すなわち、ステップS34,S35により、上述したミキシング係数(a=0.95,b=0.05)がそれぞれの乗算器124,125に設定されている場合、左右の信号Ln(t),Rn(t)の一方は、他方の5%がミキシングされた上で、領域変換部103に出力される。また、初期状態の場合、左右信号Ln(t),Rn(t)がミキシングされずに、完全ステレオの状態で領域変換部103に出力される。
【0099】
ステップS36において、パワー算出部121は、フィルタバンク101により所定の帯域に分割された信号Ln(t),Rn(t)のパワー値Pln,Prnを算出し、パワー補正部123に通知する。
【0100】
ステップS37において、パワー補正部123は、パワー算出部121から供給された信号Ln(t),Rn(t)のパワー値Pln,Prn、およびミキシング係数設定部122から通知されたミキシング係数a,bに基づいて、後述する復号装置151(図19参照)においてパワー補正されるときに利用されるパワー補正情報Pn,adj(t)を生成し、マルチプレクサ107に出力する。
【0101】
例えば、パワー算出部121から、信号Ln(t)のパワー値Pln=5.0,Rn(t)のパワー値Prn=1.0が通知され、ミキシング係数設定部122から、ミキシング係数a=0.75,b=0.25であることが通知された場合(歪み率E=50%の場合)、図11の上から4段目に示すように、パワー補正情報Pn,adj(t)(パワーウエイティング係数)として、c=1.25,d=0.50が抽出される。すなわち、復号装置151においては、信号Ln(t)のデータを復号したとき得られる信号L'n(t)mixが、パワー値Plnmix=4.0で再生され、信号Rn(t)のデータを復号したとき得られる信号R'n(t)mixが、パワー値Prnmix=2.0で再生されるため、再生信号に乗算したときに、入力信号と等しくなるパワーウエイティング係数c,dが抽出され、マルチプレクサ107に出力される。
【0102】
例えば、適応ミキシング部102は、歪み率が高い場合には、左右信号をモノラル的に変化させるように、ミキシング係数を設定し、MSステレオ符号化またはISステレオ符号化の動作確率を高める。これにより、SNRを高くすることができ、歪み率を低くすることができる。また、上述したように、フィードバックされてきた歪み率情報に基づいて、ミキシング係数を設定することにより、正規化されたスペクトルln(f),rn(f)の領域では高い相関がなかった領域において、高い相関をもつ領域が生成されることとなる。さらに、復号装置においては、パワー補正情報Pn,adj(t)に基づいてパワー補正が行われるため、左右の信号のセパレートが保存される。
【0103】
次に、図17のフローチャートを参照して、図15のステップS14において実行される符号化制御部104の符号化制御処理について説明する。
【0104】
ステップS51において、正規化部141は、入力された信号を分割周波数帯域毎、または同一の分割周波数帯域内のスペクトルを何本かでまとめた小領域の範囲毎に正規化する。生成された正規化スペクトル信号ln(f),rn(f)は、加算器142−1および減算器142−2に供給され、ステップS52において、正規化スペクトル信号の和信号sn(f)(=|ln(f)+rn(f)|)が加算器142−1により、差信号dn(f) (=|ln(f)-rn(f)|)が減算器142−2により、それぞれ生成される。生成された正規化スペクトル信号の和信号sn(f)および差信号dn(f)は、比較部143に供給される。
【0105】
ステップS53において、比較部143は、入力された信号sn(f)の全帯域の総和値Sを次式(1)により、信号dn(f)の正規化された範囲の総和値Dを次式(2)によりそれぞれ算出する。
【数1】

Figure 0003951690
【数2】
Figure 0003951690
これらの式において、f0は正規化された範囲の先頭スペクトル番号を、f1は終端スペクトルの番号を、それぞれ示している。
【0106】
正規化スペクトル信号ln(f)と正規化スペクトル信号rn(f)が似ている(相関が高い)ほど、総和値Sが大きく、総和値Dが小さくなる。逆に、正規化スペクトル信号ln(f)と正規化スペクトル信号rn(f)が異なる(相関が低い)場合には、総和値Sと総和値Dは同じような値となるため、総和値S,Dの比(総和値比S/D)を算出することにより、正規化スペクトル信号ln(f)と正規化スペクトル信号rn(f)の相関関係を取得することができる。例えば、総和値比S/Dは、その値が「1」より大きい場合には、正規化スペクトル信号ln(f)と正規化スペクトル信号rn(f)の相関が高いことを示している。
【0107】
そして、比較部143は、ステップS54において、ステップS53で算出した総和値比S/Dが、分割された周波数帯域、または正規化された小領域毎に予め設定されている許容誤差レベル(閾値)Thrより小さいか否かを判定する。比較部143は、総和値比S/Dが許容誤差レベルThrより小さいと判定したとき、ステップS55に進み、符号化部105に入力されているスペクトル信号Ln(f),Rn(f)を、デュアル符号化により符号化することを選択し、符号化部105に通知する。すなわち、許容誤差レベルは、総和値比S/Dが所定のレベル以上であれば(正規化スペクトル信号ln(f)と正規化スペクトル信号rn(f)に所定レベル以上の相関があれば)、強制的にMSまたはISステレオ符号化により符号化すべく設定される。なお、本実施例では、上記総和値SおよびDの比を用いて正規化スペクトル信号ln(f)と正規化スペクトル信号rn(f)の相関を判定しているが、相関の判定方法は当然これに限られるものではなく、ln(f)とrn(f)の絶対値を比較して相関係数を得るなど、他のパラメータを用いて判定してもよい。
【0108】
一方、ステップS54において、比較部143は、総和値比S/Dが許容誤差レベルThrより大きいと判定したとき、その旨を比較部144に通知する。そして、比較部144は、ステップS56において、対象としている帯域のスペクトルに対するdn(f)の最大値が、復号装置151で実現可能な量子化精度レベルThqより大きいか否かを判定する。すなわち、比較部144は、差信号dn(f)を符号化する必要がある場合にはMSステレオ符号化を選択し、符号化する必要がない場合にはISステレオ符号化を選択する。
【0109】
比較部144は、ステップS56において、dn(f)の最大値が量子化精度レベルThqより大きいと判定した場合、ステップS57に進み、符号化部105に入力されるスペクトル信号Ln(f),Rn(f)を、MSステレオ符号化により符号化することを選択し、符号化部105に通知する。また、比較部144は、ステップS56で、dn(f)の最大値が量子化精度レベルThqより小さいと判定した場合、ステップS58に進み、符号化部105に入力されるスペクトル信号Ln(f),Rn(f)を、ISステレオ符号化により符号化することを選択し、符号化部105に通知する。
【0110】
これにより、たとえ、正規化スペクトル信号ln(f)と正規化スペクトル信号rn(f)は高い相関があり、MSまたはISステレオ符号化よりも、デュアル符号化の方が、より高いSNRを実現できる可能性があっても、総和値比S/Dが、聴感上、ノイズとして聞き取ることができない閾値より高い場合には、MSまたはISステレオ符号化により入力信号が符号化される。
【0111】
また、差信号dn(f)が符号化されない場合であっても、左右信号の正規化に関する情報は符号化されているため、ISステレオ符号化も、MSステレオ符号化と等価と考えることができる。これにより、MSステレオ符号化を行う処理部と、ISステレオ符号化を行う処理部を別々に設けることがなくなり、符号化装置91を、より小さく構成することができる。
【0112】
なお、許容誤差レベルThrは、領域変換のブロック長や、ビットアロケーションなどの符号化システムの構成に応じて設定される。また、量子化精度レベルThqは、符号化装置91で実現可能な最高量子化精度レベルを設定してもよいし、周波数帯域毎に量子化精度レベルThq(f)を設定するようにしてもよい。すなわち、量子化精度レベルThqも、許容誤差レベルThrと同様に、システムに応じて設定される。
【0113】
図18は、符号化装置91におけるセパレーションと信号対雑音比SNRとの関係(図18(A))、符号化(量子化)された信号の信号対雑音比SNRの時間的変化(図18(B))、MSステレオ符号化の動作時間確率PMS、またはISステレオ符号化の動作時間確率PISの時間的変化(図18(C))、および、左右信号のセパレーションの時間的変化(図18(D))を示す図である。
【0114】
図18(B)および図18(C)に示すように、信号対雑音比SNRとMSステレオ符号化の動作時間確率PMS、またはISステレオ符号化の動作時間確率PISは連動しているため、上述したようにミキシング係数を適宜変動させることにより、PMS,PISを制御して、SNRを向上させることができる。これによって、音質を向上させることができる。
【0115】
また、図18(A)に示すように、SNRが向上するにつれ、左右信号のセパレーションは悪化する(モノラル化する)ため、図18(A)に示すSNRの変動に合わせて、セパレーションは、図18(D)に示すように悪化するが、上述したように、パワー補正情報Pn,adj(t)を生成し、復号する際にパワー調整を行うようにしたので、左右信号のセパレーションも改善することができる。なお、図18(B),(C),(D)において、線L1,L3,L5は、図8の符号化装置91の特性を示し、線L2,L4,L6は、従来の符号化装置の特性を示している。
【0116】
上述した例においては、符号化の歪み率を検出し、その値に応じてミキシング係数を設定し、次のタイミングの入力信号をミキシングするとしたが、歪み率が所定の閾値以下となるまで、所定の帯域の入力信号が、繰り返しミキシングされるような構成にしてもよい。この場合、フィルタバンク101―1により生成された信号Ln(t)およびフィルタバンク101−2により生成された信号Rn(t)は図示しないメモリ等に蓄積され、適応ミキシング部102にフィードバックされた歪み率情報En(f)により再度ミキシング、領域変換および符号化が施される。
【0117】
図19は、本発明を適用した復号装置の構成例を示すブロック図である。
【0118】
デマルチプレクサ161は、図示せぬ伝送路を介して供給された符号列Cを所定の帯域毎の符号列Cn,Cn-1,…,C1に分解し、それぞれの符号列Ciを対応する復号部(説明の便宜上、復号部162だけが示されている)に出力する。符号列Cnは、復号部162に供給される。
【0119】
復号部162は、入力された符号列Cnを、符号化方式に対応する復号方式により復号し、得られたスペクトル信号L'n(f)を領域変換部163−1に、スペクトル信号R'n(f)を領域変換部163−2に、それぞれ出力する。また、復号部162は、符号列Cnから取得したパワー補正情報Pn,adj(t)をパワーウエイティング部164に供給する。
【0120】
領域変換部163は、入力されたスペクトル信号L'n(f),R'n(f)に対して逆MDCTなどを利用して時間領域の信号に変換し、得られた信号L'n(t)mix,R'n(t)mixをパワーウエイティング部164に出力する。
【0121】
パワーウエイティング部164は、通知されてきたパワー補正情報Pn,adj(t)に含まれるパワーウエイティング係数に基づいて、領域変換部163から供給されてきた信号L'n(t)mix,R'n(t)mixのパワー補正を実行し、生成した信号L'n(t)をフィルタバンク165−1に、信号R'n(t)をフィルタバンク165−2に、それぞれ出力する。
【0122】
フィルタバンク165は、パワーウエイティング部164から供給されてきた信号L'n(t),R'n(t)を、他の帯域の信号L'n-1(t),…,L'1(t),R'n-1(t),…,R'1(t)と合成し、生成した全帯域のオーディオ信号L'(t),R'(t)を復号装置151の外部に出力する。
【0123】
図20は、パワーウエイティング部164の詳細な構成例を示すブロック図である。
【0124】
パワーウエイティング係数設定部171は、供給されたパワー補正情報Pn,adj(t)に含まれるパワーウエイティング係数cを乗算器172−1に、パワーウエイティング係数dを乗算器172−2に、それぞれ設定する。
【0125】
乗算器172−1は、入力された信号L'n(t)mixに対してパワーウエイティング係数cを乗算し、乗算器172−2は、入力されてきた信号R'n(t)mixに対してパワーウエイティング係数dを乗算し、得られた信号L'n(t),R'n(t)がフィルタバンク165−1,165−2に出力される。
【0126】
図21は、乗算器172−1の詳細な構成例を示すブロック図である(図示は省略するが、乗算器172−2も同様に構成される)。
【0127】
この例においては、バッファ172A,172Bが設けられており、現在(時刻t=0)、設定されているパワーウエイティング係数c(t0)がバッファ124Aに、直前に設定されていた(時刻t=1のときに設定されていた)パワーウエイティング係数c(t1)がバッファ172Bに、それぞれ記憶されるようになされている。
【0128】
すなわち、パワーウエイティング係数c(t)を変化させた場合、そのときに出力される信号に不連続点が生じることがある。そのため、図22の線(1)乃至(3)に示すように、直線的または曲線的にパワーウエイティング係数c(t)を変化させることにより、不連続点が発生することを抑制することができる。なお、この例においては、バッファが2つ設けられることとしているが、3つ以上設けられるようにしてもよい。また、それぞれのパワーウエイティング係数を補間する補間関数は、1次でもよいし、2次または3次関数などにより補間するようにしてもよい。
【0129】
次に、図23のフローチャートを参照して、図19の復号装置151の復号処理について説明する。
【0130】
ステップS71において、デマルチプレクサ161は、入力された符号列Cを所定の帯域数nの符号列Cn,Cn-1,…,C1に分割し、対応する復号部に出力する。
【0131】
復号部162は、ステップS72で、正規化情報、量子化精度情報、符号帳番号などの組合せから復号方式を選択し、入力されてきた符号列Cnを復号し、得られたスペクトル信号L'n(f)を領域変換部163−1に、スペクトル信号R'n(f)を領域変換部163−2に、それぞれ出力する。また、復号部162は、符号列Cnから取得したパワー補正情報Pn,adj(t)をパワーウエイティング部164に出力する。
【0132】
ステップS73において、領域変換部163−1,163−2は、入力されたスペクトル信号L'n(f),R'n(f)に対して逆MDCTなどを利用して時間領域の信号に変換し、得られた信号L'n(t)mix,R'n(t)mixをパワーウエイティング部164に出力する。信号Ln'(t)mix,Rn'(t)mixは、符号化装置91においてミキシングが施された可能性のある信号であり、ミキシング係数の設定によって、本来ステレオ信号であったものが、ほとんどモノラル信号となっている場合もある。そのため、ステップS74において、パワーウエイティング部164は、通知されてきたパワー補正情報Pn,adj(t)に基づいて、パワーウエイティング処理を実行して擬似的なステレオ信号を再生する。パワーウエイティング処理の詳細は、図24のフローチャートを参照して後述する。
【0133】
パワーウエイティング処理により得られた信号L'n(t),R'n(t)は、それぞれフィルタバンク165−1,165−2に出力される。以上の処理は、各帯域毎に行われる。
【0134】
そして、フィルタバンク165は、ステップS75で、パワーウエイティング部164から供給された信号L'n(t),R'n(t)を、他の帯域の信号L'n-1(t),…,L'1(t),R'n-1(t),…,R'1(t)と合成し、合成した全帯域のオーディオ信号L'(t),R'(t)を、復号装置151の外部に出力する。
【0135】
次に、図24のフローチャートを参照して、図23のステップS74において実行されるパワーウエイティング処理について説明する。
【0136】
ステップS91において、パワーウエイティング係数設定部171は、復号部162から通知されたパワー補正情報Pn,adj(t)に含まれるパワーウエイティング係数に基づいて、乗算器172−1,172−2のパワーウエイティング係数c,dを設定する。
【0137】
ステップS92において、乗算器172−1,172−2は、それぞれ、パワーウエイティング係数c,dを、入力された信号L'n(t)mix,R'n(t)mixに乗算し、生成した信号L'n(t),R'n(t)をフィルタバンク165−1,165−2にそれぞれ出力する。
【0138】
例えば、上述したように、パワー補正部123において、パワー補正情報Pn,adj(t)(パワーウエイティング係数)がc=1.25,d=0.05とされ、パワーウエイティング係数設定部171により、それぞれのパワーウエイティング係数c,dが設定されている場合、乗算器172−1は、入力信号L'n(t)mixのパワーを1.25倍し、生成した信号L'n(t)をフィルタバンク165−1に出力する。また、乗算器172−2は、入力信号R'n(t)mixのパワーを0.05倍し、生成した信号R'n(t)をフィルタバンク165−2に出力する。
【0139】
これにより、符号化する際に、左右の信号のセパレーションが悪化した場合であっても擬似的なステレオ信号を再生することができる。
【0140】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。この場合、例えば、符号化装置91は、図25に示されるようなパーソナルコンピュータ181により構成される。
【0141】
図25において、CPU(Central Processing Unit)191は、ROM(Read Only Memory)192に記憶されているプログラム、または、記憶部198からRAM(Random Access Memory)193にロードされたプログラムに従って各種の処理を実行する。RAM193にはまた、CPU191が各種の処理を実行する上において必要なデータなどが適宜記憶される。
【0142】
CPU191、ROM192、およびRAM193は、バス194を介して相互に接続されている。このバス194にはまた、入出力インタフェース195も接続されている。
【0143】
入出力インタフェース195には、キーボード、マウスなどよりなる入力部196、CRT,LCDなどよりなるディスプレイ、並びにスピーカなどよりなる出力部197、ハードディスクなどより構成される記憶部198、モデム、ターミナルアダプタなどより構成される通信部199が接続されている。通信部199は、ネットワークを介しての通信処理を行う。
【0144】
入出力インタフェース195にはまた、必要に応じてドライブ200が接続され、磁気ディスク201、光ディスク202、光磁気ディスク203、あるいは半導体メモリ204などが、適宜、装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部198にインストールされる。
【0145】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータ181などに、ネットワークや記録媒体からインストールされる。
【0146】
この記録媒体は、図25に示すように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク201(フロッピディスクを含む)、光ディスク202(CD-ROM,DVD(Digital Versatile Disk)を含む)、光磁気ディスク203(MD(Mini-Disk)を含む)、もしくは半導体メモリ204などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM192や、記憶部198に含まれるハードディスクなどで構成される。
【0147】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0148】
【発明の効果】
本発明の符号化装置および方法、並びに記録媒体のプログラムによれば、入力信号に基づいて符号化方式を選択し、選択した符号化方式に基づいて、入力信号を符号化し、検出した歪み率に対応して決定されるミキシング割合に基づいて、入力信号の左右成分をミキシングする。そして、ミキシングした入力信号に基づいて、符号化方式を選択するようにしたので、より高効率で、オーディオ信号を符号化することができる。
【図面の簡単な説明】
【図1】 MSステレオ符号化による従来のオーディオ信号伝送システムの構成例を示すブロック図である。
【図2】 ISステレオ符号化による従来のオーディオ信号伝送システムの構成例を示すブロック図である。
【図3】従来の符号化装置の構成例を示すブロック図である。
【図4】従来の他の符号化装置の構成例を示すブロック図である。
【図5】従来のさらに他の符号化装置の構成例を示すブロック図である。
【図6】従来の符号化装置の処理を説明するフローチャートである。
【図7】従来の符号化装置の動作と生成する信号の関係を示す図である
【図8】本発明を適用した符号化装置の構成例を示すブロック図である。
【図9】図8の適応ミキシング部の構成例を示すブロック図である。
【図10】図9のミキシング係数設定部に記憶される情報の例を示す図である。
【図11】図9のパワー補正部に記憶される情報の例を示す図である。
【図12】図9の乗算器の構成例を示す図である。
【図13】ミキシング係数の補間関数の例を示す図である。
【図14】図8の符号化制御部の構成例を示すブロック図である。
【図15】図8の符号化装置の処理を説明するフローチャートである。
【図16】図15のステップS12において実行される処理の詳細を説明するフローチャートである。
【図17】図15のステップS14において実行される処理の詳細を説明するフローチャートである。
【図18】図8の符号化装置の動作と生成する信号の関係を示す図である
【図19】本発明を適用した復号装置の構成例を示すブロック図である。
【図20】図19のパワーウエイティング部の構成例を示すブロック図である。
【図21】図20の乗算器の構成例を示すブロック図である。
【図22】パワーウエイティング係数の補間関数の例を示す図である。
【図23】図19の復号装置の処理を説明するフローチャートである。
【図24】図23のステップS74において実行される処理の詳細を説明するフローチャートである。
【図25】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
91 符号化装置, 101−1および101−2 フィルタバンク, 102 適応ミキシング部, 103−1および103−2 領域変換部, 104符号化制御部, 105 符号化部, 106 歪み率検出部, 107 マルチプレクサ, 121 パワー算出部, 122 ミキシング係数設定部, 123 パワー補正部, 124−1および124−2 乗算器, 124Aおよび124B バッファ, 125−1および125−2 乗算器, 126−1および126−2 加算器, 141−1および141−2 正規化部, 142−1 加算器, 142−2 減算器, 143 比較部, 144 比較部, 151 復号装置, 161 デマルチプレクサ, 162 復号部, 163−1および163−2 領域変換部, 164 パワーウエイティング部, 165−1および165−2 フィルタバンク, 171 パワーウエイティング係数設定部, 172−1および172−2 乗算器, 172Aおよび172B バッファ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an encoding apparatus and method. , As well as recording media, especially with higher efficiency, Can be encoded Coding apparatus and method , And a recording medium.
[0002]
[Prior art]
In recent years, so-called “perceptual audio encoders (decoders)” have been developed, and a bit rate of about one-twelfth or less of the bit rate generally used in conventional CD-ROM (Compact Disk-Read Only Memory). Thus, transmission and storage of high-quality audio signals is possible.
[0003]
Such an encoder encodes using a waveform portion included in an audio signal that cannot be heard due to limitations of the human auditory system. For stereo audio signals, for example, MS stereo encoding is used. An encoder using (intermediate / side stereo encoding) and an encoder using IS stereo encoding (intensity stereo encoding) are known.
[0004]
FIG. 1 is a block diagram showing a configuration example of a conventional audio signal transmission system using MS stereo coding.
[0005]
The left signal L and the right signal R constituting the stereo audio signal are input to the arithmetic unit 1, added by the adder 1-1, and output to the multiplier 1-2. On the other hand, a difference signal between these signals is generated in the subtractor 1-3 and output to the multiplier 1-4. In multipliers 1-2 and 1-4, the output of adder 1-1 and subtractor 1-3 is multiplied by coefficient x to generate sum signal M and difference signal S, which are encoded by encoding unit 2. Thus, the data is output to the transmission path 3 including a recording medium or a network.
[0006]
The decoding unit 4 decodes the input code string to generate a sum signal M ′ and a difference signal S ′. The sum signal M ′ and the difference signal S ′ are added by an adder 5-1, multiplied by a coefficient y by a multiplier 5-2, and output as a left signal L ′. Further, the sum signal M ′ and the difference signal S ′ are subtracted by the subtractor 5-3, multiplied by the coefficient y by the multiplier 5-4, and output as the right signal R ′. For example, the coefficient x is 0.5, and the coefficient y is 1.0.
[0007]
It is the sum signal rather than the difference signal that affects human hearing. Thus, the sum signal M and the difference signal S are generated, and more data (number of bits) is assigned to the sum signal M. Thus, encoding can be performed with higher efficiency than encoding each of them independently (dual encoding). Note that MS stereo coding is effective for signals in a low frequency band.
[0008]
FIG. 2 is a block diagram showing a configuration example of a conventional audio signal transmission system using IS stereo coding.
[0009]
The right signal L and the left signal R input to the calculation unit 11 are added by an adder 11-1, and an intensity signal I obtained by the correlation between these signals is generated. Also, a power left signal P indicating the power of each of the left signal L and the right signal R l , Power right signal P r (Scaling signal describing the content of energy) is generated by the calculation unit 11. Intensity signal I, power left signal P l , And power right signal P r Is input to the encoding unit 12, encoded, and then output to the transmission path 13.
[0010]
The decoding unit 14 decodes the input signal, and obtains the obtained intensity signal I ′, power left signal P l ', And power right signal P r 'Is output to the calculation unit 15. In the arithmetic unit 15, the multiplier 15-1 includes an intensity signal I ′ and a power left signal P ′. l , And the multiplier 15-2 is connected to the intensity signal I ′ and the power right signal P ′. r Based on the above, the left signal L ′ and the right signal R ′ are reproduced and output to the outside.
[0011]
By encoding using IS stereo encoding, it is possible to use the characteristic that the position detection capability due to the human auditory time difference is lower for higher frequency signals. For example, in the high frequency band, the left and right signals are It is possible to encode at a data rate of about half compared to the case of encoding each independently.
[0012]
By the way, MS stereo coding and IS stereo coding do not always have the same effect for all input signals. For example, MS stereo coding is an effective means only when the difference signal S has less energy than the sum signal M. Otherwise, the left signal is obtained from the sum signal M ′ and the difference signal S ′. When playing back L 'and right signal R', the quantization noise generated by encoding or decoding (quantization / inverse quantization) may cause mutual interference, resulting in audible noise. .
[0013]
Also, in IS coding, a spectrum SP obtained by synthesizing high-frequency components of a stereo signal and converting it from the time domain to the frequency domain m And the original power spectrum P l , P r If there is no high correlation in the envelope shape, for example, if the left signal L is a trumpet signal and the right signal R is a cymbal signal, the positional relationship of each sound source (instrument) should be preserved May not be able to be heard, and noise that is clearly audible may be generated.
[0014]
Therefore, as shown in FIG. 3, FIG. 4, and FIG. 5, dual encoding that encodes the left and right signals independently and MS or IS stereo encoding are combined, and encoding is appropriately performed according to the input signal. An encoding device that selects a method is considered.
[0015]
FIG. 3 is a block diagram illustrating a configuration example of a conventional encoding device that encodes an input signal in the time domain.
[0016]
The filter bank 31-1 converts the input left signal L (t) into a signal L in a predetermined frequency band. n (t), L n-1 (t), ..., L 1 (t) (n is the number of divided bands), and each signal is output to the corresponding dual encoding unit 32 and MS / IS encoding unit 33. In FIG. 3, the signal L n Only the dual encoder 32 and the MS / IS encoder 33 for processing (t) are shown, but the signal L n-1 (t), L n-2 (t), ..., L 1 Each encoding unit corresponding to (t) is L n It is provided in the same manner as the encoding unit that processes (t).
[0017]
Similarly to the filter bank 31-1, the filter bank 31-2 also converts the right signal R (t) into a signal R in a predetermined frequency band. n (t), R n-1 (t), ..., R 1 The signal is divided into (t), and the respective signals are output to the dual encoding unit 32 and the MS / IS encoding unit 33. In the following description, the filter bank 31-1 and the filter bank 31-2 are collectively referred to as a filter bank 31 when it is not necessary to distinguish them individually. The same applies to other devices.
[0018]
The dual encoding unit 32 encodes the input signal by the dual encoding method (left signal L n (t) and right signal R n (t) is independently encoded), and the obtained data is output to the switch 35. The dual encoding unit 32 also includes necessary bit number information B, which is information related to the amount of encoded data. n (t) 1 , And distortion rate information E, which is information about distortion rate with sine wave when encoding n (t) 1 Is generated and supplied to the encoding control unit 34.
[0019]
The MS / IS encoder 33 encodes the input signal using the MS stereo encoding method or the IS stereo encoding method, and outputs the obtained data to the switch 35. Further, the MS / IS encoding unit 33 performs necessary bit number information B n (t) 2 , And distortion rate information E n (t) 2 Is generated and supplied to the encoding control unit 34.
[0020]
Based on the information supplied from the dual encoding unit 32 and the MS / IS encoding unit 33, the encoding control unit 34 performs encoding using an encoding method with a low distortion rate or an encoding method with a small number of necessary bits. The contact of the switch 35 is switched so as to select the converted code string. The code string selected by the switch 35 is input to the multiplexer 36.
[0021]
The multiplexer 36 is a code string C for each band divided by the filter bank 31. n , C n-1 , ..., C 1 And the synthesized code string C is output to a device external to the coding device 21 such as a transmission path (not shown).
[0022]
FIG. 4 is a block diagram illustrating a configuration example of a conventional encoding device that encodes an input signal in the frequency domain.
[0023]
The region converting unit 51-1 performs spectrum conversion on the input left signal L (t) into the frequency domain, and generates the generated spectrum signal L n (f) is output to the dual encoding unit 52 and the MS / IS encoding unit 53. Similarly to the region converting unit 51-1, the region converting unit 51-2 performs spectral conversion on the right signal R (t) and obtains the obtained spectrum signal R. n (f) is output to the dual encoding unit 52 and the MS / IS encoding unit 53.
[0024]
The dual encoding unit 52 encodes the input signal by the dual encoding method, and outputs the obtained code string to the switch 55. In addition, the dual encoding unit 52 includes necessary number-of-bits information B that is information regarding the data amount of the encoded data. n (f) 1 , And distortion rate information E, which is information about distortion rate with sine wave when encoding n (f) 1 Is supplied to the encoding control unit 54.
[0025]
The MS / IS encoding unit 53 encodes the input signal by the MS stereo encoding method or the IS stereo encoding method, and outputs the obtained data to the switch 55. Further, the MS / IS encoding unit 53 performs necessary bit number information B n (f) 2 , And distortion rate information E n (f) 2 Is supplied to the encoding control unit 54.
[0026]
Based on the information supplied from the dual encoding unit 52 and the MS / IS encoding unit 53, the encoding control unit 54 uses an encoding method with a smaller distortion rate or an encoding method with a smaller number of necessary bits. The switch 55 is controlled so as to select the encoded code string.
[0027]
FIG. 5 is a block diagram showing a configuration example of a conventional encoding device configured by combining the encoding device 21 of FIG. 3 and the encoding device 31 of FIG.
[0028]
In other words, in this example, the input signals L (t) and R (t) are divided into a predetermined number of bands by the filter banks 71-2 and 71-2, and the divided signals are converted into area conversion units. The spectrum is converted by 72-1 and 72-2. The converted spectrum signal is encoded by the dual encoding unit 73 and the MS / IS encoding unit 74. In the encoding control unit 75 and the switch 76, the code sequence encoded by the dual encoding unit 73 and the MS / IS encoding unit 74 is more efficient (the distortion rate is smaller or the data amount is larger). A code string based on the encoding method is selected and output to the multiplexer 77. Then, the multiplexer 77 combines the input data of all the bands, and then outputs them to the outside of the encoding device 61.
[0029]
Next, processing of the encoding control unit 34 of the encoding device 21 of FIG. 3 will be described with reference to the flowchart of FIG. Although not described, the processes of the encoding control unit 54 in FIG. 4 and the encoding control unit 75 in FIG. 5 are similar processes. In this example, the encoding control unit 34 selects an encoding method based on the distortion rate.
[0030]
In step S <b> 1, the encoding control unit 34 receives the distortion rate information E notified from the dual encoding unit 32. n (t) 1 , And the distortion rate information E received from the MS / IS encoding unit 33 n (t) 2 Compare In step S2, the encoding control unit 34 determines whether or not the distortion rate notified from the dual encoding unit 32 is smaller than the distortion rate notified from the MS / IS encoding unit 33. If it is determined, the switch 35 is controlled in step S3 and the data encoded by the dual encoding unit 32 is output to the multiplexer 36.
[0031]
On the other hand, when the encoding control unit 34 determines in step S2 that the distortion rate notified from the dual encoding unit 32 is larger than the distortion rate notified from the MS / IS encoding unit 33, the encoding control unit 34 proceeds to step S4. Then, the switch 35 is controlled, and the data encoded by the MS / IS encoder 33 is output to the multiplexer 36.
[0032]
Similar processing is performed in other bands. As a result, a code string C encoded for each band using a more efficient encoding method is generated and output to the outside of the encoding device 21.
[0033]
As described above, by comparing the encoding efficiency of the respective encoding methods, and selecting the optimum method according to the result, higher efficiency than in the case of encoding with one encoding method. Encoded data can be acquired.
[0034]
FIGS. 7A to 7D show the operation time probability P of MS stereo coding in the coding apparatus of FIGS. MS , Or IS stereo coding operating time probability P IS FIG. 5 is a diagram illustrating an example of a relationship between a signal-to-noise ratio SNR (signal power to noise power ratio) of an encoded (quantized) signal and a separation between left and right signals.
[0035]
As shown in FIG. 7A, the probability P shown on the horizontal axis MS Or P IS And the SNR shown on the vertical axis is proportional, and the probability P MS Or P IS As the value approaches 100% (monaural), the SNR improves.
[0036]
FIG. 7B shows the probability P MS Or P IS FIG. 7C is a diagram showing a temporal change in SNR. As shown in these figures, each waveform has the same phase, and the probability P depends on the input signal. MS Or P IS Since the coding efficiency is improved by increasing the SNR, the SNR is also improved and the sound quality is improved. Therefore, from the viewpoint of coding efficiency, the probability P MS Or P IS Is preferably high.
[0037]
However, the probability P MS A high value indicates that there is a high correlation between the left and right signals, and the probability P IS A high value indicates that the intensity signal and spectrum to be encoded are equivalent to one channel even though the power level is different. That is, the probability P MS Or P IS A high value indicates that the stereo signal becomes monophonic, and as shown in FIG. MS / P IS Deteriorates with increasing.
[0038]
Also, probability P MS Or P IS Since SNR is linked, probability P MS Or P IS If the value of is high, the SNR may reach a perceptual limit noise level in the psychoacoustic model (a level that can be perceived as noise when the SNR is further reduced) due to the nature of the input signal or time changes. Therefore, overall, the probability P MS Or P IS A high value of is not necessarily preferred.
[0039]
[Problems to be solved by the invention]
By the way, in the encoding apparatus as shown in FIG. 3 to FIG. 5, which is the efficiency when encoded by MS stereo encoding or IS stereo encoding and the efficiency when encoded by dual encoding? The determination as to whether it is excellent or not is not known unless the two encoding processes are actually executed, and there is a problem that the processing amount of each encoding unit increases.
[0040]
Also, when MS stereo coding or IS stereo coding is ON, encoding efficiency can be increased (quantization noise is low), but such an effect cannot be obtained when it is OFF. Therefore, when MS stereo coding or IS stereo coding is in the ON state and when it is in the OFF state, the temporal sound quality fluctuation is large, and it may cause the listener to feel a great sense of discomfort. There is also.
[0041]
The present invention has been made in view of such circumstances, and is capable of encoding or decoding an audio signal with higher efficiency while suppressing the listener from feeling uncomfortable.
[0042]
[Means for Solving the Problems]
An encoding apparatus according to the present invention includes an encoding method selection unit that selects an encoding method based on an input signal, and an encoding method that encodes an input signal based on the encoding method selected by the encoding method selection unit. Means, a distortion rate detecting means for detecting a distortion rate of encoding by the encoding means, and a left / right component of the input signal based on a mixing ratio determined corresponding to the distortion rate detected by the distortion rate detecting means. Mixing means for mixing, and the encoding method selection means selects the encoding method based on the input signal mixed by the mixing means.
[0043]
Output correction information generating means for generating output correction information when decoding the input signal encoded by the encoding means can be further provided.
[0044]
The encoding method selection means can select the encoding method of the input signal based on a threshold value determined by the configuration of the encoding device.
[0045]
The encoding method selection means can select an encoding method from any one of a dual encoding method, an MS stereo encoding method, and an IS stereo encoding method.
[0046]
The encoding method selection means is , input signal Obtained by mixing Of left and right components of Choose to encode with dual coding when low Can be.
[0047]
The encoding method selection means is an input signal Obtained by mixing The left-right component correlation can be determined using the ratio of the sum of the sum signals to the sum of the difference signals of the left-right components.
[0048]
The encoding method selection means is an input signal Obtained by mixing When the left and right components of the input signal are highly correlated, the MS stereo encoding method or IS stereo encoding method is selected based on the maximum absolute value of the difference signal of the left and right components of the input signal. be able to.
[0049]
The mixing means stores the mixing ratio, and can change the mixing ratio based on the mixing ratio determined immediately before and the interpolation function of the mixing ratio currently determined.
[0050]
Input signal storage means for storing the input signal is further provided, and the mixing means can mix the left and right components of the same input signal again based on the distortion rate when the input signal is encoded.
[0051]
The encoding method of the encoding device of the present invention includes an encoding method selection step for selecting an encoding method based on an input signal, and an input signal based on the encoding method selected by the processing of the encoding method selection step. An encoding step for encoding the image, a distortion rate detection step for detecting a distortion rate of encoding by the processing of the encoding step, and a mixing ratio determined in accordance with the distortion rate detected by the processing of the distortion rate detection step And a mixing step for mixing the left and right components of the input signal, and the encoding method selection step processing selects the encoding method based on the input signal mixed by the mixing step processing. And
[0052]
The recording medium program according to the present invention encodes an input signal based on an encoding method selection step that selects an encoding method based on an input signal and an encoding method selected by the processing of the encoding method selection step. Encoding step, a distortion rate detecting step for detecting a distortion rate of encoding by the processing of the encoding step, and a mixing ratio determined corresponding to the distortion rate detected by the processing of the distortion rate detecting step And a mixing step for mixing the left and right components of the input signal, and the processing of the encoding method selection step selects the encoding method based on the input signal mixed by the processing of the mixing step.
[0056]
In the encoding apparatus and method and the recording medium program of the present invention, the encoding method is selected based on the input signal, the input signal is encoded based on the selected encoding method, and the detected distortion is detected. Based on the mixing ratio determined corresponding to the rate, the left and right components of the input signal are mixed. An encoding method is selected based on the mixed input signal.
[0058]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 8 is a block diagram showing a configuration example of an encoding apparatus to which the present invention is applied.
[0059]
The filter bank 101-1 converts the left signal L (t) of the input audio signal into a signal L of n frequency bands. n (t), L n-1 (t), ..., L 1 Generated signal L divided into (t) n (t) is output to the adaptive mixing unit 102. Similarly to the filter bank 101-1, the filter bank 101-2 also converts the right signal R (t) of the input audio signals into a signal R of n frequency bands. n (t), R n-1 (t), ..., R 1 Generated signal R divided into (t) n (t) is output to the adaptive mixing unit 102. Although not shown, signal L n-1 (t), ..., L 1 (t), R n-1 (t), ..., R 1 Similarly, a corresponding processing unit is provided for (t).
[0060]
The adaptive mixing unit 102 receives the distortion rate information E notified from the distortion rate detection unit 106. n Based on (f), the signal L n (t), R n (t) is mixed and the signal L n (t) mix , R n (t) mix (Details thereof will be described later with reference to FIG. 9). Generated signal L n (t) mix , And R n (t) mix Are supplied to the area conversion units 103-1 and 103-2, respectively. As will be described later, the distortion rate detection unit 106 determines distortion rate information E according to the result of encoding in the encoding unit 105. n Since (f) is generated, the mixing ratio is set to 0 in the initial state of operation. That is, signal L 0 (t), R 0 No mixing process is applied to (t).
[0061]
The adaptive mixing unit 102 also corrects the power correction information P for correcting the output of the left and right signals. n , adj (t) is generated and output to the multiplexer 107.
[0062]
The area conversion unit 103-1 receives the supplied signal L n (t) mix For example, the domain signal such as MDCT (Modified Discrete Cosine Transform) n (f) is output to the encoding control unit 104 and the encoding unit 105. Similarly, the region conversion unit 103-2 receives the supplied signal R n (t) mix The spectral signal R generated by transforming n (f) is output to the encoding control unit 104 and the encoding unit 105.
[0063]
The encoding control unit 104 receives the spectrum signal L supplied from the region conversion unit 103. n (f), R n Based on (f), the encoding method of the encoding process performed in the encoding part 105 is selected, and the encoding part 105 is controlled.
[0064]
The encoding unit 105 selects dual encoding, MS stereo encoding, or IS stereo encoding based on the control from the encoding control unit 104, and the spectrum signal L supplied from the region conversion unit 103. n (f), R n Data sequence C obtained by encoding (f) n Is output to the multiplexer 107. The above processing is applied to signals L in other frequency bands. n-1 (t), ..., L 1 (t), R n-1 (t), ..., R 1 The same operation is performed in (t).
[0065]
The multiplexer 107 is a code string C of a predetermined band supplied from the encoding unit 105. n , Code string C of other bands n-1 , ..., C 1 And the synthesized audio data C is output to a device (not shown) provided outside the encoding device 91 or a network. The synthesized audio data C includes power correction information P notified from the adaptive mixing unit 102. n , adj Information such as (t) and which encoding method is used for encoding is also included.
[0066]
FIG. 9 is a block diagram illustrating a detailed configuration example of the adaptive mixing unit 102 of FIG.
[0067]
The power calculation unit 121 outputs the signal L divided into a predetermined band by the filter banks 101-1 and 101-2. n (t), R n From (t), the power value P of each signal ln , P rn Is output to the power correction unit 123.
[0068]
The mixing coefficient setting unit 122 receives distortion rate information E notified from the distortion rate detection unit 106. n Based on (f), the mixing coefficient is extracted from the correspondence table stored in the built-in storage unit, the mixing coefficient a of the multipliers 124-1 and 124-2, and the multipliers 125-1 and 125-2 are calculated. Set the mixing coefficient b. In addition, the mixing coefficient setting unit 122 notifies the power correction unit 123 of the extracted mixing coefficients a and b.
[0069]
Each of the multipliers 124-1 and 124-2 uses the input signal L to the mixing coefficient a set by the mixing coefficient setting unit 122. n (t), R n Multiply (t) and output the obtained signal to adders 126-1 and 126-2. Each of the multipliers 125-1 and 125-2 receives the mixing coefficient b set by the mixing coefficient setting unit 122 as an input signal R. n (t), L n Multiply (t) and output the obtained signal to adders 126-1 and 126-2.
[0070]
The adder 126-1 is a left signal L multiplied by a coefficient a in the multiplier 124-1. n (t) and the right signal R multiplied by the coefficient b by the multiplier 125-1. n Add (t) and add the result to signal L n (t) mix Is output to the area conversion unit 103-1. Further, the adder 126-2 outputs the right signal R multiplied by the coefficient a by the multiplier 124-2. n (t) and the left signal L multiplied by the coefficient b by the multiplier 125-2 n Add (t) and signal R n (t) mix Is output to the area conversion unit 103-2.
[0071]
FIG. 10 shows distortion rate information E stored in a storage unit (not shown) of the mixing coefficient setting unit 122. n It is a figure which shows the example of the corresponding | compatible table of (f) and mixing coefficient a, b.
[0072]
In this example, distortion rate information E n (f) is shown as a percentage, and this value is hereinafter referred to as E. For example, E = 0% means that the perceptual noise is zero. Further, E = 100% means that the noise can be perceived in all spectral regions.
[0073]
In this example, mixing coefficients a = 1.00 and b = 0.00 are set corresponding to the distortion rate E = 0%. In this case, the left and right input signals L n (t), R n Since (t) is not mixed, encoding is performed in a completely separated state (complete stereo). Corresponding to the distortion rate E = 100%, mixing coefficients a = 0.50 and b = 0.50 are set. In this case, the left and right input signals L n (t), R n (t) is mixed at the same ratio and encoded in a completely unified state (complete monaural).
[0074]
The power correction unit 123 receives the signal L supplied from the power calculation unit 121. n (t), R n Power value P of (t) ln , P rn Based on the mixing coefficients a and b notified from the mixing coefficient setting unit 122, power correction information P used when power correction is performed in a decoding device 151 (FIG. 19) described later. n , adj (t) is generated and output to the multiplexer 107. That is, the power correction unit 123 stores power correction information P in a storage unit (not shown). n , adj (t), mixing coefficients a and b, and power value P ln , P rn A correspondence table describing the relationship is stored.
[0075]
FIG. 11 is a diagram illustrating an example of a correspondence table stored in the power correction unit 123.
[0076]
In this example, the power value P calculated by the power calculation unit 121. ln , P rn , Distortion rate information E n (f), mixing coefficients a and b, and a signal L reproduced in the decoding device 151 n '(t) mix , R n '(t) mix Power value P lnmix , P rnmix And power correction information P n , adj (t) is associated. In this example, the power correction information P n , adj (t) is represented by power weighting coefficients c and d set in the decoding device 151.
[0077]
For example, as shown in the second row of FIG. n The power value of (t) is P ln = 1.0, signal R n The power value of (t) is P rn = 1.0 and distortion rate E = 0%, the mixing coefficients are set as a = 1.00 and b = 0.00 from the correspondence table shown in FIG. Signal L ′ in decoding device 151 n (t) mix Power value of P lnmix = 1.0 and signal R ' n (t) mix Power value of P rnmix = 1.0. Power correction information P n , adj Since (t) includes a coefficient that makes the reproduction signal close to the input signal, the signal L ′ n (t) mix The coefficient for correcting the power of the signal is c = 1.00, and the signal R ′ n (t) mix The coefficient for correcting the power of is d = 1.00.
[0078]
FIG. 12 is a block diagram illustrating a detailed configuration example of the multiplier 124-1 (not illustrated, but the multiplier 124-2 is configured similarly).
[0079]
In this example, buffers 124A and 124B are provided, and the currently set mixing coefficient a (t 0 ) Is set in the buffer 124A immediately before (the time t = 1), the mixing coefficient a (t 1 ) Are stored in the buffer 124B.
[0080]
When the mixing coefficient is changed, a discontinuous point may occur in the signal output at that time. Therefore, as shown by the curves (1) to (3) in FIG. 13, it is possible to suppress the occurrence of discontinuous points by changing the mixing coefficient linearly or curvedly. In this example, two buffers are provided, but three or more buffers may be provided. The interpolation function for interpolating each mixing coefficient may be a linear function, a quadratic function or a cubic function. Of course, the multipliers 125-1 and 125-2 are similarly provided with a buffer, the mixing coefficient b is stored, and the mixing coefficient can be changed based on the interpolation function.
[0081]
FIG. 14 is a block diagram illustrating a detailed configuration example of the encoding control unit 104 in FIG.
[0082]
The normalization unit 141-1 receives the spectrum signal L input from the region conversion unit 103-1. n (f) is normalized for each divided frequency band or for each range of small regions obtained by collecting several spectra in the same divided frequency band. n (f) is generated and output to the adder 142-1 and the subtractor 142-2. Similarly, the normalization unit 141-2 receives the spectrum signal R input from the region conversion unit 103-2. n Normalize (f) and normalize spectral signal r n (f) is generated and output to the adder 142-1 and the subtractor 142-2. Normalized spectral signal l n (f), r n (f) is a signal s generated by addition or subtraction on the spectrum in the adder 142-1 and subtractor 142-2, respectively. n (f) (= | l n (f) + r n (f) |), d n (f) (= | l n (f) -r n (f) |) is supplied to the comparison unit 143.
[0083]
The comparison unit 143 receives the input signal s n (f), d n The total value S, D for each divided frequency band of (f) is calculated, and the spectrum signal L performed in the encoding unit 105 based on the ratio S / D n (f), R n Select the encoding method of (f). Note that the comparison unit 143 determines whether or not to perform encoding by dual encoding, and uses either MS stereo encoding or IS stereo encoding to transmit the spectrum signal L. n (f), R n Whether to encode (f) is determined by the comparison unit 144 described later.
[0084]
The comparison unit 144 receives the normalized spectrum signal l notified from the comparison unit 143. n (f), r n Difference component d of (f) n (f) (= l n (f) -r n Based on (f)), the spectrum signal L can be obtained by either MS stereo encoding or IS stereo encoding. n (f), R n Select whether to encode (f).
[0085]
Next, the operation of the encoding device 91 of FIG. 8 will be described with reference to the flowchart of FIG.
[0086]
In step S <b> 11, the filter bank 101 divides the input audio signal into predetermined frequency bands, and outputs the generated signal to the adaptive mixing unit 102. That is, the filter bank 101-1 divides the left signal L (t) into n bands and outputs the left signal L n (t) is output to the adaptive mixing unit 102. Further, the filter bank 101-2 divides the right signal R (t) into n bands, and the left signal R n (t) is output to the adaptive mixing unit 102.
[0087]
In step S12, the adaptive mixing unit 102 receives the distortion rate information E notified from the distortion rate detection unit 106. n Based on (f), the input signal L n (t), R n A mixing process is performed on (t). Details of the mixing process will be described later with reference to the flowchart of FIG.
[0088]
Signal L generated by the mixing process n (t) mix , And R n (t) mix Is supplied to the region conversion unit 103, and is converted from a time domain to a frequency domain spectrum signal by MDCT or the like in step S13, and the converted spectrum signal L n (f), R n (f) is output to the encoding control unit 104 and the encoding unit 105.
[0089]
In step S14, the encoding control unit 104 transmits the spectrum signal L input to the encoding unit 105. n (f), R n A process for controlling the encoding method of (f) is performed. Details of the encoding control process will be described later with reference to the flowchart of FIG.
[0090]
In step S15, the encoding unit 105 selects dual encoding, MS stereo encoding, or IS stereo encoding based on an instruction from the encoding control unit 104, and the spectrum signal supplied from the region conversion unit 103 is selected. L n (f), R n (f) is encoded by the selected method, and the obtained code sequence C n Is output to the multiplexer 107. It should be noted that, depending on which encoding method is used, for example, when encoding a spectrum signal, a combination of information for identifying a codebook to be referred to, information on quantization accuracy, or normalization information Thus, the decoding device 151 is uniquely determined.
[0091]
The distortion rate detection unit 106 detects the distortion rate of the encoding process executed by the encoding unit 105, and detects distortion rate information E. n Generate (f). Generated distortion rate information E n In step S16, (f) is notified to the adaptive mixing unit 102 and used for the subsequent processing. The above processing is performed in all bands.
[0092]
In step S17, the multiplexer 107 transmits the code string C supplied from the encoding unit 105. n Is a code string C from an encoding unit of another band. n-1 , C n-2 , ..., C 1 And the obtained composite code string C is output to a device (not shown) or a network provided outside the encoding device 91. The composite code string C includes power correction information P notified from the adaptive mixing unit 102. n , adj Information such as (t) is included.
[0093]
Next, the mixing process of the adaptive mixing unit 102 executed in step S12 of FIG. 15 will be described with reference to the flowchart of FIG.
[0094]
In step S31, the mixing coefficient setting unit 122 receives distortion rate information E from the distortion rate detection unit 106. n It is determined whether or not (f) has been notified. When it is determined that the notification has been received, the process proceeds to step S32, and distortion rate information E n Based on (f), the mixing coefficients a and b of the multipliers 124 and 125 are set. For example, when notified that the distortion rate E = 10%, the mixing coefficient setting unit 122 extracts the mixing coefficient a = 0.95, b = 0.05 from the correspondence table as shown in FIG. Is set to “0.95”, and the mixing coefficient b of the multiplier 125 is set to “0.05”. The mixing coefficient setting unit 122 notifies the power correction unit 123 of the set mixing coefficient.
[0095]
On the other hand, in step S31, the distortion rate information E is sent from the distortion rate detection unit 106. n When it is determined that (f) has not been notified, in step S33, the mixing coefficient setting unit 122 sets the initial mixing coefficient in the multipliers 124 and 125, respectively. That is, as described above, in the initial state, the distortion rate E = 0%, and the mixing coefficients a = 1.00 and b = 0.00 are set.
[0096]
In step S34, the adder 126-1 uses the left signal L in the multiplier 124-1. n The signal obtained by multiplying (t) by the mixing coefficient a and the right signal R by the multiplier 125-1. n The signal obtained by multiplying (t) by the mixing coefficient b is added, and the mixing signal L n (t) mix Is generated and output to the area conversion unit 103-1.
[0097]
In step S35, the adder 126-2 uses the right signal R in the multiplier 124-2. n The signal obtained by multiplying (t) by the mixing coefficient a and the left signal L in the multiplier 125-2 n The signal obtained by multiplying (t) by the mixing coefficient b is added, and the mixing signal R n (t) mix Is output to the area conversion unit 103-2.
[0098]
That is, when the above-described mixing coefficients (a = 0.95, b = 0.05) are set in the multipliers 124 and 125 by steps S34 and S35, the left and right signals L n (t), R n One of (t) is output to the region conversion unit 103 after 5% of the other is mixed. In the initial state, left and right signal L n (t), R n (t) is output to the region conversion unit 103 in a completely stereo state without being mixed.
[0099]
In step S36, the power calculation unit 121 determines that the signal L divided into a predetermined band by the filter bank 101. n (t), R n Power value P of (t) ln , P rn Is calculated and notified to the power correction unit 123.
[0100]
In step S37, the power correction unit 123 receives the signal L supplied from the power calculation unit 121. n (t), R n Power value P of (t) ln , P rn Based on the mixing coefficients a and b notified from the mixing coefficient setting unit 122, power correction information P used when power correction is performed in a decoding device 151 (see FIG. 19) described later. n , adj (t) is generated and output to the multiplexer 107.
[0101]
For example, from the power calculation unit 121, the signal L n Power value P of (t) ln = 5.0, R n Power value P of (t) rn When 1.0 is notified and the mixing coefficient setting unit 122 notifies that the mixing coefficients a = 0.75 and b = 0.25 (when the distortion rate E = 50%), the fourth row from the top in FIG. As shown, power correction information P n , adj As (t) (power weighting coefficient), c = 1.25 and d = 0.50 are extracted. That is, in the decoding device 151, the signal L n Signal L ′ obtained when data of (t) is decoded n (t) mix Is the power value P lnmix = 4.0, signal R n Signal R ′ obtained when data of (t) is decoded n (t) mix Is the power value P rnmix Since the reproduction is performed at 2.0, power weighting coefficients c and d that are equal to the input signal when the reproduction signal is multiplied are extracted and output to the multiplexer 107.
[0102]
For example, when the distortion rate is high, adaptive mixing section 102 sets the mixing coefficient so as to change the left and right signals in a monaural manner, and increases the operation probability of MS stereo encoding or IS stereo encoding. As a result, the SNR can be increased and the distortion rate can be decreased. Further, as described above, the normalized spectrum l is set by setting the mixing coefficient based on the distortion rate information that has been fed back. n (f), r n In the region (f), a region having a high correlation is generated in a region having no high correlation. Further, in the decoding device, the power correction information P n , adj Since power correction is performed based on (t), the separation of the left and right signals is saved.
[0103]
Next, the encoding control process of the encoding control unit 104 executed in step S14 of FIG. 15 will be described with reference to the flowchart of FIG.
[0104]
In step S51, the normalization unit 141 normalizes the input signal for each divided frequency band or for each range of small regions obtained by collecting several spectra in the same divided frequency band. Generated normalized spectral signal l n (f), r n (f) is supplied to the adder 142-1 and the subtractor 142-2, and in step S52, the sum signal s of the normalized spectrum signal n (f) (= | l n (f) + r n (f) |) is added to the difference signal d by the adder 142-1. n (f) (= | l n (f) -r n (f) |) is respectively generated by the subtractor 142-2. Sum signal s of the generated normalized spectral signal n (f) and difference signal d n (f) is supplied to the comparison unit 143.
[0105]
In step S53, the comparison unit 143 receives the input signal s. n The total value S of all bands in (f) is expressed by the following equation (1) as signal d n The total value D of the normalized range of (f) is calculated by the following equation (2).
[Expression 1]
Figure 0003951690
[Expression 2]
Figure 0003951690
In these equations, f 0 Is the first spectrum number in the normalized range, f 1 Indicates the number of the terminal spectrum.
[0106]
Normalized spectral signal l n (f) and normalized spectral signal r n As (f) is more similar (the correlation is higher), the total value S is larger and the total value D is smaller. Conversely, the normalized spectral signal l n (f) and normalized spectral signal r n When (f) is different (correlation is low), the sum value S and the sum value D are the same value, so by calculating the ratio of the sum values S and D (sum value ratio S / D) , Normalized spectral signal l n (f) and normalized spectral signal r n The correlation of (f) can be acquired. For example, if the sum value ratio S / D is greater than `` 1 '', the normalized spectral signal l n (f) and normalized spectral signal r n (f) shows a high correlation.
[0107]
Then, in step S54, the comparison unit 143 sets an allowable error level (threshold value) in which the sum value ratio S / D calculated in step S53 is set in advance for each of the divided frequency bands or normalized small regions. Judge whether it is smaller than Thr. When the comparison unit 143 determines that the total value ratio S / D is smaller than the allowable error level Thr, the comparison unit 143 proceeds to step S55, and the spectral signal L input to the encoding unit 105 is obtained. n (f), R n (f) is selected to be encoded by dual encoding, and is notified to the encoding unit 105. That is, the allowable error level is a normalized spectrum signal l if the sum value ratio S / D is equal to or higher than a predetermined level. n (f) and normalized spectral signal r n If (f) has a correlation above a predetermined level), it is set to force encoding by MS or IS stereo encoding. In this embodiment, the normalized spectrum signal l is calculated using the ratio of the summation values S and D. n (f) and normalized spectral signal r n Although the correlation of (f) is determined, the correlation determination method is naturally not limited to this. n (f) and r n The determination may be made using other parameters, such as obtaining a correlation coefficient by comparing the absolute values of (f).
[0108]
On the other hand, in step S54, when the comparison unit 143 determines that the sum value ratio S / D is larger than the allowable error level Thr, the comparison unit 143 notifies the comparison unit 144 accordingly. Then, in step S56, the comparison unit 144 sets d for the spectrum of the target band. n It is determined whether the maximum value of (f) is greater than the quantization accuracy level Thq that can be realized by the decoding device 151. That is, the comparison unit 144 outputs the difference signal d n When it is necessary to encode (f), MS stereo encoding is selected, and when it is not necessary to encode, IS stereo encoding is selected.
[0109]
In step S56, the comparison unit 144 determines that d n When it is determined that the maximum value of (f) is larger than the quantization accuracy level Thq, the process proceeds to step S57, where the spectrum signal L input to the encoding unit 105 is processed. n (f), R n (f) is selected to be encoded by MS stereo encoding, and is notified to the encoding unit 105. In addition, the comparison unit 144 determines that d is d at step S56. n When it is determined that the maximum value of (f) is smaller than the quantization accuracy level Thq, the process proceeds to step S58, where the spectrum signal L input to the encoding unit 105 is processed. n (f), R n (f) is selected to be encoded by IS stereo encoding, and is notified to the encoding unit 105.
[0110]
This makes the normalized spectral signal l n (f) and normalized spectral signal r n (f) has a high correlation, and even if there is a possibility that higher SNR can be achieved with dual coding than with MS or IS stereo coding, the summation ratio S / D is noise in terms of hearing. If it is higher than a threshold that cannot be heard, the input signal is encoded by MS or IS stereo encoding.
[0111]
The difference signal d n Even if (f) is not encoded, the information regarding the normalization of the left and right signals is encoded, so that IS stereo encoding can be considered equivalent to MS stereo encoding. As a result, a processing unit that performs MS stereo encoding and a processing unit that performs IS stereo encoding are not provided separately, and the encoding device 91 can be configured to be smaller.
[0112]
The allowable error level Thr is set according to the configuration of the coding system, such as the block length of area conversion and bit allocation. The quantization accuracy level Thq may be set to the highest quantization accuracy level that can be realized by the encoding device 91, or the quantization accuracy level Thq (f) may be set for each frequency band. . That is, the quantization accuracy level Thq is also set according to the system, like the allowable error level Thr.
[0113]
18 shows the relationship between the separation and the signal-to-noise ratio SNR in the encoding device 91 (FIG. 18A), and the temporal change in the signal-to-noise ratio SNR of the encoded (quantized) signal (see FIG. B)), MS stereo coding operating time probability P MS , Or IS stereo coding operating time probability P IS It is a figure which shows the time change (FIG.18 (C)) of this, and the time change (FIG.18 (D)) of the separation of a left-right signal.
[0114]
As shown in FIG. 18B and FIG. 18C, the signal-to-noise ratio SNR and the operating time probability P of MS stereo coding MS , Or IS stereo coding operating time probability P IS Are linked to each other. Therefore, as described above, P MS , P IS Can be controlled to improve the SNR. Thereby, sound quality can be improved.
[0115]
Further, as shown in FIG. 18A, as the SNR improves, the separation of the left and right signals deteriorates (monaural), so that the separation is illustrated in accordance with the fluctuation of the SNR shown in FIG. 18 (D), but as described above, the power correction information P n , adj Since (t) is generated and power adjustment is performed at the time of decoding, the separation of the left and right signals can be improved. In FIGS. 18B, 18C, and 18D, the line L 1 , L Three , L Five Shows the characteristics of the encoding device 91 of FIG. 2 , L Four , L 6 These show the characteristics of a conventional encoding device.
[0116]
In the above-described example, the encoding distortion rate is detected, the mixing coefficient is set according to the value, and the input signal at the next timing is mixed. However, it is predetermined until the distortion rate becomes a predetermined threshold value or less. The input signal in the band may be configured to be repeatedly mixed. In this case, the signal L generated by the filter bank 101-1 n (t) and the signal R generated by the filter bank 101-2 n (t) is stored in a memory or the like (not shown), and distortion rate information E fed back to the adaptive mixing unit 102 n By (f), mixing, region conversion, and encoding are performed again.
[0117]
FIG. 19 is a block diagram illustrating a configuration example of a decoding device to which the present invention is applied.
[0118]
The demultiplexer 161 converts the code string C supplied via a transmission path (not shown) into a code string C for each predetermined band. n , C n-1 , ..., C 1 Each code string C i Are output to a corresponding decoding unit (for the sake of convenience, only the decoding unit 162 is shown). Code string C n Is supplied to the decoding unit 162.
[0119]
The decoding unit 162 receives the input code string C. n Is decoded by a decoding method corresponding to the encoding method, and the obtained spectrum signal L ′ n (f) is transmitted to the region conversion unit 163-1 and the spectrum signal R ′. n (f) is output to the area conversion unit 163-2. In addition, the decoding unit 162 receives the code string C. n Power correction information P obtained from n , adj (t) is supplied to the power weighting unit 164.
[0120]
The region converting unit 163 receives the input spectrum signal L ′. n (f), R ' n The signal L ′ obtained by converting to (f) using the inverse MDCT or the like to a time domain signal n (t) mix , R ' n (t) mix Is output to the power weighting unit 164.
[0121]
The power weighting unit 164 receives the notified power correction information P n , adj Based on the power weighting coefficient included in (t), the signal L ′ supplied from the region conversion unit 163 n (t) mix , R ' n (t) mix The generated signal L ' n (t) to the filter bank 165-1 and the signal R ′ n (t) is output to the filter bank 165-2.
[0122]
The filter bank 165 receives the signal L ′ supplied from the power weighting unit 164. n (t), R ' n (t), signal L 'of other band n-1 (t), ..., L ' 1 (t), R ' n-1 (t), ..., R ' 1 The audio signals L ′ (t) and R ′ (t) generated by combining with (t) are output to the outside of the decoding device 151.
[0123]
FIG. 20 is a block diagram illustrating a detailed configuration example of the power weighting unit 164.
[0124]
The power weighting coefficient setting unit 171 receives the supplied power correction information P n , adj The power weighting coefficient c included in (t) is set in the multiplier 172-1, and the power weighting coefficient d is set in the multiplier 172-2.
[0125]
The multiplier 172-1 receives the input signal L ′. n (t) mix Is multiplied by the power weighting coefficient c, and the multiplier 172-2 receives the input signal R ′. n (t) mix Is multiplied by the power weighting coefficient d and the resulting signal L ′ n (t), R ' n (t) is output to the filter banks 165-1 and 165-2.
[0126]
FIG. 21 is a block diagram illustrating a detailed configuration example of the multiplier 172-1 (not shown, but the multiplier 172-2 is configured similarly).
[0127]
In this example, buffers 172A and 172B are provided, and the currently set power weighting coefficient c (t 0 ) Is set in the buffer 124A immediately before (it was set when the time t = 1). The power weighting coefficient c (t 1 ) Are stored in the buffer 172B.
[0128]
That is, when the power weighting coefficient c (t) is changed, a discontinuous point may occur in the signal output at that time. Therefore, as shown in lines (1) to (3) in FIG. 22, it is possible to suppress the occurrence of discontinuous points by changing the power weighting coefficient c (t) linearly or curvedly. it can. In this example, two buffers are provided, but three or more buffers may be provided. Further, the interpolation function for interpolating each power weighting coefficient may be linear, or may be interpolated by a quadratic or cubic function.
[0129]
Next, the decoding process of the decoding device 151 in FIG. 19 will be described with reference to the flowchart in FIG.
[0130]
In step S71, the demultiplexer 161 converts the input code string C into a code string C having a predetermined number of bands n. n , C n-1 , ..., C 1 And output to the corresponding decoding unit.
[0131]
In step S72, the decoding unit 162 selects a decoding method from a combination of normalization information, quantization accuracy information, codebook number, and the like, and receives the input code string C. n And the resulting spectral signal L ′ n (f) is transmitted to the region conversion unit 163-1 and the spectrum signal R ′. n (f) is output to the area conversion unit 163-2. In addition, the decoding unit 162 receives the code string C. n Power correction information P obtained from n , adj (t) is output to the power weighting unit 164.
[0132]
In step S73, the region conversion units 163-1 and 163-2 receive the input spectrum signal L ′. n (f), R ' n The signal L ′ obtained by converting to (f) using the inverse MDCT or the like to a time domain signal n (t) mix , R ' n (t) mix Is output to the power weighting unit 164. Signal L n '(t) mix , R n '(t) mix Is a signal that may have been mixed in the encoding device 91. Depending on the setting of the mixing coefficient, a signal that was originally a stereo signal may be almost a monaural signal. Therefore, in step S74, the power weighting unit 164 receives the notified power correction information P. n , adj Based on (t), a power weighting process is executed to reproduce a pseudo stereo signal. Details of the power weighting process will be described later with reference to the flowchart of FIG.
[0133]
Signal L 'obtained by the power weighting process n (t), R ' n (t) is output to the filter banks 165-1 and 165-2, respectively. The above processing is performed for each band.
[0134]
In step S75, the filter bank 165 receives the signal L ′ supplied from the power weighting unit 164. n (t), R ' n (t), signal L 'of other band n-1 (t), ..., L ' 1 (t), R ' n-1 (t), ..., R ' 1 (t) and the synthesized audio signals L ′ (t) and R ′ (t) of the entire band are output to the outside of the decoding device 151.
[0135]
Next, the power weighting process executed in step S74 in FIG. 23 will be described with reference to the flowchart in FIG.
[0136]
In step S91, the power weighting coefficient setting unit 171 determines the power correction information P notified from the decoding unit 162. n , adj Based on the power weighting coefficient included in (t), the power weighting coefficients c and d of the multipliers 172-1 and 172-2 are set.
[0137]
In step S92, the multipliers 172-1 and 172-2 respectively use the power weighting coefficients c and d as input signals L ′. n (t) mix , R ' n (t) mix The signal L 'generated by multiplying by n (t), R ' n (t) is output to the filter banks 165-1 and 165-2, respectively.
[0138]
For example, as described above, in the power correction unit 123, the power correction information P n , adj (t) When the power weighting coefficients are set to c = 1.25 and d = 0.05, and the power weighting coefficients c and d are set by the power weighting coefficient setting unit 171, the multiplier 172-1 is set. Is the input signal L ' n (t) mix Is multiplied by 1.25 and the generated signal L ' n (t) is output to the filter bank 165-1. Further, the multiplier 172-2 receives the input signal R ′. n (t) mix Is multiplied by 0.05 and the generated signal R ' n (t) is output to the filter bank 165-2.
[0139]
Thereby, when encoding, a pseudo stereo signal can be reproduced even when the separation of the left and right signals is deteriorated.
[0140]
The series of processes described above can be executed by hardware, but can also be executed by software. In this case, for example, the encoding device 91 is configured by a personal computer 181 as shown in FIG.
[0141]
25, a CPU (Central Processing Unit) 191 performs various processes according to a program stored in a ROM (Read Only Memory) 192 or a program loaded from a storage unit 198 into a RAM (Random Access Memory) 193. Execute. Further, the RAM 193 appropriately stores data necessary for the CPU 191 to execute various processes.
[0142]
The CPU 191, ROM 192, and RAM 193 are connected to each other via a bus 194. An input / output interface 195 is also connected to the bus 194.
[0143]
The input / output interface 195 includes an input unit 196 including a keyboard and a mouse, a display including a CRT and an LCD, an output unit 197 including a speaker, a storage unit 198 including a hard disk, a modem, a terminal adapter, and the like. A configured communication unit 199 is connected. The communication unit 199 performs communication processing via a network.
[0144]
A drive 200 is connected to the input / output interface 195 as necessary, and a magnetic disk 201, an optical disk 202, a magneto-optical disk 203, a semiconductor memory 204, or the like is appropriately mounted, and a computer program read therefrom is read. If necessary, it is installed in the storage unit 198.
[0145]
When a series of processing is executed by software, a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed in a general-purpose personal computer 181 from a network or a recording medium.
[0146]
As shown in FIG. 25, this recording medium includes a magnetic disk 201 (including a floppy disk) on which a program is recorded and an optical disk 202 (CD -ROM, DVD (including Digital Versatile Disk)), magneto-optical disk 203 (including MD (Mini-Disk)), or package media consisting of semiconductor memory 204, etc., as well as pre-installed in the device body In this state, the program is configured by a ROM 192 in which a program is recorded and a hard disk included in the storage unit 198.
[0147]
In the present specification, the step of describing the program recorded in the recording medium is not limited to the processing performed in time series according to the described order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
[0148]
【The invention's effect】
According to the encoding apparatus and method and the recording medium program of the present invention, the encoding method is selected based on the input signal, the input signal is encoded based on the selected encoding method, and the detected distortion rate is obtained. Based on the correspondingly determined mixing ratio, the left and right components of the input signal are mixed. Since the encoding method is selected based on the mixed input signal, the audio signal can be encoded with higher efficiency.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of a conventional audio signal transmission system using MS stereo encoding.
FIG. 2 is a block diagram illustrating a configuration example of a conventional audio signal transmission system using IS stereo encoding.
FIG. 3 is a block diagram illustrating a configuration example of a conventional encoding device.
FIG. 4 is a block diagram illustrating a configuration example of another conventional encoding apparatus.
FIG. 5 is a block diagram illustrating a configuration example of still another conventional encoding apparatus.
FIG. 6 is a flowchart illustrating processing of a conventional encoding device.
FIG. 7 is a diagram illustrating a relationship between an operation of a conventional encoding device and a signal to be generated.
FIG. 8 is a block diagram illustrating a configuration example of an encoding device to which the present invention has been applied.
9 is a block diagram illustrating a configuration example of an adaptive mixing unit in FIG. 8. FIG.
10 is a diagram illustrating an example of information stored in a mixing coefficient setting unit in FIG. 9;
11 is a diagram illustrating an example of information stored in a power correction unit in FIG. 9;
12 is a diagram illustrating a configuration example of a multiplier in FIG. 9;
FIG. 13 is a diagram illustrating an example of an interpolation function of a mixing coefficient.
14 is a block diagram illustrating a configuration example of an encoding control unit in FIG. 8. FIG.
FIG. 15 is a flowchart for explaining processing of the encoding device in FIG. 8;
FIG. 16 is a flowchart illustrating details of processing executed in step S12 of FIG.
FIG. 17 is a flowchart for explaining details of processing executed in step S14 of FIG. 15;
18 is a diagram illustrating a relationship between an operation of the encoding device in FIG. 8 and a signal to be generated.
FIG. 19 is a block diagram illustrating a configuration example of a decoding device to which the present invention has been applied.
20 is a block diagram illustrating a configuration example of a power weighting unit in FIG. 19;
FIG. 21 is a block diagram illustrating a configuration example of a multiplier in FIG. 20;
FIG. 22 is a diagram illustrating an example of an interpolation function of a power weighting coefficient.
FIG. 23 is a flowchart for describing processing of the decoding device in FIG. 19;
FIG. 24 is a flowchart illustrating details of processing executed in step S74 of FIG.
FIG. 25 is a block diagram illustrating a configuration example of a personal computer.
[Explanation of symbols]
91 Coding Device, 101-1 and 101-2 Filter Bank, 102 Adaptive Mixing Unit, 103-1 and 103-2 Region Conversion Unit, 104 Coding Control Unit, 105 Coding Unit, 106 Distortion Rate Detection Unit, 107 Multiplexer , 121 power calculation unit, 122 mixing coefficient setting unit, 123 power correction unit, 124-1 and 124-2 multiplier, 124A and 124B buffer, 125-1 and 125-2 multiplier, 126-1 and 126-2 addition 141-1 and 141-2 normalization unit, 142-1 adder, 142-2 subtractor, 143 comparison unit, 144 comparison unit, 151 decoding device, 161 demultiplexer, 162 decoding unit, 163-1 and 163 -2 area conversion unit, 164 power weighting unit, 165-1 and 165-2 filterbank, 171 power weighting coefficient setting unit, 172-1 and 172-2 multipliers, 172A and 172B buffer

Claims (11)

入力信号に基づいて符号化方式を選択する符号化方式選択手段と、
前記符号化方式選択手段により選択された前記符号化方式に基づいて、前記入力信号を符号化する符号化手段と、
前記符号化手段による符号化の歪み率を検出する歪み率検出手段と、
前記歪み率検出手段により検出された前記歪み率に対応して決定されるミキシング割合に基づいて、前記入力信号の左右成分をミキシングするミキシング手段と
を備え、
前記符号化方式選択手段は、前記ミキシング手段によりミキシングされた前記入力信号に基づいて、前記符号化方式を選択する
ことを特徴とする符号化装置。
An encoding method selection means for selecting an encoding method based on an input signal;
Encoding means for encoding the input signal based on the encoding method selected by the encoding method selection means;
Distortion rate detecting means for detecting a distortion rate of encoding by the encoding means;
Mixing means for mixing left and right components of the input signal based on a mixing ratio determined corresponding to the distortion rate detected by the distortion rate detection means,
The encoding apparatus, wherein the encoding method selection unit selects the encoding method based on the input signal mixed by the mixing unit.
前記符号化手段により符号化された前記入力信号を復号するときの出力補正情報を生成する出力補正情報生成手段をさらに備える
ことを特徴とする請求項1に記載の符号化装置。
The encoding apparatus according to claim 1, further comprising output correction information generation means for generating output correction information when the input signal encoded by the encoding means is decoded.
前記符号化方式選択手段は、前記符号化装置の構成により決定される閾値に基づいて、前記入力信号の前記符号化方式を選択する
ことを特徴とする請求項1に記載の符号化装置。
The encoding apparatus according to claim 1, wherein the encoding method selection unit selects the encoding method of the input signal based on a threshold value determined by a configuration of the encoding apparatus.
前記符号化方式選択手段は、デュアル符号化方式、MSステレオ符号化方式、ISステレオ符号化方式のいずれかから前記符号化方式を選択する
ことを特徴とする請求項1に記載の符号化装置。
The encoding apparatus according to claim 1, wherein the encoding method selection unit selects the encoding method from any one of a dual encoding method, an MS stereo encoding method, and an IS stereo encoding method.
前記符号化方式選択手段は、前記入力信号をミキシングして得られる信号の左右成分の相関が低いとき、前記デュアル符号化方式により符号化することを選択する
ことを特徴とする請求項4に記載の符号化装置。
5. The encoding method selecting unit, when the left and right components of a signal obtained by mixing the input signal have a low correlation, selects encoding by the dual encoding method. Encoding device.
前記符号化方式選択手段は、前記入力信号をミキシングして得られる信号の左右成分の相関を、前記左右成分の差信号の総和に対する和信号の総和の比を用いて判定する
ことを特徴とする請求項5に記載の符号化装置。
The encoding method selecting means determines a correlation between left and right components of a signal obtained by mixing the input signal, using a ratio of a sum of sum signals to a sum of difference signals of the left and right components. The encoding device according to claim 5.
前記符号化方式選択手段は、前記入力信号をミキシングして得られる信号の左右成分の相関が高いとき、MSステレオ符号化方式、ISステレオ符号化方式のどちらを選択するかを、前記入力信号の左右成分の差信号の絶対値の最大値に基づいて決定する
ことを特徴とする請求項5に記載の符号化装置。
The encoding method selection means determines whether to select the MS stereo encoding method or the IS stereo encoding method when the correlation between the left and right components of the signal obtained by mixing the input signal is high. The encoding device according to claim 5, wherein the encoding device is determined based on a maximum absolute value of a difference signal between the left and right components.
前記ミキシング手段は、前記ミキシング割合を記憶し、
直前に決定された前記ミキシング割合と、現在決定されている前記ミキシング割合の補間関数に基づいて前記ミキシング割合を変化させる
ことを特徴とする請求項1に記載の符号化装置。
The mixing means stores the mixing ratio,
The encoding apparatus according to claim 1, wherein the mixing ratio is changed based on an interpolation function of the mixing ratio determined immediately before and the mixing ratio currently determined.
前記入力信号を記憶する入力信号記憶手段をさらに備え、
前記ミキシング手段は、当該入力信号を符号化した際の歪み率に対応して決定されるミキシング割合に基づいて、前記入力信号記憶手段に記憶されている当該入力信号の左右成分を少なくとも1回ミキシングする
ことを特徴とする請求項1に記載の符号化装置。
Further comprising input signal storage means for storing the input signal;
The mixing means mixes the left and right components of the input signal stored in the input signal storage means at least once based on a mixing ratio determined corresponding to a distortion rate when the input signal is encoded. The encoding device according to claim 1, wherein:
入力信号に基づいて符号化方式を選択する符号化方式選択ステップと、
前記符号化方式選択ステップの処理により選択された前記符号化方式に基づいて、前記入力信号を符号化する符号化ステップと、
前記符号化ステップの処理による符号化の歪み率を検出する歪み率検出ステップと、
前記歪み率検出ステップの処理により検出された前記歪み率に対応して決定されるミキシング割合に基づいて、前記入力信号の左右成分をミキシングするミキシングステップと
を含み、
前記符号化方式選択ステップの処理は、前記ミキシングステップの処理によりミキシングされた前記入力信号に基づいて、前記符号化方式を選択する
ことを特徴とする符号化方法。
An encoding method selection step of selecting an encoding method based on an input signal;
An encoding step for encoding the input signal based on the encoding method selected by the processing of the encoding method selection step;
A distortion rate detecting step of detecting a distortion rate of encoding by the processing of the encoding step;
A mixing step of mixing left and right components of the input signal based on a mixing ratio determined corresponding to the distortion rate detected by the processing of the distortion rate detection step,
The encoding method selecting step selects the encoding method based on the input signal mixed by the mixing step processing.
入力信号に基づいて符号化方式を選択する符号化方式選択ステップと、
前記符号化方式選択ステップの処理により選択された前記符号化方式に基づいて、前記入力信号を符号化する符号化ステップと、
前記符号化ステップの処理による符号化の歪み率を検出する歪み率検出ステップと、
前記歪み率検出ステップの処理により検出された前記歪み率に対応して決定されるミキシング割合に基づいて、前記入力信号の左右成分をミキシングするミキシングステップと
を含み、
前記符号化方式選択ステップの処理は、前記ミキシングステップの処理によりミキシングされた前記入力信号に基づいて、前記符号化方式を選択する
ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体
An encoding method selection step of selecting an encoding method based on an input signal;
An encoding step for encoding the input signal based on the encoding method selected by the processing of the encoding method selection step;
A distortion rate detecting step of detecting a distortion rate of encoding by the processing of the encoding step;
A mixing step of mixing left and right components of the input signal based on a mixing ratio determined corresponding to the distortion rate detected by the processing of the distortion rate detection step,
In the encoding method selection step, the encoding method is selected based on the input signal mixed in the mixing step. The computer-readable program is recorded. Medium .
JP2001370663A 2000-12-14 2001-12-04 Encoding apparatus and method, and recording medium Expired - Fee Related JP3951690B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001370663A JP3951690B2 (en) 2000-12-14 2001-12-04 Encoding apparatus and method, and recording medium

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000-380642 2000-12-14
JP2000380642 2000-12-14
JP2001370663A JP3951690B2 (en) 2000-12-14 2001-12-04 Encoding apparatus and method, and recording medium

Publications (2)

Publication Number Publication Date
JP2002244698A JP2002244698A (en) 2002-08-30
JP3951690B2 true JP3951690B2 (en) 2007-08-01

Family

ID=26605846

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001370663A Expired - Fee Related JP3951690B2 (en) 2000-12-14 2001-12-04 Encoding apparatus and method, and recording medium

Country Status (1)

Country Link
JP (1) JP3951690B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9672832B2 (en) 2011-07-01 2017-06-06 Sony Corporation Audio encoder, audio encoding method and program

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100501930B1 (en) * 2002-11-29 2005-07-18 삼성전자주식회사 Audio decoding method recovering high frequency with small computation and apparatus thereof
ES2355240T3 (en) * 2003-03-17 2011-03-24 Koninklijke Philips Electronics N.V. MULTIPLE CHANNEL SIGNAL PROCESSING.
SE0301273D0 (en) * 2003-04-30 2003-04-30 Coding Technologies Sweden Ab Advanced processing based on a complex exponential-modulated filter bank and adaptive time signaling methods
SE0400998D0 (en) 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
JP2006121213A (en) * 2004-10-19 2006-05-11 Sharp Corp Data converter, data converting method, data conversion program and program recording medium
WO2006059567A1 (en) * 2004-11-30 2006-06-08 Matsushita Electric Industrial Co., Ltd. Stereo encoding apparatus, stereo decoding apparatus, and their methods
JP4842147B2 (en) * 2004-12-28 2011-12-21 パナソニック株式会社 Scalable encoding apparatus and scalable encoding method
NO328256B1 (en) * 2004-12-29 2010-01-18 Tandberg Telecom As Audio System
KR100707177B1 (en) * 2005-01-19 2007-04-13 삼성전자주식회사 Method and apparatus for encoding and decoding of digital signals
US7751572B2 (en) * 2005-04-15 2010-07-06 Dolby International Ab Adaptive residual audio coding
CN101167124B (en) * 2005-04-28 2011-09-21 松下电器产业株式会社 Audio encoding device and audio encoding method
RU2007139784A (en) * 2005-04-28 2009-05-10 Мацусита Электрик Индастриал Ко., Лтд. (Jp) AUDIO ENCODING DEVICE AND AUDIO ENCODING METHOD
JP2007004050A (en) * 2005-06-27 2007-01-11 Nippon Hoso Kyokai <Nhk> Device and program for encoding stereophonic signal
JPWO2008016098A1 (en) * 2006-08-04 2009-12-24 パナソニック株式会社 Stereo speech coding apparatus, stereo speech decoding apparatus, and methods thereof
EP2048658B1 (en) * 2006-08-04 2013-10-09 Panasonic Corporation Stereo audio encoding device, stereo audio decoding device, and method thereof
KR101149449B1 (en) * 2007-03-20 2012-05-25 삼성전자주식회사 Method and apparatus for encoding audio signal, and method and apparatus for decoding audio signal
RU2520329C2 (en) 2009-03-17 2014-06-20 Долби Интернешнл Аб Advanced stereo coding based on combination of adaptively selectable left/right or mid/side stereo coding and parametric stereo coding
JP5568999B2 (en) * 2010-01-15 2014-08-13 ヤマハ株式会社 Playback device, musical sound signal output device, playback system, and program
JP5533502B2 (en) * 2010-09-28 2014-06-25 富士通株式会社 Audio encoding apparatus, audio encoding method, and audio encoding computer program
KR20140017338A (en) * 2012-07-31 2014-02-11 인텔렉추얼디스커버리 주식회사 Apparatus and method for audio signal processing
US20180358024A1 (en) * 2015-05-20 2018-12-13 Telefonaktiebolaget Lm Ericsson (Publ) Coding of multi-channel audio signals
CN108269577B (en) 2016-12-30 2019-10-22 华为技术有限公司 Stereo encoding method and stereophonic encoder
JP7149936B2 (en) * 2017-06-01 2022-10-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Encoding device and encoding method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9672832B2 (en) 2011-07-01 2017-06-06 Sony Corporation Audio encoder, audio encoding method and program

Also Published As

Publication number Publication date
JP2002244698A (en) 2002-08-30

Similar Documents

Publication Publication Date Title
JP3951690B2 (en) Encoding apparatus and method, and recording medium
JP5934922B2 (en) Decoding device
US7672744B2 (en) Method and an apparatus for decoding an audio signal
KR101178114B1 (en) Apparatus for mixing a plurality of input data streams
JP4589962B2 (en) Apparatus and method for generating level parameters and apparatus and method for generating a multi-channel display
JP4772279B2 (en) Multi-channel / cue encoding / decoding of audio signals
JP5455647B2 (en) Audio decoder
RU2639952C2 (en) Hybrid speech amplification with signal form coding and parametric coding
KR101569032B1 (en) A method and an apparatus of decoding an audio signal
JP5554065B2 (en) Parametric stereo decoder with reduced complexity
NO344093B1 (en) Compatible multi-channel coding / decoding.
US20070160219A1 (en) Decoding of binaural audio signals
WO2009131066A1 (en) System, device, method, and program for signal analysis control and signal control
WO2007080225A1 (en) Decoding of binaural audio signals
WO2013156814A1 (en) Stereo audio signal encoder
KR100763919B1 (en) Method and apparatus for decoding input signal which encoding multi-channel to mono or stereo signal to 2 channel binaural signal
CN112567765B (en) Spatial audio capture, transmission and reproduction
US6614365B2 (en) Coding device and method, decoding device and method, and recording medium
JP2010078915A (en) Audio decoding method, apparatus, and program
US20100241434A1 (en) Multi-channel decoding device, multi-channel decoding method, program, and semiconductor integrated circuit
WO2010082471A1 (en) Audio signal decoding device and method of balance adjustment
US20120195435A1 (en) Method, Apparatus and Computer Program for Processing Multi-Channel Signals
JP2001296894A (en) Voice processor and voice processing method
JP5483813B2 (en) Multi-channel speech / acoustic signal encoding apparatus and method, and multi-channel speech / acoustic signal decoding apparatus and method
JP4125520B2 (en) Decoding method for transform-coded data and decoding device for transform-coded data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070416

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100511

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees