JPH10313251A - オーディオ信号変換装置及び方法、予測係数生成装置及び方法、予測係数格納媒体 - Google Patents

オーディオ信号変換装置及び方法、予測係数生成装置及び方法、予測係数格納媒体

Info

Publication number
JPH10313251A
JPH10313251A JP9121329A JP12132997A JPH10313251A JP H10313251 A JPH10313251 A JP H10313251A JP 9121329 A JP9121329 A JP 9121329A JP 12132997 A JP12132997 A JP 12132997A JP H10313251 A JPH10313251 A JP H10313251A
Authority
JP
Japan
Prior art keywords
audio signal
digital audio
prediction coefficient
class code
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9121329A
Other languages
English (en)
Other versions
JP3946812B2 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Masaaki Hattori
正明 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP12132997A priority Critical patent/JP3946812B2/ja
Publication of JPH10313251A publication Critical patent/JPH10313251A/ja
Application granted granted Critical
Publication of JP3946812B2 publication Critical patent/JP3946812B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 オーディオ信号の波形再現性及び音質の向上
を図ることのできるオーディオ信号変換装置及び方法、
予測係数生成装置及び方法、予測係数格納媒体を提供す
る。 【解決手段】 推定演算回路15は、時間軸領域切出回
路11より供給された所定時間毎のオーディオデータと
メモリテーブル14から供給された予測係数に基づいて
演算処理を行うことにより、高音質なオーディオ補間デ
ータを算出する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、レートコンバータ
やPCM(Pulse Code Modulation)復号装置等に用い
て好適なオーディオ信号変換装置等に関し、特に、デー
タの補間処理を行うオーディオ信号変換装置等に関す
る。
【0002】
【従来の技術】従来より、ディジタルオーディオ信号を
ディジタル/アナログ(D/A)コンバータに入力する
前に、サンプリング周波数を元の値の数倍に変換するオ
ーバーサンプリング処理を行っている。これにより、上
記D/Aコンバータから出力されたディジタルオーディ
オ信号はアナログ・アンチ・エイリアス・フィルタの位
相特性によって可聴周波数高域で一定に保たれ、また、
サンプリングに伴うディジタル系のイメージ雑音の影響
が排除されるようになっている。上記オーバーサンプリ
ング処理では、通常、線形一次(直線)補間方式のディ
ジタルフィルタが用いられている。このようなディジタ
ルフィルタは、サンプリングレートが変わったりデータ
が欠落した場合等に、複数の既存データの平均値を求め
て直線的な補間データを生成するものである。
【0003】
【発明が解決しようとする課題】しかし、オーバーサン
プリング処理後のディジタルオーディオ信号は、線形一
次補間によって時間軸方向に対してデータ量が数倍に緻
密になっているものの、オーバーサンプリング処理後の
ディジタルオーディオ信号の周波数帯域は変換前とあま
り変わらず、音質そのものは向上していない。さらに、
補間されたデータは必ずしもA/D変換前のアナログオ
ーディオ信号の波形に基づいて生成されたのではないた
め、波形再現性もほとんど向上していない。
【0004】また、サンプリング周波数の異なるディジ
タルオーディオ信号をダビングする場合において、サン
プリング・レート・コンバータを用いて周波数を変換し
ているが、かかる場合でも線形一次ディジタルフィルタ
によって直線的なデータの補間しか行うことができず、
音質や波形再現性を向上することができなかった。さら
に、ディジタルオーディオ信号のデータサンプルが欠落
した場合において同様である。
【0005】本発明は、このような実情に鑑みてなされ
たものであり、オーディオ信号の波形再現性及び音質の
向上を図ることのできるオーディオ信号変換装置及び方
法、予測係数生成装置及び方法、予測係数格納媒体を提
供することを目的とする。
【0006】
【課題を解決するための手段】上述の課題を解決するた
めに、本発明に係るオーディオ信号変換装置は、所定時
間毎にディジタルオーディオ信号を切り出す信号切出手
段と、切り出されたディジタルオーディオ信号を圧縮し
て圧縮データパターンを生成するパターン生成手段と、
生成された圧縮データパターンに基づいて、切り出され
たディジタルオーディオ信号の属するクラスコードを発
生するクラスコード発生手段と、ディジタルオーディオ
信号を変換するための推定式の予測係数がクラスコード
毎に、記憶され、クラスコード発生手段で発生されたク
ラスの予測係数を出力する予測係数記憶手段と、予測係
数記憶手段から出力された予測係数と切り出されたディ
ジタルオーディオ信号に基づいて推定演算して、変換処
理済みのディジタルオーディオ信号を出力する推定演算
手段とを備えるものである。
【0007】本発明に係るオーディオ信号変換方法は、
所定時間毎にディジタルオーディオ信号を切り出し、切
り出されたディジタルオーディオ信号を圧縮して圧縮デ
ータパターンを生成し、生成された圧縮データパターン
に基づいて、切り出されたディジタルオーディオ信号の
属するクラスコードを発生し、ディジタルオーディオ信
号を変換するための推定式の予測係数がクラスコード毎
に、記憶され、クラスコード発生手段で発生されたクラ
スの予測係数を出力し、出力された予測係数と切り出さ
れたディジタルオーディオ信号に基づいて推定演算し
て、変換処理済みのディジタルオーディオ信号を出力す
ることを特徴とするものである。
【0008】本発明に係る予測係数生成装置は、ディジ
タルオーディオ信号を間引く間引き処理手段と、間引か
れたディジタルオーディオ信号を所定時間毎に切り出す
信号切出手段と、切り出されたディジタルオーディオ信
号を圧縮して圧縮データパターンを生成するパターン生
成手段と、生成された圧縮データパターンに基づいて、
切り出されたディジタルオーディオ信号の属するクラス
コードを発生するクラスコード発生手段と、あるクラス
コードにおける発生した圧縮データパターンの所定サン
プルの行列式をX、算出すべき予測係数の行列式をW、
間引かれる前のディジタルオーディオ信号の所定サンプ
ルの行列式をYとしたとき、 W=X-1・Y 算出式から各クラスコード毎に予測係数の行列式Wを算
出する予測係数算出手段と、算出された予測係数を記憶
する記憶手段とを備えるものである。
【0009】本発明に係る予測係数生成方法は、ディジ
タルオーディオ信号の間引き処理を行い、間引かれたデ
ィジタルオーディオ信号を所定時間毎に切り出し、切り
出されたディジタルオーディオ信号を圧縮して圧縮デー
タパターンを生成し、生成された圧縮データパターンに
基づいて、切り出されたディジタルオーディオ信号の属
するクラスコードを発生し、あるクラスコードにおける
発生した圧縮データパターンの所定サンプルの行列式を
X、算出すべき予測係数の行列式をW、間引かれる前の
ディジタルオーディオ信号の所定サンプルの行列式をY
としたとき、 W=X-1・Y 算出式から各クラスコード毎に予測係数の行列式Wを算
出し、算出された予測係数を記憶することを特徴とする
ものである。
【0010】本発明に係る予測係数格納媒体は、ディジ
タルオーディオ信号の間引き処理を行い、間引かれたデ
ィジタルオーディオ信号を所定時間毎に切り出し、切り
出されたディジタルオーディオ信号を圧縮して圧縮デー
タパターンを生成し、生成された圧縮データパターンに
基づいて、切り出されたディジタルオーディオ信号の属
するクラスコードを発生し、あるクラスコードにおける
発生した圧縮データパターンの所定サンプルの行列式を
X、算出すべき予測係数の行列式をW、間引かれる前の
ディジタルオーディオ信号の所定サンプルの行列式をY
としたとき、 W=X-1・Y 算出式から各クラスコード毎に予測係数の行列式Wを算
出することによって生成された予測係数が格納されるこ
とを特徴とするものである。
【0011】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら詳細に説明する。本発明は、ディ
ジタルオーディオ信号(以下、オーディオデータとい
う。)のサンプリングレートを上げたり、オーディオデ
ータにエラーが生じたときに、欠落しているオーディオ
データを補間したものであって真値に最も近いオーディ
オデータ(以下、オーディオ補間データという)を生成
するものである。
【0012】本発明は、具体的には図1に示すオーディ
オ信号変換装置に適用することができる。上記オーディ
オ信号変換装置1は、オーディオデータを所定時間毎に
切り出す時間軸領域切出回路11と、切り出されたオー
ディオデータを圧縮して圧縮データパターンを生成する
ADRC(Adaptive Dynamic Range Coding )回路12
と、切り出されたオーディオデータの属するクラスコー
ドを発生するクラスコード発生回路13と、推定式の予
測係数がクラスコード毎に、記憶されているメモリテー
ブル14と、予測係数と上記切り出されたオーディオデ
ータに基づいて推定演算する推定演算回路15とを備え
る。
【0013】時間軸領域切出回路11は、入力端子より
供給された図2(A)に示すオーディオデータを所定時
間毎の領域に分割する。なお、ここでは、時間軸領域分
割回路11は、オーディオデータを6サンプル毎に分割
するものとする。時間軸領域切出回路11は、分割して
ブロック化したオーディオデータをADRC回路12及
び推定演算回路15に供給する。
【0014】ADRC回路12は、上述のように各時間
軸領域のオーディオデータを、例えば8ビットから2ビ
ットに圧縮するような演算を行うことによりパターン圧
縮データを形成し、このパターン圧縮データをクラスコ
ード発生回路13へ供給する。
【0015】ADRC回路12は、通常、VTR(Vide
o Tape Recoder)向け高能率符号化用に開発された適応
的量子化を行うものである。ここでは、信号レベルの局
所的なパターンを短い語長で効率的に表現できるので、
信号パターンのクラス分類のコード発生に使用されてい
る。
【0016】具体的には、6つの8ビットのオーディオ
データをクラス分類しようとする場合では、248という
膨大な数のクラスに分類しなければならない。信号波形
の特徴を把握する意味では理想的であるが、回路上の負
担が多く、実用的ではない。そこで、ADRC回路12
で生成されるパターン圧縮データに基づいてクラス分類
を行っている。例えば、6つのオーディオデータに対し
て1ビットの量子化を実行すると、6つのオーディオデ
ータを6ビットで表すことができ、26 =64クラスに
分類することが可能である。
【0017】ここで、ADRC回路12は、領域内のダ
イナミックレンジをDR、ビット割当をn、領域内画素
のデータレベルをL、量子化コードをQとすると、以下
の式(1)に従って、領域内の最大値MAXと最小値M
INとの間を指定されたビット長で均等に分割して量子
化を行う。
【0018】
【数1】
【0019】ADRC回路12は、時間軸領域切出回路
11で切り出された各オーディオデータを各2ビットに
圧縮する。なお、圧縮されたオーディオデータをそれぞ
れq1〜q6 とする。
【0020】クラスコード発生回路13は、ADRC回
路12から供給されるパターン圧縮データに基づいて以
下の式(2)の演算を行って、そのブロックが属するク
ラスを検出し、そのクラスを示すクラスコードclass を
メモリテーブル14へ供給する。このクラスコードclas
s は、メモリテーブル14からの読み出しアドレスを示
す。
【0021】
【数2】
【0022】ここでは、n=6、P=2である。
【0023】メモリテーブル14には、補間前後のオー
ディオデータのパターンの関係を学習することにより、
補間前のオーディオデータに対応するオーディオ補間デ
ータを算出するための線形推定式の予測係数が各クラス
コード毎に、記憶されている。なお、メモリテーブル1
4に記憶されている予測係数の作成方法については後述
する。メモリテーブル14からは、クラスコードclass
で示されるアドレスから、そのクラスの予測係数である
wn (class )(n =1〜6)が読み出される。この予
測係数は、推定演算回路15へ供給される。
【0024】推定演算回路15は、時間軸領域切出回路
11から供給されるオーディオデータ、およびメモリテ
ーブル14から供給される予測係数であるwn (n =1
〜6)に基づいて、入力されたオーディオデータに対応
するオーディオ補間データを算出する。
【0025】より具体的には、推定演算回路15は、時
間軸領域切出回路11より供給されたオーディオデータ
とメモリテーブル14から供給された予測係数により、
予測係数であるwn (n =1〜6)に基づいて、それぞ
れ以下の式(3)に示す演算を行うことにより、オーデ
ィオ補間データを算出する。
【0026】
【数3】
【0027】図2(B)に示す算出されたオーディオ補
間データは、出力端子を介して出力される。
【0028】以上のように、上記オーディオ信号変換措
置は、オーディオ補間データを推定するための予測係数
をメモリテーブル14に記憶しておき、入力されるオー
ディオデータ、およびメモリテーブル14から読み出さ
れた予測係数に基づいて推定演算を行こことによって、
オーディオ補間データを出力することができる。すなわ
ち、上記オーディオ信号変換装置は、入力されるオーデ
ィオデータを単に線形補間処理したのとは異なり、実際
のオーディオデータから後述の学習により求められた予
測係数に基づいて推定演算するので、より実際に近い波
形を再現して高音質のオーディオデータを出力すること
ができる。
【0029】なお、本実施の形態では、データを補間す
るハードウェアに、予測係数が既に記憶されているメモ
リテーブル13が設けられている場合について説明した
が、本発明はこれに限定されるものではない。
【0030】例えば、光ディスク等の記録媒体に通常の
オーディオデータとともに予測係数を記憶させておき、
上述のオーディオ信号変換装置を光ディスク再生装置に
適用してもよい。
【0031】このとき、上記光ディスク再生装置は、光
ディスクに記憶されたオーディオデータの読み出しを開
始する前に上記予測係数を読み出して、この予測係数を
上記メモリテーブル13に記憶させる。これにより、上
記光ディスク再生装置は、いかなるオーディオデータで
あっても、メモリテーブル13を取り替えることなく、
波形再現性のよい高音質のオーディオデータを得ること
ができる。
【0032】つぎに、メモリテーブル14に格納される
予測係数を作成(学習)するための予測係数生成装置に
ついて図3を用いて説明する。上記予測係数生成装置
は、再現すべき高音質オーディオデータを用いることに
よって、メモリテーブル14に予測係数を記憶させるも
のである。
【0033】上記予測係数生成装置2は、図3に示すよ
うに、高音質オーディオデータを間引く間引き処理回路
21と、オーディオデータを所定時間毎に切り出す時間
軸領域切出回路22と、切り出されたオーディオデータ
を圧縮して圧縮データパターンを生成するADRC回路
23と、上記圧縮データパターンに基づいてクラスコー
ドを発生するクラスコード発生回路24と、クラスコー
ド毎に正規方程式をたてる正規方程式回路25と、上記
クラスコード毎に予測係数を決定する予測係数決定回路
26と、決定された予測係数を記憶するメモリテーブル
27とを備える。
【0034】予測係数を学習によって得るためには、ま
ず、既に知られている高音質オーディオデータから所定
サンプル間引いた通常のオーディオデータを形成する必
要がある。
【0035】具体的には、間引き処理回路21は、入力
端子を介して供給される高音質オーディオデータに対し
て所定時間毎に間引き処理を行って通常のオーディオデ
ータを生成して、これを時間軸領域切出回路22に供給
する。なお、この間引き処理回路21での間引きの程度
によって、生成される予測係数が異なり、さらには上述
のオーディオ信号変換装置1で再現されるオーディオデ
ータも異なる。例えば、上述のオーディオ信号変換装置
1がサンプリング周波数を大きくしたオーディオデータ
を出力するようにするためには、これに対応して、サン
プリング周波数を減らす間引き処理が必要である。ま
た、上記オーディオ信号変換装置1が欠落したデータサ
ンプルを補ってオーディオデータを出力するようにする
ためには、これに応じて、データサンプルを欠落させる
間引き処理が必要である。
【0036】時間軸領域切出回路22は、間引き処理回
路21から供給されたオーディオデータを複数の領域に
分割する。具体的には、時間軸領域切出回路22は、先
に説明した時間軸領域切出回路11と同一の働きをする
ものである。時間軸領域切出回路22は、所定時間毎の
オーディオデータをADRC回路23、および正規方程
式回路25に供給する。
【0037】ADRC回路23は、上述のように各領域
の全てのデータ、あるいは一部のデータを、例えば8ビ
ットのオーディオデータから2ビットのオーディオデー
タに圧縮する演算を行ってパターン圧縮データを形成
し、このパターン圧縮データをクラスコード発生回路2
4に供給する。なお、ADRC回路23は、先に説明し
たADRC回路12と同一のものである。
【0038】クラスコード発生回路24は、先に説明し
たクラスコード発生回路13と同一のものであり、AD
RC回路23から供給されるパターン圧縮データに基づ
いて、上述の式(2)の演算を行う。これにより、上記
クラスコード発生回路24は、そのブロックの属するク
ラスを検出して、そのクラスを示すクラスコードを正規
方程式回路25に供給する。
【0039】正規方程式回路25は、クラスコード発生
回路24から供給された各クラスコードclass 、各クラ
スコードclass 毎に時間軸領域切出回路22より供給さ
れたオーディオデータx1 ,x2 ,‥‥,xn 、入力端
子より供給された高音質オーディオデータyを用いて、
後述する正規方程式を立てる。
【0040】ここで、正規方程式回路25の説明のため
に、複数個の高音質オーディオデータから通常のオーデ
ィオデータへの変換式の学習とその予測式を用いた信号
変換について述べる。以下に、説明のために学習をより
一般化してnサンプルによる予測を行う場合について説
明する。オーディオデータのレベルをそれぞれx1 ,x
2 ,‥‥,xn として、それぞれにpビットのADRC
を行った結果の量子化データをq1 、‥‥、qn とす
る。
【0041】このとき、この領域のクラスコードclass
を式(2)のように定義する。上述のようにオーディオ
データのレベルをそれぞれ、x1 ,x2 ,‥‥,xn と
し、高音質オーディオデータのレベルをyとしたとき、
クラスコード毎に、予測係数w1 ,w2 ,‥‥,wn に
よるnタップの線形推定式を設定する。これを式(4)
に示す。学習前は、wn が未定係数である。
【0042】
【数4】
【0043】学習は、クラスコード毎に、複数のオーデ
ィオデータに対して行う。データサンプル数がmの場
合、式(4)にしたがって、以下に示す式(5)が設定
される。
【0044】
【数5】
【0045】m>nの場合、予測係数w1 、‥‥wn
は、一意的に決まらないので、誤差ベクトルeの要素を
以下の式(6)で定義して、式(7)を最小にする予測
係数を求める。いわゆる、最小自乗法による解法であ
る。
【0046】
【数6】
【0047】
【数7】
【0048】ここで、式(7)のwn による偏微分係数
を求める。それは以下の式(8)を”0”にするよう
に、各wn (n =1〜6)を求めればよい。
【0049】
【数8】
【0050】以下、式(9)、式(10)のようにXi
j、Yi を定義すると、
【0051】
【数9】
【0052】
【数10】
【0053】式(8)は、行列を用いて式(11)へ書
き換えられる。
【0054】
【数11】
【0055】この方程式は、一般に正規方程式と呼ばれ
ている。なお、ここでは、n=6である。
【0056】全ての学習用のデータの入力が終了した
後、正規方程式回路25は、各クラスコードclass に、
式(11)に示す正規方程式を立てて、このデータを予
測係数決定回路30に供給する。
【0057】予測係数決定回路30は、正規方程式を掃
き出し法等の一般的な行列解法を用いて、各wn につい
て解き、各クラスコード毎に、予測係数を算出する。換
言すると、上記式(11)を式(12)のように書き換
え、 X・W=Y ・・・・・・・・・・(12) 掃き出し法等の行列解法により式(13)が求められ、
クラスコード毎に予測係数の行列式Wが算出される。
【0058】 W=X-1・Y ・・・・・・・・・(13) そして、予測係数決定回路30は、算出された予測係数
をメモリテーブル31に書き込む。
【0059】このような学習を行った結果、メモリテー
ブル31には、量子化データq1 、‥‥、q6 で規定さ
れるパターン毎に、高音質オーディオデータyを推定す
るための統計的に最も真値に近い推定が出来る予測係数
が各クラスコード毎に、格納される。このメモリテーブ
ル31は、本発明のオーディオ信号変換装置において使
用されるメモリテーブル14である。かかる処理によ
り、線形推定式に従って通常のオーディオデータから高
音質オーディオデータを作成するための予測係数の学習
が終了する。
【0060】以上のように、上記予測係数生成装置2
は、オーディオ信号変換装置1で補間処理を行う程度を
考慮して、間引き処理回路21で高音質のオーディオデ
ータの間引き処理を行うことによって、かかる補間処理
をための予測係数を生成することができる。換言する
と、上記予測係数生成装置2は、間引き処理回路21の
処理に応じて、オーディオデータのサンプル数を変える
ための予測係数や、また、サンプル数を変えなくても真
値に極めて近いオーディオデータを再現するための予測
係数を生成することができる。
【0061】なお、本実施の形態の説明では、圧縮デー
タパターンを生成するパターン生成手段として、ADR
C回路12,23を設けることにしたが、これはほんの
一例であり、信号波形のパターンを少ないクラスで表現
できるような情報圧縮手段であれば何を設けるかは自由
であり、例えば、DPCM(予測符号化)、VQ(ベク
トル量子化)等の圧縮手段を用いても良いのは勿論であ
る。
【0062】つぎに、上記オーディオ信号変換装置を用
いたレートコンバータについて図4を参照しながら説明
する。レートコンバータは、例えばサンプリング周波数
の異なるディジタルオーディオ装置間でダビングをする
際のサンプリング周波数の変換に用いられる。
【0063】例えば、サンプリング周波数32kHz
(=fs )のBS放送Aモード音声をサンプリング周波
数44.1kHz(=fs')のミニディスク(MD)に
ディジタル録音する場合を考える。従来では、BS放送
Aモード音声のサンプリング周波数を44.1kHzに
変換するときに線形1次補間ディジタルフィルタを用い
て不足データを補間していた。しかし、上記レートコン
バータは、サンプリング周波数44.1kHzの正規の
オーディオデータから生成された正規方程式の予測係数
に基づいて、32kHzのオーディオデータから44.
1kHzのオーディオデータの値を推定して補間するた
め、従来よりも波形再現性のよい高音質なオーディオデ
ータを得ることができる。
【0064】つぎに、上記オーディオ信号変換装置を用
いたオーバーサンプリング処理装置について説明する。
なお、上述した装置及び回路等と同じものについては同
じ符号を付け、詳細な説明は省略する。上記オーバーサ
ンプリング処理装置は、図5に示すように、オーディオ
信号変換部1と、D/Aコンバータ3と、アナログ・ポ
スト・フィルタ4とを備える。
【0065】オーディオ信号変換部1は、上述したオー
ディオ信号処理1と同じものであり、入力端子から入力
されるオーディオデータのサンプリング周波数fs をサ
ンプリング周波数(N×fs )にするものである(N:
自然数)。
【0066】このオーディオ信号変換部1のメモリテー
ブル13には、オーディオデータのサンプリング周波数
s を(N×fs )に変換するための正規方程式の予測
係数が記憶されている。上記予測係数は、図3に示す上
記予測係数生成装置2の入力端子に正規のサンプリング
周波数(N×fs )のオーディオデータを供給し、か
つ、間引き処理回路21で間引き処理を行ってサンプリ
ング周波数をfs にすることによって生成される。すな
わち、この予測係数をメモリテーブル13に記憶させる
ことにより、オーディオ信号変換部1は上述のサンプリ
ング周波数を変換することができる。
【0067】D/Aコンバータ3は、オーディオ信号変
換部1からのオーディオデータをアナログ化して、オー
ディオ信号をアナログ・ポスト・フィルタ4に供給す
る。アナログ・ポスト・フィルタ4は、オーディオ信号
の位相特性を配慮した緩やかな帯域制限処理を施して高
音質のオーディオ信号を出力する。
【0068】以上のように、上記オーバーサンプリング
処理装置は、単にオーディオデータのサンプリング周波
数をN倍に上げて線形補間処理をしたものをディジタル
/アナログ変換するのではなく、本来のサンプリング周
波数(N×fs )のオーディオデータを推定演算してか
らディジタル/アナログ変換することによって、正規の
ものに最も近いオーディオデータを生成してアナログ化
することができ、線形補間した場合に比べてより高音質
なオーディオ信号を得ることができる。
【0069】また、オーバーサンプリング処理を上記オ
ーディオ信号変換部1のみだけで行う必要はない。例え
ば、8倍のオーバーサンプリング処理を行う場合、2倍
のオーバーサンプリング処理を上記オーディオ信号変換
部1で行い、かかる処理後、4倍のオーバーサンプリン
グ処理を線形補間によって行うことも可能である。
【0070】つぎに、オーディオ信号変換装置を用いた
PCM(Pulse Code Modulation)エラー修正装置につ
いて説明する。BS放送やCS放送で利用されているP
CMディジタル音声は、伝送時のエラーに対してブロッ
ク符号化とビットインターリーブ処理が行われ、伝送エ
ラーの検出とその訂正がビット単位で行われている。し
かし、長時間にわたるバーストエラー発生時には、その
エラー訂正能力を超えるため、線形1次補間又は前値保
持によって失われたデータを1サンプル単位で補ってい
る。
【0071】従来では、1サンプルの欠落については線
形1次補間で行って、それ以上の欠落に対しては前値保
持で補っていた。これに対して、上記PCMエラー修正
装置は、1サンプル以上のエラーが生じてもエラーの修
正を行うことができる。
【0072】上記PCMエラー修正装置は、図6に示す
ように、符号化されたPCMビットストリームの復号を
行うPCM復号部5と、欠落したデータの補間を行うオ
ーディオ信号変換部1とを備える。
【0073】PCM復号部5は、PCMビットストリー
ムのデインターリーブ処理を行うビット・デインターリ
ーブ回路51と、データの欠落の有無を検出するエラー
検出訂正回路52とを有する。このエラー検出訂正回路
52は、データの欠落があったときにデータ補間指示信
号を出力する。
【0074】オーディオ信号変換部1は、このデータ補
間指示信号が供給されると、欠落した部分のオーディオ
データの補間処理を開始する。このオーディオデータの
補間処理は、メモリテーブル13に記憶されている正規
方程式の予測係数に基づいて行われる。この予測係数
は、図3に示す予測係数生成装置2にエラーのないオー
ディオデータを入力端子に供給して、間引き処理回路2
1でエラーが生じたような間引き処理を行うことによっ
て生成される。
【0075】以上のように、上記PCMエラー修正装置
は、1サンプルから数サンプルのデータが欠落した場合
であっても、正規のオーディオデータの値を推定演算し
て欠落したデータを補間することができる。すなわち、
上記PCMエラー修正装置は、単に線形1次補間した場
合に比べて、データが欠落する前のオーディオデータの
波形の再現性を向上させることができる。
【0076】つぎに、オーディオ信号変換装置を用いた
狭帯域音声信号の高音質化装置について説明する。上記
高音質化装置は、図7に示すように、A/Dコンバータ
6と、オーディオ信号変換部1と、D/Aコンバータ3
とを備える。ここで、上記オーディオ信号変換部1は、
例えばAMラジオ放送のような狭帯域音声信号のサンプ
リング周波数を上げて、高音質のオーディオデータを得
るために用いる。
【0077】これにより、A/Dコンバータ6に入力さ
れた通常のAM放送の音声信号は、上記オーディオ信号
変換部1を介して、D/Aコンバータ3から高音質化さ
れて出力される。
【0078】以上のように、上記高音質化装置は、AM
ラジオ放送のような狭帯域の音声信号を受信する受信機
に使用することによって、低品質な音声信号から高周波
成分の波形を再現してより聞き取り易い音声を出力する
ことができる。なお、同軸ケーブル等の狭帯域伝送媒体
により音声信号が送信される電話機に上記高音質化装置
を適用することも可能である。
【0079】
【発明の効果】以上詳細に説明したように、本発明に係
るオーディオ信号変換装置及び方法によれば、良好な波
形再現性の実現による高音質なディジタルオーディオ信
号を得ることができ、また、エラーが生じても元のディ
ジタルオーディオ信号をほぼ完全に再現することができ
る。すなわち、上記オーディオ信号変換装置及び方法に
よって、高音質なエラー修正や低品質な音声信号の高音
質化にも非常に有効である。
【0080】本発明に係る予測係数生成装置及び方法に
よれば、間引き処理手段の間引き処理に応じて、オーデ
ィオデータのサンプル数を変えるための予測係数や、ま
た、サンプル数を変えなくても真値に極めて近いオーデ
ィオデータを再現するための予測係数を生成することが
できる。
【0081】本発明に係る予測係数格納媒体は、予測係
数を提供して、この予測係数と入力されたディジタルオ
ーディオ信号に基づいて、高音質で波形再現性のよいデ
ィジタルオーディオ信号を生成することができる。
【図面の簡単な説明】
【図1】本発明に係るディジタルオーディオ信号変換装
置の構成を示すブロック図である。
【図2】補間前後のオーディオデータを示す図である。
【図3】本発明に係る予測係数生成装置の具体的な構成
を示すブロック図である。
【図4】レートコンバータの構成を示すブロック図であ
る。
【図5】オーバーサンプリング処理装置の構成を示すブ
ロック図である。
【図6】PCMエラー修正装置の構成を示すブロック図
である。
【図7】狭帯域音声信号の高音質化装置の構成を示すブ
ロック図である。
【符号の説明】
11,22 時間軸領域切出回路、12,23 ADR
C回路、13,24クラスコード発生回路、14,27
メモリテーブル、15 推定演算回路、21 間引き
処理回路、25 正規方程式回路、26 予測係数決定
回路

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 所定時間毎にディジタルオーディオ信号
    を切り出す信号切出手段と、 切り出されたディジタルオーディオ信号を圧縮して圧縮
    データパターンを生成するパターン生成手段と、 生成された圧縮データパターンに基づいて、上記切り出
    されたディジタルオーディオ信号の属するクラスコード
    を発生するクラスコード発生手段と、 ディジタルオーディオ信号を変換するための推定式の予
    測係数がクラスコード毎に、記憶され、上記クラスコー
    ド発生手段で発生されたクラスの予測係数を出力する予
    測係数記憶手段と、 上記予測係数記憶手段から出力された予測係数と上記切
    り出されたディジタルオーディオ信号に基づいて推定演
    算して、変換処理済みのディジタルオーディオ信号を出
    力する推定演算手段とを備えるオーディオ信号変換装
    置。
  2. 【請求項2】 上記予測係数記憶手段は、ディジタルオ
    ーディオ信号を所定のサンプリング周波数に変換するた
    めの推定式の予測係数がクラスコード毎に、記憶され、 上記推定演算手段は、上記所定のサンプリング周波数に
    変換されたディジタルオーディオ信号を出力することを
    特徴とする請求項1記載のオーディオ信号変換装置。
  3. 【請求項3】 上記所定のサンプリング周波数に変換さ
    れたディジタルオーディオ信号をアナログ化するディジ
    タル/アナログ変換手段を備えることを特徴とする請求
    項2記載のオーディオ信号変換装置。
  4. 【請求項4】 アナログオーディオ信号をディジタル化
    するアナログ/ディジタル変換手段とを備え、 上記アナログ/ディジタル変換手段は、ディジタル化し
    たディジタルオーディオ信号を上記信号切出手段に供給
    することを特徴とする請求項3記載のオーディオ信号変
    換装置。
  5. 【請求項5】 圧縮符号化されたビットストリームを復
    号するとともに、復号されたディジタルオーディオ信号
    のエラーを検出する復号手段を備え、 上記信号切出手段は、エラー検出された部分のディジタ
    ルオーディオ信号を切り出すことを特徴とする請求項1
    記載のオーディオ信号変換装置。
  6. 【請求項6】 上記予測係数記憶手段は、欠落したディ
    ジタルオーディオ信号を補間するための推定式の予測係
    数がクラスコード毎に、記憶され、 上記推定演算手段は、欠落したディジタルオーディオ信
    号を補間して、補間処理済みのディジタルオーディオ信
    号を出力することを特徴とする請求項5記載のオーディ
    オ信号変換装置。
  7. 【請求項7】 所定時間毎にディジタルオーディオ信号
    を切り出し、 切り出されたディジタルオーディオ信号を圧縮して圧縮
    データパターンを生成し、 生成された圧縮データパターンに基づいて、上記切り出
    されたディジタルオーディオ信号の属するクラスコード
    を発生し、 ディジタルオーディオ信号を変換するための推定式の予
    測係数がクラスコード毎に、記憶され、上記クラスコー
    ド発生手段で発生されたクラスの予測係数を出力し、 出力された予測係数と上記切り出されたディジタルオー
    ディオ信号に基づいて推定演算して、変換処理済みのデ
    ィジタルオーディオ信号を出力することを特徴とするオ
    ーディオ信号変換方法。
  8. 【請求項8】 ディジタルオーディオ信号を間引く間引
    き処理手段と、 間引かれたディジタルオーディオ信号を所定時間毎に切
    り出す信号切出手段と、 切り出されたディジタルオーディオ信号を圧縮して圧縮
    データパターンを生成するパターン生成手段と、 生成された圧縮データパターンに基づいて、上記切り出
    されたディジタルオーディオ信号の属するクラスコード
    を発生するクラスコード発生手段と、 あるクラスコードにおける上記発生した圧縮データパタ
    ーンの所定サンプルの行列式をX、算出すべき予測係数
    の行列式をW、間引かれる前のディジタルオーディオ信
    号の所定サンプルの行列式をYとしたとき、 W=X-1・Y 上記算出式から各クラスコード毎に予測係数の行列式W
    を算出する予測係数算出手段と、 上記算出された予測係数を記憶する記憶手段とを備える
    予測係数生成装置。
  9. 【請求項9】 上記間引き処理手段は、ディジタルオー
    ディオ信号のサンプリング周波数を小さくするように間
    引くことを特徴とする請求項8記載の予測係数生成装
    置。
  10. 【請求項10】 上記間引き処理手段は、上記ディジタ
    ルオーディオ信号のデータサンプルを欠落することを特
    徴とする請求項8記載の予測係数生成装置。
  11. 【請求項11】 ディジタルオーディオ信号の間引き処
    理を行い、 間引かれたディジタルオーディオ信号を所定時間毎に切
    り出し、 切り出されたディジタルオーディオ信号を圧縮して圧縮
    データパターンを生成し、 生成された圧縮データパターンに基づいて、上記切り出
    されたディジタルオーディオ信号の属するクラスコード
    を発生し、 あるクラスコードにおける上記発生した圧縮データパタ
    ーンの所定サンプルの行列式をX、算出すべき予測係数
    の行列式をW、間引かれる前のディジタルオーディオ信
    号の所定サンプルの行列式をYとしたとき、 W=X-1・Y 上記算出式から各クラスコード毎に予測係数の行列式W
    を算出し、 算出された予測係数を記憶することを特徴とする予測係
    数生成方法。
  12. 【請求項12】 ディジタルオーディオ信号の間引き処
    理を行い、間引かれたディジタルオーディオ信号を所定
    時間毎に切り出し、切り出されたディジタルオーディオ
    信号を圧縮して圧縮データパターンを生成し、生成され
    た圧縮データパターンに基づいて、上記切り出されたデ
    ィジタルオーディオ信号の属するクラスコードを発生
    し、あるクラスコードにおける上記発生した圧縮データ
    パターンの所定サンプルの行列式をX、算出すべき予測
    係数の行列式をW、間引かれる前のディジタルオーディ
    オ信号の所定サンプルの行列式をYとしたとき、 W=X-1・Y 上記算出式から各クラスコード毎に予測係数の行列式W
    を算出することによって生成された予測係数が格納され
    る予測係数格納媒体。
JP12132997A 1997-05-12 1997-05-12 オーディオ信号変換装置及びオーディオ信号変換方法 Expired - Fee Related JP3946812B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP12132997A JP3946812B2 (ja) 1997-05-12 1997-05-12 オーディオ信号変換装置及びオーディオ信号変換方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP12132997A JP3946812B2 (ja) 1997-05-12 1997-05-12 オーディオ信号変換装置及びオーディオ信号変換方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004311136A Division JP3947191B2 (ja) 2004-10-26 2004-10-26 予測係数生成装置及び予測係数生成方法

Publications (2)

Publication Number Publication Date
JPH10313251A true JPH10313251A (ja) 1998-11-24
JP3946812B2 JP3946812B2 (ja) 2007-07-18

Family

ID=14808570

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12132997A Expired - Fee Related JP3946812B2 (ja) 1997-05-12 1997-05-12 オーディオ信号変換装置及びオーディオ信号変換方法

Country Status (1)

Country Link
JP (1) JP3946812B2 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002013180A1 (fr) * 2000-08-02 2002-02-14 Sony Corporation Traitement de signaux numeriques, systeme d'apprentissage appareil a cet effet et support de stockage de programmes
WO2002013181A1 (fr) * 2000-08-02 2002-02-14 Sony Corporation Procede de traitement de signaux numeriques, procede d'apprentissage, appareils associes, et support de stockage de programmes
WO2002013182A1 (fr) * 2000-08-02 2002-02-14 Sony Corporation Procede de traitement de signaux numeriques, procede d'apprentissage, appareil associe et support de stockage de programmes
JP2002049396A (ja) * 2000-08-02 2002-02-15 Sony Corp ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
JP2002049399A (ja) * 2000-08-02 2002-02-15 Sony Corp ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
JP2002049383A (ja) * 2000-08-02 2002-02-15 Sony Corp ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
JP2002049395A (ja) * 2000-08-02 2002-02-15 Sony Corp ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
JP2002140078A (ja) * 2000-10-31 2002-05-17 Sony Corp 情報処理装置および情報処理方法、プログラム記録媒体、並びにデータ記録媒体
EP1355428A1 (en) * 2001-01-25 2003-10-22 Sony Corporation Data processing apparatus
US6718073B1 (en) 1998-09-30 2004-04-06 Sony Corporation Arithmetic device, and converter, and their methods
KR100505471B1 (ko) * 2002-12-11 2005-07-29 학교법인 명지학원 데이터 변환을 이용한 파형 생성방법
US7082220B2 (en) 2001-01-25 2006-07-25 Sony Corporation Data processing apparatus
EP1944760A3 (en) * 2000-08-09 2008-07-30 Sony Corporation Voice data processing device and processing method
JP2011511311A (ja) * 2008-01-31 2011-04-07 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン オーディオ信号の帯域拡張のための装置及び方法
US8169510B2 (en) 2007-12-18 2012-05-01 Sony Corporation Data processing device, data processing method, and storage medium
CN114255788A (zh) * 2020-09-21 2022-03-29 炬芯科技股份有限公司 一种异步采样的转换方法及其转换装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2013154027A1 (ja) * 2012-04-13 2015-12-17 ソニー株式会社 復号装置および方法、オーディオ信号処理装置および方法、並びにプログラム

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6718073B1 (en) 1998-09-30 2004-04-06 Sony Corporation Arithmetic device, and converter, and their methods
JP4645869B2 (ja) * 2000-08-02 2011-03-09 ソニー株式会社 ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
JP2002049395A (ja) * 2000-08-02 2002-02-15 Sony Corp ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
JP2002049398A (ja) * 2000-08-02 2002-02-15 Sony Corp ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
JP2002049396A (ja) * 2000-08-02 2002-02-15 Sony Corp ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
JP4645867B2 (ja) * 2000-08-02 2011-03-09 ソニー株式会社 ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
JP2002049383A (ja) * 2000-08-02 2002-02-15 Sony Corp ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
WO2002013182A1 (fr) * 2000-08-02 2002-02-14 Sony Corporation Procede de traitement de signaux numeriques, procede d'apprentissage, appareil associe et support de stockage de programmes
US7412384B2 (en) 2000-08-02 2008-08-12 Sony Corporation Digital signal processing method, learning method, apparatuses for them, and program storage medium
JP2002049399A (ja) * 2000-08-02 2002-02-15 Sony Corp ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
WO2002013181A1 (fr) * 2000-08-02 2002-02-14 Sony Corporation Procede de traitement de signaux numeriques, procede d'apprentissage, appareils associes, et support de stockage de programmes
US6907413B2 (en) 2000-08-02 2005-06-14 Sony Corporation Digital signal processing method, learning method, apparatuses for them, and program storage medium
JP4645866B2 (ja) * 2000-08-02 2011-03-09 ソニー株式会社 ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
JP4645868B2 (ja) * 2000-08-02 2011-03-09 ソニー株式会社 ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
US6990475B2 (en) 2000-08-02 2006-01-24 Sony Corporation Digital signal processing method, learning method, apparatus thereof and program storage medium
US7584008B2 (en) 2000-08-02 2009-09-01 Sony Corporation Digital signal processing method, learning method, apparatuses for them, and program storage medium
WO2002013180A1 (fr) * 2000-08-02 2002-02-14 Sony Corporation Traitement de signaux numeriques, systeme d'apprentissage appareil a cet effet et support de stockage de programmes
EP1944760A3 (en) * 2000-08-09 2008-07-30 Sony Corporation Voice data processing device and processing method
EP1944759A3 (en) * 2000-08-09 2008-07-30 Sony Corporation Voice data processing device and processing method
US7912711B2 (en) 2000-08-09 2011-03-22 Sony Corporation Method and apparatus for speech data
US7636692B2 (en) 2000-10-31 2009-12-22 Sony Corporation Information processing apparatus, information processing method, program recording medium, and data recording medium
US7853527B2 (en) 2000-10-31 2010-12-14 Sony Corporation Information processing apparatus, information processing method, program recording medium, and data recording medium
JP2002140078A (ja) * 2000-10-31 2002-05-17 Sony Corp 情報処理装置および情報処理方法、プログラム記録媒体、並びにデータ記録媒体
EP1355428A1 (en) * 2001-01-25 2003-10-22 Sony Corporation Data processing apparatus
EP1355428A4 (en) * 2001-01-25 2005-09-07 Sony Corp DEVICE FOR DATA PROCESSING
US7082220B2 (en) 2001-01-25 2006-07-25 Sony Corporation Data processing apparatus
KR100505471B1 (ko) * 2002-12-11 2005-07-29 학교법인 명지학원 데이터 변환을 이용한 파형 생성방법
US8169510B2 (en) 2007-12-18 2012-05-01 Sony Corporation Data processing device, data processing method, and storage medium
JP2011511311A (ja) * 2008-01-31 2011-04-07 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン オーディオ信号の帯域拡張のための装置及び方法
US8996362B2 (en) 2008-01-31 2015-03-31 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for a bandwidth extension of an audio signal
CN114255788A (zh) * 2020-09-21 2022-03-29 炬芯科技股份有限公司 一种异步采样的转换方法及其转换装置
CN114255788B (zh) * 2020-09-21 2024-04-09 炬芯科技股份有限公司 一种异步采样的转换方法及其转换装置

Also Published As

Publication number Publication date
JP3946812B2 (ja) 2007-07-18

Similar Documents

Publication Publication Date Title
JP3946812B2 (ja) オーディオ信号変換装置及びオーディオ信号変換方法
JP2007504503A (ja) 低ビットレートオーディオ符号化
US7584008B2 (en) Digital signal processing method, learning method, apparatuses for them, and program storage medium
US20070118362A1 (en) Audio compression/decompression device
JP4596197B2 (ja) ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
JP2006503323A (ja) 位相の更新による正弦波オーディオコーディング
JPH11220405A (ja) Adpcm圧縮装置、adpcm伸長装置及びadpcm圧縮伸長装置
US20030133505A1 (en) Compression method and device, decompression method and device, compression/ decompression system, recording medium
JP3947191B2 (ja) 予測係数生成装置及び予測係数生成方法
JP3271098B2 (ja) ディジタル画像信号復号装置および方法
JP4180124B2 (ja) 伝送システムにおけるデータの予測
JPH0574252B2 (ja)
JP4645868B2 (ja) ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
JP3688064B2 (ja) 画像圧縮方法及び画像圧縮装置
JPH05303399A (ja) 音声時間軸圧縮伸長装置
JP3627256B2 (ja) ディジタル画像信号の受信/再生装置および方法
JP2002049383A (ja) ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
JP3613405B2 (ja) 帯域圧縮信号復元装置及び帯域圧縮信号復元方法
JPH0241936B2 (ja)
JP2810362B2 (ja) 画像情報信号符号化装置
JP3816859B2 (ja) ディジタル信号符号化方法、復号化方法、これらの符号器、復号器及びこれらのプログラム
JPS6343024B2 (ja)
JPH0813139B2 (ja) 符号化装置
JPS6251827A (ja) 音声符号化方式
JPH07162854A (ja) ディジタル画像信号の量子化器

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041026

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070412

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100420

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110420

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110420

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120420

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120420

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130420

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130420

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140420

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees