JP3576951B2 - 周波数間引き装置、周波数間引き方法及び記録媒体 - Google Patents
周波数間引き装置、周波数間引き方法及び記録媒体 Download PDFInfo
- Publication number
- JP3576951B2 JP3576951B2 JP2000307138A JP2000307138A JP3576951B2 JP 3576951 B2 JP3576951 B2 JP 3576951B2 JP 2000307138 A JP2000307138 A JP 2000307138A JP 2000307138 A JP2000307138 A JP 2000307138A JP 3576951 B2 JP3576951 B2 JP 3576951B2
- Authority
- JP
- Japan
- Prior art keywords
- spectrum
- signal
- period
- band
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、音声を表す信号を圧縮する周波数間引き装置及び周波数間引き方法に関する。
【０００２】
【従来の技術】
有線や無線での放送あるいは通信の手法による音楽などの配信が近年盛んになっている。これらの手法による音楽などの配信を行う場合、帯域が過度に広くなることによるデータ量の増大や占有帯域幅の広がりを避けるため、一般に、音楽を表すデータは、ＭＰ３（ＭＰＥＧ１ ａｕｄｉｏ ｌａｙｅｒ ３）形式やＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）形式などの音声圧縮形式で圧縮された上で配信されている。
【０００３】
これらの音声圧縮形式は、音声信号のうち高レベルのスペクトル成分に周波数が近接する低レベルのスペクトル成分が人間には聞き取られにくい、という現象を利用して音声圧縮を行う形式である。
【０００４】
【発明が解決しようとする課題】
しかし、放送や通信のトラヒックが増大すると、放送や通信に利用可能な占有帯域幅や回線容量を低下させる必要が生じる。この結果、上述の形式による音声圧縮を行うだけでは、データの配信にかかる時間が長くなったりして配信が円滑に行われない、という問題が生じる。このため、データを、高品質を保ちながら高率で圧縮する技術が求められていた。
【０００５】
この発明は、上記実状に鑑みてなされたものであり、オーディオ信号を高音質を保ちながら高率で圧縮するための周波数間引き装置及び周波数間引き方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するべく、この発明の第１の観点に係る周波数間引き装置は、間引き処理される対象である被処理信号の第１の期間におけるスペクトルを表すスペクトル信号、及び、前記第１の期間より後の第２の期間における前記被処理信号のスペクトルを表すスペクトル信号を生成するスペクトル分布生成手段と、
前記スペクトル信号に基づき、前記第１及び第２の期間における各前記スペクトルの成分の分布の間に一定程度以上の相関関係がある帯域を特定し、前記第２の期間における前記被処理信号のうち特定された帯域内のスペクトルの成分を除去して、前記第１の期間における前記被処理信号のうち前記特定された帯域内のスペクトルの成分を、スペクトルの成分を除去された前記第２の期間における被処理信号に追加すべきスペクトルの成分と決定する間引き手段と、を備える、
ことを特徴とする。
【０００７】
このような周波数間引き装置によれば、第２の期間における被処理信号のスペクトルのうち、第１の期間における被処理信号のスペクトルと一定程度以上の相関関係のある帯域内のスペクトル成分が除去され、第１の期間におけるこの帯域内のスペクトルが、補間用のスペクトルに充てられる。
除去されるスペクトル成分は、高レベルのスペクトル成分に周波数が近接する低レベルのスペクトル成分には限られないから、このような周波数間引き装置によれば、信号が高率で圧縮される。また、スペクトルを除去した後の第２の期間の被処理信号を補間用のスペクトルで補間して得られる信号は原信号に近いものとなるから、このような周波数間引き装置によれば、オーディオ信号を間引き処理の対象とした場合、高音質が保たれる。
【０００８】
前記間引き手段は、特定された前記帯域を識別する識別情報を生成し、スペクトルの成分を除去された前記第２の期間における被処理信号を表すデータと、前記識別情報とを、互いが対応付けられた態様で出力するものであれば、スペクトルの補間を行う外部の装置は、第１の期間における被処理信号のスペクトルのうち識別情報により識別される帯域内のスペクトル成分を、スペクトルを除去済みの第２の期間における被処理信号に追加すれば、被処理信号の復元を行える。
【０００９】
前記被処理信号は、例えば、オーディオ信号によりＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）変調を行って得られるＰＣＭ信号より構成されているものであればよい。
【００１０】
また、この発明の第２の観点に係る周波数間引き方法は、
間引き処理される対象である被処理信号の第１の期間におけるスペクトルを表すスペクトル信号、及び、前記第１の期間より後の第２の期間における前記被処理信号のスペクトルを表すスペクトル信号を生成し、
前記スペクトル信号に基づき、前記第１及び第２の期間における各前記スペクトルの成分の分布の間に一定程度以上の相関関係がある帯域を特定し、
前記第２の期間における前記被処理信号のうち特定された帯域内のスペクトルの成分を除去し、
前記第１の期間における前記被処理信号のうち前記特定された帯域内のスペクトルの成分を、スペクトルの成分を除去された前記第２の期間における被処理信号に追加すべきスペクトルの成分と決定する、
ことを特徴とする。
【００１１】
このような周波数間引き方法によれば、第２の期間における被処理信号のスペクトルのうち、第１の期間における被処理信号のスペクトルと一定程度以上の相関関係のある帯域内のスペクトル成分が除去され、第１の期間におけるこの帯域内のスペクトルが、補間用のスペクトルに充てられる。
除去されるスペクトル成分は、高レベルのスペクトル成分に周波数が近接する低レベルのスペクトル成分には限られないから、このような周波数間引き方法によれば、信号が高率で圧縮される。また、スペクトルを除去した後の第２の期間の被処理信号を補間用のスペクトルで補間して得られる信号は原信号に近いものとなるから、このような周波数間引き方法によれば、オーディオ信号を間引き処理の対象とした場合、高音質が保たれる。
【００１２】
また、この発明の第３の観点に係るコンピュータ読み取り可能な記録媒体は、
コンピュータを、
間引き処理される対象である被処理信号の第１の期間におけるスペクトルを表すスペクトル信号、及び、前記第１の期間より後の第２の期間における前記被処理信号のスペクトルを表すスペクトル信号を生成するスペクトル分布生成手段と、
前記スペクトル信号に基づき、前記第１及び第２の期間における各前記スペクトルの成分の分布の間に一定程度以上の相関関係がある帯域を特定し、前記第２の期間における前記被処理信号のうち特定された帯域内のスペクトルの成分を除去して、前記第１の期間における前記被処理信号のうち前記特定された帯域内のスペクトルの成分を、スペクトルの成分を除去された前記第２の期間における被処理信号に追加すべきスペクトルの成分と決定する間引き手段と、
して機能させるためのプログラムを記録したことを特徴とする。
【００１３】
このような記録媒体に記録されたプログラムを実行するコンピュータは、第２の期間における被処理信号のスペクトルのうち、第１の期間における被処理信号のスペクトルと一定程度以上の相関関係のある帯域内のスペクトル成分を除去し、第１の期間におけるこの帯域内のスペクトルを、補間用のスペクトルに充てられるべきものと決定する。
除去されるスペクトル成分は、高レベルのスペクトル成分に周波数が近接する低レベルのスペクトル成分には限られないから、このような記録媒体に記録されたプログラムを実行するコンピュータによれば、信号が高率で圧縮される。また、スペクトルを除去した後の第２の期間の被処理信号を補間用のスペクトルで補間して得られる信号は原信号に近いものとなるから、このような記録媒体に記録されたプログラムを実行するコンピュータによれば、オーディオ信号を間引き処理の対象とした場合、高音質が保たれる。
【００１４】
【発明の実施の形態】
以下に、図面を参照して、この発明の実施の形態に係る周波数間引き装置を、音声信号処理装置を例として説明する。
図１は、この発明の実施の形態に係る音声信号処理装置の構成を示す図である。
図示するように、この音声信号処理装置は、周波数間引き部１と、音声圧縮部２と、音声伸長部３と、周波数補間部４とより構成されている。
【００１５】
周波数間引き部１は、図２に示すように、アナライザ１１と、スペクトル記憶部１２と、スペクトル解析部１３と、周波数バンドマスキング部１４と、シンセサイザ１５とより構成されている。
【００１６】
アナライザ１１は、図３に示すように、ｎ個の遅延部１１１−０〜１１１−（ｎ−１）と、（ｎ＋１）個のサンプラー１１２−０〜１１２−ｎと、フィルタバンク１１３とより構成されている。（ただし、ｎは１以上の任意の整数とする。）
【００１７】
遅延部１１１−０〜１１１−（ｎ−１）は、各自に供給された信号を、この信号の周期１周期分遅らせて出力する。
遅延部１１１−ｋ（ｋは０以上（ｎ−１）以下の任意の整数）が出力する信号はサンプラー１１２−ｋに供給される。また、遅延部１１１−ｊ（ｊは０以上（ｎ−２）以下の任意の整数）は、遅延部１１１−（ｊ＋１）が出力する信号を供給される。遅延部１１１−（ｎ−１）には、周波数間引き部１により周波数の間引きを受ける対象のＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｕｄｕｌａｔｉｏｎ）信号が供給される。
【００１８】
従って、遅延部１１１−ｋは、遅延部１１１−（ｎ−１）に供給されたＰＣＭ信号を、このＰＣＭ信号の（ｎ−ｋ）周期分遅らせた信号を出力する。なお、上述のＰＣＭ信号は、音声等を電圧あるいは電流の変化として表すオーディオ信号を用い、ＰＣＭ変調を行うことにより得られる信号である。
【００１９】
サンプラー１１２−０〜１１２−ｎは、各自に供給された信号を、周波数の間引きを受ける対象のＰＣＭ信号の周波数の（ｎ＋１）分の１の周波数でサンプリングし、サンプリング結果を表す信号を、フィルタバンク１１３へと供給する。
【００２０】
サンプラー１１２−ｋには、上述の通り、遅延部１１１−ｋが出力する信号が供給される。サンプラー１１２−ｎには、周波数間引き部１により周波数の補間を受ける対象のＰＣＭ信号が、遅延部１１１−（ｎ−１）に供給されるのと実質的に同時に供給される。
【００２１】
フィルタバンク１１３は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等より構成されている。
フィルタバンク１１３は、上述の通りサンプラー１１２−１〜１１２−ｎが出力する信号の供給を受ける。
【００２２】
そして、フィルタバンク１１３は、ポリフェーズフィルタ、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＬＯＴ（Ｌａｐｐｅｄ Ｏｒｔｈｏｇｏｎａｌ Ｔｒａｎｓｆｏｒｍ）、ＭＬＴ（Ｍｏｄｕｌａｔｅｄ Ｌａｐｐｅｄ Ｔｒａｎｓｆｏｒｍ）あるいはＥＬＴ（Ｅｘｔｅｎｄｅｄ Ｌａｐｐｅｄ Ｔｒａｎｓｆｏｒｍ）等の手法を用い、自己に供給されたこの信号のスペクトル分布を表す１番目〜（ｎ＋１）番目までの（ｎ＋１）個の信号を生成する。そして、生成したこれら（ｎ＋１）個の信号を、スペクトル記憶部１２、スペクトル解析部１３及び周波数バンドマスキング部１４へと供給する。
【００２３】
フィルタバンク１１３が生成するｐ番目（ｐは１から（ｎ＋１）までの整数）の信号は、サンプラー１１２−０〜１１２−ｎが出力する信号のスペクトル分布を（ｎ＋１）等分して得られる互いに帯域幅が等しい帯域のうち、周波数がｐ番目に低い帯域内のスペクトル分布を表す信号であるものとする。
【００２４】
スペクトル記憶部１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等より構成されており、アナライザ１１より（ｎ＋１）個ずつ供給される上述の信号のうち、最も新しい２回のタイミングで供給された、各（ｎ＋１）個、計｛２・（ｎ＋１）｝個の信号を記憶する。そして、スペクトル解析部１３の指示に従って、自己が記憶している信号のうち、２番目に新しいタイミングでアナライザ１１より供給された信号（すなわち、自己が記憶している｛２・（ｎ＋１）｝個の信号のうち、古い方の（ｎ＋１）個。以下、「過去のスペクトルを表す信号」と呼ぶ）を、スペクトル解析部１３へと供給する。
【００２５】
スペクトル解析部１３は、ＤＳＰやＣＰＵ等より構成されている。スペクトル解析部１３は、上述の（ｎ＋１）個の各帯域内のスペクトル分布を表す（ｎ＋１）個の信号をアナライザ１１より供給されると、スペクトル記憶部１２に、過去のスペクトルを表す信号を供給するよう指示する。そして、スペクトル記憶部１２より過去のスペクトルを表す信号を供給されると、例えば、以下（１）〜（４）として述べる処理を行う。
【００２６】
（１） スペクトル解析部１３はまず、フィルタバンク１１３から供給された信号が表す各帯域のうちの１つ（以下、「第１の帯域」と呼ぶ）を特定する。一方、スペクトル記憶部１２から供給された信号（過去のスペクトルを表す信号）が表す各帯域のうち、周波数の範囲が第１の帯域と同一である帯域（以下、「第２の帯域」と呼ぶ）も特定する。
【００２７】
（２） 次いで、スペクトル解析部１３は、（１）の処理で特定した第１の帯域内のスペクトル分布と第２の帯域内のスペクトル分布との相関係数を、最小二乗法等の手法を用いて求め、得られた相関係数が所定値以上であるか否かを判定する。そして、判定の結果、得られた相関係数が所定値以下であった場合、（１）で特定した第１の帯域を削除バンドとして特定し、（１）で特定した第２の帯域を、当該削除バンドを補間するための補間用バンドとして特定する。
【００２８】
（３） スペクトル解析部１３は、第１及び第２の帯域としてとり得るすべての組み合わせについて上述（１）及び（２）の処理を行い、削除バンド及び補間用バンドを特定する。
【００２９】
（４） すべての削除バンド及び補間用バンドを特定すると、スペクトル解析部１３は、周波数バンドマスキング部１４及び音声圧縮部２に、削除バンドと、当該削除バンドを補間するための補間用バンドを特定した結果を通知する。具体的には、たとえば、削除バンドを識別するデータと、当該削除バンドを補間するための補間用バンドを識別するデータとを、互いに対応付けた形で、周波数バンドマスキング部１４及び音声圧縮部２へと供給する。
【００３０】
周波数バンドマスキング部１４は、ＤＳＰやＣＰＵ等より構成されている。周波数バンドマスキング部１４は、上述の（ｎ＋１）個の各帯域内のスペクトル分布を表す（ｎ＋１）個の信号をアナライザ１１（より具体的には、フィルタバンク１１３）より供給され、スペクトル解析部１３より、削除バンドと、当該削除バンドを補間するための補間用バンドを特定した結果の通知を受ける。
そして、フィルタバンク１１３より供給された上述の（ｎ＋１）個の信号のうち、スペクトル解析部１３より通知された削除バンド内のスペクトル分布を表すもの以外の信号を、シンセサイザ１５へと供給する。
従って、周波数バンドマスキング部１４からシンセサイザ１５へは、周波数の間引きを受ける対象のＰＣＭ信号のスペクトルのうちから削除バンドのスペクトル成分を除去して得られるスペクトルの分布（間引き後のスペクトル分布）を表す信号が供給される。
【００３１】
シンセサイザ１５は、図４に示すように、フィルタバンク１５１と、（ｎ＋１）個のサンプラー１５２−０〜１５２−ｎと、ｎ個の遅延部１５３−０〜１５３−（ｎ−１）と、加算器１５４−０〜１５４−（ｎ−１）とより構成されている。
【００３２】
フィルタバンク１５１は、ＤＳＰやＣＰＵ等より構成されており、上述の通り、周波数バンドマスキング部１４が出力する、間引き後のスペクトル分布を表す信号を供給される。
そして、フィルタバンク１５１は、ポリフェーズフィルタ、ＤＣＴ、ＬＯＴ、ＭＬＴあるいはＥＬＴ等の手法を用い、自己に供給された信号が表すスペクトル分布を有する信号を（ｎ＋１）点で等間隔にサンプリングした値を表す（ｎ＋１）個の信号を生成する。そして、生成したこれら（ｎ＋１）個の信号のうちｐ番目（ｐは１から（ｎ＋１）までの整数）の信号を、サンプラー１５２−（ｐ−１）へと供給する。
【００３３】
なお、フィルタバンク１５１が生成するこの信号が表す値のサンプリング間隔は、アナライザ１１のサンプラー１１２−１〜１１２−ｎのサンプリング間隔に実質的に等しいものとする。
また、フィルタバンク１５１が生成するｐ番目の信号は、フィルタバンク１５１に供給された信号が表すスペクトル分布を有する信号を（ｎ＋１）点で等間隔にサンプリングした値のうち、サンプリングの時刻がｐ番目に早い値を表すものとする。
【００３４】
サンプラー１５２−１〜１５２−ｎは、各自に供給された信号を、当該信号の（ｎ＋１）倍の周波数の信号へと変換し、変換結果を表すＰＣＭ信号を出力するものである。
サンプラー１５２−（ｐ−１）には、上述の通り、フィルタバンク１５１が出力するｐ番目の信号が供給される。そして、サンプラー１５２−（ｓ−１）は、自己が出力する信号を、加算器１５４−（ｓ−１）へと供給する（ｓは１からｎまでの整数）。サンプラー１５２−ｎは、自己が出力する信号を遅延部１５３−（ｎ−１）へと供給する。
【００３５】
遅延部１５３−０〜１５３−（ｎ−１）は、各自に供給された信号を、この信号の周期１周期分遅らせて出力する。
遅延部１５３−ｋ（ｋは０以上（ｎ−１）以下の任意の整数）が出力する信号は加算器１５４−ｋに供給される。また、遅延部１５３−ｊ（ｊは０以上（ｎ−２）以下の任意の整数）は、加算器１５４−（ｊ＋１）が出力する信号を供給される。遅延部１５３−（ｎ−１）には、上述の通りサンプラー１５２−ｎが出力する信号が供給される。
【００３６】
加算器１５４−０〜１５４−（ｎ−１）は、各自に供給された２個の信号の和を表す信号を出力する。
加算器１５４−ｋには、サンプラー１５２−ｋと、遅延部１５３−ｋとから信号が供給される。そして、加算器１５４−ｍ（ｍは１以上（ｎ−１）以下の整数）が出力する信号は遅延部１５３−（ｍ−１）に供給される。加算器１５４−０が出力する信号は、周波数間引き部１の出力信号として、音声圧縮部２へと供給される。
【００３７】
加算器１５４−０が出力するこの出力信号は、サンプラー１５２−０、１５２−１、・・・、１５２−（ｎ−１）及び１５２−ｎが出力した信号を、アナライザ１１に供給されたＰＣＭ信号の周期と実質的に同一の周期で順次出力したものに相当し、そのスペクトル分布が間引き後のスペクトル分布に相当するＰＣＭ信号である。
【００３８】
音声圧縮部２は、ＤＳＰやＣＰＵ等を備え、また、記録媒体（例えば、ＣＤ−Ｒ等）へのデータの記録及び記録媒体からのデータの読み出しを行う記録媒体ドライバを備えている。音声圧縮部２は、周波数間引き部１のシンセサイザ１５より出力信号を供給され、スペクトル解析部１３より、削除バンドと、当該削除バンドを補間するための補間用バンドを特定した結果を通知されると、供給された出力信号を、ＭＰ３やＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）その他任意の手法により圧縮する。そして、圧縮により得られたデータと、削除バンド及び補間用バンドの特定結果を表すデータとを、記録媒体ドライバにセットされた外部の記録媒体に、互いに対応付けた形で記録する。
【００３９】
なお、音声圧縮部２は、記録媒体ドライバに代えて、あるいは記録媒体ドライバと共に、外部の通信回線に接続されたモデムやターミナルアダプタ等より構成される通信制御装置を備えていてもよい。この場合、音声圧縮部２は、周波数間引き部１の出力信号が表すデータを圧縮して得られたデータと、削除バンド及び補間用バンドの特定結果を表すデータとを、通信回線を介して外部へと伝送してもよい。
【００４０】
音声伸長部３は、ＤＳＰやＣＰＵ等を備え、また、記録媒体ドライバを備えている。音声伸長部３は、ＰＣＭ信号をＭＰ３やＡＡＣ等の手法により圧縮したものを表す信号を、記録媒体ドライバにセットされた外部の記録媒体より読み出す。そして、読み出したデータをＭＰ３やＡＡＣ等の手法により伸長し、伸長により得られたデータを表すＰＣＭ信号を生成して、周波数補間部４へと供給する。また、ＰＣＭ信号を圧縮したものを表すこの信号に対応付けられた、削除バンド及び補間用バンドの特定結果を表すデータも、この記録媒体より読み出して周波数補間部４へと供給する。
【００４１】
なお、音声伸長部３は、記録媒体ドライバに代えて、あるいは記録媒体ドライバと共に、通信制御装置を備えていてもよい。この場合、音声伸長部３は、ＰＣＭ信号をＭＰ３やＡＡＣ等の手法により圧縮したものを表すデータと削除バンド及び補間用バンドの特定結果を表すデータとが通信回線を介して外部より自己へと供給されたとき、供給された信号を受信して伸長し、伸長により得られたデータを表すＰＣＭ信号と、削除バンド及び補間用バンドの特定結果を表すデータとを、周波数補間部４へと供給するようにしてもよい。
【００４２】
周波数補間部４は、図５に示すように、アナライザ４１と、スペクトル記憶部４２と、周波数補間処理部４３と、シンセサイザ４４とより構成されている。
このうち、アナライザ４１は、周波数間引き部１のアナライザ１１と実質的に同一の構成を有しており、シンセサイザ４４は、周波数間引き部１のシンセサイザ１５と実質的に同一の構成を有している。
【００４３】
アナライザ４１は、周波数の補間を受ける対象として音声伸長部３から供給されたＰＣＭ信号のスペクトル分布を表す１番目〜（ｎ＋１）番目までの（ｎ＋１）個の信号を生成し、生成したこれら（ｎ＋１）個の信号を、スペクトル記憶部４２及び周波数補間処理部４３へと供給する。
【００４４】
なお、アナライザ４１が生成するｐ番目（ｐは１から（ｎ＋１）までの整数）の信号は、音声伸長部３から供給されたＰＣＭ信号（つまり、周波数の補間を受ける対象のＰＣＭ信号）のスペクトル分布を（ｎ＋１）等分して得られる互いに帯域幅が等しい帯域のうち、周波数がｐ番目に低い帯域内のスペクトル分布を表す信号であるものとする。
【００４５】
スペクトル記憶部４２は、ＲＡＭ等より構成されており、アナライザ４１より１回あたり（ｎ＋１）個ずつ供給される上述の信号を、複数回分記憶する。そして、周波数補間処理部４３の指示に従って、自己が記憶している信号を周波数補間処理部４３へと供給する。
なお、スペクトル記憶部４２は、音声伸長部３が供給するデータが示す補間用バンドのスペクトルを、周波数補間処理部４３が後述の通りスペクトルの補間を行うために当該補間用スペクトルを取得すべき時点において確実に記憶している程度に大きな記憶容量を有しているものとする。
【００４６】
周波数補間処理部４３は、ＤＳＰやＣＰＵ等より構成されている。周波数補間処理部４３は、上述の（ｎ＋１）個の各帯域内のスペクトル分布を表す（ｎ＋１）個の信号をアナライザ４１より供給される。また、音声伸長部３が供給した、削除バンド及び補間用バンドの特定結果を表すデータを取得する。また、スペクトル記憶部４２から、アナライザ４１が過去に供給してスペクトル記憶部４２が記憶した信号を読み出す。
【００４７】
そして、周波数補間処理部４３は、スペクトル記憶部４２から読み出した信号が示すスペクトル分布のうち、音声伸長部３より取得したデータが示す補間用バンド内の信号成分のスペクトル分布を、当該補間用バンドを用いて補間すべき削除バンド内の補間後のスペクトル分布を表すものとして扱うことにより、補間後の削除バンド内のスペクトル分布を表す信号を生成する。そして、生成した信号をシンセサイザ４４へと供給する。
従って、周波数補間処理部４３からシンセサイザ４４へは、音声伸長部３から周波数補間部４へ供給されたＰＣＭ信号のスペクトルに補間後の削除バンドのスペクトル成分が加算されて得られるスペクトルの分布（補間後のスペクトル分布）を表す信号が供給される。
【００４８】
ただし、周波数補間処理部４３は、音声伸長部３から供給されたデータが示す補間用バンドが削除バンドでもある場合、削除バンドである当該補間用バンドを補間するために用いた補間用バンド内の信号成分のスペクトル分布を、音声伸長部３から供給されたデータが示す削除バンド内の補間後のスペクトル分布を表すものとして扱うようにする。
【００４９】
シンセサイザ４４は、周波数補間処理部４３が出力する、補間後のスペクトル分布を表す信号を供給されると、スペクトル分布が補間後のスペクトル分布に相当するＰＣＭ信号を出力する。シンセサイザ４４が出力するＰＣＭ信号は、換言すれば、補間後のスペクトル分布を有する信号を（ｎ＋１）点で等間隔にサンプリングしてアナライザ４１に供給されたＰＣＭ信号の周期と実質的に同一の周期で順次出力したものに相当するＰＣＭ信号である。
【００５０】
なお、図６（ａ）は、音声伸長部３が特定のタイミング（タイミング＃１）においてアナライザ４１に供給したＰＣＭ信号のスペクトル分布（補間前のスペクトル分布）の例を示す図であり、（ｂ）は、音声伸長部３がタイミング＃１の次のタイミング（タイミング＃２）でアナライザ４１に供給したＰＣＭ信号のスペクトル分布の例を示す図であり、（ｃ）は、（ｂ）に示すスペクトル分布を有するＰＣＭ信号に周波数の補間を施した結果得られる、補間後のスペクトル分布の例を示す図である。
【００５１】
図６（ｂ）に示すように、音声伸長部３がタイミング＃２でアナライザ４１に供給したＰＣＭ信号の１１個の帯域（帯域Ｂ１〜帯域Ｂ１１）のうち帯域Ｂ５、Ｂ７、Ｂ９及びＢ１１が削除バンドである場合においては、図６（ａ）に示す、タイミング＃１でアナライザ４１に供給したＰＣＭ信号のうち帯域Ｂ５、Ｂ７、Ｂ９及びＢ１１が補間用バンドとなる。そして、補間後のスペクトル分布は、図６（ｃ）に示すように、タイミング＃２における削除バンドである帯域Ｂ５、Ｂ７、Ｂ９及びＢ１１に、タイミング＃２における補間用バンド（すなわち、タイミング＃１における帯域Ｂ５、Ｂ７、Ｂ９及びＢ１１）のスペクトル分布と実質的に同一の分布を有するスペクトルが加えられたものとなる。
【００５２】
図６（ｃ）に示すような補間を行うことにより、周波数の間引きを受ける前のＰＣＭ信号のスペクトルに近いスペクトルが得られる。従って、シンセサイザ４４が出力するＰＣＭ信号を用いてオーディオ信号を復元することにより、オーディオ信号が高音質で復元される。
【００５３】
なお、この音声信号処理装置の構成は上述のものに限られない。
例えば、この音声信号処理装置は音声圧縮部２や音声伸長部３を必ずしも備
えている必要はない。
この音声信号処理装置が音声圧縮部２を備えない場合は、周波数間引き部１が、自己のシンセサイザ１５が供給する出力信号と、スペクトル解析部１３が供給する、削除バンド及び補間用バンドの特定結果を表すデータとを、互いに対応付けた形で出力するようにすればよい。
また、この音声信号処理装置が音声伸長部３を備えない場合は、周波数補間部４が、ＰＣＭ信号と、当該ＰＣＭ信号に対応付けられた、削除バンド及び補間用バンドの特定結果を表すデータとを、外部の記録媒体から読み出したり、その他任意の手法で外部より取得するようにすればよい。
【００５４】
また、周波数間引き部１が周波数の間引きを行う対象の信号や、周波数補間部４が周波数の補間を行う対象の信号は、ＰＣＭ信号である必要はなく、オーディオ信号を変調して得られる変調波である必要もない。
また、周波数間引き部１のアナライザ１１が供給する信号のうち、補間用バンドを表す信号は、当該補間用バンドを用いて補間される削除バンドを表す信号が供給されたタイミングの直前のタイミングで供給されたものである必要はなく、更にその前のタイミングで供給されたものであってもよい。
【００５５】
また、遅延部１１１−０〜１１１−（ｎ−１）及び１５３−０〜１５３−（ｎ−１）や、サンプラー１１２−０〜１１２−ｎ及び１５２−０〜１５２−ｎや、加算器１５４−０〜１５４−（ｎ−１）の機能を、ＤＳＰやＣＰＵが行ってもよい。
【００５６】
また、スペクトル解析部１３は、相関係数に代えて、２個の帯域のスペクトルの相関を表す任意の数値を、両帯域スペクトル分布に基づいて求め、削除バンド及び補間用バンドの決定に用いてもよい。
【００５７】
以上、この発明の実施の形態を説明したが、この発明にかかる周波数間引き装置は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。
例えば、パーソナルコンピュータやマイクロコンピュータに上述のアナライザ１１、スペクトル記憶部１２、スペクトル解析部１３、周波数バンドマスキング部１４及びシンセサイザ１５の動作を実行するためのプログラムを格納した媒体（ＣＤ−ＲＯＭ、ＭＯ、フロッピーディスク等）から該プログラムをインストールすることにより、上述の処理を実行する周波数間引き部１を構成することができる。
【００５８】
また、例えば、通信回線の掲示板（ＢＢＳ）に該プログラムを掲示し、これを通信回線を介して配信してもよく、また、該プログラムを表す信号により搬送波を変調し、得られた変調波を伝送し、この変調波を受信した装置が変調波を復調して該プログラムを復元するようにしてもよい。
そして、このプログラムを起動し、ＯＳの制御下に、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行することができる。
【００５９】
なお、ＯＳが処理の一部を分担する場合、あるいは、ＯＳが本願発明の１つの構成要素の一部を構成するような場合には、記録媒体には、その部分をのぞいたプログラムを格納してもよい。この場合も、この発明では、その記録媒体には、コンピュータが実行する各機能又はステップを実行するためのプログラムが格納されているものとする。
【００６０】
【発明の効果】
以上の説明のように、この発明によれば、オーディオ信号を高音質を保ちながら高率で圧縮するための周波数間引き装置及び周波数間引き方法が実現される。
【図面の簡単な説明】
【図１】この発明の実施の形態に係る音声信号処理装置の構成を示す図である。
【図２】周波数間引き部の構成を示す図である。
【図３】アナライザの構成を示す図である。
【図４】シンセサイザの構成を示す図である。
【図５】周波数補間部の構成を示す図である。
【図６】（ａ）は、タイミング＃１におけるスペクトル分布の例を示す図であり、（ｂ）は、タイミング＃２における補間前のスペクトル分布の例を示す図であり、（ｃ）は、タイミング＃２における補間後のスペクトル分布の例を示す図である。
【符号の説明】
１ 周波数間引き部
１１、４１ アナライザ
１１１−０〜１１１−（ｎ−１）、１５３−０〜１５３−（ｎ−１） 遅延部
１１２−０〜１１２−ｎ、１５２−０〜１５２−ｎ サンプラー
１１３、１５１ フィルタバンク
１２、４２ スペクトル記憶部
１３ スペクトル解析部
１４ 周波数バンドマスキング部
１５、４４ シンセサイザ
１５４−０〜１５４−（ｎ−１） 加算器
２ 音声圧縮部
３ 音声伸長部
４ 周波数補間部
４３ 周波数補間処理部
【発明の属する技術分野】
この発明は、音声を表す信号を圧縮する周波数間引き装置及び周波数間引き方法に関する。
【０００２】
【従来の技術】
有線や無線での放送あるいは通信の手法による音楽などの配信が近年盛んになっている。これらの手法による音楽などの配信を行う場合、帯域が過度に広くなることによるデータ量の増大や占有帯域幅の広がりを避けるため、一般に、音楽を表すデータは、ＭＰ３（ＭＰＥＧ１ ａｕｄｉｏ ｌａｙｅｒ ３）形式やＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）形式などの音声圧縮形式で圧縮された上で配信されている。
【０００３】
これらの音声圧縮形式は、音声信号のうち高レベルのスペクトル成分に周波数が近接する低レベルのスペクトル成分が人間には聞き取られにくい、という現象を利用して音声圧縮を行う形式である。
【０００４】
【発明が解決しようとする課題】
しかし、放送や通信のトラヒックが増大すると、放送や通信に利用可能な占有帯域幅や回線容量を低下させる必要が生じる。この結果、上述の形式による音声圧縮を行うだけでは、データの配信にかかる時間が長くなったりして配信が円滑に行われない、という問題が生じる。このため、データを、高品質を保ちながら高率で圧縮する技術が求められていた。
【０００５】
この発明は、上記実状に鑑みてなされたものであり、オーディオ信号を高音質を保ちながら高率で圧縮するための周波数間引き装置及び周波数間引き方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するべく、この発明の第１の観点に係る周波数間引き装置は、間引き処理される対象である被処理信号の第１の期間におけるスペクトルを表すスペクトル信号、及び、前記第１の期間より後の第２の期間における前記被処理信号のスペクトルを表すスペクトル信号を生成するスペクトル分布生成手段と、
前記スペクトル信号に基づき、前記第１及び第２の期間における各前記スペクトルの成分の分布の間に一定程度以上の相関関係がある帯域を特定し、前記第２の期間における前記被処理信号のうち特定された帯域内のスペクトルの成分を除去して、前記第１の期間における前記被処理信号のうち前記特定された帯域内のスペクトルの成分を、スペクトルの成分を除去された前記第２の期間における被処理信号に追加すべきスペクトルの成分と決定する間引き手段と、を備える、
ことを特徴とする。
【０００７】
このような周波数間引き装置によれば、第２の期間における被処理信号のスペクトルのうち、第１の期間における被処理信号のスペクトルと一定程度以上の相関関係のある帯域内のスペクトル成分が除去され、第１の期間におけるこの帯域内のスペクトルが、補間用のスペクトルに充てられる。
除去されるスペクトル成分は、高レベルのスペクトル成分に周波数が近接する低レベルのスペクトル成分には限られないから、このような周波数間引き装置によれば、信号が高率で圧縮される。また、スペクトルを除去した後の第２の期間の被処理信号を補間用のスペクトルで補間して得られる信号は原信号に近いものとなるから、このような周波数間引き装置によれば、オーディオ信号を間引き処理の対象とした場合、高音質が保たれる。
【０００８】
前記間引き手段は、特定された前記帯域を識別する識別情報を生成し、スペクトルの成分を除去された前記第２の期間における被処理信号を表すデータと、前記識別情報とを、互いが対応付けられた態様で出力するものであれば、スペクトルの補間を行う外部の装置は、第１の期間における被処理信号のスペクトルのうち識別情報により識別される帯域内のスペクトル成分を、スペクトルを除去済みの第２の期間における被処理信号に追加すれば、被処理信号の復元を行える。
【０００９】
前記被処理信号は、例えば、オーディオ信号によりＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）変調を行って得られるＰＣＭ信号より構成されているものであればよい。
【００１０】
また、この発明の第２の観点に係る周波数間引き方法は、
間引き処理される対象である被処理信号の第１の期間におけるスペクトルを表すスペクトル信号、及び、前記第１の期間より後の第２の期間における前記被処理信号のスペクトルを表すスペクトル信号を生成し、
前記スペクトル信号に基づき、前記第１及び第２の期間における各前記スペクトルの成分の分布の間に一定程度以上の相関関係がある帯域を特定し、
前記第２の期間における前記被処理信号のうち特定された帯域内のスペクトルの成分を除去し、
前記第１の期間における前記被処理信号のうち前記特定された帯域内のスペクトルの成分を、スペクトルの成分を除去された前記第２の期間における被処理信号に追加すべきスペクトルの成分と決定する、
ことを特徴とする。
【００１１】
このような周波数間引き方法によれば、第２の期間における被処理信号のスペクトルのうち、第１の期間における被処理信号のスペクトルと一定程度以上の相関関係のある帯域内のスペクトル成分が除去され、第１の期間におけるこの帯域内のスペクトルが、補間用のスペクトルに充てられる。
除去されるスペクトル成分は、高レベルのスペクトル成分に周波数が近接する低レベルのスペクトル成分には限られないから、このような周波数間引き方法によれば、信号が高率で圧縮される。また、スペクトルを除去した後の第２の期間の被処理信号を補間用のスペクトルで補間して得られる信号は原信号に近いものとなるから、このような周波数間引き方法によれば、オーディオ信号を間引き処理の対象とした場合、高音質が保たれる。
【００１２】
また、この発明の第３の観点に係るコンピュータ読み取り可能な記録媒体は、
コンピュータを、
間引き処理される対象である被処理信号の第１の期間におけるスペクトルを表すスペクトル信号、及び、前記第１の期間より後の第２の期間における前記被処理信号のスペクトルを表すスペクトル信号を生成するスペクトル分布生成手段と、
前記スペクトル信号に基づき、前記第１及び第２の期間における各前記スペクトルの成分の分布の間に一定程度以上の相関関係がある帯域を特定し、前記第２の期間における前記被処理信号のうち特定された帯域内のスペクトルの成分を除去して、前記第１の期間における前記被処理信号のうち前記特定された帯域内のスペクトルの成分を、スペクトルの成分を除去された前記第２の期間における被処理信号に追加すべきスペクトルの成分と決定する間引き手段と、
して機能させるためのプログラムを記録したことを特徴とする。
【００１３】
このような記録媒体に記録されたプログラムを実行するコンピュータは、第２の期間における被処理信号のスペクトルのうち、第１の期間における被処理信号のスペクトルと一定程度以上の相関関係のある帯域内のスペクトル成分を除去し、第１の期間におけるこの帯域内のスペクトルを、補間用のスペクトルに充てられるべきものと決定する。
除去されるスペクトル成分は、高レベルのスペクトル成分に周波数が近接する低レベルのスペクトル成分には限られないから、このような記録媒体に記録されたプログラムを実行するコンピュータによれば、信号が高率で圧縮される。また、スペクトルを除去した後の第２の期間の被処理信号を補間用のスペクトルで補間して得られる信号は原信号に近いものとなるから、このような記録媒体に記録されたプログラムを実行するコンピュータによれば、オーディオ信号を間引き処理の対象とした場合、高音質が保たれる。
【００１４】
【発明の実施の形態】
以下に、図面を参照して、この発明の実施の形態に係る周波数間引き装置を、音声信号処理装置を例として説明する。
図１は、この発明の実施の形態に係る音声信号処理装置の構成を示す図である。
図示するように、この音声信号処理装置は、周波数間引き部１と、音声圧縮部２と、音声伸長部３と、周波数補間部４とより構成されている。
【００１５】
周波数間引き部１は、図２に示すように、アナライザ１１と、スペクトル記憶部１２と、スペクトル解析部１３と、周波数バンドマスキング部１４と、シンセサイザ１５とより構成されている。
【００１６】
アナライザ１１は、図３に示すように、ｎ個の遅延部１１１−０〜１１１−（ｎ−１）と、（ｎ＋１）個のサンプラー１１２−０〜１１２−ｎと、フィルタバンク１１３とより構成されている。（ただし、ｎは１以上の任意の整数とする。）
【００１７】
遅延部１１１−０〜１１１−（ｎ−１）は、各自に供給された信号を、この信号の周期１周期分遅らせて出力する。
遅延部１１１−ｋ（ｋは０以上（ｎ−１）以下の任意の整数）が出力する信号はサンプラー１１２−ｋに供給される。また、遅延部１１１−ｊ（ｊは０以上（ｎ−２）以下の任意の整数）は、遅延部１１１−（ｊ＋１）が出力する信号を供給される。遅延部１１１−（ｎ−１）には、周波数間引き部１により周波数の間引きを受ける対象のＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｕｄｕｌａｔｉｏｎ）信号が供給される。
【００１８】
従って、遅延部１１１−ｋは、遅延部１１１−（ｎ−１）に供給されたＰＣＭ信号を、このＰＣＭ信号の（ｎ−ｋ）周期分遅らせた信号を出力する。なお、上述のＰＣＭ信号は、音声等を電圧あるいは電流の変化として表すオーディオ信号を用い、ＰＣＭ変調を行うことにより得られる信号である。
【００１９】
サンプラー１１２−０〜１１２−ｎは、各自に供給された信号を、周波数の間引きを受ける対象のＰＣＭ信号の周波数の（ｎ＋１）分の１の周波数でサンプリングし、サンプリング結果を表す信号を、フィルタバンク１１３へと供給する。
【００２０】
サンプラー１１２−ｋには、上述の通り、遅延部１１１−ｋが出力する信号が供給される。サンプラー１１２−ｎには、周波数間引き部１により周波数の補間を受ける対象のＰＣＭ信号が、遅延部１１１−（ｎ−１）に供給されるのと実質的に同時に供給される。
【００２１】
フィルタバンク１１３は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等より構成されている。
フィルタバンク１１３は、上述の通りサンプラー１１２−１〜１１２−ｎが出力する信号の供給を受ける。
【００２２】
そして、フィルタバンク１１３は、ポリフェーズフィルタ、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＬＯＴ（Ｌａｐｐｅｄ Ｏｒｔｈｏｇｏｎａｌ Ｔｒａｎｓｆｏｒｍ）、ＭＬＴ（Ｍｏｄｕｌａｔｅｄ Ｌａｐｐｅｄ Ｔｒａｎｓｆｏｒｍ）あるいはＥＬＴ（Ｅｘｔｅｎｄｅｄ Ｌａｐｐｅｄ Ｔｒａｎｓｆｏｒｍ）等の手法を用い、自己に供給されたこの信号のスペクトル分布を表す１番目〜（ｎ＋１）番目までの（ｎ＋１）個の信号を生成する。そして、生成したこれら（ｎ＋１）個の信号を、スペクトル記憶部１２、スペクトル解析部１３及び周波数バンドマスキング部１４へと供給する。
【００２３】
フィルタバンク１１３が生成するｐ番目（ｐは１から（ｎ＋１）までの整数）の信号は、サンプラー１１２−０〜１１２−ｎが出力する信号のスペクトル分布を（ｎ＋１）等分して得られる互いに帯域幅が等しい帯域のうち、周波数がｐ番目に低い帯域内のスペクトル分布を表す信号であるものとする。
【００２４】
スペクトル記憶部１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等より構成されており、アナライザ１１より（ｎ＋１）個ずつ供給される上述の信号のうち、最も新しい２回のタイミングで供給された、各（ｎ＋１）個、計｛２・（ｎ＋１）｝個の信号を記憶する。そして、スペクトル解析部１３の指示に従って、自己が記憶している信号のうち、２番目に新しいタイミングでアナライザ１１より供給された信号（すなわち、自己が記憶している｛２・（ｎ＋１）｝個の信号のうち、古い方の（ｎ＋１）個。以下、「過去のスペクトルを表す信号」と呼ぶ）を、スペクトル解析部１３へと供給する。
【００２５】
スペクトル解析部１３は、ＤＳＰやＣＰＵ等より構成されている。スペクトル解析部１３は、上述の（ｎ＋１）個の各帯域内のスペクトル分布を表す（ｎ＋１）個の信号をアナライザ１１より供給されると、スペクトル記憶部１２に、過去のスペクトルを表す信号を供給するよう指示する。そして、スペクトル記憶部１２より過去のスペクトルを表す信号を供給されると、例えば、以下（１）〜（４）として述べる処理を行う。
【００２６】
（１） スペクトル解析部１３はまず、フィルタバンク１１３から供給された信号が表す各帯域のうちの１つ（以下、「第１の帯域」と呼ぶ）を特定する。一方、スペクトル記憶部１２から供給された信号（過去のスペクトルを表す信号）が表す各帯域のうち、周波数の範囲が第１の帯域と同一である帯域（以下、「第２の帯域」と呼ぶ）も特定する。
【００２７】
（２） 次いで、スペクトル解析部１３は、（１）の処理で特定した第１の帯域内のスペクトル分布と第２の帯域内のスペクトル分布との相関係数を、最小二乗法等の手法を用いて求め、得られた相関係数が所定値以上であるか否かを判定する。そして、判定の結果、得られた相関係数が所定値以下であった場合、（１）で特定した第１の帯域を削除バンドとして特定し、（１）で特定した第２の帯域を、当該削除バンドを補間するための補間用バンドとして特定する。
【００２８】
（３） スペクトル解析部１３は、第１及び第２の帯域としてとり得るすべての組み合わせについて上述（１）及び（２）の処理を行い、削除バンド及び補間用バンドを特定する。
【００２９】
（４） すべての削除バンド及び補間用バンドを特定すると、スペクトル解析部１３は、周波数バンドマスキング部１４及び音声圧縮部２に、削除バンドと、当該削除バンドを補間するための補間用バンドを特定した結果を通知する。具体的には、たとえば、削除バンドを識別するデータと、当該削除バンドを補間するための補間用バンドを識別するデータとを、互いに対応付けた形で、周波数バンドマスキング部１４及び音声圧縮部２へと供給する。
【００３０】
周波数バンドマスキング部１４は、ＤＳＰやＣＰＵ等より構成されている。周波数バンドマスキング部１４は、上述の（ｎ＋１）個の各帯域内のスペクトル分布を表す（ｎ＋１）個の信号をアナライザ１１（より具体的には、フィルタバンク１１３）より供給され、スペクトル解析部１３より、削除バンドと、当該削除バンドを補間するための補間用バンドを特定した結果の通知を受ける。
そして、フィルタバンク１１３より供給された上述の（ｎ＋１）個の信号のうち、スペクトル解析部１３より通知された削除バンド内のスペクトル分布を表すもの以外の信号を、シンセサイザ１５へと供給する。
従って、周波数バンドマスキング部１４からシンセサイザ１５へは、周波数の間引きを受ける対象のＰＣＭ信号のスペクトルのうちから削除バンドのスペクトル成分を除去して得られるスペクトルの分布（間引き後のスペクトル分布）を表す信号が供給される。
【００３１】
シンセサイザ１５は、図４に示すように、フィルタバンク１５１と、（ｎ＋１）個のサンプラー１５２−０〜１５２−ｎと、ｎ個の遅延部１５３−０〜１５３−（ｎ−１）と、加算器１５４−０〜１５４−（ｎ−１）とより構成されている。
【００３２】
フィルタバンク１５１は、ＤＳＰやＣＰＵ等より構成されており、上述の通り、周波数バンドマスキング部１４が出力する、間引き後のスペクトル分布を表す信号を供給される。
そして、フィルタバンク１５１は、ポリフェーズフィルタ、ＤＣＴ、ＬＯＴ、ＭＬＴあるいはＥＬＴ等の手法を用い、自己に供給された信号が表すスペクトル分布を有する信号を（ｎ＋１）点で等間隔にサンプリングした値を表す（ｎ＋１）個の信号を生成する。そして、生成したこれら（ｎ＋１）個の信号のうちｐ番目（ｐは１から（ｎ＋１）までの整数）の信号を、サンプラー１５２−（ｐ−１）へと供給する。
【００３３】
なお、フィルタバンク１５１が生成するこの信号が表す値のサンプリング間隔は、アナライザ１１のサンプラー１１２−１〜１１２−ｎのサンプリング間隔に実質的に等しいものとする。
また、フィルタバンク１５１が生成するｐ番目の信号は、フィルタバンク１５１に供給された信号が表すスペクトル分布を有する信号を（ｎ＋１）点で等間隔にサンプリングした値のうち、サンプリングの時刻がｐ番目に早い値を表すものとする。
【００３４】
サンプラー１５２−１〜１５２−ｎは、各自に供給された信号を、当該信号の（ｎ＋１）倍の周波数の信号へと変換し、変換結果を表すＰＣＭ信号を出力するものである。
サンプラー１５２−（ｐ−１）には、上述の通り、フィルタバンク１５１が出力するｐ番目の信号が供給される。そして、サンプラー１５２−（ｓ−１）は、自己が出力する信号を、加算器１５４−（ｓ−１）へと供給する（ｓは１からｎまでの整数）。サンプラー１５２−ｎは、自己が出力する信号を遅延部１５３−（ｎ−１）へと供給する。
【００３５】
遅延部１５３−０〜１５３−（ｎ−１）は、各自に供給された信号を、この信号の周期１周期分遅らせて出力する。
遅延部１５３−ｋ（ｋは０以上（ｎ−１）以下の任意の整数）が出力する信号は加算器１５４−ｋに供給される。また、遅延部１５３−ｊ（ｊは０以上（ｎ−２）以下の任意の整数）は、加算器１５４−（ｊ＋１）が出力する信号を供給される。遅延部１５３−（ｎ−１）には、上述の通りサンプラー１５２−ｎが出力する信号が供給される。
【００３６】
加算器１５４−０〜１５４−（ｎ−１）は、各自に供給された２個の信号の和を表す信号を出力する。
加算器１５４−ｋには、サンプラー１５２−ｋと、遅延部１５３−ｋとから信号が供給される。そして、加算器１５４−ｍ（ｍは１以上（ｎ−１）以下の整数）が出力する信号は遅延部１５３−（ｍ−１）に供給される。加算器１５４−０が出力する信号は、周波数間引き部１の出力信号として、音声圧縮部２へと供給される。
【００３７】
加算器１５４−０が出力するこの出力信号は、サンプラー１５２−０、１５２−１、・・・、１５２−（ｎ−１）及び１５２−ｎが出力した信号を、アナライザ１１に供給されたＰＣＭ信号の周期と実質的に同一の周期で順次出力したものに相当し、そのスペクトル分布が間引き後のスペクトル分布に相当するＰＣＭ信号である。
【００３８】
音声圧縮部２は、ＤＳＰやＣＰＵ等を備え、また、記録媒体（例えば、ＣＤ−Ｒ等）へのデータの記録及び記録媒体からのデータの読み出しを行う記録媒体ドライバを備えている。音声圧縮部２は、周波数間引き部１のシンセサイザ１５より出力信号を供給され、スペクトル解析部１３より、削除バンドと、当該削除バンドを補間するための補間用バンドを特定した結果を通知されると、供給された出力信号を、ＭＰ３やＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）その他任意の手法により圧縮する。そして、圧縮により得られたデータと、削除バンド及び補間用バンドの特定結果を表すデータとを、記録媒体ドライバにセットされた外部の記録媒体に、互いに対応付けた形で記録する。
【００３９】
なお、音声圧縮部２は、記録媒体ドライバに代えて、あるいは記録媒体ドライバと共に、外部の通信回線に接続されたモデムやターミナルアダプタ等より構成される通信制御装置を備えていてもよい。この場合、音声圧縮部２は、周波数間引き部１の出力信号が表すデータを圧縮して得られたデータと、削除バンド及び補間用バンドの特定結果を表すデータとを、通信回線を介して外部へと伝送してもよい。
【００４０】
音声伸長部３は、ＤＳＰやＣＰＵ等を備え、また、記録媒体ドライバを備えている。音声伸長部３は、ＰＣＭ信号をＭＰ３やＡＡＣ等の手法により圧縮したものを表す信号を、記録媒体ドライバにセットされた外部の記録媒体より読み出す。そして、読み出したデータをＭＰ３やＡＡＣ等の手法により伸長し、伸長により得られたデータを表すＰＣＭ信号を生成して、周波数補間部４へと供給する。また、ＰＣＭ信号を圧縮したものを表すこの信号に対応付けられた、削除バンド及び補間用バンドの特定結果を表すデータも、この記録媒体より読み出して周波数補間部４へと供給する。
【００４１】
なお、音声伸長部３は、記録媒体ドライバに代えて、あるいは記録媒体ドライバと共に、通信制御装置を備えていてもよい。この場合、音声伸長部３は、ＰＣＭ信号をＭＰ３やＡＡＣ等の手法により圧縮したものを表すデータと削除バンド及び補間用バンドの特定結果を表すデータとが通信回線を介して外部より自己へと供給されたとき、供給された信号を受信して伸長し、伸長により得られたデータを表すＰＣＭ信号と、削除バンド及び補間用バンドの特定結果を表すデータとを、周波数補間部４へと供給するようにしてもよい。
【００４２】
周波数補間部４は、図５に示すように、アナライザ４１と、スペクトル記憶部４２と、周波数補間処理部４３と、シンセサイザ４４とより構成されている。
このうち、アナライザ４１は、周波数間引き部１のアナライザ１１と実質的に同一の構成を有しており、シンセサイザ４４は、周波数間引き部１のシンセサイザ１５と実質的に同一の構成を有している。
【００４３】
アナライザ４１は、周波数の補間を受ける対象として音声伸長部３から供給されたＰＣＭ信号のスペクトル分布を表す１番目〜（ｎ＋１）番目までの（ｎ＋１）個の信号を生成し、生成したこれら（ｎ＋１）個の信号を、スペクトル記憶部４２及び周波数補間処理部４３へと供給する。
【００４４】
なお、アナライザ４１が生成するｐ番目（ｐは１から（ｎ＋１）までの整数）の信号は、音声伸長部３から供給されたＰＣＭ信号（つまり、周波数の補間を受ける対象のＰＣＭ信号）のスペクトル分布を（ｎ＋１）等分して得られる互いに帯域幅が等しい帯域のうち、周波数がｐ番目に低い帯域内のスペクトル分布を表す信号であるものとする。
【００４５】
スペクトル記憶部４２は、ＲＡＭ等より構成されており、アナライザ４１より１回あたり（ｎ＋１）個ずつ供給される上述の信号を、複数回分記憶する。そして、周波数補間処理部４３の指示に従って、自己が記憶している信号を周波数補間処理部４３へと供給する。
なお、スペクトル記憶部４２は、音声伸長部３が供給するデータが示す補間用バンドのスペクトルを、周波数補間処理部４３が後述の通りスペクトルの補間を行うために当該補間用スペクトルを取得すべき時点において確実に記憶している程度に大きな記憶容量を有しているものとする。
【００４６】
周波数補間処理部４３は、ＤＳＰやＣＰＵ等より構成されている。周波数補間処理部４３は、上述の（ｎ＋１）個の各帯域内のスペクトル分布を表す（ｎ＋１）個の信号をアナライザ４１より供給される。また、音声伸長部３が供給した、削除バンド及び補間用バンドの特定結果を表すデータを取得する。また、スペクトル記憶部４２から、アナライザ４１が過去に供給してスペクトル記憶部４２が記憶した信号を読み出す。
【００４７】
そして、周波数補間処理部４３は、スペクトル記憶部４２から読み出した信号が示すスペクトル分布のうち、音声伸長部３より取得したデータが示す補間用バンド内の信号成分のスペクトル分布を、当該補間用バンドを用いて補間すべき削除バンド内の補間後のスペクトル分布を表すものとして扱うことにより、補間後の削除バンド内のスペクトル分布を表す信号を生成する。そして、生成した信号をシンセサイザ４４へと供給する。
従って、周波数補間処理部４３からシンセサイザ４４へは、音声伸長部３から周波数補間部４へ供給されたＰＣＭ信号のスペクトルに補間後の削除バンドのスペクトル成分が加算されて得られるスペクトルの分布（補間後のスペクトル分布）を表す信号が供給される。
【００４８】
ただし、周波数補間処理部４３は、音声伸長部３から供給されたデータが示す補間用バンドが削除バンドでもある場合、削除バンドである当該補間用バンドを補間するために用いた補間用バンド内の信号成分のスペクトル分布を、音声伸長部３から供給されたデータが示す削除バンド内の補間後のスペクトル分布を表すものとして扱うようにする。
【００４９】
シンセサイザ４４は、周波数補間処理部４３が出力する、補間後のスペクトル分布を表す信号を供給されると、スペクトル分布が補間後のスペクトル分布に相当するＰＣＭ信号を出力する。シンセサイザ４４が出力するＰＣＭ信号は、換言すれば、補間後のスペクトル分布を有する信号を（ｎ＋１）点で等間隔にサンプリングしてアナライザ４１に供給されたＰＣＭ信号の周期と実質的に同一の周期で順次出力したものに相当するＰＣＭ信号である。
【００５０】
なお、図６（ａ）は、音声伸長部３が特定のタイミング（タイミング＃１）においてアナライザ４１に供給したＰＣＭ信号のスペクトル分布（補間前のスペクトル分布）の例を示す図であり、（ｂ）は、音声伸長部３がタイミング＃１の次のタイミング（タイミング＃２）でアナライザ４１に供給したＰＣＭ信号のスペクトル分布の例を示す図であり、（ｃ）は、（ｂ）に示すスペクトル分布を有するＰＣＭ信号に周波数の補間を施した結果得られる、補間後のスペクトル分布の例を示す図である。
【００５１】
図６（ｂ）に示すように、音声伸長部３がタイミング＃２でアナライザ４１に供給したＰＣＭ信号の１１個の帯域（帯域Ｂ１〜帯域Ｂ１１）のうち帯域Ｂ５、Ｂ７、Ｂ９及びＢ１１が削除バンドである場合においては、図６（ａ）に示す、タイミング＃１でアナライザ４１に供給したＰＣＭ信号のうち帯域Ｂ５、Ｂ７、Ｂ９及びＢ１１が補間用バンドとなる。そして、補間後のスペクトル分布は、図６（ｃ）に示すように、タイミング＃２における削除バンドである帯域Ｂ５、Ｂ７、Ｂ９及びＢ１１に、タイミング＃２における補間用バンド（すなわち、タイミング＃１における帯域Ｂ５、Ｂ７、Ｂ９及びＢ１１）のスペクトル分布と実質的に同一の分布を有するスペクトルが加えられたものとなる。
【００５２】
図６（ｃ）に示すような補間を行うことにより、周波数の間引きを受ける前のＰＣＭ信号のスペクトルに近いスペクトルが得られる。従って、シンセサイザ４４が出力するＰＣＭ信号を用いてオーディオ信号を復元することにより、オーディオ信号が高音質で復元される。
【００５３】
なお、この音声信号処理装置の構成は上述のものに限られない。
例えば、この音声信号処理装置は音声圧縮部２や音声伸長部３を必ずしも備
えている必要はない。
この音声信号処理装置が音声圧縮部２を備えない場合は、周波数間引き部１が、自己のシンセサイザ１５が供給する出力信号と、スペクトル解析部１３が供給する、削除バンド及び補間用バンドの特定結果を表すデータとを、互いに対応付けた形で出力するようにすればよい。
また、この音声信号処理装置が音声伸長部３を備えない場合は、周波数補間部４が、ＰＣＭ信号と、当該ＰＣＭ信号に対応付けられた、削除バンド及び補間用バンドの特定結果を表すデータとを、外部の記録媒体から読み出したり、その他任意の手法で外部より取得するようにすればよい。
【００５４】
また、周波数間引き部１が周波数の間引きを行う対象の信号や、周波数補間部４が周波数の補間を行う対象の信号は、ＰＣＭ信号である必要はなく、オーディオ信号を変調して得られる変調波である必要もない。
また、周波数間引き部１のアナライザ１１が供給する信号のうち、補間用バンドを表す信号は、当該補間用バンドを用いて補間される削除バンドを表す信号が供給されたタイミングの直前のタイミングで供給されたものである必要はなく、更にその前のタイミングで供給されたものであってもよい。
【００５５】
また、遅延部１１１−０〜１１１−（ｎ−１）及び１５３−０〜１５３−（ｎ−１）や、サンプラー１１２−０〜１１２−ｎ及び１５２−０〜１５２−ｎや、加算器１５４−０〜１５４−（ｎ−１）の機能を、ＤＳＰやＣＰＵが行ってもよい。
【００５６】
また、スペクトル解析部１３は、相関係数に代えて、２個の帯域のスペクトルの相関を表す任意の数値を、両帯域スペクトル分布に基づいて求め、削除バンド及び補間用バンドの決定に用いてもよい。
【００５７】
以上、この発明の実施の形態を説明したが、この発明にかかる周波数間引き装置は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。
例えば、パーソナルコンピュータやマイクロコンピュータに上述のアナライザ１１、スペクトル記憶部１２、スペクトル解析部１３、周波数バンドマスキング部１４及びシンセサイザ１５の動作を実行するためのプログラムを格納した媒体（ＣＤ−ＲＯＭ、ＭＯ、フロッピーディスク等）から該プログラムをインストールすることにより、上述の処理を実行する周波数間引き部１を構成することができる。
【００５８】
また、例えば、通信回線の掲示板（ＢＢＳ）に該プログラムを掲示し、これを通信回線を介して配信してもよく、また、該プログラムを表す信号により搬送波を変調し、得られた変調波を伝送し、この変調波を受信した装置が変調波を復調して該プログラムを復元するようにしてもよい。
そして、このプログラムを起動し、ＯＳの制御下に、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行することができる。
【００５９】
なお、ＯＳが処理の一部を分担する場合、あるいは、ＯＳが本願発明の１つの構成要素の一部を構成するような場合には、記録媒体には、その部分をのぞいたプログラムを格納してもよい。この場合も、この発明では、その記録媒体には、コンピュータが実行する各機能又はステップを実行するためのプログラムが格納されているものとする。
【００６０】
【発明の効果】
以上の説明のように、この発明によれば、オーディオ信号を高音質を保ちながら高率で圧縮するための周波数間引き装置及び周波数間引き方法が実現される。
【図面の簡単な説明】
【図１】この発明の実施の形態に係る音声信号処理装置の構成を示す図である。
【図２】周波数間引き部の構成を示す図である。
【図３】アナライザの構成を示す図である。
【図４】シンセサイザの構成を示す図である。
【図５】周波数補間部の構成を示す図である。
【図６】（ａ）は、タイミング＃１におけるスペクトル分布の例を示す図であり、（ｂ）は、タイミング＃２における補間前のスペクトル分布の例を示す図であり、（ｃ）は、タイミング＃２における補間後のスペクトル分布の例を示す図である。
【符号の説明】
１ 周波数間引き部
１１、４１ アナライザ
１１１−０〜１１１−（ｎ−１）、１５３−０〜１５３−（ｎ−１） 遅延部
１１２−０〜１１２−ｎ、１５２−０〜１５２−ｎ サンプラー
１１３、１５１ フィルタバンク
１２、４２ スペクトル記憶部
１３ スペクトル解析部
１４ 周波数バンドマスキング部
１５、４４ シンセサイザ
１５４−０〜１５４−（ｎ−１） 加算器
２ 音声圧縮部
３ 音声伸長部
４ 周波数補間部
４３ 周波数補間処理部
Claims (5)
- 間引き処理される対象である被処理信号の第１の期間におけるスペクトルを表すスペクトル信号、及び、前記第１の期間より後の第２の期間における前記被処理信号のスペクトルを表すスペクトル信号を生成するスペクトル分布生成手段と、
前記スペクトル信号に基づき、前記第１及び第２の期間における各前記スペクトルの成分の分布の間に一定程度以上の相関関係がある帯域を特定し、前記第２の期間における前記被処理信号のうち特定された帯域内のスペクトルの成分を除去して、前記第１の期間における前記被処理信号のうち前記特定された帯域内のスペクトルの成分を、スペクトルの成分を除去された前記第２の期間における被処理信号に追加すべきスペクトルの成分と決定する間引き手段と、を備える、
ことを特徴とする周波数間引き装置。 - 前記間引き手段は、特定された前記帯域を識別する識別情報を生成し、スペクトルの成分を除去された前記第２の期間における被処理信号を表すデータと、前記識別情報とを、互いが対応付けられた態様で出力する、
ことを特徴とする請求項１に記載の周波数間引き装置。 - 前記被処理信号は、オーディオ信号によりＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）変調を行って得られるＰＣＭ信号より構成されている、
ことを特徴とする請求項１又は２に記載の周波数間引き装置。 - 間引き処理される対象である被処理信号の第１の期間におけるスペクトルを表すスペクトル信号、及び、前記第１の期間より後の第２の期間における前記被処理信号のスペクトルを表すスペクトル信号を生成し、
前記スペクトル信号に基づき、前記第１及び第２の期間における各前記スペクトルの成分の分布の間に一定程度以上の相関関係がある帯域を特定し、
前記第２の期間における前記被処理信号のうち特定された帯域内のスペクトルの成分を除去し、
前記第１の期間における前記被処理信号のうち前記特定された帯域内のスペクトルの成分を、スペクトルの成分を除去された前記第２の期間における被処理信号に追加すべきスペクトルの成分と決定する、
ことを特徴とする周波数間引き方法。 - コンピュータを、
間引き処理される対象である被処理信号の第１の期間におけるスペクトルを表すスペクトル信号、及び、前記第１の期間より後の第２の期間における前記被処理信号のスペクトルを表すスペクトル信号を生成するスペクトル分布生成手段と、
前記スペクトル信号に基づき、前記第１及び第２の期間における各前記スペクトルの成分の分布の間に一定程度以上の相関関係がある帯域を特定し、前記第２の期間における前記被処理信号のうち特定された帯域内のスペクトルの成分を除去して、前記第１の期間における前記被処理信号のうち前記特定された帯域内のスペクトルの成分を、スペクトルの成分を除去された前記第２の期間における被処理信号に追加すべきスペクトルの成分と決定する間引き手段と、
して機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000307138A JP3576951B2 (ja) | 2000-10-06 | 2000-10-06 | 周波数間引き装置、周波数間引き方法及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000307138A JP3576951B2 (ja) | 2000-10-06 | 2000-10-06 | 周波数間引き装置、周波数間引き方法及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002116798A JP2002116798A (ja) | 2002-04-19 |
| JP3576951B2 true JP3576951B2 (ja) | 2004-10-13 |
Family
ID=18787696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000307138A Expired - Fee Related JP3576951B2 (ja) | 2000-10-06 | 2000-10-06 | 周波数間引き装置、周波数間引き方法及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3576951B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006243041A (ja) | 2005-02-28 | 2006-09-14 | Yutaka Yamamoto | 高域補間装置及び再生装置 |
| JP4769673B2 (ja) * | 2006-09-20 | 2011-09-07 | 富士通株式会社 | オーディオ信号補間方法及びオーディオ信号補間装置 |
-
2000
- 2000-10-06 JP JP2000307138A patent/JP3576951B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002116798A (ja) | 2002-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3576936B2 (ja) | 周波数補間装置、周波数補間方法及び記録媒体 | |
| US7430254B1 (en) | Matched detector/channelizer with adaptive threshold | |
| US6836739B2 (en) | Frequency interpolating device and frequency interpolating method | |
| US7676361B2 (en) | Apparatus, method and program for voice signal interpolation | |
| Lai | Practical digital signal processing | |
| JP3538122B2 (ja) | 周波数補間装置、周波数補間方法及び記録媒体 | |
| JP3576941B2 (ja) | 周波数間引き装置、周波数間引き方法及び記録媒体 | |
| JPH07160299A (ja) | 音声信号帯域圧縮伸張装置並びに音声信号の帯域圧縮伝送方式及び再生方式 | |
| JP3576935B2 (ja) | 周波数間引き装置、周波数間引き方法及び記録媒体 | |
| JP3576942B2 (ja) | 周波数補間システム、周波数補間装置、周波数補間方法及び記録媒体 | |
| JP3576951B2 (ja) | 周波数間引き装置、周波数間引き方法及び記録媒体 | |
| JP3955967B2 (ja) | 音声信号雑音除去装置、音声信号雑音除去方法及びプログラム | |
| JPWO2002058053A1 (ja) | ディジタル音声データの符号化方法及び復号化方法 | |
| JP4645869B2 (ja) | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 | |
| JP4538705B2 (ja) | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 | |
| JP2004294969A (ja) | 音声信号圧縮装置、音声信号圧縮方法及びプログラム | |
| JPH1198023A (ja) | 信号符号化及び復号化装置 | |
| WO2001039174A1 (en) | Low memory digital audio effects using down-sampling up-sampling technique | |
| JP2000357969A (ja) | オーディオ信号の符号化装置 | |
| WO1994019791A1 (en) | Improved filter for use in audio compression and decompression systems | |
| JPH06209297A (ja) | 音響信号の伝送方法 | |
| JPH0923195A (ja) | 音声信号帯域圧縮伸長装置並びに音声信号の帯域圧縮伝送方式及び再生方式 | |
| JPH0286215A (ja) | Ａｄ変換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040608 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040615 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040708 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070716 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100716 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130716 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |