JP3576935B2 - 周波数間引き装置、周波数間引き方法及び記録媒体 - Google Patents
周波数間引き装置、周波数間引き方法及び記録媒体 Download PDFInfo
- Publication number
- JP3576935B2 JP3576935B2 JP2000220742A JP2000220742A JP3576935B2 JP 3576935 B2 JP3576935 B2 JP 3576935B2 JP 2000220742 A JP2000220742 A JP 2000220742A JP 2000220742 A JP2000220742 A JP 2000220742A JP 3576935 B2 JP3576935 B2 JP 3576935B2
- Authority
- JP
- Japan
- Prior art keywords
- spectrum
- band
- signal
- harmonic
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
- G10L19/0208—Subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/66—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission
- H04B1/667—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission using a division in frequency subbands
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B14/00—Transmission systems not characterised by the medium used for transmission
- H04B14/02—Transmission systems not characterised by the medium used for transmission characterised by the use of pulse modulation
- H04B14/04—Transmission systems not characterised by the medium used for transmission characterised by the use of pulse modulation using pulse code modulation
- H04B14/046—Systems or methods for reducing noise or bandwidth
- H04B14/048—Non linear compression or expansion
Description
【発明の属する技術分野】
この発明は、信号を圧縮する周波数間引き装置及び周波数間引き方法に関する。
【0002】
【従来の技術】
有線や無線での放送あるいは通信の手法による音楽などの配信が近年盛んになっている。これらの手法による音楽などの配信を行う場合、帯域が過度に広くなることによるデータ量の増大や占有帯域幅の広がりを避けるため、一般に、音楽を表すデータは、MP3(MPEG1 audio layer 3)形式やAAC(Advanced Audio Coding)形式などの音声圧縮形式で圧縮された上で配信されている。
【0003】
これらの音声圧縮形式は、音声信号のうち高レベルのスペクトル成分に周波数が近接する低レベルのスペクトル成分が人間には聞き取られにくい、という現象を利用して音声圧縮を行う形式である。
【0004】
【発明が解決しようとする課題】
しかし、放送や通信のトラヒックが増大すると、放送や通信に利用可能な占有帯域幅や回線容量を低下させる必要が生じる。この結果、上述の形式による音声圧縮を行うだけでは、データの配信にかかる時間が長くなったり、データの配信にかかる時間を一定時間内に収めるためにデータの品質を著しく低下させる必要が生じたりする、という問題が生じる。
【0005】
この発明は、上記実状に鑑みてなされたものであり、信号を高率で圧縮するための周波数間引き装置及び周波数間引き方法を提供することを目的とする。
また、この発明は、オーディオ信号を高音質を保ちながら圧縮するための周波数間引き装置及び周波数間引き方法を提供することを目的とする。
【0006】
【課題を解決するための手段】
上記目的を達成するべく、この発明の第1の観点に係る周波数間引き装置は、間引き処理される対象である被処理信号のスペクトルを表すスペクトル信号を生成するスペクトル分布生成手段と、
前記スペクトル信号に基づき、前記スペクトルを含む帯域のうちから、自己より低周波側の他の帯域との間で当該スペクトルの成分の分布に互いに所定程度以上の強い相関関係がない帯域を除く帯域を、当該スペクトルのうちの高調波成分を含む高調波帯域として特定する高調波抽出手段と、
前記高調波抽出手段が特定した高調波帯域に含まれる前記スペクトルの成分の一部を除去する間引き手段と、を備える、
ことを特徴とする。
【0007】
このような周波数間引き装置によれば、互いに所定程度以上の相関関係がある帯域の一方は高調波帯域として特定され、高調波帯域と特定された帯域内のスペクトルが除去される。このため、必ずしも高レベルのスペクトル成分に周波数が近接するスペクトル成分でない成分も除去され、被処理信号が高率で圧縮される。
また、このような周波数間引き装置によれば、被処理信号の基本波成分は除去されないので、オーディオ信号が高音質を保ちながら圧縮される。
【0008】
前記間引き手段は、前記高調波帯域に含まれる前記スペクトルの成分のうち特定の削除用帯域に含まれる成分を除去し、前記削除用帯域に低周波数側で隣接し、当該削除用帯域と実質的に同一の帯域幅を占める帯域に含まれる成分を除去の対象から除外する、ものであってもよい。
この場合、削除用帯域のスペクトルは、たとえば削除用帯域に低周波数側で隣接し削除用帯域と実質的に同一の帯域幅を占める帯域に含まれる成分の分布に基づいて補間され得るので、オーディオ信号の高音質な圧縮に好適である。
【0009】
前記被処理信号は、例えば、オーディオ信号によりPCM(Pulse Code Modulation)変調を行って得られるPCM信号より構成されていてもよい。
【0010】
また、この発明の第2の観点にかかる周波数間引き方法は、
間引き処理される対象である被処理信号のスペクトルを表すスペクトル信号を生成し、
前記スペクトル信号に基づき、前記スペクトルを含む帯域のうちから、自己より低周波側の他の帯域との間で当該スペクトルの成分の分布に互いに所定程度以上の強い相関関係がない帯域を除く帯域を、当該スペクトルのうちの高調波成分を含む高調波帯域として特定し、
特定された前記高調波帯域に含まれる前記スペクトルの成分の一部を除去する、
ことを特徴とする。
【0011】
このような周波数間引き方法によれば、互いに所定程度以上の相関関係がある帯域の一方は高調波帯域として特定され、高調波帯域と特定された帯域内のスペクトルが除去される。このため、必ずしも高レベルのスペクトル成分に周波数が近接するスペクトル成分でない成分も除去され、被処理信号が高率で圧縮される。
また、このような周波数間引き方法によれば、被処理信号の基本波成分は除去されないので、オーディオ信号が高音質を保ちながら圧縮される。
【0012】
また、この発明の第3の観点にかかるコンピュータ読み取り可能な記録媒体は、
コンピュータを、
間引き処理される対象である被処理信号のスペクトルを表すスペクトル信号を生成するスペクトル分布生成手段と、
前記スペクトル信号に基づき、前記スペクトルを含む帯域のうちから、自己より低周波側の他の帯域との間で当該スペクトルの成分の分布に互いに所定程度以上の強い相関関係がない帯域を除く帯域を、当該スペクトルのうちの高調波成分を含む高調波帯域として特定する高調波抽出手段と、
前記高調波抽出手段が抽出した高調波帯域に含まれる前記スペクトルの成分の一部を除去する間引き手段と、
して機能させるためのプログラムを記録したことを特徴とする。
【0013】
このような記録媒体に記録されたプログラムを実行するコンピュータは、互いに所定程度以上の相関関係がある帯域の一方を高調波帯域として特定し、高調波帯域と特定した帯域内のスペクトルを除去する。このため、必ずしも高レベルのスペクトル成分に周波数が近接するスペクトル成分でない成分も除去され、被処理信号が高率で圧縮される。
また、このようなコンピュータは被処理信号の基本波成分を除去しないので、オーディオ信号が高音質を保ちながら圧縮される。
【0014】
【発明の実施の形態】
以下に、図面を参照して、この発明の実施の形態に係る周波数間引き装置を、音声信号処理装置を例として説明する。
図1は、この発明の実施の形態に係る音声信号処理装置の構成を示す図である。
図示するように、この音声信号処理装置は、周波数間引き部1と、音声圧縮部2と、音声伸長部3と、周波数補間部4とより構成されている。
【0015】
周波数間引き部1は、図2に示すように、アナライザ11と、周波数バンドマスキング部12と、シンセサイザ13とより構成されている。
【0016】
アナライザ11は、図3に示すように、n個の遅延部111−0〜111−(n−1)と、(n+1)個のサンプラー112−0〜112−nと、フィルタバンク113とより構成されている。(ただし、nは1以上の任意の整数とする。)
【0017】
遅延部111−0〜111−(n−1)は、各自に供給された信号を、この信号の周期1周期分遅らせて出力する。
遅延部111−k(kは0以上(n−1)以下の任意の整数)が出力する信号はサンプラー112−kに供給される。また、遅延部111−j(jは0以上(n−2)以下の任意の整数)は、遅延部111−(j+1)が出力する信号を供給される。遅延部111−(n−1)には、周波数間引き部1により周波数の間引きを受ける対象のPCM(Pulse Code Mudulation)信号が供給される。
【0018】
従って、遅延部111−kは、遅延部111−(n−1)に供給されたPCM信号を、このPCM信号の(n−k)周期分遅らせた信号を出力する。なお、上述のPCM信号は、音声等を電圧あるいは電流の変化として表すオーディオ信号を用い、PCM変調を行うことにより得られる信号である。
【0019】
サンプラー112−0〜112−nは、各自に供給された信号を、周波数の間引きを受ける対象のPCM信号の周波数の(n+1)分の1の周波数でサンプリングし、サンプリング結果を表す信号を、フィルタバンク113へと供給する。
【0020】
サンプラー112−kには、上述の通り、遅延部111−kが出力する信号が供給される。サンプラー112−nには、周波数間引き部1により周波数の補間を受ける対象のPCM信号が、遅延部111−(n−1)に供給されるのと実質的に同時に供給される。
【0021】
フィルタバンク113は、DSP(Digital Signal Processor)やCPU(Central Processing Unit)等より構成されている。
フィルタバンク113は、上述の通りサンプラー112−1〜112−nが出力する信号の供給を受ける。
【0022】
そして、フィルタバンク113は、ポリフェーズフィルタ、DCT(Discrete Cosine Transform)、LOT(Lapped Orthogonal Transform)、MLT(Modulated Lapped Transform)あるいはELT(Extended Lapped Transform)等の手法を用い、自己に供給されたこの信号のスペクトル分布を表す1番目〜(n+1)番目までの(n+1)個の信号を生成する。そして、生成したこれら(n+1)個の信号を、周波数バンドマスキング部12へと供給する。
【0023】
フィルタバンク113が生成するp番目(pは1から(n+1)までの整数)の信号は、サンプラー112−0〜112−nが出力する信号のスペクトル分布を(n+1)等分して得られる互いに帯域幅が等しい帯域のうち、周波数がp番目に低い帯域内のスペクトル分布を表す信号であるものとする。
【0024】
周波数バンドマスキング部12は、DSPやCPU等より構成されている。周波数バンドマスキング部12は、上述の(n+1)個の各帯域内のスペクトル分布を表す(n+1)個の信号をアナライザ11(より具体的には、フィルタバンク113)より供給されると、例えば、以下(1)〜(6)として述べる処理を行う。
【0025】
(1) 高調波バンドを決定するため、周波数バンドマスキング部12はまず、フィルタバンク113から供給された信号が表す各帯域のうちの2つを特定し、各々の帯域内のスペクトル成分の二乗平均値を求める。(なお、高調波バンドは、周波数の間引きを受ける対象のPCM信号のうちの高調波成分を含む帯域である。また、以下では、周波数の間引きを受ける対象のPCM信号のうちの基本波成分を含む帯域を「基本波バンド」と呼ぶ。)
【0026】
(2) (1)の処理で求めた2個の帯域(以下、「第1の帯域」及び「第2の帯域」と呼ぶ)内の各スペクトル成分の二乗平均値を用いて、これらの帯域のうち一方の帯域内のスペクトル成分の値の規格化を行う。具体的には、例えば、第1の帯域内のスペクトルの二乗平均値に対する第2の帯域内のスペクトル成分の二乗平均値の比の値を求め、第2の帯域内の各スペクトル成分の値にこの比の値を各々乗じて得られる積を求める。得られた積の集合が、規格化された後の第2の帯域内のスペクトル分布を表す。
【0027】
(3) 規格化を行った後の第1及び第2の帯域内のスペクトル分布との相関係数を、最小二乗法等の手法を用いて求める。
ただし、周波数バンドマスキング部12は、第1及び第2の両帯域のうち周波数が低い方の帯域内の各スペクトルの周波数を、その元来の値に、両帯域の最低周波数の差の絶対値を加算した周波数であるものとして扱い、相関係数を求めるものとする。
【0028】
(4) 周波数バンドマスキング部12は、第1及び第2の帯域としてとり得るすべての組み合わせについて上述(1)〜(3)の処理を行うことにより相関係数を求める。そして、求めた各相関係数に基づいて、基本波バンド及び高調波バンドを特定する。
具体的には、例えば、周波数バンドマスキング部12は、フィルタバンク113より供給された信号が表す帯域のうち、当該帯域より最低周波数が低いいずれの帯域との組み合わせについても相関係数が所定値以下であった帯域を、基本波バンドとして特定する。そして、基本波バンド以外のすべての帯域を、高調波バンドとして特定する。
【0029】
(5) 高調波バンド(及び基本波バンド)を特定すると、周波数バンドマスキング部12は、高調波バンドのうちから、スペクトルを削除する対象である帯域、すなわち、削除バンドを決定する。
削除バンドを決定する基準は任意である。従って、周波数バンドマスキング部12は、例えば、高調波バンドとして特定された帯域のうち最低周波数が低い方(又は高い方)から所定個数目の帯域を削除バンドとしてもよい。また、高調波バンドとして特定された帯域のうち最低周波数が低い方(又は高い方)から偶数番目(又は奇数番目)の帯域を削除バンドとするようにしてもよい。また、高調波バンドとして特定された帯域のうち最低周波数が低い方(又は高い方)からみて所定個数目から数えてα個(αは2以上の整数)おきに、連続したβ個(βはαより小さい正の整数)の帯域を削除バンドとするようにしてもよい。
【0030】
(6) そして、周波数バンドマスキング部12は、フィルタバンク113より供給された上述の(n+1)個の信号のうち、削除バンド内のスペクトル分布を表すもの以外の信号を、シンセサイザ13へと供給する。
従って、周波数バンドマスキング部12からシンセサイザ13へは、周波数の間引きを受ける対象のPCM信号のスペクトルのうちから削除バンドのスペクトル成分を除去して得られるスペクトルの分布(間引き後のスペクトル分布)を表す信号が供給される。
【0031】
図4(a)は、アナライザ11に供給されたPCM信号のスペクトル分布(間引き前のスペクトル分布)の例を示す図であり、(b)及び(c)は、(a)に示すスペクトル分布を有するPCM信号に周波数の間引きを施した結果得られる、間引き後のスペクトル分布の例を示す図である。
図4(b)は、アナライザ11に供給されたPCM信号の11個の帯域(帯域B1〜帯域B11)のうち帯域B3〜帯域B11が高調波バンドであると特定され、高調波バンドとして特定された帯域のうち最低周波数が低い方から偶数番目の帯域が削除バンドとされた場合の、間引き後のスペクトル分布を示す図である。
図4(c)は、帯域B1〜帯域B11のうち帯域B3〜帯域B11が高調波バンドであると特定され、高調波バンドとして特定された帯域のうち最低周波数が低い方からみて3番目の帯域から数えて4個おきに、連続した2個の帯域が削除バンドとされた場合の、間引き後のスペクトル分布を示す図である。
【0032】
図4(b)や(c)に示す間引き後のスペクトル分布のうち削除バンドにあたる部分は高調波バンドに属する。従って、削除バンドでない他の帯域(例えば、削除バンドに低周波側で隣接し、削除バンドと実質的に同一の帯域幅を占める帯域)のスペクトル分布に相当するスペクトルを補間することにより、間引き前のオーディオ信号のスペクトルに近いスペクトルが得られる。
【0033】
シンセサイザ13は、図5に示すように、フィルタバンク131と、(n+1)個のサンプラー132−0〜132−nと、n個の遅延部133−0〜133−(n−1)と、加算器134−0〜134−(n−1)とより構成されている。
【0034】
フィルタバンク131は、DSPやCPU等より構成されており、上述の通り、周波数バンドマスキング部12が出力する、間引き後のスペクトル分布を表す信号を供給される。
そして、フィルタバンク131は、ポリフェーズフィルタ、DCT、LOT、MLTあるいはELT等の手法を用い、自己に供給された信号が表すスペクトル分布を有する信号を(n+1)点で等間隔にサンプリングした値を表す(n+1)個の信号を生成する。そして、生成したこれら(n+1)個の信号のうちp番目(pは1から(n+1)までの整数)の信号を、サンプラー132−(p−1)へと供給する。
【0035】
なお、フィルタバンク131が生成するこの信号が表す値のサンプリング間隔は、アナライザ11のサンプラー112−1〜112−nのサンプリング間隔に実質的に等しいものとする。
また、フィルタバンク131が生成するp番目の信号は、フィルタバンク131に供給された信号が表すスペクトル分布を有する信号を(n+1)点で等間隔にサンプリングした値のうち、サンプリングの時刻がp番目に早い値を表すものとする。
【0036】
サンプラー132−1〜132−nは、各自に供給された信号を、当該信号の(n+1)倍の周波数の信号へと変換し、変換結果を表すPCM信号を出力するものである。
サンプラー132−(p−1)には、上述の通り、フィルタバンク131が出力するp番目の信号が供給される。そして、サンプラー132−(s−1)は、自己が出力する信号を、加算器134−(p−1)へと供給する(sは1からnまでの整数)。サンプラー132−nは、自己が出力する信号を遅延部133−(n−1)へと供給する。
【0037】
遅延部133−0〜133−(n−1)は、各自に供給された信号を、この信号の周期1周期分遅らせて出力する。
遅延部133−k(kは0以上(n−1)以下の任意の整数)が出力する信号は加算器134−kに供給される。また、遅延部133−j(jは0以上(n−2)以下の任意の整数)は、加算器134−(j+1)が出力する信号を供給される。遅延部133−(n−1)には、上述の通りサンプラー132−nが出力する信号が供給される。
【0038】
加算器134−0〜134−(n−1)は、各自に供給された2個の信号の和を表す信号を出力する。
加算器134−kには、サンプラー132−kと、遅延部133−kとから信号が供給される。そして、加算器134−m(mは1以上(n−1)以下の整数)が出力する信号は遅延部133−(m−1)に供給される。加算器134−0が出力する信号は、周波数間引き部1の出力信号として、音声圧縮部2へと供給される。
【0039】
加算器134−0が出力するこの出力信号は、サンプラー132−0、132−1、・・・、132−(n−1)及び132−nが出力した信号を、アナライザ11に供給されたPCM信号の周期と実質的に同一の周期で順次出力したものに相当し、そのスペクトル分布が間引き後のスペクトル分布に相当するPCM信号である。
【0040】
音声圧縮部2は、DSPやCPU等を備え、また、記録媒体(例えば、CD−R等)へのデータの記録及び記録媒体からのデータの読み出しを行う記録媒体ドライバを備えている。音声圧縮部2は、周波数間引き部1より出力信号を供給されると、この出力信号が表すデータを、MP3やAAC(Advanced Audio Coding)その他任意の手法により圧縮する。そして、圧縮により得られたデータを、記録媒体ドライバにセットされた外部の記録媒体に記録する。
音声圧縮部2は、記録媒体ドライバに代えて、あるいは記録媒体ドライバと共に、外部の通信回線に接続されたモデムやターミナルアダプタ等より構成される通信制御装置を備えていてもよい。この場合、音声圧縮部2は、周波数間引き部1の出力信号が表すデータを圧縮して得られたデータを、通信回線を介して外部へと伝送してもよい。
【0041】
音声伸長部3は、DSPやCPU等を備え、また、記録媒体ドライバを備えている。音声伸長部3は、PCM信号をMP3やAAC等の手法により圧縮したものを表す信号を、記録媒体ドライバにセットされた外部の記録媒体より読み出す。そして、読み出したデータをMP3やAAC等の手法により伸長し、伸長により得られたデータを表すPCM信号を生成して、周波数補間部4へと供給する。音声伸長部3は、記録媒体ドライバに代えて、あるいは記録媒体ドライバと共に、通信制御装置を備えていてもよい。この場合、音声伸長部3は、PCM信号をMP3やAAC等の手法により圧縮したものを表す信号が通信回線を介して外部より自己へと供給されたとき、そして、供給されたデータを受信して伸長し、伸長により得られたデータを表すPCM信号を周波数補間部4へと供給するようにしてもよい。
【0042】
周波数補間部4は、図6に示すように、アナライザ41と、スペクトル記憶部42と、スペクトル解析部43と、周波数補間処理部44と、シンセサイザ45とより構成されている。
このうち、アナライザ41は、周波数間引き部1のアナライザ11と実質的に同一の構成を有しており、シンセサイザ45は、周波数間引き部1のシンセサイザ13と実質的に同一の構成を有している。
【0043】
アナライザ41は、周波数の補間を受ける対象として音声伸長部3から供給されたPCM信号のスペクトル分布を表す1番目〜(n+1)番目までの(n+1)個の信号を生成し、生成したこれら(n+1)個の信号を、スペクトル記憶部42、スペクトル解析部43及び周波数補間処理部44へと供給する。
【0044】
なお、アナライザ41が生成するp番目(pは1から(n+1)までの整数)の信号は、音声伸長部3から供給されたPCM信号(つまり、周波数の補間を受ける対象のPCM信号)のスペクトル分布を(n+1)等分して得られる互いに帯域幅が等しい帯域のうち、周波数がp番目に低い帯域内のスペクトル分布を表す信号であるものとする。
【0045】
スペクトル記憶部42は、RAM(Random Access Memory)等より構成されており、アナライザ41より供給される(n+1)個の信号を記憶する。そして、周波数補間処理部44の指示に従って、自己が記憶している信号を周波数補間処理部44へと供給する。
【0046】
スペクトル解析部43は、DSPやCPU等より構成されている。スペクトル解析部43は、上述の(n+1)個の各帯域内のスペクトル分布を表す(n+1)個の信号をアナライザ41より供給されると、アナライザ41から供給された信号が表す各帯域のうち、実質的にスペクトルが含まれない帯域(すなわち、削除バンド)を特定する。そして、特定した削除バンドを補完すべきバンド(補間用バンド)を、アナライザ41から供給された信号が表す各帯域のうち削除バンド以外のバンドから選択し、選択結果を周波数補間処理部44に通知する。
【0047】
補間用バンドを決定する基準は任意である。例えば、特定した削除バンドに低周波数側で隣接する帯域に削除バンドでない帯域がある場合、スペクトル解析部43は、図7に示すように、特定した削除バンドに低周波数側で隣接するこの帯域を、補間用バンドとして決定してもよい。
【0048】
周波数補間処理部44は、DSPやCPU等より構成されている。周波数補間処理部44は、上述の(n+1)個の各帯域内のスペクトル分布を表す(n+1)個の信号をアナライザ41より供給されると、各帯域内のスペクトル分布の包絡線をなす関数を特定する。そして、スペクトル解析部43より補間用バンドの選択結果を通知されると、選択結果が示す補間用バンドを、包絡線をなす関数に基づいてスケーリングすることにより、削除バンドに補完すべき信号成分のスペクトル分布を求める。
【0049】
具体的には、周波数補間処理部44は、例えば、スペクトル解析部43より通知された選択結果が示す補間用バンド内のスペクトル成分の二乗平均値を求め、一方で、自己が特定した包絡線をなす関数に基づき、削除バンド内のスペクトル成分の二乗平均値の推定値を求める。そして、補間用バンド内のスペクトル成分の二乗平均値に対する、削除バンド内のスペクトル成分の二乗平均値の推定値の比の値を求め、補間用バンド内の各スペクトル成分の値にこの比の値を各々乗じて得られる積を求める。得られた積の集合が、削除バンドに補完すべき信号成分のスペクトル分布を表す。
【0050】
そして、周波数補間処理部44は、削除バンドに補完すべき信号成分のスペクトル分布を、補間後の削除バンド内のスペクトル分布を表すものとして扱うことにより、補間後の削除バンド内のスペクトル分布を表す信号を生成する。そして、生成した信号をシンセサイザ45へと供給する。
従って、周波数補間処理部44からシンセサイザ45へは、音声伸長部3から周波数補間部4へ供給されたPCM信号のスペクトルに補間後の削除バンドのスペクトル成分が加算されて得られるスペクトルの分布(補間後のスペクトル分布)を表す信号が供給される。
【0051】
ただし、周波数補間処理部44は、削除バンドに補間すべきスペクトル分布を、補間後の削除バンド内のスペクトル分布として扱う場合、スケーリングされた補間用バンド内の各スペクトルの周波数が、その元来の値に、削除バンド及び補間用バンドの最低周波数同士の差の絶対値を加算した値であるものとして扱うものとする。
【0052】
シンセサイザ45は、周波数補間処理部44が出力する、補間後のスペクトル分布を表す信号を供給されると、スペクトル分布が補間後のスペクトル分布に相当するPCM信号を出力する。シンセサイザ45が出力するPCM信号は、換言すれば、補間後のスペクトル分布を有する信号を(n+1)点で等間隔にサンプリングしてアナライザ41に供給されたPCM信号の周期と実質的に同一の周期で順次出力したものに相当するPCM信号である。
【0053】
なお、図7(a)は、音声伸長部3がアナライザ41に供給したPCM信号のスペクトル分布(補間前のスペクトル分布)の例を示す図であり、(b)は、(a)に示すスペクトル分布を有するPCM信号に周波数の補間を施した結果得られる、補間後のスペクトル分布の例を示す図である。
図7(a)に示すように、音声伸長部3がアナライザ41に供給したPCM信号の11個の帯域(帯域B1〜帯域B11)のうち帯域B4、B6、B8及びB10が削除バンドである場合において、削除バンドに低周波数側で隣接する帯域を補間用バンドとした場合、補間後のスペクトル分布は、図7(b)に示すように、削除バンドである帯域B4、B6、B8及びB10に、帯域B3、B5、B7及びB9のスペクトル分布と実質的に同一の分布を有するスペクトルが加えられたものとなる。
【0054】
図7(b)に示すような補間を行うことにより、周波数の間引きを受ける前のPCM信号のスペクトルに近いスペクトルが得られる。従って、シンセサイザ45が出力するPCM信号を用いてオーディオ信号を復元することにより、オーディオ信号が高音質で復元される。特に、帯域B3〜B11が、周波数の間引きを受ける前のPCM信号の基本波成分を含まない帯域である場合、補間後のスペクトル分布は、周波数の間引きを受ける前のPCM信号のスペクトルに特に近いものとなる。
【0055】
なお、この音声信号処理装置の構成は上述のものに限られない。
例えば、この音声信号処理装置は音声圧縮部2や音声伸長部3を必ずしも備えている必要はない。
また、周波数間引き部1が周波数の間引きを行う対象の信号や、周波数補間部4が周波数の補間を行う対象の信号は、PCM信号である必要はなく、オーディオ信号を変調して得られる変調波である必要もない。
【0056】
また、遅延部111−0〜111−(n−1)及び133−0〜133−(n−1)や、サンプラー112−0〜112−n及び132−0〜132−nや、加算器134−0〜134−(n−1)の機能を、DSPやCPUが行ってもよい。
また、周波数バンドマスキング部12は、相関係数に代えて、2個の帯域のスペクトルの相関を表す任意の数値を、両帯域スペクトル分布に基づいて求め、高調波バンド(及び基本波バンド)の決定に用いてもよい。
【0057】
また、周波数間引き部1が出力する出力信号(PCM信号)に含まれる削除バンドの範囲は、時間の経過につれ変動してもよい。従って、例えば図8(a)〜(c)及び図9(a)に示すように、周波数間引き部1が出力する信号は、削除バンドが帯域B4、B6、B8及びB10である状態と、削除バンドが帯域B5、B7、B9及びB11である状態とを、期間#1、期間#2、期間#3、・・・の順で一定時間毎に交互に繰り返すものであってもよい。
また、削除バンドの範囲は無作為に変動してもよい。従って、例えば、特定の期間#1〜#8における削除バンドの範囲が図9(b)に示す通りになっていてもよい。
【0058】
同様に、周波数補間部4に供給されるPCM信号に含まれる削除バンドの範囲も、時間の経過につれ変動してもよい。従って、例えば図8(a)〜(c)及び図9(a)に示すように、周波数補間部4に供給されるPCM信号は、削除バンドが帯域B4、B6、B8及びB10である状態と、削除バンドが帯域B5、B7、B9及びB11である状態とを、期間#1、期間#2、期間#3、・・・の順で一定時間毎に交互に繰り返すものであってもよい。
また、周波数補間部4に供給されるPCM信号に含まれる削除バンドの範囲は無作為に変動してもよい。従って、例えば、特定の期間#1〜#8において周波数補間部4に供給されるPCM信号に含まれる削除バンドの範囲が、図9(b)に示す通りになっていてもよい。
【0059】
また、スペクトル解析部43は、補間用バンドを、周波数補間部4に供給されたPCM信号の過去のスペクトルのうちから選択するようにしてもよい。具体的には、例えば、削除バンドの範囲が図8(a)〜(c)や図9(a)に示すように変動する場合、期間#2における削除バンドである帯域B5、B7、B9及びB11を補間するための補間用バンドとして、期間#1における帯域B5、B7、B9及びB11を選択し、期間#3における帯域B4、B6、B8及びB10を補間するための補間用バンドとして、期間#2における帯域B4、B6、B8及びB10を選択するようにしてもよい。
【0060】
このように補間用バンドを選択する結果、図10(a)〜(c)に示すように、期間#2における削除バンドである帯域B5、B7、B9及びB11は、期間#1における帯域B5、B7、B9及びB11のスペクトルを用いて補間される。また、期間#3における帯域B4、B6、B8及びB10は、期間#2における帯域B4、B6、B8及びB10のスペクトルを用いて補間される。
【0061】
また、削除バンドの範囲が無作為に変動する場合は、各々の期間における削除バンドを補間するための補間用バンドとして、当該削除バンドと同一の帯域が削除バンドでなくなるような過去の任意の期間における当該帯域を選択するようにしてもよい。
【0062】
なお、スペクトル解析部43が、周波数補間部4に供給されたPCM信号の過去のスペクトルのうちから補間用バンドを選択する場合、周波数補間処理部44は、補間用バンドのスペクトル分布を表す情報を、スペクトル記憶部42より読み出して、削除バンドの補間のために用いるようにすればよい。
この場合、スペクトル記憶部42は、スペクトル解析部43が選択した補間用バンドのスペクトルを確実に記憶する程度に大きな記憶容量を有していることが望ましい。
【0063】
また、スペクトル解析部43は、補間用バンドを、周波数補間部4に供給されたPCM信号の将来のスペクトルのうちから選択するようにしてもよい。具体的には、例えば、削除バンドの範囲が図8(a)〜(c)や図9(a)に示すように変動する場合、期間#1における削除バンドである帯域B4、B6、B8及びB10を補間するための補間用バンドとして、期間#2における帯域B4、B6、B8及びB10を選択するようにしてもよい。
このように補間用バンドを選択したとき、周波数補間処理部44は、例えば、期間#2におけるスペクトルを表す信号がアナライザ41から供給された時点で、スペクトル記憶部42より、期間#1におけるスペクトルを表す信号を読み出す。そして、読み出した信号を、アナライザ41から供給された期間#2のスペクトルを表す信号を用いて補間するものとする。この結果、図10(a)及び(b)に示すように、期間#1における削除バンドである帯域B4、B6、B8及びB10は、期間#2における帯域B4、B6、B8及びB10のスペクトルを用いて補間される。
【0064】
また、スペクトル解析部43は、例えば、削除バンドの範囲が無作為に変動する場合、各々の期間における削除バンドを補間するための補間用バンドとして、当該削除バンドと同一の帯域が削除バンドでなくなるような将来の任意の期間における当該帯域を選択するようにしてもよい。
【0065】
以上、この発明の実施の形態を説明したが、この発明にかかる周波数間引き装置は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。
例えば、パーソナルコンピュータやマイクロコンピュータに上述のアナライザ11、周波数バンドマスキング部12及びシンセサイザ13の動作を実行するためのプログラムを格納した媒体(CD−ROM、MO、フロッピーディスク等)から該プログラムをインストールすることにより、上述の処理を実行する周波数間引き部1を構成することができる。
【0066】
また、例えば、通信回線の掲示板(BBS)に該プログラムを掲示し、これを通信回線を介して配信してもよく、また、該プログラムを表す信号により搬送波を変調し、得られた変調波を伝送し、この変調波を受信した装置が変調波を復調して該プログラムを復元するようにしてもよい。
そして、このプログラムを起動し、OSの制御下に、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行することができる。
【0067】
なお、OSが処理の一部を分担する場合、あるいは、OSが本願発明の1つの構成要素の一部を構成するような場合には、記録媒体には、その部分をのぞいたプログラムを格納してもよい。この場合も、この発明では、その記録媒体には、コンピュータが実行する各機能又はステップを実行するためのプログラムが格納されているものとする。
【0068】
【発明の効果】
以上の説明のように、この発明によれば、信号を高率で圧縮するための周波数間引き装置及び周波数間引き方法が実現される。
また、この発明によれば、オーディオ信号を高音質を保ちながら圧縮するための周波数間引き装置及び周波数間引き方法が実現される。
【図面の簡単な説明】
【図1】この発明の実施の形態に係る音声信号処理装置の構成を示す図である。
【図2】周波数間引き部の構成を示す図である。
【図3】アナライザの構成を示す図である。
【図4】(a)は、間引き前のスペクトル分布の例を示す図であり、(b)及び(c)は、間引き後のスペクトル分布の例を示す図である。
【図5】シンセサイザの構成を示す図である。
【図6】周波数補間部の構成を示す図である。
【図7】(a)は、補間前のスペクトル分布の例を示す図であり、(b)は、補間後のスペクトル分布の例を示す図である。
【図8】(a)〜(c)は、削除バンドの範囲が時間につれて変動するPCM信号のスペクトルを示す図である。
【図9】(a)及び(b)は、削除バンドの範囲が時間につれて変動する様子を示す図である。
【図10】(a)〜(c)は、削除バンドの範囲が時間につれて変動するPCM信号が周波数の補間を受ける様子を説明する図である。
【符号の説明】
1 周波数間引き部
11、41 アナライザ
111−0〜111−(n−1)、133−0〜133−(n−1) 遅延部
112−0〜112−n、132−0〜132−n サンプラー
113、131 フィルタバンク
12 周波数バンドマスキング部
13、45 シンセサイザ
134−0〜134−(n−1) 加算器
2 音声圧縮部
3 音声伸長部
4 周波数補間部
42 スペクトル記憶部
43 スペクトル解析部
44 周波数補間処理部
Claims (5)
- 間引き処理される対象である被処理信号のスペクトルを表すスペクトル信号を生成するスペクトル分布生成手段と、
前記スペクトル信号に基づき、前記スペクトルを含む帯域のうちから、自己より低周波側の他の帯域との間で当該スペクトルの成分の分布に互いに所定程度以上の強い相関関係がない帯域を除く帯域を、当該スペクトルのうちの高調波成分を含む高調波帯域として特定する高調波抽出手段と、
前記高調波抽出手段が特定した高調波帯域に含まれる前記スペクトルの成分の一部を除去する間引き手段と、を備える、
ことを特徴とする周波数間引き装置。 - 前記間引き手段は、前記高調波帯域に含まれる前記スペクトルの成分のうち特定の削除用帯域に含まれる成分を除去し、前記削除用帯域に低周波数側で隣接し、当該削除用帯域と実質的に同一の帯域幅を占める帯域に含まれる成分を除去の対象から除外する、
ことを特徴とする請求項1に記載の周波数間引き装置。 - 前記被処理信号は、オーディオ信号によりPCM(Pulse Code Modulation)変調を行って得られるPCM信号より構成されている、
ことを特徴とする請求項1又は2に記載の周波数間引き装置。 - 間引き処理される対象である被処理信号のスペクトルを表すスペクトル信号を生成し、
前記スペクトル信号に基づき、前記スペクトルを含む帯域のうちから、自己より低周波側の他の帯域との間で当該スペクトルの成分の分布に互いに所定程度以上の強い相関関係がない帯域を除く帯域を、当該スペクトルのうちの高調波成分を含む高調波帯域として特定し、
特定された前記高調波帯域に含まれる前記スペクトルの成分の一部を除去する、
ことを特徴とする周波数間引き方法。 - コンピュータを、
間引き処理される対象である被処理信号のスペクトルを表すスペクトル信号を生成するスペクトル分布生成手段と、
前記スペクトル信号に基づき、前記スペクトルを含む帯域のうちから、自己より低周波側の他の帯域との間で当該スペクトルの成分の分布に互いに所定程度以上の強い相関関係がない帯域を除く帯域を、当該スペクトルのうちの高調波成分を含む高調波帯域として特定する高調波抽出手段と、
前記高調波抽出手段が抽出した高調波帯域に含まれる前記スペクトルの成分の一部を除去する間引き手段と、
して機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000220742A JP3576935B2 (ja) | 2000-07-21 | 2000-07-21 | 周波数間引き装置、周波数間引き方法及び記録媒体 |
AU2001264294A AU2001264294A1 (en) | 2000-07-21 | 2001-06-15 | Frequency thinning device and method for compressing information by thinning outfrequency components of signal |
PCT/JP2001/005124 WO2002009091A1 (fr) | 2000-07-21 | 2001-06-15 | Dispositif d'amincissement de frequence et procede servant a comprimer des informations par amincissement de composantes de frequence du signal |
US10/333,471 US7184961B2 (en) | 2000-07-21 | 2001-06-15 | Frequency thinning device and method for compressing information by thinning out frequency components of signal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000220742A JP3576935B2 (ja) | 2000-07-21 | 2000-07-21 | 周波数間引き装置、周波数間引き方法及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002041098A JP2002041098A (ja) | 2002-02-08 |
JP3576935B2 true JP3576935B2 (ja) | 2004-10-13 |
Family
ID=18715291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000220742A Expired - Fee Related JP3576935B2 (ja) | 2000-07-21 | 2000-07-21 | 周波数間引き装置、周波数間引き方法及び記録媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7184961B2 (ja) |
JP (1) | JP3576935B2 (ja) |
AU (1) | AU2001264294A1 (ja) |
WO (1) | WO2002009091A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10230809B4 (de) * | 2002-07-08 | 2008-09-11 | T-Mobile Deutschland Gmbh | Verfahren zur Übertragung von Audiosignalen nach dem Verfahren der priorisierenden Pixelübertragung |
JP4769673B2 (ja) * | 2006-09-20 | 2011-09-07 | 富士通株式会社 | オーディオ信号補間方法及びオーディオ信号補間装置 |
EP2255534B1 (en) * | 2008-03-20 | 2017-12-20 | Samsung Electronics Co., Ltd. | Apparatus and method for encoding using bandwidth extension in portable terminal |
JP5511848B2 (ja) * | 2009-12-28 | 2014-06-04 | パナソニック株式会社 | 音声符号化装置および音声符号化方法 |
JP5598536B2 (ja) * | 2010-03-31 | 2014-10-01 | 富士通株式会社 | 帯域拡張装置および帯域拡張方法 |
US9557358B2 (en) * | 2011-04-20 | 2017-01-31 | Tektronix, Inc. | Minimal reconfiguration spectrum stitching with overlapped bands |
WO2012169133A1 (ja) * | 2011-06-09 | 2012-12-13 | パナソニック株式会社 | 音声符号化装置、音声復号装置、音声符号化方法及び音声復号方法 |
JP2013007944A (ja) * | 2011-06-27 | 2013-01-10 | Sony Corp | 信号処理装置、信号処理方法、及び、プログラム |
WO2021115912A1 (en) | 2019-12-09 | 2021-06-17 | Basf Se | Formulations comprising a hydrophobically modified polyethyleneimine and one or more enzymes |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6442938A (en) * | 1987-08-10 | 1989-02-15 | Nec Corp | Broad band high efficiency coding system using coder side channel band and its coding system |
JPS6442938U (ja) | 1987-09-09 | 1989-03-15 | ||
US5127054A (en) * | 1988-04-29 | 1992-06-30 | Motorola, Inc. | Speech quality improvement for voice coders and synthesizers |
EP0388043B1 (en) * | 1989-02-28 | 1995-12-06 | Canon Kabushiki Kaisha | System for processing a quantized vector |
JP2916160B2 (ja) | 1989-03-09 | 1999-07-05 | 富士通株式会社 | 時間切替型帯域分割音声符号化方式および装置 |
JP3297751B2 (ja) | 1992-03-18 | 2002-07-02 | ソニー株式会社 | データ数変換方法、符号化装置及び復号化装置 |
JPH06289898A (ja) | 1993-03-30 | 1994-10-18 | Sony Corp | 音声信号処理装置 |
US5623577A (en) * | 1993-07-16 | 1997-04-22 | Dolby Laboratories Licensing Corporation | Computationally efficient adaptive bit allocation for encoding method and apparatus with allowance for decoder spectral distortions |
JPH07273656A (ja) | 1994-03-29 | 1995-10-20 | Sony Corp | 信号処理方法及び装置 |
EP0740410B1 (en) * | 1995-04-25 | 2001-10-24 | Matsushita Electric Industrial Co., Ltd. | Sound quality control system |
JPH10294668A (ja) | 1997-04-22 | 1998-11-04 | Matsushita Electric Ind Co Ltd | オーディオ符号化データ復号化方法、オーディオ符号化データ復号化装置、及び記録媒体 |
SE512719C2 (sv) * | 1997-06-10 | 2000-05-02 | Lars Gustaf Liljeryd | En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion |
JP2000036755A (ja) | 1998-05-15 | 2000-02-02 | Sony Corp | 符号変換方法及び装置、並びにプログラム供給媒体 |
JP2001083995A (ja) | 1999-09-13 | 2001-03-30 | Matsushita Electric Ind Co Ltd | サブバンド符号化・復号方法 |
-
2000
- 2000-07-21 JP JP2000220742A patent/JP3576935B2/ja not_active Expired - Fee Related
-
2001
- 2001-06-15 AU AU2001264294A patent/AU2001264294A1/en not_active Abandoned
- 2001-06-15 WO PCT/JP2001/005124 patent/WO2002009091A1/ja active Application Filing
- 2001-06-15 US US10/333,471 patent/US7184961B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
WO2002009091A1 (fr) | 2002-01-31 |
JP2002041098A (ja) | 2002-02-08 |
US20030167164A1 (en) | 2003-09-04 |
US7184961B2 (en) | 2007-02-27 |
AU2001264294A1 (en) | 2002-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3576936B2 (ja) | 周波数補間装置、周波数補間方法及び記録媒体 | |
US7430254B1 (en) | Matched detector/channelizer with adaptive threshold | |
JP2904472B2 (ja) | ディジタル・オーディオ信号を効率的に圧縮するための方法、データ処理システムおよび装置 | |
EP1503371B1 (en) | Frequency interpolating device and frequency interpolating method | |
EP1351401A1 (en) | Audio signal decoding device and audio signal encoding device | |
EP0657873B1 (en) | Speech signal bandwidth compression and expansion apparatus, and bandwidth compressing speech signal transmission method, and reproducing method | |
US20050131683A1 (en) | Time-scale modification of data-compressed audio information | |
JP3538122B2 (ja) | 周波数補間装置、周波数補間方法及び記録媒体 | |
JP3576941B2 (ja) | 周波数間引き装置、周波数間引き方法及び記録媒体 | |
JP3576935B2 (ja) | 周波数間引き装置、周波数間引き方法及び記録媒体 | |
US20030220801A1 (en) | Audio compression method and apparatus | |
JP3881932B2 (ja) | 音声信号補間装置、音声信号補間方法及びプログラム | |
JP3576942B2 (ja) | 周波数補間システム、周波数補間装置、周波数補間方法及び記録媒体 | |
WO2002093559A1 (en) | Device to encode, decode and broadcast audio signal with reduced size spectral information | |
JP3576951B2 (ja) | 周波数間引き装置、周波数間引き方法及び記録媒体 | |
JP4645869B2 (ja) | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 | |
JP3255034B2 (ja) | 音声信号処理回路 | |
JP4538705B2 (ja) | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 | |
JP4170459B2 (ja) | 波形信号の時間軸圧縮伸長装置 | |
WO2001039174A1 (en) | Low memory digital audio effects using down-sampling up-sampling technique | |
JPH1198023A (ja) | 信号符号化及び復号化装置 | |
JP4226164B2 (ja) | 波形信号の時間軸圧縮伸長装置 | |
Li et al. | Multirate modeling of human ear frequency resolution for hearing aids | |
JP3099569B2 (ja) | 音響信号の伝送方法 | |
JPH0287823A (ja) | 標本化周波数選択形ad,da変換装置および信号処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040608 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040708 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070716 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100716 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130716 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |